JP4598160B1 - Motion vector coding method - Google Patents
Motion vector coding method Download PDFInfo
- Publication number
- JP4598160B1 JP4598160B1 JP2010177935A JP2010177935A JP4598160B1 JP 4598160 B1 JP4598160 B1 JP 4598160B1 JP 2010177935 A JP2010177935 A JP 2010177935A JP 2010177935 A JP2010177935 A JP 2010177935A JP 4598160 B1 JP4598160 B1 JP 4598160B1
- Authority
- JP
- Japan
- Prior art keywords
- motion vector
- block
- encoding
- encoded
- picture
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Abstract
【課題】動きベクトルの予測値の予測能力を高めることで符号化効率を向上した動きベクトル符号化方法を提供する。
【解決手段】動きベクトル符号化方法は、周辺ブロック特定ステップ(S300)と、参照ピクチャ判断ステップ(S306,S308)と、予測動きベクトル導出ステップ(S302,S304,S310,S312,S314)と、動きベクトル符号化ステップ(S316)とを包含し、予測動きベクトル導出ステップにおいて、他のブロックの動きベクトルを用いて求められた、予測符号化する際に使用される動きベクトルを、周辺ブロックの動きベクトルとして用い、3つの周辺ブロックのうち、符号化対象ブロックの参照ピクチャと異なる参照ピクチャを参照する周辺ブロックの動きベクトルの大きさを0とし、3つの周辺ブロックの3つの動きベクトルの中央値を符号化対象ブロックの予測動きベクトルとする。
【選択図】図8The present invention provides a motion vector encoding method in which the encoding efficiency is improved by enhancing the prediction capability of a motion vector prediction value.
A motion vector encoding method includes a neighboring block specifying step (S300), a reference picture determining step (S306, S308), a predicted motion vector deriving step (S302, S304, S310, S312, S314), a motion Including a vector encoding step (S316), and a motion vector used for predictive encoding, which is obtained using a motion vector of another block in the prediction motion vector deriving step, The size of the motion vector of the peripheral block that refers to a reference picture different from the reference picture of the encoding target block is set to 0, and the median value of the three motion vectors of the three peripheral blocks is encoded. The predicted motion vector of the conversion target block is used.
[Selection] Figure 8
Description
本発明は、ピクチャ間予測符号化を用いる動きベクトル符号化方法および動きベクトル復号化方法に関する。 The present invention relates to a motion vector encoding method and a motion vector decoding method using inter-picture predictive encoding.
近年、音声,画像,その他のデータを統合的に扱うマルチメディア時代を迎え、従来からの情報メディア,つまり新聞,雑誌,テレビ,ラジオ,電話等の情報を人に伝達する手段がマルチメディアの対象として取り上げられるようになってきた。一般に、マルチメディアとは、文字だけでなく、図形、音声、特に画像等を同時に関連づけて表すことをいうが、上記従来の情報メディアをマルチメディアの対象とするには、その情報をディジタル形式にして表すことが必須条件となる。 In recent years, the multimedia era of voice, image, and other data has been integrated, and conventional information media, that is, means for transmitting information such as newspapers, magazines, television, radio, and telephones to people are targeted for multimedia. It has come to be taken up as. In general, multimedia refers to not only characters but also figures, sounds, especially images, etc. that are associated with each other at the same time. It is an essential condition.
ところが、上記各情報メディアの持つ情報量をディジタル情報量として見積もってみると、文字の場合1文字当たりの情報量は1〜2バイトであるのに対し、音声の場合1秒当たり64Kbits(電話品質)、さらに動画については1秒当たり100Mbits(現行テレビ受信品質)以上の情報量が必要となり、上記情報メディアでその膨大な情報をディジタル形式でそのまま扱うことは現実的では無い。例えば、テレビ電話は、64Kbit/s〜1.5Mbits/sの伝送速度を持つサービス総合ディジタル網(ISDN : Integrated Services Digital Network)によってすでに実用化されているが、テレビ・カメラの映像をそのままISDNで送ることは不可能である。 However, when the amount of information possessed by each information medium is estimated as the amount of digital information, the amount of information per character in the case of characters is 1 to 2 bytes, whereas in the case of speech, 64 Kbits (phone quality) In addition, for a moving image, an information amount of 100 Mbits (current television reception quality) or more per second is required, and it is not realistic to handle the enormous amount of information in the digital format as it is with the information medium. For example, videophones have already been put into practical use by the Integrated Services Digital Network (ISDN) with a transmission speed of 64 Kbit / s to 1.5 Mbits / s, but the video from the TV camera is sent as it is via ISDN. It is impossible.
そこで、必要となってくるのが情報の圧縮技術であり、例えば、テレビ電話の場合、ITU-T(国際電気通信連合 電気通信標準化部門)で国際標準化されたH.261やH.263規格の動画圧縮技術が用いられている(例えば、非特許文献1参照。)。また、MPEG-1規格の情報圧縮技術によると、通常の音楽用CD(コンパクト・ディスク)に音声情報とともに画像情報を入れることも可能となる。 Therefore, what is needed is information compression technology. For example, in the case of videophones, the H.261 and H.263 standards that have been internationally standardized by the ITU-T (International Telecommunication Union Telecommunication Standardization Sector) are required. A moving image compression technique is used (for example, see Non-Patent Document 1). Further, according to the MPEG-1 standard information compression technology, it is possible to put image information together with audio information on a normal music CD (compact disc).
ここで、MPEG(Moving Picture Experts Group)とは、動画像信号圧縮の国際規格であり、MPEG-1は、動画像信号を1.5Mbpsまで、つまりテレビ信号の情報を約100分の1にまで圧縮する規格である。また、MPEG-1規格を対象とする伝送速度が主として約1.5Mbpsに制限されていることから、さらなる高画質化の要求をみたすべく規格化されたMPEG-2では、動画像信号が2〜15Mbpsに圧縮される。さらに現状では、MPEG-1,MPEG-2と標準化を進めてきた作業グループ(ISO/IEC JTC1/SC29/WG11) によって、MPEG-1,MPEG-2を上回る圧縮率を達成し、更に物体単位で符号化・復号化・操作を可能とし、マルチメディア時代に必要な新しい機能を実現するMPEG-4が規格化された。MPEG-4では、当初、低ビットレートの符号化方法の標準化を目指して進められたが、現在はインタレース画像も含む高ビットレートも含む、より汎用的な符号化に拡張されている。 Here, MPEG (Moving Picture Experts Group) is an international standard for moving picture signal compression, and MPEG-1 is up to 1.5 Mbps for moving picture signals, that is, up to about 1 / 100th of TV signal information. It is a standard to compress. In addition, since the transmission speed for the MPEG-1 standard is mainly limited to about 1.5 Mbps, MPEG-2 standardized to meet the demand for higher image quality has 2 video signals. Compressed to 15Mbps. Furthermore, at present, the working group (ISO / IEC JTC1 / SC29 / WG11), which has been standardizing with MPEG-1 and MPEG-2, has achieved a compression ratio that exceeds MPEG-1 and MPEG-2, and further, on a per-object basis. MPEG-4, which enables encoding / decoding / operation and realizes new functions required in the multimedia era, has been standardized. In MPEG-4, it was originally aimed at standardizing a low bit rate encoding method, but now it has been extended to a more general purpose encoding including a high bit rate including interlaced images.
上記の動画像符号化においては、一般に動画像が有する空間方向および時間方向の冗長性を利用して情報量の圧縮を行う。ここで、時間方向の冗長性を利用する方法として、ピクチャ間予測符号化が用いられる。ピクチャ間予測符号化では、あるピクチャを符号化する際に、時間的に前方または後方にあるピクチャを参照ピクチャとする。そして、その参照ピクチャからの動き量(動きベクトル)を検出し、動き補償を行ったピクチャと符号化対象のピクチャとの差分値に対して空間方向の冗長度を取り除くことにより情報量の圧縮を行う。 In the above moving image coding, the amount of information is generally compressed using redundancy in the spatial direction and time direction of a moving image. Here, inter-picture predictive coding is used as a method of using temporal redundancy. In inter-picture predictive coding, when a certain picture is coded, a picture that is temporally forward or backward is used as a reference picture. Then, the amount of motion (motion vector) from the reference picture is detected, and the amount of information is compressed by removing the redundancy in the spatial direction for the difference value between the motion compensated picture and the picture to be encoded. Do.
MPEG−1、MPEG−2、MPEG−4、H.263、H.26L等の動画像符号化方式では、ピクチャ間予測符号化を行わない、すなわちピクチャ内符号化を行うピクチャをIピクチャと呼ぶ。ここでピクチャとは、フレームおよびフィールドの両者を包含する1つの符号化の単位を意味する。また、1つのピクチャを参照してピクチャ間予測符号化するピクチャをPピクチャと呼び、処理済みの2つのピクチャを参照してピクチャ間予測符号化するピクチャをBピクチャと呼ぶ。 MPEG-1, MPEG-2, MPEG-4, H.264. 263, H.M. In a moving image coding scheme such as 26L, a picture that does not perform inter-picture predictive coding, that is, performs intra-picture coding is called an I picture. Here, a picture means one encoding unit that includes both a frame and a field. In addition, a picture that is inter-picture predictively encoded with reference to one picture is called a P picture, and a picture that is inter-picture predictively encoded with reference to two processed pictures is called a B picture.
図18は、上記の動画像符号化方式における各ピクチャの予測関係を示す関係表示図である。 FIG. 18 is a relationship display diagram showing the prediction relationship of each picture in the above moving image coding system.
この図18において、縦線は1枚のピクチャを示しており、各ピクチャの右下にピクチャタイプ(I、P、B)を示している。また図18中の矢印は、矢印の終端にあるピクチャが、矢印の始端にあるピクチャを参照ピクチャとして用いてピクチャ間予測符号化することを示している。例えば、先頭から2枚目のBピクチャは、先頭のIピクチャと先頭から4枚目のPピクチャを参照ピクチャとして用いることにより符号化される。 In FIG. 18, the vertical line indicates one picture, and the picture type (I, P, B) is shown at the lower right of each picture. The arrows in FIG. 18 indicate that the picture at the end of the arrow performs inter-picture predictive coding using the picture at the start of the arrow as a reference picture. For example, the second B picture from the beginning is encoded by using the first I picture and the fourth P picture from the beginning as reference pictures.
MPEG−4やH.26L等の動画像符号化方式では、Bピクチャの符号化において、ダイレクトモードという符号化モードを選択することができる。 MPEG-4 and H.264 In a moving picture coding scheme such as 26L, a coding mode called a direct mode can be selected for coding a B picture.
ダイレクトモードにおけるピクチャ間予測符号化方法を、図19を用いて説明する。 The inter picture predictive coding method in the direct mode will be described with reference to FIG.
図19は、ダイレクトモードにおけるピクチャ間予測符号化方法を説明するための説明図である。 FIG. 19 is an explanatory diagram for explaining an inter-picture predictive encoding method in the direct mode.
今、ピクチャB3のブロックCをダイレクトモードで符号化するとする。この場合、ピクチャB3の直前に符号化された参照ピクチャ(この場合には、後方参照ピクチャであるピクチャP4)中の、ブロックCと同じ位置にあるブロックXの動きベクトルMVpを利用する。動きベクトルMVpは、ブロックXが符号化された際に用いられた動きベクトルであり、ピクチャP1を参照している。ブロックCに対しては、動きベクトルMVpと平行な動きベクトルを用いて、参照ピクチャであるピクチャP1とピクチャP4から双方向予測が行われる。この場合のブロックCを符号化する際に用いられる動きベクトルは、ピクチャP1に対しては動きベクトルMVFc、ピクチャP4に対しては動きベクトルMVBcとなる。 Now, assume that block C of picture B3 is encoded in direct mode. In this case, the motion vector MVp of the block X at the same position as the block C in the reference picture (in this case, the picture P4 which is the backward reference picture) encoded immediately before the picture B3 is used. The motion vector MVp is a motion vector used when the block X is encoded, and refers to the picture P1. For block C, bi-directional prediction is performed from pictures P1 and P4, which are reference pictures, using a motion vector parallel to motion vector MVp. The motion vector used when coding the block C in this case is the motion vector MVFc for the picture P1 and the motion vector MVBc for the picture P4.
また、MPEG−4やH.26L等の動画像符号化方式では、動きベクトルの符号化の際に、周辺ブロックの動きベクトルからの予測値と符号化対象ブロックの動きベクトルとの差分値を符号化する。以下、単に「予測値」と呼ぶ場合は、動きベクトルの予測値であることを示す。多くの場合には、近傍のブロックの動きベクトルは同じような方向および大きさを有するので、周辺ブロックの動きベクトルからの予測値との差分値を符号化することにより、動きベクトルの符号量の削減を図ることができる。 Also, MPEG-4 and H.264. In a moving image encoding scheme such as 26L, when a motion vector is encoded, a difference value between a predicted value from a motion vector of a neighboring block and a motion vector of an encoding target block is encoded. Hereinafter, when simply referred to as “predicted value”, it indicates a predicted value of a motion vector. In many cases, since the motion vectors of neighboring blocks have the same direction and size, by encoding the difference value from the predicted value from the motion vectors of the neighboring blocks, the coding amount of the motion vector is reduced. Reduction can be achieved.
ここで、MPEG−4における動きベクトルの符号化方法について、図20を用いて説明する。 Here, a motion vector encoding method in MPEG-4 will be described with reference to FIG.
図20は、MPEG−4における符号化対象ブロックAの動きベクトルMVの符号化方法を説明するための説明図である。 FIG. 20 is an explanatory diagram for describing a method of encoding the motion vector MV of the encoding target block A in MPEG-4.
この図20中の(a)〜(d)において、太枠で示したブロックは16×16画素のマクロブロックを示しており、その中に8×8画素のブロックが4つ存在する。ここでは、8×8画素のブロックを単位として、動きベクトルが求められているとする。 In (a) to (d) of FIG. 20, blocks indicated by thick frames indicate 16 × 16 pixel macroblocks, and there are four 8 × 8 pixel blocks. Here, it is assumed that a motion vector is obtained in units of 8 × 8 pixel blocks.
図20の(a)に示すように、マクロブロック内の左上に位置する符号化対象ブロックAに対しては、その左側にある周辺ブロックBの動きベクトルMVb、上側にある周辺ブロックCの動きベクトルMVc、及び右上側にある周辺ブロックDの動きベクトルMVdから求められた予測値と、符号化対象ブロックAの動きベクトルMVとの差分値が符号化される。 As shown in FIG. 20 (a), for the encoding target block A located at the upper left in the macroblock, the motion vector MVb of the peripheral block B on the left side, the motion vector of the peripheral block C on the upper side The difference value between the prediction value obtained from MVc and the motion vector MVd of the peripheral block D on the upper right side and the motion vector MV of the encoding target block A is encoded.
これと同様、図20の(b)に示すように、マクロブロック内の右上に位置する符号化対象ブロックAに対しては、その左側にある周辺ブロックBの動きベクトルMVb、上側にある周辺ブロックCの動きベクトルMVc、及び右上側にある周辺ブロックDの動きベクトルMVdから求められた予測値と、符号化対象ブロックAの動きベクトルMVとの差分値が符号化される。 Similarly, as shown in FIG. 20B, for the encoding target block A located at the upper right in the macroblock, the motion vector MVb of the peripheral block B on the left side, the peripheral block on the upper side A difference value between the predicted value obtained from the motion vector MVc of C and the motion vector MVd of the peripheral block D on the upper right side and the motion vector MV of the encoding target block A is encoded.
また、図20の(c)に示すように、マクロブロック内の左下に位置する符号化対象ブロックAに対しては、その左側にある周辺ブロックBの動きベクトルMVb、上側にある周辺ブロックCの動きベクトルMVc、及び右上側にある周辺ブロックDの動きベクトルMVdから求められた予測値と、符号化対象ブロックAの動きベクトルMVとの差分値が符号化される。 Also, as shown in FIG. 20 (c), with respect to the encoding target block A located at the lower left in the macroblock, the motion vector MVb of the peripheral block B on the left side and the peripheral block C on the upper side. The difference value between the motion vector MVc and the predicted value obtained from the motion vector MVd of the peripheral block D on the upper right side and the motion vector MV of the encoding target block A is encoded.
そして、図20の(d)に示すように、マクロブロック内の右下に位置する符号化対象ブロックAに対しては、その左側にある周辺ブロックBの動きベクトルMVb、左上側にある周辺ブロックCの動きベクトルMVc、及び上側にある周辺ブロックDの動きベクトルMVdから求められた予測値と、符号化対象ブロックAの動きベクトルMVとの差分値が符号化される。ここで、予測値は、3つの動きベクトルMVb,MVc,MVdの水平成分、垂直成分毎に中央値(メディアン)を取って求められる。 Then, as shown in FIG. 20D, for the encoding target block A located at the lower right in the macroblock, the motion vector MVb of the peripheral block B on the left side, the peripheral block on the upper left side A difference value between the predicted value obtained from the motion vector MVc of C and the motion vector MVd of the upper peripheral block D and the motion vector MV of the encoding target block A is encoded. Here, the predicted value is obtained by taking a median value for each of the horizontal and vertical components of the three motion vectors MVb, MVc, and MVd.
次に、現在規格策定中のH.26Lにおける動きベクトルの符号化方法について、図21を用いて説明する。 Next, H. A motion vector encoding method in 26L will be described with reference to FIG.
図21は、H.26Lにおける符号化対象ブロックAの動きベクトルMVの符号化方法を説明するための説明図である。 FIG. It is explanatory drawing for demonstrating the encoding method of the motion vector MV of the encoding target block A in 26L.
符号化対象ブロックAは、4×4画素、8×8画素又は16×16画素のブロックであって、この符号化対象ブロックAの動きベクトルを符号化するときには、その符号化対象ブロックAの左側に位置する画素bを含む周辺ブロックBの動きベクトルと、符号化対象ブロックAの上側に位置する画素cを含む周辺ブロックCの動きベクトルと、符号化対象ブロックAの右上側に位置する画素dを含む周辺ブロックDの動きベクトルとが用いられる。なお、周辺ブロックB,C,Dのサイズは、図21の点線で示すサイズに限定されない。 The encoding target block A is a block of 4 × 4 pixels, 8 × 8 pixels, or 16 × 16 pixels. When the motion vector of the encoding target block A is encoded, the left side of the encoding target block A is encoded. The motion vector of the peripheral block B including the pixel b positioned at the position B, the motion vector of the peripheral block C including the pixel c positioned above the encoding target block A, and the pixel d positioned on the upper right side of the encoding target block A The motion vector of the peripheral block D including is used. Note that the sizes of the peripheral blocks B, C, and D are not limited to the sizes indicated by the dotted lines in FIG.
図22は、このような周辺ブロックB,C,Dの動きベクトルを用いて符号化対象ブロックAの動きベクトルMVが符号化される手順を示すフロー図である。 FIG. 22 is a flowchart showing a procedure in which the motion vector MV of the encoding target block A is encoded using such motion vectors of the peripheral blocks B, C, and D.
まず、周辺ブロックB,C,Dのうち符号化対象ブロックAと同じピクチャを参照している周辺ブロックを特定し(ステップS502)、その特定された周辺ブロックの数を判別する(ステップS504)。 First, a peripheral block referring to the same picture as the encoding target block A is specified from the peripheral blocks B, C, and D (step S502), and the number of the specified peripheral blocks is determined (step S504).
そして、ステップS504で判別された周辺ブロックの数が1個であれば、同じピクチャを参照しているその1つの周辺ブロックの動きベクトルを、符号化対象ブロックAの動きベクトルMVの予測値とする(ステップS506)。 If the number of peripheral blocks determined in step S504 is one, the motion vector of the one peripheral block referring to the same picture is used as the predicted value of the motion vector MV of the encoding target block A. (Step S506).
また、ステップS504で判別された周辺ブロックの数が1個以外であれば、周辺ブロックB,C,Dのうち符号化対象ブロックAと異なるピクチャを参照している周辺ブロックの動きベクトルを0とする(ステップS507)。そして、周辺ブロックB,C,Dの動きベクトルの中央値を、符号化対象ブロックAの動きベクトルMVの予測値とする(ステップS508)。 If the number of peripheral blocks determined in step S504 is other than one, the motion vector of the peripheral block referring to a picture different from the encoding target block A among the peripheral blocks B, C, and D is set to 0. (Step S507). Then, the median value of the motion vectors of the peripheral blocks B, C, and D is set as the predicted value of the motion vector MV of the encoding target block A (step S508).
このようにステップS506又はステップS508で導出された予測値を用い、その予測値と符号化対象ブロックAの動きベクトルMVとの差分値を求め、その差分値を符号化する(ステップS510)。 In this way, using the prediction value derived in step S506 or step S508, a difference value between the prediction value and the motion vector MV of the encoding target block A is obtained, and the difference value is encoded (step S510).
以上のように、MPEG−4及びH.26Lの動きベクトル符号化方法では、符号化対象ブロックの動きベクトルを符号化するときには、周辺ブロックの動きベクトルを利用する。 As described above, MPEG-4 and H.264 have been described. In the 26L motion vector encoding method, when encoding a motion vector of an encoding target block, motion vectors of peripheral blocks are used.
しかし、周辺ブロックに対して、動きベクトルが符号化されていない場合がある。例えば、その周辺ブロックがピクチャ内符号化で処理されている場合や、Bピクチャにおいてダイレクトモードとして処理されている場合や、Pピクチャにおいてスキップモードとして処理されている場合である。このような場合には、その周辺ブロックは、ピクチャ内符号化されている場合を除いて、他のブロックの動きベクトルを用いて符号化されており、その他の場合には、周辺ブロックは動き検出結果に基づく自らの動きベクトルを用いて符号化されている。 However, there are cases where motion vectors are not encoded for neighboring blocks. For example, the peripheral block is processed by intra-picture encoding, the B picture is processed as a direct mode, or the P picture is processed as a skip mode. In such a case, the peripheral block is encoded using the motion vector of the other block except in the case of intra-picture encoding. In other cases, the peripheral block is motion-detected. It is encoded using its own motion vector based on the result.
そこで上記従来の動きベクトル符号化方法は、3つの周辺ブロックに上述のような動き検出結果に基づく動きベクトルを有さず、他のブロックの動きベクトルを用いて符号化された周辺ブロックが1つ存在する場合には、その周辺ブロックの動きベクトルを0として処理し、2つ存在する場合には、残りの1つの周辺ブロックの動きベクトルを予測値として用い、3つ存在する場合には、予測値は0として動きベクトル符号化の処理を行う。 Therefore, the conventional motion vector encoding method does not have a motion vector based on the motion detection result as described above in three peripheral blocks, and there is one peripheral block encoded using the motion vector of another block. If there are two, the motion vector of the neighboring block is processed as 0. If there are two, the motion vector of the remaining one neighboring block is used as a prediction value. If there are three, the prediction is performed. The value is set to 0 and the motion vector encoding process is performed.
しかしながら、ダイレクトモードやスキップモードでは、動きベクトル情報は符号化されていないものの、実際には検出結果に基づく自らの動きベクトルを使用した場合と同等の動き補償処理が行われている。したがって、上記従来の方法では、周辺ブロックがダイレクトモードやスキップモードで符号化されている場合に、それら周辺ブロックの動きベクトルを予測値の候補として用いないため、動きベクトルの符号化の際に、動きベクトルの予測値の予測能力が低くなり、それに伴い符号化効率が低下するという問題点がある。 However, in the direct mode and the skip mode, although motion vector information is not encoded, a motion compensation process equivalent to the case of using its own motion vector based on the detection result is actually performed. Therefore, in the above-described conventional method, when the peripheral blocks are encoded in the direct mode or the skip mode, the motion vectors of the peripheral blocks are not used as prediction value candidates. There is a problem that the prediction capability of the motion vector prediction value is lowered, and the coding efficiency is lowered accordingly.
本発明は上記問題点を解決するものであり、動きベクトルの予測値の予測能力を高めることで符号化効率を向上した動きベクトル符号化方法および動きベクトル復号化方法を提供することを目的とする。 The present invention solves the above-described problems, and an object of the present invention is to provide a motion vector encoding method and a motion vector decoding method in which the encoding efficiency is improved by increasing the prediction capability of the prediction value of the motion vector. .
上記目的を達成するために、本発明に係る動きベクトル符号化方法は、動画像のピクチャを構成するブロックの動きベクトルを符号化する動きベクトル符号化方法であって、符号化の対象となる前記ブロックの周辺にあって既に符号化済みである3つの周辺ブロックを特定する周辺ブロック特定ステップと、前記3つの周辺ブロックの符号化で用いたそれぞれの参照ピクチャと、符号化の対象となる前記ブロックの符号化で用いる参照ピクチャが同じであるか否かを判断する参照ピクチャ判断ステップと、前記3つの周辺ブロックの動きベクトルを用いて、符号化の対象となる前記ブロックの予測動きベクトルを導出する予測動きベクトル導出ステップと、前記予測動きベクトルを用いて、符号化の対象となる前記ブロックの前記動きベクトルを符号化する動きベクトル符号化ステップと、を包含し、ここで、前記周辺ブロックが前記周辺ブロックの周辺に位置する他のブロックの動きベクトルを用いて予測符号化されている場合には、前記他のブロックの動きベクトルを用いて求められた動きベクトルであって、前記周辺ブロックを予測符号化する際に使用される動きベクトルを、前記予測動きベクトル導出ステップにおいて、前記周辺ブロックの動きベクトルとして用い、更に、前記参照ピクチャ判断ステップで、同じ参照ピクチャであると判断された参照ピクチャを参照する周辺ブロックの数が2又は3の場合は、異なる参照ピクチャを参照する周辺ブロックの動きベクトルの大きさを0とし、前記3つの周辺ブロックの3つの動きベクトルの中央値を、符号化の対象となる前記ブロックの予測動きベクトルとすることを特徴とする。 In order to achieve the above object, a motion vector encoding method according to the present invention is a motion vector encoding method for encoding a motion vector of a block constituting a picture of a moving image, and is the target of encoding. A peripheral block specifying step for specifying three peripheral blocks that have been encoded around the block, the respective reference pictures used for encoding the three peripheral blocks, and the block to be encoded A prediction picture vector of the block to be encoded is derived using a reference picture determination step for determining whether or not the reference pictures used for encoding are the same and the motion vectors of the three neighboring blocks A prediction motion vector deriving step; and using the prediction motion vector, the motion vector of the block to be encoded A motion vector encoding step of encoding, wherein, when the peripheral block is predictively encoded using motion vectors of other blocks located around the peripheral block, A motion vector obtained using a motion vector of another block, which is used when predictively encoding the peripheral block, is used as a motion vector of the peripheral block in the predictive motion vector derivation step. In addition, when the number of neighboring blocks that refer to the reference picture determined to be the same reference picture in the reference picture judging step is 2 or 3, the magnitude of the motion vector of the neighboring block that references a different reference picture The median value of the three motion vectors of the three neighboring blocks is to be encoded. Characterized by a predicted motion vector of the serial block.
また、上記目的を達成するために、本発明に係る動きベクトル符号化方法は、動画像のピクチャを構成するブロックの動きベクトルを符号化する動きベクトル符号化方法であって、符号化の対象となる前記ブロックの周辺にあって既に符号化済みである周辺ブロックを特定する周辺ブロック特定ステップと、前記周辺ブロックそれぞれが有する2つの動きベクトルを用いて、符号化の対象となる前記ブロックの2つの予測動きベクトルを導出する予測動きベクトル導出ステップと、前記2つの予測動きベクトルを用いて、符号化の対象となる前記ブロックの2つの動きベクトルを符号化する動きベクトル符号化ステップと、を包含し、ここで、符号化の対象となる前記ブロックが時間的に前方を特定する前方動きベクトルと時間的に後方を特定する後方動きベクトルとの2つの動きベクトルを用いて予測符号化されている場合であって、且つ、前記周辺ブロックが他のブロックの動きベクトルを用いて予測符号化されている場合は、前記予測動きベクトル導出ステップにおいて、前記他のブロックの動きベクトルを用いて求められた動きベクトルであって、前記周辺ブロックを予測符号化する際に使用された時間的に前方を特定する前方動きベクトルと時間的に後方を特定する後方動きベクトルとの2つの動きベクトルを、それぞれ、前記周辺ブロックが有する前方動きベクトルと後方動きベクトルとしての2つの動きベクトルとして特定し、前記周辺ブロックの該特定された2つの動きベクトルを前記周辺ブロックの動きベクトルとして用いて、符号化の対象となる前記ブロックの予測動きベクトルを前方動きベクトルと後方動きベクトルのそれぞれに対して導出することを特徴とする。 In order to achieve the above object, a motion vector encoding method according to the present invention is a motion vector encoding method for encoding a motion vector of a block constituting a moving picture. A peripheral block specifying step for specifying a peripheral block that is around the block and has already been encoded, and two motion vectors of each of the peripheral blocks, and the two of the blocks to be encoded A prediction motion vector deriving step for deriving a prediction motion vector, and a motion vector encoding step for encoding two motion vectors of the block to be encoded using the two prediction motion vectors. Here, the block to be encoded is characterized by the forward motion vector that identifies the front in time and the rear in time. When the prediction coding is performed using the two motion vectors of the backward motion vector and the surrounding block is prediction coded using the motion vector of another block, the prediction In a motion vector deriving step, a motion vector obtained using a motion vector of the other block, and a forward motion vector and a time that specify the front in terms of time used when predictively encoding the neighboring block The two motion vectors of the backward motion vector for specifying the rear are identified as the two motion vectors as the forward motion vector and the backward motion vector of the peripheral block, respectively, and the specified 2 of the peripheral block is specified. The block to be encoded using two motion vectors as motion vectors of the surrounding blocks Characterized by deriving a predicted motion vector for each of the forward motion vector and backward motion vector.
また、上記目的を達成するために、本発明に係る動きベクトル符号化方法は、動画像のピクチャを構成するブロックの動きベクトルを符号化する動きベクトル符号化方法であって、符号化の対象となる前記ブロックの周辺にあって既に符号化済みの周辺ブロックを特定する周辺ブロック特定ステップと、前記周辺ブロックが他のブロックの動きベクトルを用いて符号化されているか否かを判別する判別ステップと、前記判別ステップで、前記周辺ブロックが他のブロックの動きベクトルを用いて符号化されていると判別されたときには、前記他のブロックの動きベクトルから求められた動きベクトルを前記周辺ブロックの動きベクトルとして用い、前記符号化対象ブロックの動きベクトルの予測値を導出する予測ステップと、前記符号化対象ブロックの動きベクトルを、前記予測値を用いて符号化する符号化ステップとを含むことを特徴とする。 In order to achieve the above object, a motion vector encoding method according to the present invention is a motion vector encoding method for encoding a motion vector of a block constituting a moving picture. A peripheral block specifying step that specifies a peripheral block that has already been encoded in the periphery of the block, and a determining step that determines whether or not the peripheral block is encoded using a motion vector of another block; When the determination step determines that the peripheral block is encoded using the motion vector of another block, the motion vector obtained from the motion vector of the other block is used as the motion vector of the peripheral block. A prediction step for deriving a prediction value of a motion vector of the encoding target block, and the encoding target The locking of motion vectors, characterized in that it comprises an encoding step of encoding by using the prediction value.
また、本発明に係る動きベクトル復号化方法は、動画像のピクチャを構成するブロックの符号化された動きベクトルを復号化する動きベクトル復号化方法であって、復号化の対象となる前記ブロックの周辺にあって既に復号化済みの周辺ブロックを特定する周辺ブロック特定ステップと、前記周辺ブロックが他のブロックの動きベクトルを用いて符号化されていたか否かを判別する判別ステップと、前記判別ステップで、前記周辺ブロックが他のブロックの動きベクトルを用いて符号化されていたと判別されたときには、前記他のブロックの動きベクトルから求められた動きベクトルを前記周辺ブロックの動きベクトルとして用い、前記復号化対象ブロックの動きベクトルの予測値を導出する予測ステップと、前記復号化対象ブロックの符号化された動きベクトルを、前記予測値を用いて復号化する復号化ステップとを含むことを特徴とする。 The motion vector decoding method according to the present invention is a motion vector decoding method for decoding an encoded motion vector of a block constituting a picture of a moving image, wherein the block to be decoded is a motion vector decoding method. A peripheral block specifying step for specifying a peripheral block that has already been decoded in the periphery, a determining step for determining whether or not the peripheral block has been encoded using a motion vector of another block, and the determining step When it is determined that the peripheral block has been encoded using the motion vector of another block, the motion vector obtained from the motion vector of the other block is used as the motion vector of the peripheral block, and the decoding is performed. A prediction step for deriving a prediction value of a motion vector of a block to be encoded, and a code of the block to be decoded A motion vector, characterized in that it comprises a decoding step of decoding by using the prediction value.
なお、本発明は、上記動きベクトル符号化方法を用いる動画像符号化装置及びプログラム並びにそのプログラムを格納する記憶媒体や、上記動きベクトル復号化方法を用いる動画像復号化装置及びプログラム並びにそのプログラムを格納する記憶媒体としても実現することができる。 The present invention relates to a moving picture encoding apparatus and program using the motion vector encoding method, a storage medium storing the program, a moving picture decoding apparatus and program using the motion vector decoding method, and a program thereof. It can also be realized as a storage medium for storing.
以上の説明から明らかなように、本発明に係る動きベクトル符号化方法によれば、動画像のピクチャを構成するブロックの動きベクトルを符号化する動きベクトル符号化方法であって、符号化の対象となる前記ブロックの周辺にあって既に符号化済みの周辺ブロックを特定する周辺ブロック特定ステップと、前記周辺ブロックが他のブロックの動きベクトルを用いて符号化されているか否かを判別する判別ステップと、前記判別ステップで、前記周辺ブロックが他のブロックの動きベクトルを用いて符号化されていると判別されたときには、前記他のブロックの動きベクトルから求められた動きベクトルを前記周辺ブロックの動きベクトルとして用い、前記符号化対象ブロックの動きベクトルの予測値を導出する予測ステップと、前記符号化対象ブロックの動きベクトルを、前記予測値を用いて符号化する符号化ステップとを含むことを特徴とする。 As is clear from the above description, the motion vector encoding method according to the present invention is a motion vector encoding method for encoding a motion vector of a block constituting a moving picture, A peripheral block specifying step for specifying a peripheral block that has already been encoded around the block, and a determining step for determining whether or not the peripheral block is encoded using a motion vector of another block When the determination step determines that the peripheral block is encoded using the motion vector of another block, the motion vector obtained from the motion vector of the other block is used as the motion of the peripheral block. A prediction step for deriving a prediction value of a motion vector of the encoding target block, which is used as a vector, and the encoding The motion vector elephant block, characterized in that it comprises an encoding step of encoding by using the prediction value.
これにより、符号化対象ブロックの動きベクトルを、周辺ブロックの動きベクトルから導出された予測値を用いて符号化するときに、その周辺ブロックが他のブロックの動きベクトルを用いて符号化されている場合、その周辺ブロックの動きベクトルを、0とすることなく、上記他のブロックの動きベクトルから求められた動きベクトルとするため、上記予測値の予測能力を高めることができ、その結果、動きベクトルの符号化効率を向上することができる。 Thereby, when the motion vector of the encoding target block is encoded using the prediction value derived from the motion vector of the peripheral block, the peripheral block is encoded using the motion vector of the other block. In this case, since the motion vector of the surrounding block is set to a motion vector obtained from the motion vector of the other block without setting the motion vector to 0, the prediction capability of the predicted value can be improved. As a result, the motion vector The encoding efficiency can be improved.
また、本発明に係る動きベクトル復号化方法によれば、動画像のピクチャを構成するブロックの符号化された動きベクトルを復号化する動きベクトル復号化方法であって、復号化の対象となる前記ブロックの周辺にあって既に復号化済みの周辺ブロックを特定する周辺ブロック特定ステップと、前記周辺ブロックが他のブロックの動きベクトルを用いて符号化されていたか否かを判別する判別ステップと、前記判別ステップで、前記周辺ブロックが他のブロックの動きベクトルを用いて符号化されていたと判別されたときには、前記他のブロックの動きベクトルから求められた動きベクトルを前記周辺ブロックの動きベクトルとして用い、前記復号化対象ブロックの動きベクトルの予測値を導出する予測ステップと、前記復号化対象ブロックの符号化された動きベクトルを、前記予測値を用いて復号化する復号化ステップとを含むことを特徴とする。 The motion vector decoding method according to the present invention is a motion vector decoding method for decoding an encoded motion vector of a block constituting a moving picture, which is a decoding target. A peripheral block specifying step that specifies a peripheral block that has already been decoded around the block; a determination step that determines whether or not the peripheral block has been encoded using a motion vector of another block; and When it is determined in the determination step that the peripheral block has been encoded using the motion vector of another block, the motion vector obtained from the motion vector of the other block is used as the motion vector of the peripheral block, A prediction step of deriving a prediction value of a motion vector of the decoding target block; and the decoding target block The encoded motion vector, characterized in that it comprises a decoding step of decoding by using the prediction value.
これにより、本発明に係る動きベクトル符号化方法により符号化された動きベクトルを正しく復号化することができ、その実用的価値が高い。 Thereby, the motion vector encoded by the motion vector encoding method according to the present invention can be correctly decoded, and its practical value is high.
(実施の形態1)
以下、本発明の第1の実施の形態における動画像符号化装置について図面を参照しながら説明する。
(Embodiment 1)
Hereinafter, a moving picture coding apparatus according to a first embodiment of the present invention will be described with reference to the drawings.
図1は、本発明の第1の実施の形態における動画像符号化装置100のブロック図である。
FIG. 1 is a block diagram of a moving
この動画像符号化装置100は、動きベクトルの予測値の予測能力を高めることで符号化効率を向上したものであって、フレームメモリ101、差分演算部102、予測誤差符号化部103、符号列生成部104、予測誤差復号化部105、加算演算部106、フレームメモリ107、動きベクトル検出部108、モード選択部109、符号化制御部110、スイッチ111〜115、動きベクトル記憶部116、及び動きベクトル符号化部117を備える。
This moving
フレームメモリ101は、入力画像をピクチャ単位で保持する画像メモリであって、ピクチャ単位で時間順に取得された入力画像を符号化順に並び替えて出力する。その並び替えは、符号化制御部110により制御される。
The
図2の(a)は、フレームメモリ101に入力されるピクチャの様子を示す。
FIG. 2A shows a picture that is input to the
この図2の(a)において、縦線はピクチャを示し、各ピクチャの右下に示す記号のうち、1文字目のアルファベットがピクチャタイプ(I、PまたはB)を示し、2文字目以降の数字が時間順のピクチャ番号を示している。フレームメモリ101に入力された各ピクチャは、符号化順に並び替えられる。符号化順への並び替えは、ピクチャ間予測符号化における参照関係に基づいて行われ、参照ピクチャとして用いられるピクチャが、そのピクチャを参照ピクチャとして用いるピクチャよりも先に符号化されるように並び替えられる。例えば、ピクチャP7〜P13の各ピクチャの参照関係は、図2の(a)に示す矢印の通りとなる。図2の(a)において、矢印の始点は参照されるピクチャを示し、矢印の終点は参照するピクチャを示している。この場合、図2の(a)のピクチャを並び替えた結果は図2の(b)に示すようになる。
In FIG. 2A, the vertical line indicates a picture, and among the symbols shown at the lower right of each picture, the first letter alphabet indicates the picture type (I, P or B), and the second and subsequent letters. The numbers indicate picture numbers in time order. The pictures input to the
図2の(b)は、(a)のように入力されたピクチャが並び替えられた様子を示す。このようにフレームメモリ101で並び替えが行われた各ピクチャは、マクロブロックの単位で読み出される。ここでは、マクロブロックは水平16×垂直16画素の大きさである。
FIG. 2B shows a state where the input pictures are rearranged as shown in FIG. Each picture rearranged in the
差分演算部102は、フレームメモリ101から、スイッチ111を介してマクロブロック単位で画像データを取得するとともに、モード選択部109から動き補償画像を取得する。そして差分演算部102は、マクロブロック単位の画像データと動き補償画像との差分を演算し、予測誤差画像を生成して出力する。
The
予測誤差符号化部103は、スイッチ112を介して、フレームメモリ101から取得した画像データ、または差分演算部102で求められた予測誤差画像に離散コサイン変換などの周波数変換や量子化などの符号化処理を施すことにより、符号化データを作成する。例えば、周波数変換や量子化の処理は、水平8×垂直8画素の単位で行われる。そして予測誤差符号化部103は、符号化データを符号列生成部104と予測誤差復号化部105に出力する。
The prediction
符号列生成部104は、予測誤差符号化部103からの符号化データに対して可変長符号化を施して、出力用の符号化ビットストリームのフォーマットに変換して、さらに動きベクトル符号化部117から入力された動きベクトルの情報、モード選択部109から入力された符号化モードの情報、その他のヘッダ情報等を付加することにより符号列を生成する。
The code
予測誤差復号化部105は、予測誤差符号化部103からの符号化データを、逆量子化した後、逆離散コサイン変換などの逆周波数変換を施し、予測誤差画像に復号化する。
The prediction
加算演算部106は、復号化結果である予測誤差画像に前記動き補償画像を加算して、符号化および復号化を経た画像データであって1ピクチャの画像を示す復号化画像を出力する。
The
フレームメモリ107は、加算演算部106から出力された復号化画像のうち、他のピクチャの符号化時に参照ピクチャとして用いられるピクチャをピクチャ単位で保持する画像メモリである。
The
動きベクトル検出部108は、フレームメモリ107に蓄積された復号化画像を参照ピクチャとして用いて、符号化対象のマクロブロック内の各ブロックに対して、動きベクトルの検出を行う。検出された動きベクトルは、モード選択部109に対して出力される。
The motion
モード選択部109は、動きベクトル検出部108で検出された動きベクトルを用いて、マクロブロックの符号化モードを決定する。ここで符号化モードとは、マクロブロックをどのような方法で符号化するかを示すものである。例えば、モード選択部109は、符号化対象ピクチャがPピクチャの場合には、ピクチャ内符号化、動きベクトルを用いたピクチャ間予測符号化、及びスキップモード(他のブロックの動きベクトルから求めた動きベクトルを用いて予測符号化を行うことにより、動きベクトルを符号化せず、かつ予測誤差符号化の結果、係数値がすべて0となり、係数値を符号化しないピクチャ間予測符号化)の中から、いずれかを符号化モードとして決める。また、一般的には、所定のビット量で符号化誤差が最小となるような符号化モードが決定される。
The
そしてモード選択部109は、決定された符号化モードを符号列生成部104に、その符号化モードにおいて用いる動きベクトルを動きベクトル符号化部117に対して出力する。さらに、モード選択部109は、決定された符号化モードが動きベクトルを用いたピクチャ間予測符号化であるときには、そのピクチャ間予測符号化で用いられる動きベクトルと符号化モードを動きベクトル記憶部116に記憶させる。
The
また、モード選択部109は、決定された符号化モードと、動きベクトル検出部108で検出された動きベクトルとに基づいて動き補償を行って動き補償画像を作成し、その動き補償画像を差分演算部102と加算演算部106とに出力する。ただし、ピクチャ内符号化が選択された場合には、動き補償画像は出力されない。さらに、モード選択部109でピクチャ内符号化が選択された場合には、モード選択部109は、スイッチ111が端子aに接続するように、スイッチ112が端子cに接続するように両スイッチ111,112を制御し、ピクチャ間予測符号化が選択された場合には、スイッチ111が端子bに接続するように、スイッチ112が端子dに接続するように両スイッチ111,112を制御する。また、上述の動き補償はブロック単位(ここでは8×8画素の大きさとする)で行われる。
Further, the
符号化制御部110は、入力されたピクチャをどのタイプのピクチャ(I、PまたはBピクチャ)で符号化するかを決定し、そのピクチャタイプにより、スイッチ113,114,115を制御する。ここで、ピクチャタイプの決定には、例えば、周期的にピクチャタイプを割り当てる方法が一般的に用いられる。
The
動きベクトル記憶部116は、ピクチャ間予測符号化で用いられる動きベクトルと符号化モードとをモード選択部109から取得してこれを記憶しておく。
The motion
動きベクトル符号化部117は、モード選択部109で動きベクトルを用いたピクチャ間予測符号化が選択されたときには、図20や図21を参照して説明した方法により、符号化対象ブロックの動きベクトルの符号化を行う。すなわち、動きベクトル符号化部117は、符号化対象ブロックの周辺にある3つの周辺ブロックを特定し、これらの周辺ブロックの動きベクトルから予測値を決定し、その予測値と符号化の対象となる現在のブロックの動きベクトルとの差分値を符号化する。
When the
また、本実施の形態における動きベクトル符号化部117は、符号化対象ブロックの動きベクトルを符号化するときに、周辺ブロックがスキップモードやダイレクトモードなど、他のブロックの動きベクトルを用いて符号化されている場合には、その周辺ブロックの動きベクトルを従来例のように0とすることなく、その周辺ブロックの符号化の際に上記他のブロックの動きベクトルから求められた動きベクトルを、その周辺ブロックの動きベクトルとして扱う。
In addition, when encoding the motion vector of the current block, the motion
図3は、本実施の形態における動きベクトル符号化部117の一般的な動作を示すフロー図である。
FIG. 3 is a flowchart showing a general operation of the motion
まず、動きベクトル符号化部117は、符号化対象ブロックの周辺にある既に符号化済みの3つの周辺ブロックを特定する(ステップS100)。
First, the motion
そして動きベクトル符号化部117は、その特定された周辺ブロックのそれぞれが、他のブロックの動きベクトルを用いて符号化された周辺ブロックBaか、他のブロックの動きベクトルを用いずに符号化された周辺ブロックBbかを判別する(ステップS102)。
Then, the motion
その結果、動きベクトル符号化部117は、特定された3つの周辺ブロックの中に周辺ブロックBaが含まれているか否かを判別する(ステップS104)。
As a result, the motion
ステップS104で周辺ブロックBaが含まれていると判別されたときには(ステップS104のY)、動きベクトル符号化部117は、周辺ブロックBaを符号化するために他のブロックの動きベクトルから求められた動きベクトルをその周辺ブロックBaの動きベクトルとして扱い、上述のように3つの周辺ブロックの動きベクトルから予測値を導出する(ステップS106)。
When it is determined in step S104 that the peripheral block Ba is included (Y in step S104), the motion
一方、ステップS104で周辺ブロックBaが含まれていないと判別されたときには(ステップS104のN)、動きベクトル符号化部117は、3つの周辺ブロックBbのそれぞれの動き検出およびモード選択結果に基づく動きベクトルから予測値を導出する(ステップS108)。
On the other hand, when it is determined in step S104 that the peripheral block Ba is not included (N in step S104), the motion
そして動きベクトル符号化部117は、符号化対象ブロックの動きベクトルと、ステップS106,S108で導出された予測値との差分を符号化する(ステップS110)。また、動きベクトル符号化部117は、このように符号化された動きベクトルを符号列生成部104に対して出力する。
Then, the motion
ここで、上述のような動画像符号化装置100の符号化処理について、具体的に図2に示すピクチャP13及びピクチャB11の符号化を例に挙げて説明する。
Here, the encoding process of the moving
<ピクチャP13の符号化処理>
ピクチャP13はPピクチャであるので、動画像符号化装置100は、ピクチャP13に対して符号化処理するときには、他の1つのピクチャを参照ピクチャとして用いるピクチャ間予測符号化を行う。この場合の参照ピクチャはピクチャP10となる。このピクチャP10に対しては、既に符号化が終了しており、そのピクチャP10の復号化画像がフレームメモリ107に蓄積されている。
<Encoding process of picture P13>
Since the picture P13 is a P picture, the moving
符号化制御部110は、Pピクチャの符号化においては、スイッチ113、114、115がオンになるように各スイッチを制御する。したがって、フレームメモリ101から読み出されたピクチャP13のマクロブロックは、動きベクトル検出部108、モード選択部109、及び差分演算部102に取得される。
The
動きベクトル検出部108は、フレームメモリ107に蓄積されたピクチャP10の復号化画像を参照ピクチャとして用い、マクロブロック内の各ブロックに対して、動きベクトルの検出を行い、検出された動きベクトルをモード選択部109に対して出力する。
The motion
モード選択部109は、動きベクトル検出部108で検出された動きベクトルを用いて、ピクチャP13のマクロブロックの符号化モードを決定する。即ち、ピクチャP13はPピクチャであるので、モード選択部109は、上述のように、ピクチャ内符号化、動きベクトルを用いたピクチャ間予測符号化、及びスキップモード(他のブロックの動きベクトルから求めた動きベクトルを用いて動き補償を行うことにより、動きベクトルを符号化せず、かつ予測誤差符号化の結果、すべての係数値が0となり係数値を符号化しないピクチャ間予測符号化)の中から符号化モードを決める。
The
そして本実施の形態における動きベクトル符号化部117は、上述のようにモード選択部109で動きベクトルを用いたピクチャ間予測符号化が選択されたときには、図20を参照して説明した方法によりピクチャP13の符号化対象ブロックの動きベクトルを符号化するが、その符号化対象ブロックの周辺にある周辺ブロックがスキップモードで符号化されている場合には、その周辺ブロックの動きベクトルを0とはせずに、その周辺ブロックを符号化するために他のブロックから求められた動きベクトルを、その周辺ブロックの動きベクトルとして扱う。
Then, when the
このような周辺ブロックがスキップモードで符号化されている場合における符号化対象ブロックの動きベクトルの符号化方法を説明する。 A description will be given of a method of encoding a motion vector of an encoding target block when such a peripheral block is encoded in the skip mode.
図4は、周辺ブロックCがスキップモードで符号化される様子を説明するための説明図である。 FIG. 4 is an explanatory diagram for explaining how the peripheral block C is encoded in the skip mode.
この図4に示すように、ピクチャP13の周辺ブロックCがスキップモードで符号化されるときには、その周辺ブロックCの周りに位置する、ブロックEの動きベクトルMVeと、ブロックFの動きベクトルMVfと、ブロックGの動きベクトルMVgとの中央値が求められ、その中央値を示す動きベクトルMVcmを用いて周辺ブロックCが符号化されている。ここで、動きベクトルの中央値は、例えば水平成分と、垂直成分のそれぞれに対して中央値を求めることにより得られる。 As shown in FIG. 4, when the peripheral block C of the picture P13 is encoded in the skip mode, the motion vector MVe of the block E, the motion vector MVf of the block F, which are located around the peripheral block C, The median value of the motion vector MVg of the block G is obtained, and the peripheral block C is encoded using the motion vector MVcm indicating the median value. Here, the median value of the motion vector is obtained, for example, by obtaining the median value for each of the horizontal component and the vertical component.
動きベクトル符号化部117は、図4に示す符号化対象ブロックAの動きベクトルを符号化するときには、符号化対象ブロックAの周辺にある3つの周辺ブロックB,C,Dを特定し(ブロックB,C,Dの位置関係は、図20、図21を参照)、周辺ブロックB,C,Dのそれぞれが、他のブロックの動きベクトルを用いて符号化されたブロックか否かを判別する。その結果、動きベクトル符号化部117は、周辺ブロックCのみがスキップモードで符号化、つまり他のブロックを用いて符号化されたと判別すると、上述のように周辺ブロックCを符号化するために他のブロックであるブロックE,F,Gの動きベクトルから求められた中央値(動きベクトルMVcm)を周辺ブロックCの動きベクトルとして扱い、その動きベクトルMVcmと周辺ブロックB,Dのそれぞれの動きベクトルとの中央値を求め、この中央値を符号化対象ブロックAの動きベクトルの予測値とする。そして、動きベクトル符号化部117は、その予測値と符号化対象ブロックAの動きベクトルとの差分値を符号化する。
When the motion
また、動きベクトル記憶部116は、符号化されたブロックの符号化モードを記憶しており、この動きベクトル記憶部116が記憶する符号化モードに基づき、動きベクトル符号化部117は、周辺ブロックB,C,Dのそれぞれが他のブロックの動きベクトルを用いて符号化されたブロックか否かを判別する。さらに、動きベクトル記憶部116は、他のブロックの動きベクトルを用いずに、参照ピクチャから検出された自らの動きベクトルを用いて符号化されたブロックに対しては、そのブロックの動きベクトルを記憶している。即ち、動きベクトル記憶部116は、ブロックE,F,Gのそれぞれの動きベクトルMVe,MVf,MVgを記憶しており、動きベクトル符号化部117は、符号化対象ブロックAの動きベクトルを符号化するときには、動きベクトル記憶部116が記憶するこれらの動きベクトルを用いて周辺ブロックCに対して上述の動きベクトルMVcmを求める。なお、動きベクトル記憶部116が、他のブロックの動きベクトルを用いて符号化されたブロックに対して、そのブロックを符号化するために中央値を取って求められた動きベクトルを予め記憶しておいても良い。この場合、動きベクトル記憶部116は、動きベクトルMVcmを予め記憶しているため、動きベクトル符号化部117は符号化対象ブロックAの動きベクトルを符号化するときに、周辺ブロックCに対して動きベクトルMVcmを求める必要がなく、動きベクトル記憶部116が予め記憶する動きベクトルMVcmをそのまま周辺ブロックCの動きベクトルとして用いることができる。
The motion
一方、ピクチャP13の符号化対象のマクロブロックと動き補償画像との差分を示す予測誤差画像が、予測誤差符号化部103及び符号列生成部104で符号化されて符号化データとして生成されており、上述のように符号化された動きベクトルの情報は、符号列生成部104でその符号化データに付加される。但し、スキップモードで符号化されたマクロブロックについては、マクロブロックと動き補償画像との差分が0であり、動きベクトルの情報も符号化データに付加されない。
On the other hand, the prediction error image indicating the difference between the macroblock to be encoded of the picture P13 and the motion compensated image is encoded by the prediction
以後、同様の処理により、ピクチャP13の残りのマクロブロックに対して、符号化処理が行われる。そして、ピクチャP13のすべてのマクロブロックについて処理が終わると、次にピクチャB11の符号化処理が行われる。 Thereafter, the encoding process is performed on the remaining macroblocks of the picture P13 by the same process. When all macroblocks in the picture P13 are processed, the encoding process for the picture B11 is performed next.
<ピクチャB11の符号化処理>
ピクチャB11はBピクチャであるので、動画像符号化装置100は、ピクチャB11に対して符号化処理するときには、他の2つのピクチャを参照ピクチャとして用いるピクチャ間予測符号化を行う。この場合の参照ピクチャは、図2に示すように、ピクチャB11の前方にあるピクチャP10と、ピクチャB11の後方にあるピクチャP13とである。これらのピクチャP10,P13に対しては、既に符号化が終了しており、そのピクチャP10,P13の復号化画像がフレームメモリ107に蓄積されている。
<Encoding process of picture B11>
Since the picture B11 is a B picture, the moving
符号化制御部110は、Bピクチャの符号化においては、スイッチ113がオン、スイッチ114、115がオフになるように各スイッチを制御する。したがって、フレームメモリ101から読み出されたピクチャB11のマクロブロックは、動きベクトル検出部108、モード選択部109、及び差分演算部102に取得される。
The
動きベクトル検出部108は、フレームメモリ107に蓄積されたピクチャP10の復号化画像を前方参照ピクチャとして用い、ピクチャP13の復号化画像を後方参照ピクチャとして用いることにより、マクロブロック内の各ブロックに対して、前方動きベクトルと後方動きベクトルの検出を行い、検出された前方動きベクトル及び後方動きベクトルをモード選択部109に対して出力する。
The motion
モード選択部109は、動きベクトル検出部108で検出した前方動きベクトル及び後方動きベクトルを用いて、ピクチャB11のマクロブロックの符号化モードを決定する。即ち、ピクチャB11はBピクチャであるので、モード選択部109は、例えば、ピクチャ内符号化、前方動きベクトルを用いたピクチャ間予測符号化、後方動きベクトルを用いたピクチャ間予測符号化、双方向動きベクトルを用いたピクチャ間予測符号化、及びダイレクトモード(他のブロックの動きベクトルから求めた動きベクトルを用いて動き補償を行い、動きベクトルを符号化しないピクチャ間予測符号化)の中から符号化モードを決める。
The
そして本実施の形態における動きベクトル符号化部117は、上述のようにモード選択部109で動きベクトルを用いたピクチャ間予測符号化が選択されたときには、図20を参照して説明した方法によりピクチャB13の符号化対象ブロックの動きベクトルを符号化する。
Then, when the
具体的に、モード選択部109で双方向動きベクトルを用いたピクチャ間予測符号化が選択されたときには、動きベクトル符号化部117は、以下のようにして符号化対象ブロックの動きベクトルを符号化する。
Specifically, when inter-picture predictive coding using a bidirectional motion vector is selected by the
図5は、双方向動きベクトルを用いたピクチャ間予測符号化を説明するための説明図である。 FIG. 5 is an explanatory diagram for explaining inter-picture predictive coding using bidirectional motion vectors.
動きベクトル符号化部117は、符号化対象ブロックAの動きベクトルを符号化するときには、前方動きベクトルMVFと後方動きベクトルMVBとに対して符号化を行う。
When the motion
つまり、動きベクトル符号化部117は、周辺ブロックB,C,Dのそれぞれの前方動きベクトルMVF1,MVF2,MVF3の中央値を、前方動きベクトルMVFの予測値とし、前方動きベクトルMVFとその予測値との差分値を符号化する。そして、動きベクトル符号化部117は、周辺ブロックB,C,Dのそれぞれの後方動きベクトルMVB1,MVB2,MVB3の中央値を、後方動きベクトルMVBの予測値とし、後方動きベクトルMVBとその予測値との差分値を符号化する。ここで動きベクトルの中央値は、例えば、水平成分、垂直成分の各成分ごとに中央値を取って求められる。
That is, the motion
ここで本実施の形態における動きベクトル符号化部117は、Bピクチャの符号化対象ブロックの動きベクトルを符号化するときに、その周辺ブロックがダイレクトモードで符号化されている場合、その周辺ブロックの動きベクトルを0とはせずに、その周辺ブロックを符号化するために他のブロックから求められた動きベクトルを、その周辺ブロックの動きベクトルとする。また、ダイレクトモードには、時間的なダイレクトモードと空間的なダイレクトモードの2種類がある。
Here, the motion
まず、周辺ブロックが時間的なダイレクトモードで符号化されている場合における符号化対象ブロックの動きベクトルの符号化方法について説明する。 First, a description will be given of a method of encoding a motion vector of an encoding target block when peripheral blocks are encoded in a temporal direct mode.
図6は、周辺ブロックCが時間的なダイレクトモードで符号化される様子を説明するための説明図である。 FIG. 6 is an explanatory diagram for explaining how the peripheral block C is encoded in the temporal direct mode.
この図6に示すように、ピクチャB11の周辺ブロックCがダイレクトモードで符号化されるときには、直前に符号化された後方参照ピクチャであるピクチャP13中の、周辺ブロックCと同じ位置にあるブロックXの動きベクトルMVpを利用する。動きベクトルMVpは、ブロックXが符号化された際に用いられた動きベクトルであり、動きベクトル記憶部116に記憶されている。この動きベクトルMVpは、ピクチャP10を参照している。周辺ブロックCの符号化に対しては、動きベクトルMVpと平行な動きベクトルを用いて、参照ピクチャであるピクチャP10とピクチャP13とから双方向予測が行われる。この場合の周辺ブロックCを符号化する際に用いられる動きベクトルは、ピクチャP10に対しては動きベクトルMVFc、ピクチャP13に対しては動きベクトルMVBcとなる。
As shown in FIG. 6, when the peripheral block C of the picture B11 is encoded in the direct mode, the block X at the same position as the peripheral block C in the picture P13 which is the backward reference picture encoded immediately before. The motion vector MVp is used. The motion vector MVp is a motion vector used when the block X is encoded, and is stored in the motion
ここで、前方向動きベクトルである動きベクトルMVFcの大きさをmvf、後方向動きベクトルである動きベクトルMVBcの大きさをmvb、動きベクトルMVpの大きさをmvp、符号化対象のピクチャ(ピクチャB11)の後方参照ピクチャ(ピクチャP13)と、その後方参照ピクチャのブロックが参照しているピクチャ(ピクチャP10)との時間的距離をTRD、符号化対象のピクチャ(ピクチャB11)と後方参照ピクチャのブロックが参照しているピクチャ(ピクチャP10)との時間的距離をTRBとすると、mvf、mvbは、それぞれ以下に示す(式1)及び(式2)で求められる。 Here, the magnitude of the motion vector MVFc that is the forward motion vector is mvf, the magnitude of the motion vector MVBc that is the backward motion vector is mvb, the magnitude of the motion vector MVp is mvp, and the picture to be encoded (picture B11) ) Of the backward reference picture (picture P13) and the picture (picture P10) referenced by the block of the backward reference picture is TRD, the picture to be coded (picture B11) and the block of the backward reference picture If the temporal distance to the picture (picture P10) referred to by TRB is TRB, mvf and mvb are obtained by (Expression 1) and (Expression 2) shown below, respectively.
mvf=mvp×TRB/TRD----(式1)
mvb=(TRB−TRD)×mvp/TRD----(式2)
mvf = mvp × TRB / TRD ---- (Equation 1)
mvb = (TRB-TRD) × mvp / TRD ---- (Equation 2)
ここで、mvf、mvbは、動きベクトルの水平成分、垂直成分のそれぞれを表現しているものとする。また、動きベクトルMVpの方向を正の値で示し、動きベクトルMVpと逆の方向を負の値で示すものとする。 Here, mvf and mvb represent the horizontal component and the vertical component of the motion vector, respectively. Also, the direction of the motion vector MVp is indicated by a positive value, and the direction opposite to the motion vector MVp is indicated by a negative value.
周辺ブロックCはこのように求められた動きベクトルMVFc,MVBcを用いて符号化されている。 The peripheral block C is encoded using the motion vectors MVFc and MVBc thus obtained.
動きベクトル符号化部117は、図5に示す符号化対象ブロックAの動きベクトルMVF,MVBを符号化するときには、符号化対象ブロックAの周辺にある3つの周辺ブロックB,C,Dを特定し、周辺ブロックB,C,Dのそれぞれが、他のブロックの動きベクトルを用いて符号化されたブロックか否かを判別する。その結果、動きベクトル符号化部117は、周辺ブロックCのみが時間的なダイレクトモードで符号化、つまり他のブロックの動きベクトルを用いて符号化されていると判別すると、図6に示すように周辺ブロックCを符号化するために他のブロックであるブロックXの動きベクトルMVpから求められた動きベクトルMVFc,MVBcを周辺ブロックCの動きベクトルとして扱い、これらの動きベクトルMVFc,MVBcと周辺ブロックB,Dのそれぞれの動きベクトルとの中央値を求めることで、符号化対象ブロックAの動きベクトルの予測値を導出する。なお、このような予測値の導出は、前方向と後方向とに分けて行われる。そして、動きベクトル符号化部117は、その予測値と符号化対象ブロックAの動きベクトルMVF,MVBとの差分値を符号化する。
When encoding the motion vectors MVF and MVB of the encoding target block A shown in FIG. 5, the motion
また、動きベクトル記憶部116は、符号化されたブロックの符号化モードを記憶しており、この動きベクトル記憶部116が記憶する符号化モードに基づき、動きベクトル符号化部117は、周辺ブロックB,C,Dのそれぞれが他のブロックの動きベクトルを用いて符号化されたブロックか否かを判別する。さらに、動きベクトル記憶部116は、他のブロックの動きベクトルを用いずに、参照ピクチャから検出された自らの動きベクトルを用いて符号化されたブロックに対しては、そのブロックの動きベクトルを記憶している。即ち、動きベクトル符号化部117は、符号化対象ブロックAの動きベクトルを符号化するときには、周辺ブロックB,Dに対しては、動きベクトル記憶部116が記憶する動きベクトルをそのまま用いるが、周辺ブロックCに対しては、動きベクトル記憶部116に記憶されているブロックXの動きベクトルMVpを読み出して動きベクトルMVFc,MVBcを求める。なお、動きベクトル記憶部116が、他のブロックの動きベクトルを用いて符号化されたブロックに対して、そのブロックを符号化するために他のブロックの動きベクトルから求められた動きベクトルを予め記憶しておいても良い。この場合、動きベクトル記憶部116は、動きベクトルMVFc,MVBcを予め記憶しているため、動きベクトル符号化部117は符号化対象ブロックAの動きベクトルを符号化するときに、周辺ブロックCに対して、ブロックXの動きベクトルMVpを読み出して(式1)および(式2)を用いて動きベクトルMVFc,MVBcを求める必要がなく、動きベクトル記憶部116が記憶する動きベクトルMVFc,MVBcをそのまま周辺ブロックCの動きベクトルとして用いることができる。
The motion
次に、周辺ブロックが空間的なダイレクトモードで符号化されている場合における符号化対象ブロックの動きベクトルの符号化方法について説明する。 Next, a description will be given of a method for encoding a motion vector of an encoding target block when peripheral blocks are encoded in a spatial direct mode.
図7は、周辺ブロックが空間的なダイレクトモードで符号化される様子を説明するための説明図である。 FIG. 7 is an explanatory diagram for explaining a state in which peripheral blocks are encoded in the spatial direct mode.
この図7に示すように、ピクチャB11の周辺ブロックCが空間的なダイレクトモードで符号化されるときには、周辺ブロックCの周辺にあるブロックEの動きベクトルMVFe,MVBeと、ブロックFの動きベクトルMVFf,MVBfと、ブロックGの動きベクトルMVFg,MVBgとからそれぞれ前後方向に分けて中央値を取って求められる動きベクトルMVFc,MVBcを用いて符号化される。 As shown in FIG. 7, when the peripheral block C of the picture B11 is encoded in the spatial direct mode, the motion vectors MVFe and MVBe of the block E around the peripheral block C and the motion vector MVFf of the block F , MVBf and the motion vectors MVFg and MVBg of the block G are encoded using motion vectors MVFc and MVBc which are obtained by dividing each of them in the front-rear direction and taking the median value.
動きベクトル符号化部117は、図5に示す符号化対象ブロックAの動きベクトルMVF,MVBを符号化するときには、符号化対象ブロックAの周辺にある3つの周辺ブロックB,C,Dを特定し、周辺ブロックB,C,Dのそれぞれが、他のブロックの動きベクトルを用いて符号化されたブロックか否かを判別する。その結果、動きベクトル符号化部117は、周辺ブロックCのみが空間的なダイレクトモードで符号化、つまり他のブロックの動きベクトルを用いて符号化されていると判別すると、図7に示すように周辺ブロックCを符号化するために他のブロックであるブロックE,F,Cの動きベクトルから求められた動きベクトルMVFc,MVBcを周辺ブロックCの動きベクトルとして扱い、これらの動きベクトルと周辺ブロックB,Dのそれぞれの動きベクトルとの中央値を求めることで、符号化対象ブロックAの動きベクトルの予測値を導出する。そして、動きベクトル符号化部117は、その予測値と符号化対象ブロックAの動きベクトルMVF,MVBとの差分値を符号化する。
When encoding the motion vectors MVF and MVB of the encoding target block A shown in FIG. 5, the motion
また、動きベクトル記憶部116は、他のブロックの動きベクトルを用いずに、参照ピクチャから検出された自らの動きベクトルを用いて符号化されたブロックに対しては、そのブロックの動きベクトルを記憶しているので、ブロックE,F,Gのそれぞれに対して前後方向の2つの動きベクトルを記憶しており、動きベクトル符号化部117は、符号化対象ブロックAの動きベクトルを符号化するときには、動きベクトル記憶部116が記憶するこれらの動きベクトルを用いて周辺ブロックCに対して動きベクトルMVFc,MVBcを求める。なお、動きベクトル記憶部116が、他のブロックの動きベクトルを用いて符号化されたブロックに対して、そのブロックを符号化するために中央値を取って求められた前後方向の2つの動きベクトルを予め記憶しておいても良い。この場合、動きベクトル記憶部116は、動きベクトルMVFc,MVBcを予め記憶しているため、動きベクトル符号化部117は、符号化対象ブロックAの動きベクトルを符号化するときに、周辺ブロックCに対して動きベクトルMVFc,MVBcを求める必要がなく、動きベクトル記憶部116が記憶する動きベクトルMVFc,MVBcをそのまま周辺ブロックCの動きベクトルとして用いることができる。
In addition, the motion
このように、前述の時間的なダイレクトモードで周辺ブロックCが符号化されているときには、符号化対象ピクチャの後方参照ピクチャ(上述の例では、ピクチャP13)の動きベクトルを動きベクトル記憶部116に記憶させておく必要があったが、空間的なダイレクトモードで周辺ブロックCが符号化されているときには、その記憶を省くことができる。
Thus, when the peripheral block C is encoded in the temporal direct mode described above, the motion vector of the backward reference picture (picture P13 in the above example) of the encoding target picture is stored in the motion
ここで、動画像符号化装置100は、符号化対象ブロックの動きベクトルを符号化するときに、その周辺にある周辺ブロックが上述のようなピクチャ間予測符号化ではなく、ピクチャ内符号化で処理されている場合には、例外的な処理を行う。
Here, when encoding the motion vector of the encoding target block, the moving
例えば、3つの周辺ブロック中にピクチャ内符号化で符号化されたブロックが1つ存在する場合には、動画像符号化装置100の動きベクトル符号化部117は、そのブロックの動きベクトルを0として処理を行う。また、ピクチャ内符号化で符号化された周辺ブロックが2つ存在する場合には、動きベクトル符号化部117は残りの1つの周辺ブロックの動きベクトルを、符号化対象ブロックの動きベクトルの予測値として用いる。さらに、3つの周辺ブロックの全てがピクチャ内符号化で符号化されている場合には、動きベクトル符号化部117は、符号化対象ブロックの動きベクトルの予測値を0としてその動きベクトルの符号化処理を行う。
For example, when there is one block encoded by intra-picture encoding among three neighboring blocks, the motion
一方、ピクチャB11の符号化対象のマクロブロックと動き補償画像との差分を示す予測誤差画像が、予測誤差符号化部103及び符号列生成部104で符号化されて符号化データとして生成されており、上述のように符号化された動きベクトルの情報は、符号列生成部104でその符号化データに付加される。ただし、ダイレクトモードで符号化されたマクロブロックについては、動きベクトルの情報は符号化データに付加されない。
On the other hand, a prediction error image indicating a difference between a macroblock to be encoded of the picture B11 and a motion compensated image is encoded by the prediction
以後、同様の処理により、ピクチャB11の残りのマクロブロックに対して、符号化処理が行われる。そして、ピクチャB11のすべてのマクロブロックについて処理が終わると、次にピクチャB12の符号化処理が行われる。 Thereafter, the encoding process is performed on the remaining macroblocks of the picture B11 by the same process. When all macroblocks in picture B11 are processed, the encoding process for picture B12 is performed next.
以上のように、本発明の動きベクトル符号化方法は、各ブロックの動きベクトルを符号化するときには、既に符号化済みの周辺ブロックの動きベクトルから予測値を導出し、その予測値と符号化対象ブロックの動きベクトルとを用いてその動きベクトルの符号化を行う。そして、周辺ブロックがスキップモードやダイレクトモードのように、他のブロックの動きベクトルから求められた動きベクトルを用いて符号化されているような場合には、その周辺ブロックの符号化の際に上記他のブロックの動きベクトルから求められた動きベクトルを、その周辺ブロックの動きベクトルとして用いて予測値を導出する。 As described above, in the motion vector encoding method of the present invention, when the motion vector of each block is encoded, a prediction value is derived from the motion vectors of the peripheral blocks that have already been encoded, and the prediction value and the encoding target are derived. The motion vector is encoded using the motion vector of the block. If the peripheral block is encoded using a motion vector obtained from the motion vector of another block, such as skip mode or direct mode, the above-mentioned information is encoded when the peripheral block is encoded. A prediction value is derived by using a motion vector obtained from the motion vector of another block as a motion vector of its neighboring blocks.
これにより、符号化対象ブロックの動きベクトルを、周辺ブロックの動きベクトルから導出された予測値を用いて符号化するときに、その周辺ブロックが他のブロックの動きベクトルを用いて符号化されている場合、その周辺ブロックの動きベクトルを、従来例のように0とすることなく、上記他のブロックの動きベクトルから求められた動きベクトルとするため、上記予測値の予測能力を高めることができ、その結果、動きベクトルの符号化効率を向上することができる。 Thereby, when the motion vector of the encoding target block is encoded using the prediction value derived from the motion vector of the peripheral block, the peripheral block is encoded using the motion vector of the other block. In this case, since the motion vector of the peripheral block is set to the motion vector obtained from the motion vector of the other block without setting it to 0 as in the conventional example, the prediction capability of the predicted value can be improved, As a result, the motion vector encoding efficiency can be improved.
なお、本実施の形態においては、マクロブロックは水平16×垂直16画素の単位で、動き補償は水平8×垂直8画素のブロック単位で、ブロック予測誤差画像の符号化は水平8×垂直8画素の単位で処理する場合について説明したが、これらの単位は別の画素数でも良い。 In this embodiment, a macroblock is a unit of horizontal 16 × vertical 16 pixels, a motion compensation is a block unit of horizontal 8 × vertical 8 pixels, and encoding of a block prediction error image is horizontal 8 × vertical 8 pixels. However, these units may have different numbers of pixels.
また、本実施の形態においては、符号化済みの3つの周辺ブロックの動きベクトルから求められた中央値を動きベクトル符号化の際の予測値として用いる場合について説明したが、この周辺ブロック数は3つ以外の他の数であっても良く、予測値の決定方法は他の方法であっても良い。例えば、左隣のブロックの動きベクトルを予測値として用いる方法であっても良く、中央値ではなく平均値を用いる方法などであっても良い。 In the present embodiment, a case has been described in which the median obtained from the motion vectors of three encoded peripheral blocks is used as a predicted value in motion vector encoding. The number of peripheral blocks is 3 Other numbers may be used, and the prediction value determination method may be another method. For example, a method using the motion vector of the left adjacent block as a predicted value may be used, or a method using an average value instead of a median value may be used.
また、本実施の形態においては、図20、図21を用いて、動きベクトルの符号化における周辺ブロックの位置を説明したが、これは他の位置であっても良い。 In the present embodiment, the positions of the peripheral blocks in the motion vector encoding have been described with reference to FIGS. 20 and 21. However, other positions may be used.
また、本実施の形態においては、他のブロックの動きベクトルを利用して符号化対象のブロックを符号化する方法として、スキップモードや時間的及び空間的なダイレクトモードを例に挙げて説明したが、他の方法であっても良い。 In the present embodiment, the skip mode and the temporal and spatial direct modes have been described as examples of the method of encoding the block to be encoded using the motion vectors of other blocks. Other methods may be used.
また、本実施の形態においては、符号化対象ブロックの動きベクトルと、周辺ブロックの動きベクトルから得られた予測値との差分を取ることにより動きベクトルの符号化を行う場合について説明したが、これは差分以外の方法により動きベクトルの符号化を行っても良い。 In the present embodiment, the case where the motion vector is encoded by taking the difference between the motion vector of the encoding target block and the predicted value obtained from the motion vector of the surrounding block has been described. May encode the motion vector by a method other than the difference.
また、本実施の形態においては、空間的なダイレクトモードで周辺ブロックが符号化されている場合、その周辺ブロックの周辺にある符号化済みの3つのブロックの動きベクトルの中央値を求め、その中央値を周辺ブロックの動きベクトルとして扱う場合について説明したが、そのブロック数は3つ以外の他の数であっても良く、動きベクトルの決定方法は他の方法であっても良い。例えば、左隣のブロックの動きベクトルを周辺ブロックの動きベクトルとして用いる方法であっても良く、中央値ではなく平均値を用いる方法などであっても良い。 In this embodiment, when a peripheral block is encoded in the spatial direct mode, a median value of motion vectors of three encoded blocks around the peripheral block is obtained, and the center Although the case where a value is handled as a motion vector of a peripheral block has been described, the number of blocks may be other than three, and the motion vector may be determined by another method. For example, a method using the motion vector of the block on the left side as the motion vector of the neighboring block may be used, or a method using an average value instead of the median value may be used.
また、本実施の形態においては、空間的なダイレクトモードでBピクチャのブロックを符号化するときには、そのブロックに対して前後方向の2つの動きベクトルを求めたが、前方向又は後方向の一方向の2つの動きベクトルを求めても良い。この場合、Bピクチャは、そのピクチャに対して前方又は後方の一方向にある2枚のピクチャを参照している。 In this embodiment, when a B picture block is encoded in the spatial direct mode, two motion vectors in the front-rear direction are obtained for the block. These two motion vectors may be obtained. In this case, the B picture refers to two pictures in one direction forward or backward with respect to the picture.
また、本実施の形態においては、Pピクチャの符号化においては、予め定められた1つのピクチャを参照し(例えばピクチャP13の符号化においては、ピクチャP10を参照)、Bピクチャの符号化においては、予め定められた2つのピクチャを参照し(例えばピクチャB11の符号化においては、ピクチャP10とP13を参照)、符号化する場合について説明したが、これらは、複数のピクチャからマクロブロックやブロック毎に参照するピクチャを選択して符号化しても良い。このような場合に、動きベクトルの予測値を生成するには、図8に示すようにすればよい。 Further, in the present embodiment, in the encoding of the P picture, one predetermined picture is referred to (for example, in the encoding of the picture P13, refer to the picture P10), and in the encoding of the B picture, In the above description, reference is made to two predetermined pictures (for example, refer to pictures P10 and P13 in encoding of picture B11), and encoding has been described. The picture to be referred to may be selected and encoded. In such a case, a motion vector prediction value may be generated as shown in FIG.
図8は、ブロック毎に参照ピクチャが選択される場合において、動きベクトル符号化部117が符号化対象ブロックの動きベクトルの予測値を導出してその動きベクトルを符号化する動作を示すフロー図である。
FIG. 8 is a flowchart showing an operation in which the motion
まず、動きベクトル符号化部117は、符号化対象ブロックの周辺にある既に符号化済みの3つの周辺ブロックを特定する(ステップS300)。
First, the motion
そして動きベクトル符号化部117は、その特定された周辺ブロックのそれぞれが、他のブロックの動きベクトルを用いて符号化された周辺ブロックBaか、他のブロックの動きベクトルを用いずに符号化された周辺ブロックBbかを判別する(ステップS302)。
Then, the motion
ここで動きベクトル符号化部117は、周辺ブロックBaに対しては、その符号化で用いた動きベクトルと、その周辺ブロックBaがどの参照ピクチャを参照しているかを示す情報とを取得して、その符号化で用いた動きベクトルを周辺ブロックBaの動きベクトルとして扱い、周辺ブロックBbに対しては、その周辺ブロックBbの動きベクトルと、その周辺ブロックBbがどの参照ピクチャを参照しているかを示す情報とを取得する(ステップS304)。
Here, for the peripheral block Ba, the motion
次に動きベクトル符号化部117は、ステップS304で取得した情報に基づき、3つの周辺ブロックのうち符号化対象ブロックと同じピクチャを参照している周辺ブロックを特定し(ステップS306)、その特定された周辺ブロックの数を判別する(ステップS308)。
Next, based on the information acquired in step S304, the motion
そして、動きベクトル符号化部117は、ステップS308で判別された周辺ブロックの数が1個であれば、同じピクチャを参照しているその1つの周辺ブロックの動きベクトルを、符号化対象ブロックの動きベクトルMVの予測値とする(ステップS310)。
Then, if the number of peripheral blocks determined in step S308 is 1, the motion
また、ステップS308で判別された周辺ブロックの数が1個以外であれば、動きベクトル符号化部117は、3つの周辺ブロックのうち符号化対象ブロックと異なるピクチャを参照している周辺ブロックの動きベクトルを0として(ステップS312)、3つの周辺ブロックの動きベクトルの中央値を、符号化対象ブロックの動きベクトルMVの予測値とする(ステップS314)。
On the other hand, if the number of peripheral blocks determined in step S308 is other than one, the motion
動きベクトル符号化部117は、このようにステップS310又はステップS314で導出された予測値を用い、その予測値と符号化対象ブロックの動きベクトルMVとの差分値を求め、その差分値を符号化する(ステップS316)。
The motion
また、本実施の形態のように、動きベクトルの符号化を空間的に隣接するブロックの動きベクトルを予測値として用いて行う場合、動きベクトルの符号化のために動きベクトル記憶部116に保持しておく動きベクトルの量は、動きベクトル記憶部116にスキップモードやダイレクトモードで実際に動き補償に利用した動きベクトルを保持しておく場合には、1マクロブロックライン(高さが1マクロブロックで横幅が画面の横幅に等しい領域)分のブロックの動きベクトルを保持しておけば良い。これは、動きベクトル記憶部116にスキップモードやダイレクトモードで実際に動き補償に利用した動きベクトルを保持しておく場合で、本実施の形態において図20や図21を用いて説明したような周辺ブロックを用いる場合、動きベクトルの符号化の際に周辺ブロックとして参照されるブロックは、現在のマクロブロックを起点として、過去1マクロブロックスライス分であるからである。
In addition, as in the present embodiment, when encoding a motion vector using a motion vector of a spatially adjacent block as a predicted value, the motion vector is stored in the motion
(実施の形態2)
以下、本発明の第2の実施の形態における動画像復号化装置700について図面を参照しながら説明する。
(Embodiment 2)
Hereinafter, a moving
図9は、本発明の第2の実施の形態における動画像復号化装置700のブロック図である。
FIG. 9 is a block diagram of a moving
この図9に示す動画像復号化装置700は、実施の形態1の動画像符号化装置100により符号化された動画像を復号化するものであって、符号列解析部701、予測誤差復号化部702、モード復号部703、動き補償復号部705、動きベクトル記憶部706、フレームメモリ707、加算演算部708、スイッチ709,710及び動きベクトル復号化部711を備えている。
The moving
符号列解析部701は、入力された符号列から各種データを抽出する。ここでいう各種データとは、符号化モードの情報および動きベクトルに関する情報などである。抽出された符号化モードの情報は、モード復号部703に出力される。また、抽出された動きベクトルの情報は、動きベクトル復号化部711に出力される。さらに、抽出された予測誤差符号化データは、予測誤差復号化部702に対して出力される。
The code string analysis unit 701 extracts various data from the input code string. The various types of data referred to here include information on coding modes and information on motion vectors. The extracted encoding mode information is output to the
予測誤差復号化部702は、入力された予測誤差符号化データの復号化を行い、予測誤差画像を生成する。生成された予測誤差画像はスイッチ709に対して出力される。そして、スイッチ709が端子bに接続されているときには、予測誤差画像は加算演算部708に対して出力される。
The prediction
モード復号部703は、符号列から抽出された符号化モードの情報を参照し、スイッチ709とスイッチ710との制御を行う。符号化モードがピクチャ内符号化である場合には、スイッチ709を端子aに接続するとともに、スイッチ710を端子cに接続するように制御し、符号化モードがピクチャ間符号化である場合には、スイッチ709を端子bに接続するとともに、スイッチ710を端子dに接続するように制御する。さらに、モード復号部703は、符号化モードの情報を動きベクトル復号化部711に対して出力する。
The
動きベクトル復号化部711は、符号列解析部701から出力された動きベクトルの情報に対して、復号化処理を行う。 The motion vector decoding unit 711 performs a decoding process on the motion vector information output from the code string analysis unit 701.
即ち、動きベクトル復号化部711は、符号化モード情報が動きベクトルを用いたピクチャ間予測符号化を示す場合には、図20、図21を用いて説明したのと同様、復号化対象のブロックに対して、既に復号化された周辺ブロックの動きベクトルを用いて予測値を導出する。例えば図20に示すように、動きベクトル復号化部711は、復号化対象ブロックAに対して、周辺ブロックBの動きベクトルMVb、周辺ブロックCの動きベクトルMVc、及び周辺ブロックDの動きベクトルMVdから予測値を導出する。ここで予測値は、3つの復号化済みの動きベクトルMVb,MVc,MVdの水平成分、垂直成分毎に求めた中央値(メディアン)を取って求められる。そして、動きベクトル復号化部711は、符号列解析部701から出力された動きベクトルの情報である差分値に、その予測値を足し合わせて、復号化対象ブロックAの動きベクトルMVを決定する。 That is, when the coding mode information indicates inter-picture predictive coding using a motion vector, the motion vector decoding unit 711 performs the decoding target block as described with reference to FIGS. On the other hand, a prediction value is derived using motion vectors of peripheral blocks that have already been decoded. For example, as illustrated in FIG. 20, the motion vector decoding unit 711 determines, from the decoding target block A, the motion vector MVb of the peripheral block B, the motion vector MVc of the peripheral block C, and the motion vector MVd of the peripheral block D. Deriving the predicted value. Here, the predicted value is obtained by taking the median obtained for each of the horizontal and vertical components of the three decoded motion vectors MVb, MVc, and MVd. Then, the motion vector decoding unit 711 determines the motion vector MV of the decoding target block A by adding the prediction value to the difference value that is the information on the motion vector output from the code string analysis unit 701.
また、動きベクトル復号化部711は、符号化モード情報が例えば上述のスキップモードや時間的又は空間的なダイレクトモードの何れかである場合には、既に復号化された周辺ブロックの動きベクトルのみを用いて動きベクトルを決定する。 In addition, when the encoding mode information is, for example, the skip mode or the temporal or spatial direct mode described above, the motion vector decoding unit 711 extracts only the motion vectors of the peripheral blocks that have already been decoded. To determine the motion vector.
図10は、本実施の形態における動きベクトル復号化部711の一般的な動作を示すフロー図である。まず、動きベクトル符号化部711は、復号化対象ブロックの周辺にある既に復号化済みの3つの周辺ブロックを特定する(ステップS200)。 FIG. 10 is a flowchart showing a general operation of the motion vector decoding unit 711 in the present embodiment. First, the motion vector encoding unit 711 identifies three peripheral blocks that have already been decoded around the decoding target block (step S200).
そして動きベクトル復号化部711は、その特定された周辺ブロックのそれぞれが、他の動きベクトルを用いて符号化されていた周辺ブロックBaか、他の動きベクトルを用いずに符号化されていた周辺ブロックBbかを判別する(ステップS202)。 Then, the motion vector decoding unit 711 determines whether each of the identified peripheral blocks is a peripheral block Ba that has been encoded using another motion vector or a peripheral block that has been encoded without using another motion vector. It is determined whether it is a block Bb (step S202).
その結果、動きベクトル復号化部711は、特定された3つの周辺ブロックの中に周辺ブロックBaが含まれているか否かを判別する(ステップS204)。 As a result, the motion vector decoding unit 711 determines whether or not the peripheral block Ba is included in the three specified peripheral blocks (step S204).
ステップS204で周辺ブロックBaが含まれていると判別されたときには(ステップS204のY)、動きベクトル復号化部711は、周辺ブロックBaを復号化するために他のブロックの動きベクトルから求められた動きベクトルをその周辺ブロックBbの動きベクトルとして扱い、上述のように3つの周辺ブロックの動きベクトルから予測値を導出する(ステップS206)。 When it is determined in step S204 that the peripheral block Ba is included (Y in step S204), the motion vector decoding unit 711 is obtained from the motion vectors of other blocks in order to decode the peripheral block Ba. The motion vector is treated as the motion vector of the surrounding block Bb, and the prediction value is derived from the motion vectors of the three surrounding blocks as described above (step S206).
一方、ステップS206で周辺ブロックBaが含まれていないと判別されたときには(ステップS204のN)、動きベクトル復号化部711は、3つの周辺ブロックBbのそれぞれの検出結果に基づく動きベクトルから予測値を導出する(ステップS208)。 On the other hand, when it is determined in step S206 that the neighboring block Ba is not included (N in step S204), the motion vector decoding unit 711 determines the predicted value from the motion vector based on the detection results of the three neighboring blocks Bb. Is derived (step S208).
そして動きベクトル復号化部711は、符号列解析部701から出力された動きベクトルの情報である差分値に、ステップS206,S208で導出された予測値を加算することで、復号化対象ブロックの符号化された動きベクトルを復号化する(ステップS210)。また、動きベクトル復号化部711は、このように復号化された動きベクトルを動き補償復号部705に対して出力する。
Then, the motion vector decoding unit 711 adds the prediction value derived in steps S206 and S208 to the difference value, which is the motion vector information output from the code string analysis unit 701, so that the code of the decoding target block is encoded. The converted motion vector is decoded (step S210). In addition, the motion vector decoding unit 711 outputs the motion vector thus decoded to the motion
動きベクトル記憶部706は、動きベクトル復号化部711で復号化された動きベクトルとモード復号部703で得られた符号化モードを記憶しておく。
The motion
動き補償復号部705は、動きベクトル復号化部711で復号化された動きベクトルに基づいて、フレームメモリ707からマクロブロックごとに動き補償画像を取得する。そして動き補償復号部705は、その動き補償画像を加算演算部708に出力する。
The motion
加算演算部708は、入力された予測誤差画像と動き補償画像とを加算し、復号化画像を生成し、その生成された復号化画像をフレームメモリ707に対して出力する。
The
また、フレームメモリ707は、加算演算部708により生成された復号化画像をフレームごとに保持する。
The
このような動画像復号化装置700の動作について、まず一般的な概略動作から説明する。
The operation of the moving
図11は、動画像復号化装置700の入出力関係を説明するための説明図である。
FIG. 11 is an explanatory diagram for explaining the input / output relationship of the moving
動画像復号化装置700は、この図11の(a)に示すように、実施の形態1の動画像符号化装置100から出力された符号列をその出力順に取得して、その符号列中に含まれるピクチャを順に復号化する。そして動画像復号化装置700は、図11中の(b)に示すように、復号化されたピクチャを表示順に並び替えて出力する。
As shown in FIG. 11A, the moving
ここで、上述のような動画像復号化装置700の復号化処理について、具体的に図11に示すピクチャP13及びピクチャB11の復号化を例に挙げて説明する。
Here, the decoding process of the moving
<ピクチャP13の復号化処理>
まず、動画像復号化装置700の符号列解析部701は、ピクチャP13の符号列を取得して、その符号列からモード選択情報及び動きベクトル情報並びに予測誤差符号化データを抽出する。
<Decoding process of picture P13>
First, the code string analysis unit 701 of the
モード復号部703は、ピクチャP13の符号列から抽出されたモード選択情報を参照し、スイッチ709と710の制御を行う。
The
以下、モード選択情報がピクチャ間予測符号化を示す場合について説明する。 Hereinafter, a case where the mode selection information indicates inter picture predictive coding will be described.
動きベクトル復号化部711は、モード復号部703からのピクチャ間予測符号化を示すモード選択情報に基づき、ピクチャP13の符号列から抽出された動きベクトルの情報に対して、ブロック毎に上述のような復号化処理を行う。
Based on the mode selection information indicating inter-picture predictive coding from the
ここで、動きベクトル復号化部711は、ピクチャP13の復号化対象ブロックの動きベクトルを復号化するときに、その復号化対象ブロックの周辺にある既に復号化済みの3つの周辺ブロックを特定し、これらの周辺ブロックが他のブロックの動きベクトルを用いて符号化されていたか否かを判別した結果、何れかの周辺ブロックが他の動きベクトルを用いて符号化されていたブロック、つまりスキップモードで符号化されていたブロックの場合には、実施の形態1の動きベクトル符号化部117と同様、その周辺ブロックを復号化するために他のブロックの動きベクトルから求められた動きベクトルをその周辺ブロックの動きベクトルとして扱う。即ち、動きベクトル復号化部711は、その周辺ブロックの周辺にある既に復号化された3つのブロックの動きベクトルから中央値を求め、これをその周辺ブロックの動きベクトルとして扱う。
Here, when the motion vector decoding unit 711 decodes the motion vector of the block to be decoded of the picture P13, the motion vector decoding unit 711 identifies three peripheral blocks that have already been decoded around the block to be decoded, As a result of determining whether or not these peripheral blocks have been encoded using the motion vectors of other blocks, any of the peripheral blocks have been encoded using other motion vectors, that is, in skip mode. In the case of an encoded block, similar to the motion
また、動きベクトル記憶部706は、モード復号部703からのモード選択情報を記憶しており、この動きベクトル記憶部706が記憶するモード選択情報に基づき、動きベクトル復号化部711は、周辺ブロックのそれぞれが他のブロックの動きベクトルを用いて符号化されていたブロックか否かを判別する。さらに、動きベクトル記憶部706は、周辺ブロックの復号化に用いられる他のブロックの動きベクトルを記憶している。即ち、動きベクトル記憶部706は、スキップモードで符号化されていた周辺ブロックの周辺にある3つのブロックのそれぞれの動きベクトルを記憶しており、動きベクトル復号化部711は、復号化対象ブロックの動きベクトルを復号化するときには、その周辺ブロックに対して、動きベクトル記憶部706が記憶する上記3つのブロックの動きベクトルから中央値を求める。なお、動きベクトル記憶部706が、他のブロックの動きベクトルを用いて符号化されていたブロックに対して、そのブロックを復号化するために中央値を取って求められた動きベクトルを予め記憶しておいても良い。この場合、動きベクトル復号化部711は、復号化対象ブロックの動きベクトルを復号化するときに、スキップモードで符号化されていた周辺ブロックに対して動きベクトルを求める必要がなく、動きベクトル記憶部706が記憶する動きベクトルをそのままその周辺ブロックの動きベクトルとして用いることができる。
The motion
一方、ピクチャP13の復号化対象のマクロブロックに対する予測誤差符号化データが予測誤差復号化部702で復号化されて予測誤差画像として生成されており、スイッチ709,710が加算演算部708に接続されているため、動きベクトル復号化部711で復号化された動きベクトルに基づいて生成された動き補償画像は、その予測誤差画像に加算されて、フレームメモリ707に対して出力される。
On the other hand, the prediction error encoded data for the decoding target macroblock of the picture P13 is decoded by the prediction
また、動きベクトル復号化部711は、Pピクチャに対して動きベクトルの復号化を行うときには、後のピクチャやブロックの復号化のため、その動きベクトルとモード復号部703から得られた符号化モードを動きベクトル記憶部706に記憶させている。
In addition, when the motion vector decoding unit 711 decodes a motion vector for a P picture, the motion vector and the encoding mode obtained from the
以後、同様の処理により、ピクチャP13の残りのマクロブロックが順に復号化される。そして、ピクチャP13のマクロブロックがすべて復号化されると、ピクチャB11の復号化が行われる。 Thereafter, the remaining macroblocks of the picture P13 are sequentially decoded by the same process. When all the macroblocks of the picture P13 are decoded, the picture B11 is decoded.
<ピクチャB11の復号化処理>
まず、動画像復号化装置700の符号列解析部701は、ピクチャB11の符号列を取得して、その符号列からモード選択情報及び動きベクトル情報並びに予測誤差符号化データを抽出する。
<Decoding process of picture B11>
First, the code sequence analysis unit 701 of the
モード復号部703は、ピクチャB11の符号列から抽出されたモード選択情報を参照し、スイッチ709と710の制御を行う。
The
以下、モード選択情報がピクチャ間予測符号化を示す場合について説明する。 Hereinafter, a case where the mode selection information indicates inter picture predictive coding will be described.
動きベクトル復号化部711は、モード復号部703からのピクチャ間予測符号化を示すモード選択情報に基づき、ピクチャB11の符号列から抽出された動きベクトルの情報に対して、ブロック毎に上述のような復号化処理を行う。
Based on the mode selection information indicating inter-picture predictive coding from the
ここで、動きベクトル復号化部711は、ピクチャB11の復号化対象ブロックの動きベクトルを復号化するときに、その復号化対象ブロックの周辺にある既に復号化済みの3つの周辺ブロックを特定し、これらの周辺ブロックが他のブロックの動きベクトルを用いて符号化されていたか否かを判別した結果、何れかの周辺ブロックが他のブロックの動きベクトルを用いて符号化されていたブロック、つまり時間的や空間的なダイレクトモードで符号化されていたブロックの場合には、実施の形態1の動きベクトル符号化部117と同様、その周辺ブロックを復号化するために他のブロックの動きベクトルを用いて求められた動きベクトルをその周辺ブロックの動きベクトルとして扱う。
Here, when the motion vector decoding unit 711 decodes the motion vector of the decoding target block of the picture B11, the motion vector decoding unit 711 identifies three peripheral blocks that have already been decoded around the decoding target block, As a result of determining whether or not these peripheral blocks were encoded using the motion vectors of other blocks, a block in which any of the peripheral blocks was encoded using the motion vectors of other blocks, that is, time In the case of a block that has been encoded in a direct or spatial direct mode, the motion vectors of other blocks are used to decode the neighboring blocks as in the motion
具体的に、動きベクトル復号化部711は、周辺ブロックが時間的なダイレクトモードで符号化されていた場合、動きベクトル記憶部706から、直前に復号化された参照ピクチャ(ピクチャP13)中の、ダイレクトモードで符号化された周辺ブロックと同じ位置にあるブロックの動きベクトルを読み出す。例えば図6に示すように、周辺ブロックCが時間的なダイレクトモードで符号化されていたとすると、動きベクトル復号化部711は、動きベクトル記憶部706からピクチャP13のブロックXの復号化後の動きベクトルを読み出す。そして、(式1)および(式2)を用いて、周辺ブロックCを符号化するために用いる前方動きベクトルMVFcおよび後方動きベクトルMVBcを求め、この動きベクトルMVFc,MVBcを周辺ブロックCの動きベクトルとして用いる。
Specifically, when the peripheral block is encoded in the temporal direct mode, the motion vector decoding unit 711 receives, from the motion
なお、上述の場合では、動きベクトル復号化部711は、ピクチャP13中の、ダイレクトモードで符号化されていた周辺ブロックCと同じ位置にあるブロックXの動きベクトルMVpを動きベクトル記憶部706から読み出したが、動きベクトル記憶部706が、他のブロックの動きベクトルを用いて符号化されていたブロックに対して、そのブロックを復号化するために他のブロックの動きベクトルから求められた動きベクトルを予め記憶しておいても良い。この場合、動きベクトル記憶部706は、動きベクトルMVFc,MVBcを予め記憶しているため、動きベクトル復号化部711は、符号化対象ブロックAの動きベクトルを符号化するときに、周辺ブロックCに対して、ブロックXの動きベクトルMVpを読み出して(式1)および(式2)を用いて動きベクトルMVFc,MVBcを求める必要がなく、動きベクトル記憶部706が記憶する動きベクトルMVFc,MVBcをそのまま周辺ブロックCの動きベクトルとして用いることができる。
In the above-described case, the motion vector decoding unit 711 reads the motion vector MVp of the block X at the same position as the peripheral block C encoded in the direct mode in the picture P13 from the motion
一方、周辺ブロックが空間的なダイレクトモードで符号化されていた場合、動きベクトル復号化部711は、その周辺ブロックの周辺にある他のブロックの動きベクトルを用いて求められた動きベクトルを、その周辺ブロックの動きベクトルとして扱う。例えば、図7に示すような状況では、動きベクトル復号化部711は、空間的なダイレクトモードで符号化されていた周辺ブロックCに対して、その周辺にある既に復号化された3つのブロックE,F,Gの動きベクトルから中央値を求め、この中央値が示す前方動きベクトルMVFcと後方動きベクトルMVBcをその周辺ブロックCの動きベクトルとして扱う。 On the other hand, when the peripheral block is encoded in the spatial direct mode, the motion vector decoding unit 711 calculates the motion vector obtained using the motion vectors of other blocks around the peripheral block. Treat as motion vector of surrounding blocks. For example, in the situation shown in FIG. 7, the motion vector decoding unit 711 performs, on the peripheral block C that has been encoded in the spatial direct mode, three previously decoded blocks E in the vicinity thereof. , F, and G, the median is obtained, and the forward motion vector MVFc and the backward motion vector MVBc indicated by the median are handled as motion vectors of the peripheral block C.
また、動きベクトル記憶部706は、他のブロックの動きベクトルを用いずに符号化されていたブロックに対しては、そのブロックの復号化に用いた動きベクトルを記憶しているため、図7に示すような状況では、空間的なダイレクトモードで符号化されていた周辺ブロックCの周辺にある3つのブロックE,F,Gのそれぞれの動きベクトルを記憶しており、動きベクトル復号化部711は、復号化対象のブロックAの動きベクトルを復号化するときには、その周辺ブロックCに対して、動きベクトル記憶部706が記憶する上記3つのブロックE,F,Gの動きベクトルから動きベクトルMVFc,MVBcを求める。
In addition, since the motion
なお、動きベクトル記憶部706が、他のブロックの動きベクトルを用いて符号化されていたブロックに対して、そのブロックを復号化するために中央値を取って求められた動きベクトルを予め記憶しておいても良い。この場合には、図7に示すような状況において、動きベクトル記憶部706は、動きベクトルMVFc,MVBcを予め記憶しており、動きベクトル復号化部711は、復号化対象のブロックAの動きベクトルを復号化するときに、空間的なダイレクトモードで符号化されていた周辺ブロックCに対して動きベクトルを求める必要がなく、動きベクトル記憶部706が記憶する動きベクトルMVFc,MVBcをそのままその周辺ブロックCの動きベクトルとして用いることができる。
The motion
ここで、動画像復号化装置700は、復号化対象ブロックの動きベクトルを復号化するときに、その周辺にある既に復号化済みの周辺ブロックが上述のようなピクチャ間予測符号化ではなく、ピクチャ内符号化で処理されていた場合には、例外的な処理を行う。
Here, when the
例えば、3つの周辺ブロック中にピクチャ内符号化で符号化されていた周辺ブロックが1つ存在する場合には、動画像復号化装置700の動きベクトル復号化部711は、その周辺ブロックの動きベクトルを0として処理を行う。また、ピクチャ内符号化で符号化された周辺ブロックが2つ存在する場合には、動きベクトル復号化部711は残りの1つの周辺ブロックの動きベクトルを、復号化対象ブロックの動きベクトルの予測値として用いる。さらに、3つの周辺ブロックの全てがピクチャ内符号化で符号化されていた場合には、動きベクトル復号化部711は、復号化対象ブロックの動きベクトルの予測値を0としてその動きベクトルの復号化処理を行う。
For example, when there is one peripheral block that has been encoded by intra-picture encoding among three peripheral blocks, the motion vector decoding unit 711 of the
一方、ピクチャB11の復号化対象のマクロブロックに対する予測誤差符号化データが予測誤差復号化部702で復号化されて予測誤差画像として生成されており、スイッチ709,710が加算演算部708に接続されているため、動きベクトル復号化部711で復号化された動きベクトルに基づいて生成された動き補償画像は、その予測誤差画像に加算されて、フレームメモリ707に対して出力される。
On the other hand, the prediction error encoded data for the decoding target macroblock of the picture B11 is decoded by the prediction
以後、同様の処理により、ピクチャB11の残りのマクロブロックが順に復号化される。そして、ピクチャB11のマクロブロックがすべて復号化されると、ピクチャB12の復号化が行われる。 Thereafter, the remaining macroblocks of the picture B11 are sequentially decoded by the same process. When all the macroblocks of the picture B11 are decoded, the picture B12 is decoded.
以上のように、本発明の動きベクトル復号化方法は、各ブロックの動きベクトルを復号化するときには、既に復号化済みの周辺ブロックの動きベクトルから予測値を導出し、その予測値と差分値とを用いることにより、動きベクトルの復号化を行う。そして、周辺ブロックがスキップモードやダイレクトモードのように、他のブロックの動きベクトルを用いて符号化されていたような場合には、その周辺ブロックの復号化のために他のブロックの動きベクトルから求められた動きベクトルを、その周辺ブロックの動きベクトルとして用いて予測値を導出する。 As described above, when the motion vector decoding method of the present invention decodes the motion vector of each block, the prediction value is derived from the motion vectors of the peripheral blocks that have already been decoded, and the prediction value and the difference value are calculated. Is used to decode a motion vector. If the neighboring block is coded using the motion vector of another block, such as skip mode or direct mode, the motion vector of the other block is used for decoding the neighboring block. The predicted value is derived using the obtained motion vector as the motion vector of the surrounding block.
これにより、実施の形態1のような方法で符号化が行われた動きベクトルを正しく復号化することができる。 As a result, the motion vector encoded by the method as in the first embodiment can be correctly decoded.
なお、本実施の形態においては、復号化済みである3つの周辺ブロックの動きベクトルから求められた中央値を動きベクトル復号化の際の予測値として用いる場合について説明したが、この周辺ブロック数は3つ以外の他の数であっても良く、予測値の決定方法は他の方法であっても良い。例えば、左隣のブロックの動きベクトルを予測値として用いる方法であっても良く、中央値でなく平均値を用いる方法などであっても良い。 In the present embodiment, a case has been described where the median obtained from the motion vectors of three peripheral blocks that have been decoded is used as a predicted value in motion vector decoding. Other numbers other than three may be used, and the prediction value determination method may be another method. For example, a method using a motion vector of the block on the left side as a predicted value may be used, or a method using an average value instead of a median value may be used.
また、本実施の形態においては、図20、図21を用いて、動きベクトルの復号化における周辺ブロックの位置を説明したが、これは他の位置であっても良い。 In the present embodiment, the positions of the peripheral blocks in the motion vector decoding have been described with reference to FIGS. 20 and 21. However, other positions may be used.
また、本実施の形態においては、他のブロックの動きベクトルを利用してブロックを符号化する方法として、スキップモードや時間方法及び空間的なダイレクトモードを例に挙げて説明したが、これは他の方法であっても良い。 In this embodiment, the skip mode, the time method, and the spatial direct mode have been described as examples of the method of coding a block using the motion vector of another block. This method may be used.
また、本実施の形態においては、周辺ブロックの動きベクトルから得られた予測値と、符号列により示される差分値との加算を行うことにより動きベクトルの復号化を行う場合について説明したが、これは加算以外の方法により動きベクトルの復号化を行っても良い。 In the present embodiment, the case where the motion vector is decoded by adding the prediction value obtained from the motion vector of the peripheral block and the difference value indicated by the code string has been described. The motion vector may be decoded by a method other than addition.
また、本実施の形態においては、空間的なダイレクトモードで周辺ブロックが符号化されていた場合おいて、その周辺ブロックの周辺にある復号化済みの3つのブロックの動きベクトルの中央値を求め、その中央値を周辺ブロックの動きベクトルとして扱う場合について説明したが、そのブロック数は3つ以外の他の数であっても良く、動きベクトルの決定方法は他の方法であっても良い。例えば、左隣のブロックの動きベクトルを周辺ブロックの動きベクトルとして用いる方法であっても良く、中央値ではなく平均値を用いる方法などであっても良い。 Further, in the present embodiment, when the peripheral block is encoded in the spatial direct mode, the median of motion vectors of three decoded blocks around the peripheral block is obtained, Although the case where the median is treated as the motion vector of the peripheral block has been described, the number of blocks may be other than three, and the motion vector may be determined by another method. For example, a method using the motion vector of the block on the left side as the motion vector of the neighboring block may be used, or a method using an average value instead of the median value may be used.
また、本実施の形態においては、空間的なダイレクトモードで符号化されていた周辺ブロックがある場合、その周辺ブロックに対して前後方向の2つの動きベクトルを求めたが、前方向又は後方向の一方向の2つの動きベクトルを求めても良い。この場合、復号化対象のBピクチャは、そのピクチャに対して前方又は後方の一方向にある2枚のピクチャを参照している。 In this embodiment, when there are peripheral blocks that have been encoded in the spatial direct mode, two motion vectors in the front-rear direction are obtained for the peripheral blocks. Two motion vectors in one direction may be obtained. In this case, the B picture to be decoded refers to two pictures in one direction forward or backward with respect to the picture.
また、本実施の形態においては、Pピクチャの復号化においては、予め定められた1つのピクチャを参照し(例えばピクチャP13の復号化においては、ピクチャP10を参照)、Bピクチャの復号化においては、予め定められた2つのピクチャを参照し(例えばピクチャB11の復号化においては、ピクチャP10とP13を参照)、復号化する場合について説明したが、これらは、複数のピクチャからマクロブロックやブロック毎に参照するピクチャを選択して復号化しても良い。このような場合に、動きベクトルの予測値を生成するには、図12に示すようにすればよい。 Further, in the present embodiment, in the decoding of the P picture, one predetermined picture is referred to (for example, in the decoding of the picture P13, refer to the picture P10), and in the decoding of the B picture, In the above description, a case where decoding is performed with reference to two predetermined pictures (for example, refer to pictures P10 and P13 in decoding of picture B11) has been described. The picture to be referred to may be selected and decoded. In such a case, a motion vector prediction value may be generated as shown in FIG.
図12は、ブロック毎に参照ピクチャが選択される場合において、動きベクトル復号化部711が復号化対象ブロックの動きベクトルの予測値を導出し、その予測値を用いて復号化する動作を示すフロー図である。 FIG. 12 is a flowchart showing an operation in which, when a reference picture is selected for each block, the motion vector decoding unit 711 derives a prediction value of the motion vector of the decoding target block, and decodes using the prediction value. FIG.
まず、動きベクトル復号化部711は、復号化対象ブロックの周辺にある既に復号化済みの3つの周辺ブロックを特定する(ステップS400)。 First, the motion vector decoding unit 711 identifies three peripheral blocks that have already been decoded around the decoding target block (step S400).
そして動きベクトル復号化部711は、その特定された周辺ブロックのそれぞれが、他のブロックの動きベクトルを用いて符号化されていた周辺ブロックBaか、他のブロックの動きベクトルを用いずに符号化されていた周辺ブロックBbかを判別する(ステップS402)。 Then, the motion vector decoding unit 711 encodes each of the identified peripheral blocks without using the peripheral block Ba encoded using the motion vector of the other block or the motion vector of the other block. It is determined whether the peripheral block Bb has been set (step S402).
ここで動きベクトル復号化部711は、周辺ブロックBaに対しては、その復号化で用いた動きベクトルと、その周辺ブロックBaがどの参照ピクチャを参照しているかを示す情報とを取得して、その復号化で用いた動きベクトルを周辺ブロックBaの動きベクトルとして扱い、周辺ブロックBbに対しては、その周辺ブロックBbの動きベクトルと、その周辺ブロックBbがどの参照ピクチャを参照しているかを示す情報とを取得する(ステップS404)。 Here, for the peripheral block Ba, the motion vector decoding unit 711 acquires the motion vector used in the decoding and information indicating which reference picture the peripheral block Ba refers to, The motion vector used in the decoding is handled as the motion vector of the peripheral block Ba, and for the peripheral block Bb, the motion vector of the peripheral block Bb and which reference picture the peripheral block Bb refers to are indicated. Information is acquired (step S404).
次に動きベクトル復号化部711は、ステップS404で取得した情報に基づき、3つの周辺ブロックのうち復号化対象ブロックと同じピクチャを参照している周辺ブロックを特定し(ステップS406)、その特定された周辺ブロックの数を判別する(ステップS408)。 Next, based on the information acquired in step S404, the motion vector decoding unit 711 specifies a neighboring block that refers to the same picture as the decoding target block among the three neighboring blocks (step S406). The number of neighboring blocks is determined (step S408).
そして、動きベクトル復号化部711は、ステップS408で判別された周辺ブロックの数が1個であれば、同じピクチャを参照しているその1つの周辺ブロックの動きベクトルを、復号化対象ブロックの動きベクトルの予測値とする(ステップS410)。 If the number of peripheral blocks determined in step S408 is one, the motion vector decoding unit 711 determines the motion vector of the one peripheral block referring to the same picture as the motion of the decoding target block. The predicted value of the vector is set (step S410).
また、ステップS408で判別された周辺ブロックの数が1個以外であれば、動きベクトル復号化部711は、3つの周辺ブロックのうち復号化対象ブロックと異なるピクチャを参照している周辺ブロックの動きベクトルを0として(ステップS412)、3つの周辺ブロックの動きベクトルの中央値を、復号化対象ブロックの動きベクトルの予測値とする(ステップS414)。 On the other hand, if the number of peripheral blocks determined in step S408 is other than one, the motion vector decoding unit 711 performs motion of the peripheral blocks referring to a picture different from the decoding target block among the three peripheral blocks. The vector is set to 0 (step S412), and the median of the motion vectors of the three neighboring blocks is set as the predicted value of the motion vector of the decoding target block (step S414).
このようにステップS410又はステップS414で導出された予測値を用い、その予測値に差分値を加算してこれを復号化対象ブロックの動きベクトルに復号化する(ステップS416)。 Thus, using the prediction value derived | led-out by step S410 or step S414, a difference value is added to the prediction value, and this is decoded into the motion vector of a decoding object block (step S416).
また、本実施の形態のように、動きベクトルの復号化を空間的に隣接するブロックの動きベクトルを予測値として用いて行う場合、動きベクトルの復号化のために動きベクトル記憶部706に保持しておく動きベクトルの量は、動きベクトル記憶部706にスキップモードやダイレクトモードで実際に動き補償に利用した動きベクトルを保持しておく場合には、1マクロブロックライン(高さが1マクロブロックで横幅が画面の横幅に等しい領域)分のブロックの動きベクトルを保持しておけば良い。これは、動きベクトル記憶部706にスキップモードやダイレクトモードで実際に動き補償に利用した動きベクトルを保持しておく場合で、本実施の形態において図20や図21を用いて説明したような周辺ブロックを用いる場合、動きベクトルの復号化の際に周辺ブロックとして参照されるブロックは、現在のマクロブロックを起点として、過去1マクロブロックスライス分であるからである。
Further, as in the present embodiment, when the motion vector is decoded using a motion vector of a spatially adjacent block as a predicted value, the motion vector is stored in the motion
(実施の形態3)
さらに、上記各実施の形態で示した動きベクトル符号化方法または動きベクトル復号化方法を実現するためのプログラムを、フレキシブルディスク等の記憶媒体に記録するようにすることにより、上記各実施の形態で示した処理を、独立したコンピュータシステムにおいて簡単に実施することが可能となる。
(Embodiment 3)
Further, by recording a program for realizing the motion vector encoding method or motion vector decoding method shown in each of the above embodiments on a storage medium such as a flexible disk, The illustrated processing can be easily performed in an independent computer system.
図13は、実施の形態1及び実施の形態2の動画像符号化装置100及び動画像復号化装置200が実行する動きベクトル符号化方法および動きベクトル復号化方法をコンピュータシステムにより実現するためのプログラムを格納する記憶媒体についての説明図である。
FIG. 13 is a program for realizing the motion vector encoding method and the motion vector decoding method executed by the moving
図13中の(b)は、フレキシブルディスクFDの正面からみた外観、断面構造、及びディスク本体FD1を示し、図13中の(a)は、記録媒体の本体であるディスク本体FD1の物理フォーマットの例を示している。 (B) in FIG. 13 shows the appearance, cross-sectional structure, and disk main body FD1 as seen from the front of the flexible disk FD, and (a) in FIG. 13 shows the physical format of the disk main body FD1, which is the main body of the recording medium. An example is shown.
ディスク本体FD1はケースF内に内蔵され、ディスク本体FD1の表面には、同心円状に外周からは内周に向かって複数のトラックTrが形成され、各トラックは角度方向に16のセクタSeに分割されている。従って、上記プログラムを格納したフレキシブルディスクFDでは、上記ディスク本体FD1上に割り当てられた領域に、上記プログラムとしての動きベクトル符号化方法や動きベクトル復号化方法が記録されている。 The disk main body FD1 is built in the case F, and a plurality of tracks Tr are formed concentrically on the surface of the disk main body FD1 from the outer periphery toward the inner periphery, and each track is divided into 16 sectors Se in the angular direction. Has been. Therefore, in the flexible disk FD storing the program, a motion vector encoding method and a motion vector decoding method as the program are recorded in an area allocated on the disk main body FD1.
また、図13中の(c)は、フレキシブルディスクFDに上記プログラムの記録再生を行うための構成を示す。 Further, (c) in FIG. 13 shows a configuration for recording and reproducing the program on the flexible disk FD.
上記プログラムをフレキシブルディスクFDに記録する場合は、コンピュータシステムCsが上記プログラムとしての動きベクトル符号化方法または動きベクトル復号化方法をフレキシブルディスクドライブFDDを介して書き込む。また、フレキシブルディスクFD内のプログラムにより上記動きベクトル符号化方法又は動きベクトル復号化方法をコンピュータシステムCs中に構築する場合は、フレキシブルディスクドライブFDDによりプログラムがフレキシブルディスクFDから読み出され、コンピュータシステムCsに転送される。 When the program is recorded on the flexible disk FD, the computer system Cs writes the motion vector encoding method or the motion vector decoding method as the program via the flexible disk drive FDD. When the motion vector encoding method or motion vector decoding method is constructed in the computer system Cs by a program in the flexible disk FD, the program is read from the flexible disk FD by the flexible disk drive FDD, and the computer system Cs. Forwarded to
なお、上記説明では、記録媒体としてフレキシブルディスクFDを用いて説明を行ったが、光ディスクを用いても同様に行うことができる。また、記録媒体はこれに限らず、ICカード、ROMカセット等、プログラムを記録できるものであれば同様に実施することができる。 In the above description, the flexible disk FD is used as the recording medium, but the same can be done using an optical disk. Further, the recording medium is not limited to this, and any recording medium such as an IC card or a ROM cassette capable of recording a program can be similarly implemented.
(実施の形態4)
さらにここで、上記実施の形態で示した動きベクトル符号化方法や動きベクトル復号化方法の応用例とそれを用いたシステムを説明する。
(Embodiment 4)
Further, application examples of the motion vector encoding method and motion vector decoding method shown in the above embodiment and a system using the application example will be described.
図14は、コンテンツ配信サービスを実現するコンテンツ供給システムex100の全体構成を示すブロック図である。通信サービスの提供エリアを所望の大きさに分割し、各セル内にそれぞれ固定無線局である基地局ex107〜ex110が設置されている。 FIG. 14 is a block diagram showing an overall configuration of a content supply system ex100 that implements a content distribution service. The communication service providing area is divided into desired sizes, and base stations ex107 to ex110, which are fixed radio stations, are installed in each cell.
このコンテンツ供給システムex100は、例えば、インターネットex101にインターネットサービスプロバイダex102および電話網ex104、および基地局ex107〜ex110を介して、コンピュータex111、PDA(personal digital assistant)ex112、カメラex113、携帯電話ex114、カメラ付きの携帯電話ex115などの各機器が接続される。 The content supply system ex100 includes, for example, a computer ex111, a PDA (personal digital assistant) ex112, a camera ex113, a mobile phone ex114, a camera via the Internet ex101, the Internet service provider ex102, the telephone network ex104, and the base stations ex107 to ex110. Each device such as the attached mobile phone ex115 is connected.
しかし、コンテンツ供給システムex100は図14のような組合せに限定されず、いずれかを組み合わせて接続するようにしてもよい。また、固定無線局である基地局ex107〜ex110を介さずに、各機器が電話網ex104に直接接続されてもよい。 However, the content supply system ex100 is not limited to the combination as shown in FIG. 14, and any of the combinations may be connected. Further, each device may be directly connected to the telephone network ex104 without going through the base stations ex107 to ex110 which are fixed wireless stations.
カメラex113はデジタルビデオカメラ等の動画撮影が可能な機器である。また、携帯電話は、PDC(Personal Digital Communications)方式、CDMA(Code Division Multiple Access)方式、W−CDMA(Wideband-Code Division Multiple Access)方式、若しくはGSM(Global System for Mobile Communications)方式の携帯電話機、またはPHS(Personal Handyphone System)等であり、いずれでも構わない。 The camera ex113 is a device capable of shooting a moving image such as a digital video camera. The mobile phone is a PDC (Personal Digital Communications) system, a CDMA (Code Division Multiple Access) system, a W-CDMA (Wideband-Code Division Multiple Access) system, or a GSM (Global System for Mobile Communications) system mobile phone, Alternatively, PHS (Personal Handyphone System) or the like may be used.
また、ストリーミングサーバex103は、カメラex113から基地局ex109、電話網ex104を通じて接続されており、カメラex113を用いてユーザが送信する符号化処理されたデータに基づいたライブ配信等が可能になる。撮影したデータの符号化処理はカメラex113で行っても、データの送信処理をするサーバ等で行ってもよい。また、カメラex116で撮影した動画データはコンピュータex111を介してストリーミングサーバex103に送信されてもよい。カメラex116はデジタルカメラ等の静止画、動画が撮影可能な機器である。 In addition, the streaming server ex103 is connected from the camera ex113 through the base station ex109 and the telephone network ex104, and live distribution or the like based on the encoded data transmitted by the user using the camera ex113 becomes possible. The encoded processing of the captured data may be performed by the camera ex113 or may be performed by a server or the like that performs data transmission processing. Further, the moving image data shot by the camera ex116 may be transmitted to the streaming server ex103 via the computer ex111. The camera ex116 is a device that can shoot still images and moving images, such as a digital camera.
この場合、動画データの符号化はカメラex116で行ってもコンピュータex111で行ってもどちらでもよい。また、符号化処理はコンピュータex111やカメラex116が有するLSIex117において処理することになる。なお、画像符号化・復号化用のソフトウェアをコンピュータex111等で読み取り可能な記録媒体である何らかの蓄積メディア(CD−ROM、フレキシブルディスク、ハードディスクなど)に組み込んでもよい。さらに、カメラ付きの携帯電話ex115で動画データを送信してもよい。このときの動画データは携帯電話ex115が有するLSIで符号化処理されたデータである。 In this case, the encoding of the moving image data may be performed by the camera ex116 or the computer ex111. The encoding process is performed in the LSI ex117 included in the computer ex111 and the camera ex116. Note that image encoding / decoding software may be incorporated into any storage medium (CD-ROM, flexible disk, hard disk, etc.) that is a recording medium readable by the computer ex111 or the like. Furthermore, you may transmit moving image data with the mobile telephone ex115 with a camera. The moving image data at this time is data encoded by the LSI included in the mobile phone ex115.
このコンテンツ供給システムex100では、ユーザがカメラex113、カメラex116等で撮影しているコンテンツ(例えば、音楽ライブを撮影した映像等)を上記実施の形態同様に符号化処理してストリーミングサーバex103に送信する一方で、ストリーミングサーバex103は要求のあったクライアントに対して上記コンテンツデータをストリーム配信する。クライアントとしては、上記符号化処理されたデータを復号化することが可能な、コンピュータex111、PDAex112、カメラex113、携帯電話ex114等がある。このようにすることでコンテンツ供給システムex100は、符号化されたデータをクライアントにおいて受信して再生することができ、さらにクライアントにおいてリアルタイムで受信して復号化し、再生することにより、個人放送をも実現可能になるシステムである。 In this content supply system ex100, the content (for example, video shot of music live) captured by the user with the camera ex113, camera ex116, etc. is encoded and transmitted to the streaming server ex103 as in the above embodiment. On the other hand, the streaming server ex103 distributes the content data to the requested client. Examples of the client include a computer ex111, a PDA ex112, a camera ex113, a mobile phone ex114, and the like that can decode the encoded data. In this way, the content supply system ex100 can receive and reproduce the encoded data at the client, and also realize personal broadcasting by receiving, decoding, and reproducing in real time at the client. It is a system that becomes possible.
このシステムを構成する各機器の符号化、復号化には上記各実施の形態で示した動画像符号化装置あるいは動画像復号化装置を用いるようにすればよい。 For the encoding and decoding of each device constituting this system, the moving image encoding device or the moving image decoding device described in the above embodiments may be used.
その一例として携帯電話について説明する。 A mobile phone will be described as an example.
図15は、上記実施の形態で説明した動きベクトル符号化方法と動きベクトル復号化方法を用いた携帯電話ex115を示す図である。携帯電話ex115は、基地局ex110との間で電波を送受信するためのアンテナex201、CCDカメラ等の映像、静止画を撮ることが可能なカメラ部ex203、カメラ部ex203で撮影した映像、アンテナex201で受信した映像等が復号化されたデータを表示する液晶ディスプレイ等の表示部ex202、操作キーex204群から構成される本体部、音声出力をするためのスピーカ等の音声出力部ex208、音声入力をするためのマイク等の音声入力部ex205、撮影した動画もしくは静止画のデータ、受信したメールのデータ、動画のデータもしくは静止画のデータ等、符号化されたデータまたは復号化されたデータを保存するための記録メディアex207、携帯電話ex115に記録メディアex207を装着可能とするためのスロット部ex206を有している。記録メディアex207はSDカード等のプラスチックケース内に電気的に書換えや消去が可能な不揮発性メモリであるEEPROM(Electrically Erasable and Programmable Read Only Memory)の一種であるフラッシュメモリ素子を格納したものである。 FIG. 15 is a diagram illustrating the mobile phone ex115 using the motion vector encoding method and the motion vector decoding method described in the above embodiment. The cellular phone ex115 includes an antenna ex201 for transmitting and receiving radio waves to and from the base station ex110, a camera such as a CCD camera, a camera unit ex203 capable of taking a still image, a video shot by the camera unit ex203, and an antenna ex201. A display unit ex202 such as a liquid crystal display that displays data obtained by decoding received video and the like, a main body unit composed of a group of operation keys ex204, an audio output unit ex208 such as a speaker for audio output, and audio input To store encoded data or decoded data such as a voice input unit ex205 such as a microphone, captured video or still image data, received mail data, video data or still image data, etc. Recording medium ex207, and slot portion ex20 for enabling recording medium ex207 to be attached to mobile phone ex115 The has. The recording medium ex207 stores a flash memory element which is a kind of EEPROM (Electrically Erasable and Programmable Read Only Memory) which is a nonvolatile memory that can be electrically rewritten and erased in a plastic case such as an SD card.
さらに、携帯電話ex115について図16を用いて説明する。携帯電話ex115は表示部ex202及び操作キーex204を備えた本体部の各部を統括的に制御するようになされた主制御部ex311に対して、電源回路部ex310、操作入力制御部ex304、画像符号化部ex312、カメラインターフェース部ex303、LCD(Liquid Crystal Display)制御部ex302、画像復号化部ex309、多重分離部ex308、記録再生部ex307、変復調回路部ex306及び音声処理部ex305が同期バスex313を介して互いに接続されている。 Further, the cellular phone ex115 will be described with reference to FIG. The cellular phone ex115 controls the power supply circuit ex310, the operation input control unit ex304, and the image coding for the main control unit ex311 which is configured to control the respective units of the main body unit including the display unit ex202 and the operation key ex204. Unit ex312, camera interface unit ex303, LCD (Liquid Crystal Display) control unit ex302, image decoding unit ex309, demultiplexing unit ex308, recording / reproducing unit ex307, modulation / demodulation circuit unit ex306, and audio processing unit ex305 via a synchronization bus ex313 Are connected to each other.
電源回路部ex310は、ユーザの操作により終話及び電源キーがオン状態にされると、バッテリパックから各部に対して電力を供給することによりカメラ付ディジタル携帯電話ex115を動作可能な状態に起動する。 When the end call and power key are turned on by a user operation, the power supply circuit ex310 activates the camera-equipped digital mobile phone ex115 by supplying power from the battery pack to each unit. .
携帯電話ex115は、CPU、ROM及びRAM等でなる主制御部ex311の制御に基づいて、音声通話モード時に音声入力部ex205で集音した音声信号を音声処理部ex305によってディジタル音声データに変換し、これを変復調回路部ex306でスペクトラム拡散処理し、送受信回路部ex301でディジタルアナログ変換処理及び周波数変換処理を施した後にアンテナex201を介して送信する。また携帯電話機ex115は、音声通話モード時にアンテナex201で受信した受信信号を増幅して周波数変換処理及びアナログディジタル変換処理を施し、変復調回路部ex306でスペクトラム逆拡散処理し、音声処理部ex305によってアナログ音声信号に変換した後、これを音声出力部ex208を介して出力する。 The mobile phone ex115 converts the voice signal collected by the voice input unit ex205 in the voice call mode into digital voice data by the voice processing unit ex305 based on the control of the main control unit ex311 including a CPU, a ROM, a RAM, and the like. The modulation / demodulation circuit unit ex306 performs spread spectrum processing, and the transmission / reception circuit unit ex301 performs digital analog conversion processing and frequency conversion processing, and then transmits the result via the antenna ex201. In addition, the cellular phone ex115 amplifies the received signal received by the antenna ex201 in the voice call mode, performs frequency conversion processing and analog-digital conversion processing, performs spectrum despreading processing by the modulation / demodulation circuit unit ex306, and analog audio by the voice processing unit ex305. After conversion into a signal, this is output via the audio output unit ex208.
さらに、データ通信モード時に電子メールを送信する場合、本体部の操作キーex204の操作によって入力された電子メールのテキストデータは操作入力制御部ex304を介して主制御部ex311に送出される。主制御部ex311は、テキストデータを変復調回路部ex306でスペクトラム拡散処理し、送受信回路部ex301でディジタルアナログ変換処理及び周波数変換処理を施した後にアンテナex201を介して基地局ex110へ送信する。 Further, when an e-mail is transmitted in the data communication mode, text data of the e-mail input by operating the operation key ex204 of the main body is sent to the main control unit ex311 via the operation input control unit ex304. The main control unit ex311 performs spread spectrum processing on the text data in the modulation / demodulation circuit unit ex306, performs digital analog conversion processing and frequency conversion processing in the transmission / reception circuit unit ex301, and then transmits the text data to the base station ex110 via the antenna ex201.
データ通信モード時に画像データを送信する場合、カメラ部ex203で撮像された画像データをカメラインターフェース部ex303を介して画像符号化部ex312に供給する。また、画像データを送信しない場合には、カメラ部ex203で撮像した画像データをカメラインターフェース部ex303及びLCD制御部ex302を介して表示部ex202に直接表示することも可能である。 When transmitting image data in the data communication mode, the image data captured by the camera unit ex203 is supplied to the image encoding unit ex312 via the camera interface unit ex303. When image data is not transmitted, the image data captured by the camera unit ex203 can be directly displayed on the display unit ex202 via the camera interface unit ex303 and the LCD control unit ex302.
画像符号化部ex312は、本願発明で説明した画像符号化装置を備えた構成であり、カメラ部ex203から供給された画像データを上記実施の形態で示した画像符号化装置に用いた符号化方法によって圧縮符号化することにより符号化画像データに変換し、これを多重分離部ex308に送出する。また、このとき同時に携帯電話機ex115は、カメラ部ex203で撮像中に音声入力部ex205で集音した音声を音声処理部ex305を介してディジタルの音声データとして多重分離部ex308に送出する。 The image encoding unit ex312 has a configuration including the image encoding device described in the present invention, and an encoding method using the image data supplied from the camera unit ex203 in the image encoding device described in the above embodiment. The encoded image data is converted into encoded image data by compression encoding, and sent to the demultiplexing unit ex308. At the same time, the cellular phone ex115 sends the sound collected by the audio input unit ex205 during imaging by the camera unit ex203 to the demultiplexing unit ex308 as digital audio data via the audio processing unit ex305.
多重分離部ex308は、画像符号化部ex312から供給された符号化画像データと音声処理部ex305から供給された音声データとを所定の方式で多重化し、その結果得られる多重化データを変復調回路部ex306でスペクトラム拡散処理し、送受信回路部ex301でディジタルアナログ変換処理及び周波数変換処理を施した後にアンテナex201を介して送信する。 The demultiplexing unit ex308 multiplexes the encoded image data supplied from the image encoding unit ex312 and the audio data supplied from the audio processing unit ex305 by a predetermined method, and the multiplexed data obtained as a result is a modulation / demodulation circuit unit A spectrum spread process is performed at ex306, a digital-analog conversion process and a frequency conversion process are performed at the transmission / reception circuit unit ex301, and then transmitted through the antenna ex201.
データ通信モード時にホームページ等にリンクされた動画像ファイルのデータを受信する場合、アンテナex201を介して基地局ex110から受信した受信信号を変復調回路部ex306でスペクトラム逆拡散処理し、その結果得られる多重化データを多重分離部ex308に送出する。 When receiving data of a moving image file linked to a home page or the like in the data communication mode, the received signal received from the base station ex110 via the antenna ex201 is subjected to spectrum despreading processing by the modulation / demodulation circuit unit ex306, and the resulting multiplexing is obtained. Is sent to the demultiplexing unit ex308.
また、アンテナex201を介して受信された多重化データを復号化するには、多重分離部ex308は、多重化データを分離することにより画像データの符号化ビットストリームと音声データの符号化ビットストリームとに分け、同期バスex313を介して当該符号化画像データを画像復号化部ex309に供給すると共に当該音声データを音声処理部ex305に供給する。 In addition, in order to decode the multiplexed data received via the antenna ex201, the demultiplexing unit ex308 separates the multiplexed data to generate an encoded bitstream of image data and an encoded bitstream of audio data. The encoded image data is supplied to the image decoding unit ex309 via the synchronization bus ex313, and the audio data is supplied to the audio processing unit ex305.
次に、画像復号化部ex309は、本願発明で説明した画像復号化装置を備えた構成であり、画像データの符号化ビットストリームを上記実施の形態で示した符号化方法に対応した復号化方法で復号することにより再生動画像データを生成し、これをLCD制御部ex302を介して表示部ex202に供給し、これにより、例えばホームページにリンクされた動画像ファイルに含まれる動画データが表示される。このとき同時に音声処理部ex305は、音声データをアナログ音声信号に変換した後、これを音声出力部ex208に供給し、これにより、例えばホームページにリンクされた動画像ファイルに含まる音声データが再生される。 Next, the image decoding unit ex309 is configured to include the image decoding device described in the present invention, and a decoding method corresponding to the encoding method described in the above embodiment for an encoded bit stream of image data. To generate playback moving image data, which is supplied to the display unit ex202 via the LCD control unit ex302, thereby displaying, for example, moving image data included in the moving image file linked to the homepage . At the same time, the audio processing unit ex305 converts the audio data into an analog audio signal, and then supplies the analog audio signal to the audio output unit ex208. Thus, for example, the audio data included in the moving image file linked to the home page is reproduced. The
なお、上記システムの例に限られず、最近は衛星、地上波によるディジタル放送が話題となっており、図17に示すようにディジタル放送用システムにも上記実施の形態の少なくとも画像符号化装置または画像復号化装置のいずれかを組み込むことができる。具体的には、放送局ex409では映像情報の符号化ビットストリームが電波を介して通信または放送衛星ex410に伝送される。これを受けた放送衛星ex410は、放送用の電波を発信し、この電波を衛星放送受信設備をもつ家庭のアンテナex406で受信し、テレビ(受信機)ex401またはセットトップボックス(STB)ex407などの装置により符号化ビットストリームを復号化してこれを再生する。 It should be noted that the present invention is not limited to the above-described system, and recently, digital broadcasting using satellites and terrestrial waves has become a hot topic. As shown in FIG. Any of the decoding devices can be incorporated. Specifically, in the broadcasting station ex409, the encoded bit stream of the video information is transmitted to the communication or broadcasting satellite ex410 via radio waves. Receiving this, the broadcasting satellite ex410 transmits a radio wave for broadcasting, and receives the radio wave with a home antenna ex406 having a satellite broadcasting receiving facility, such as a television (receiver) ex401 or a set top box (STB) ex407. The device decodes the encoded bit stream and reproduces it.
また、記録媒体であるCDやDVD等の蓄積メディアex402に記録した符号化ビットスト
リームを読み取り、復号化する再生装置ex403にも上記実施の形態で示した画像復号化装置を実装することが可能である。この場合、再生された映像信号はモニタex404に表示される。また、ケーブルテレビ用のケーブルex405または衛星/地上波放送のアンテナex406に接続されたセットトップボックスex407内に画像復号化装置を実装し、これをテレビのモニタex408で再生する構成も考えられる。このときセットトップボックスではなく、テレビ内に画像復号化装置を組み込んでも良い。また、アンテナex411を有する車ex412で衛星ex410からまたは基地局ex107等から信号を受信し、車ex412が有するカーナビゲーションex413等の表示装置に動画を再生することも可能である。
In addition, the image decoding apparatus described in the above embodiment can also be implemented in a playback apparatus ex403 that reads and decodes an encoded bitstream recorded on a storage medium ex402 such as a CD or DVD that is a recording medium. is there. In this case, the reproduced video signal is displayed on the monitor ex404. Further, a configuration in which an image decoding device is mounted in a set-top box ex407 connected to a cable ex405 for cable television or an antenna ex406 for satellite / terrestrial broadcasting, and this is reproduced on the monitor ex408 of the television is also conceivable. At this time, the image decoding apparatus may be incorporated in the television instead of the set top box. It is also possible to receive a signal from the satellite ex410 or the base station ex107 by the car ex412 having the antenna ex411 and reproduce a moving image on a display device such as the car navigation ex413 that the car ex412 has.
更に、画像信号を上記実施の形態で示した画像符号化装置で符号化し、記録媒体に記録することもできる。具体例としては、DVDディスクex421に画像信号を記録するDVDレコーダや、ハードディスクに記録するディスクレコーダなどのレコーダex420がある。更にSDカードex422に記録することもできる。レコーダex420が上記実施の形態で示した画像復号化装置を備えていれば、DVDディスクex421やSDカードex422に記録した画像信号を再生し、モニタex408で表示することができる。 Further, the image signal can be encoded by the image encoding device shown in the above embodiment and recorded on a recording medium. As a specific example, there is a recorder ex420 such as a DVD recorder that records an image signal on a DVD disk ex421 or a disk recorder that records on a hard disk. Further, it can be recorded on the SD card ex422. If the recorder ex420 includes the image decoding device described in the above embodiment, the image signal recorded on the DVD disc ex421 or the SD card ex422 can be reproduced and displayed on the monitor ex408.
なお、カーナビゲーションex413の構成は例えば図16に示す構成のうち、カメラ部ex203とカメラインターフェース部ex303、画像符号化部ex312を除いた構成が考えられ、同様なことがコンピュータex111やテレビ(受信機)ex401等でも考えられる。 For example, the configuration of the car navigation ex413 may be a configuration excluding the camera unit ex203, the camera interface unit ex303, and the image encoding unit ex312 in the configuration illustrated in FIG. ) Ex401 can also be considered.
また、上記携帯電話ex114等の端末は、符号化器・復号化器を両方持つ送受信型の端末の他に、符号化器のみの送信端末、復号化器のみの受信端末の3通りの実装形式が考えられる。 In addition to the transmission / reception type terminal having both the encoder and the decoder, the terminal such as the mobile phone ex114 has three mounting formats: a transmitting terminal having only an encoder and a receiving terminal having only a decoder. Can be considered.
このように、上記実施の形態で示した動きベクトル符号化方法あるいは動きベクトル復号化方法を上述したいずれの機器・システムに用いることは可能であり、そうすることで、上記実施の形態で説明した効果を得ることができる。 As described above, the motion vector encoding method or the motion vector decoding method described in the above embodiment can be used in any of the above-described devices / systems, and as a result, the above-described embodiment has been described. An effect can be obtained.
本発明の動きベクトル符号化方法および動きベクトル復号化方法は、動きベクトルの予測値の予測能力を高めることで符号化効率を向上することができるという効果を奏し、例えば画像符号化装置および画像復号化装置などに適用することができる。 The motion vector encoding method and the motion vector decoding method of the present invention have the effect that the encoding efficiency can be improved by increasing the prediction capability of the prediction value of the motion vector. For example, the image encoding device and the image decoding The present invention can be applied to a conversion device.
101、107 フレームメモリ
102 差分演算部
103 予測誤差符号化部
104 符号列生成部
105 予測誤差復号化部
106 加算演算部
108 動きベクトル検出部
109 モード選択部
116 動きベクトル記憶部
117 動きベクトル符号化部
Cs コンピュータシステム
FD フレキシブルディスク
FDD フレキシブルディスクドライブ
101, 107
Claims (2)
符号化の対象となる前記ブロックの周辺にあって既に符号化済みである3つの周辺ブロックを特定する周辺ブロック特定ステップと、
前記3つの周辺ブロックの符号化で用いたそれぞれの参照ピクチャと、符号化の対象となる前記ブロックの符号化で用いる参照ピクチャが同じであるか否かを判断する参照ピクチャ判断ステップと、
前記3つの周辺ブロックの動きベクトルを用いて、符号化の対象となる前記ブロックの予測動きベクトルを導出する予測動きベクトル導出ステップと、
前記予測動きベクトルを用いて、符号化の対象となる前記ブロックの前記動きベクトルを符号化する動きベクトル符号化ステップと、を包含し、
ここで、前記周辺ブロックが前記周辺ブロックの周辺に位置する他のブロックの動きベクトルを用いて予測符号化されている場合には、前記他のブロックの動きベクトルを用いて求められた動きベクトルであって、前記周辺ブロックを予測符号化する際に使用される動きベクトルを、前記予測動きベクトル導出ステップにおいて、前記周辺ブロックの動きベクトルとして用い、
更に、前記参照ピクチャ判断ステップで、同じ参照ピクチャであると判断された参照ピクチャを参照する周辺ブロックの数が2又は3の場合は、異なる参照ピクチャを参照する周辺ブロックの動きベクトルの大きさを0とし、前記3つの周辺ブロックの3つの動きベクトルの中央値を、符号化の対象となる前記ブロックの予測動きベクトルとする、
ことを特徴とする動きベクトル符号化方法。 A motion vector encoding method for encoding a motion vector of a block constituting a moving picture,
A peripheral block specifying step for specifying three peripheral blocks that have been encoded around the block to be encoded;
A reference picture determination step for determining whether or not each reference picture used for encoding the three neighboring blocks is the same as a reference picture used for encoding the block to be encoded;
A predicted motion vector deriving step of deriving a predicted motion vector of the block to be encoded using the motion vectors of the three neighboring blocks;
A motion vector encoding step of encoding the motion vector of the block to be encoded using the prediction motion vector,
Here, when the peripheral block is predictively encoded using a motion vector of another block located around the peripheral block, a motion vector obtained using the motion vector of the other block is used. A motion vector used when predictively encoding the peripheral block is used as a motion vector of the peripheral block in the predictive motion vector derivation step,
Further, when the number of peripheral blocks referring to the reference picture determined to be the same reference picture in the reference picture determining step is 2 or 3, the size of the motion vector of the peripheral block referring to a different reference picture is set. 0, and the median value of the three motion vectors of the three neighboring blocks is the predicted motion vector of the block to be encoded,
A motion vector encoding method characterized by the above.
符号化の対象となる前記ブロックの周辺にあって既に符号化済みの3つの周辺ブロックを特定する周辺ブロック特定手段と、
前記3つの周辺ブロックの符号化で用いたそれぞれの参照ピクチャと、符号化の対象となる前記ブロックの符号化で用いる参照ピクチャが同じであるか否かを判断する参照ピクチャ判断手段と、
前記3つの周辺ブロックの動きベクトルを用いて、符号化の対象となる前記ブロックの予測動きベクトルを導出する予測動きベクトル導出手段と、
前記予測動きベクトルを用いて、符号化の対象となる前記ブロックの前記動きベクトルを符号化する動きベクトル符号化手段と、を包含し、
ここで、前記周辺ブロックが前記周辺ブロックの周辺に位置する他のブロックの動きベクトルを用いて予測符号化されている場合には、前記他のブロックの動きベクトルを用いて求められた動きベクトルであって、前記周辺ブロックを予測符号化する際に使用される動きベクトルを、前記予測動きベクトル導出手段において、前記周辺ブロックの動きベクトルとして用い、
更に、前記参照ピクチャ判断手段によって、同じ参照ピクチャであると判断された参照ピクチャを参照する周辺ブロックの数が2又は3の場合は、異なる参照ピクチャを参照する周辺ブロックの動きベクトルの大きさを0とし、前記3つの周辺ブロックの3つの動きベクトルの中央値を、符号化の対象となる前記ブロックの予測動きベクトルとする、
ことを特徴とする動きベクトル符号化装置。 A motion vector encoding device for encoding a motion vector of a block constituting a picture of a moving image,
Peripheral block specifying means for specifying three peripheral blocks that have already been encoded in the periphery of the block to be encoded;
Reference picture determining means for determining whether or not each reference picture used for encoding the three neighboring blocks and a reference picture used for encoding the block to be encoded are the same;
Predicted motion vector deriving means for deriving a predicted motion vector of the block to be encoded using the motion vectors of the three neighboring blocks;
Motion vector encoding means for encoding the motion vector of the block to be encoded using the predicted motion vector,
Here, when the peripheral block is predictively encoded using a motion vector of another block located around the peripheral block, a motion vector obtained using the motion vector of the other block is used. A motion vector used when predictively encoding the surrounding block is used as a motion vector of the surrounding block in the predicted motion vector deriving unit;
Further, when the number of peripheral blocks referring to the reference picture determined to be the same reference picture by the reference picture determining means is 2 or 3, the size of the motion vector of the peripheral block referring to a different reference picture is set. 0, and the median value of the three motion vectors of the three neighboring blocks is the predicted motion vector of the block to be encoded,
A motion vector encoding device characterized by that.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010177935A JP4598160B1 (en) | 2002-01-09 | 2010-08-06 | Motion vector coding method |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002001983 | 2002-01-09 | ||
JP2002204714 | 2002-07-12 | ||
JP2010177935A JP4598160B1 (en) | 2002-01-09 | 2010-08-06 | Motion vector coding method |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008124014A Division JP4672752B2 (en) | 2002-01-09 | 2008-05-09 | Motion vector coding method |
Publications (2)
Publication Number | Publication Date |
---|---|
JP4598160B1 true JP4598160B1 (en) | 2010-12-15 |
JP2010283874A JP2010283874A (en) | 2010-12-16 |
Family
ID=39753316
Family Applications (13)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2005341044A Expired - Lifetime JP4150742B2 (en) | 2002-01-09 | 2005-11-25 | Motion vector decoding method |
JP2008124013A Expired - Lifetime JP4672751B2 (en) | 2002-01-09 | 2008-05-09 | Motion vector decoding method |
JP2008124012A Expired - Lifetime JP4714236B2 (en) | 2002-01-09 | 2008-05-09 | Reception device, transmission device, reception program, and transmission program |
JP2008124014A Expired - Lifetime JP4672752B2 (en) | 2002-01-09 | 2008-05-09 | Motion vector coding method |
JP2010042127A Expired - Lifetime JP5085671B2 (en) | 2002-01-09 | 2010-02-26 | Decoding system and decoding apparatus |
JP2010173026A Expired - Lifetime JP4594448B1 (en) | 2002-01-09 | 2010-07-30 | Motion vector coding method |
JP2010175814A Expired - Lifetime JP4594449B2 (en) | 2002-01-09 | 2010-08-04 | Motion vector decoding method |
JP2010177934A Expired - Lifetime JP4585047B1 (en) | 2002-01-09 | 2010-08-06 | Motion vector decoding method |
JP2010177935A Expired - Lifetime JP4598160B1 (en) | 2002-01-09 | 2010-08-06 | Motion vector coding method |
JP2011066625A Expired - Lifetime JP5085757B2 (en) | 2002-01-09 | 2011-03-24 | Image decoding method, image decoding apparatus, program, and recording medium |
JP2011066624A Expired - Lifetime JP5085756B2 (en) | 2002-01-09 | 2011-03-24 | Image encoding method, image encoding apparatus, program, and recording medium |
JP2011066626A Expired - Lifetime JP5090551B2 (en) | 2002-01-09 | 2011-03-24 | Image encoding method, image encoding apparatus, program, and recording medium |
JP2011066627A Expired - Lifetime JP5090552B2 (en) | 2002-01-09 | 2011-03-24 | Image decoding method, image decoding apparatus, program, and recording medium |
Family Applications Before (8)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2005341044A Expired - Lifetime JP4150742B2 (en) | 2002-01-09 | 2005-11-25 | Motion vector decoding method |
JP2008124013A Expired - Lifetime JP4672751B2 (en) | 2002-01-09 | 2008-05-09 | Motion vector decoding method |
JP2008124012A Expired - Lifetime JP4714236B2 (en) | 2002-01-09 | 2008-05-09 | Reception device, transmission device, reception program, and transmission program |
JP2008124014A Expired - Lifetime JP4672752B2 (en) | 2002-01-09 | 2008-05-09 | Motion vector coding method |
JP2010042127A Expired - Lifetime JP5085671B2 (en) | 2002-01-09 | 2010-02-26 | Decoding system and decoding apparatus |
JP2010173026A Expired - Lifetime JP4594448B1 (en) | 2002-01-09 | 2010-07-30 | Motion vector coding method |
JP2010175814A Expired - Lifetime JP4594449B2 (en) | 2002-01-09 | 2010-08-04 | Motion vector decoding method |
JP2010177934A Expired - Lifetime JP4585047B1 (en) | 2002-01-09 | 2010-08-06 | Motion vector decoding method |
Family Applications After (4)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011066625A Expired - Lifetime JP5085757B2 (en) | 2002-01-09 | 2011-03-24 | Image decoding method, image decoding apparatus, program, and recording medium |
JP2011066624A Expired - Lifetime JP5085756B2 (en) | 2002-01-09 | 2011-03-24 | Image encoding method, image encoding apparatus, program, and recording medium |
JP2011066626A Expired - Lifetime JP5090551B2 (en) | 2002-01-09 | 2011-03-24 | Image encoding method, image encoding apparatus, program, and recording medium |
JP2011066627A Expired - Lifetime JP5090552B2 (en) | 2002-01-09 | 2011-03-24 | Image decoding method, image decoding apparatus, program, and recording medium |
Country Status (1)
Country | Link |
---|---|
JP (13) | JP4150742B2 (en) |
Families Citing this family (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4592656B2 (en) * | 2006-08-17 | 2010-12-01 | 富士通セミコンダクター株式会社 | Motion prediction processing device, image encoding device, and image decoding device |
KR101383540B1 (en) | 2007-01-03 | 2014-04-09 | 삼성전자주식회사 | Method of estimating motion vector using multiple motion vector predictors, apparatus, encoder, decoder and decoding method |
CN101742278B (en) * | 2008-11-12 | 2012-11-07 | 富士通半导体股份有限公司 | Method and system for acquiring motion vector and edge intensity of image |
CN107105270B (en) | 2010-12-13 | 2020-04-24 | 韩国电子通信研究院 | Inter-frame prediction method |
JP5711514B2 (en) * | 2010-12-14 | 2015-04-30 | 日本電信電話株式会社 | Encoding device, decoding device, encoding method, decoding method, encoding program, and decoding program |
JP5853841B2 (en) * | 2011-04-27 | 2016-02-09 | 株式会社Jvcケンウッド | Moving picture decoding apparatus, moving picture decoding method, moving picture decoding program, receiving apparatus, receiving method, and receiving program |
JP5853842B2 (en) * | 2011-04-27 | 2016-02-09 | 株式会社Jvcケンウッド | Moving picture coding apparatus, moving picture coding method, moving picture coding program, transmission apparatus, transmission method, and transmission program |
TWI526056B (en) | 2011-04-27 | 2016-03-11 | Jvc Kenwood Corp | A moving picture coding apparatus, a motion picture coding method, a transmission picture coding program, a transmission apparatus, a transmission method, a transmission program, a video decoding apparatus, a video decoding method, a video decoding program, a reception device, a Reception method, Receiving program |
WO2012147344A1 (en) | 2011-04-27 | 2012-11-01 | 株式会社Jvcケンウッド | Video decoding device, video decoding method, and video decoding program |
TWI586155B (en) * | 2011-09-28 | 2017-06-01 | Jvc Kenwood Corp | A motion picture decoding apparatus, a motion picture decoding method, and a recording medium |
RU2579665C9 (en) | 2011-12-28 | 2016-12-27 | ДжейВиСи КЕНВУД КОРПОРЕЙШН | Moving picture coding device, moving picture coding method, and moving picture coding program, and moving picture decoding device, moving picture decoding method, and moving picture decoding program |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO1994022269A1 (en) * | 1993-03-24 | 1994-09-29 | Sony Corporation | Method and apparatus for coding/decoding motion vector, and method and apparatus for coding/decoding image signal |
JP2000299864A (en) * | 1999-04-12 | 2000-10-24 | Canon Inc | Method for processing dynamic image |
JP2001045498A (en) * | 1996-09-09 | 2001-02-16 | Sony Corp | Image coder and image coding method, image decoder and image decoding method, and recording medium and recording method |
WO2001033864A1 (en) * | 1999-10-29 | 2001-05-10 | Koninklijke Philips Electronics N.V. | Video encoding-method |
JP2001224036A (en) * | 1995-10-18 | 2001-08-17 | Sharp Corp | Moving picture coder |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH11317961A (en) * | 1998-03-05 | 1999-11-16 | Matsushita Electric Ind Co Ltd | Image coder, image decoder, image coding method, image decoding method and data storage medium |
JP2000099864A (en) * | 1998-09-21 | 2000-04-07 | Yoshitaka Kurita | Nursing helper supporting device |
US6671319B1 (en) * | 1999-12-28 | 2003-12-30 | Sony Corporation | Methods and apparatus for motion estimation using neighboring macroblocks |
-
2005
- 2005-11-25 JP JP2005341044A patent/JP4150742B2/en not_active Expired - Lifetime
-
2008
- 2008-05-09 JP JP2008124013A patent/JP4672751B2/en not_active Expired - Lifetime
- 2008-05-09 JP JP2008124012A patent/JP4714236B2/en not_active Expired - Lifetime
- 2008-05-09 JP JP2008124014A patent/JP4672752B2/en not_active Expired - Lifetime
-
2010
- 2010-02-26 JP JP2010042127A patent/JP5085671B2/en not_active Expired - Lifetime
- 2010-07-30 JP JP2010173026A patent/JP4594448B1/en not_active Expired - Lifetime
- 2010-08-04 JP JP2010175814A patent/JP4594449B2/en not_active Expired - Lifetime
- 2010-08-06 JP JP2010177934A patent/JP4585047B1/en not_active Expired - Lifetime
- 2010-08-06 JP JP2010177935A patent/JP4598160B1/en not_active Expired - Lifetime
-
2011
- 2011-03-24 JP JP2011066625A patent/JP5085757B2/en not_active Expired - Lifetime
- 2011-03-24 JP JP2011066624A patent/JP5085756B2/en not_active Expired - Lifetime
- 2011-03-24 JP JP2011066626A patent/JP5090551B2/en not_active Expired - Lifetime
- 2011-03-24 JP JP2011066627A patent/JP5090552B2/en not_active Expired - Lifetime
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO1994022269A1 (en) * | 1993-03-24 | 1994-09-29 | Sony Corporation | Method and apparatus for coding/decoding motion vector, and method and apparatus for coding/decoding image signal |
JP2001224036A (en) * | 1995-10-18 | 2001-08-17 | Sharp Corp | Moving picture coder |
JP2001045498A (en) * | 1996-09-09 | 2001-02-16 | Sony Corp | Image coder and image coding method, image decoder and image decoding method, and recording medium and recording method |
JP2000299864A (en) * | 1999-04-12 | 2000-10-24 | Canon Inc | Method for processing dynamic image |
WO2001033864A1 (en) * | 1999-10-29 | 2001-05-10 | Koninklijke Philips Electronics N.V. | Video encoding-method |
Also Published As
Publication number | Publication date |
---|---|
JP4150742B2 (en) | 2008-09-17 |
JP2010283874A (en) | 2010-12-16 |
JP2008193746A (en) | 2008-08-21 |
JP2010268518A (en) | 2010-11-25 |
JP2011147172A (en) | 2011-07-28 |
JP5085757B2 (en) | 2012-11-28 |
JP4594448B1 (en) | 2010-12-08 |
JP2010283865A (en) | 2010-12-16 |
JP2010268513A (en) | 2010-11-25 |
JP2008193745A (en) | 2008-08-21 |
JP5085756B2 (en) | 2012-11-28 |
JP2011160456A (en) | 2011-08-18 |
JP4672751B2 (en) | 2011-04-20 |
JP2011160457A (en) | 2011-08-18 |
JP2008206197A (en) | 2008-09-04 |
JP4585047B1 (en) | 2010-11-24 |
JP5090552B2 (en) | 2012-12-05 |
JP5085671B2 (en) | 2012-11-28 |
JP2006141043A (en) | 2006-06-01 |
JP2011147171A (en) | 2011-07-28 |
JP2010158049A (en) | 2010-07-15 |
JP4714236B2 (en) | 2011-06-29 |
JP5090551B2 (en) | 2012-12-05 |
JP4672752B2 (en) | 2011-04-20 |
JP4594449B2 (en) | 2010-12-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4114859B2 (en) | Motion vector encoding method and motion vector decoding method | |
JP4598160B1 (en) | Motion vector coding method | |
JP4130783B2 (en) | Motion vector encoding method and motion vector decoding method | |
JP4348209B2 (en) | Image encoding method and image decoding method | |
KR100944851B1 (en) | Moving picture encoding method and moving picture decoding method | |
JP2004120138A (en) | Moving picture coding method and moving picture decoding method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20100922 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4598160 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131001 Year of fee payment: 3 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
EXPY | Cancellation because of completion of term |