JP2003259377A - Moving picture encoding method, moving picture decoding method, and code string format - Google Patents

Abstract

<P>PROBLEM TO BE SOLVED: To enhance encoding efficiency by increasing only the small number of encoding modes in the case of dividing a macro block to apply motion compensation. <P>SOLUTION: A motion vector detection section 108 uses decoded image data stored in a reference picture memory 107 for a reference picture to detect a motion vector. A mode selection section 109 uses the motion vector to decide an encoding mode. In this case, the macro block is divided into a plurality to detect a motion vector and to select the encoding mode by each division unit. A difference arithmetic section 109 calculates a difference between an encoding object image and the reference image to produce a predicted error image. A prediction error encoding section 103 applies encoding to the predicted error image and outputs the result as encoded data. A code string generating section 104 applies variable length encoding or the like to the encoded data and outputs a code string. <P>COPYRIGHT: (C)2003,JPO

Description

【発明の詳細な説明】Detailed Description of the Invention

【０００１】[0001]

【発明の属する技術分野】本発明は、動画像符号化方法
および動画像復号化方法に関し、特に処理対象ピクチャ
に対して、処理済みのピクチャを参照ピクチャとして用
いるピクチャ間予測符号化処理及びピクチャ間予測復号
化処理を施す際の動き補償方法に関するものである。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a moving picture coding method and a moving picture decoding method, and more particularly to an inter picture predictive coding processing and an inter picture prediction processing using a processed picture as a reference picture for a processing target picture. The present invention relates to a motion compensation method when performing predictive decoding processing.

【０００２】[0002]

【従来の技術】動画像符号化処理では、一般に動画像が
有する空間方向および時間方向の冗長性を利用して情報
量の圧縮が行われる。ここで一般に、空間方向の冗長性
を利用する方法としては、周波数領域への変換が用いら
れ、時間方向の冗長性を利用する方法としては、ピクチ
ャ間予測符号化処理が用いられる。ピクチャ間予測符号
化処理では、あるピクチャを符号化する際に、符号化処
理の対象となる符号化対象ピクチャに対して時間的に前
方または後方にあるピクチャを、該符号化対象ピクチャ
に対応する参照ピクチャとする。そして、その参照ピク
チャに対する対象ピクチャの動き量を検出し、該動き量
に基づいて動き補償処理を行って得られた画像データと
符号化対象ピクチャの画像データとの差分を取ることに
より時間方向の冗長性を取り除く。そしてさらに、該差
分値に対して空間方向の冗長度を取り除くことにより、
符号化対象ピクチャに対する情報量の圧縮を行う。2. Description of the Related Art In a moving image coding process, the amount of information is compressed by utilizing the spatial and temporal redundancy of moving images. Generally, as a method of utilizing the redundancy in the spatial direction, conversion into the frequency domain is used, and as a method of utilizing the redundancy in the time direction, an inter-picture predictive coding process is used. In the inter-picture predictive coding process, when a certain picture is coded, a picture that is temporally ahead or behind the coding target picture that is the target of the coding process corresponds to the coding target picture. Use as a reference picture. Then, the motion amount of the target picture with respect to the reference picture is detected, and the difference between the image data obtained by performing the motion compensation processing based on the motion amount and the image data of the encoding target picture is calculated to determine the time direction. Remove redundancy. Then, by further removing the redundancy in the spatial direction with respect to the difference value,
The amount of information for the picture to be encoded is compressed.

【０００３】ＭＰＥＧ−１、ＭＰＥＧ−２、ＭＰＥＧ−
４、Ｈ．２６３、Ｈ．２６Ｌ等の動画像符号化方式で
は、ピクチャ間予測符号化処理を行わない、すなわちピ
クチャ内符号化処理を行うピクチャをＩピクチャと呼
ぶ。また、時間的に符号化対象ピクチャの前方にあるピ
クチャを参照してピクチャ間予測符号化が行われるピク
チャをＰピクチャと呼び、時間的に符号化対象ピクチャ
の前方および後方にあるＩピクチャまたはＰピクチャの
両方を参照してピクチャ間予測符号化が行われるピクチ
ャをＢピクチャと呼ぶ。MPEG-1, MPEG-2, MPEG-
4, H.I. 263, H.H. In the moving picture coding system such as 26L, a picture that does not perform inter-picture predictive coding processing, that is, performs intra-picture coding processing is called an I picture. Also, a picture that is inter-picture predictive coded by referring to a picture preceding the current picture to be coded is called a P picture, and I pictures or P pictures temporally preceding and following the current picture to be coded. A picture for which inter-picture predictive coding is performed with reference to both pictures is called a B picture.

【０００４】図９（ａ）は、上記の動画像符号化方式に
おける、各ピクチャと、対応する参照ピクチャとの関係
を示す図である。FIG. 9 (a) is a diagram showing the relationship between each picture and the corresponding reference picture in the above moving picture coding system.

【０００５】ピクチャＩ１はＩピクチャであり、ピクチ
ャＰ４、Ｐ７、Ｐ１０は、Ｐピクチャであり、ピクチャ
Ｂ２，Ｂ３、Ｂ５、Ｂ６、Ｂ８、Ｂ９は、Ｂピクチャで
ある。The picture I1 is an I picture, the pictures P4, P7 and P10 are P pictures, and the pictures B2, B3, B5, B6, B8 and B9 are B pictures.

【０００６】つまり、ＰピクチャＰ４、Ｐ７、Ｐ１０
は、矢印で示すように、それぞれ、ＩピクチャＩ１、Ｐ
ピクチャＰ４，ＰピクチャＰ７を参照ピクチャとして用
いてピクチャ間予測符号化が施されるものである。That is, P pictures P4, P7, P10
Are I pictures I1 and P, respectively, as indicated by arrows.
Inter-picture predictive coding is performed using the pictures P4 and P pictures P7 as reference pictures.

【０００７】また、ＢピクチャＢ２、Ｂ３はそれぞれ、
矢印で示すように、ＩピクチャＩ１及びＰピクチャＰ４
を参照ピクチャとして用いてピクチャ間予測符号化が施
されるもの、ＢピクチャＢ５、Ｂ６はそれぞれ、矢印で
示すように、ＰピクチャＰ４及びＰピクチャＰ７を参照
ピクチャとして用いてピクチャ間予測符号化が施される
もの、ＢピクチャＢ８、Ｂ９はそれぞれ、矢印で示すよ
うに、ＰピクチャＰ７及びＰピクチャＰ１０を参照ピク
チャとして用いてピクチャ間予測符号化が施されるもの
である。The B pictures B2 and B3 are respectively
As shown by the arrows, I picture I1 and P picture P4
Is used as a reference picture to perform inter-picture predictive coding, and B pictures B5 and B6 are respectively subjected to inter-picture predictive coding using P pictures P4 and P pictures P7 as reference pictures. Each of the B-pictures B8 and B9 to be applied is inter-picture predictive coding using the P-picture P7 and P-picture P10 as reference pictures, as indicated by arrows.

【０００８】一方、ＭＰＥＧ−４やＨ．２６Ｌ等の動画
像符号化方式では、Ｂピクチャの符号化において、ダイ
レクトモードという符号化モードを選択することができ
る。ダイレクトモードにおけるフレーム間予測方法を図
１０を用いて説明する。今、ピクチャＢ６のブロックａ
をダイレクトモードで符号化するとする。この場合、ピ
クチャＢ６の後方参照ピクチャＰ７中の、ブロックａと
同じ位置にあるブロックｂの動きベクトルｃを利用す
る。動きベクトルｃは、ブロックｂが符号化された際に
用いられた動きベクトルであり、ピクチャＰ４を参照し
ている。ブロックａは、動きベクトルｃと平行な動きベ
クトルを用いて、参照ピクチャであるピクチャＰ４とピ
クチャＰ７から双方向予測を行う。この場合のブロック
ａを符号化する際に用いる動きベクトルは、ピクチャＰ
４に対しては動きベクトルｄ、ピクチャＰ７に対しては
動きベクトルｅとなる。On the other hand, MPEG-4 and H.264. In the moving picture coding method such as 26L, a coding mode called a direct mode can be selected in coding a B picture. An interframe prediction method in the direct mode will be described with reference to FIG. Now, block a of picture B6
Is encoded in the direct mode. In this case, the motion vector c of the block b at the same position as the block a in the backward reference picture P7 of the picture B6 is used. The motion vector c is a motion vector used when the block b is coded, and refers to the picture P4. The block a performs bidirectional prediction from the reference pictures P4 and P7 using a motion vector parallel to the motion vector c. The motion vector used when encoding the block a in this case is the picture P.
4 is the motion vector d, and picture P7 is the motion vector e.

【０００９】ピクチャ間予測符号化において動き補償を
行う際には、一般的にはマクロブロックと呼ばれる単位
を基本単位として処理を行う。マクロブロックの大きさ
としては、例えば縦１６×横１６画素程度の大きさが用
いられる。When performing motion compensation in inter picture predictive coding, processing is generally performed with a unit called a macro block as a basic unit. As the size of the macro block, for example, a size of about 16 pixels vertically × 16 pixels horizontally is used.

【００１０】動き補償の大きさとしてマクロブロックの
大きさのみを用いると、マクロブロックよりも小さな物
体の動き等を上手く検出することができず、符号化効率
の低下が起こる。したがって、マクロブロックを複数の
ブロックに分割し、その分割ブロック毎に動き補償を行
う方法が提案されている。その一例を以下で説明する。
図３は、動き補償におけるマクロブロックの分割方法に
ついて、従来例を示す模式図である。図３においては、
縦１６画素×横１６画素の大きさを有するマクロブロッ
クをどのように分割するかを示している。分割方法とし
ては、まず大きく４通りあり、それを図３（ａ）〜
（ｄ）に示している。図３（ａ）はマクロブロックを分
割せずに動き補償を行う場合、図３（ｂ）はマクロブロ
ックを縦１６画素×横８画素の２つのブロックに分割し
て動き補償を行う場合、図３（ｃ）はマクロブロックを
縦８画素×横１６画素の２つのブロックに分割して動き
補償を行う場合、図３（ｄ）はマクロブロックを縦８画
素×横８画素の４つのブロックに分割して動き補償を行
う場合を示している。さらに、図３（ｄ）の分割方法を
選択する場合には、縦８画素×横８画素の４ブロックの
それぞれについての分割方法を、図３（ｅ）〜（ｈ）か
ら選択することができる。If only the size of the macroblock is used as the size of motion compensation, the motion of an object smaller than the macroblock cannot be detected well, and the coding efficiency is lowered. Therefore, a method has been proposed in which a macroblock is divided into a plurality of blocks and motion compensation is performed for each of the divided blocks. An example will be described below.
FIG. 3 is a schematic diagram showing a conventional example of a macroblock division method in motion compensation. In FIG.
It shows how to divide a macro block having a size of vertical 16 pixels × horizontal 16 pixels. First, there are four major division methods, which are shown in FIG.
It is shown in (d). FIG. 3A shows a case where motion compensation is performed without dividing a macroblock, and FIG. 3B shows a case where motion compensation is performed by dividing a macroblock into two blocks of 16 pixels vertically and 8 pixels horizontally. 3 (c) shows a case where motion compensation is performed by dividing a macro block into two blocks of vertical 8 pixels × horizontal 16 pixels, and FIG. 3 (d) shows that the macro block is divided into four blocks of vertical 8 pixels × horizontal 8 pixels. It shows a case where the motion compensation is performed by dividing. Further, when the division method of FIG. 3D is selected, the division method for each of the four blocks of vertical 8 pixels × horizontal 8 pixels can be selected from FIGS. 3E to 3H. .

【００１１】Ｐピクチャの場合における、動き補償での
マクロブロックの分割方法についての表現方法（マクロ
ブロックモード）の例を表５、Ｂに示す。表５は、マク
ロブロックの分割方法を示しており、「スキップモー
ド」は動きベクトルが０であり、かつ動き補償後の残差
データに周波数変換、量子化等の処理を施した結果、す
べての係数が０となる場合を示している。すなわち、
「スキップモード」の場合には、画像データに関する情
報は符号列中に含まれないことになる。また表６は、マ
クロブロック分割方法として、縦８画素×横８画素が選
択された場合に、さらに各８×８画素ブロックに対する
分割方法を示している。符号列中には、動き補償の際の
分割方法を示すために、表５、Ｂでの番号が記述され
る。Tables 5 and B show examples of a representation method (macroblock mode) for a macroblock division method in motion compensation in the case of a P picture. Table 5 shows a macroblock division method. In the “skip mode”, the motion vector is 0, and as a result of performing processing such as frequency conversion and quantization on the residual data after motion compensation, all The case where the coefficient is 0 is shown. That is,
In the case of the "skip mode", the information regarding the image data is not included in the code string. Further, Table 6 shows, as a macroblock division method, a division method for each 8 × 8 pixel block when vertical 8 pixels × horizontal 8 pixels is selected. In the code string, the numbers in Table 5 and B are described in order to show the division method at the time of motion compensation.

【００１２】また、Ｂピクチャの場合における、動き補
償でのマクロブロックの分割方法についての表現方法
（マクロブロックモード）の例を表７、８に示す。表７
は、マクロブロックの分割方法を示している。表７にお
いて「ブロック１」は、マクロブロックを縦１６画素×
横８画素、または縦８画素×横１６画素に分割した際
に、上または左に位置するブロックを示し、「ブロック
２」は下または右に位置するブロックを示すとする。ま
た表８は、マクロブロック分割方法として、縦８画素×
横８画素が選択された場合に、さらに各８×８画素ブロ
ックに対する分割方法を示している。符号列中には、動
き補償の際の分割方法を示すために、表７、８での番号
が記述される。なお、動き補償におけるマクロブロック
の分割方法の決定は、一般に所定のビット量で誤差が最
小となるものを選択することにより行う。Tables 7 and 8 show examples of a representation method (macroblock mode) for a macroblock division method in motion compensation in the case of a B picture. Table 7
Shows a method of dividing a macroblock. In Table 7, "block 1" is a macroblock that has 16 pixels in the vertical direction.
When the pixel is divided into 8 horizontal pixels or 8 vertical pixels × 16 horizontal pixels, it indicates a block located on the top or the left, and “block 2” indicates a block located on the bottom or the right. Further, Table 8 shows vertical pixel 8 ×
When the horizontal 8 pixels are selected, the division method for each 8 × 8 pixel block is shown. The numbers in Tables 7 and 8 are described in the code string to indicate the division method for motion compensation. The macroblock division method for motion compensation is generally determined by selecting a macroblock having a minimum error with a predetermined bit amount.

【００１３】[0013]

【発明が解決しようとする課題】上記従来の方法では、
マクロブロックを２つ以上に分割して動き補償を行う場
合に、スキップモード（Ｐピクチャの場合）やダイレク
トモード（Ｂピクチャの場合）が用いられていない。し
たがって、符号化効率をさらに改善する余地が残されて
いる。SUMMARY OF THE INVENTION In the above conventional method,
When motion compensation is performed by dividing a macro block into two or more, skip mode (for P picture) or direct mode (for B picture) is not used. Therefore, there is room to further improve the coding efficiency.

【００１４】本発明は上記問題点を解決するものであ
り、マクロブロックを複数に分割して動き補償を行う際
に、従来の方法よりもさらに符号化効率を向上させるこ
とができる動画像符号化方法および動画像復号化方法を
提供することを目的とする。The present invention solves the above problems, and when moving a macroblock into a plurality of blocks for motion compensation, it is possible to further improve the coding efficiency as compared with the conventional method. An object of the present invention is to provide a method and a video decoding method.

【００１５】[0015]

【課題を解決するための手段】上記目的を達成するため
に、本発明の動画像符号化方法は、請求項１の構成によ
ると、動画像を構成する各ピクチャに対応する画像デー
タを符号化して符号列を生成する動画像符号化方法であ
って、符号化の対象となる対象ピクチャを、既に符号化
処理済みのピクチャを参照ピクチャとして、ピクチャ間
予測符号化を施す符号化ステップを含み、前記符号化ス
テップは、縦Ｎ画素×横Ｍ画素の大きさを有する第一の
ブロックを、縦Ｓ画素×横Ｔ画素（Ｓ≦Ｎ、Ｔ≦Ｍ）の
大きさを有する第二のブロックに分割し、前記第二のブ
ロックの単位での符号化モードとして、前記参照ピクチ
ャ内の前記第二のブロックと同一位置のブロックをコピ
ーするモードを選択可能とする特徴を有している。In order to achieve the above object, the moving picture coding method of the present invention has a structure according to the first aspect, in which picture data corresponding to each picture forming a moving picture is coded. And a coding step of performing inter-picture predictive coding with a target picture to be coded as a reference picture that is already coded, In the encoding step, a first block having a size of vertical N pixels × horizontal M pixels is converted into a second block having a size of vertical S pixels × horizontal T pixels (S ≦ N, T ≦ M). It has a feature that it is possible to select a mode in which the block is divided and the block at the same position as the second block in the reference picture is copied as the encoding mode in units of the second block.

【００１６】また請求項２の構成によると、動画像を構
成する各ピクチャに対応する画像データを符号化して符
号列を生成する動画像符号化方法であって、符号化の対
象となる対象ピクチャを、既に符号化処理済みのピクチ
ャを参照ピクチャとして、ピクチャ間予測符号化を施す
符号化ステップを含み、前記符号化ステップは、縦Ｎ画
素×横Ｍ画素の大きさを有する第一のブロックを、縦Ｓ
画素×横Ｔ画素（Ｓ≦Ｎ、Ｔ≦Ｍ）の大きさを有する第
二のブロックに分割し、前記第二のブロックの単位での
符号化モードとして、後方参照ピクチャ内の前記第二の
ブロックと同一位置のブロックを符号化する際に用いた
動きベクトルを利用して動き補償を行うモードを選択可
能とする特徴を有している。According to a second aspect of the present invention, there is provided a moving picture coding method for coding image data corresponding to each picture forming a moving picture to generate a code string, which is a target picture to be coded. Including a coding step of performing inter-picture predictive coding using a picture that has already been coded as a reference picture, and the coding step includes a first block having a size of vertical N pixels × horizontal M pixels. , Vertical S
It is divided into a second block having a size of pixels × horizontal T pixels (S ≦ N, T ≦ M), and the second block in the backward reference picture is set as a coding mode in units of the second block. It has a feature that a mode for motion compensation can be selected using a motion vector used when coding a block at the same position as the block.

【００１７】また、本発明の動画像復号化方法は、請求
項３の構成によると、動画像を構成する各ピクチャに対
応する画像データを符号化して生成された符号列を復号
化する動画像復号化方法であって、復号化の対象となる
対象ピクチャに対して、前記対象ピクチャ以外の復号化
済みのピクチャを参照ピクチャとして用いる予測復号化
を施す復号化ステップを含み、前記復号化ステップは、
縦Ｎ画素×横Ｍ画素の大きさを有する第一のブロック
を、縦Ｓ画素×横Ｔ画素（Ｓ≦Ｎ、Ｔ≦Ｍ）の大きさを
有する第二のブロックに分割し、前記第二のブロックが
前記参照ピクチャ内の前記第二のブロックと同一位置の
第三のブロックをコピーするモードとして符号化されて
いる場合には、前記第三のブロックを前記第二のブロッ
クの復号化画像とする特徴を有している。According to the third aspect of the present invention, the moving picture decoding method of the present invention is a moving picture decoding method for decoding a code string generated by coding image data corresponding to each picture forming a moving picture. A decoding method, which includes a decoding step of performing predictive decoding using a decoded picture other than the target picture as a reference picture for a target picture to be decoded, wherein the decoding step includes ,
A first block having a size of vertical N pixels × horizontal M pixels is divided into a second block having a size of vertical S pixels × horizontal T pixels (S ≦ N, T ≦ M), and the second block Block is encoded as a mode of copying a third block at the same position as the second block in the reference picture, the third block is a decoded image of the second block. It has the following characteristics.

【００１８】また請求項４の構成によると、動画像を構
成する各ピクチャに対応する画像データを符号化して生
成された符号列を復号化する動画像復号化方法であっ
て、復号化の対象となる対象ピクチャに対して、前記対
象ピクチャ以外の復号化済みのピクチャを参照ピクチャ
として用いる予測復号化を施す復号化ステップを含み、
前記復号化ステップは、縦Ｎ画素×横Ｍ画素の大きさを
有する第一のブロックを、縦Ｓ画素×横Ｔ画素（Ｓ≦
Ｎ、Ｔ≦Ｍ）の大きさを有する第二のブロックに分割
し、前記第二のブロックが後方参照ピクチャ内の前記第
二のブロックと同一位置のブロックを符号化する際に用
いた動きベクトルを利用して動き補償を行うモードによ
り符号化されている場合には、前記動きベクトルを利用
して動き補償を行うことにより、前記第二のブロックの
動き補償画像を生成する特徴を有している。According to a fourth aspect of the present invention, there is provided a moving image decoding method for decoding a code string generated by encoding image data corresponding to each picture forming a moving image, which is a decoding target. Including a decoding step of performing predictive decoding using a decoded picture other than the target picture as a reference picture for the target picture
In the decoding step, a first block having a size of vertical N pixels × horizontal M pixels is converted into vertical S pixels × horizontal T pixels (S ≦
Motion vector used for coding a block having a size of N, T ≦ M) and coding the block at the same position as the second block in the backward reference picture. Has been characterized by generating a motion-compensated image of the second block by performing motion compensation using the motion vector. There is.

【００１９】また本発明の符号列フォーマットは、動画
像を構成する各ピクチャに対応する画像データを符号化
して生成される符号列のフォーマットであって、符号化
を生成する際には、符号化の対象となる対象ピクチャ
を、既に符号化処理済みのピクチャを参照ピクチャとし
て、ピクチャ間予測符号化を施し、前記対象ピクチャ内
の縦Ｎ画素×横Ｍ画素の大きさを有する第一のブロック
を符号化して生成する符号列は、前記第一のブロック内
の縦Ｓ画素×横Ｔ画素（Ｓ≦Ｎ、Ｔ≦Ｍ）の大きさを有
する第二のブロックが、前記参照ピクチャ内の前記第二
のブロックと同一位置のブロックをコピーする符号化モ
ードとして符号化されている場合には、前記第二のブロ
ックに対応する符号列として、前記符号化モードのみを
記述する特徴を有している。The code string format of the present invention is a format of a code string generated by coding image data corresponding to each picture forming a moving image. The target picture to be processed is subjected to inter-picture predictive coding using a picture that has already been coded as a reference picture, and a first block having a size of vertical N pixels × horizontal M pixels in the target picture is obtained. In a code string generated by encoding, a second block having a size of vertical S pixels × horizontal T pixels (S ≦ N, T ≦ M) in the first block is the first block in the reference picture. When encoded as an encoding mode that copies a block at the same position as the second block, it has a characteristic that only the encoding mode is described as a code string corresponding to the second block. There is.

【００２０】また、請求項６の構成によると、動画像を
構成する各ピクチャに対応する画像データを符号化して
生成される符号列のフォーマットであって、符号化を生
成する際には、符号化の対象となる対象ピクチャを、既
に符号化処理済みのピクチャを参照ピクチャとして、ピ
クチャ間予測符号化を施し、前記対象ピクチャ内の縦Ｎ
画素×横Ｍ画素の大きさを有する第一のブロックを符号
化して生成する符号列は、前記第一のブロック内の縦Ｓ
画素×横Ｔ画素（Ｓ≦Ｎ、Ｔ≦Ｍ）の大きさを有する第
二のブロックが、後方参照ピクチャ内の前記第二のブロ
ックと同一位置のブロックを符号化する際に用いた動き
ベクトルを利用して動き補償を行う符号化モードとして
符号化されている場合には、前記第二のブロックに対応
する符号列には、動きベクトル情報を記述しないという
特徴を有している。According to the sixth aspect of the invention, the format of the code string is generated by encoding the image data corresponding to each picture forming the moving image. The target picture to be encoded is subjected to inter-picture predictive coding using a picture that has already undergone coding processing as a reference picture, and the vertical N
A code string generated by encoding a first block having a size of pixels × horizontal M pixels is a vertical S in the first block.
A motion vector used when a second block having a size of pixel × horizontal T pixel (S ≦ N, T ≦ M) is coded at the same position as the second block in the backward reference picture. When encoded as an encoding mode in which motion compensation is performed by using, the motion vector information is not described in the code string corresponding to the second block.

【００２１】[0021]

【発明の実施の形態】本発明における実施の形態を図面
を参照して説明する。実施の形態１は、本発明の動画像
符号化方法でＰピクチャを処理する場合、実施の形態２
は、本発明の動画像符号化方法でＢピクチャを処理する
場合、実施の形態３は、本発明の動画像復号化方法でＰ
ピクチャを処理する場合、実施の形態４は、本発明の動
画像復号化方法でＢピクチャを処理する場合である。BEST MODE FOR CARRYING OUT THE INVENTION Embodiments of the present invention will be described with reference to the drawings. In the first embodiment, when a P picture is processed by the moving picture coding method of the present invention, the second embodiment is used.
In the case where a B picture is processed by the moving picture coding method of the present invention, Embodiment 3 uses P by the moving picture decoding method of the present invention.
In the case of processing a picture, the fourth embodiment is a case of processing a B picture by the moving picture decoding method of the present invention.

【００２２】（第一の実施の形態）図１は、並べ替え用
メモリ１０１、差分演算部１０２、予測誤差符号化部１
０３、符号列生成部１０４、予測誤差復号化部１０５、
加算演算部１０６、参照ピクチャ用メモリ１０７、動き
ベクトル検出部１０８、モード選択部１０９、符号化制
御部１１０、スイッチ１１１〜１１５、動きベクトル記
憶部１１６から構成される動画像符号化方法のブロック
図である。(First Embodiment) FIG. 1 shows a rearrangement memory 101, a difference calculation unit 102, and a prediction error coding unit 1.
03, code string generation unit 104, prediction error decoding unit 105,
A block diagram of a moving picture coding method including an addition calculation unit 106, a reference picture memory 107, a motion vector detection unit 108, a mode selection unit 109, a coding control unit 110, switches 111 to 115, and a motion vector storage unit 116. Is.

【００２３】入力画像は表示時間順に、ピクチャ単位で
並べ替え用メモリ１０１に入力される。並べ替え用メモ
リ１０１に入力されるピクチャの順序を図２（ａ）に示
す。図２（ａ）において、縦線はピクチャを示す。ま
た、各ピクチャの右下に示す記号は、１文字目のアルフ
ァベットがピクチャタイプ（Ｉ、ＰまたはＢ）を示し、
２文字目以降の数字が表示時間のピクチャ番号を示して
いる。並べ替え用メモリ１０１に入力された各ピクチャ
は、符号化制御部１１０からの制御により、符号化順に
並び替えられる。符号化順への並び替えは、ピクチャ間
予測符号化における参照関係に基づいて行われ、参照ピ
クチャとして用いられるピクチャが、参照ピクチャとし
て用いるピクチャよりも先に符号化されるように行われ
る。例えば、ピクチャＰ１０〜Ｐ１３の各ピクチャの参
照関係は、図２（ａ）に示す矢印の通りとする。図２
（ａ）において、矢印の始点は参照されるピクチャを示
し、矢印の終点は参照するピクチャを示している。例え
ばピクチャＰ１３は、ピクチャＰ１０を参照ピクチャと
して用いて符号化されることを示している。この場合、
図２（ａ）のピクチャを符号化順に並び替えた結果は、
図２（ｂ）のようになる。The input images are input to the rearrangement memory 101 on a picture-by-picture basis in display time order. The order of pictures input to the rearrangement memory 101 is shown in FIG. In FIG. 2A, a vertical line indicates a picture. Further, in the symbol shown in the lower right of each picture, the first alphabet indicates the picture type (I, P or B),
The numbers after the second character indicate the picture number of the display time. The pictures input to the sorting memory 101 are sorted in the coding order under the control of the coding control unit 110. The rearrangement to the coding order is performed based on the reference relationship in inter-picture predictive coding, and the picture used as the reference picture is coded before the picture used as the reference picture. For example, the reference relationship among the pictures P10 to P13 is as shown by the arrows in FIG. Figure 2
In (a), the start point of the arrow indicates the referenced picture, and the end point of the arrow indicates the referenced picture. For example, the picture P13 is shown to be encoded using the picture P10 as a reference picture. in this case,
The result of rearranging the pictures of FIG. 2A in the encoding order is:
It becomes like FIG.2 (b).

【００２４】並べ替え用メモリ１０１で並び替えが行わ
れた各ピクチャは、マクロブロックの単位で読み出され
て処理されるとする。本実施の形態では、マクロブロッ
クは縦１６画素×横１６画素の大きさであるとする。第
一の実施の形態では、ピクチャＰ１３の符号化処理を例
とし、Ｐピクチャの処理に関して説明する。It is assumed that each picture rearranged in the rearrangement memory 101 is read and processed in macro block units. In the present embodiment, it is assumed that the macroblock has a size of vertical 16 pixels × horizontal 16 pixels. In the first embodiment, the P picture processing will be described by taking the coding processing of the picture P13 as an example.

【００２５】ピクチャＰ１３は、前方向参照を用いたピ
クチャ間予測符号化を行う。この場合の参照ピクチャは
ピクチャＰ１０となる。この参照ピクチャ（ピクチャＰ
１０）は、既に符号化が終了しており、復号化画像が参
照ピクチャ用メモリ１０７に蓄積されている。The picture P13 undergoes inter-picture predictive coding using forward reference. The reference picture in this case is the picture P10. This reference picture (picture P
In 10), encoding has already been completed, and the decoded image is stored in the reference picture memory 107.

【００２６】Ｐピクチャの符号化においては、符号化制
御部１１０は、スイッチ１１３、１１４、１１５がオン
になるように各スイッチを制御する。したがって、並べ
替え用メモリ１０１から読み出されたピクチャＰ１３の
マクロブロックは、まず動きベクトル検出部１０８、モ
ード選択部１０９、差分演算部１０２に入力される。動
きベクトル検出部１０８では、参照ピクチャ用メモリ１
０７に蓄積されたピクチャＰ１０の復号化画像データを
参照ピクチャとして用いて、マクロブロック内の各ブロ
ックに対して、動きベクトルの検出を行う。In encoding the P picture, the encoding control unit 110 controls each switch so that the switches 113, 114 and 115 are turned on. Therefore, the macroblock of the picture P13 read from the rearrangement memory 101 is first input to the motion vector detection unit 108, the mode selection unit 109, and the difference calculation unit 102. In the motion vector detection unit 108, the reference picture memory 1
The decoded image data of the picture P10 accumulated in 07 is used as a reference picture to detect the motion vector for each block in the macroblock.

【００２７】ここで動き補償を行う際には、図３に示す
通り、縦１６×横１６画素の大きさを有するマクロブロ
ックをまず大きく４通りに分割し、その中から分割方法
を選択できるとする。それを図３（ａ）〜（ｄ）に示し
ている。図３（ａ）はマクロブロックを分割せずに動き
補償を行う場合、図３（ｂ）はマクロブロックを縦１６
画素×横８画素の２つのブロックに分割して動き補償を
行う場合、図３（ｃ）はマクロブロックを縦８画素×横
１６画素の２つのブロックに分割して動き補償を行う場
合、図３（ｄ）はマクロブロックを縦８画素×横８画素
の４つのブロックに分割して動き補償を行う場合を示し
ている。さらに、図３（ｄ）の分割方法を選択する場合
には、縦８画素×横８画素の４ブロックのそれぞれにつ
いての分割方法を、図３（ｅ）〜（ｈ）から選択するこ
とができる。Here, when performing motion compensation, as shown in FIG. 3, a macroblock having a size of vertical 16 × horizontal 16 pixels is first roughly divided into four types, and a division method can be selected from among them. To do. This is shown in FIGS. 3 (a)-(d). FIG. 3A shows a case where motion compensation is performed without dividing a macroblock, and FIG.
When motion compensation is performed by dividing into two blocks of 8 pixels × horizontal pixel, FIG. 3C shows a case where motion compensation is performed by dividing a macro block into two blocks of 8 vertical pixels × 16 horizontal pixels. 3 (d) shows a case where the macroblock is divided into four blocks of vertical 8 pixels × horizontal 8 pixels to perform motion compensation. Further, when the division method of FIG. 3D is selected, the division method for each of the four blocks of vertical 8 pixels × horizontal 8 pixels can be selected from FIGS. 3E to 3H. .

【００２８】動きベクトル検出部１０８では、まずマク
ロブロック内の４つの縦８画素×横８画素ブロックに対
して、図３（ｅ）〜（ｈ）の分割方法で動きベクトルの
検出を行う。ここで動きベクトルの検出方法としては、
例えば動きベクトルのビット量に所定の係数を乗したも
のと、動き補償誤差（現在のブロックの画素値と予測画
像の画素値との差分の絶対値和）との和が最小となる動
き量により検出することができる。The motion vector detection unit 108 first detects a motion vector for the four vertical 8 pixel × horizontal 8 pixel blocks in the macroblock by the division method shown in FIGS. Here, as a motion vector detection method,
For example, depending on the motion amount that gives the minimum sum of the motion vector bit amount multiplied by a predetermined coefficient and the motion compensation error (sum of absolute values of differences between the pixel value of the current block and the pixel value of the predicted image). Can be detected.

【００２９】また動きベクトル検出部１０８では、マク
ロブロックに対して図３（ａ）〜（ｃ）の分割方法で動
きベクトルの検出を行う。そして、図３（ａ）〜（ｃ）
の分割方法で動きベクトルの検出を行う。動きベクトル
検出部１０８で検出されたこの動きベクトルは、次にモ
ード選択部１０９で用いられる。Further, the motion vector detection unit 108 detects the motion vector for the macroblock by the division method shown in FIGS. And FIG. 3 (a)-(c)
The motion vector is detected by the division method. This motion vector detected by the motion vector detection unit 108 is then used by the mode selection unit 109.

【００３０】動きベクトル検出部１０８で検出された動
きベクトルは、次にモード選択部１０９で用いられる。
モード選択部１０９では、各８×８画素ブロックに対し
て、図３（ｅ）〜（ｈ）の４通りの分割方法、縦８画素
×横８画素の単位でスキップモードを用いた場合、縦８
画素×横８画素の単位でイントラモードを用いた場合の
６通りの中から、最も良い符号化モード（分割方法）を
決定する。ここでスキップモードとは、動きベクトルを
０、動き補償後の残差成分を０として動き補償を行う符
号化モードである。この場合には、符号化モードでスキ
ップモードであることを示せば、動きベクトルや動き補
償後の残差成分を符号列中に記述する必要がなく、符号
化効率の向上を図ることができる。さて、この符号化モ
ードを決定する際の評価尺度としては、例えば、イント
ラモードとスキップモード以外では、動きベクトルのビ
ット量と、動き補償後の残差成分（に周波数変換、量子
化等の処理を施したもの）のビット量と、８×８画素ブ
ロックの分割方法を示すビット量との和に所定の係数を
乗したものと、符号化誤差（８×８画素ブロックを符号
化／復号化したものと、元の画像データの差分の二乗
和）との和を用いることができる。また、イントラモー
ドの場合には、上記の評価尺度から、動きベクトルのビ
ット量を省いたもの、スキップモードの場合には、上記
の評価尺度から、動きベクトルのビット量、動き補償後
の残差成分のビット量を省いたもの、を用いることがで
きる。そして、この評価尺度が最小となる符号化モード
を各８×８画素ブロックの符号化モードとして選択す
る。さらに、各８×８画素ブロックで選択された符号化
モードでの評価尺度の４ブロック分の合計値が、図３
（ｄ）の分割方法での評価尺度となる。The motion vector detected by the motion vector detection unit 108 is then used by the mode selection unit 109.
In the mode selection unit 109, for each 8 × 8 pixel block, when the skip mode is used in the unit of 4 ways of vertical divisions × 8 horizontal pixels in FIG. 8
The best encoding mode (division method) is determined from among 6 types when the intra mode is used in units of pixels × width 8 pixels. Here, the skip mode is a coding mode in which motion compensation is performed with a motion vector being 0 and a residual component after motion compensation being 0. In this case, if it is shown that the coding mode is the skip mode, it is not necessary to describe the motion vector and the residual component after motion compensation in the code string, and the coding efficiency can be improved. Now, as an evaluation measure when determining this coding mode, for example, except for the intra mode and the skip mode, the bit amount of the motion vector and the residual component after motion compensation (for processing such as frequency conversion, quantization, etc. The sum of the bit amount of the 8 × 8 pixel block and the bit amount indicating the division method of the 8 × 8 pixel block, and a coding error (encoding / decoding the 8 × 8 pixel block). And the sum of the squared difference of the original image data) can be used. In the intra mode, the motion vector bit amount is omitted from the above evaluation scale. In the skip mode, the motion vector bit amount and the residual after motion compensation are calculated from the above evaluation scale. It is possible to use a component without the bit amount. Then, the coding mode that minimizes this evaluation measure is selected as the coding mode of each 8 × 8 pixel block. Further, the total value of 4 blocks of the evaluation scale in the coding mode selected in each 8 × 8 pixel block is shown in FIG.
It becomes an evaluation scale in the division method of (d).

【００３１】次にモード選択部１０９では、図３（ａ）
〜（ｃ）の各分割方法に対して、上記と同様の評価尺度
を計算する。そして、マクロブロックに対して、図３
（ａ）〜（ｃ）の３通りの分割方法での評価尺度、上記
で求めた図３（ｄ）の分割方法での評価尺度、マクロブ
ロック単位でスキップモードを用いた場合の評価尺度、
マクロブロック単位でイントラモードを用いた場合の評
価尺度、の６通りの中から、最も良い評価尺度が小さく
なるものを符号化モード（分割方法）として決定する。Next, in the mode selection unit 109, FIG.
For each division method of (c) to (c), the same evaluation scale as above is calculated. Then, for macroblocks, as shown in FIG.
(A) to (c) three evaluation methods in the division method, the evaluation method in the division method of FIG. 3 (d) obtained above, the evaluation scale when using the skip mode in macroblock units,
Of the six evaluation scales when the intra mode is used in macroblock units, the one with the smallest evaluation scale is determined as the coding mode (division method).

【００３２】モード選択部１０９で決定された符号化モ
ードおよび動きベクトルは符号列生成部１０４に対して
出力される。ここで、符号化モードの表現方法を表１、
２に示す。まず、モード選択部１０９で選択された符号
化モードを、表１で示す中から選んで番号で表現する
（これを第一の符号化モードとする）。そして、８×８
画素ブロックの分割を選択した場合（表１の"４"を選択
した場合）には、さらに表２の中から選んで番号で表現
する（これを第二の符号化モードとする）。The coding mode and motion vector determined by the mode selection unit 109 are output to the code string generation unit 104. Here, Table 1 shows a coding mode representation method.
2 shows. First, the coding mode selected by the mode selection unit 109 is selected from the ones shown in Table 1 and expressed by a number (this is referred to as a first coding mode). And 8x8
When the pixel block division is selected (when "4" in Table 1 is selected), it is further selected from Table 2 and expressed by a number (this is referred to as a second encoding mode).

【００３３】また、モード選択部１０９で決定された符
号化モードがピクチャ間予測符号化である場合には、そ
のピクチャ間予測符号化で用いられる動きベクトルを動
きベクトル記憶部１１６に記憶する。When the coding mode determined by the mode selection unit 109 is inter picture predictive coding, the motion vector used in the inter picture predictive coding is stored in the motion vector storage unit 116.

【００３４】次に、モード選択部１０９で決定された符
号化モードに基づいた参照画像が、差分演算部１０２と
加算演算部１０６とに出力される。ただし、ピクチャ内
符号化（イントラモード）が選択された場合には、参照
画像は出力されない。また、モード選択部１０９でピク
チャ内符号化（イントラモード）が選択された場合に
は、スイッチ１１１、１１２はａに接続するように制御
し、ピクチャ間予測符号化（イントラモード以外）が選
択された場合には、スイッチ１１１、１１２はｂに接続
するように制御する。以下では、モード選択部１０９で
ピクチャ間予測符号化が選択された場合について説明す
る。Next, the reference image based on the coding mode determined by the mode selection unit 109 is output to the difference calculation unit 102 and the addition calculation unit 106. However, when the intra picture coding (intra mode) is selected, the reference image is not output. When intra-picture coding (intra mode) is selected by the mode selection unit 109, the switches 111 and 112 are controlled to connect to a, and inter-picture predictive coding (other than intra mode) is selected. If the switch is turned on, the switches 111 and 112 are controlled to be connected to b. Hereinafter, a case will be described where the mode selection unit 109 selects inter-picture predictive coding.

【００３５】差分演算部１０２には、マクロブロックの
画像データ以外に、モード選択部１０９から参照画像が
入力される。差分演算部１０９では、マクロブロックの
画像データと参照画像との差分を演算し、予測誤差画像
を生成し、予測誤差符号化部１０３に出力する。In addition to the macroblock image data, a reference image is input to the difference calculation unit 102 from the mode selection unit 109. The difference calculation unit 109 calculates the difference between the image data of the macroblock and the reference image, generates a prediction error image, and outputs the prediction error image to the prediction error encoding unit 103.

【００３６】予測誤差符号化部１０３では、入力された
予測誤差画像に対して周波数変換や量子化等の符号化処
理を施すことにより、符号化データを生成して出力す
る。ここで例えば、周波数変換や量子化の処理は、縦４
×横４画素や縦８×横８画素の単位で行うものとする。
予測誤差符号化部１０３から出力された符号化データ
は、符号列生成部１０４と予測誤差復号化部１０５に入
力される。The prediction error coding unit 103 generates and outputs coded data by performing coding processing such as frequency conversion or quantization on the input prediction error image. Here, for example, the process of frequency conversion and quantization is performed in vertical 4
It is assumed that the operation is performed in units of × 4 horizontal pixels or 8 vertical × 8 horizontal pixels.
The coded data output from the prediction error coding unit 103 is input to the code string generation unit 104 and the prediction error decoding unit 105.

【００３７】符号列生成部１０４では、入力された符号
化データに対して、可変長符号化等を施し、さらにモー
ド選択部１０９から入力された動きベクトルの情報、符
号化モードの情報、その他のヘッダ情報、等を付加する
ことにより符号列を生成する。The code string generation unit 104 performs variable length coding and the like on the input coded data, and further, the motion vector information, the coding mode information, and other information input from the mode selection unit 109. A code string is generated by adding header information and the like.

【００３８】この際、第一の符号化モードが表１の"４"
であり（すなわち、縦８画素×横８画素に分割して動き
補償を行う）、各８×８画素ブロックにおいて、第二の
符号化モードとしてスキップモード（表２における"
０"）が選択されている場合、動きベクトルや動き補償
後の残差成分は符号列中には記述されない。At this time, the first coding mode is "4" in Table 1.
(That is, motion compensation is performed by dividing the pixel into 8 vertical pixels × 8 horizontal pixels), and in each 8 × 8 pixel block, the skip mode (“in Table 2”) is used as the second coding mode.
When "0") is selected, the motion vector and the residual component after motion compensation are not described in the code string.

【００３９】図６にマクロブロックの符号列の記述例を
示す。図６（ａ）は、第一の符号化モードが表１の"０"
である場合を示している。この場合はマクロブロックが
スキップモードで符号化されるため、動きベクトルや残
差成分は符号列中には記述されない。FIG. 6 shows a description example of a code string of a macro block. In FIG. 6A, the first encoding mode is “0” in Table 1.
Is shown. In this case, since the macro block is encoded in the skip mode, the motion vector and the residual component are not described in the code string.

【００４０】図６（ｂ）は、第一の符号化モードが表１
の"１"〜"３"である場合を示している。この場合はマク
ロブロックの分割が図３の（ａ）〜（ｃ）に対応してお
り、分割数に応じた動きベクトルと、マクロブロック全
体の残差成分が符号列中に記述される。In FIG. 6B, Table 1 shows the first encoding mode.
"1" to "3" are shown. In this case, the macroblock division corresponds to (a) to (c) of FIG. 3, and the motion vector according to the number of divisions and the residual component of the entire macroblock are described in the code string.

【００４１】図６（ｃ）は、第一の符号化モードが表１
の"４"である場合を示している。この場合は、マクロブ
ロックの分割が図３の（ｄ）に対応しており、第一の符
号化モードに続いて、各８×８画素ブロックに対する第
二の符号化モードが記述される。そして、全分割数に応
じた動きベクトルと、マクロブロック全体の残差成分が
符号列中に記述される。ただし、各８×８画素ブロック
に対する第二の符号化モードがスキップモードである場
合には、動きベクトルと、残差成分は符号列中に記述さ
れない。In FIG. 6C, the first encoding mode is shown in Table 1.
"4" is shown. In this case, the division of the macroblock corresponds to (d) of FIG. 3, and the second coding mode for each 8 × 8 pixel block is described following the first coding mode. Then, the motion vector according to the total number of divisions and the residual component of the entire macroblock are described in the code string. However, when the second coding mode for each 8 × 8 pixel block is the skip mode, the motion vector and the residual component are not described in the code string.

【００４２】予測誤差復号化部１０５では、入力された
符号化データに対して、逆量子化や逆周波数変換等の復
号化処理を施し、復号化差分画像を生成して出力する。
復号化差分画像は加算演算部１０６において、予測画像
と加算されることにより復号化画像となり、参照ピクチ
ャ用メモリ１０７に蓄積される。In the prediction error decoding unit 105, the input coded data is subjected to decoding processing such as inverse quantization and inverse frequency conversion, and a decoded difference image is generated and output.
The decoded difference image is added to the predicted image in the addition calculation unit 106 to become a decoded image, which is stored in the reference picture memory 107.

【００４３】以上の処理により、ピクチャＰ１３の１マ
クロブロックの処理が完了する。同様の処理により、ピ
クチャＰ１３の残りのマクロブロックに対して、符号化
処理が行われる。With the above processing, the processing of one macroblock of the picture P13 is completed. By the same processing, the coding processing is performed on the remaining macroblocks of the picture P13.

【００４４】以上のように本発明の動画像符号化方法で
は、動き補償を行う際に、マクロブロックを分割して分
割ブロック毎に動き補償を行う。そして、Ｐピクチャを
符号化する際には、分割単位毎にもスキップモードを選
択できるようにし、スキップモードを選択した場合に
は、動きベクトルや残差成分を符号列中に記述しない。As described above, in the moving picture coding method of the present invention, when performing motion compensation, the macroblock is divided and the motion compensation is performed for each divided block. When the P picture is encoded, the skip mode can be selected for each division unit, and when the skip mode is selected, the motion vector and the residual component are not described in the code string.

【００４５】また、本発明の符号列フォーマットは、マ
クロブロックを分割して符号化し符号列を生成する際
に、分割単位毎にスキップモードが選択された場合に
は、その分割単位に相当する符号列中には、符号化モー
ドのみを記述する。In the code string format of the present invention, when the skip mode is selected for each division unit when the macro block is divided and coded to generate the code string, the code corresponding to the division unit is selected. Only the coding mode is described in the column.

【００４６】このような動作により、本発明の動画像符
号化方法を用いることにより、従来の方法と比較し、符
号化モードの種類（符号化モードを表現するビット量）
はあまり増やさずに、動きベクトルや残差成分のビット
量を削減することができる。これにより、符号化効率を
向上させることができる。By such operation, by using the moving picture coding method of the present invention, the kind of coding mode (bit amount expressing the coding mode) is compared with the conventional method.
The bit amount of the motion vector and the residual component can be reduced without increasing so much. As a result, the coding efficiency can be improved.

【００４７】なお、本実施の形態においては、マクロブ
ロックは水平１６×垂直１６画素の単位で、動き補償は
図３に示す分割方法で、ブロック予測誤差画像の符号化
は縦４×横４画素や縦８×横８画素の単位で処理する場
合について説明したが、これらの単位は別の画素数、分
割方法でも良い。In this embodiment, the macroblock is a unit of horizontal 16 × vertical 16 pixels, the motion compensation is the division method shown in FIG. 3, and the block prediction error image is encoded by vertical 4 × horizontal 4 pixels. In the above description, the processing is performed in units of vertical 8 pixels × horizontal 8 pixels, but these units may have different numbers of pixels and division methods.

【００４８】（第二の実施の形態）第一の実施の形態で
は、Ｐピクチャの処理について説明したが、第二の実施
の形態ではＢピクチャの処理について説明する。ここで
は図１にブロック図を示す本発明の動画像符号化方法を
用いて、図２に示すピクチャＢ１１を符号化する場合に
ついて説明する。(Second Embodiment) In the first embodiment, the processing of P pictures has been described, but in the second embodiment, the processing of B pictures will be described. Here, a case will be described in which the picture B11 shown in FIG. 2 is coded using the moving picture coding method of the present invention shown in the block diagram of FIG.

【００４９】ピクチャＢ１１はＢピクチャであるので、
双方向参照を用いたピクチャ間予測符号化を行う。この
場合の参照画像は、前方参照ピクチャがピクチャＰ１
０、後方参照ピクチャがＰ１３となる。Ｂピクチャの処
理においては、符号化制御部１１０は、スイッチ１１３
がオン、スイッチ１１４、１１５がオフになるように各
スイッチを制御する。これにより、並べ替え用メモリ１
０１から読み出されたピクチャＢ１１のマクロブロック
は、動きベクトル検出部１０８、モード選択部１０９、
差分演算部１０２に入力される。Since picture B11 is a B picture,
Inter-picture predictive coding using bidirectional reference is performed. In the reference image in this case, the forward reference picture is the picture P1.
0, the backward reference picture is P13. In the processing of B pictures, the encoding control unit 110 uses the switch 113.
Is turned on and the switches 114 and 115 are turned off. As a result, the sorting memory 1
The macroblock of the picture B11 read from 01 is the motion vector detection unit 108, the mode selection unit 109,
It is input to the difference calculation unit 102.

【００５０】動きベクトル検出部１０８では、参照ピク
チャ用メモリ１０７に蓄積されたピクチャＰ１０の復号
化画像データを前方参照ピクチャとして、ピクチャＰ１
３の復号化画像データを後方参照ピクチャとして用いる
ことにより、マクロブロックに含まれる各ブロックの前
方動きベクトルと後方動きベクトルの検出を行う。動き
補償を行う際には、図３に示す通り、縦１６×横１６画
素の大きさを有するマクロブロックをまず大きく４通り
に分割し、その中から分割方法を選択できるとする。そ
れを図３（ａ）〜（ｄ）に示している。図３（ａ）はマ
クロブロックを分割せずに動き補償を行う場合、図３
（ｂ）はマクロブロックを縦１６画素×横８画素の２つ
のブロックに分割して動き補償を行う場合、図３（ｃ）
はマクロブロックを縦８画素×横１６画素の２つのブロ
ックに分割して動き補償を行う場合、図３（ｄ）はマク
ロブロックを縦８画素×横８画素の４つのブロックに分
割して動き補償を行う場合を示している。さらに、図３
（ｄ）の分割方法を選択する場合には、縦８画素×横８
画素の４ブロックのそれぞれについての分割方法を、図
３（ｅ）〜（ｈ）から選択することができるとする。In the motion vector detecting unit 108, the decoded image data of the picture P10 stored in the reference picture memory 107 is used as the forward reference picture, and the picture P1 is generated.
By using the decoded image data of No. 3 as the backward reference picture, the forward motion vector and the backward motion vector of each block included in the macroblock are detected. When performing motion compensation, as shown in FIG. 3, it is assumed that a macroblock having a size of 16 pixels in the horizontal direction and 16 pixels in the horizontal direction is first divided into four types, and a division method can be selected from among them. This is shown in FIGS. 3 (a)-(d). FIG. 3A shows a case where motion compensation is performed without dividing a macro block.
FIG. 3B shows a case where the macroblock is divided into two blocks each having 16 pixels vertically and 8 pixels horizontally to perform motion compensation.
When the motion compensation is performed by dividing the macro block into two blocks of vertical 8 pixels × horizontal 16 pixels, FIG. 3 (d) shows that the macro block is divided into four blocks of vertical 8 pixels × horizontal 8 pixels to move. The case where compensation is performed is shown. Furthermore, FIG.
When the division method of (d) is selected, vertical 8 pixels x horizontal 8
It is assumed that the division method for each of the four blocks of pixels can be selected from FIGS. 3E to 3H.

【００５１】動きベクトル検出部１０８では、まずマク
ロブロック内の４つの縦８×横８画素ブロックに対し
て、図３（ｅ）〜（ｈ）の分割方法で動きベクトルの検
出を行う。動きベクトルの検出は、前方向動きベクトル
と後方向動きベクトルとについて行う。ここで動きベク
トルの検出方法としては、例えば動きベクトルのビット
量に所定の係数を乗したものと、動き補償誤差（現在の
ブロックの画素値と予測画像の画素値との差分の絶対値
和）との和が最小となる動き量により検出することがで
きる。The motion vector detection unit 108 first detects motion vectors for the four vertical 8 × horizontal 8 pixel blocks in the macroblock by the division method shown in FIGS. The motion vector is detected for the forward motion vector and the backward motion vector. Here, as a method of detecting a motion vector, for example, the amount of bits of the motion vector multiplied by a predetermined coefficient and a motion compensation error (sum of absolute values of differences between the pixel value of the current block and the pixel value of the predicted image) It can be detected by the amount of movement that minimizes the sum.

【００５２】また動きベクトル検出部１０８では、マク
ロブロックに対して図３（ａ）〜（ｃ）の分割方法で動
きベクトルの検出を行う。すなわち、図３（ａ）〜
（ｃ）の分割方法で前方向予測動きベクトルと後方向予
測動きベクトルとの検出を行う。動きベクトル検出部１
０８で検出されたこの動きベクトルは、次にモード選択
部１０９で用いられる。Further, the motion vector detection unit 108 detects a motion vector for the macroblock by the division method shown in FIGS. That is, FIG.
The forward prediction motion vector and the backward prediction motion vector are detected by the division method of (c). Motion vector detection unit 1
This motion vector detected in 08 is then used in the mode selection unit 109.

【００５３】モード選択部１０９では、各８×８画素ブ
ロックに対して、図３（ｅ）〜（ｈ）の４通りの分割方
法のそれぞれについて前方向予測のみを用いた場合、後
方向予測のみを用いた場合、双方向予測を用いた場合の
３種類、の合計１２種類、および縦８画素×横８画素の
単位でダイレクトモードを用いた場合、縦８画素×横８
画素の単位でイントラモードを用いた場合の総合計１４
通りの中から、最も良い符号化モード（分割方法）を決
定する。ここでダイレクトモードは、従来の方法におい
て説明したのと同様に、後方参照ピクチャ中で、符号化
対象のブロックと同一位置にあるブロックを符号化した
際に用いた動きベクトルをスケーリングすることにより
得られる動きベクトルを用いて、双方向予測を行う符号
化モードである。この場合、符号化モードでダイレクト
モードであることを示せば、８×８画素ブロックに対す
る動きベクトル情報を符号列中に記述する必要がないた
め、符号化効率の向上を図ることができる。In the mode selection unit 109, when only the forward prediction is used for each of the four division methods shown in FIGS. 3E to 3H for each 8 × 8 pixel block, only the backward prediction is performed. When using the direct mode in units of 8 pixels in the vertical direction and 8 pixels in the horizontal direction, a total of 12 types of 3 types in the case of using bidirectional prediction and 8 pixels in the horizontal direction × 8 in the horizontal direction are used.
A total of 14 when the intra mode is used in pixel units
The best encoding mode (division method) is determined from the streets. Here, the direct mode is obtained by scaling the motion vector used when encoding the block at the same position as the block to be encoded in the backward reference picture, as described in the conventional method. This is a coding mode in which bidirectional prediction is performed by using motion vectors that are generated. In this case, if it is shown that the coding mode is the direct mode, it is not necessary to describe the motion vector information for the 8 × 8 pixel block in the code string, and thus the coding efficiency can be improved.

【００５４】さて、この符号化モードを決定する際の評
価尺度としては、例えば、イントラモードとダイレクト
モード以外では、動きベクトルのビット量と、動き補償
後の残差成分（に周波数変換、量子化処理を施したも
の）のビット量と、８×８ブロックの分割方法を示すビ
ット量との和に所定の係数を乗したものと、符号化誤差
（８×８ブロックを符号化／復号化したものと、元の画
像データの差分の二乗和）との和を用いることができ
る。また、イントラモード、ダイレクトモードの場合に
は、上記の評価尺度から、動きベクトルのビット量を省
いたものを用いることができる。そして、この評価尺度
が最小となる符号化モードを各８×８画素ブロックの符
号化モードとして選択する。さらに、各８×８画素ブロ
ックで選択された符号化モードでの評価尺度の４ブロッ
ク分の合計値が、図３（ｄ）の分割方法での評価尺度と
なる。Now, as an evaluation scale for determining the coding mode, for example, except for the intra mode and the direct mode, the bit amount of the motion vector and the residual component after the motion compensation (the frequency conversion, the quantization The sum of the bit amount of the processed data) and the bit amount indicating the division method of the 8 × 8 block multiplied by a predetermined coefficient, and the coding error (the 8 × 8 block was coded / decoded). And the sum of the squares of the differences between the original image data) can be used. Further, in the case of the intra mode and the direct mode, the one obtained by omitting the bit amount of the motion vector from the above evaluation scale can be used. Then, the coding mode that minimizes this evaluation measure is selected as the coding mode of each 8 × 8 pixel block. Further, the total value of 4 blocks of the evaluation scale in the coding mode selected in each 8 × 8 pixel block becomes the evaluation scale in the division method of FIG.

【００５５】次にモード選択部１０９では、図３（ａ）
〜（ｃ）の各分割方法に対して、上記と同様の評価尺度
を計算する。ただしこの場合には、各分割単位に対し
て、ダイレクトモード、前方向予測、後方向予測、双方
向予測を用いた場合のすべての組み合わせに対して評価
尺度の計算を行う。Next, in the mode selection unit 109, FIG.
For each division method of (c) to (c), the same evaluation scale as above is calculated. However, in this case, the evaluation scale is calculated for all the combinations using direct mode, forward prediction, backward prediction, and bidirectional prediction for each division unit.

【００５６】そして、マクロブロックに対して、図３
（ａ）〜（ｃ）の３通りの分割方法での評価尺度（合計
３４種類）、上記で求めた図３（ｄ）の分割方法での評
価尺度、マクロブロック単位でイントラモードを用いた
場合の評価尺度、の合計３６通りの中から、最も良い評
価尺度が小さくなるものを符号化モード（分割方法）と
して決定する。Then, for the macroblock, FIG.
(A) to (c) three evaluation methods (34 types in total), the above-obtained evaluation method in the division method of FIG. 3 (d), and the case where the intra mode is used in macroblock units Among the total of 36 evaluation scales, the one with the smallest evaluation scale is determined as the encoding mode (division method).

【００５７】モード選択部１０９で決定された符号化モ
ードおよび動きベクトルは符号列生成部１０４に対して
出力される。ここで、符号化モードの表現方法を表３、
４に示す。まず、モード選択部１０９で選択された符号
化モードを、表３で示す中から選んで、その番号で表現
する（これを第一の符号化モードとする）。そして、第
一の符号化モードで"３４"（８×８画素ブロックの分
割）を選択した場合には、さらに表４の中から選んで、
その番号で表現する（これを第二の符号化モードとす
る）。The coding mode and motion vector determined by the mode selection unit 109 are output to the code string generation unit 104. Here, the expression method of the encoding mode is shown in Table 3,
4 shows. First, the coding mode selected by the mode selection unit 109 is selected from the ones shown in Table 3 and expressed by that number (this is called the first coding mode). Then, when “34” (division of 8 × 8 pixel block) is selected in the first encoding mode, further select from Table 4,
It is expressed by that number (this is the second encoding mode).

【００５８】モード選択部１０９で決定された符号化モ
ードは符号列生成部１０４に対して出力される。また、
モード選択部１０４で決定された符号化モードに基づい
た参照画像が差分演算部１０２と加算演算部１０６に出
力される。ただし、イントラモードが選択された場合に
は、参照画像は出力されない。また、モード選択部１０
９でピクチャ内符号化（イントラモード）が選択された
場合には、スイッチ１１１、１１２はａに接続するよう
に制御し、ピクチャ間予測符号化（イントラモード以
外）が選択された場合には、スイッチ１１１、１１２は
ｂに接続するように制御する。以下では、モード選択部
１０９でピクチャ間予測符号化が選択された場合につい
て説明する。The coding mode determined by the mode selection unit 109 is output to the code string generation unit 104. Also,
The reference image based on the coding mode determined by the mode selection unit 104 is output to the difference calculation unit 102 and the addition calculation unit 106. However, when the intra mode is selected, the reference image is not output. In addition, the mode selection unit 10
When intra picture coding (intra mode) is selected in 9, the switches 111 and 112 are controlled to connect to a, and when inter picture predictive coding (other than intra mode) is selected, The switches 111 and 112 are controlled to be connected to b. Hereinafter, a case will be described where the mode selection unit 109 selects inter-picture predictive coding.

【００５９】差分演算部１０２には、モード選択部１０
９から参照画像が入力される。差分演算部１０９では、
ピクチャＢ１１のマクロブロックと参照画像との差分を
演算し、予測誤差画像を生成し出力する。The difference calculator 102 includes a mode selector 10
A reference image is input from 9. In the difference calculation unit 109,
The difference between the macroblock of the picture B11 and the reference image is calculated, and a prediction error image is generated and output.

【００６０】予測誤差画像は予測誤差符号化部１０３に
入力される。予測誤差符号化部１０３では、入力された
予測誤差画像に対して周波数変換や量子化等の符号化処
理を施すことにより、符号化データを生成して出力す
る。予測誤差符号化部１０３から出力された符号化デー
タは、符号列生成部１０４に入力される。The prediction error image is input to the prediction error coding unit 103. The prediction error coding unit 103 generates and outputs coded data by performing coding processing such as frequency conversion and quantization on the input prediction error image. The encoded data output from the prediction error encoding unit 103 is input to the code string generation unit 104.

【００６１】符号列生成部１０４では、入力された符号
化データに対して、可変長符号化等を施し、さらにモー
ド選択部１０９から入力された符号化モード、動きベク
トル、ヘッダ情報、等の情報を付加することにより符号
列を生成し出力する。The code string generator 104 performs variable length coding and the like on the input coded data, and further inputs information such as the coding mode, motion vector, and header information input from the mode selector 109. A code string is generated and output by adding.

【００６２】図７にマクロブロックの符号列の記述例を
示す。図７（ａ）は、第一の符号化モードが表１の"０"
である場合を示している。この場合はマクロブロックが
ダイレクトモードで符号化されるため、動きベクトルは
符号列中には記述されない。FIG. 7 shows a description example of a code string of a macro block. In FIG. 7A, the first encoding mode is “0” in Table 1.
Is shown. In this case, since the macro block is coded in the direct mode, the motion vector is not described in the code string.

【００６３】図７（ｂ）は、第一の符号化モードが表３
の"１"〜"３３"である場合を示している。この場合はマ
クロブロックの分割が図３の（ａ）〜（ｃ）に対応して
おり、分割数に応じた動きベクトルと、マクロブロック
全体の残差成分が符号列中に記述される。ただし、動き
ベクトルの数は、その符号化モードにより異なる。例え
ば、第一の符号化モードが表３の"１"である場合は１
つ、"２"、"３"である場合は２つ、"４"〜"１１"である
場合には１つ、"１２"〜"１５"である場合には２つ、等
となる。これは、分割されたマクロブロックのうち、一
方がダイレクトモードである場合には、動きベクトルは
符号列中に記述されないからである。In FIG. 7B, the first coding mode is shown in Table 3.
"1" to "33" are shown. In this case, the macroblock division corresponds to (a) to (c) of FIG. 3, and the motion vector according to the number of divisions and the residual component of the entire macroblock are described in the code string. However, the number of motion vectors differs depending on the encoding mode. For example, 1 if the first encoding mode is "1" in Table 3.
One is "2", "3" is two, "4" to "11" is one, "12" to "15" is two, and so on. This is because when one of the divided macroblocks is in the direct mode, the motion vector is not described in the code string.

【００６４】図６（ｃ）は、第一の符号化モードが表３
の"３４"である場合を示している。この場合は、マクロ
ブロックの分割が図３の（ｄ）に対応しており、第一の
符号化モードに続いて、各８×８画素ブロックに対する
第二の符号化モードが記述される。そして、全分割数に
応じた動きベクトルと、マクロブロック全体の残差成分
が符号列中に記述される。ただし、各８×８画素ブロッ
クに対する第二の符号化モードがダイレクトモードやイ
ントラモードである場合には、その８×８画素ブロック
に対応する動きベクトルは符号列中に記述されない。In FIG. 6C, the first coding mode is shown in Table 3.
"34" of No. is shown. In this case, the division of the macroblock corresponds to (d) of FIG. 3, and the second coding mode for each 8 × 8 pixel block is described following the first coding mode. Then, the motion vector according to the total number of divisions and the residual component of the entire macroblock are described in the code string. However, when the second coding mode for each 8 × 8 pixel block is the direct mode or the intra mode, the motion vector corresponding to the 8 × 8 pixel block is not described in the code string.

【００６５】以上の処理により、ピクチャＢ１１の１マ
クロブロックの処理が完了する。同様の処理により、ピ
クチャＢ１１の残りのマクロブロックに対して、符号化
処理が行われる。以上のように本発明の動画像符号化方
法では、動き補償を行う際に、マクロブロックを分割し
て分割ブロック毎に動き補償を行う。そして、Ｂピクチ
ャを符号化する際には、分割単位毎にもダイレクトモー
ドを選択できるようにし、ダイレクトモードを選択した
場合には、動きベクトルを符号列中に記述しない。With the above processing, the processing of one macroblock of the picture B11 is completed. By the same process, the encoding process is performed on the remaining macroblocks of the picture B11. As described above, in the moving picture coding method of the present invention, when performing motion compensation, the macroblock is divided and the motion compensation is performed for each divided block. Then, when the B picture is encoded, the direct mode can be selected for each division unit, and when the direct mode is selected, the motion vector is not described in the code string.

【００６６】また、本発明の符号列フォーマットは、マ
クロブロックを分割して符号化し符号列を生成する際
に、分割単位毎にダイレクトモードが選択された場合に
は、その分割単位に相当する符号列中には、動きベクト
ルの情報は記述しない。In the code string format of the present invention, when the direct mode is selected for each division unit when the macro block is divided and coded to generate the code string, the code corresponding to the division unit is selected. The motion vector information is not described in the row.

【００６７】このような動作により、本発明の動画像符
号化方法を用いることにより、従来の方法と比較し、符
号化モードの種類（符号化モードを表現するビット量）
はあまり増やさずに、動きベクトルのビット量を削減す
ることができる。これにより、全体の符号化効率を向上
させることができる。By such operation, by using the moving picture coding method of the present invention, the kind of coding mode (bit amount expressing the coding mode) is compared with the conventional method.
Can reduce the amount of bits of the motion vector without increasing so much. As a result, the overall coding efficiency can be improved.

【００６８】なお、本実施の形態においては、マクロブ
ロックは水平１６×垂直１６画素の単位で、動き補償は
図３に示す分割方法で、ブロック予測誤差画像の符号化
は縦４×横４画素や縦８×横８画素の単位で処理する場
合について説明したが、これらの単位は別の画素数、分
割方法でも良い。また、本実施の形態においては、他の
ブロックの動きベクトルを利用して画像を符号化する方
法として、ダイレクトモードを例に挙げて説明したが、
これは他の方法であっても良い。In this embodiment, the macroblock is a unit of horizontal 16 × vertical 16 pixels, the motion compensation is the division method shown in FIG. 3, and the block prediction error image is encoded by vertical 4 × horizontal 4 pixels. In the above description, the processing is performed in units of vertical 8 pixels × horizontal 8 pixels, but these units may have different numbers of pixels and division methods. Further, in the present embodiment, the direct mode is described as an example as a method of encoding an image by using the motion vector of another block,
This may be another method.

【００６９】（第三の実施の形態）本発明の第三の実施
の形態について、図４を用いて説明する。図４は、符号
列解析部４０１、予測誤差復号化部４０２、モード復号
部４０３、動き補償復号部４０５、動きベクトル記憶部
４０６、フレームメモリ４０７、加算演算部４０８、ス
イッチ４０９、４１０から構成される動きベクトル復号
化方法のブロック図である。入力される符号列中のピク
チャの順序は、図５（ａ）の通りであるとする。第三の
実施の形態では、ピクチャＰ１３の復号化処理について
順に説明する。(Third Embodiment) A third embodiment of the present invention will be described with reference to FIG. FIG. 4 includes a code string analysis unit 401, a prediction error decoding unit 402, a mode decoding unit 403, a motion compensation decoding unit 405, a motion vector storage unit 406, a frame memory 407, an addition operation unit 408, and switches 409 and 410. FIG. 3 is a block diagram of a motion vector decoding method according to the present invention. The order of the pictures in the input code string is as shown in FIG. In the third embodiment, the decoding process of the picture P13 will be described in order.

【００７０】ピクチャＰ１３の符号列は符号列解析部４
０１に入力される。符号列解析部４０１では、入力され
た符号列から、各種データの抽出を行う。ここで各種デ
ータとは、符号化モードや動きベクトルの情報等であ
る。抽出された符号化モードの情報は、モード復号部４
０３に対して出力される。また、抽出された動きベクト
ルの情報は、動き補償復号部４０５に対して出力され
る。さらに、予測誤差符号化データは予測誤差復号化部
４０２に対して出力される。The code string of the picture P13 is the code string analysis unit 4
01 is input. The code string analysis unit 401 extracts various data from the input code string. Here, various data are information such as the encoding mode and the motion vector. The information of the extracted coding mode is used by the mode decoding unit 4
It is output to 03. The information on the extracted motion vector is output to the motion compensation decoding unit 405. Further, the prediction error coded data is output to the prediction error decoding unit 402.

【００７１】モード復号部４０３では、符号列から抽出
された符号化モードを参照し、スイッチ４０９と４１０
の制御を行う。ここで、符号化モードは、表１、２を用
いて符号化されているとする。またモード復号部４０３
では、符号化モードの情報を動き補償部に対しても出力
する。The mode decoding unit 403 refers to the coding mode extracted from the code string and refers to the switches 409 and 410.
Control. Here, it is assumed that the coding mode is coded using Tables 1 and 2. Also, the mode decoding unit 403
Then, the coding mode information is also output to the motion compensation unit.

【００７２】予測誤差復号化部４０２では、入力された
予測誤差符号化データの復号化を行い、予測誤差画像を
生成する。生成された予測誤差画像はスイッチ４０９に
対して出力される。生成された予測誤差画像は、スイッ
チ４０９がａ、ｂのいずれに接続されているかにより、
スイッチ４１０か加算演算部４０８かのいずれかに対し
て出力される。The prediction error decoding unit 402 decodes the input prediction error coded data to generate a prediction error image. The generated prediction error image is output to the switch 409. The generated prediction error image depends on whether the switch 409 is connected to a or b.
It is output to either the switch 410 or the addition calculation unit 408.

【００７３】動き補償復号部４０５は、符号列解析部４
０１から入力された、動きベクトルの情報に基づいて、
フレームメモリ４０７から動き補償画像を取得する。こ
のようにして生成された動き補償画像は加算演算部４０
８に対して出力される。The motion compensation decoding unit 405 includes a code string analysis unit 4
Based on the motion vector information input from 01,
A motion compensation image is acquired from the frame memory 407. The motion-compensated image generated in this way is added by the addition calculator 40.
It is output to 8.

【００７４】また、動き補償復号部４０５は、Ｐピクチ
ャの復号化を行う場合には、動きベクトルを動きベクト
ル記憶部４０６に記憶する。加算演算部４０８では、入
力された予測誤差画像と動き補償画像とを加算し、復号
化画像を生成する。生成された復号化画像はスイッチ４
１０を介してフレームメモリ４０７に対して出力され
る。Also, the motion compensation decoding unit 405 stores the motion vector in the motion vector storage unit 406 when the P picture is decoded. The addition calculation unit 408 adds the input prediction error image and motion compensation image to generate a decoded image. The generated decoded image is the switch 4
It is output to the frame memory 407 via 10.

【００７５】さて、以下では、各種の符号化モードによ
って、予測誤差復号部４０２、モード復号部４０３、動
き補償復号部４０５がどのように動作するかを説明す
る。まず、モード復号部４０３において得られた第一の
符号化モードが、表１の"０"である場合には、そのマク
ロブロックをスキップモードとして処理する。この場
合、動きベクトルの情報は符号列中に含まれていない
が、モード復号部４０３は、動き補償部４０５に対して
動き０の動きベクトルを出力する。また、モード復号部
４０３は、スイッチ４０９、４１０をｂに接続するよう
に制御する。また、スキップモードの場合には、予測誤
差符号化データは符号列中に含まれていないので、予測
誤差復号化部４０２はすべて０のデータを出力する。動
き補償復号部４０５は、モード復号部４０３か入力され
た動きベクトル０の情報に基づいて、フレームメモリ４
０７から動き補償画像を取得する。Now, how the prediction error decoding unit 402, the mode decoding unit 403, and the motion compensation decoding unit 405 operate according to various coding modes will be described below. First, when the first coding mode obtained in the mode decoding unit 403 is “0” in Table 1, the macroblock is processed as the skip mode. In this case, the motion vector information is not included in the code string, but the mode decoding unit 403 outputs the motion vector of motion 0 to the motion compensation unit 405. The mode decoding unit 403 also controls the switches 409 and 410 to connect to b. In the skip mode, the prediction error coded data is not included in the code string, and thus the prediction error decoding unit 402 outputs data of all 0s. The motion compensation decoding unit 405, based on the information of the motion vector 0 input from the mode decoding unit 403,
The motion compensation image is acquired from 07.

【００７６】次に、モード復号部４０３において得られ
た第一の符号化モードが、表１の"１"、"２"、"３"であ
る場合には、そのマクロブロックを前方向予測のフレー
ム間符号化されているマクロブロックとして処理する。
ただし、モード選択が、表１の"１"である場合には、図
３（ａ）のようにマクロブロックが分割されずに動き補
償されており、表１の"２"である場合には、図３（ｂ）
のようにマクロブロックが２つに分割されて動き補償さ
れており、表１の"３"である場合には、図３（ｃ）のよ
うにマクロブロックが２つに分割されて動き補償されて
いると判断する。モード復号部４０３は、動き補償部４
０５に対して、マクロブロックの分割方法および前方向
予測の動き補償を行うことを示す情報を出力する。ま
た、モード復号部４０３は、スイッチ４０９、４１０を
ｂに接続するように制御する。予測誤差復号化部４０２
は、符号列解析部４０１から出力された予測誤差符号化
データの復号化を行い、予測誤差画像を生成する。動き
補償復号部４０５は、符号列解析部４０１から出力され
た動きベクトルの情報と、モード復号部４０３から入力
されたマクロブロックの分割方法および前方向予測の動
き補償を行うことを示す情報とを用いて、フレームメモ
リ４０７から動き補償画像を取得する。ここで、符号列
解析部４０１からは、マクロブロックの分割数に応じた
動きベクトルが出力されてくる。Next, when the first coding mode obtained in the mode decoding unit 403 is "1", "2", or "3" in Table 1, the macroblock is subjected to forward prediction. Process as a macroblock that is interframe coded.
However, when the mode selection is "1" in Table 1, motion compensation is performed without dividing the macroblock as shown in FIG. 3A, and when the mode selection is "2" in Table 1, , Fig. 3 (b)
As shown in FIG. 3C, the macroblock is divided into two and motion-compensated, and when the macroblock is “3” in Table 1, the macroblock is divided into two and motion-compensated as shown in FIG. Determine that The mode decoding unit 403 includes a motion compensation unit 4
For 05, information indicating that the macroblock division method and the motion compensation of the forward prediction are performed is output. The mode decoding unit 403 also controls the switches 409 and 410 to connect to b. Prediction error decoding unit 402
Generates a prediction error image by decoding the prediction error coded data output from the code string analysis unit 401. The motion compensation decoding unit 405 stores the information of the motion vector output from the code string analysis unit 401 and the information indicating the macroblock division method input from the mode decoding unit 403 and the motion prediction motion prediction. The motion compensated image is acquired from the frame memory 407 using the frame memory 407. Here, the motion vector according to the number of divisions of the macro block is output from the code string analysis unit 401.

【００７７】次に、モード復号部４０３において得られ
た第一の符号化モードが、表１の"５"である場合には、
そのマクロブロックをイントラマクロブロックとして処
理する。モード復号部４０３は、動き補償部４０５に対
して、動き補償を行う必要がないことを示す情報を出力
する。また、モード復号部４０３は、スイッチ４０９、
４１０をａに接続するように制御する。予測誤差復号化
部４０２は、符号列解析部４０１から出力された予測誤
差符号化データの復号化を行い、予測誤差画像を生成す
る。この予測誤差画像は、スイッチ４０９、４１０を介
してフレームメモリ４０７に蓄積される。Next, when the first coding mode obtained by the mode decoding unit 403 is "5" in Table 1,
The macroblock is processed as an intra macroblock. The mode decoding unit 403 outputs information indicating that there is no need to perform motion compensation, to the motion compensation unit 405. Further, the mode decoding unit 403 uses the switch 409,
Control 410 to connect to a. The prediction error decoding unit 402 decodes the prediction error coded data output from the code string analysis unit 401 and generates a prediction error image. This prediction error image is accumulated in the frame memory 407 via the switches 409 and 410.

【００７８】次に、モード復号部４０３において得られ
た第一の符号化モードが、表１の"４"である場合には、
マクロブロックは図３（ｄ）のように４つに分割されて
動き補償されていることになる。この場合、続いて符号
列解析部４０１から、表２に対応する第二の符号化モー
ドが４つ出力される。８×８画素ブロック（以下では単
にブロックと呼ぶ）の処理は以下の通りとなる。Next, when the first coding mode obtained in the mode decoding unit 403 is "4" in Table 1,
The macroblock is divided into four as shown in FIG. 3D, which means that the motion is compensated. In this case, the code string analysis unit 401 subsequently outputs four second coding modes corresponding to Table 2. The processing of an 8 × 8 pixel block (hereinafter, simply referred to as a block) is as follows.

【００７９】モード復号部４０３において得られた第二
の符号化モードが表２の"０"である場合、そのブロック
をスキップモードとして処理する。この場合、動きベク
トルの情報は符号列中に含まれていないが、モード復号
部４０３は、動き補償部４０５に対して動き０の動きベ
クトルを出力する。また、モード復号部４０３は、スイ
ッチ４０９、４１０をｂに接続するように制御する。ま
た、スキップモードの場合には、予測誤差符号化データ
は符号列中に含まれていないので、予測誤差復号化部４
０２はすべて０のデータを出力する。動き補償復号部４
０５は、モード復号部４０３か入力された動きベクトル
０の情報に基づいて、フレームメモリ４０７から動き補
償画像を取得する。When the second coding mode obtained by the mode decoding unit 403 is "0" in Table 2, the block is processed as the skip mode. In this case, the motion vector information is not included in the code string, but the mode decoding unit 403 outputs the motion vector of motion 0 to the motion compensation unit 405. The mode decoding unit 403 also controls the switches 409 and 410 to connect to b. In the skip mode, the prediction error coded data is not included in the code string, so the prediction error decoding unit 4
02 outputs data of all 0s. Motion compensation decoding unit 4
05 acquires the motion compensation image from the frame memory 407 based on the information of the motion vector 0 input from the mode decoding unit 403.

【００８０】次に、第二の符号化モードが、表２の"１"
〜"４"である場合には、そのマクロブロックを前方向予
測のフレーム間符号化されているマクロブロックとして
処理する。ただし、第二の符号化モードが、表１の"１"
である場合には、図３（ｅ）のようにブロックが分割さ
れずに動き補償されており、表２の"２"である場合に
は、図３（ｆ）のようにブロックが２つに分割されて動
き補償されており、表１の"３"である場合には、図３
（ｇ）のようにブロックが２つに分割されて動き補償さ
れており、表１の"４"である場合には、図３（ｈ）のよ
うにブロックが４つに分割されて動き補償されていると
判断する。モード復号部４０３は、動き補償部４０５に
対して、ブロックの分割方法および前方向予測の動き補
償を行うことを示す情報を出力する。また、モード復号
部４０３は、スイッチ４０９、４１０をｂに接続するよ
うに制御する。予測誤差復号化部４０２は、符号列解析
部４０１から出力された予測誤差符号化データの復号化
を行い、予測誤差画像を生成する。動き補償復号部４０
５は、符号列解析部４０１から出力された動きベクトル
の情報と、モード復号部４０３か入力されたブロックの
分割方法および前方向予測の動き補償を行うことを示す
情報とを用いて、フレームメモリ４０７から動き補償画
像を取得する。また、符号列解析部４０１からは、ブロ
ックの分割数に応じた動きベクトルが出力されてくる。Next, the second coding mode is "1" in Table 2.
If it is "4", the macroblock is processed as a forward-predicted interframe-encoded macroblock. However, the second encoding mode is "1" in Table 1.
3e, motion compensation is performed without dividing the block as shown in FIG. 3E, and if it is “2” in Table 2, there are two blocks as shown in FIG. 3F. 3 is motion-compensated by dividing into 3
As shown in (g), the block is divided into two to be motion-compensated, and when the block is "4" in Table 1, the block is divided into four as shown in FIG. Judge that it has been done. The mode decoding unit 403 outputs, to the motion compensation unit 405, information indicating that a block division method and motion compensation for forward prediction are performed. The mode decoding unit 403 also controls the switches 409 and 410 to connect to b. The prediction error decoding unit 402 decodes the prediction error coded data output from the code string analysis unit 401 and generates a prediction error image. Motion compensation decoding unit 40
5 uses the information of the motion vector output from the code string analysis unit 401, the block division method input from the mode decoding unit 403, and the information indicating that motion compensation for forward prediction is performed, A motion compensation image is acquired from 407. In addition, the code string analysis unit 401 outputs a motion vector according to the number of block divisions.

【００８１】次に、第二の符号化モードが表２の"５"で
ある場合には、そのブロックをイントラモード、すなわ
ち動き補償を行わないモードとして処理する。モード復
号部４０３は、動き補償部４０５に対して、動き補償を
行う必要がないことを示す情報を出力する。また、モー
ド復号部４０３は、スイッチ４０９、４１０をａに接続
するように制御する。予測誤差復号化部４０２は、符号
列解析部４０１から出力された予測誤差符号化データの
復号化を行い、予測誤差画像を生成する。この予測誤差
画像は、スイッチ４０９、４１０を介してフレームメモ
リ４０７に蓄積される。以上のようにして、ピクチャＰ
１３の１マクロブロックの処理が完了する。同様にし
て、ピクチャＰ１３のマクロブロックが順に復号化され
る。Next, when the second coding mode is "5" in Table 2, the block is processed as an intra mode, that is, a mode in which motion compensation is not performed. The mode decoding unit 403 outputs information indicating that there is no need to perform motion compensation, to the motion compensation unit 405. The mode decoding unit 403 also controls the switches 409 and 410 to connect to a. The prediction error decoding unit 402 decodes the prediction error coded data output from the code string analysis unit 401 and generates a prediction error image. This prediction error image is accumulated in the frame memory 407 via the switches 409 and 410. As described above, the picture P
The processing of 1 macroblock of 13 is completed. Similarly, the macroblocks of the picture P13 are sequentially decoded.

【００８２】以上のように、本発明の動画像復号化方法
では、動き補償を用いて符号化された符号列を復号化す
る際に、動き補償等の方法を示す符号化モードの情報に
基づいて復号化動作を切り替える。この際、マクロブロ
ックが所定の大きさ以下に分割されて動き補償されてい
る場合には、さらに分割単位毎に付加されているモード
選択情報に基づいて復号化を行う。ここで分割単位がス
キップモードで符号化されている場合、前方予測ピクチ
ャの同一位置にある分割単位の画像をそのまま復号化画
像として用いる。これにより、正しく復号化を行うこと
ができる。As described above, according to the moving picture decoding method of the present invention, when decoding a code string coded by using motion compensation, based on coding mode information indicating a method such as motion compensation. To switch the decoding operation. At this time, when the macroblock is divided into smaller than a predetermined size and motion-compensated, the decoding is further performed based on the mode selection information added for each division unit. Here, when the division unit is encoded in the skip mode, the image of the division unit at the same position in the forward prediction picture is used as it is as the decoded image. As a result, correct decoding can be performed.

【００８３】なお、本実施の形態では、マクロブロック
を縦１６画素×横１６画素の大きさとし、マクロブロッ
クを図３に示す分割方法で分割し、表１および表２に示
す符号化モードの情報から選択されて符号化されている
としたが、これらは異なるマクロブロックの大きさ、異
なる分割方法、異なる符号化モードの組み合わせであっ
ても良い。In this embodiment, the macroblock has a size of vertical 16 pixels × horizontal 16 pixels, the macroblock is divided by the dividing method shown in FIG. 3, and the coding mode information shown in Table 1 and Table 2 is obtained. However, these may be combinations of different macroblock sizes, different division methods, and different encoding modes.

【００８４】（第四の実施の形態）第三の実施の形態で
は、本発明の動画像復号化方法について、Ｐピクチャの
処理に関して説明したが、第四の実施の形態ではＢピク
チャの処理に関して説明する。ここでは図４にブロック
図を示す本発明の動画像符号化方法を用いて、図５に示
すピクチャＢ１１を符号化する場合について説明する。(Fourth Embodiment) In the third embodiment, the moving picture decoding method of the present invention has been described with respect to the processing of P pictures, but in the fourth embodiment, with respect to the processing of B pictures. explain. Here, a case will be described in which the picture B11 shown in FIG. 5 is coded using the moving picture coding method of the present invention shown in the block diagram of FIG.

【００８５】ピクチャＢ１１の符号列は符号列解析部４
０１に入力される。符号列解析部４０１では、入力され
た符号列から、各種データの抽出を行う。ここで各種デ
ータとは、符号化モードや動きベクトルの情報等であ
る。抽出された符号化モードの情報は、モード復号部４
０３に対して出力される。また、抽出された動きベクト
ル情報は、動き補償復号部４０５に対して出力される。
さらに、予測誤差符号化データは予測誤差復号化部４０
２に対して出力される。The code string of the picture B11 is the code string analysis unit 4
01 is input. The code string analysis unit 401 extracts various data from the input code string. Here, various data are information such as the encoding mode and the motion vector. The information of the extracted coding mode is used by the mode decoding unit 4
It is output to 03. Further, the extracted motion vector information is output to the motion compensation decoding unit 405.
Further, the prediction error coded data is the prediction error decoding unit 40.
It is output to 2.

【００８６】モード復号部４０３では、符号列から抽出
された符号化モードの情報を参照し、スイッチ４０９と
４１０の制御を行う。ここで、符号化モードの情報は、
表３、４を用いて符号化されているとする。The mode decoding unit 403 controls the switches 409 and 410 by referring to the information on the coding mode extracted from the code string. Here, the coding mode information is
It is assumed that it is encoded using Tables 3 and 4.

【００８７】予測誤差復号化部４０２では、入力された
予測誤差符号化データの復号化を行い、予測誤差画像を
生成する。生成された予測誤差画像はスイッチ４０９に
対して出力される。生成された予測誤差画像は、スイッ
チ４０９がａ、ｂのいずれに接続されているかにより、
スイッチ４１０か加算演算部４０８かのいずれかに対し
て出力される。The prediction error decoding unit 402 decodes the input prediction error coded data to generate a prediction error image. The generated prediction error image is output to the switch 409. The generated prediction error image depends on whether the switch 409 is connected to a or b.
It is output to either the switch 410 or the addition calculation unit 408.

【００８８】動き補償復号部４０５は、符号列解析部４
０１から入力された動きベクトルに基づいて、フレーム
メモリ４０７から動き補償画像を取得する。このように
して生成された動き補償画像は加算演算部４０８に対し
て出力される。The motion compensation decoding unit 405 includes a code string analysis unit 4
The motion compensation image is acquired from the frame memory 407 based on the motion vector input from 01. The motion compensation image generated in this way is output to the addition calculation unit 408.

【００８９】加算演算部４０８では、入力された予測誤
差画像と動き補償画像とを加算し、復号化画像を生成す
る。生成された復号化画像はスイッチ４１０を介してフ
レームメモリ４０７に対して出力される。さて、以下で
は、各種の符号化モードによって、予測誤差復号部４０
２、モード復号部４０３、動き補償復号部４０５がどの
ように動作するかを説明する。The addition operation unit 408 adds the input prediction error image and motion compensation image to generate a decoded image. The generated decoded image is output to the frame memory 407 via the switch 410. By the way, in the following, the prediction error decoding unit 40 is selected according to various coding modes.
2. How the mode decoding unit 403 and the motion compensation decoding unit 405 operate will be described.

【００９０】まず、モード復号部４０３において得られ
た第一の符号化モードが、表３の"０"〜"３"である場合
には、そのマクロブロックを分割せずに動き補償を行
う。その際の動き補償の予測方法（ダイレクトモード、
前方向予測、後方向予測、双方向予測）は、第一の符号
化モードの値により決定され、それが動き補償復号化部
４０５に対して出力される。また、モード復号部４０３
は、スイッチ４０９、４１０をｂに接続するように制御
する。動き補償復号部４０５は、符号列解析部４０１か
ら出力された動きベクトルの情報と、モード復号部４０
３か入力されたマクロブロックの分割方法および動き補
償における予測方向を示す情報とを用いて、フレームメ
モリ４０７から動き補償画像を取得する。ただし、第一
の符号化モードが"０" （ダイレクトモード）の場合に
は、符号列中には動きベクトル情報は含まれない。この
場合、動きベクトル記憶部４０６から、後方参照ピクチ
ャ（ピクチャＰ１３）を復号化した際に用いた、同一位
置のマクロブロックの動きベクトルを取得し、それをス
ケーリングすることにより得られる動きベクトルを用い
て、双方向予測することにより、動き補償画像を生成す
るFirst, when the first coding mode obtained in the mode decoding unit 403 is "0" to "3" in Table 3, motion compensation is performed without dividing the macroblock. Prediction method of motion compensation at that time (Direct mode,
(Forward prediction, backward prediction, bidirectional prediction) is determined by the value of the first coding mode and is output to the motion compensation decoding unit 405. Also, the mode decoding unit 403
Controls the switches 409 and 410 to be connected to b. The motion compensation decoding unit 405 includes information on the motion vector output from the code string analysis unit 401 and the mode decoding unit 40.
A motion-compensated image is acquired from the frame memory 407 by using the three input macroblock division methods and the information indicating the prediction direction in motion compensation. However, when the first coding mode is "0" (direct mode), the motion vector information is not included in the code string. In this case, a motion vector obtained by acquiring the motion vector of the macroblock at the same position used when decoding the backward reference picture (picture P13) from the motion vector storage unit 406 and scaling it is used. Generate a motion-compensated image by bidirectional prediction

【００９１】次に、モード復号部４０３において得られ
た第一の符号化モードが、表３の"４"〜、"１５"である
場合には、マクロブロックを２つに分割して、動き補償
を行う。分割の形状としては、図３（ｂ）または図３
（ｃ）となる。この際に、各分割単位でどのような動き
補償を行うかは、第一の符号化モードの値により決定さ
れる。第一の符号化モードが、表３の"４"〜、"１５"で
ある場合、分割単位のいずれか一方がダイレクトモード
で動き補償されており、もう一方が前方向予測、後方向
予測、双方向予測のいずれかで動き補償されている。モ
ード復号部４０３は、動き補償部４０５に対して、マク
ロブロックの分割方法および各分割単位での動き補償の
予測方向を示す情報を出力する。また、モード復号部４
０３は、スイッチ４０９、４１０をｂに接続するように
制御する。予測誤差復号化部４０２は、符号列解析部４
０１から出力された予測誤差符号化データの復号化を行
い、予測誤差画像を生成する。動き補償復号部４０５
は、符号列解析部４０１から出力された動きベクトルの
情報と、モード復号部４０３か入力されたマクロブロッ
クの分割方法および前方向予測の動き補償を行うことを
示す情報とを用いて、フレームメモリ４０７から動き補
償画像を取得する。ここで、符号列解析部４０１から
は、ダイレクトモードではない分割単位に対応する動き
ベクトルが出力されてくる。ダイレクトモードで動き補
償されている分割単位に対しては、符号列中には動きベ
クトル情報は含まれていない。この場合、動きベクトル
記憶部４０６から、後方参照ピクチャであるピクチャＰ
１３を復号化した際に用いた、同一位置のブロックの動
きベクトルを取得し、それをスケーリングすることによ
り得られる動きベクトルを用いて、双方向予測すること
により、動き補償画像を生成する。Next, when the first coding mode obtained in the mode decoding unit 403 is "4" to "15" in Table 3, the macroblock is divided into two and motion is performed. Make compensation. As the shape of division, there are three shapes as shown in FIG.
(C). At this time, what kind of motion compensation is performed in each division unit is determined by the value of the first encoding mode. When the first coding mode is "4" to "15" in Table 3, one of the division units is motion-compensated in the direct mode, and the other is forward prediction, backward prediction, Motion compensated with either bi-directional prediction. The mode decoding unit 403 outputs, to the motion compensation unit 405, information indicating the macroblock division method and the prediction direction of motion compensation in each division unit. In addition, the mode decoding unit 4
03 controls the switches 409 and 410 to be connected to b. The prediction error decoding unit 402 includes a code string analysis unit 4
The prediction error coded data output from 01 is decoded to generate a prediction error image. Motion compensation decoding unit 405
Is a frame memory using the information of the motion vector output from the code string analysis unit 401 and the information indicating that the mode decoding unit 403 has input the macroblock division method and the motion compensation of the forward prediction. A motion compensation image is acquired from 407. Here, the code string analysis unit 401 outputs a motion vector corresponding to a division unit that is not in the direct mode. The motion vector information is not included in the code string for the division unit that is motion-compensated in the direct mode. In this case, from the motion vector storage unit 406, the picture P that is the backward reference picture
A motion-compensated image is generated by bidirectionally predicting the motion vector of the block at the same position used when decoding 13 and using the motion vector obtained by scaling the motion vector.

【００９２】次に、モード復号部４０３において得られ
た第一のモード選択情報が、表３の"１６"〜、"３３"で
ある場合には、マクロブロックを２つに分割して、動き
補償を行う。これらの場合の分割の形状としては、図３
（ｂ）または図３（ｃ）となる。この際に、各分割単位
でどのような動き補償を行うかは、第一の符号化モード
の値により決定される。第一の符号化モードが、表３
の"１６"〜、"３３"である場合、分割単位のいずれも、
前方向予測、後方向予測、双方向予測で動き補償されて
いる。モード復号部４０３は、動き補償部４０５に対し
て、マクロブロックの分割方法および各分割単位での動
き補償の予測方向を示す情報を出力する。また、モード
復号部４０３は、スイッチ４０９、４１０をｂに接続す
るように制御する。予測誤差復号化部４０２は、符号列
解析部４０１から出力された予測誤差符号化データの復
号化を行い、予測誤差画像を生成する。動き補償復号部
４０５は、符号列解析部４０１から出力された動きベク
トルの情報と、モード復号部４０３か入力されたマクロ
ブロックの分割方法および前方向予測の動き補償を行う
ことを示す情報とを用いて、フレームメモリ４０７から
動き補償画像を取得する。ここで、符号列解析部４０１
からは、各分割単位に対応する動きベクトルが出力され
てくる。Next, when the first mode selection information obtained by the mode decoding unit 403 is "16" to "33" in Table 3, the macro block is divided into two and motion is performed. Make compensation. The shape of division in these cases is shown in FIG.
(B) or FIG. 3 (c). At this time, what kind of motion compensation is performed in each division unit is determined by the value of the first encoding mode. Table 1 shows the first encoding mode.
In case of "16" to "33",
Motion compensation is performed in forward prediction, backward prediction, and bidirectional prediction. The mode decoding unit 403 outputs, to the motion compensation unit 405, information indicating the macroblock division method and the prediction direction of motion compensation in each division unit. The mode decoding unit 403 also controls the switches 409 and 410 to connect to b. The prediction error decoding unit 402 decodes the prediction error coded data output from the code string analysis unit 401 and generates a prediction error image. The motion compensation decoding unit 405 includes the information of the motion vector output from the code string analysis unit 401, the macroblock division method input from the mode decoding unit 403, and the information indicating that motion compensation for forward prediction is performed. The motion compensated image is acquired from the frame memory 407 using the frame memory 407. Here, the code string analysis unit 401
From, a motion vector corresponding to each division unit is output.

【００９３】次に、モード復号部４０３において得られ
た第一の符号化モードが、表３の"３５"である場合に
は、そのマクロブロックをイントラマクロブロックとし
て処理する。モード復号部４０３は、動き補償部４０５
に対して、動き補償を行う必要がないことを示す情報を
出力する。また、モード復号部４０３は、スイッチ４０
９、４１０をａに接続するように制御する。予測誤差復
号化部４０２は、符号列解析部４０１から出力された予
測誤差符号化データの復号化を行い、予測誤差画像を生
成する。この予測誤差画像は、スイッチ４０９、４１０
を介してフレームメモリ４０７に蓄積される。Next, when the first coding mode obtained by the mode decoding unit 403 is "35" in Table 3, the macro block is processed as an intra macro block. The mode decoding unit 403 includes a motion compensation unit 405.
In response to this, information indicating that it is not necessary to perform motion compensation is output. In addition, the mode decoding unit 403 uses the switch 40.
Control 9,410 to connect to a. The prediction error decoding unit 402 decodes the prediction error coded data output from the code string analysis unit 401 and generates a prediction error image. This prediction error image is the switch 409, 410.
Are stored in the frame memory 407 via the.

【００９４】次に、モード復号部４０３において得られ
た第一の符号化モードが、表１の"３４"である場合に
は、マクロブロックは図３（ｄ）のように４つに分割さ
れていることになる。この場合、続いて符号列解析部４
０１から、表４に対応する第二の符号化モードが４つ出
力される。各８×８画素ブロック（以下では単にブロッ
クと呼ぶ）の処理は以下の通りとなる。Next, when the first coding mode obtained in the mode decoding unit 403 is "34" in Table 1, the macroblock is divided into four as shown in FIG. 3 (d). Will be. In this case, the code string analyzing unit 4
From 01, four second encoding modes corresponding to Table 4 are output. The processing of each 8 × 8 pixel block (hereinafter simply referred to as a block) is as follows.

【００９５】モード復号部４０３において得られた第二
の符号化モードが表４の"０"である場合、そのブロック
をダイレクトモードとして処理する。この場合、モード
復号部４０３は、スイッチ４０９、４１０をｂに接続す
るように制御する。予測誤差復号化部４０２は、符号列
解析部４０１から出力された予測誤差符号化データの復
号化を行い、予測誤差画像を生成する。また、動きベク
トルの情報は符号列中に含まれていない。この場合、動
きベクトル記憶部４０６から、後方参照ピクチャである
ピクチャＰ１３を復号化した際に用いた、同一位置のブ
ロックの動きベクトルを取得し、それをスケーリングす
ることにより得られる動きベクトルを用いて、双方向予
測することにより、動き補償画像を生成する。When the second coding mode obtained by the mode decoding unit 403 is "0" in Table 4, the block is processed as the direct mode. In this case, the mode decoding unit 403 controls the switches 409 and 410 to connect to b. The prediction error decoding unit 402 decodes the prediction error coded data output from the code string analysis unit 401 and generates a prediction error image. In addition, the motion vector information is not included in the code string. In this case, the motion vector storage unit 406 acquires the motion vector of the block at the same position used when the picture P13, which is the backward reference picture, is decoded, and uses the motion vector obtained by scaling the block. , A bidirectional prediction is performed to generate a motion compensation image.

【００９６】次に、第二の符号化モードが、表４の"１"
〜"１２"である場合には、各分割方法および予測方向に
応じてフレーム間符号化されているブロックとして処理
する。ただし、第二のモード選択が、表４の"１"〜"３"
である場合には、図３（ｅ）のようにブロックが分割さ
れずに動き補償されており、表４の"４"、"６"、"８"で
ある場合には、図３（ｆ）のようにブロックが２つに分
割されて動き補償されており、表４の"５"、"７"、"９"
である場合には、図３（ｇ）のようにブロックが２つに
分割されて動き補償されており、表４の"１０"〜"１１"
である場合には、図３（ｈ）のようにブロックが４つに
分割されて動き補償されていると判断する。モード復号
部４０３は、動き補償部４０５に対して、ブロックの分
割方法および動き補償の予測方向を示す情報を出力す
る。また、モード復号部４０３は、スイッチ４０９、４
１０をｂに接続するように制御する。予測誤差復号化部
４０２は、符号列解析部４０１から出力された予測誤差
符号化データの復号化を行い、予測誤差画像を生成す
る。動き補償復号部４０５は、符号列解析部４０１から
出力された動きベクトルの情報と、モード復号部４０３
か入力されたブロックの分割方法および動き補償の予測
方向を示す情報とを用いて、フレームメモリ４０７から
動き補償画像を取得する。ここで、符号列解析部４０１
からは、ブロックの分割数に応じた動きベクトルが出力
されてくるものとする。Next, the second encoding mode is "1" in Table 4.
If it is ~ 12, it is processed as a block that is inter-frame coded according to each division method and prediction direction. However, the second mode selection is "1" to "3" in Table 4.
3e, motion compensation is performed without dividing the block as shown in FIG. 3E, and if the blocks are “4”, “6”, and “8” in Table 4, FIG. ), The block is divided into two and motion compensation is performed, and "5", "7", "9" in Table 4
If it is, the block is divided into two and motion-compensated as shown in FIG. 3G, and “10” to “11” in Table 4 are satisfied.
If it is, it is determined that the block is divided into four and motion-compensated as shown in FIG. The mode decoding unit 403 outputs information indicating the block division method and the motion compensation prediction direction to the motion compensation unit 405. The mode decoding unit 403 also includes switches 409 and 4
Control 10 to connect to b. The prediction error decoding unit 402 decodes the prediction error coded data output from the code string analysis unit 401 and generates a prediction error image. The motion compensation decoding unit 405 includes information on the motion vector output from the code string analysis unit 401 and the mode decoding unit 403.
A motion compensation image is acquired from the frame memory 407 by using the input block division method and the information indicating the prediction direction of motion compensation. Here, the code string analysis unit 401
From here, it is assumed that a motion vector according to the number of divisions of the block is output.

【００９７】次に、第二の符号化モードが表４の"１３"
である場合には、そのブロックをイントラモード、すな
わち動き補償を行わないモードとして処理する。モード
復号部４０３は、動き補償部４０５に対して、動き補償
を行う必要がないことを示す情報を出力する。また、モ
ード復号部４０３は、スイッチ４０９、４１０をａに接
続するように制御する。予測誤差復号化部４０２は、符
号列解析部４０１から出力された予測誤差符号化データ
の復号化を行い、予測誤差画像を生成する。この予測誤
差画像は、スイッチ４０９、４１０を介してフレームメ
モリ４０７に蓄積される。Next, the second encoding mode is "13" in Table 4.
If so, the block is processed as an intra mode, that is, a mode in which motion compensation is not performed. The mode decoding unit 403 outputs information indicating that there is no need to perform motion compensation, to the motion compensation unit 405. The mode decoding unit 403 also controls the switches 409 and 410 to connect to a. The prediction error decoding unit 402 decodes the prediction error coded data output from the code string analysis unit 401 and generates a prediction error image. This prediction error image is accumulated in the frame memory 407 via the switches 409 and 410.

【００９８】例えば図８において、ブロック８０１、８
０２は、縦１６画素×横８画素ブロックを示しており、
これら２つのブロックでマクロブロックを構成している
とする。このマクロブロックの第一の符号化モードは表
３の"６"である。したがって、ブロック８０１はそれぞ
れ、縦１６画素×横８画素の単位で動き補償されてお
り、またそれぞれは、前方向予測、ダイレクトモードで
動き補償されていることになる。ブロック８０１に対し
ては、動きベクトル８０３の情報が符号列中に記述され
ているので、それを用いて動き補償を行う。ブロック８
０２に対しては、後方参照ピクチャであるピクチャＰ１
３中の、ブロック８０２と同一位置にあるブロック８０
８を復号化した際に用いた動きベクトル８０５をスケー
リングし、前方向動きベクトル８０６と後方向動きベク
トル８０７とを得る。これらの動きベクトルにより、双
方向予測してブロック８０２に対して動き補償を行う。
以上のようにして、ピクチャＢ１１の１マクロブロック
の処理が完了する。同様にして、ピクチャＰ１１のマク
ロブロックが順に復号化される。For example, in FIG. 8, blocks 801, 8
Reference numeral 02 indicates a vertical 16 pixel × horizontal 8 pixel block,
It is assumed that these two blocks form a macro block. The first coding mode of this macroblock is "6" in Table 3. Therefore, each block 801 is motion-compensated in units of vertical 16 pixels × horizontal 8 pixels, and each is also motion-compensated in the forward prediction and direct mode. For the block 801, since the information of the motion vector 803 is described in the code string, it is used to perform motion compensation. Block 8
For 02, picture P1 which is a backward reference picture
Block 80 in block 3 located at the same position as block 802
The motion vector 805 used when decoding 8 is scaled to obtain a forward motion vector 806 and a backward motion vector 807. Bidirectional prediction is performed using these motion vectors to perform motion compensation on the block 802.
As described above, the processing of one macroblock of the picture B11 is completed. Similarly, the macroblocks of the picture P11 are sequentially decoded.

【００９９】以上のように、本発明の動画像復号化方法
では、動き補償を用いて符号化された符号列を復号化す
る際に、動き補償等の方法を示すモード選択情報に基づ
いて復号化動作を切り替える。この際、マクロブロック
が所定の大きさ以下に分割されて動き補償されている場
合には、さらに分割単位毎に付加されているモード選択
情報に基づいて復号化を行う。ここで分割単位がダイレ
クトモードで符号化されている場合、後方参照ピクチャ
内の同一位置にあるブロックを復号化する際に用いた動
きベクトルをスケーリングすることにより得られる動き
ベクトルを用いて双方向参照することにより、動き補償
画像を生成する。これにより、正しく復号化を行うこと
ができる。As described above, in the moving picture decoding method of the present invention, when decoding a code string coded using motion compensation, decoding is performed based on mode selection information indicating a method such as motion compensation. Switch the activation operation. At this time, when the macroblock is divided into smaller than a predetermined size and motion-compensated, the decoding is further performed based on the mode selection information added for each division unit. Here, when the division unit is encoded in direct mode, bidirectional reference is performed using the motion vector obtained by scaling the motion vector used when decoding the block at the same position in the backward reference picture. By doing so, a motion compensation image is generated. As a result, correct decoding can be performed.

【０１００】なお、本実施の形態では、マクロブロック
を縦１６画素×横１６画素の大きさとし、マクロブロッ
クを図３に示す分割方法で分割し、表３および表４に示
す符号化モードの情報から選択されて符号化されている
としたが、これらは異なるマクロブロックの大きさ、異
なる分割方法、異なる符号化モードの組み合わせであっ
ても良い。In this embodiment, the macroblock has a size of vertical 16 pixels × horizontal 16 pixels, the macroblock is divided by the dividing method shown in FIG. 3, and the coding mode information shown in Tables 3 and 4 is obtained. However, these may be combinations of different macroblock sizes, different division methods, and different encoding modes.

【０１０１】[0101]

【発明の効果】以上のように本発明の動画像符号化方法
では、動き補償を行う際に、マクロブロックを分割して
分割ブロック毎に動き補償を行う。Ｐピクチャを符号化
する際には、分割単位毎にもスキップモードを選択でき
るようにし、スキップモードを選択した場合には、動き
ベクトルや残差成分を符号列中に記述しない。また、Ｂ
ピクチャを符号化する際には、分割単位毎にもダイレク
トモードを選択できるようにし、ダイレクトモードを選
択した場合には、動きベクトルを符号列中に記述しな
い。As described above, in the moving picture coding method of the present invention, when performing motion compensation, the macroblock is divided and the motion compensation is performed for each divided block. When the P picture is encoded, the skip mode can be selected for each division unit, and when the skip mode is selected, the motion vector and the residual component are not described in the code string. Also, B
When encoding a picture, the direct mode can be selected for each division unit, and when the direct mode is selected, the motion vector is not described in the code string.

【０１０２】また、本発明の符号列フォーマットは、マ
クロブロックを分割して符号化し符号列を生成する際
に、分割単位毎にスキップモードが選択された場合に
は、その分割単位に相当する符号列中には、符号化モー
ドのみを記述する。また、分割単位毎にダイレクトモー
ドが選択された場合には、その分割単位に相当する符号
列中には、動きベクトルの情報は記述しない。Further, in the code string format of the present invention, when the skip mode is selected for each division unit when the macro block is divided and coded to generate the code string, the code corresponding to the division unit is selected. Only the coding mode is described in the column. When the direct mode is selected for each division unit, the motion vector information is not described in the code string corresponding to that division unit.

【０１０３】このような動作により、本発明の動画像符
号化方法および符号列フォーマットを用いることによ
り、従来の方法と比較し、符号化モードの種類（符号化
モードを表現するビット量）はあまり増やさずに、動き
ベクトルや動き補償後の残差成分のビット量を削減する
ことができる。これにより、全体の符号化効率を向上さ
せることができる。With such an operation, by using the moving picture coding method and the code string format of the present invention, the kind of coding mode (bit amount expressing the coding mode) is less than that of the conventional method. It is possible to reduce the bit amount of the motion vector and the residual component after motion compensation without increasing the number. As a result, the overall coding efficiency can be improved.

【０１０４】また、本発明の動画像復号化方法では、動
き補償を用いて符号化された符号列を復号化する際に、
動き補償等の方法を示す符号化モードの情報に基づいて
復号化動作を切り替える。この際、マクロブロックが所
定の大きさ以下に分割されて動き補償されている場合に
は、さらに分割単位毎に付加されているモード選択情報
に基づいて復号化を行う。ここで分割単位がスキップモ
ードで符号化されている場合、前方予測ピクチャの同一
位置にある分割単位の画像をそのまま復号化画像として
用いる。また、分割単位がダイレクトモードで符号化さ
れている場合、後方参照ピクチャ内の同一位置にあるブ
ロックを復号化する際に用いた動きベクトルをスケーリ
ングすることにより得られる動きベクトルを用いて双方
向参照することにより、動き補償画像を生成する。これ
により、正しく復号化処理を行うことができる。Further, in the moving picture decoding method of the present invention, when decoding a code string coded using motion compensation,
The decoding operation is switched based on the information of the coding mode indicating the method of motion compensation or the like. At this time, when the macroblock is divided into smaller than a predetermined size and motion-compensated, the decoding is further performed based on the mode selection information added for each division unit. Here, when the division unit is encoded in the skip mode, the image of the division unit at the same position in the forward prediction picture is used as it is as the decoded image. When the division unit is coded in direct mode, bidirectional reference is performed using the motion vector obtained by scaling the motion vector used when decoding the block at the same position in the backward reference picture. By doing so, a motion compensation image is generated. As a result, the decoding process can be performed correctly.

【図面の簡単な説明】[Brief description of drawings]

【図１】 本発明の実施の形態を説明するためのブロッ
ク図FIG. 1 is a block diagram for explaining an embodiment of the present invention.

【図２】 本発明の実施の形態を説明するための模式図FIG. 2 is a schematic diagram for explaining an embodiment of the invention.

【図３】 本発明の実施の形態および従来例を説明する
ための模式図FIG. 3 is a schematic diagram for explaining an embodiment of the present invention and a conventional example.

【図４】 本発明の実施の形態を説明するためのブロッ
ク図FIG. 4 is a block diagram for explaining an embodiment of the present invention.

【図５】 本発明の実施の形態を説明するための模式図FIG. 5 is a schematic diagram for explaining an embodiment of the invention.

【図６】 本発明の実施の形態を説明するための模式図FIG. 6 is a schematic diagram for explaining an embodiment of the invention.

【図７】 本発明の実施の形態を説明するための模式図FIG. 7 is a schematic diagram for explaining an embodiment of the invention.

【図８】 本発明の実施の形態を説明するための模式図FIG. 8 is a schematic diagram for explaining an embodiment of the invention.

【図９】 従来例を説明するための模式図FIG. 9 is a schematic diagram for explaining a conventional example.

【図１０】 従来例を説明するための模式図FIG. 10 is a schematic diagram for explaining a conventional example.

【符号の説明】[Explanation of symbols]

１０１ 並べ替え用メモリ １０２ 差分演算部 １０３ 予測誤差符号化部 １０４ 符号列生成部 １０５ 予測誤差復号化部 １０６ 加算演算部 １０７ 参照ピクチャ用メモリ １０８ 動きベクトル検出部 １０９ モード選択部 １１６ 動きベクトル記憶部 101 Sorting memory 102 Difference calculator 103 prediction error coding unit 104 code string generator 105 prediction error decoding unit 106 Addition calculation unit 107 reference picture memory 108 Motion Vector Detection Unit 109 Mode selector 116 motion vector storage

───────────────────────────────────────────────────── フロントページの続き (72)発明者 羽飼 誠 大阪府門真市大字門真1006番地 松下電器 産業株式会社内 Ｆターム(参考） 5C059 LC09 MA00 MA05 MA14 MC11 MC38 ME01 NN08 NN28 PP05 PP06 PP07 RC12 RC16 TA11 TA17 TA25 TB07 TC02 TC03 TC04 TC06 TC08 TC12 TC41 TC42 TD02 TD05 TD06 TD11 TD16 UA02 UA05 UA33 5J064 AA02 BB01 BB03 BC01 BC25 BD01    ─────────────────────────────────────────────────── ─── Continued front page    (72) Inventor Makoto Hakai             1006 Kadoma, Kadoma-shi, Osaka Matsushita Electric             Sangyo Co., Ltd. F-term (reference) 5C059 LC09 MA00 MA05 MA14 MC11                       MC38 ME01 NN08 NN28 PP05                       PP06 PP07 RC12 RC16 TA11                       TA17 TA25 TB07 TC02 TC03                       TC04 TC06 TC08 TC12 TC41                       TC42 TD02 TD05 TD06 TD11                       TD16 UA02 UA05 UA33                 5J064 AA02 BB01 BB03 BC01 BC25                       BD01

Claims (6)

【特許請求の範囲】[Claims] 【請求項１】 動画像を構成する各ピクチャに対応する
画像データを符号化して符号列を生成する動画像符号化
方法であって、 符号化の対象となる対象ピクチャを、既に符号化処理済
みのピクチャを参照ピクチャとして、ピクチャ間予測符
号化を施す符号化ステップを含み、 前記符号化ステップは、 縦Ｎ画素×横Ｍ画素の大きさを有する第一のブロック
を、縦Ｓ画素×横Ｔ画素（Ｓ≦Ｎ、Ｔ≦Ｍ）の大きさを
有する第二のブロックに分割し、前記第二のブロックの
単位での符号化モードとして、前記参照ピクチャ内の前
記第二のブロックと同一位置のブロックをコピーするモ
ードを選択可能とすることを特徴とする動画像符号化方
法。1. A moving picture coding method for coding image data corresponding to each picture forming a moving picture to generate a code string, wherein a target picture to be coded has already been coded. Is used as a reference picture, and an encoding step for performing inter-picture predictive encoding is performed, wherein the encoding step includes a first block having a size of vertical N pixels × horizontal M pixels, vertical S pixels × horizontal T It is divided into a second block having a size of pixels (S ≦ N, T ≦ M), and the same position as the second block in the reference picture is set as an encoding mode in units of the second block. A video coding method, characterized in that a mode for copying the blocks of is selectable. 【請求項２】 動画像を構成する各ピクチャに対応する
画像データを符号化して符号列を生成する動画像符号化
方法であって、 符号化の対象となる対象ピクチャを、既に符号化処理済
みのピクチャを参照ピクチャとして、ピクチャ間予測符
号化を施す符号化ステップを含み、 前記符号化ステップは、 縦Ｎ画素×横Ｍ画素の大きさを有する第一のブロック
を、縦Ｓ画素×横Ｔ画素（Ｓ≦Ｎ、Ｔ≦Ｍ）の大きさを
有する第二のブロックに分割し、前記第二のブロックの
単位での符号化モードとして、後方参照ピクチャ内の前
記第二のブロックと同一位置のブロックを符号化する際
に用いた動きベクトルを利用して動き補償を行うモード
を選択可能とすることを特徴とする動画像符号化方法。2. A moving picture coding method for coding image data corresponding to each picture forming a moving picture to generate a code string, wherein a target picture to be coded has already been coded. Is used as a reference picture, and an encoding step for performing inter-picture predictive encoding is performed, wherein the encoding step includes a first block having a size of vertical N pixels × horizontal M pixels, vertical S pixels × horizontal T pixels. It is divided into a second block having a size of pixels (S ≦ N, T ≦ M), and the same position as the second block in the backward reference picture is set as the coding mode in units of the second block. A video coding method, characterized in that a mode for motion compensation can be selected by utilizing a motion vector used when coding the block. 【請求項３】 動画像を構成する各ピクチャに対応する
画像データを符号化して生成された符号列を復号化する
動画像復号化方法であって、 復号化の対象となる対象ピクチャに対して、前記対象ピ
クチャ以外の復号化済みのピクチャを参照ピクチャとし
て用いる予測復号化を施す復号化ステップを含み、 前記復号化ステップは、 縦Ｎ画素×横Ｍ画素の大きさを有する第一のブロック
を、縦Ｓ画素×横Ｔ画素（Ｓ≦Ｎ、Ｔ≦Ｍ）の大きさを
有する第二のブロックに分割し、前記第二のブロックが
前記参照ピクチャ内の前記第二のブロックと同一位置の
第三のブロックをコピーするモードとして符号化されて
いる場合には、前記第三のブロックを前記第二のブロッ
クの復号化画像とすることを特徴とする動画像復号化方
法。3. A moving picture decoding method for decoding a code string generated by coding image data corresponding to each picture forming a moving picture, wherein the target picture to be decoded is , A decoding step of performing predictive decoding using a decoded picture other than the target picture as a reference picture, wherein the decoding step includes a first block having a size of N vertical pixels × M horizontal pixels. , A second block having a size of vertical S pixels × horizontal T pixels (S ≦ N, T ≦ M), and the second block is located at the same position as the second block in the reference picture. A moving picture decoding method, wherein when the third block is coded as a copy mode, the third block is a decoded image of the second block. 【請求項４】 動画像を構成する各ピクチャに対応する
画像データを符号化して生成された符号列を復号化する
動画像復号化方法であって、 復号化の対象となる対象ピクチャに対して、前記対象ピ
クチャ以外の復号化済みのピクチャを参照ピクチャとし
て用いる予測復号化を施す復号化ステップを含み、 前記復号化ステップは、 縦Ｎ画素×横Ｍ画素の大きさを有する第一のブロック
を、縦Ｓ画素×横Ｔ画素（Ｓ≦Ｎ、Ｔ≦Ｍ）の大きさを
有する第二のブロックに分割し、前記第二のブロックが
後方参照ピクチャ内の前記第二のブロックと同一位置の
ブロックを符号化する際に用いた動きベクトルを利用し
て動き補償を行うモードにより符号化されている場合に
は、前記動きベクトルを利用して動き補償を行うことに
より、前記第二のブロックの動き補償画像を生成するこ
とを特徴とする動画像復号化方法。4. A moving picture decoding method for decoding a code string generated by coding image data corresponding to each picture forming a moving picture, wherein the target picture to be decoded is , A decoding step of performing predictive decoding using a decoded picture other than the target picture as a reference picture, wherein the decoding step includes a first block having a size of N vertical pixels × M horizontal pixels. , A second block having a size of vertical S pixels × horizontal T pixels (S ≦ N, T ≦ M), and the second block is located at the same position as the second block in the backward reference picture. When the block is encoded in a mode in which motion compensation is performed using the motion vector used for encoding, the second block is obtained by performing motion compensation using the motion vector. Moving picture decoding method and generating a motion compensation image. 【請求項５】 動画像を構成する各ピクチャに対応する
画像データを符号化して生成される符号列のフォーマッ
トであって、 符号化を生成する際には、符号化の対象となる対象ピク
チャを、既に符号化処理済みのピクチャを参照ピクチャ
として、ピクチャ間予測符号化を施し、 前記対象ピクチャ内の縦Ｎ画素×横Ｍ画素の大きさを有
する第一のブロックを符号化して生成する符号列は、前
記第一のブロック内の縦Ｓ画素×横Ｔ画素（Ｓ≦Ｎ、Ｔ
≦Ｍ）の大きさを有する第二のブロックが、前記参照ピ
クチャ内の前記第二のブロックと同一位置のブロックを
コピーする符号化モードとして符号化されている場合に
は、前記第二のブロックに対応する符号列として、前記
符号化モードのみを記述することを特徴とする符号列フ
ォーマット。5. A format of a code string generated by encoding image data corresponding to each picture forming a moving image, wherein when encoding, the target picture to be encoded is A code string generated by performing inter-picture predictive coding using a picture that has already been coded as a reference picture, and coding a first block having a size of vertical N pixels × horizontal M pixels in the target picture. Are vertical S pixels × horizontal T pixels in the first block (S ≦ N, T
The second block having a size of ≦ M) is coded as a coding mode that copies a block at the same position as the second block in the reference picture, A code string format in which only the coding mode is described as a code string corresponding to. 【請求項６】 動画像を構成する各ピクチャに対応する
画像データを符号化して生成される符号列のフォーマッ
トであって、 符号化を生成する際には、符号化の対象となる対象ピク
チャを、既に符号化処理済みのピクチャを参照ピクチャ
として、ピクチャ間予測符号化を施し、 前記対象ピクチャ内の縦Ｎ画素×横Ｍ画素の大きさを有
する第一のブロックを符号化して生成する符号列は、前
記第一のブロック内の縦Ｓ画素×横Ｔ画素（Ｓ≦Ｎ、Ｔ
≦Ｍ）の大きさを有する第二のブロックが、後方参照ピ
クチャ内の前記第二のブロックと同一位置のブロックを
符号化する際に用いた動きベクトルを利用して動き補償
を行う符号化モードとして符号化されている場合には、
前記第二のブロックに対応する符号列には、動きベクト
ル情報を記述しないことを特徴とする符号列フォーマッ
ト。6. A format of a code string generated by encoding image data corresponding to each picture forming a moving image, wherein when encoding, the target picture to be encoded is A code string generated by performing inter-picture predictive coding using a picture that has already been coded as a reference picture, and coding a first block having a size of vertical N pixels × horizontal M pixels in the target picture. Are vertical S pixels × horizontal T pixels in the first block (S ≦ N, T
A coding mode in which a second block having a size of ≦ M) performs motion compensation using a motion vector used when coding a block at the same position as the second block in the backward reference picture. Is encoded as
A code string format in which motion vector information is not described in the code string corresponding to the second block.