JP4485494B2 - Image decoding method and image decoding apparatus - Google Patents
Image decoding method and image decoding apparatus Download PDFInfo
- Publication number
- JP4485494B2 JP4485494B2 JP2006188423A JP2006188423A JP4485494B2 JP 4485494 B2 JP4485494 B2 JP 4485494B2 JP 2006188423 A JP2006188423 A JP 2006188423A JP 2006188423 A JP2006188423 A JP 2006188423A JP 4485494 B2 JP4485494 B2 JP 4485494B2
- Authority
- JP
- Japan
- Prior art keywords
- picture
- linear prediction
- image
- reference index
- prediction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Description
本発明は、動画像の符号化方法および復号化方法に関するものであり、特に既に符号化済みのピクチャを参照して画面間予測を行う符号化方法および復号化方法に関するものである。 The present invention relates to a moving image encoding method and decoding method, and more particularly to an encoding method and a decoding method for performing inter-screen prediction with reference to an already encoded picture.
近年、マルチメディアアプリケーションの発展に伴い、画像・音声・テキストなど、あらゆるメディアの情報を統一的に扱うことが一般的になってきた。この時、全てのメディアをディジタル化することにより統一的にメディアを扱うことが可能になる。しかしながら、ディジタル化された画像は膨大なデータ量を持つため、蓄積・伝送のためには、画像の情報圧縮技術が不可欠である。一方で、圧縮した画像データを相互運用するためには、圧縮技術の標準化も重要である。画像圧縮技術の標準規格としては、ＩＴＵ−Ｔ（国際電気通信連合 電気通信標準化部門）のＨ．２６１、Ｈ．２６３、ＩＳＯ（国際標準化機構）のＭＰＥＧ−１、ＭＰＥＧ−４などがある。また、ＩＴＵでは、現在、最新の画像符号化規格としてＨ．２６Ｌが標準化中である。 In recent years, with the development of multimedia applications, it has become common to handle all media information such as images, sounds, and texts in a unified manner. At this time, the media can be handled uniformly by digitizing all the media. However, since a digitized image has an enormous amount of data, image information compression technology is indispensable for storage and transmission. On the other hand, in order to interoperate compressed image data, standardization of compression technology is also important. Image compression technology standards include H.264 of ITU-T (International Telecommunication Union Telecommunication Standardization Sector). 261, H.H. H.263, ISO (International Organization for Standardization) MPEG-1, MPEG-4, and the like. In addition, in the ITU, the latest image coding standard is H.264. 26L is being standardized.
一般に動画像の符号化では、時間方向および空間方向の冗長性を削減することによって情報量の圧縮を行う。そこで時間的な冗長性の削減を目的とするピクチャ間予測符号化では、前方または後方のピクチャを参照してブロック単位で動きの検出および予測画像の作成を行い、得られた予測画像と現在のピクチャとの差分値に対して符号化を行う。 In general, in encoding of moving images, the amount of information is compressed by reducing redundancy in the time direction and the spatial direction. Therefore, in inter-picture predictive coding for the purpose of reducing temporal redundancy, motion is detected and a predicted image is created in units of blocks with reference to forward or backward pictures. Encoding is performed on the difference value from the picture.
ここで、ピクチャとは、１枚の画面を表す用語であり、プログレッシブ画像ではフレームを意味し、インタレース画像ではフレームもしくはフィールドを意味する。ここで、インタレース画像とは、１つのフレームが時刻の異なる２つのフィールドから構成される画像である。インタレース画像の符号化や復号化処理においては、１つのフレームをフレームのまま処理したり、２つのフィールドとして処理したり、フレーム内のブロック毎にフレーム構造またはフィールド構造として処理したりすることができる。 Here, a picture is a term representing a single screen, which means a frame in a progressive image and a frame or field in an interlaced image. Here, an interlaced image is an image in which one frame is composed of two fields having different times. In interlaced image encoding and decoding processing, one frame may be processed as a frame, processed as two fields, or processed as a frame structure or a field structure for each block in the frame. it can.
なお、以下で示すピクチャはプログレッシブ画像でのフレームの意味で説明するが、インタレース画像でのフレームもしくはフィールドであっても同様に説明することができる。 In addition, although the picture shown below is demonstrated in the meaning of the frame in a progressive image, it can explain similarly also about the frame or field in an interlaced image.
図３０はピクチャの種類とその参照関係を説明するための図である。
ピクチャＩ１のように参照ピクチャを持たずピクチャ内予測符号化を行うものをＩピクチャと呼ぶ。また、ピクチャＰ１０のように１枚のピクチャのみを参照しピクチャ間予測符号化を行うものをＰピクチャと呼ぶ。また、同時に２枚のピクチャを参照してピクチャ間予測符号化を行うことのできるものをＢピクチャと呼ぶ。
FIG. 30 is a diagram for explaining the types of pictures and their reference relationships.
A picture that does not have a reference picture and performs intra-picture prediction coding, such as picture I1, is called an I picture. Also, a picture that performs inter-picture predictive coding with reference to only one picture, such as picture P10, is called a P picture. A picture that can perform inter-picture prediction coding with reference to two pictures at the same time is called a B picture.
ＢピクチャはピクチャＢ６、Ｂ１２、Ｂ１８のように時間的に任意の方向にある２枚のピクチャを同時に参照することが可能である。参照ピクチャは動き検出の単位であるブロックごとに指定することができるが、符号化を行った符号列中に先に記述される方の参照ピクチャを第１参照ピクチャ、後に記述される方を第２参照ピクチャとして区別する。 A B picture can simultaneously reference two pictures in any direction in time, such as pictures B6, B12, and B18. The reference picture can be specified for each block which is a unit of motion detection. The reference picture described earlier in the encoded code string is the first reference picture, and the one described later is the second reference picture. Two reference pictures are distinguished.
ただし、これらのピクチャを符号化および復号化する場合の条件として、参照するピクチャが既に符号化および復号化されている必要がある。図３１はＢピクチャを符号化および復号化する場合の順番の例である。図３１（ａ）は表示される順番、図３１（ｂ）は（ａ）を符号化および復号化する順番に並び替えたものである。ピクチャＢ３、Ｂ６によって参照されるピクチャは全て先に符号化および復号化されているように並び替えられているのが分かる。 However, as a condition for encoding and decoding these pictures, the picture to be referenced needs to be already encoded and decoded. FIG. 31 shows an example of the order in the case of encoding and decoding a B picture. FIG. 31A shows the display order, and FIG. 31B shows the rearrangement in the order of encoding and decoding. It can be seen that all the pictures referenced by the pictures B3 and B6 have been rearranged so that they have been encoded and decoded first.
前記Ｂピクチャの符号化において、同時に２つのピクチャを参照する場合の予測画像の作成方法について図３２を用いて詳しく説明する。なお、復号化の場合の予測画像の作成方法についても全く同様である。 A method of creating a predicted image when referring to two pictures at the same time in the encoding of the B picture will be described in detail with reference to FIG. Note that the same is true for the method of creating a predicted image in the case of decoding.
ピクチャＢ４は現在符号化の対象としているＢピクチャであり、ブロックＢＬ０１およびブロックＢＬ０２は前記Ｂピクチャに属する符号化対象のブロックである。ＢＬ０１は第１参照ピクチャをピクチャＰ２、第２参照ピクチャをピクチャＰ３とし、それぞれのピクチャに属するブロックＢＬ１１およびＢＬ２１を参照して予測画像を作成する。同様にＢＬ０２は第１参照ピクチャをピクチャＰ２、第２参照ピクチャをピクチャＰ１とし、それぞれのピクチャに属するブロックＢＬ１２およびＢＬ２２を参照して予測画像を作成する。（非特許文献１参照） The picture B4 is a B picture currently being encoded, and the block BL01 and the block BL02 are blocks to be encoded belonging to the B picture. In BL01, the first reference picture is the picture P2, the second reference picture is the picture P3, and the prediction picture is created by referring to the blocks BL11 and BL21 belonging to the respective pictures. Similarly, BL02 uses the first reference picture as the picture P2 and the second reference picture as the picture P1, and creates a prediction image by referring to the blocks BL12 and BL22 belonging to the respective pictures. (See Non-Patent Document 1)
図３３は参照された２つのブロックＢＬ１１およびＢＬ２１を用いて符号化対象のブロックＢＬ０１の予測画像を作成する方法を説明するための図である。ここでは各ブロックのサイズが４×４画素であると仮定して説明を行う。Ｑ１(ｉ)はＢＬ１１の画素値、Ｑ２(ｉ)はＢＬ２１の画素値、Ｐ(ｉ)は求めるＢＬ０１の予測画像の画素値とすると、画素値Ｐ(ｉ)は式１のような線形予測式によって算出することができる。ｉは画素の位置を示すものであり、ここでの例では０から１５の値を持つことになる。
FIG. 33 is a diagram for explaining a method of creating a prediction image of the encoding target block BL01 using the two referenced blocks BL11 and BL21. Here, the description will be made assuming that the size of each block is 4 × 4 pixels. When Q1 (i) is the pixel value of BL11, Q2 (i) is the pixel value of BL21, and P (i) is the pixel value of the predicted image of BL01 to be obtained, the pixel value P (i) is a linear prediction as shown in
Ｐ(ｉ)＝(ｗ１×Ｑ１(ｉ)＋ｗ２×Ｑ２(ｉ))／ｐｏｗ(２,ｄ)＋ｃ （式１）
（ｐｏｗ(２,ｄ)は２のｄ乗を示す）
P (i) = (w1 × Q1 (i) + w2 × Q2 (i)) / pow (2, d) + c (Formula 1)
(Pow (2, d) indicates 2 to the power of d)
ｗ１、ｗ２、ｃ、ｄは線形予測を行うための係数であり、４つで１組の重み付け係数セットとして扱う。これらの重み付け係数セットは各ブロックが参照するピクチャを指定する参照インデックスによって決定されるものであり、例えばＢＬ０１の場合はｗ１＿１、ｗ２＿１、ｃ＿１、ｄ＿１、ＢＬ０２の場合はｗ１＿２、ｗ２＿２、ｃ＿２、ｄ＿２という４つの値を使用する。 w1, w2, c, and d are coefficients for performing linear prediction, and four are treated as one set of weighting coefficients. These weighting coefficient sets are determined by a reference index that designates a picture to be referenced by each block. For example, in the case of BL01, w1_1, w2_1, c_1, d_1, and in the case of BL02, w1_2, w2_2, c_2, and d_2. Four values are used.
次に、参照ピクチャを指定するための参照インデックスについて図３４、図３５を用いて説明する。各ピクチャにはメモリに蓄積されるごとに１ずつ増加するピクチャ番号という値が割り振られている。つまり、新たに蓄積されるピクチャには既存のピクチャ番号の最大値から1つ増加した値を持つピクチャ番号が付与される。しかし、実際に参照画像を指定するのはこのピクチャ番号ではなく、別に定義された参照インデックスという値を使用することになる。第１参照ピクチャを示すものを第1参照インデックス、第２参照ピクチャを示すものを第２参照インデックスと呼ぶ。 Next, a reference index for designating a reference picture will be described with reference to FIGS. Each picture is assigned a value called a picture number that increases by 1 each time it is stored in the memory. That is, a picture number having a value increased by one from the maximum value of existing picture numbers is assigned to a newly stored picture. However, it is not this picture number that actually designates the reference image, but a value called a reference index defined separately is used. A picture indicating the first reference picture is called a first reference index, and a picture showing the second reference picture is called a second reference index.
図３４は、ピクチャ番号に対する２つの参照インデックスの割り当て方法を説明するための図である。図のような表示される順に並べられたピクチャ列があったとき、ピクチャ番号は符号化される順番に割り振られている。参照インデックスをピクチャ番号に割り当てるためのコマンドはピクチャをさらに分割した符号化単位であるスライスのヘッダに記述され、１つのスライスを符号化する毎に割り振り方が更新されることになる。前記コマンドは、直前に参照インデックスに割り当てたピクチャ番号と現在割り当てを行っているピクチャ番号との差分値を参照インデックスの数だけ連続して指示するものである。 FIG. 34 is a diagram for explaining a method of assigning two reference indexes to a picture number. When there are picture sequences arranged in the order of display as shown in the figure, picture numbers are assigned in the order of encoding. A command for assigning a reference index to a picture number is described in the header of a slice, which is an encoding unit obtained by further dividing a picture, and the allocation method is updated every time one slice is encoded. The command sequentially indicates the difference value between the picture number assigned to the reference index immediately before and the picture number currently assigned by the number of reference indexes.
図３４の第１参照インデックスの例を用いると、まずコマンドとして"−１"が与えられたので、現在符号化の対象としているピクチャ番号１６番から１を引くことにより、ピクチャ番号１５番が参照インデックス０番に割り当てられる。次に"−４"が与えられたので、直前に割り当てを行ったピクチャ番号１５番から４を引くことにより、ピクチャ番号１１番が参照インデックス１番に割り当てられる。以下同様の処理によって各ピクチャ番号の割り当てが行われる。第２参照インデックスの場合も同様である。
When the example of the first reference index in FIG. 34 is used, first, “−1” is given as a command. Therefore, by subtracting 1 from the
図３５は参照インデックスの割り当てを行った結果を示したものである。各ピクチャ番
号には第１参照インデックスおよび第２参照インデックスがそれぞれ独立に割り当てられているが、それぞれの参照インデックスだけをみると１つのピクチャ番号に対して１つの参照インデックスが割り当てられているのが分かる。
FIG. 35 shows the result of assigning a reference index. A first reference index and a second reference index are independently assigned to each picture number, but only one reference index is assigned to one picture number when only the reference indices are viewed. I understand.
次に図３６および図３７を用いて使用する重み付け係数セットの決定方法を説明する。
１つのピクチャの符号列は、ピクチャ共通情報領域および複数のスライスデータ領域から構成される。図３６はそのうちのスライスデータ領域の構成を示したものである。さらにスライスデータ領域は、スライスヘッダ領域および複数のブロックデータ領域から構成される。ここではブロックデータ領域の例として図３２におけるＢＬ０１、ＢＬ０２に対応する各ブロックの領域が示されている。
Next, a method for determining a weighting coefficient set to be used will be described with reference to FIGS.
The code string of one picture is composed of a picture common information area and a plurality of slice data areas. FIG. 36 shows the structure of the slice data area. Furthermore, the slice data area includes a slice header area and a plurality of block data areas. Here, as an example of the block data area, the area of each block corresponding to BL01 and BL02 in FIG. 32 is shown.
ＢＬ０１に含まれるｒｅｆ１およびｒｅｆ２はこのブロックが参照する２枚のピクチャを指し示す第１参照インデックスおよび第２参照インデックスをそれぞれ指示するものである。またスライスヘッダ領域には前記線形予測を行うための重み付け係数セットを決定するためのデータ（ｐｓｅｔ０、ｐｓｅｔ１、ｐｓｅｔ２、ｐｓｅｔ３、ｐｓｅｔ４）がｒｅｆ１用およびｒｅｆ２用それぞれに記述されている。図３７は前記スライスヘッダ領域に含まれる前記データの例を表に示したものである。 Ref1 and ref2 included in BL01 respectively indicate a first reference index and a second reference index indicating two pictures referred to by this block. In the slice header area, data (pset0, pset1, pset2, pset3, pset4) for determining a weighting coefficient set for performing the linear prediction is described for each of ref1 and ref2. FIG. 37 is a table showing an example of the data included in the slice header area.
識別子ｐｓｅｔで示された各々のデータはｗ１、ｗ２、ｃ、ｄの４つ値を持ち、ｒｅｆ１およびｒｅｆ２の値によってダイレクトに参照できるように構成されている。また、スライスヘッダ領域には前記参照インデックスをピクチャ番号に割り当てるためのコマンド列ｉｄｘ＿ｃｍｄ１およびｉｄｘ＿ｃｍｄ２が記述されている。 Each data indicated by the identifier pset has four values w1, w2, c, and d, and is configured so that it can be directly referred to by the values of ref1 and ref2. In the slice header area, command strings idx_cmd1 and idx_cmd2 for assigning the reference index to the picture number are described.
図３６のＢＬ０１に記述されたｒｅｆ１およびｒｅｆ２によって図３７のｒｅｆ１用およびｒｅｆ２用のテーブルからそれぞれ１組ずつの重み付け係数セットが選択される。各々の重み付け係数セットを用いて式１の線形予測を行うことにより、２つの予測画像が生成される。この２つの予測画像に対してそれぞれ画素ごとに平均を取ることにより求める予測画像を得ることができる。
One set of weighting coefficients is selected from the table for ref1 and ref2 in FIG. 37 by ref1 and ref2 described in BL01 in FIG. By performing linear prediction of
また、上述したように線形予測係数の重み付け係数セットから求める予測式を用いて予測画像を生成するのではなく、予め決めた固定式を用いて予測画像を求める方法もある。この方法として、第１参照インデックスによって指定されるピクチャが第２参照インデックスによって指定されるピクチャよりも表示順において後にある場合は、固定の係数からなる固定式である式２ａを選択し、それ以外は固定の係数からなる固定式である式２ｂを選択して、予測画像を生成する。 In addition, as described above, there is also a method for obtaining a predicted image using a predetermined fixed expression instead of generating a predicted image using a prediction expression obtained from a weighted coefficient set of linear prediction coefficients. As this method, when the picture specified by the first reference index is later in the display order than the picture specified by the second reference index, the expression 2a which is a fixed expression including a fixed coefficient is selected, and otherwise Selects a formula 2b, which is a fixed formula composed of fixed coefficients, and generates a predicted image.
Ｐ（ｉ）＝２×Ｑ１（ｉ）−Ｑ２（ｉ） （式２ａ）
Ｐ（ｉ）＝（Ｑ１（ｉ）＋Ｑ２（ｉ））／２ （式２ｂ）
P (i) = 2 × Q1 (i) −Q2 (i) (Formula 2a)
P (i) = (Q1 (i) + Q2 (i)) / 2 (Formula 2b)
このように、予測式が固定であるため、予測画像を求めるときの重み付け係数セットを符号化して送る必要がないという利点がある。また、ピクチャの位置関係によって固定式の選択が行われるため、線形予測係数の重み付け係数セットを指定するためのフラグを符号化して送る必要がないという利点もある。また、線形予測の計算式が単純であるため、少ない処理量で線形予測を大幅に削減することが可能である。
式１による重み付け係数セットを用いた予測画像作成方法では、参照ピクチャに参照インデックスを割り当てるコマンドの数が参照ピクチャの枚数と同じ数であるため、１つの参照ピクチャに対して１つの参照インデックスのみしか割り当てられず、同じ参照ピクチャを参照しているブロックでは線形予測に使用される重み付け係数セットは全く同じ値のものとなる。ピクチャ内で一様な画像変化が起こっている場合は問題ないが、部分部分によって画像変化が異なる場合は、最適な予測画像が生成されない可能性が非常に高くなってしまう。また、式中に掛け算を用いた演算が含まれているため、線形予測のための処理量が大きくなってしまうという問題がある。
In the predictive image creation method using the weighting coefficient set according to
そこで本発明の目的は、１つの参照ピクチャに複数の参照ピクチャを割り当ることを可能にするとともに、複数の参照インデックスが割り当てられている場合であっても、１つの参照インデックスが割り当てられている場合であっても、参照インデックスの復号化の効率を向上させる画像符号化方法、画像復号化方法、それらの装置、それらのプログラムを提供することにある。 Therefore, an object of the present invention is to allow a plurality of reference pictures to be assigned to one reference picture, and to assign one reference index even when a plurality of reference indexes are assigned. Even in such a case, an object is to provide an image encoding method, an image decoding method, an apparatus thereof, and a program thereof that improve the efficiency of reference index decoding.
そしてこの目的を達成するために、本発明の画像符号化方法は、ピクチャ番号で識別される符号化済ピクチャを参照ピクチャとして記憶部に格納する参照ピクチャ格納ステップと、予測画像の生成に用いられる係数および前記参照ピクチャを指定する参照インデックスと前記ピクチャ番号とを対応付けるコマンドを生成するコマンド生成ステップと、符号化対象ピクチャ上のブロックに対して動き補償を行うときの参照ピクチャを前記参照インデックスにより指定する参照ピクチャ指定ステップと、前記参照ピクチャ指定ステップで指定された参照ピクチャ内の動き検出により得られたブロックに対して、前記参照インデックスに対応した前記係数を用いた線形予測を施すことにより予測画像を生成する予測画像生成ステップと、入力された符号化対象ピクチャ内のブロックと前記予測画像との差である予測残差と、前記コマンドと、前記参照インデックスと、前記係数とを符号化した符号化信号を含む画像符号化信号を出力する符号化信号出力ステップとを有し、前記符号化信号出力ステップは、前記画像符号化信号中に前記参照インデックスの最大値を示す情報を符号化するように構成されている。 In order to achieve this object, the image coding method of the present invention is used for a reference picture storing step of storing an encoded picture identified by a picture number as a reference picture in a storage unit, and generation of a predicted image. A command generation step for generating a command for associating a coefficient and a reference index for designating the reference picture with the picture number, and a reference picture for performing motion compensation on a block on the encoding target picture is designated by the reference index A prediction picture by performing linear prediction using the coefficient corresponding to the reference index on a block obtained by motion detection in the reference picture designated in the reference picture designation step and the reference picture designation step A predicted image generation step for generating A code that outputs a coded signal including a coded signal obtained by coding a prediction residual that is a difference between a block in a picture to be coded and the predicted image, the command, the reference index, and the coefficient. An encoded signal output step, and the encoded signal output step is configured to encode information indicating a maximum value of the reference index in the image encoded signal.
ここで、前記参照インデックスの最大値を示す情報は、前記画像符号化信号に含まれるピクチャ共通情報領域に置かれている構成としてもよい。 Here, the information indicating the maximum value of the reference index may be placed in a picture common information area included in the encoded image signal.
この構成によれば、復号化装置において、前記コマンドを基に、ピクチャ番号と参照インデックスとを対応付けていくときに、参照インデックスの最大値を示す情報が符号化信号に含まれるので、ピクチャ番号と参照インデックスとをコマンドに従って対応付け処理を前記最大値に達するまで行うことにより、容易に、すべての参照インデックスとピクチャ番号との対応づけを行うことができる。その結果、１つの参照ピクチャに複数の参照ピクチャを割り当ることを可能にするとともに、複数の参照インデックスが割り当てられている場合であっても、１つの参照インデックスが割り当てられている場合であっても、参照インデックスの復号化を効率よく行うことができる。 According to this configuration, when the decoding apparatus associates a picture number with a reference index based on the command, information indicating the maximum value of the reference index is included in the encoded signal. By associating the reference index with the reference index until the maximum value is reached according to the command, it is possible to easily associate all the reference indexes with the picture numbers. As a result, it is possible to assign a plurality of reference pictures to one reference picture, and even when a plurality of reference indexes are assigned, one reference index is assigned. In addition, the reference index can be efficiently decoded.
ここで、前記コマンド生成ステップにおいて、記憶部に格納されている複数の参照ピクチャの中に、複数の参照インデックスが対応付けられたピクチャ番号を有する参照ピクチャが少なくとも１つ以上含まれるようにコマンドを生成する構成としてもよい。 Here, in the command generation step, a command is issued so that at least one reference picture having a picture number associated with a plurality of reference indexes is included in the plurality of reference pictures stored in the storage unit. It is good also as composition to generate.
また、前記参照ピクチャ指定ステップにおいて、前記参照ピクチャのピクチャ番号に対して複数の参照インデックスが対応付けられている場合、当該複数の参照インデックスのそれぞれ対応する係数に基づいて、その中の１つの参照インデックスを選択し、前記予測画像生成ステップにおいて、指定ステップで選択された参照インデックスに対応する係数を用いて線形予測を施す構成としてもよい。 In the reference picture designating step, when a plurality of reference indexes are associated with the picture number of the reference picture, one reference among them is based on the coefficient corresponding to each of the plurality of reference indexes. An index may be selected, and in the predicted image generation step, linear prediction may be performed using a coefficient corresponding to the reference index selected in the designation step.
この構成によれば、１つのピクチャ番号に複数の参照インデックスを対応付けるので、参照ピクチャを指定する前記参照インデックスに対応した前記係数を用いた線形予測を施す際に、当該係数を複数の係数の中から選択することが可能となる。つまり、線形予測に用いられる係数として最適な係数を選択することができる。その結果、符号化効率の向上を図ることができる。 According to this configuration, since a plurality of reference indexes are associated with one picture number, when performing linear prediction using the coefficient corresponding to the reference index that designates a reference picture, the coefficient is selected from among the plurality of coefficients. It becomes possible to select from. That is, an optimum coefficient can be selected as a coefficient used for linear prediction. As a result, the encoding efficiency can be improved.
ここで、前記予測画像生成ステップにおいて、ビットシフト演算、加算および減算のみを使用して前記線形予測を行う構成としてもよい。 Here, in the predicted image generation step, the linear prediction may be performed using only bit shift operation, addition and subtraction.
この構成によれば、処理負荷の重い乗除算を使用せず、処理負荷の軽いビットシフト演算、加算および減算のみを使用するので、線形予測の処理量を少なく抑えることができる。 According to this configuration, multiplication / division with a heavy processing load is not used, and only bit shift calculation, addition and subtraction with a light processing load are used. Therefore, the processing amount of linear prediction can be reduced.
ここで、前記予測画像生成ステップにおける前記線形予測で用いる係数として、線形予測式における直流成分を示す値のみが、前記参照インデックスに対応付けられる構成としてもよい。 Here, as a coefficient used in the linear prediction in the predicted image generation step, only a value indicating a DC component in a linear prediction formula may be associated with the reference index.
この構成によれば、係数として、直流成を示す値以外の値は符号化しなくてよいので、符号化効率を向上させることができる。また、処理負荷の重い乗除算を使用せず、処理負荷の軽い加算および減算のみを使用するので、線形予測の処理量を少なく抑えることができる。 According to this configuration, since it is not necessary to encode a value other than the value indicating the direct current as a coefficient, the encoding efficiency can be improved. In addition, since the multiplication / division with heavy processing load is not used and only addition and subtraction with low processing load are used, the processing amount of linear prediction can be reduced.
ここで、前記参照インデックスは、第１の参照ピクチャを示す第１の参照インデックスと、第２の参照ピクチャを示す第２の参照インデックスとを有し、前記予測画像生成ステップにおける前記線形予測を行う方法として、各参照ピクチャの持つ表示順情報によって係数を生成する方法を使用する場合に、第１の参照インデックスによって指定される参照ピクチャおよび第２の参照インデックスによって指定される参照ピクチャとが同じ表示順情報をもつ時は、予め設定された係数を代わりに用いて線形予測を行う構成としてもよい。また、前記予め設定された係数は、同じ重みを有する構成としてもよい。 Here, the reference index includes a first reference index indicating a first reference picture and a second reference index indicating a second reference picture, and performs the linear prediction in the predicted image generation step. As a method, when using a method of generating coefficients according to display order information of each reference picture, the reference picture specified by the first reference index and the reference picture specified by the second reference index are displayed in the same manner. When there is order information, it may be configured to perform linear prediction using a preset coefficient instead. The preset coefficients may have the same weight.
この構成によれば、２つの参照ピクチャとが同じ表示順情報をもつ場合でも係数を決定し線形予測を行うことが可能となり、符号化効率を向上させることができる。 According to this configuration, even when two reference pictures have the same display order information, it is possible to determine a coefficient and perform linear prediction, thereby improving encoding efficiency.
また、本発明の画像復号化方法、画像符号化装置、画像復号化装置、画像符号化プログラム、画像復号化プログラムおよび画像符号化データについても、上記と同様の構成、作用および効果を有する。 In addition, the image decoding method, the image encoding device, the image decoding device, the image encoding program, the image decoding program, and the image encoded data of the present invention have the same configurations, operations, and effects as described above.
また、本発明の画像符号化方法は、以下の（１）〜（１４）の何れかの構成とすることができる。 In addition, the image encoding method of the present invention may have any of the following configurations (1) to (14).
（１）本発明による画像符号化方法は、ピクチャ番号で識別される符号化済ピクチャを記憶部に格納する参照ピクチャ格納ステップと、符号化対象ピクチャ上のブロックに対して動き補償を行うときに参照する、記憶部に格納されている複数の符号化済ピクチャから任意に選択された、参照ピクチャと予測画像を生成するときに用いる係数とを示す参照インデックスと、前記ピクチャ番号とを対応付けるコマンドであって、複数の参照インデックスが同一のピクチャを参照することが可能であるコマンドを生成するコマンド生成ステップと、符号化対象ピクチャ上のブロックに対して動き補償を行うときに参照する参照ピクチャを前記参照インデックスにより指定する参照ピクチャ指定ステップと、前記参照ピクチャ指定ステップで選択された参照ピクチャ上の動き検出により得られたブロックに対して、この参照ピクチャを指定する前記参照インデックスに対応した前記係数を用いた線形予測を施すことにより予測画像を生成する予測画像生成ステップと、入力された符号化対象フレームと前記予測画像との差である予測残差と、前記コマンドと、前記参照インデックスと、前記係数とを符号化した符号化信号を含む画像符号化信号を出力する符号化信号出力ステップとを有する。 (1) An image encoding method according to the present invention includes a reference picture storing step of storing an encoded picture identified by a picture number in a storage unit, and motion compensation for a block on an encoding target picture. A command for associating a reference index indicating a reference picture and a coefficient used when generating a predicted image, arbitrarily selected from a plurality of encoded pictures stored in the storage unit to be referred to, and the picture number A command generation step for generating a command that allows a plurality of reference indexes to refer to the same picture, and a reference picture to be referred to when motion compensation is performed on a block on the encoding target picture. Selected by a reference picture designating step designated by a reference index and the reference picture designating step. A prediction image generation step for generating a prediction image by performing linear prediction using the coefficient corresponding to the reference index for designating the reference picture with respect to a block obtained by motion detection on the reference picture; Coding for outputting an encoded image signal including an encoded signal obtained by encoding a prediction residual that is a difference between the encoded target frame and the predicted image, the command, the reference index, and the coefficient A signal output step.
（２）さらに、本発明による別の画像符号化方法は、前記参照ピクチャが有するピクチャ番号に対し、複数の参照インデックスを割り当てることが可能であり、前記参照ピクチャ指定ステップにおいて各符号化済ピクチャに対応する１つ以上の参照インデックスから１つの参照インデックスを選択し、前記予測画像生成ステップにおける線形予測で用いる係数を決定することができる。 (2) Further, according to another image encoding method of the present invention, a plurality of reference indexes can be assigned to a picture number of the reference picture, and each encoded picture is assigned to the reference picture in the reference picture specifying step. One reference index is selected from one or more corresponding reference indexes, and a coefficient used in linear prediction in the predicted image generation step can be determined.
（３）さらに、本発明による別の画像符号化方法は、１つのスライスによって参照される複数の参照ピクチャの中に、複数の参照インデックスが割り当てられたピクチャ番号を有する参照ピクチャを少なくとも１つ有することができる。 (3) Furthermore, another image coding method according to the present invention has at least one reference picture having a picture number to which a plurality of reference indexes are assigned among a plurality of reference pictures referenced by one slice. be able to.
（４）さらに、本発明による別の画像符号化方法において、前記参照インデックスは、前記複数の符号化済ピクチャから任意に指定された第１の参照ピクチャを示す第１の参照インデックスと、前記複数の符号化済フレームから任意に指定された第２の参照フレームを示す第２の参照インデックスとからなり、前記予測画像生成ステップでは、前記ブロックに対して、前記第１の参照インデックスに対応する係数によって線形予測を施すとともに、前記第２の参照インデックスに対応する係数によって線形予測を施し、それぞれの線形予測で得られた２つの予測画像における画素値の平均を求めることによって、前記ブロックに対する最終的な予測画像を生成する。 (4) Furthermore, in another image encoding method according to the present invention, the reference index includes a first reference index indicating a first reference picture arbitrarily designated from the plurality of encoded pictures, and the plurality of reference indexes. A second reference index indicating a second reference frame arbitrarily specified from the encoded frame of the first frame, and in the predicted image generation step, a coefficient corresponding to the first reference index for the block The linear prediction is performed by the coefficient corresponding to the second reference index, and the average of the pixel values in the two predicted images obtained by the respective linear predictions is obtained. A predictive image is generated.
（５）さらに、本発明による別の画像符号化方法において、前記参照インデックスは、前記複数の符号化済ピクチャから任意に指定された第１の参照ピクチャを示す第１の参照インデックスと、前記複数の符号化済フレームから任意に指定された第２の参照フレームを示す第２の参照インデックスとからなり、前記予測画像生成ステップにおける前記線形予測で用いる係数の決定は、選択された第１の参照インデックスと第２の参照インデックスそれぞれが指示する前記係数の平均によって求められる。 (5) Furthermore, in another image encoding method according to the present invention, the reference index includes a first reference index indicating a first reference picture arbitrarily designated from the plurality of encoded pictures, and the plurality of reference indexes. And a second reference index indicating a second reference frame arbitrarily designated from the encoded frames of the first frame, and the determination of the coefficient used in the linear prediction in the predicted image generation step is performed by the selected first reference It is obtained by averaging the coefficients indicated by the index and the second reference index.
（６）さらに、本発明による別の画像符号化方法において、前記参照インデックスは、前記複数の符号化済ピクチャから任意に指定された第１の参照ピクチャを示す第１の参照インデックスと、前記複数の符号化済フレームから任意に指定された第２の参照フレームを示す第２の参照インデックスとからなり、前記第１及び第２の参照インデックスには、複数の係数からなる組が対応づけられ、前記予測画像生成ステップでは、一方の参照インデックスに対応する係数の組のうちの一部と他方の参照インデックスに対応する係数の組の一部とを用いて前記予測画像を生成する。 (6) Furthermore, in another image encoding method according to the present invention, the reference index includes a first reference index indicating a first reference picture arbitrarily designated from the plurality of encoded pictures, and the plurality of reference indexes. A second reference index indicating a second reference frame arbitrarily designated from the encoded frames of the first and second reference indexes, a set of a plurality of coefficients is associated with the first and second reference indexes, In the predicted image generation step, the predicted image is generated using a part of a set of coefficients corresponding to one reference index and a part of a set of coefficients corresponding to the other reference index.
（７）さらに、本発明による別の画像符号化方法は、前記予測画像生成ステップにおける前記線形予測で用いる計算式は、乗算および除算を使用することなくビットシフト演算および加算および減算のみで構成される。これにより、演算処理の少ない処理のみで線形予測ができる。 (7) Further, in another image encoding method according to the present invention, the calculation formula used in the linear prediction in the predicted image generation step is configured only by bit shift operation and addition and subtraction without using multiplication and division. The As a result, linear prediction can be performed with only a small amount of processing.
（８）さらに、本発明による別の画像符号化方法において、前記参照インデックスは、前記複数の符号化済ピクチャから任意に指定された第１の参照ピクチャを示す第１の参照インデックスと、前記複数の符号化済フレームから任意に指定された第２の参照フレームを示す第２の参照インデックスとからなり、前記予測画像生成ステップでは、前記第１及び第２の参照インデックスに対応する係数の組のうち、前記ビットシフト演算に用いられる係数は前記第１及び第２の参照インデックスのいずれかに対応する係数を選択して使用し、その他の演算に用いられる係数は前記第１及び第２の参照インデックスそれぞれに対応する係数の平均値を使用して前記予測画像を生成する。 (8) Further, in another image encoding method according to the present invention, the reference index includes a first reference index indicating a first reference picture arbitrarily designated from the plurality of encoded pictures, and the plurality of reference indexes. And a second reference index indicating a second reference frame arbitrarily designated from the encoded frames of the encoded frame, and in the predicted image generation step, a set of coefficients corresponding to the first and second reference indexes Of these, the coefficient used for the bit shift operation is selected and used for the coefficient corresponding to one of the first and second reference indexes, and the coefficient used for the other operations is the first and second references. The predicted image is generated using an average value of coefficients corresponding to each index.
（９）さらに、本発明による別の画像符号化方法において、前記参照インデックスは、前記複数の符号化済ピクチャから任意に指定された第１の参照ピクチャを示す第１の参照インデックスと、前記複数の符号化済フレームから任意に指定された第２の参照フレームを示す第２の参照インデックスとからなり、前記予測画像生成ステップにおける前記線形予測で用いる係数として、線形予測式における直流成分を示す値のみを使用し、第１の参照インデックスおよび第２の参照インデックスそれぞれに１つずつ対応付けられる。 (9) Furthermore, in another image encoding method according to the present invention, the reference index includes a first reference index indicating a first reference picture arbitrarily designated from the plurality of encoded pictures, and the plurality of reference indexes. And a second reference index indicating a second reference frame arbitrarily specified from the encoded frame, and a value indicating a DC component in a linear prediction formula as a coefficient used in the linear prediction in the predicted image generation step Only one is associated with each of the first reference index and the second reference index.
（１０）さらに、本発明による別の画像符号化方法において、ピクチャ番号で識別される符号化済ピクチャを記憶部に格納する参照ピクチャ格納ステップと、符号化対象ピクチャ上のブロックに対して動き補償を行うときに参照する、記憶部に格納されている複数の符号化済ピクチャから任意に選択された参照ピクチャを示す参照インデックスと、前記ピクチャ番号とを対応付けるコマンドであって、複数の参照インデックスが同一のピクチャを参照することが可能であるコマンドを生成するコマンド生成ステップステップと、符号化対象ピクチャ上のブロックに対して動き補償を行うときに参照する参照ピクチャを前記参照インデックスにより指定する参照ピクチャ指定ステップと、前記参照ピクチャ指定ステップで選択された参照ピクチャ上の動き検出により得られたブロックに対して、各参照ピクチャの持つ表示順情報から係数を生成し、前記係数を用いた線形予測を施すことにより予測画像を生成する予測画像生成ステップと、入力された符号化対象フレームと前記予測画像との差である予測残差と、前記コマンドと、前記参照インデックスと、前記係数とを符号化した符号化信号を含む画像符号化信号を出力する符号化信号出力ステップとを有する。 (10) Furthermore, in another image encoding method according to the present invention, a reference picture storing step for storing an encoded picture identified by a picture number in a storage unit, and motion compensation for a block on the encoding target picture Is a command for associating a reference index indicating a reference picture arbitrarily selected from a plurality of encoded pictures stored in the storage unit and referred to with the picture number. A command generation step for generating a command capable of referring to the same picture, and a reference picture for designating a reference picture to be referred to when motion compensation is performed on a block on the encoding target picture by the reference index The reference picture selected in the designation step and the reference picture designation step A prediction image generation step for generating a prediction image by generating a coefficient from the display order information of each reference picture for the block obtained by the above motion detection, and performing linear prediction using the coefficient, and an input Coding for outputting an encoded image signal including an encoded signal obtained by encoding a prediction residual that is a difference between the encoded target frame and the predicted image, the command, the reference index, and the coefficient A signal output step.
（１１）さらに、本発明による別の画像符号化方法において、前記予測画像生成ステップにおける前記線形予測を行う方法として、前記表示順情報によって生成される係数を用いた方法と、予め設定された固定式を用いた方法とを、第１の参照インデックスによって指定される参照ピクチャおよび第２の参照インデックスによって指定される参照ピクチャの各々の持つ表示順情報の前後関係によって切り替えて使用する。 (11) Furthermore, in another image encoding method according to the present invention, as a method of performing the linear prediction in the predicted image generation step, a method using coefficients generated by the display order information, and a preset fixed The method using an expression is switched between the reference picture specified by the first reference index and the reference picture specified by the second reference index depending on the context of the display order information.
（１２）さらに、本発明による別の画像符号化方法において、前記予測画像生成ステップにおける前記線形予測を行う方法として、前記表示順情報によって生成される係数を用いた方法を使用した際に、第１の参照インデックスによって指定される参照ピクチャおよび第２の参照インデックスによって指定される参照ピクチャとが同じ表示順情報をもつ場合は、予め設定された係数を代わりに用いて線形予測を行う。
(12) Furthermore, in another image encoding method according to the present invention, when a method using a coefficient generated by the display order information is used as a method of performing the linear prediction in the predicted image generation step, When the reference picture specified by the
（１３）さらに、本発明による別の画像符号化方法において、前記予測画像生成ステップにおいて、前記表示順情報を用いて係数を生成する際に、前記線形予測が乗算および除算を使用することなくビットシフト演算および加算および減算のみで行えるように、前記係数を２のべき乗に近似する。 (13) Furthermore, in another image encoding method according to the present invention, when generating a coefficient using the display order information in the predicted image generation step, the linear prediction uses a bit without using multiplication and division. The coefficient is approximated to a power of 2 so that only shift operation and addition and subtraction can be performed.
（１４）さらに、本発明による別の画像符号化方法において、前記近似を行う際に、第１の参照インデックスによって指定される参照ピクチャおよび第２の参照インデックスによって指定される参照ピクチャの各々の持つ表示順情報の前後関係によって、切り上げによる近似と切り下げによる近似とを切り替えて使用する。 (14) Furthermore, in another image encoding method according to the present invention, each of the reference picture specified by the first reference index and the reference picture specified by the second reference index is used when performing the approximation. Depending on the order of display order information, the approximation by rounding up and the approximation by rounding down are used.
（１５）本発明のプログラムは、上記（１）〜（１４）の何れかに記載の画像符号化方法をコンピュータに実行させる構成としてもよい。 (15) The program of this invention is good also as a structure which makes a computer perform the image coding method in any one of said (1)-(14).
また、本発明のコンピュータ読取可能な記録媒体は、以下の（１６）〜（２５）の何れかの構成とすることができる。 The computer-readable recording medium of the present invention can have any one of the following configurations (16) to (25).
（１６）動画像が符号化された信号である符号化信号が記録されたコンピュータ読み取り可能な記録媒体であって、前記符号化信号は、予測画像を生成するときに用いる係数と、ピクチャ番号で識別される符号化済ピクチャを格納する記憶部に格納されている複数の符号化済ピクチャから任意に選択された、符号化対象ピクチャ上のブロックに対して動き補償を行うときに参照する、参照ピクチャと予測画像を生成するときに用いる前記係数とを示す参照インデックスと、前記ピクチャ番号とを対応付けるコマンドであって、複数の参照インデックスが同一のピクチャ番号に割り当てることが可能であるコマンドと、符号化対象ピクチャ上のブロックに対して動き補償を行うときに参照する参照ピクチャと予測画像を生成するときに用いる係数とを指定する参照インデックスと、選択された参照ピクチャ上の動き検出により得られたブロックに対して、この参照ピクチャを指定する前記参照インデックスに対応した前記係数を用いた線形予測を施すことにより生成される予測画像とが符号化されている。 (16) A computer-readable recording medium on which an encoded signal, which is a signal obtained by encoding a moving image, is recorded. The encoded signal is a coefficient used when generating a predicted image and a picture number. Reference that is referred to when performing motion compensation on a block on an encoding target picture, arbitrarily selected from a plurality of encoded pictures stored in a storage unit that stores an identified encoded picture A command for associating a reference index indicating a picture and the coefficient used when generating a predicted image and the picture number, and a command in which a plurality of reference indexes can be assigned to the same picture number, Used to generate a reference picture and a prediction image to be referred to when motion compensation is performed on a block on a target picture Generated by performing a linear prediction using the coefficient corresponding to the reference index for specifying the reference picture for the block obtained by motion detection on the selected reference picture. The predicted image to be processed is encoded.
（１７）前記符号化信号には、前記参照インデックスの最大値が含まれる。 (17) The encoded signal includes the maximum value of the reference index.
（１８）前記最大値は、前記符号化信号に含まれるピクチャの共通情報領域に置かれている。 (18) The maximum value is placed in a common information area of a picture included in the encoded signal.
（１９）前記符号化信号に含まれるブロックの集まりからなるスライスのヘッダ、もしくはピクチャ共通情報領域、もしくは各ブロックのヘッダには、ブロックの予測画像を線形予測によって生成するための係数が符号化されているか否かを示すフラグが含まれる。 (19) A coefficient for generating a prediction image of a block by linear prediction is encoded in a header of a slice including a group of blocks included in the encoded signal, a picture common information area, or a header of each block. The flag which shows whether it is present is included.
（２０）前記符号化信号に含まれるブロックの集まりからなるスライスのヘッダ、もしくはピクチャ共通情報領域、もしくは各ブロックのヘッダには、ブロックの予測画像を、係数を使用せずに予め設定された固定式を用いて生成するか、又は、直流成分を示す係数のみを使用して予め設定された固定式を用いて生成するかを示すフラグが含まれる。 (20) A prediction image of a block is fixed in advance without using a coefficient in a header of a slice including a group of blocks included in the encoded signal, a picture common information area, or a header of each block. A flag indicating whether to generate using an equation or a fixed equation set in advance using only a coefficient indicating a DC component is included.
（２１）前記符号化信号に含まれるブロックの集まりからなるスライスのヘッダ、もしくはピクチャ共通情報領域、もしくは各ブロックのヘッダには、ブロックの予測画像を、予め設定された２つの式から構成される固定式を用いて生成する場合に、前記２つの式を切り替えて使用するか、又は、切り替えずに片方の式のみを使用するかを示すフラグが含まれる。 (21) In a header of a slice including a group of blocks included in the encoded signal, a picture common information area, or a header of each block, a predicted image of the block is configured by two preset expressions. When generating using a fixed expression, a flag indicating whether to use the two expressions by switching or using only one expression without switching is included.
（２２）前記符号化信号に含まれるブロックの集まりからなるスライスのヘッダ、もしくはピクチャ共通情報領域、もしくは各ブロックのヘッダには、ブロックの予測画像を線形予測によって生成するための係数を参照されるピクチャの表示順情報を用いて作成するか否かを示すフラグが含まれる。 (22) A coefficient for generating a prediction image of a block by linear prediction is referred to in a header of a slice including a group of blocks included in the encoded signal, a picture common information area, or a header of each block. A flag indicating whether or not to create using picture display order information is included.
（２３）前記符号化信号に含まれるブロックの集まりからなるスライスのヘッダ、もしくはピクチャ共通情報領域、もしくは各ブロックのヘッダには、ブロックの予測画像を線形予測によって生成するための係数が２のべき乗になるように近似するか否かを示すフラグが含まれる。 (23) A coefficient for generating a prediction image of a block by linear prediction is a power of 2 in a header of a slice including a group of blocks included in the encoded signal, a picture common information area, or a header of each block. A flag indicating whether or not to approximate is included.
（２４）前記符号化信号に、乗算および除算を使用することなくビットシフト演算および加算および減算のみで線形予測の計算を行うことができることを示すためのフラグが含まれる。 (24) The encoded signal includes a flag for indicating that calculation of linear prediction can be performed only by bit shift operation and addition and subtraction without using multiplication and division.
（２５）前記符号化信号に、直流成分を示す値のみで線形予測の計算を行うことができることを示すためのフラグが含まれる。 (25) The encoded signal includes a flag for indicating that linear prediction calculation can be performed using only a value indicating a DC component.
また、本発明の画像復号化方法は、以下の（２６）〜（３９）の何れかの構成とすることができる。 In addition, the image decoding method of the present invention can have any one of the following configurations (26) to (39).
（２６）本発明による画像復号化方法は、予測画像を生成するときに用いる係数と、符号化対象ピクチャ上のブロックに対して動き補償を行うときに参照する、記憶部に格納されている複数の符号化済ピクチャから任意に選択された、参照ピクチャと前記係数とを示す参照インデックスと、前記ピクチャ番号とを対応付けるコマンドであって、複数の参照インデックスが同一のピクチャを参照することが可能であるコマンドと、前記参照インデックスと、予測残差の符号化信号とを有する画像符号化信号を復号化する画像符号化情報獲得ステップと、復号化された前記コマンドと、復号化された前記参照インデックスとにより、復号化対象ピクチャ上のブロックに対して動き補償を行うときに参照する参照ピクチャを決定する参照ピクチャ指定ステップと、決定された前記参照ピクチャ上の動き検出により得られたブロックに対して、この参照ピクチャを指定する前記参照インデックスに対応する係数を用いた線形予測を施すことにより予測画像を生成する予測画像生成ステップと、前記予測画像と復号化された予測残差とから復号画像を生成する復号画像生成ステップとを有する。 (26) An image decoding method according to the present invention includes a plurality of coefficients stored in a storage unit that are referred to when performing motion compensation on a block on an encoding target picture and coefficients used when generating a predicted image. This is a command for associating a reference index indicating a reference picture and the coefficient, arbitrarily selected from the encoded pictures, and the picture number, and a plurality of reference indexes can refer to the same picture. An encoded image information acquisition step for decoding an encoded image signal having a certain command, the reference index, and an encoded signal of a prediction residual, the decoded command, and the decoded reference index Thus, a reference picture indicator that determines a reference picture to be referred to when motion compensation is performed on a block on a decoding target picture Prediction for generating a prediction image by performing linear prediction using a coefficient corresponding to the reference index designating the reference picture for the block obtained by the motion detection on the reference picture and the determined step An image generation step; and a decoded image generation step of generating a decoded image from the predicted image and the decoded prediction residual.
（２７）さらに、本発明による別の画像復号化方法は、前記参照ピクチャが有するピクチャ番号に対し、複数の参照インデックスを割り当てることが可能であり、前記参照ピクチャ指定ステップにおいて復号化された前記参照インデックスを用いて、前記予測画像生成ステップにおける線形予測で用いる係数を決定する。 (27) Further, in another image decoding method according to the present invention, a plurality of reference indexes can be assigned to a picture number of the reference picture, and the reference decoded in the reference picture specifying step A coefficient used in the linear prediction in the predicted image generation step is determined using the index.
（２８）さらに、本発明による別の画像復号化方法は、１つのスライスによって参照される複数の参照ピクチャの中に、複数の参照インデックスが割り当てられたピクチャ番号を有する参照ピクチャを少なくとも１つ有することができる。 (28) Furthermore, another image decoding method according to the present invention has at least one reference picture having a picture number to which a plurality of reference indexes are assigned among a plurality of reference pictures referenced by one slice. be able to.
（２９）さらに、本発明による別の画像復号化方法における前記参照インデックスは、前記複数の復号化済ピクチャから指定された第１の参照ピクチャを示す第１の参照インデックスと、前記複数の復号化済ピクチャから指定された第２の参照ピクチャを示す第２の参照インデックスとがあり、前記予測画像生成ステップでは、前記ブロックに対して、前記第１の参照インデックスに対応する係数によって線形予測を施すとともに、前記第２の参照インデックスに対応する係数によって線形予測を施し、それぞれの線形予測で得られた２つの予測画像における画素値の平均を求めることによって、前記ブロックに対する最終的な予測画像を生成する。 (29) Furthermore, in another image decoding method according to the present invention, the reference index includes a first reference index indicating a first reference picture designated from the plurality of decoded pictures, and the plurality of decoding And a second reference index indicating a second reference picture designated from the completed picture, and in the predicted image generation step, linear prediction is performed on the block with a coefficient corresponding to the first reference index. In addition, a final prediction image for the block is generated by performing linear prediction using a coefficient corresponding to the second reference index and obtaining an average of pixel values in two prediction images obtained by the respective linear predictions. To do.
（３０）さらに、本発明による別の画像復号化方法における前記参照インデックスは、前記複数の復号化済ピクチャから指定された第１の参照ピクチャを示す第１の参照インデックスと、前記複数の復号化済ピクチャから指定された第２の参照ピクチャを示す第２の参照インデックスとがあり、前記予測画像生成ステップにおける前記線形予測で用いる係数の決定は、選択された参照インデックスそれぞれが有する係数の平均によって求められる。 (30) Further, in another image decoding method according to the present invention, the reference index includes a first reference index indicating a first reference picture designated from the plurality of decoded pictures, and the plurality of decoding There is a second reference index indicating a second reference picture designated from the finished picture, and the determination of the coefficient used in the linear prediction in the predicted image generation step is based on the average of the coefficients included in each selected reference index Desired.
（３１）さらに、本発明による別の画像復号化方法における前記参照インデックスは、前記複数の復号化済ピクチャから指定された第１の参照ピクチャを示す第１の参照インデックスと、前記複数の復号化済ピクチャから指定された第２の参照ピクチャを示す第２の参照インデックスとがあり、前記第１及び第２の参照インデックスには、複数の係数からなる組が対応づけられ、前記予測画像生成ステップでは、一方の参照インデックスに対応する係数の組のうちの一部と他方の参照インデックスに対応する係数の組の一部とを用いて前記予測画像を生成する。 (31) Further, in another image decoding method according to the present invention, the reference index includes a first reference index indicating a first reference picture designated from the plurality of decoded pictures, and the plurality of decoding There is a second reference index indicating a second reference picture designated from the completed picture, and a set of a plurality of coefficients is associated with the first and second reference indexes, and the predicted image generation step Then, the predicted image is generated by using a part of a set of coefficients corresponding to one reference index and a part of a set of coefficients corresponding to the other reference index.
（３２）さらに、本発明による別の画像復号化方法は、前記予測画像生成ステップにおける前記線形予測で用いる計算式は、乗算および除算を使用することなくビットシフト演算および加算および減算のみで構成される。これにより、演算処理の少ない処理のみで線形予測ができる。 (32) Furthermore, in another image decoding method according to the present invention, the calculation formula used in the linear prediction in the predicted image generation step is configured only by bit shift operation and addition and subtraction without using multiplication and division. The As a result, linear prediction can be performed with only a small amount of processing.
（３３）さらに、本発明による別の画像復号化方法における前記参照インデックスは、前記複数の復号化済ピクチャから指定された第１の参照ピクチャを示す第１の参照インデックスと、前記複数の復号化済ピクチャから指定された第２の参照ピクチャを示す第２の参照インデックスとがあり、前記予測画像生成ステップでは、前記第１及び第２の参照インデックスに対応する係数の組のうち、前記ビットシフト演算に用いられる係数は前記第１及び第２の参照インデックスのいずれかに対応する係数を選択して使用し、その他の演算に用いられる係数は前記第１及び第２の参照インデックスそれぞれに対応する係数の平均値を使用して前記予測画像を生成する。 (33) Furthermore, in another image decoding method according to the present invention, the reference index includes a first reference index indicating a first reference picture designated from the plurality of decoded pictures, and the plurality of decodings. And a second reference index indicating a second reference picture designated from the completed picture, and in the predicted image generation step, the bit shift is performed among a set of coefficients corresponding to the first and second reference indexes. Coefficients used for calculation select and use coefficients corresponding to one of the first and second reference indexes, and coefficients used for other calculations correspond to the first and second reference indexes, respectively. The predicted image is generated using the average value of the coefficients.
（３４）さらに、本発明による別の画像復号化方法において、前記参照インデックスは、前記複数の復号化済ピクチャから指定された第１の参照ピクチャを示す第１の参照インデックスと、前記複数の符号化済フレームから指定された第２の参照フレームを示す第２の参照インデックスとからなり、前記予測画像生成ステップにおける前記線形予測で用いる係数として、線形予測式における直流成分を示す値のみを使用し、第１の参照インデックスおよび第２の参照インデックスそれぞれに１つずつ対応付けられる。 (34) Furthermore, in another image decoding method according to the present invention, the reference index includes a first reference index indicating a first reference picture designated from the plurality of decoded pictures, and the plurality of codes. A second reference index indicating a second reference frame designated from the converted frame, and only a value indicating a DC component in the linear prediction formula is used as a coefficient used in the linear prediction in the predicted image generation step. , One for each of the first reference index and the second reference index.
（３５）さらに、本発明による別の画像復号化方法において、符号化対象ピクチャ上のブロックに対して動き補償を行うときに参照する、記憶部に格納されている複数の符号化済ピクチャから任意に選択された、参照ピクチャを示す参照インデックスと、前記ピクチャ番号とを対応付けるコマンドであって、複数の参照インデックスが同一のピクチャを参照することが可能であるコマンドと、前記参照インデックスと、予測残差の符号化信号とを有する画像符号化信号を復号化する第１のステップと、復号化された前記コマンドと、復号化された前記参照インデックスとにより、復号化対象ピクチャ上のブロックに対して動き補償を行うときに参照する参照ピクチャを決定する参照ピクチャ指定ステップと、決定された前記参照ピクチャ上の動き検出により得られたブロックに対して、各参照ピクチャの持つ表示順情報から係数を生成し、前記係数を用いた線形予測を施すことにより予測画像を生成する予測画像生成ステップと、前記予測画像と復号化された予測残差とから復号画像を生成する復号画像生成ステップとを有する。 (35) Furthermore, in another image decoding method according to the present invention, an arbitrary one of a plurality of encoded pictures stored in the storage unit, which is referred to when motion compensation is performed on a block on an encoding target picture. A command for associating a selected reference index indicating a reference picture with the picture number, a command in which a plurality of reference indexes can refer to the same picture, the reference index, and a prediction residual For a block on a picture to be decoded by a first step of decoding an image encoded signal having a difference encoded signal, the decoded command, and the decoded reference index A reference picture designation step for determining a reference picture to be referred to when performing motion compensation, and on the determined reference picture A prediction image generating step for generating a coefficient from the display order information of each reference picture and generating a prediction image by performing linear prediction using the coefficient for the block obtained by the detection, and the prediction image And a decoded image generation step of generating a decoded image from the decoded prediction residual.
（３６）前記予測画像生成ステップにおける前記線形予測を行う方法として、前記表示順情報によって生成される係数を用いた方法と、予め設定された固定式を用いた方法とを、第１の参照インデックスによって指定される参照ピクチャおよび第２の参照インデックスによって指定される参照ピクチャの各々の持つ表示順情報の前後関係によって切り替えて使用する。 (36) As a method for performing the linear prediction in the predicted image generation step, a method using a coefficient generated by the display order information and a method using a preset fixed formula are referred to as a first reference index. The reference picture designated by the second reference index and the reference picture designated by the second reference index are used by switching according to the order of display order information.
（３７）さらに、本発明による別の画像復号化方法において、前記予測画像生成ステップにおける前記線形予測を行う方法として、前記表示順情報によって生成される係数を用いた方法を使用した際に、第１の参照インデックスによって指定される参照ピクチャおよび第２の参照インデックスによって指定される参照ピクチャとが同じ表示順情報をもつ場合は、予め設定された係数を代わりに用いて線形予測を行う。
(37) Furthermore, in another image decoding method according to the present invention, when a method using coefficients generated by the display order information is used as a method for performing the linear prediction in the predicted image generation step, When the reference picture specified by the
（３８）さらに、本発明による別の画像復号化方法において、前記予測画像生成ステップにおいて、前記表示順情報を用いて係数を生成する際に、前記線形予測が乗算および除算を使用することなくビットシフト演算および加算および減算のみで行えるように、前記係数を２のべき乗に近似する。 (38) Further, in another image decoding method according to the present invention, when generating a coefficient using the display order information in the predicted image generation step, the linear prediction uses a bit without using multiplication and division. The coefficient is approximated to a power of 2 so that only shift operation and addition and subtraction can be performed.
（３９）さらに、本発明による別の画像復号化方法において、前記近似を行う際に、第１の参照インデックスによって指定される参照ピクチャおよび第２の参照インデックスによって指定される参照ピクチャの各々の持つ表示順情報の前後関係によって、切り上げによる近似と切り下げによる近似とを切り替えて使用する。 (39) Furthermore, in another image decoding method according to the present invention, each of the reference picture specified by the first reference index and the reference picture specified by the second reference index is used when performing the approximation. Depending on the order of display order information, the approximation by rounding up and the approximation by rounding down are used.
（４０）本発明のプログラムは、上記（２６）〜（３９）の何れかに記載の画像符復号化方法をコンピュータに実行させる構成としてもよい。 (40) The program of the present invention may be configured to cause a computer to execute the image codec decoding method described in any of (26) to (39) above.
以上の様に、本発明の動画像符号化方法および復号化方法により、予測画像を生成する際の線形予測に用いられる重み付け係数セットの候補を複数作成できるようになり、ブロックごとに最適なものを選択することが可能となった。その結果、複数の参照インデックスが割り当てられている場合であっても、１つの参照インデックスが割り当てられている場合であっても、参照インデックスの復号化を効率よく行うことができる。また、大きな符号化効率の向上が実現可能となることから、動画像の符号化および復号化において非常に有効である。 As described above, the moving image encoding method and decoding method according to the present invention can create a plurality of candidates for weighting coefficient sets used for linear prediction when generating a predicted image, which is optimal for each block. It became possible to select. As a result, it is possible to efficiently decode the reference index even when a plurality of reference indexes are assigned or when one reference index is assigned. Further, since a large improvement in encoding efficiency can be realized, it is very effective in encoding and decoding moving images.
以上の様に、本発明の動画像符号化方法および復号化方法により、予測画像を生成する際の線形予測に用いられる重み付け係数セットの候補を複数作成できるようになり、ブロックごとに最適なものを選択することが可能となった。その結果、複数の参照インデックスが割り当てられている場合であっても、１つの参照インデックスが割り当てられている場合であっても、参照インデックスの復号化を効率よく行うことができる。また、大きな符号化効率の向上が実現可能となることから、動画像の符号化および復号化において非常に有効である。 As described above, the moving image encoding method and decoding method according to the present invention can create a plurality of candidates for weighting coefficient sets used for linear prediction when generating a predicted image, which is optimal for each block. It became possible to select. As a result, it is possible to efficiently decode the reference index even when a plurality of reference indexes are assigned or when one reference index is assigned. Further, since a large improvement in encoding efficiency can be realized, it is very effective in encoding and decoding moving images.
（実施の形態１）
図1は、本発明の実施の形態１における動画像符号化装置の構成を示すブロック図である。この動画像符号化装置における動画像符号化方法を図１に示したブロック図を用いて（１）符号化の概要、（２）参照インデックス割り当て方法、（３）予測画像生成方法の順で説明する。
(Embodiment 1)
FIG. 1 is a block diagram showing a configuration of a moving picture coding apparatus according to
（１）符号化の概要
符号化対象となる動画像は表示を行う順にピクチャ単位でピクチャメモリ１０１に入力され、符号化を行う順にピクチャの並び替えを行う。図３１は並び替えの例を示した図である。図３１（ａ）は表示される順に並べられたピクチャであり、図３１（ｂ）は符号化を行う順に並び替えたピクチャの例である。ここでのＢ３、Ｂ６は時間的に前方および後方の両方を参照しているため、これらのピクチャを符号化する前に参照の対象となるピクチャを先に符号化する必要があることから、図３１（ｂ）ではＰ４、Ｐ７が先に符号化されるように並び替えられている。さらに各々のピクチャはマクロブロックと呼ばれる例えば水平１６×垂直１６画素のブロックに分割されブロック単位で以降の処理が行われる。
(1) Outline of Encoding A moving image to be encoded is input to the
ピクチャメモリ１０１から読み出された入力画像信号は差分演算部１１２に入力され、動き補償符号化部１０７の出力である予測画像信号との差分を取ることによって得られる差分画像信号を予測残差符号化部１０２に出力する。予測残差符号化部１０２では周波数変換、量子化等の画像符号化処理を行い残差符号化信号を出力する。残差符号化信号は予測残差復号化部１０４に入力され、逆量子化、逆周波数変換等の画像復号化処理を行い残差復号化信号を出力する。加算演算部１１３では前記残差復号化信号と予測画像信号との加算を行い再構成画像信号を生成し、得られた再構成画像信号の中で以降の画面間予測で参照される可能性がある信号をピクチャメモリ１０５に格納する。
The input image signal read from the
一方、ピクチャメモリ１０１から読み出されたマクロブロック単位の入力画像信号は動
きベクトル検出部１０６にも入力される。ここでは、ピクチャメモリ１０５に格納されている再構成画像信号を探索対象とし、最も入力画像信号に近い画像領域を検出することによってその位置を指し示す動きベクトルを決定する。動きベクトル検出はマクロブロックをさらに分割したブロック単位で行われ、得られた動きベクトルは動きベクトル記憶部１０８に格納される。
On the other hand, the input image signal for each macroblock read from the
このとき、現在標準化中のＨ．２６Ｌでは複数のピクチャを参照対象として使用することができるため、参照するピクチャを指定するための識別番号がブロックごとに必要となる。その識別番号を参照インデックスと呼び、参照インデックス・ピクチャ番号変換部１１１において、ピクチャメモリ１０５中のピクチャの持つピクチャ番号との対応を取ることにより参照ピクチャを指定することが可能となる。参照インデックス・ピクチャ番号変換部１１１における動作の詳細は（２）において詳しく説明する。
At this time, H. In 26L, a plurality of pictures can be used as reference objects, and therefore an identification number for designating a picture to be referenced is required for each block. The identification number is called a reference index, and the reference index / picture
動き補償符号化部１０７では、上記処理によって検出された動きベクトルおよび参照インデックスを用いて、ピクチャメモリ１０５に格納されている再構成画像信号から予測画像に最適な画像領域を取り出す。得られた画像領域の画素値に対して線形予測による補間処理等の画素値変換処理を施すことによって最終的な予測画像とする。その際に使用する線形予測係数は線形予測係数生成部１１０によって生成され線形予測係数記憶部１０９に格納される。この予測画像生成方法については（３）において詳しく説明する。
The motion
上記の一連の処理によって出力された線形予測係数、参照インデックス、動きベクトル、残差符号化信号等の符号化情報に対して符号列生成部１０３において可変長符号化を施すことにより、この符号化装置が出力する符号列が得られる。
This encoding is performed by performing variable-length encoding in the code
以上の処理の流れは画面間予測符号化を行った場合の動作であったが、スイッチ１１４およびスイッチ１１５によって画面内予測符号化との切り替えがなされる。画面内符号化を行う場合は、動き補償による予測画像の生成は行わず、同一画面内の符号化済み領域から符号化対象領域の予測画像を生成し差分を取ることによって差分画像信号を生成する。差分画像信号は画面間予測符号化の場合と同様に、予測残差符号化部１０２において残差符号化信号に変換され、符号列生成部１０３において可変長符号化を施されることにより出力される符号列が得られる。
The above processing flow is an operation in the case of performing inter-screen predictive coding, but switching to intra-screen predictive coding is performed by the
（２）参照インデックス割り当て方法
次に、図１の参照インデックス・ピクチャ番号変換部１１１における参照インデックス割り当て方法について図３、図４を用いて説明する。
(2) Reference Index Assignment Method Next, a reference index assignment method in the reference index / picture
図３は、ピクチャ番号に対する２つの参照インデックスの割り当て方法を説明するための図である。図のような表示される順に並べられたピクチャ列があったとき、ピクチャ番号は符号化される順番に割り振られている。参照インデックスをピクチャ番号に割り当てるためのコマンドはピクチャをさらに分割した符号化単位であるスライスのヘッダに記述され、１つのスライスを符号化する毎に割り振り方が更新されることになる。前記コマンドは、直前に参照インデックスに割り当てたピクチャ番号と現在割り当てを行っているピクチャ番号との差分値を参照インデックスの数だけ連続して指示するものである。 FIG. 3 is a diagram for explaining a method of assigning two reference indexes to picture numbers. When there are picture sequences arranged in the order of display as shown in the figure, picture numbers are assigned in the order of encoding. A command for assigning a reference index to a picture number is described in a header of a slice, which is an encoding unit obtained by further dividing a picture, and the allocation method is updated every time one slice is encoded. The command sequentially indicates the difference value between the picture number assigned to the reference index immediately before and the picture number currently assigned by the number of reference indexes.
図３の第１参照インデックスの例を用いると、まずコマンドとして"−１"が与えられたので、現在符号化の対象としているピクチャ番号１６番から１を引くことにより、ピクチャ番号１５番が参照インデックス０番に割り当てられる。次に"−４"が与えられたので、直前に割り当てを行ったピクチャ番号１５番から４を引くことにより、ピクチャ番号１１番が参照インデックス１番に割り当てられる。以下同様の処理によって各ピクチャ番号の割り当てが行われる。第２参照インデックスの場合も同様である。
When the example of the first reference index in FIG. 3 is used, since “−1” is first given as a command,
図３４に示した従来の方法による参照インデックス割り当て方法では、全ての参照インデックスはそれぞれ別々のピクチャ番号に対応付けられている。一方、図３の例では、割り当て方法は従来のものと全く同じ方法を用いているが、コマンドの値を変更することにより同じピクチャ番号に対して複数の参照インデックス番号が対応付けられている。 In the reference index assignment method according to the conventional method shown in FIG. 34, all reference indexes are associated with different picture numbers. On the other hand, in the example of FIG. 3, although the allocation method is exactly the same as the conventional one, a plurality of reference index numbers are associated with the same picture number by changing the command value.
図４は参照インデックスの割り当てを行った結果を示したものである。各ピクチャ番号には第１参照インデックスおよび第２参照インデックスがそれぞれ独立に割り当てられているが、１つのピクチャ番号に対して複数の参照インデックスが割り当てられているものもあることが分かる。本発明の符号化方法では、この例のように複数の参照インデックスが割り当てられているピクチャ番号が少なくとも１つ以上あるものとする。 FIG. 4 shows the result of assigning a reference index. The first reference index and the second reference index are independently assigned to each picture number, but it can be seen that there are some where a plurality of reference indexes are assigned to one picture number. In the encoding method of the present invention, it is assumed that there are at least one picture number to which a plurality of reference indexes are assigned as in this example.
参照インデックスを参照ピクチャの決定のみに使用する場合であれば、従来の方法のように１つのピクチャ番号に対して１つの参照インデックスを割り当てる方法が最も符号化効率の良い方法である。しかし、参照インデックスを使用して予測画像の生成における線形予測係数の重み付け係数セットを選択する場合は、従来の方法では同じ参照ピクチャを持つブロック全てにおいて同じ線形予測係数を使用しなくてはならないため、最適な予測画像が生成されない可能性が非常に高くなってしまう。 If the reference index is used only for determining the reference picture, a method of assigning one reference index to one picture number as in the conventional method is the method with the highest coding efficiency. However, when using a reference index to select a weighting coefficient set of linear prediction coefficients in generating a predicted image, the conventional method must use the same linear prediction coefficient in all blocks having the same reference picture. Therefore, there is a very high possibility that an optimal predicted image will not be generated.
そこで、本発明のように１つのピクチャ番号に対して複数の参照インデックスが割り当てることを可能とすることにより、同じ参照ピクチャを持つ場合でも、ブロックごとに複数の線形予測係数の重み付け係数セットの候補の中から最適なものを選択することが可能となり、より符号化効率の高い予測画像を生成することが可能となる。 Therefore, by allowing a plurality of reference indexes to be assigned to one picture number as in the present invention, a plurality of linear prediction coefficient weighting coefficient set candidates for each block even when having the same reference picture It is possible to select an optimal image from among the images, and it is possible to generate a predicted image with higher encoding efficiency.
なお、以上の説明では全ての参照ピクチャが参照用メモリに蓄積されるものとしてピクチャ番号が与えられている場合の例を示していたが、ピクチャ番号は符号化を行った直前のピクチャが蓄積された場合のみ、当該ピクチャに値が１つ増加したピクチャ番号が付与されていくものであり、蓄積されないピクチャがあった場合でも参照用メモリ内ではピクチャ番号の連続性は保たれ、前記方法をそのまま使用することが可能である。 In the above description, an example is shown in which a picture number is given assuming that all reference pictures are stored in the reference memory, but the picture number immediately before encoding is stored. Only when the picture number is incremented by one, the picture number continuity is maintained in the reference memory even if there is a picture that is not stored. It is possible to use.
（３）予測画像生成方法
次に、図１の動き補償符号化部１０７における予測画像生成方法について図５を用いて説明する。線形予測による予測画像生成方法は従来法と全く同様であるが、同じピクチャに対して複数の参照インデックス番号を対応付けることが可能となったため、線形予測係数を選択する際の自由度が高くなっている。
(3) Prediction Image Generation Method Next, a prediction image generation method in the motion
ピクチャＢ１６は現在符号化の対象としているＢピクチャであり、ブロックＢＬ０１およびブロックＢＬ０２は前記Ｂピクチャに属する符号化対象のブロックである。ＢＬ０１は第１参照ピクチャをピクチャＰ１１、第２参照ピクチャをピクチャＢ１５とし、それぞれのピクチャに属するブロックＢＬ１１およびＢＬ２１を参照して予測画像を作成する。同様にＢＬ０２も第１参照ピクチャをピクチャＰ１１、第２参照ピクチャをピクチャＢ１５とし、それぞれのピクチャに属するブロックＢＬ１２およびＢＬ２２を参照して予測画像を作成する。 A picture B16 is a B picture currently being encoded, and a block BL01 and a block BL02 are blocks to be encoded belonging to the B picture. In BL01, the first reference picture is the picture P11, the second reference picture is the picture B15, and the prediction picture is created by referring to the blocks BL11 and BL21 belonging to the respective pictures. Similarly, BL02 also uses the first reference picture as the picture P11 and the second reference picture as the picture B15, and creates a predicted image by referring to the blocks BL12 and BL22 belonging to the respective pictures.
第１参照ピクチャおよび第２参照ピクチャはＢＬ０１、ＢＬ０２共に同じものを参照しているが、（２）において説明した参照インデックスの割り当て方法を用いることにより、第１参照インデックスｒｅｆ１および第２参照インデックスｒｅｆ２はＢＬ０１とＢＬ０２とで異なる値を取ることが可能となる。図４を例にとると、ピクチャ番号１１に対応する第１参照インデックスは１と３が、ピクチャ番号１５に対応する第２参照インデックスは１と６が割り振られている。
The first reference picture and the second reference picture both refer to the same BL01 and BL02, but by using the reference index assignment method described in (2), the first reference index ref1 and the second reference index ref2 Can take different values for BL01 and BL02. Taking FIG. 4 as an example, 1 and 3 are assigned to the first reference index corresponding to picture
その結果、これらの参照インデックスの組み合わせは、（ｒｅｆ１、ｒｅｆ２）＝（１、１）、（１、６）、（３、１）、（３、６）の４通りが考えられ、これらの中から最適な重み付け係数セットを導き出す組み合わせをブロックごとに選択することが可能となっている。図５では例としてＢＬ０１がｒｅｆ１＝１、ｒｅｆ２＝１、ＢＬ０２がｒｅｆ１＝３、ｒｅｆ２＝６としている。 As a result, there are four possible combinations of these reference indexes: (ref1, ref2) = (1, 1), (1, 6), (3, 1), (3, 6). It is possible to select a combination for deriving an optimal weighting coefficient set from each block. In FIG. 5, for example, BL01 is ref1 = 1, ref2 = 1, and BL02 is ref1 = 3 and ref2 = 6.
図３５にあるような従来の方法によって対応付けられた参照インデックスの組み合わせでは、図５のような例ではＢＬ０１、ＢＬ０２共に（ｒｅｆ１、ｒｅｆ２）＝（１、１）の組み合わせしか選択できなかったため、選択することのできる線形予測係数の重み付け係数セットも１通りしかなかった。一方、本発明では選択範囲が４通りに拡張されているため、最適な重み付け係数セットが選択できる可能性が高くなると言える。 In the combination of reference indexes associated by the conventional method as shown in FIG. 35, only the combination of (ref1, ref2) = (1, 1) can be selected for both BL01 and BL02 in the example shown in FIG. There was also only one set of linear prediction coefficient weighting coefficients that could be selected. On the other hand, in the present invention, since the selection range is expanded in four ways, it can be said that there is a high possibility that an optimum weighting coefficient set can be selected.
１つのピクチャの符号列は、ピクチャ共通情報領域および複数のスライスデータ領域から構成される。図６はそのうちのスライスデータ領域の構成を示したものである。さらにスライスデータ領域は、スライスヘッダ領域および複数のブロックデータ領域から構成される。ここではブロックデータ領域の例として図５におけるＢＬ０１、ＢＬ０２に対応する各ブロックの領域が示されている。ＢＬ０１に含まれるｒｅｆ１およびｒｅｆ２はこのブロックが参照する２枚のピクチャを指し示す第１参照インデックスおよび第２参照インデックスをそれぞれ指示するものである。 The code string of one picture is composed of a picture common information area and a plurality of slice data areas. FIG. 6 shows the structure of the slice data area. Furthermore, the slice data area includes a slice header area and a plurality of block data areas. Here, as an example of the block data area, the area of each block corresponding to BL01 and BL02 in FIG. 5 is shown. Ref1 and ref2 included in BL01 respectively indicate a first reference index and a second reference index indicating two pictures referred to by this block.
またスライスヘッダ領域には前記線形予測を行うための重み付け係数セットを与えるためのデータ（ｐｓｅｔ０、ｐｓｅｔ１、ｐｓｅｔ２、・・・・）がｒｅｆ１用およびｒｅｆ２用それぞれに記述されている。このときのｐｓｅｔは（２）で説明した参照インデックスの個数と同じで数だけ設定することができる。つまり、図３のように第１参照インデックス、第２参照インデックスを共に０から９までの１０個を使用した場合は、ｐｓｅｔもｒｅｆ１用、ｒｅｆ２用共に０から９までの１０個を設定することが可能である。 In the slice header area, data (pset0, pset1, pset2,...) For giving a weighting coefficient set for performing the linear prediction is described for ref1 and ref2. The number of psets at this time is the same as the number of reference indexes described in (2), and can be set by the number. In other words, when 10 of the first reference index and the second reference index are used from 0 to 9 as shown in FIG. 3, 10 is set from 0 to 9 for both ref1 and ref2. Is possible.
図７は前記スライスヘッダ領域に含まれる前記重み付け係数セットの例を表に示したものである。識別子ｐｓｅｔで示された各々のデータはｗ１、ｗ２、ｃ、ｄの４つ値を持ち、ｒｅｆ１およびｒｅｆ２の値によってダイレクトに参照できるように構成されている。また、スライスヘッダ領域には前記参照インデックスをピクチャ番号に割り当てるためのコマンド列ｉｄｘ＿ｃｍｄ１およびｉｄｘ＿ｃｍｄ２が記述されている。 FIG. 7 is a table showing an example of the weighting coefficient set included in the slice header area. Each data indicated by the identifier pset has four values w1, w2, c, and d, and is configured so that it can be directly referred to by the values of ref1 and ref2. In the slice header area, command strings idx_cmd1 and idx_cmd2 for assigning the reference index to the picture number are described.
図６のＢＬ０１に記述されたｒｅｆ１およびｒｅｆ２によって図７のｒｅｆ１用およびｒｅｆ２用のテーブルからそれぞれ１組の重み付け係数セットが選択される。この２組の重み付け係数セットを用いて参照画像の画素値に対して線形予測を施すことによって予測画像を生成する。 One set of weighting coefficients is selected from the tables for ref1 and ref2 in FIG. 7 by ref1 and ref2 described in BL01 in FIG. A prediction image is generated by performing linear prediction on the pixel value of the reference image using the two sets of weighting coefficient sets.
このように１つのピクチャ番号に対して複数の参照インデックスが割り当てる符号化方法を用いることにより、線形予測係数の重み付け係数セットの候補を複数作成できるようになり、その中から最適なものを選択することが可能となる。たとえば、第１参照インデックスが２つ、第２参照インデックスが２つ割り当てられていた場合は４通りの重み付け係数セットを選択の候補とすることができ、第１参照インデックスが３つ、第２参照インデックスが３つ割り当てられていた場合は９通りの重み付け係数セットを選択の候補とすることができる。 As described above, by using an encoding method in which a plurality of reference indexes are assigned to one picture number, a plurality of weighted coefficient set candidates for linear prediction coefficients can be created, and an optimum one is selected from them. It becomes possible. For example, when two first reference indexes and two second reference indexes are assigned, four weighting coefficient sets can be selected as candidates for selection, three first reference indexes, and second reference When three indexes are allocated, nine weighting coefficient sets can be selected as selection candidates.
この線形予測という方法はフェードやフラッシュのように画面全体もしくは一部分の明度が大きく変化するような場合に特に大きな効果が得られる。多くの場合、その明度の変化の度合いは画面の部分部分によって異なる。そのため、本発明のように複数の重み付け係数セットの中からブロックごとに最適なものを選択できるような構成を持つことは画像の符号化において非常に有効である。 This method of linear prediction is particularly effective when the brightness of the entire screen or a part of the screen changes greatly, such as fade and flash. In many cases, the degree of change in brightness varies depending on the portion of the screen. For this reason, it is very effective in coding an image to have a configuration in which an optimum one can be selected for each block from a plurality of weighting coefficient sets as in the present invention.
ここで、重み付け係数セットを決定し予測画像を生成するまでの処理の流れについて詳細に説明する。 Here, the flow of processing from determination of a weighting coefficient set to generation of a predicted image will be described in detail.
図８は、図１の線形予測係数生成部１１０、線形予測係数記憶部１０９、および動き補償符号化部１０７における予測画像を生成する機能構成を示した機能ブロック図である。
FIG. 8 is a functional block diagram illustrating a functional configuration for generating a prediction image in the linear prediction
線形予測係数生成部１１０、線形予測係数記憶部１０９ａ、線形予測係数記憶部１０９ｂ、平均値算出部１０７ａ、および線形予測演算部１０７ｂにより予測画像が生成される。
A prediction image is generated by the linear prediction
線形予測係数生成部１１０によって生成された重み付け係数セットは線形予測係数記憶部１０９ａおよび線形予測係数記憶部１０９ｂに格納されている。平均値算出部１０７ａは、動き検出の処理によって決定された第１参照インデックスｒｅｆ１によって選択される１組の重み付け係数セット（ｗ１＿１，ｗ２＿１，ｃ＿１，ｄ＿１）を線形予測係数記憶部１０９ａより獲得し、同様に第２参照インデックスｒｅｆ２によって選択される１組の重み付け係数セット（ｗ１＿２，ｗ２＿２，ｃ＿２，ｄ＿２）を線形予測係数記憶部１０９ｂより獲得する。
The weighting coefficient set generated by the linear prediction
そして平均値算出部１０７ａは、線形予測係数記憶部１０９ａ、１０９ｂより獲得したそれぞれの重み付け係数セットのパラメータごとの平均を取り、実際に線形予測に使用する重み付け係数セット（ｗ１，ｗ２，ｃ，ｄ）とし、線形予測演算部１０７ｂに出力する。線形予測演算部１０７ｂは、得られた重み付け係数セット（ｗ１，ｗ２，ｃ，ｄ）を基に、式１を用いて予測画像を演算し出力する。
Then, the average
また、図９は予測画像を生成する他の機能構成を示す機能ブロック図である。線形予測係数生成部１１０、線形予測係数記憶部１０９ａ、線形予測係数記憶部１０９ｂ、線形予測演算部１０７ｃ、線形予測演算部１０７ｄ、および平均値算出部１０７ｅにより、予測画像が生成される。
FIG. 9 is a functional block diagram showing another functional configuration for generating a predicted image. A prediction image is generated by the linear prediction
線形予測係数生成部１１０によって生成された重み付け係数セットは線形予測係数記憶部１０９ａおよび線形予測係数記憶部１０９ｂに格納されている。線形予測演算部１０７ｃは、動き検出の処理によって決定された第１参照インデックスｒｅｆ１によって選択される１組の重み付け係数セット（ｗ１＿１，ｗ２＿１，ｃ＿１，ｄ＿１）を線形予測係数記憶部１０９ａより獲得し、その重み付け係数セットを基に、式１を用いて予測画像を演算して平均値算出部１０７ｅに出力する。
The weighting coefficient set generated by the linear prediction
同様に、線形予測演算部１０７ｄは、動き検出の処理によって決定された第２参照インデックスｒｅｆ２を基に選択される１組の重み付け係数セット（ｗ１＿２，ｗ２＿２，ｃ＿２，ｄ＿２）を線形予測係数記憶部１０９ｂより獲得し、その重み付け係数セットを基に式１を用いて予測画像を演算して平均値算出部１０７ｅに出力する。
Similarly, the linear
平均値算出部１０７ｅは、線形予測演算部１０７ｃ，線形予測演算部１０７ｄのそれぞれから出力される予測画像の各画素の平均値をとり、最終的な予測画像を生成し出力する。
The average
図１０（ａ）は、予測画像を生成する他の機能構成を示す機能ブロック図である。線形予測係数生成部１１０、線形予測係数記憶部１０９ｃ、線形予測係数記憶部１０９ｄ、平均値算出部１０７ｆ，線形予測演算部１０７ｇにより予測画像が生成される。
FIG. 10A is a functional block diagram showing another functional configuration for generating a predicted image. A prediction image is generated by the linear prediction
線形予測係数生成部１１０によって生成された重み付け係数セットは線形予測係数記憶部１０９ｃおよび線形予測係数記憶部１０９ｄに格納されている。平均値算出部１０７ｆは、動き検出の処理によって決定された第１参照インデックスｒｅｆ１によって選択される１組の重み付け係数セット（ｗ１＿１、ｗ２＿１，ｃ＿１，ｄ＿１）のうち、ｃ＿１，ｄ＿１のパラメータを線形予測係数記憶部１０９ｃより獲得し、同様に第２参照インデッ
クスｒｅｆ２によって選択される１組の重み付け係数セット（ｗ１＿２、ｗ２＿２，ｃ＿２，ｄ＿２）のうち、ｃ＿２，ｄ＿２のパラメータを線形予測係数記憶部１０９ｄより獲得する。平均値算出部１０７ｆは、線形予測係数記憶部１０９ｃおよび線形予測係数記憶部１０９ｄより獲得したｃ＿１とｃ＿２の平均値と、ｄ＿１とｄ＿２の平均値を算出してｃ、ｄを求め線形予測演算部１０７ｇに出力する。
The weighting coefficient set generated by the linear prediction
また、線形予測演算部１０７ｇは、上記重み付け係数セット（ｗ１＿１、ｗ２＿１，ｃ＿１，ｄ＿１）のうち、ｗ１＿１のパラメータを線形予測係数記憶部１０９ｃより獲得し、上記重み付け係数セット（ｗ１＿２、ｗ２＿２，ｃ＿２，ｄ＿２）のうち、ｗ２＿２のパラメータを線形予測係数記憶部１０９ｄより獲得し、平均値算出部１０７ｆによりそれぞれの平均を求めてｃ、ｄを獲得し、式１を用いて予測画像を演算し出力する。
In addition, the linear prediction calculation unit 107g acquires the parameter of w1_1 from the linear prediction
すなわち、線形予測演算部１０７ｇは、線形予測係数記憶部１０９ｃより得られた重み付け係数セット（ｗ１＿１、ｗ２＿１，ｃ＿１，ｄ＿１）と、線形予測係数記憶部１０９ｄより得られた重み付け係数セット（ｗ１＿２、ｗ２＿２，ｃ＿２，ｄ＿２）のうち、実際に線形予測で使用する重み付け係数セット（ｗ１、ｗ２，ｃ，ｄ）を決定する際に、下記の規則を用いている。
That is, the linear prediction calculation unit 107g includes the weighting coefficient set (w1_1, w2_1, c_1, d_1) obtained from the linear prediction
ｗ１＝ｗ１＿１，ｗ２＝ｗ２＿２，ｃ＝（ｃ＿１とｃ＿２の平均），ｄ＝（ｄ＿１とｄ＿２の平均） w1 = w1_1, w2 = w2_2, c = (average of c_1 and c_2), d = (average of d_1 and d_2)
このように図１０（ａ）で説明した予測画像の生成においては、線形予測係数記憶部１０９ｃは重み付け係数セットのうちｗ２＿１を必要としない。そのため、ｒｅｆ１用の重み付け係数セットにｗ２は必要でない。よって符号列を小さくすることも可能である。
As described above, in the generation of the prediction image described with reference to FIG. 10A, the linear prediction
また、線形予測係数記憶部１０９ｄは重み付け係数セットのうちｗ１＿２を必要としない。そのため、ｒｅｆ２用の重み付け係数セットにｗ１は必要でない。よって符号列を小さくすることも可能である。
Further, the linear prediction
図１０（ｂ）は、予測画像を生成する他の機能構成を示す機能ブロック図である。線形予測係数生成部１１０、線形予測係数記憶部１０９ｅ、線形予測係数記憶部１０９ｆ、線形予測演算部１０７ｈにより予測画像が生成される。
FIG. 10B is a functional block diagram showing another functional configuration for generating a predicted image. A prediction image is generated by the linear prediction
線形予測係数生成部１１０によって生成された重み付け係数セットは線形予測係数記憶部１０９ｅおよび線形予測係数記憶部１０９ｆに格納されている。線形予測演算部１０７ｈは、動き検出の処理によって決定された第１参照インデックスｒｅｆ１によって選択される１組の重み付け係数セット（ｗ１＿１、ｗ２＿１，ｃ＿１，ｄ＿１）のうちの一部であるｗ１＿１，ｃ＿１，ｄ＿１のパラメータを線形予測係数記憶部１０９ｅより獲得し、同様に第２参照インデックスｒｅｆ２を基に選択される１組の重み付け係数セット（ｗ１＿２、ｗ２＿２，ｃ＿２，ｄ＿２）のうちの一部であるｗ２＿２のパラメータを線形予測係数記憶部１０９ｆより獲得する。線形予測演算部１０７ｈは、線形予測係数記憶部１０９ｅ，線形予測係数記憶部１０９ｆより獲得したｗ１＿１，ｃ＿１，ｄ＿１，ｗ２＿２を基に、式１を用いて、予測画像を演算し出力する。
The weighting coefficient set generated by the linear prediction
すなわち、線形予測演算部１０７ｈは、線形予測係数記憶部１０９ｅより得られた重み付け係数セット（ｗ１＿１、ｗ２＿１，ｃ＿１，ｄ＿１）と、線形予測係数記憶部１０９ｆより得られた重み付け係数セット（ｗ１＿２、ｗ２＿２，ｃ＿２，ｄ＿２）のうち、実際に線形予測で使用する重み付け係数セット（ｗ１、ｗ２，ｃ，ｄ）を決定する際に、下記の規則を用いている。
That is, the linear
ｗ１＝ｗ１＿１，ｗ２＝ｗ２＿２，ｃ＝ｃ＿１，ｄ＝ｄ＿１ w1 = w1_1, w2 = w2_2, c = c_1, d = d_1
また、図１０（ｂ）で説明した予測画像の生成においては、線形予測係数記憶部１０９ｅは重み付け係数セットのうちｗ２＿１を必要としない。そのため、ｒｅｆ１用の重み付け係数セットにｗ２は必要でない。よって符号列を小さくすることができる。
Further, in the generation of the prediction image described with reference to FIG. 10B, the linear prediction
また、線形予測係数記憶部１０９ｆは重み付け係数セットのうちｗ１＿２，ｃ＿２，ｄ＿２を必要としない。そのため、ｒｅｆ２用の重み付け係数セットにｗ１，ｃ，ｄは必要でない。よって符号列を小さくすることができる。 Further, the linear prediction coefficient storage unit 109f does not need w1_2, c_2, and d_2 in the weighting coefficient set. Therefore, w1, c, and d are not necessary for the weighting coefficient set for ref2. Therefore, the code string can be reduced.
また、ｗ１、ｗ２、ｃ、ｄのパラメータのうちの１つもしくは複数個を固定の値として使用することも可能である。図１１は図１０（ａ）における機能構成に対して、ｄのみを固定の値として使用した場合の機能ブロック図である。線形予測係数生成部１１０、線形予測係数記憶部１０９ｉ、線形予測係数記憶部１０９ｊ、平均値算出部１０７ｊ、線形予測演算部１０７ｋにより予測画像が生成される。
It is also possible to use one or more of the parameters w1, w2, c, and d as fixed values. FIG. 11 is a functional block diagram when only d is used as a fixed value for the functional configuration in FIG. A prediction image is generated by the linear prediction
第１参照インデックスｒｅｆ１によって線形予測係数記憶部１０９ｉから選択される係数は（ｗ１＿１、ｃ＿１）のみであり、第２参照インデックスｒｅｆ２によって線形予測係数記憶部１０９ｊから選択される係数は（ｗ２＿２、ｃ＿２）のみである。平均値算出部１０７ｊは、線形予測係数記憶部１０９ｉおよび線形予測係数記憶部１０９ｊより獲得したｃ＿１とｃ＿２の平均値を算出してｃを求め線形予測演算部１０７ｋに出力する。
The coefficients selected from the linear prediction coefficient storage unit 109i by the first reference index ref1 are only (w1_1, c_1), and the coefficients selected from the linear prediction
また、線形予測演算部１０７ｋは、ｗ１＿１のパラメータを線形予測係数記憶部１０９ｉより獲得し、ｗ２＿２のパラメータを線形予測係数記憶部１０９ｊより獲得し、ｃのパラメータを平均値算出部１０７ｊｆより獲得し、ｄのパラメータとして予め決められたある固定の値を使用し、式１を用いて予測画像を算出し出力する。つまり、式１の係数（ｗ１、ｗ２，ｃ，ｄ）には下記の値が入力されることになる。
Further, the linear
ｗ１＝ｗ１＿１，ｗ２＝ｗ２＿２，ｃ＝（ｃ＿１とｃ＿２の平均），ｄ＝（固定値） w1 = w1_1, w2 = w2_2, c = (average of c_1 and c_2), d = (fixed value)
これを式１に代入すると下記の式１ａが得られる。
Substituting this into
Ｐ(ｉ)＝(ｗ１＿１×Ｑ１(ｉ)＋ｗ２＿２×Ｑ２(ｉ))／ｐｏｗ(２,ｄ)＋（ｃ＿１＋ｃ＿２）／２ （式１ａ）
（ｐｏｗ(２,ｄ)は２のｄ乗を示す）
P (i) = (w1_1 × Q1 (i) + w2_2 × Q2 (i)) / pow (2, d) + (c_1 + c_2) / 2 (Formula 1a)
(Pow (2, d) indicates 2 to the power of d)
さらに式１ａを変形することにより式１ｂのような式が得られる。線形予測演算部１０７ｋにおける線形予測の演算方法は式１ｂのような形式で用いた場合も式１の形式で用いた場合も全く同様に扱うことが可能である。
Further, by transforming Equation 1a, Equation 1b can be obtained. The linear prediction calculation method in the linear
Ｐ(ｉ)＝(ｗ１＿１×Ｑ１(ｉ)／ｐｏｗ(２,ｄ−１)＋ｃ＿１＋ｗ２＿２×Ｑ２(ｉ)／ｐｏｗ(２,ｄ−１)＋ｃ＿２)／２ （式１ｂ）
（ｐｏｗ(２,ｄ−１)は２のｄ−１乗を示す）
P (i) = (w1_1 * Q1 (i) / pow (2, d-1) + c_1 + w2_2 * Q2 (i) / pow (2, d-1) + c_2) / 2 (Formula 1b)
(Pow (2, d-1) indicates 2 to the power of d-1)
なお、式１ｂではｐｏｗ(２,ｄ−１)となっているが、ｄは固定の値であるため、ｄ'＝ｄ−１としてｄ'を線形予測演算部１０７ｋへの入力とすることによりｐｏｗ(２,ｄ')と
してシステムを構成してもよい。
In Expression 1b, pow (2, d-1) is used, but d is a fixed value, so that d '= d-1 and d' is input to the linear
また、図１１で説明した予測画像の生成においては、線形予測係数記憶部１０９ｉは重み付け係数セットのうちｗ１＿１とｃ＿１のみを必要とし、線形予測係数記憶部１０９ｊは重み付け係数セットのうちｗ２＿２とｃ＿２のみを必要とするため、それ以外のパラメータを符号化する必要がない。よって符号列を小さくすることができる。
In addition, in the generation of the prediction image described with reference to FIG. 11, the linear prediction coefficient storage unit 109i requires only w1_1 and c_1 in the weighting coefficient set, and the linear prediction
なお、ｄの値として使用する予め決定された固定の値とは、常に同じ値を使用することも可能であるが、スライスヘッダに前記固定の値を記述することによってスライスごとに切り替えることも可能である。同様に、ピクチャ共通情報領域またはシーケンス共通情報
領域に記述することによりピクチャごとまたはシーケンスごとに切り替えることも可能である。
It is possible to always use the same fixed value as the predetermined fixed value used as the value of d, but it is also possible to switch between slices by describing the fixed value in the slice header. It is. Similarly, it is possible to switch between pictures or sequences by describing them in the picture common information area or sequence common information area.
上記の線形予測方法を用いたときのスライスデータ領域の構成の例を図１２に示す。図６と異なる点は、ｄがスライスヘッダ領域に１つだけ記述されている点と、ｒｅｆ１用のｐｓｅｔとしてｗ１＿１とｃ＿１のみが記述されている点である。図１３は前記スライスヘッダ領域に含まれる前記重み付け係数セットの例を表に示したものである。識別子ｐｓｅｔで示された各々のデータはｗ１＿１、ｃ＿１もしくはｗ２＿２、ｃ＿２の２つの値を持ち、ｒｅｆ１およびｒｅｆ２の値によって直接参照できるように構成されている。 FIG. 12 shows an example of the configuration of the slice data area when the above linear prediction method is used. The difference from FIG. 6 is that only one d is described in the slice header area, and only w1_1 and c_1 are described as psets for ref1. FIG. 13 is a table showing an example of the weighting coefficient set included in the slice header area. Each data indicated by the identifier pset has two values w1_1, c_1 or w2_2, c_2, and is configured so that it can be directly referred to by the values of ref1 and ref2.
なお、線形予測係数生成部１１０では、ピクチャの特徴を調べることによって重み付け係数セットを生成し、動き補償符号化部１０７において、図８、図９、図１０、図１１で説明した方法を用いて予測画像を作成し、最も予測誤差が最小になるような２つの参照インデックスｒｅｆ１およびｒｅｆ２の組み合わせを決定する。なお、図１０（ａ）、（ｂ）、図１１のように全てのパラメータを必要としない方法を用いる場合は、符号化装置の線形予測係数生成部１１０において重み付け係数セット作成する段階で、必要の無いパラメータの作成処理を省略することも可能である。
Note that the linear prediction
また、図１０（ａ）、（ｂ）、図１１のような方法では、線形予測係数生成部１１０において重み付け係数セット作成する際に、例えばｗ１＿１やｗ２＿２のように、ｒｅｆ１用の重み付け係数セットとｒｅｆ２用の重み付け係数セットをそれぞれ独立に最適なものを探索して作成することが可能である。つまり、この方法を用いると符号化装置において重み付け係数セットを作成するための処理量を削減することが可能となる。
Further, in the methods as shown in FIGS. 10A, 10B, and 11, when the weighted coefficient set is generated in the linear prediction
なお、上記の符号化方法は２つの参照ピクチャをもつＢピクチャに関するものであったが、１つの参照ピクチャしか持たないＰピクチャおよびＢピクチャにおける単一ピクチャ参照符号化モードにおいても同様の処理を行うことが可能である。この場合は第１参照インデックスもしくは第２参照インデックスのどちらか一方のみを使用し、図６の符号列におけるスライスヘッダ領域中のｐｓｅｔおよびｉｄｘ＿ｃｍｄは、ブロックデータ領域中
に記述される参照インデックスに従って、ｒｅｆ１用もしくはｒｅｆ２用のもののみを記述することになる。
Although the above encoding method is related to a B picture having two reference pictures, the same processing is performed also in a single picture reference encoding mode for a P picture and a B picture having only one reference picture. It is possible. In this case, only one of the first reference index and the second reference index is used, and pset and idx_cmd in the slice header area in the code string of FIG. 6 are ref1 according to the reference index described in the block data area. Only those for ref2 or ref2.
また、線形予測の方法は従来の方法で説明した式１に替えて下記の式３を使用する。このとき、Ｑ１(ｉ)は参照されたブロックの画素値、Ｐ(ｉ)は符号化対象ブロックの予測画像の画素値とし、ｗ１、ｗ２、ｃ、ｄは選択された重み付け係数セットによって与えられる線形予測係数である。
The linear prediction method uses the following
Ｐ(ｉ)＝(ｗ１×Ｑ１(ｉ)＋ｗ２×Ｑ１(ｉ))／ｐｏｗ(２,ｄ)＋ｃ（式３）
（ｐｏｗ(２,ｄ)は２のｄ乗を示す）
P (i) = (w1 × Q1 (i) + w2 × Q1 (i)) / pow (2, d) + c (Formula 3)
(Pow (2, d) indicates 2 to the power of d)
なお、線形予測の式として式３の代わりに式４を使用することも可能である。このとき、Ｑ１(ｉ)は参照されたブロックの画素値、Ｐ(ｉ)は符号化対象ブロックの予測画像の画素値とし、ｗ１、ｃ、ｄは選択された重み付け係数セットによって与えられる線形予測係数である。
In addition, it is also possible to use
Ｐ(ｉ)＝(ｗ１×Ｑ１(ｉ))／ｐｏｗ(２,ｄ)＋ｃ （式４）
（ｐｏｗ(２,ｄ)は２のｄ乗を示す）
P (i) = (w1 × Q1 (i)) / pow (2, d) + c (Formula 4)
(Pow (2, d) indicates 2 to the power of d)
式１および式３を使用する場合は、ｗ１、ｗ２、ｃ、ｄの４つのパラメータが必要だったが、式４を使用する場合は、ｗ１、ｃ、ｄの３つのパラメータのみで線形予測を行うことができる。つまり、Ｐピクチャのようにピクチャ全体で第１参照インデックスもしくは第２参照インデックスのどちらか一方のみしか使用されない場合は、スライスヘッダ領域に記述する重み付け係数セットのデータの項目数をそれぞれ３つずつに減らすことが可能
となる。
When using
式３を用いた場合はＢピクチャとＰピクチャとで構成を変更せずに両方に対応した線形予測を実現することが可能となる。また、式４を用いた場合はＰピクチャのヘッダ領域に記述するデータ量を削減することができ、さらに計算が単純化されるため処理量の削減も実現することが可能となる。ただし、いずれの方法においても、本発明において提案する参照インデックスの割り振り方法はそのまま適用することができるため、符号化効率の高い予測画像を作成することが可能であり、画像の符号化において非常に有効である。
When
ところで、動き補償において参照するピクチャは、各々のピクチャに割り当てられた参照インデックスを指定することによって決定される。その際に、参照することが可能なピクチャの最大枚数を符号列のピクチャ共通情報部分に記述していた。 By the way, a picture to be referred to in motion compensation is determined by designating a reference index assigned to each picture. At that time, the maximum number of pictures that can be referred to is described in the picture common information portion of the code string.
図３８は、参照することが可能なピクチャの最大枚数を記述した符号列の模式図である。図に示すように符号列のピクチャ共通情報にｒｅｆ１用のピクチャの最大数Ｍａｘ＿ｐｉｃ１と、ｒｅｆ２用のピクチャの最大数Ｍａｘ＿ｐｉｃ２を記述していた。 FIG. 38 is a schematic diagram of a code string describing the maximum number of pictures that can be referred to. As shown in the figure, the maximum number of pictures ref1 Max_pic1 and the maximum number of pictures ref2 Max_pic2 are described in the picture common information of the code string.
符号化において必要とする情報は、実際のピクチャの最大枚数ではなく、ピクチャを指定するために使用する参照インデックスの取り得る最大値である。 The information necessary for encoding is not the actual maximum number of pictures, but the maximum value that can be taken by the reference index used to specify a picture.
従来の方法では、１つのピクチャには１つの参照インデックスしか割り当てられなかったため、前述のピクチャの最大枚数を記述することによって矛盾は生じなかったが、特に本発明のように、ピクチャ番号に複数の参照インデックスが割り当てられる場合には、その違いが大きく影響する。 In the conventional method, since only one reference index is assigned to one picture, there is no contradiction by describing the maximum number of pictures as described above. However, as in the present invention, there are a plurality of picture numbers. When a reference index is assigned, the difference greatly affects.
上述したように、符号列には参照インデックスをピクチャ番号に割り当てるためにコマンド列ｉｄｘ＿ｃｍｄ１、およびｉｄｘ＿ｃｍｄ２が記述されている。このコマンド列ｉｄｘ＿ｃｍｄ１、およびｉｄｘ＿ｃｍｄ２の各コマンドを基に、ピクチャ番号と参照インデックスとを対応づけていく。このときに、参照インデックスの最大値を知ることで、すべての参照インデックスとピクチャ番号との対応づけが行われたことがわかり、コマンド列ｉｄｘ＿ｃｍｄ１、およびｉｄｘ＿ｃｍｄ２におけるコマンドの終端を知ることができる。 As described above, the command strings idx_cmd1 and idx_cmd2 are described in the code string in order to assign the reference index to the picture number. Based on the commands in the command sequences idx_cmd1 and idx_cmd2, the picture number and the reference index are associated with each other. At this time, by knowing the maximum value of the reference index, it can be seen that all the reference indexes are associated with the picture numbers, and the end of the command in the command strings idx_cmd1 and idx_cmd2 can be known.
そこで、本実施の形態では、従来のピクチャの最大枚数の代わりに、利用可能な参照インデックスの最大数をピクチャのヘッダであるピクチャ共通情報部分に記述している。もしくは、ピクチャの最大枚数と参照インデックスの最大数の両者を記述する。 Therefore, in the present embodiment, instead of the conventional maximum number of pictures, the maximum number of reference indexes that can be used is described in the picture common information portion that is the header of the picture. Alternatively, both the maximum number of pictures and the maximum number of reference indexes are described.
図２３は、ピクチャの符号列のピクチャ共通情報に参照インデクッスの最大数を記述した状態を示している。ピクチャの共通情報部分には、ｒｅｆ１用の利用可能な参照インデックスの最大数Ｍａｘ＿ｉｄｘ１、およびｒｅｆ２用の利用可能な参照インデックスの最大数Ｍａｘ＿ｉｄｘ２を記述している。 FIG. 23 shows a state in which the maximum number of reference indexes is described in the picture common information of the picture code string. In the common information portion of the picture, the maximum number of reference indexes Max_idx1 that can be used for ref1 and the maximum number of reference indexes that can be used Max2 for ref2 are described.
なお、図２３では、ピクチャ共通情報に参照インデクッスの最大数を記述しているが、これに加えて、スライスデータ領域に参照インデクッスの最大数を記述する構成としてもよい。例えば、ピクチャでの参照インデクッスの最大数が８、当該ピクチャ中のスライス１で必要な参照インデクッスの最大数が８、スライス２で必要な参照インデクッスの最大数が４であるというように、スライスによって必要な参照インデクッスの最大数がピクチャ共通情報領域に記述された最大数と異なる場合に、スライス毎に必要な参照インデクッスの最大数を明示することができる。
In FIG. 23, the maximum number of reference indexes is described in the picture common information. However, in addition to this, the maximum number of reference indexes may be described in the slice data area. For example, the maximum number of reference indexes in a picture is 8, the maximum number of reference indexes required in
すなわち、ピクチャ共通情報に記述された参照インデクッスの最大数をピクチャ中の各スライスに共通するデフォルト値として、必要な参照インデクッスの最大数がデフォルト値と異なるスライスについてはスライスヘッダに記述するようにしてもよい。 In other words, the maximum number of reference indexes described in the picture common information is set as a default value common to each slice in the picture, and a slice in which the required maximum number of reference indexes is different from the default value is described in the slice header. Also good.
なお、図２３および図３８ではではピクチャ共通情報領域とスライスデータ領域とをひとまとめにして符号列としている例を示したが、ピクチャ共通情報領域とスライスデータ領域はそれぞれ独立した符号列とすることも可能であり、この場合も全く同様に扱うことができる。 In FIGS. 23 and 38, the picture common information area and the slice data area are collectively shown as a code string. However, the picture common information area and the slice data area may be independent code strings. This is possible and can be handled in exactly the same way.
（実施の形態２）
本発明の実施の形態２における動画像符号化方法について説明する。なお、符号化装置の構成および符号化の処理の流れおよび参照インデックスの割り当て方法は実施の形態１と全く同様であるため、ここでは説明を省略する。
(Embodiment 2)
A video encoding method according to
実施の形態１では動き補償において予測画像を生成する際に、式１もしくは式３もしくは式４を用いて画素ごとに線形予測を行っている。しかし、これらの式はいずれも乗算処理を含むものであり、全ての画素に対してこのような演算を行うことを考えると、処理量が非常に大きくなってしまう。
In the first embodiment, when a predicted image is generated in motion compensation, linear prediction is performed for each
そこで式１の代わりに式５、式３の代わりに式６、式４の代わりに式７を使用することも可能である。これらの式は乗算を使用することなくビットシフト演算のみで計算を行うことができるため、処理量を少なく抑えることが可能となる。このとき、Ｑ１(ｉ)、Ｑ２(ｉ)は参照されたブロックの画素値、Ｐ(ｉ)は符号化対象ブロックの予測画像の画素値とし、ｍ、ｎ、ｃは選択された重み付け係数セットによって与えられる線形予測係数である。
Therefore, it is also possible to use
Ｐ(ｉ)＝±ｐｏｗ(２,ｍ)×Ｑ１(ｉ) ±ｐｏｗ(２,ｎ)×Ｑ２(ｉ)＋ｃ （式５）
Ｐ(ｉ)＝±ｐｏｗ(２,ｍ)×Ｑ１(ｉ) ±ｐｏｗ(２,ｎ)×Ｑ１(ｉ)＋ｃ （式６）
Ｐ(ｉ)＝±ｐｏｗ(２,ｍ)×Ｑ１(ｉ)＋ｃ （式７）
（ｐｏｗ(２,ｍ)は２のｍ乗を、ｐｏｗ(２,ｎ)は２のｎ乗を示す。）
P (i) = ± pow (2, m) × Q1 (i) ± pow (2, n) × Q2 (i) + c (Formula 5)
P (i) = ± pow (2, m) × Q1 (i) ± pow (2, n) × Q1 (i) + c (Formula 6)
P (i) = ± pow (2, m) × Q1 (i) + c (Formula 7)
(Pow (2, m) represents 2 to the mth power, and pow (2, n) represents 2 to the nth power.)
実施の形態１と同様に、同時に２枚のピクチャを参照して予測画像を生成するときは式５を使用し、１枚のピクチャのみを参照して予測画像を生成するときは式６もしくは式７を使用する。これらの式では正負の符号を表す識別子が必要となるため、予測演算に必要な重み付け係数セットは、式５および式６の場合は（ｓｉｇｎ１、ｍ、ｓｉｇｎ２、ｎ、ｃ）、式７の場合は（ｓｉｇｎ１、ｍ、ｃ）となる。ｓｉｇｎ１は１つめの正負の符号を、ｓｉｇｎ２は２つめの正負の符号を識別するパラメータである。パラメータの個数は実施の形態１よりも増加しているが、ｓｉｇｎ１およびｓｉｇｎ２はそれぞれ１ビットで表現することができるため符号量の増加はほとんど無い。
As in the first embodiment,
ここで、重み付け係数セットを決定し、式５を使用し同時に２枚のピクチャを参照して予測画像を生成するまでの処理の流れについて詳細に説明する。
Here, the flow of processing until the weighted coefficient set is determined and the predicted image is generated with reference to two pictures at the same
まず、予測画像を生成する機能構成が図８である場合について説明する。平均値算出部１０７ａは、線形予測係数記憶部１０９ａより重み付け係数セット（ｓｉｇｎ１＿１，ｍ＿１，ｓｉｇｎ２＿１，ｎ＿１，ｃ＿１）を得る。また、平均値算出部１０７ａは、線形予測係数記憶部１０９ｂより重み付け係数セット（ｓｉｇｎ１＿２，ｍ＿２，ｓｉｇｎ２＿２，ｎ＿２，ｃ＿２）を得る。
First, a case where the functional configuration for generating a predicted image is FIG. 8 will be described. The average
平均値算出部１０７ａは、線形予測係数記憶部１０９ａ、線形予測係数記憶部１０９ｂより得た重み付け係数セットのパラメータ毎の平均値を求め、重み付け係数セット（ｓｉｇｎ１，ｍ，ｓｉｇｎ２，ｎ，ｃ）とする。線形予測演算部１０７ｂは、平均値算出部１０７ａが出力する重み付け係数セット（ｓｉｇｎ１，ｍ，ｓｉｇｎ２，ｎ，ｃ）を基に、式５を用いて予測画像を演算する。
The average
なお、図８に記載した線形予測係数記憶部１０９ａ等より得られる重み付け係数セット（ｗ１＿１，ｗ２＿１，ｃ＿１，ｄ＿１）等は、実施の形態１で説明した式１の場合の例におけるものであり、式５を用いて予測画像を求める場合についてのパラメータについては図示していないが、そのまま置き換えることが可能である。以下に説明する図９、図１０の場合も同様である。
Note that the weighting coefficient sets (w1_1, w2_1, c_1, d_1) and the like obtained from the linear prediction
次に、予測画像を生成する機能構成が図９である場合について説明する。線形予測演算部１０７ｃは、線形予測係数記憶部１０９ａより得た重み付け係数セット（ｓｉｇｎ１＿１，ｍ＿１，ｓｉｇｎ２＿１，ｎ＿１，ｃ＿１）を基に予測画像を演算する。線形予測演算部１０７ｄは、線形予測係数記憶部１０９ｂより得た重み付け係数セット（ｓｉｇｎ１＿２，ｍ＿２，ｓｉｇｎ２＿２，ｎ＿２，ｃ＿２）を基に予測画像を演算する。そして平均値算出部１０７ｅは、線形予測演算部１０７ｃ，１０７ｄのそれぞれが演算した予測画像の各画素の平均を求め、予測画像とする。
Next, the case where the functional configuration for generating a predicted image is shown in FIG. 9 will be described. The linear
この場合、線形予測演算部１０７ｃは、重み付け係数セット（ｓｉｇｎ１＿１，ｍ＿１，ｓｉｇｎ２＿１，ｎ＿１，ｃ＿１）を基に式５を用いて、最初に予測画像を演算するため、乗算を使用することなく、ビットシフト演算で計算することができる。線形予測演算部１０７ｄも同様である。一方、図８の場合であると、最初に重み付け係数セット（ｓｉｇｎ１＿１，ｍ＿１，ｓｉｇｎ２＿１，ｎ＿１，ｃ＿１）と重み付け係数セット（ｓｉｇｎ１＿２，ｍ＿２，ｓｉｇｎ２＿２，ｎ＿２，ｃ＿２）の平均を求めるため、ｍ＿１とｍ＿２の平均値あるいはｎ＿１とｎ＿２の平均値が整数にならない場合があり、すなわち２の指数にあたる部分が整数にならないため、処理量が多くなってしまう可能性がある。また、２の指数にあたる部分が整数になるように丸め処理をおこなうと誤差が大きくなってしまう可能性がある。
In this case, the linear
次に、予測画像を生成する機能構成が図１０（ａ）である場合について説明する。線形予測演算部１０７ｇは、線形予測係数記憶部１０９ｃより得たビットシフト演算に用いられる係数であるパラメータｓｉｇｎ１＿１，ｍ＿１と、線形予測係数記憶部１０９ｃより得たビットシフト演算に用いられる係数であるパラメータｓｉｇｎ２＿２，ｎ＿２と、各線形予測係数記憶部１０９ｃ，１０９ｄより得たパラメータｃ＿１とｃ＿２を平均値算出部１０７ｆが平均して求めた平均値ｃとを基に式５を用いて予測画像を演算する。
Next, the case where the functional configuration for generating a predicted image is shown in FIG. The linear prediction calculation unit 107g is a parameter sign1_1, m_1 that is a coefficient used for the bit shift calculation obtained from the linear prediction
この場合においても、ビットシフト演算に用いられる係数は、線形予測係数記憶部１０９ｃあるいは線形予測係数記憶部１０９ｄよりそのまま得た値であるので、式５における２の指数部分が整数となる。そのため、ビットシフト演算で計算することができ、処理量を少なくすることが可能となる。
Also in this case, since the coefficient used for the bit shift calculation is a value obtained from the linear prediction
予測画像を生成する機能構成が図１０（ｂ）である場合について説明する。線形予測演算部１０７ｈは、線形予測係数記憶部１０９ｅより得たパラメータｓｉｇｎ１＿１，ｍ＿１，ｃ＿１と、線形予測係数記憶部１０９ｆより得たパラメータｓｉｇｎ２＿２，ｎ＿２とを基に式５を用いて予測画像を演算する。
A case where the functional configuration for generating a predicted image is shown in FIG. The linear
この場合においても、ビットシフト演算に用いられる係数は、線形予測係数記憶部１０９ｅ、あるいは線形予測係数記憶部１０９ｆよりそのまま得た値であるので、式５における２の指数部分が整数となる。そのため、ビットシフト演算で計算することができ、処理量を少なくすることが可能となる。
Also in this case, since the coefficient used for the bit shift calculation is a value obtained from the linear prediction
図１０（ａ）（ｂ）の場合は、実施の形態１における図１０（ａ）（ｂ）の説明と同様に符号列に付加して送らなくてもよいパラメータがあり、符号列を小さくすることが可能である。 In the case of FIGS. 10 (a) and 10 (b), there is a parameter that does not have to be added to the code string and sent as in the description of FIGS. It is possible.
以上、実施の形態２で説明したような線形予測式を用いると、乗算を使用することなくビットシフト演算で計算することができるため実施の形態１に比べて処理量を大幅に削減することが可能となる。 As described above, when the linear prediction formula as described in the second embodiment is used, calculation can be performed by bit shift calculation without using multiplication, so that the processing amount can be significantly reduced as compared with the first embodiment. It becomes possible.
なお、上記実施の形態では式１、式３、式４の代わりに式５、式６、式７を用い、符号化するパラメータセットも（ｗ１、ｗ２、ｃ、ｄ）の代わりに（ｓｉｇｎ１、ｍ、ｓｉｇｎ２、ｎ、ｃ）を用いて線形予測を行うことによってビットシフト演算のみでの計算を実現し処理量の削減を図っていたが、別のアプローチとして式１、式３、式４および（ｗ１、ｗ２、ｃ、ｄ）をそのまま用いたまま、ｗ１およびｗ２をビットシフト演算可能な値のみ選択可能として制限することによってビットシフト演算のみでの計算を実現し処理量の削減を行うことも可能である。
In the above embodiment,
図１の線形予測係数生成部１１０において、ｗ１およびｗ２の各値を決定する際に、その選択肢としてビットシフト演算可能な値のみを選択し図６および図１２の符号列中のｗ１およびｗ２にそのまま選択された値を記述する。これによって実施の形態１と全く同様の構成のまま線形予測のための処理量の削減を図ることが可能となり、さらに係数の選択肢が制限されることにより係数の決定を容易に行うことが可能となる。
When determining each value of w1 and w2 in the linear prediction
また、さらに限定する方法として、ｗ１およびｗ２を常に１として選択するように制限し、直流成分であるｃ１およびｃ２のみ最適な値を線形予測係数生成部１１０において生成することも可能である。図１１の構成の場合を例にとると、ｒｅｆ１用として（１、ｃ＿１）、ｒｅｆ２用として（１、ｃ＿２）をパラメータセットとして符号化する。この場合、予測画像の画素値Ｐ（ｉ）は、（式１ａ）中のｗ１＿１およびｗ２＿２を１に置き換えた次式により求められる。
Further, as a further limiting method, it is possible to limit w1 and w2 to be always selected as 1, and to generate an optimal value only for the DC components c1 and c2 in the linear prediction
Ｐ(ｉ)＝(Ｑ１(ｉ)＋Ｑ２(ｉ))／ｐｏｗ(２,ｄ)＋（ｃ＿１＋ｃ＿２）／２
（ｐｏｗ(２,ｄ)は２のｄ乗を示す）
P (i) = (Q1 (i) + Q2 (i)) / pow (2, d) + (c_1 + c_2) / 2
(Pow (2, d) indicates 2 to the power of d)
これによって実施の形態１と全く同様の構成のまま線形予測のための処理量を大幅に削減することが可能となり、さらに不確定の係数がｃ＿１およびｃ＿２のみとなるため係数の決定方法の大幅な単純化が可能となる。 This makes it possible to significantly reduce the amount of processing for linear prediction with the same configuration as in the first embodiment, and further, since the uncertain coefficients are only c_1 and c_2, the coefficient determination method is greatly increased. Simplification is possible.
図２４は、ピクチャの符号列のピクチャ共通情報に、線形予測をビットシフト演算のみで行うことが可能であるかを示すフラグｓｆｔ＿ｆｌｇ、および直流成分であるｃのみで線形予測を行うことが可能であるかを示すフラグｄｃ＿ｆｌｇを記述した例を示している。復号化装置ではこれらフラグを参照せずに復号することも可能であるが、これらフラグを参照することにより、ビットシフト演算のみでの線形予測に適した構成での復号を行うことや、直流成分のみでの線形予測に適した構成での復号を行うことが可能となるため、復号化装置の構成によっては非常に重要な情報となる場合がある。 FIG. 24 shows that it is possible to perform linear prediction only on a flag sft_flg indicating whether linear prediction can be performed only by a bit shift operation, and c that is a DC component, in the picture common information of a picture code string. An example in which a flag dc_flg indicating whether or not there is described is shown. The decoding device can also decode without referring to these flags, but by referring to these flags, it is possible to perform decoding with a configuration suitable for linear prediction with only bit shift operation, Since it is possible to perform decoding with a configuration suitable for linear prediction only with this, it may be very important information depending on the configuration of the decoding device.
なお、図２４ではピクチャ共通情報領域とスライスデータ領域とをひとまとめにして符号列としている例を示したが、ピクチャ共通情報領域とスライスデータ領域はそれぞれ独立した符号列とすることも可能であり、この場合も全く同様に扱うことができる。また、図２４の例ではピクチャ共通情報領域にｓｆｔ＿ｆｌｇおよびｄｃ＿ｆｌｇを記述しているが、シーケンス共通情報領域やその他の独立した共通情報領域に記述する場合も全く同
様に扱うことができる。また、これらの２つのフラグは両方同時に使用する場合のみでなく、ｓｆｔ＿ｆｌｇのみもしくはｄｃ＿ｆｌｇのみで使用することも可能であり、それらの場合も同様に扱うことができる。
FIG. 24 shows an example in which the picture common information area and the slice data area are collectively used as a code string. However, the picture common information area and the slice data area can also be independent code strings. This case can be handled in exactly the same way. In the example of FIG. 24, sft_flg and dc_flg are described in the picture common information area. However, the description can be handled in the same manner when described in the sequence common information area and other independent common information areas. These two flags can be used not only when both are used at the same time but also with only sft_flg or dc_flg, and these cases can be handled in the same manner.
（実施の形態３）
本発明の実施の形態３における動画像符号化方法について説明する。なお、符号化装置の構成および符号化の処理の流れおよび参照インデックスの割り当て方法は実施の形態１と全く同様であるため、ここでは説明を省略する。
(Embodiment 3)
A video encoding method according to
従来の技術において説明したように、実施の形態１および実施の形態２のように線形予測係数の重み付け係数セットから求める予測式を用いて予測画像を生成するのではなく、式２ａおよび式２ｂのように予め決めた固定式を用いて予測画像を求める方法があった。この方法を用いると、予測画像を求めるときの重み付け係数セットを符号化して送る必要がないため符号量を削減できるという利点があった。また、線形予測の計算式が単純であるため、少ない処理量で線形予測を大幅に削減することが可能であった。しかし、この固定式を用いた方法であると、選択することのできる線形予測式が式２ａおよび式２ｂの２通りしかないため、予測精度が悪くなってしまうという問題があった。 As described in the prior art, the prediction image is not generated by using the prediction expression obtained from the weighting coefficient set of the linear prediction coefficient as in the first and second embodiments, but instead of the expressions 2a and 2b. As described above, there is a method of obtaining a predicted image using a predetermined fixed formula. When this method is used, there is an advantage that the amount of codes can be reduced because it is not necessary to encode and send a weighting coefficient set for obtaining a predicted image. In addition, since the calculation formula for linear prediction is simple, linear prediction can be significantly reduced with a small amount of processing. However, the method using this fixed formula has a problem that the prediction accuracy deteriorates because there are only two types of linear prediction formulas 2a and 2b that can be selected.
そこで本実施の形態では式２ａ，式２ｂの代わりに式８ａ，８ｂを使用する。これらの式は式２ａ，式２ｂにＣ１およびＣ２を加えたものである。演算としては加算の回数が増加するだけであるため、元の式と比較しても処理量の増加はほとんど無い。このとき、Ｑ１(ｉ)、Ｑ２(ｉ)は参照されたブロックの画素値、Ｐ(ｉ)は符号化対象ブロックの予測画像の画素値とし、Ｃ１、Ｃ２は選択された重み付け係数セットによって与えられる線形予測係数である。 Therefore, in this embodiment, equations 8a and 8b are used instead of equations 2a and 2b. These equations are obtained by adding C1 and C2 to equations 2a and 2b. As the calculation only increases the number of additions, the amount of processing is hardly increased even when compared with the original expression. At this time, Q1 (i) and Q2 (i) are the pixel values of the referenced block, P (i) is the pixel value of the predicted image of the encoding target block, and C1 and C2 are given by the selected weighting coefficient set. Is a linear prediction coefficient.
Ｐ（ｉ）＝２×（Ｑ１（ｉ）＋Ｃ１）−（Ｑ２（ｉ）＋Ｃ２） （式８ａ）
Ｐ（ｉ）＝（Ｑ１（ｉ）＋Ｃ１＋Ｑ２（ｉ）＋Ｃ２）／２ （式８ｂ）
P (i) = 2 × (Q1 (i) + C1) − (Q2 (i) + C2) (Formula 8a)
P (i) = (Q1 (i) + C1 + Q2 (i) + C2) / 2 (Formula 8b)
式８ａ，８ｂは同時に２枚のピクチャを参照して予測画像を生成するときの予測式であるが、１枚のピクチャのみを参照して予測画像を生成するときは実施の形態で説明した式３、式４の代わりに式９を使用する。
Expressions 8a and 8b are prediction expressions when a predicted image is generated by referring to two pictures at the same time. When generating a predicted image by referring to only one picture, the expressions described in the embodiment are used. 3. Instead of
Ｐ（ｉ）＝Ｑ１（ｉ）＋Ｃ１ (式９) P (i) = Q1 (i) + C1 (Formula 9)
この方法を用いるために必要な重み付け係数セットは、ｒｅｆ１用として（Ｃ１）、ｒｅｆ２用として（Ｃ２）のみである。そのため、この方法を用いた場合のピクチャの符号列の例は図１４にようになり、スライスヘッダ領域には線形予測を行うための重み付け係数セット（ｐｓｅｔ０、ｐｓｅｔ１、ｐｓｅｔ２、・・・・）がｒｅｆ１用およびｒｅｆ２用それぞれに記述され、それぞれの重み付け係数セットの中身はＣのみとなる。同様に、図１５は前記スライスヘッダ領域に含まれる重み付け係数セットの例を表に示したものであるが、図７とは異なり、各重み付け係数セットの要素はＣのみとなっている。 The weighting coefficient sets necessary for using this method are only (C1) for ref1 and (C2) for ref2. Therefore, an example of a picture code string when this method is used is as shown in FIG. 14, and weighting coefficient sets (pset0, pset1, pset2,...) For performing linear prediction are shown in the slice header region. It is described for each of ref1 and ref2, and the content of each weighting coefficient set is C only. Similarly, FIG. 15 is a table showing an example of the weighting coefficient set included in the slice header area. Unlike FIG. 7, the element of each weighting coefficient set is C only.
図１６は、図１の線形予測係数生成部１１０、線形予測係数記憶部１０９、および動き補償符号化部１０７における予測画像を生成する機能構成を示した機能ブロック図である。
FIG. 16 is a functional block diagram illustrating a functional configuration for generating a prediction image in the linear prediction
線形予測係数生成部１１０、線形予測係数記憶部１０９ｇ、線形予測係数記憶部１０９ｈ、および線形予測演算部１０７ｉにより予測画像が生成される。
A prediction image is generated by the linear prediction
線形予測係数生成部１１０によって生成された重み付け係数セットは線形予測係数記憶部１０９ｇおよび線形予測係数記憶部１０９ｈに格納されている。動き検出の処理によって決定された第１参照インデックスｒｅｆ１、および第２参照インデックスｒｅｆ２により線形予測係数記憶部１０９ｇおよび１０９ｈよりそれぞれ１つの構成要素のみを持つ重み付け係数セット（Ｃ１）および（Ｃ２）が獲得される。それらの値は線形予測演算部１０７ｉに入力され、式８ａ，式８ｂを用いて線形予測がなされ、予測画像が生成される。
The weighting coefficient set generated by the linear prediction
同様に、１枚のみを参照して線形予測を行う場合は図１６のｒｅｆ１もしくはｒｅｆ２のどちらかのみにより重み付け係数セット（Ｃ１）もしくは（Ｃ２）が獲得され、式９を用いて線形予測がなされ、予測画像が生成される。
Similarly, when performing linear prediction with reference to only one sheet, the weighting coefficient set (C1) or (C2) is acquired only by either ref1 or ref2 in FIG. 16, and linear prediction is performed using
なお、線形予測係数生成部１１０では、ピクチャの特徴を調べることによって重み付け係数セット（Ｃ１）および（Ｃ２）を生成し、図１６で説明した方法を用いて予測画像を作成し、最も予測誤差が最小になるような２つの参照インデックスｒｅｆ１およびｒｅｆ２の組み合わせを決定する。
Note that the linear prediction
このように、本実施の形態では使用するパラメータの数がｒｅｆ１用、ｒｅｆ２用にそれぞれ１つずつのみでよいため、符号化装置においてパラメータの値を決定する処理が容易に行え、さらに符号列に記述するデータの量を削減することができる。また線形予測式も乗算等の複雑な演算を必要としないため、演算量も最小限に抑えることが可能である。また従来の固定式を用いた方法で欠点とされていた予測精度の悪さも、Ｃ１およびＣ２という係数を用いることにより大幅に改善することが可能である。 As described above, in this embodiment, only one parameter is required for each of ref1 and ref2, so that the process of determining the parameter value can be easily performed in the encoding device, and the code string can be further converted into a code string. The amount of data to be written can be reduced. In addition, since the linear prediction formula does not require complicated operations such as multiplication, the amount of calculation can be minimized. Further, the poor prediction accuracy, which has been regarded as a drawback in the conventional method using the fixed formula, can be significantly improved by using the coefficients C1 and C2.
なお、本実施の形態で説明した線形予測の方法は、複数の参照インデックスが同一のピクチャを参照することが可能であるかどうかに関わらず用いることが可能である。 Note that the linear prediction method described in this embodiment can be used regardless of whether a plurality of reference indexes can refer to the same picture.
（実施の形態４）
本発明の実施の形態４における動画像符号化方法について説明する。なお、符号化装置の構成および符号化の処理の流れおよび参照インデックスの割り当て方法は実施の形態１と全く同様であるため、ここでは説明を省略する。
(Embodiment 4)
A moving picture coding method according to
各々のピクチャはピクチャ番号と共に、表示時間もしくはそれに代わるものを示すための表示順情報というものが割り当てられている。図３９は、その１例としてピクチャ番号と表示順情報とを並べて示した図である。表示順情報は表示される順番に従ってある値が割り当てられる。この図の例では、１ピクチャごとに１ずつ増加する値が使用されている。線形予測を行うための式で用いられる係数の値をこれらの表示順情報を用いて生成する方法について実施の形態４において説明する。 Each picture is assigned with a picture number and display order information for indicating a display time or an alternative. FIG. 39 is a diagram showing a picture number and display order information side by side as an example. A certain value is assigned to the display order information according to the display order. In the example of this figure, a value that increases by 1 for each picture is used. A method for generating coefficient values used in an equation for performing linear prediction using the display order information will be described in a fourth embodiment.
実施の形態１では動き補償において予測画像を生成する際に、式１もしくは式３もしくは式４を用いて画素ごとに線形予測を行っている。しかし、これらの線形予測を行うためには係数のデータが必要であり、前記実施の形態では、スライスヘッダ領域に重み付け係数セットとして符号列中に係数のデータを記述し、予測画像の作成に用いていた。しかし、高い符号化効率が得られる反面、重み付け係数セットのデータを作成するための処理が必要となり、また、重み付け係数セットを符号列中に記述することによるビット量の増加も発生する。
In the first embodiment, when a predicted image is generated in motion compensation, linear prediction is performed for each
そこで式１の代わりに式１０、式１１ａ、式１２ａを用いて線形予測を行うことも可能である。これらの式は各々の参照ピクチャが持つ表示順情報のみから重み付け係数を決定することができるため、別途重み付け係数セットを符号化する必要がない。
Therefore, it is also possible to perform linear
このとき、Ｑ１(ｉ)、Ｑ２(ｉ)は参照されたブロックの画素値、Ｐ(ｉ)は符号化対象ブロックの予測画像の画素値とし、Ｖ０、Ｖ１は重み付け係数、Ｔ０は符号化対象ピクチャの表示順情報、Ｔ１は第１参照インデックスによって指定されたピクチャの表示順情報、Ｔ２は第２参照インデックスによって指定されたピクチャの表示順情報である。 At this time, Q1 (i) and Q2 (i) are the pixel values of the referenced block, P (i) is the pixel value of the predicted image of the encoding target block, V0 and V1 are weighting coefficients, and T0 is the encoding target. The display order information of the picture, T1 is the display order information of the picture designated by the first reference index, and T2 is the display order information of the picture designated by the second reference index.
Ｐ(ｉ)＝Ｖ１×Ｑ１(ｉ)＋Ｖ２×Ｑ２(ｉ) （式１０）
Ｖ１＝(Ｔ２−Ｔ０)／(Ｔ２−Ｔ１) （式１１ａ）
Ｖ２＝(Ｔ０−Ｔ１)／(Ｔ２−Ｔ１) （式１２ａ）
P (i) = V1 * Q1 (i) + V2 * Q2 (i) (Formula 10)
V1 = (T2-T0) / (T2-T1) (Formula 11a)
V2 = (T0-T1) / (T2-T1) (Formula 12a)
例として図３９において、符号化対象ピクチャが１６番、第１参照インデックスによって指定されたピクチャが１１番、第２参照インデックスによって指定されたピクチャが１０番とすると、それぞれのピクチャの表示順情報は１５、１３、１０となるため、下記のような線形予測式が決定される。 For example, in FIG. 39, if the encoding target picture is No. 16, the picture specified by the first reference index is No. 11, and the picture specified by the second reference index is No. 10, the display order information of each picture is Since the values are 15, 13, and 10, the following linear prediction formula is determined.
Ｖ１＝(１０−１５)／(１０−１３)＝５／３
Ｖ２＝(１５−１３)／(１０−１３)＝−２／３
Ｐ(ｉ)＝５／３×Ｑ１(ｉ)−２／３×Ｑ２(ｉ)
V1 = (10-15) / (10-13) = 5/3
V2 = (15-13) / (10-13) =-2/3
P (i) = 5/3 × Q1 (i) −2 / 3 × Q2 (i)
式１を用いた重み付け係数セットを用いて線形予測を行う方法と比較すると係数の値の自由度が低いため最適な予測画像の作成は困難と言えるが、式２ａ、式２ｂを用いた２つの式からなる固定式を２枚の参照ピクチャの位置関係によって切り替える方法と比較すると線形予測式としてより効率の良い式を生成することができる。
Compared with the method of performing linear prediction using the weighting coefficient set using
なお、第１参照インデックスおよび第２参照インデックスが同じピクチャを参照している場合は、Ｔ１＝Ｔ２となってしまい、式１１ａ、式１２ａが成立しない。そこで、参照される２枚のピクチャが同じ表示順情報を持つ場合はＶ１およびＶ２の値として１／２を用いて線形予測を行うものとする。その場合の線形予測式は下記のようになる。 When the first reference index and the second reference index refer to the same picture, T1 = T2, and Expressions 11a and 12a are not satisfied. Thus, when two referenced pictures have the same display order information, linear prediction is performed using 1/2 as the values of V1 and V2. In this case, the linear prediction formula is as follows.
Ｖ１＝１／２
Ｖ２＝１／２
Ｐ(ｉ)＝１／２×Ｑ１(ｉ)＋１／２×Ｑ２(ｉ)
V1 = 1/2
V2 = 1/2
P (i) = 1/2 * Q1 (i) + 1/2 * Q2 (i)
また、第１参照インデックスおよび第２参照インデックスが異なるピクチャを参照しているが、それらのピクチャが同じ表示順情報を持つ場合にも、Ｔ１＝Ｔ２となってしまい、式１１ａ、式１２ａが成立しない。このように、参照される２枚のピクチャが同じ表示順情報を持つ場合はＶ１およびＶ２の値として１／２を用いて線形予測を行うものとする。 In addition, when the first reference index and the second reference index refer to different pictures, but these pictures have the same display order information, T1 = T2, and Expressions 11a and 12a are satisfied. do not do. In this way, when two referenced pictures have the same display order information, linear prediction is performed using 1/2 as the values of V1 and V2.
このように、参照される２枚のピクチャが同じ表示順情報を持つ場合には、予め設定された値を係数として用いる構成とすればよい。予め設定された値を係数としては、上記の１／２の例のように同じ重みを有する係数としてもよい。 In this way, when two referenced pictures have the same display order information, a configuration may be adopted in which a preset value is used as a coefficient. The preset value may be a coefficient having the same weight as in the above half example.
ところで、上記の実施の形態のように式１０を用いると、線形予測を行うために乗算および除算が必要となる。式１０による線形予測演算は符号化対象ブロック内の全ての画素に対して演算を行うため、乗算が加わることによる処理量の増加は非常に大きなものとなる。
By the way, when
そこで、実施の形態２の考え方と同様にして、Ｖ１およびＶ２を２のべき乗に近似することにより、線形予測の演算をシフト演算のみで行うことを可能とし、処理量の削減を図ることができる。その場合の線形予測式として、式１１ａ、式１２ａの代わりに式１１ｂ、式１２ｂを用いる。ただし、ｖ１およびｖ２は整数とする。 Therefore, in the same way as the concept of the second embodiment, by approximating V1 and V2 to the power of 2, it is possible to perform the linear prediction operation only by the shift operation and reduce the amount of processing. . As a linear prediction formula in that case, Formula 11b and Formula 12b are used instead of Formula 11a and Formula 12a. However, v1 and v2 are integers.
Ｖ１＝±ｐｏｗ(２，ｖ１)＝ａｐｘ((Ｔ２−Ｔ０)／(Ｔ２−Ｔ１)) （式１１ｂ）
Ｖ２＝±ｐｏｗ(２，ｖ２)＝ａｐｘ((Ｔ０−Ｔ１)／(Ｔ２−Ｔ１)) （式１２ｂ）
（ｐｏｗ(２,ｖ１)は２のｖ１乗を、ｐｏｗ(２,ｖ２)は２のｖ２乗を示す。）
（＝ａｐｘ（）は（）内の値を左辺の値に近似することを示す。）
V1 = ± pow (2, v1) = apx ((T2-T0) / (T2-T1)) (Formula 11b)
V2 = ± pow (2, v2) = apx ((T0-T1) / (T2-T1)) (Formula 12b)
(Pow (2, v1) indicates 2 to the power of v1, and pow (2, v2) indicates the power of 2 to the power of v2.)
(= Apx () indicates that the value in () is approximated to the value on the left side.)
なお、式１１ａ、式１２ａの代わりに式１１ｃ、式１２ｃを用いることも可能である。
ただし、ｖ１は整数とする。
In addition, it is also possible to use Formula 11c and Formula 12c instead of Formula 11a and Formula 12a.
However, v1 is an integer.
Ｖ１＝±ｐｏｗ(２，ｖ１)＝ａｐｘ((Ｔ２−Ｔ０)／(Ｔ２−Ｔ１)) （式１１ｃ）
Ｖ２＝１−Ｖ１ （式１２ｃ）
（ｐｏｗ(２,ｖ１)は２のｖ１乗を示す。）
（＝ａｐｘ（）は（）内の値を左辺の値に近似することを示す。）
V1 = ± pow (2, v1) = apx ((T2-T0) / (T2-T1)) (Formula 11c)
V2 = 1-V1 (Formula 12c)
(Pow (2, v1) indicates 2 to the power of v1.)
(= Apx () indicates that the value in () is approximated to the value on the left side.)
なお、式１１ａ、式１２ａの代わりに式１１ｄ、式１２ｄを用いることも可能である。ただし、ｖ１は整数とする。 In addition, it is also possible to use Formula 11d and Formula 12d instead of Formula 11a and Formula 12a. However, v1 is an integer.
Ｖ１＝１−Ｖ２ （式１１ｄ）
Ｖ２＝±ｐｏｗ(２，ｖ２)＝ａｐｘ((Ｔ０−Ｔ１)／(Ｔ２−Ｔ１)) （式１２ｄ）
（ｐｏｗ(２,ｖ２)は２のｖ２乗を示す。）
（＝ａｐｘ（）は（）内の値を左辺の値に近似することを示す。）
V1 = 1-V2 (Formula 11d)
V2 = ± pow (2, v2) = apx ((T0-T1) / (T2-T1)) (Formula 12d)
(Pow (2, v2) indicates 2 to the square of v2)
(= Apx () indicates that the value in () is approximated to the value on the left side.)
なお、２のべき乗への近似の方法は、式１１ｂを例にとると、ｖ１の値を１ずつ変化させたとき、±ｐｏｗ(２，ｖ１)と(Ｔ２−Ｔ０)／(Ｔ２−Ｔ１)とが最も近くなるときの±ｐｏｗ(２，ｖ１)の値とする。 As an approximation method to the power of 2, taking Expression 11b as an example, when the value of v1 is changed by 1, ± pow (2, v1) and (T2-T0) / (T2-T1) Is the value of ± pow (2, v1) when.
例として図３９において、符号化対象ピクチャが１６番、第１参照インデックスによって指定されたピクチャが１１番、第２参照インデックスによって指定されたピクチャが１０番とすると、それぞれのピクチャの表示順情報は１５、１３、１０となるため、(Ｔ２−Ｔ０)／(Ｔ２−Ｔ１)および±ｐｏｗ(２，ｖ１)は下記のようになる。 For example, in FIG. 39, if the encoding target picture is No. 16, the picture specified by the first reference index is No. 11, and the picture specified by the second reference index is No. 10, the display order information of each picture is Since it is 15, 13, and 10, (T2-T0) / (T2-T1) and ± pow (2, v1) are as follows.
(Ｔ２−Ｔ０)／(Ｔ２−Ｔ１)＝(１０−１５)／(１０−１３)＝５／３
＋ｐｏｗ(２，０)＝１、＋ｐｏｗ(２，１)＝２
(T2-T0) / (T2-T1) = (10-15) / (10-13) = 5/3
+ Pow (2,0) = 1, + pow (2,1) = 2
５／３は１よりも２に近いため、近似の結果Ｖ１＝２となる。 Since 5/3 is closer to 2 than 1, the approximation result V1 = 2.
また、別の近似の方法として、表示順情報Ｔ１およびＴ２の２つの値の関係によって切り上げによる近似、切り下げによる近似を切り替えることも可能である。 As another approximation method, the approximation by rounding up and the approximation by rounding down can be switched according to the relationship between the two values of the display order information T1 and T2.
その場合、Ｔ１がＴ２よりも時間的に後方にある場合は、Ｖ１およびＶ２の両者に対して切り上げによる近似を行い、Ｔ１がＴ２よりも時間的に前方にある場合は、Ｖ１およびＶ２の両者に対して切り下げによる近似を行う。逆に、Ｔ１がＴ２よりも時間的に後方にある場合は、Ｖ１およびＶ２の両者に対して切り下げによる近似を行い、Ｔ１がＴ２よりも時間的に前方にある場合は、Ｖ１およびＶ２の両者に対して切り上げによる近似を行うことも可能である。 In that case, when T1 is temporally behind T2, both V1 and V2 are approximated by rounding up. When T1 is temporally ahead of T2, both V1 and V2 are approximated. Is approximated by rounding down. Conversely, if T1 is behind T2 in time, both V1 and V2 are approximated by rounding down. If T1 is ahead in time from T2, both V1 and V2 are approximated. It is also possible to approximate by rounding up.
また、別の表示順情報を用いた近似の方法として、Ｔ１がＴ２よりも時間的に後方にある場合は、Ｖ１に関する式においては切り上げによる近似を行い、Ｖ２に関する式においては切り下げによる近似を行う。これにより２つの係数の値が互いに離れるため、外挿補間に適した値が得られやすくなる。逆に、Ｔ１がＴ２よりも時間的に前方にある場合は、Ｖ１に関する式とＶ２に関する式とでその両者の値を比較したときに、値の小さい方は切り上げによる近似を行い、値の大きい方は切り下げによる近似を行う。これにより２つの係数の値が互いに近づくため、内挿補間に適した値が得られやすくなる。 Further, as another approximation method using display order information, when T1 is temporally behind T2, approximation is performed by rounding up in the formula for V1, and approximation by rounding down is performed in the formula for V2. . As a result, the values of the two coefficients are separated from each other, making it easy to obtain a value suitable for extrapolation. Conversely, when T1 is temporally ahead of T2, when the values of V1 and V2 are compared, the smaller value is approximated by rounding up, and the value is larger. The method is approximated by rounding down. As a result, since the values of the two coefficients are close to each other, it is easy to obtain a value suitable for interpolation.
例として図３９において、符号化対象ピクチャが１６番、第１参照インデックスによって指定されたピクチャが１１番、第２参照インデックスによって指定されたピクチャが１０番とすると、それぞれのピクチャの表示順情報は１５、１３、１０となり、Ｔ１はＴ２よりも時間的に後方にあるため、Ｖ１に関する式においては切り上げによる近似を行い、Ｖ２に関する式においては切り下げによる近似を行う。その結果、式１１ｂおよび式１２ｂは下記のように計算される。 For example, in FIG. 39, if the encoding target picture is No. 16, the picture specified by the first reference index is No. 11, and the picture specified by the second reference index is No. 10, the display order information of each picture is 15, 13 and 10, and T1 is behind the time T2, so the approximation for the V1 is approximated by rounding up, and the formula for V2 is approximated by rounding down. As a result, Equations 11b and 12b are calculated as follows.
(1)式１１ｂについて
(Ｔ２−Ｔ０)／(Ｔ２−Ｔ１)＝(１０−１５)／(１０−１３)＝５／３
＋ｐｏｗ(２，０)＝１、＋ｐｏｗ(２，１)＝２
(1) About Formula 11b
(T2-T0) / (T2-T1) = (10-15) / (10-13) = 5/3
+ Pow (2,0) = 1, + pow (2,1) = 2
切り上げによる近似を行った結果Ｖ１＝２となる。 As a result of approximation by rounding up, V1 = 2.
(2)式１２ｂについて
(Ｔ０−Ｔ１)／(Ｔ２−Ｔ１)＝(１５−１３)／(１０−１３)＝−２／３
−ｐｏｗ(２，０)＝−１、−ｐｏｗ(２，−１)＝−１／２
(2) About Formula 12b
(T0-T1) / (T2-T1) = (15-13) / (10-13) =-2/3
-Pow (2,0) =-1, -pow (2, -1) =-1/2
切り下げによる近似を行った結果Ｖ２＝−１となる。なお、上記実施の形態では線形予測の式は式１０の１つであったが、従来の技術で説明した式２ａおよび式２ｂの２つの式からなる固定式による線形予測方法と組み合わせて用いることも可能である。その場合、式２ａの代わりに式１０を使用し、式２ｂはそのまま使用する。つまり、第１参照インデックスによって指定されるピクチャが第２参照インデックスによって指定されるピクチャよりも表示順において後ろにある場合は式１０を使用し、それ以外の場合は式２ｂを使用する。
As a result of approximation by rounding down, V2 = -1. In the above embodiment, the linear prediction formula is one of the
また逆に、式２ｂの代わりに式１０を使用し、式２ａはそのまま使用することも可能である。つまり、第１参照インデックスによって指定されるピクチャが第２参照インデックスによって指定されるピクチャよりも表示順において後ろにある場合は式２ａを使用し、それ以外の場合は式１０を使用する。ただし、このとき参照される２枚のピクチャが同じ表示順情報を持つ場合はＶ１およびＶ２の値として１／２を用いて線形予測を行う。
On the contrary, it is also possible to use
また、実施の形態３の考え方と同様にして、係数Ｃのみをスライスヘッダ領域に記述して線形予測に使用することも可能である。その場合、式１０の代わりに式１３を用いる。Ｖ１およびＶ２の求め方は上記実施の形態と同様である。
Similarly to the concept of the third embodiment, it is also possible to describe only the coefficient C in the slice header area and use it for linear prediction. In that case,
Ｐ(ｉ)＝Ｖ１×(Ｑ１(ｉ)＋Ｃ１)＋Ｖ２×(Ｑ２(ｉ)＋Ｃ２) （式１３） P (i) = V1 × (Q1 (i) + C1) + V2 × (Q2 (i) + C2) (Formula 13)
係数を生成するための処理が必要になり、さらに、スライスヘッダ領域に係数データを符号化する必要があるが、Ｖ１およびＶ２の精度が低い場合でもＣ１およびＣ２を用いることによってより高い精度の線形予測を行うことが可能となる。特にＶ１およびＶ２を２のべき乗に近似して線形予測を行う場合において有効である。 A process for generating coefficients is required, and further, coefficient data needs to be encoded in the slice header area. Even when the accuracy of V1 and V2 is low, higher accuracy linearity is obtained by using C1 and C2. It is possible to make a prediction. This is particularly effective when linear prediction is performed by approximating V1 and V2 to powers of 2.
なお、式１３を用いた場合の線形予測では、１つのピクチャに１つの参照インデックスが割り当てられている場合でも、また、１つのピクチャに複数の参照インデックスが割り当てられている場合でも、同様に扱うことが可能である。
In the linear
なお、式１１ａ、式１２ａ、式１１ｂ、式１２ｂ、式１１ｃ、式１２ｃ、式１１ｄ、式１２ｄの各式の値の計算では、取り得る値の組み合わせがスライスごとにある程度限られているため、スライスを符号化する再に１度だけ演算を行っておけばよく、式１０や式１３のように符号化対象ブロックのすべての画素に対して演算を行う必要はないため、全体の処理量への影響は小さいと考えられる。
In addition, in the calculation of the values of the equations 11a, 12a, 11b, 12b, 11c, 12c, 11d, and 12d, possible combinations of values are limited to some extent for each slice. It is only necessary to perform the calculation once for encoding the slice, and it is not necessary to perform the calculation for all the pixels of the encoding target block as in
なお、本発明の実施の形態における表示順情報は、表示の順番に限定されるものではなく、実際の表示時間や、表示時間に伴って値が大きくなる所定のピクチャを基準とした各ピクチャの参照順序であっても良い。 Note that the display order information in the embodiment of the present invention is not limited to the display order, but the actual display time or the predetermined picture whose value increases with the display time is used as a reference. The reference order may be used.
（実施の形態５）
本発明の実施の形態５における動画像符号化方法について説明する。なお、符号化装置の構成および符号化の処理の流れおよび参照インデックスの割り当て方法は実施の形態１と全く同様であるため、ここでは説明を省略する。
(Embodiment 5)
A video encoding method according to
従来の方法では固定式を用いて予測画像の生成を行う場合と、線形予測係数の重み付け係数セットを用いて予測画像の生成を行う場合とを符号列のピクチャ共通情報部分に記述されるフラグを用いることによって必要に応じて切り替えることを可能としていた。 In the conventional method, a flag described in the picture common information portion of the code string is used to generate a predicted image using a fixed formula and to generate a predicted image using a weighted coefficient set of linear prediction coefficients. By using it, it was possible to switch as needed.
本実施の形態では、さらに実施の形態１から実施の形態４で説明した各種の線形予測方法をフラグを用いて切り替える方法について説明する。 In the present embodiment, a method of switching various linear prediction methods described in the first to fourth embodiments using a flag will be described.
図１７（ａ）は、上記切り替えを制御するための５つのフラグ（ｐ＿ｆｌａｇ、ｃ＿ｆｌａｇ、ｄ＿ｆｌａｇ、ｔ＿ｆｌａｇ、ｓ＿ｆｌａｇ）を符号列中のスライスヘッダ領域に記述する場合の構成である。 FIG. 17A shows a configuration in which five flags (p_flag, c_flag, d_flag, t_flag, s_flag) for controlling the switching are described in a slice header area in the code string.
図１７（ｂ）に示したように、ｐ＿ｆｌａｇは重み付け係数が符号化されているかどうかを示すためのフラグである。また、ｃ＿ｆｌａｇはｒｅｆ１用およびｒｅｆ２用のパラメータのうち、パラメータＣ（Ｃ１およびＣ２）に関するデータのみが符号化されているかどうかを示すフラグである。また、ｔ＿ｆｌａｇは線形予測を行うための重み付け係数を参照ピクチャの表示順情報を用いて生成するかどうかを示すフラグである。また、ｓ＿ｆｌａｇは線形予測を行うための重み付け係数をシフト演算で計算ができるように２のべき乗に近似するかどうかを示すフラグである。 As shown in FIG. 17B, p_flag is a flag for indicating whether or not the weighting coefficient is encoded. C_flag is a flag indicating whether or not only data related to the parameter C (C1 and C2) is encoded among the parameters for ref1 and ref2. Further, t_flag is a flag indicating whether or not a weighting coefficient for performing linear prediction is generated using display order information of reference pictures. Further, s_flag is a flag indicating whether a weighting coefficient for performing linear prediction is approximated to a power of 2 so that it can be calculated by a shift operation.
また、ｄ＿ｆｌａｇは式２ａおよび式２ｂで示されたような、予め設定されている２つの固定式を用いて線形予測を行う際に、ｒｅｆ１によって指定されるピクチャとｒｅｆ２によって指定されるピクチャの時間的な位置関係によって２つの式を切り替えるかどうかを示すフラグである。つまり、このフラグによって切り替えるように指定された場合は、従来の方法と同様に、ｒｅｆ１によって指定されるピクチャがｒｅｆ２によって指定されるピクチャよりも表示順において後にある場合は式２ａを使用し、それ以外の場合は式２ｂを使用して線形予測を行う。一方、このフラグによって切り替えを行わないように指定された場合は、ｒｅｆ１によって指定されるピクチャがｒｅｆ２によって指定されるピクチャの位置関係に関係なく、常に式２ｂを使用して線形予測を行う。 Also, d_flag is the time between the picture specified by ref1 and the picture specified by ref2 when performing linear prediction using two preset fixed expressions as shown in Expression 2a and Expression 2b. It is a flag indicating whether or not two expressions are switched depending on the positional relationship. In other words, if it is specified to switch by this flag, as in the conventional method, if the picture specified by ref1 is later in the display order than the picture specified by ref2, use Equation 2a. Otherwise, linear prediction is performed using Equation 2b. On the other hand, when it is specified not to switch by this flag, linear prediction is always performed using Expression 2b regardless of the positional relationship between the picture specified by ref1 and the picture specified by ref2.
なお、切り替えずに使用する式を式２ｂの代わりに式２ａを用いた場合も同様に扱うことが可能である。 It should be noted that the expression used without switching can be handled in the same manner when the expression 2a is used instead of the expression 2b.
図１に示す符号化装置では動き補償符号化部１０７において、各スライスごとに、重み付け係数セットに関するデータを符号化するか否かを決定し、それに基づいてフラグｐ＿ｆｌａｇの情報を符号列生成部１０３に出力し、図１７（ａ）に示すように符号列中に記述する。これによって、処理能力の高い装置では重み付け係数セットを使用して線形予測を行い、処理能力の低い装置では重み付け係数セットを使用せずに線形予測を行うといった使い分けが可能となる。
In the encoding apparatus shown in FIG. 1, the motion
同様に、図１に示す符号化装置では動き補償符号化部１０７において、各スライスごとに、画像データのＤＣ成分に相当するパラメータＣ（Ｃ１およびＣ２）に関するデータのみ符号化するか否かを決定し、それに基づいてフラグｃ＿ｆｌａｇの情報を符号列生成部１０３に出力し、図１７（ａ）に示すように符号列中に記述する。これによって、処理能力の高い装置では全ての重み付け係数セットを使用して線形予測を行い、処理能力の低い装置では直流成分のみを使用して線形予測を行うといった使い分けが可能となる。
Similarly, in the encoding apparatus shown in FIG. 1, the motion
同様に、図１に示す符号化装置では動き補償符号化部１０７において、各スライスごとに、固定式を使用して線形予測を行う場合に、２つの式を切り替えて符号化するか否かを決定し、それに基づいてフラグｄ＿ｆｌａｇの情報を符号列生成部１０３に出力し、図１７（ａ）に示すように符号列中に記述する。これによって、画面の明度が時間的にほとんど変わらないような場合は片方の固定式のみを用いて線形予測を行い、画面の明度が時間的に変化するような場合は２つの固定式を切り替えて使用して線形予測を行うといった使い分けが可能となる。
Similarly, in the encoding apparatus shown in FIG. 1, in the motion
同様に、図１に示す符号化装置では動き補償符号化部１０７において、各スライスごとに、線形予測を行うための係数を参照ピクチャの表示順情報を用いて生成するか否かを決定し、それに基づいてフラグｔ＿ｆｌａｇの情報を符号列生成部１０３に出力し、図１７（ａ）に示すように符号列中に記述する。これによって、符号量に余裕がある場合は重み付け係数セットを符号化して線形予測を行い、符号量に余裕がない場合は表示順情報から係数を生成して線形予測を行うといった使い分けが可能となる。
Similarly, in the encoding apparatus shown in FIG. 1, the motion
同様に、図１に示す符号化装置では動き補償符号化部１０７において、各スライスごとに、線形予測を行うための係数をシフト演算で計算できるように２のべき乗に近似するか否かを決定し、それに基づいてフラグｓ＿ｆｌａｇの情報を符号列生成部１０３に出力し、図１７（ａ）に示すように符号列中に記述する。これによって、処理能力の高い装置では重み付け係数を近似しないで使用して線形予測を行い、処理能力の低い装置では重み付け係数を２のべき乗に近似して使用しシフト演算で実現できる線形予測を行うといった使い分けが可能となる。
Similarly, in the encoding apparatus shown in FIG. 1, the motion
例えば、(1)（ｐ、ｃ、ｄ、ｔ、ｓ＿ｆｌａｇ）＝（１、０、０、０、１）である場合
は、全ての重み付け係数セットが符号化され、実施の形態２で説明したように、係数を２のべき乗で表すことによりシフト演算のみで線形予測を行い予測画像を生成したことが示される。
For example, when (1) (p, c, d, t, s_flag) = (1, 0, 0, 0, 1), all the weighting coefficient sets are encoded and described in the second embodiment. Thus, by expressing the coefficient as a power of 2, it is indicated that the prediction image is generated by performing the linear prediction only by the shift operation.
また、(2)（ｐ、ｃ、ｄ、ｔ、ｓ＿ｆｌａｇ）＝（１、１、１、０、０）である場合は、パラメータＣ（Ｃ１およびＣ２）に関するデータのみが符号化され、実施の形態３で説明した固定式に係数Ｃを加えることによって予測画像を生成する方法を用い、さらに２つの固定式を切り替えて使用したことが示される。 When (2) (p, c, d, t, s_flag) = (1, 1, 1, 0, 0), only data related to the parameter C (C1 and C2) is encoded, and It is shown that the method of generating a prediction image by adding the coefficient C to the fixed formula described in the third embodiment and switching between two fixed formulas are used.
また、(3)（ｐ、ｃ、ｄ、ｔ、ｓ＿ｆｌａｇ）＝（０、０、０、０、０）である場合は、重み付け係数セットは何も符号化されない。つまり、従来の方法である固定式のうち式２ｂのみを用いた予測画像の生成方法を用いたことが示される。 When (3) (p, c, d, t, s_flag) = (0, 0, 0, 0, 0), no weighting coefficient set is encoded. That is, it is shown that the prediction image generation method using only the equation 2b among the conventional fixed methods is used.
また、(4)（ｐ、ｃ、ｄ、ｔ、ｓ＿ｆｌａｇ）＝（０、０、１、１、１）である場合は、重み付け係数セットは何も符号化されないが、実施の形態４で説明したように、重み付け係数を参照ピクチャの表示順情報から生成し、さらに係数を２のべき乗で近似することによりシフト演算のみで線形予測を行い、さらに２つの固定式を切り替えて使用して予測画像を生成したことが示される。 When (4) (p, c, d, t, s_flag) = (0, 0, 1, 1, 1), no weighting coefficient set is encoded. As described above, the weighting coefficient is generated from the display order information of the reference picture, and further, the coefficient is approximated by a power of 2 to perform linear prediction only by the shift operation, and the two fixed expressions are switched and used as a predicted image. Is generated.
なお、上記実施の形態では各々１ビットからなる５つのフラグ（ｐ＿ｆｌａｇ、ｃ＿ｆｌａｇ、ｄ＿ｆｌａｇ、ｔ＿ｆｌａｇ、ｓ＿ｆｌａｇ）を用いて判別を行っているが、５つのフラグの代わりに５ビットからなる１つのフラグのみで表現することも可能である。また、その場合、５ビットで表現するのではなく可変長符号化を用いて符号化することも可能である。 In the above embodiment, the determination is performed using five flags (p_flag, c_flag, d_flag, t_flag, s_flag) each having one bit, but only one flag having five bits is used instead of the five flags. It can also be expressed as In this case, it is also possible to encode using variable length coding instead of expressing with 5 bits.
なお、上記実施の形態では各々１ビットからなる５つのフラグ（ｐ＿ｆｌａｇ、ｃ＿ｆｌａｇ、ｄ＿ｆｌａｇ、ｔ＿ｆｌａｇ、ｓ＿ｆｌａｇ）を全て用いているが、そのうちの１部分のフラグのみを用いて線形予測方法の切り替えを行う場合も同様に扱うことが可能である。その場合、図１７（ａ）に示したフラグは必要なもののみを符号化して記述することになる。 In the above embodiment, all five flags (p_flag, c_flag, d_flag, t_flag, and s_flag) each consisting of 1 bit are used, but the linear prediction method is switched using only one of the flags. The case can be handled in the same way. In that case, only the necessary flags shown in FIG. 17A are encoded and described.
従来の方法では、固定式を用いた予測画像の生成と、線形予測係数の重み付け係数セットを用いた予測画像の生成とを切り替えるためのフラグを符号列のピクチャ共通情報部分に設けて、ピクチャ単位で切り替えることを可能としていた。しかし、この方法であると、ピクチャ毎にしか予測画像の生成方法を切り替えることができなかった。 In the conventional method, a flag for switching between generation of a prediction image using a fixed expression and generation of a prediction image using a weighted coefficient set of linear prediction coefficients is provided in the picture common information portion of the code string, and It was possible to switch with. However, with this method, the prediction image generation method can be switched only for each picture.
しかし、本実施の形態で説明したように、この切り替えフラグを符号列のスライスヘッダに設けるようにして、ピクチャを構成するスライスごとにいずれの方法で予測画像を生成するかを切り替えることを可能とすることにより、例えば、複雑な画像を持つスライスでは重み付け係数セットを用いた予測画像の生成を行い、単純な画像を持つスライスでは固定式を用いた予測画像の生成を行うことにより、処理量の増加を最小限に抑えつつ画質の向上を図ることが可能となる。 However, as described in the present embodiment, by providing this switching flag in the slice header of the code string, it is possible to switch which method is used to generate a predicted image for each slice constituting the picture. For example, in a slice having a complex image, a prediction image is generated using a weighting coefficient set, and in a slice having a simple image, a prediction image is generated using a fixed formula, thereby reducing the processing amount. It is possible to improve the image quality while minimizing the increase.
なお、上記実施の形態ではスライスヘッダ領域に５つのフラグ（ｐ＿ｆｌａｇ、ｃ＿ｆｌａｇ、ｄ＿ｆｌａｇ、ｔ＿ｆｌａｇ、ｓ＿ｆｌａｇ）を記述してスライスごとに判別を行っているが、ピクチャ共通情報領域にこれらのフラグを記述することにより、ピクチャ単位で切り替えるようにすることも可能である。また、スライスを構成するブロックごとに切り替えフラグを設けることにより、さらにブロック単位で最適な方法で予測画像の生成を行うことも可能である。 In the embodiment described above, five flags (p_flag, c_flag, d_flag, t_flag, s_flag) are described in the slice header area, and discrimination is performed for each slice. However, these flags are described in the picture common information area. Thus, it is also possible to switch in units of pictures. Further, by providing a switching flag for each block constituting the slice, it is possible to generate a predicted image by an optimum method in units of blocks.
なお、本発明の実施の形態における表示順情報は、表示の順番に限定されるものではなく、実際の表示時間や、表示時間に伴って値が大きくなる所定のピクチャを基準とした各ピクチャの参照順序であっても良い。 Note that the display order information in the embodiment of the present invention is not limited to the display order, but the actual display time or the predetermined picture whose value increases with the display time is used as a reference. The reference order may be used.
（実施の形態６）
図2は、本発明の実施の形態６における動画像復号化装置の構成を示すブロック図である。この動画像復号化装置における動画像復号化方法を図２に示したブロック図を用いて（１）復号化の概要、（２）参照インデックス割り当て方法、（３）予測画像生成方法の順で説明する。ただし、以下の説明では実施の形態１の動画像符号化方法で生成された符号列が入力されるものとする。
(Embodiment 6)
FIG. 2 is a block diagram showing a configuration of the moving picture decoding apparatus according to
（１）復号化の概要
まず入力された符号列から符号列解析部２０１によって、スライスヘッダ領域から線形予測用の重み付け係数セットのデータ列、および参照インデックス割り当て用コマンド列を、さらにブロック符号化情報領域から参照インデックスおよび動きベクトル情報および予測残差符号化データ等の各種の情報が抽出される。図６は前記符号化情報が符号列に含まれている様子を示した図である。
(1) Overview of Decoding First, the code
符号列解析部２０１で抽出された線形予測用の重み付け係数セットのデータ列は線形予測係数記憶部２０６に、参照インデックス割り当て用コマンド列は参照インデックス・ピクチャ番号変換部２０７に、参照インデックスは動き補償復号化部２０４に、動きベクトル情報は動きベクトル記憶部２０５に、予測残差符号化信号は予測残差復号化部２０２にそれぞれ出力される。
The data sequence of the weighting coefficient set for linear prediction extracted by the code
予測残差復号化部２０２では入力された残差符号化信号に対して、逆量子化、逆周波数変換等の画像復号化処理を施し残差復号化信号を出力する。加算演算部２０８では前記残差復号化信号と動き補償復号化部２０４から出力される予測画像信号との加算を行い再構成画像信号を生成し、得られた再構成画像信号は以降の画面間予測での参照に使用するため、および表示用に出力するためにピクチャメモリ２０３に格納される。
Prediction
動き補償復号化部２０４では、動きベクトル記憶部２０５から入力される動きベクトルおよび符号列解析部２０１から入力される参照インデックスを用いて、ピクチャメモリ２０３に格納されている再構成画像信号から予測画像に最適な画像領域を取り出す。このとき、参照インデックス・ピクチャ番号変換部２０７において、符号列解析部２０１から与えられた参照インデックスとピクチャ番号との対応を取ることによりピクチャメモリ２０３中の参照ピクチャを指定する。
The motion
参照インデックス・ピクチャ番号変換部２０７における動作の詳細は（２）において詳しく説明する。さらに、得られた画像領域の画素値に対して動き補償復号化部２０４において線形予測による補間処理等の画素値変換処理を施すことによって最終的な予測画像を作成する。その際に使用する線形予測係数は線形予測係数記憶部２０６に格納されているデータから参照インデックスを検索キーとすることによって獲得される。
Details of the operation of the reference index / picture
この予測画像生成方法については（３）において詳しく説明する。
上記の一連の処理によって生成された復号化画像はピクチャメモリ２０３に格納され、表示されるタイミングに従って表示用画像信号として出力される。
This predicted image generation method will be described in detail in (3).
The decoded image generated by the above series of processing is stored in the
以上の処理の流れは画面間予測復号化を行った場合の動作であったが、スイッチ２０９によって画面内予測復号化との切り替えがなされる。画面内復号化を行う場合は、動き補償による予測画像の生成は行わず、同一画面内の復号化済み領域から復号化対象領域の予測画像を生成し加算を行うことによって復号化画像を生成する。復号化画像は画面間予測復号化の場合と同様に、ピクチャメモリ２０３に格納され、表示されるタイミングに従って表示用画像信号として出力される。
The above processing flow is the operation when inter-screen predictive decoding is performed, but switching to intra-screen predictive decoding is performed by the
（２）参照インデックス割り当て方法
次に、図２の参照インデックス・ピクチャ番号変換部２０７における参照インデックス割り当て方法について図３、図４を用いて説明する。
(2) Reference Index Assignment Method Next, a reference index assignment method in the reference index / picture
図３は、ピクチャ番号に対する２つの参照インデックスの割り当て方法を説明するための図である。図のような表示される順に並べられたピクチャ列があったとき、ピクチャ番号は復号化される順番に割り振られている。参照インデックスをピクチャ番号に割り当てるためのコマンドはピクチャをさらに分割した復号化単位であるスライスのヘッダに記述され、１つのスライスを復号化する毎に割り振り方が更新されることになる。前記コマンドは、直前に参照インデックスに割り当てたピクチャ番号と現在割り当てを行っているピクチャ番号との差分値を参照インデックスの数だけ連続して指示するものである。 FIG. 3 is a diagram for explaining a method of assigning two reference indexes to picture numbers. When there are picture sequences arranged in the order of display as shown in the figure, picture numbers are assigned in the order of decoding. A command for assigning a reference index to a picture number is described in the header of a slice, which is a decoding unit obtained by further dividing a picture, and the allocation method is updated every time one slice is decoded. The command sequentially indicates the difference value between the picture number assigned to the reference index immediately before and the picture number currently assigned by the number of reference indexes.
図３の第１参照インデックスの例を用いると、まずコマンドとして"−１"が与えられたので、現在復号化の対象としているピクチャ番号１６番から１を引くことにより、ピクチャ番号１５番が参照インデックス０番に割り当てられる。次に"−４"が与えられたので、直前に割り当てを行ったピクチャ番号１５番から４を引くことにより、ピクチャ番号１１番が参照インデックス１番に割り当てられる。以下同様の処理によって各ピクチャ番号の割り当てが行われる。第２参照インデックスの場合も同様である。
Using the example of the first reference index in FIG. 3, first, “−1” is given as a command. Therefore, by subtracting 1 from the
図３４に示した従来の方法による参照インデックス割り当て方法では、全ての参照インデックスはそれぞれ別々のピクチャ番号に対応付けられている。一方、図３の例では、割り当て方法は従来のものと全く同じ方法を用いているが、コマンドの値を変更することに
より同じピクチャ番号に対して複数の参照インデックス番号が対応付けられている。
In the reference index assignment method according to the conventional method shown in FIG. 34, all reference indexes are associated with different picture numbers. On the other hand, in the example of FIG. 3, although the allocation method is exactly the same as the conventional one, a plurality of reference index numbers are associated with the same picture number by changing the command value.
図４は参照インデックスの割り当てを行った結果を示したものである。各ピクチャ番号には第１参照インデックスおよび第２参照インデックスがそれぞれ独立に割り当てられているが、１つのピクチャ番号に対して複数の参照インデックスが割り当てられているものもあることが分かる。本発明の復号化方法では、この例のように複数の参照インデックスが割り当てられているピクチャ番号が少なくとも１つ以上あるものとする。 FIG. 4 shows the result of assigning a reference index. The first reference index and the second reference index are independently assigned to each picture number, but it can be seen that there are some where a plurality of reference indexes are assigned to one picture number. In the decoding method of the present invention, it is assumed that there are at least one picture number to which a plurality of reference indexes are assigned as in this example.
参照インデックスを参照ピクチャの決定のみに使用する場合であれば、従来の方法のように１つのピクチャ番号に対して１つの参照インデックスを割り当てる方法が最も効率の良い方法である。しかし、参照インデックスを使用して予測画像の生成における線形予測係数の重み付け係数セットを選択する場合は、従来の方法では同じ参照ピクチャを持つブロック全てにおいて同じ線形予測係数を使用しなくてはならないため、最適な予測画像が生成されない可能性が非常に高くなってしまう。そこで、本発明のように１つのピクチャ番号に対して複数の参照インデックスが割り当てることを可能とすることにより、同じ参照ピクチャを持つ場合でも、ブロックごとに複数の線形予測係数の重み付け係数セットの候補の中から最適なものを選択することが可能となり、より予測精度の高い予測画像を生成することが可能となる。 If the reference index is used only for determining the reference picture, a method of assigning one reference index to one picture number as in the conventional method is the most efficient method. However, when using a reference index to select a weighting coefficient set of linear prediction coefficients in generating a predicted image, the conventional method must use the same linear prediction coefficient in all blocks having the same reference picture. Therefore, there is a very high possibility that an optimal predicted image will not be generated. Therefore, by allowing a plurality of reference indexes to be assigned to one picture number as in the present invention, a plurality of linear prediction coefficient weighting coefficient set candidates for each block even when having the same reference picture It is possible to select an optimal one from the above, and it is possible to generate a prediction image with higher prediction accuracy.
なお、以上の説明では全ての参照ピクチャが参照用メモリに蓄積されるものとしてピクチャ番号が与えられている場合の例を示していたが、ピクチャ番号は符号化を行った直前のピクチャが蓄積された場合のみ値が１つずつ増加していくものであり、蓄積されないピクチャがあった場合でも参照用メモリ内ではピクチャ番号の連続性は保たれ、前記方法をそのまま使用することが可能である。 In the above description, an example is shown in which a picture number is given assuming that all reference pictures are stored in the reference memory, but the picture number immediately before encoding is stored. In this case, the value is incremented by one, and even if there is a picture that is not stored, the continuity of picture numbers is maintained in the reference memory, and the method can be used as it is.
（３）予測画像生成方法
次に、図２の動き補償復号化部２０４における予測画像生成方法について図５を用いて説明する。線形予測による予測画像生成方法は従来法と全く同様であるが、同じピクチャに対して複数の参照インデックス番号を対応付けることが可能となったため、線形予測係数を選択する際の自由度が高くなっている。
(3) Predicted Image Generation Method Next, a predicted image generation method in the motion
ピクチャＢ１６は現在復号化の対象としているＢピクチャであり、ブロックＢＬ０１およびブロックＢＬ０２は前記Ｂピクチャに属する復号化対象のブロックである。ＢＬ０１は第１参照ピクチャをピクチャＰ１１、第２参照ピクチャをピクチャＢ１５とし、それぞれのピクチャに属するブロックＢＬ１１およびＢＬ２１を参照して予測画像を作成する。同様にＢＬ０２も第１参照ピクチャをピクチャＰ１１、第２参照ピクチャをピクチャＢ１５とし、それぞれのピクチャに属するブロックＢＬ１２およびＢＬ２２を参照して予測画像を作成する。 A picture B16 is a B picture that is currently subject to decoding, and a block BL01 and a block BL02 are decoding target blocks belonging to the B picture. In BL01, the first reference picture is the picture P11, the second reference picture is the picture B15, and the prediction picture is created by referring to the blocks BL11 and BL21 belonging to the respective pictures. Similarly, BL02 also uses the first reference picture as the picture P11 and the second reference picture as the picture B15, and creates a predicted image by referring to the blocks BL12 and BL22 belonging to the respective pictures.
第１参照ピクチャおよび第２参照ピクチャはＢＬ０１、ＢＬ０２共に同じものを参照しているが、（２）において説明した参照インデックスの割り当て方法を用いることにより、第１参照インデックスｒｅｆ１および第２参照インデックスｒｅｆ２はＢＬ０１とＢＬ０２とで異なる値を取ることが可能となる。図４を例にとると、ピクチャ番号１１に対応する第１参照インデックスは１と３が、ピクチャ番号１５に対応する第２参照インデックスは１と６が割り振られている。その結果、これらの参照インデックスの組み合わせは、（ｒｅｆ１、ｒｅｆ２）＝（１、１）、（１、６）、（３、１）、（３、６）の４通りが考えられ、これらの中から最適な重み付け係数セットを導き出す組み合わせをブロックごとに選択することが可能となっている。図５では例としてＢＬ０１がｒｅｆ１＝１、ｒｅｆ２＝１、ＢＬ０２がｒｅｆ１＝３、ｒｅｆ２＝６としている。
The first reference picture and the second reference picture both refer to the same BL01 and BL02, but by using the reference index assignment method described in (2), the first reference index ref1 and the second reference index ref2 Can take different values for BL01 and BL02. Taking FIG. 4 as an example, 1 and 3 are assigned to the first reference index corresponding to picture
図３５にあるような従来の方法によって対応付けられた参照インデックスの組み合わせでは、図５のような例ではＢＬ０１、ＢＬ０２共に（ｒｅｆ１、ｒｅｆ２）＝（１、１）の組み合わせしか選択できなかったため、選択することのできる線形予測係数の重み付け係数セットも１通りしかなかった。一方、本発明では選択範囲が４通りに拡張されているため、最適な重み付け係数セットが選択できる可能性が高くなると言える。 In the combination of reference indexes associated by the conventional method as shown in FIG. 35, only the combination of (ref1, ref2) = (1, 1) can be selected for both BL01 and BL02 in the example shown in FIG. There was also only one set of linear prediction coefficient weighting coefficients that could be selected. On the other hand, in the present invention, since the selection range is expanded in four ways, it can be said that there is a high possibility that an optimum weighting coefficient set can be selected.
１つのピクチャの符号列は、ピクチャ共通情報領域および複数のスライスデータ領域から構成される。図６はそのうちのスライスデータ領域の構成を示したものである。さらにスライスデータ領域は、スライスヘッダ領域および複数のブロックデータ領域から構成される。ここではブロックデータ領域の例として図５におけるＢＬ０１、ＢＬ０２に対応する各ブロックの領域が示されている。 The code string of one picture is composed of a picture common information area and a plurality of slice data areas. FIG. 6 shows the structure of the slice data area. Furthermore, the slice data area includes a slice header area and a plurality of block data areas. Here, as an example of the block data area, the area of each block corresponding to BL01 and BL02 in FIG. 5 is shown.
ＢＬ０１に含まれるｒｅｆ１およびｒｅｆ２はこのブロックが参照する２枚のピクチャを指し示す第１参照インデックスおよび第２参照インデックスをそれぞれ指示するものである。またスライスヘッダ領域には前記線形予測を行うための重み付け係数セットを与えるためのデータ（ｐｓｅｔ０、ｐｓｅｔ１、ｐｓｅｔ２、・・・・）がｒｅｆ１用およびｒｅｆ２用それぞれに記述されている。このときのｐｓｅｔは（２）で説明した参照インデックスの個数と同じで数だけ設定することができる。つまり、図３のように第１参照インデックス、第２参照インデックスを共に０から９までの１０個を使用した場合は、ｐｓｅｔもｒｅｆ１用、ｒｅｆ２用共に０から９までの１０個を設定することが可能である。 Ref1 and ref2 included in BL01 respectively indicate a first reference index and a second reference index indicating two pictures referred to by this block. In the slice header area, data (pset0, pset1, pset2,...) For giving a weighting coefficient set for performing the linear prediction is described for ref1 and ref2. The number of psets at this time is the same as the number of reference indexes described in (2), and can be set by the number. In other words, when 10 of the first reference index and the second reference index are used from 0 to 9 as shown in FIG. 3, 10 is set from 0 to 9 for both ref1 and ref2. Is possible.
図７は前記スライスヘッダ領域に含まれる前記重み付け係数セットの例を表に示したものである。識別子ｐｓｅｔで示された各々のデータはｗ１、ｗ２、ｃ、ｄの４つ値を持ち、ｒｅｆ１およびｒｅｆ２の値によってダイレクトに参照できるように構成されている。また、スライスヘッダ領域には前記参照インデックスをピクチャ番号に割り当てるためのコマンド列ｉｄｘ＿ｃｍｄ１およびｉｄｘ＿ｃｍｄ２が記述されている。 FIG. 7 is a table showing an example of the weighting coefficient set included in the slice header area. Each data indicated by the identifier pset has four values w1, w2, c, and d, and is configured so that it can be directly referred to by the values of ref1 and ref2. In the slice header area, command strings idx_cmd1 and idx_cmd2 for assigning the reference index to the picture number are described.
図６のＢＬ０１に記述されたｒｅｆ１およびｒｅｆ２によって図７のｒｅｆ１用およびｒｅｆ２用のテーブルからそれぞれ１組の重み付け係数セットが選択される。この２組の重み付け係数セットを用いて参照画像の画素値に対して線形予測を施すことによって予測画像を生成する。 One set of weighting coefficients is selected from the tables for ref1 and ref2 in FIG. 7 by ref1 and ref2 described in BL01 in FIG. A prediction image is generated by performing linear prediction on the pixel value of the reference image using the two sets of weighting coefficient sets.
ここで、重み付け係数セットを決定し予測画像を生成するまでの処理の流れについて詳細に説明する。 Here, the flow of processing from determination of a weighting coefficient set to generation of a predicted image will be described in detail.
図１８は、図２の線形予測係数記憶部２０６と動き補償復号化部２０４における予測画像を生成する機能構成を示した機能ブロック図である。
FIG. 18 is a functional block diagram showing a functional configuration for generating a prediction image in the linear prediction coefficient storage unit 206 and the motion
線形予測係数記憶部２０６ａと、線形予測係数記憶部２０６ｂと、平均値算出部２０４ａと、線形予測演算部２０４ｂにより予測画像が生成される。
A prediction image is generated by the linear prediction
平均値算出部２０４ａは、符号列解析部２０１より出力されるｒｅｆ１によって選択される１組の重み付け係数セット（ｗ１＿１，ｗ２＿１，ｃ＿１，ｄ＿１）を線形予測係数記憶部２０６ａより獲得し、符号列解析部２０１より出力されるｒｅｆ２によって選択される１組の重み付け係数セット（ｗ１＿２，ｗ２＿２，ｃ＿２，ｄ＿２）を線形予測係数記憶部２０６ｂより獲得する。
The average
そして平均値算出部２０４ａは、線形予測係数記憶部２０６ａ，２０６ｂより獲得したそれぞれの重み付け係数セットのパラメータごとの平均を取り、実際に線形予測に使用する重み付け係数セット（ｗ１，ｗ２，ｃ，ｄ）とし、線形予測演算部２０４ｂに出力する。線形予測演算部２０４ｂは、重み付け係数セット（ｗ１，ｗ２，ｃ，ｄ）を基に、式１を用いて予測画像を演算し出力する。
Then, the average
また、図１９は予測画像を生成する他の機能構成を示す機能ブロック図である。線形予測係数記憶部２０６ａ，線形予測係数記憶部２０６ｂ，線形予測演算部２０４ｃ，線形予測演算部２０４ｄ，および平均値算出部２０４ｅにより、予測画像が生成される。
FIG. 19 is a functional block diagram showing another functional configuration for generating a predicted image. A prediction image is generated by the linear prediction
線形予測演算部２０４ｃは、符号列解析部２０１より出力されるｒｅｆ１によって選択される１組の重み付け係数セット（ｗ１＿１，ｗ２＿１，ｃ＿１，ｄ＿１）を線形予測係数記憶部２０６ａより獲得し、その重み付け係数セットを基に、式１を用いて予測画像を演算して平均値算出部２０４ｅに出力する。
The linear prediction calculation unit 204c obtains a set of weighting coefficients (w1_1, w2_1, c_1, d_1) selected by ref1 output from the code
同様に、線形予測演算部２０４ｄは、符号列解析部２０１より出力されるｒｅｆ２によって選択される１組の重み付け係数セット（ｗ１＿２，ｗ２＿２，ｃ＿２，ｄ＿２）を線形予測係数記憶部２０６ｂより獲得し、その重み付け係数セットを基に式１を用いて予測画像を演算して平均値算出部２０４ｅに出力する。
Similarly, the linear
平均値算出部２０４ｅは、線形予測演算部２０４ｃ，線形予測演算部２０４ｄのそれぞれから出力される予測画像の各画素の平均値をとり、最終的な予測画像を生成し出力する。
The average
図２０（ａ）は、予測画像を生成する他の機能構成を示す機能ブロック図である。線形予測係数記憶部２０６ｃ，線形予測係数記憶部２０６ｄ，平均値算出部２０４ｆ，線形予測演算部２０４ｇにより予測画像が生成される。
FIG. 20A is a functional block diagram showing another functional configuration for generating a predicted image. A prediction image is generated by the linear prediction
平均値算出部２０４ｆは、符号列解析部２０１より出力されるｒｅｆ１によって選択される１組の重み付け係数セット（ｗ１＿１、ｗ２＿１，ｃ＿１，ｄ＿１）のうち、ｃ＿１，ｄ＿１のパラメータを線形予測係数記憶部２０６ｃより獲得し、符号列解析部２０１より出力されるｒｅｆ２によって選択される１組の重み付け係数セット（ｗ１＿２、ｗ２＿２，ｃ＿２，ｄ＿２）のうち、ｃ＿２，ｄ＿２のパラメータを線形予測係数記憶部２０６ｄより獲得する。平均値算出部２０４ｆは、線形予測係数記憶部２０６ｃおよび線形予測係数記憶部２０６ｄより獲得したｃ＿１とｃ＿２の平均値と、ｄ＿１とｄ＿２の平均値を算出してｃ、ｄを求め線形予測演算部２０４ｇに出力する。
The average value calculation unit 204f includes the parameters of c_1 and d_1 among the one set of weighting coefficient sets (w1_1, w2_1, c_1, and d_1) selected by ref1 output from the code
また、線形予測演算部２０４ｇは、上記重み付け係数セット（ｗ１＿１、ｗ２＿１，ｃ＿１，ｄ＿１）のうち、ｗ１＿１のパラメータを線形予測係数記憶部２０６ｃより獲得し、上記重み付け係数セット（ｗ１＿２、ｗ２＿２，ｃ＿２，ｄ＿２）のうち、ｗ２＿２のパラメータを線形予測係数記憶部２０６ｄより獲得し、平均値算出部２０４ｆによりそれぞれの平均を求めてｃ、ｄを獲得して、式１を用いて予測画像を演算し出力する。
In addition, the linear
すなわち、線形予測演算部２０４ｇは、線形予測係数記憶部２０６ｃより得られた重み付け係数セット（ｗ１＿１、ｗ２＿１，ｃ＿１，ｄ＿１）と、線形予測係数記憶部２０６ｄより得られた重み付け係数セット（ｗ１＿２、ｗ２＿２，ｃ＿２，ｄ＿２）のうち、実際に線形予測で使用する重み付け係数セット（ｗ１、ｗ２，ｃ，ｄ）を決定する際に、下記の規則を用いている。
That is, the linear
ｗ１＝ｗ１＿１，ｗ２＝ｗ２＿２，ｃ＝（ｃ＿１とｃ＿２の平均），ｄ＝（ｄ＿１とｄ＿２の平均） w1 = w1_1, w2 = w2_2, c = (average of c_1 and c_2), d = (average of d_1 and d_2)
図２０（ｂ）は、予測画像を生成する他の機能構成を示す機能ブロック図である。線形予測係数記憶部２０６ｅ，線形予測係数記憶部２０６ｆ，線形予測演算部２０４ｈにより予測画像が生成される。
FIG. 20B is a functional block diagram showing another functional configuration for generating a predicted image. A prediction image is generated by the linear prediction
線形予測演算部２０４ｈは、符号列解析部２０１より出力されるｒｅｆ１によって選択される１組の重み付け係数セット（ｗ１＿１、ｗ２＿１，ｃ＿１，ｄ＿１）のうちの一部であるｗ１＿１，ｃ＿１，ｄ＿１のパラメータを線形予測係数記憶部２０６ｅより獲得し、符号列解析部２０１より出力されるｒｅｆ２によって選択される１組の重み付け係数セット（ｗ１＿２、ｗ２＿２，ｃ＿２，ｄ＿２）のうちの一部であるｗ２＿２のパラメータを線形予測係数記憶部２０６ｆより獲得する。線形予測演算部２０４ｈは、線形予測係数記憶部２０６ｅ，線形予測係数記憶部２０６ｆより獲得したｗ１＿１，ｃ＿１，ｄ＿１，ｗ２＿２を基に、式１を用いて、予測画像を演算し出力する。
The linear
すなわち、線形予測演算部２０４ｈは、線形予測係数記憶部２０６ｅより得られた重み付け係数セット（ｗ１＿１、ｗ２＿１，ｃ＿１，ｄ＿１）と、線形予測係数記憶部２０６ｆより得られた重み付け係数セット（ｗ１＿２、ｗ２＿２，ｃ＿２，ｄ＿２）のうち、実際に線形予測で使用する重み付け係数セット（ｗ１、ｗ２，ｃ，ｄ）を決定する際に、下記の規則を用いている。
That is, the linear
ｗ１＝ｗ１＿１，ｗ２＝ｗ２＿２，ｃ＝ｃ＿１，ｄ＝ｄ＿１ w1 = w1_1, w2 = w2_2, c = c_1, d = d_1
また、ｗ１、ｗ２、ｃ、ｄのパラメータのうちの１つもしくは複数個を固定の値として使用することも可能である。図２１は図２０（ａ）における機能構成に対して、ｄのみを固定の値として使用した場合の機能ブロック図である。線形予測係数記憶部２０６ｇ，線形予測係数記憶部２０６ｈ，平均値算出部２０４ｉ、線形予測演算部２０４ｊにより予測画像が生成される。
It is also possible to use one or more of the parameters w1, w2, c, and d as fixed values. FIG. 21 is a functional block diagram when only d is used as a fixed value for the functional configuration in FIG. A prediction image is generated by the linear prediction
第１参照インデックスｒｅｆ１によって線形予測係数記憶部２０６ｇから選択される係数は（ｗ１＿１、ｃ＿１）のみであり、第２参照インデックスｒｅｆ２によって線形予測係数記憶部２０６ｈから選択される係数は（ｗ２＿２、ｃ＿２）のみである。平均値算出部２０４ｉは、線形予測係数記憶部２０６ｇおよび線形予測係数記憶部２０６ｈより獲得したｃ＿１とｃ＿２の平均値を算出してｃを求め線形予測算出部２０４ｊに出力する。
The coefficients selected from the linear prediction
また、線形予測演算部２０４ｊは、ｗ１＿１のパラメータを線形予測係数記憶部２０６ｇより獲得し、ｗ２＿２のパラメータを線形予測係数記憶部２０６ｈより獲得し、ｃのパラメータを平均値算出部２０４ｉより獲得し、ｄのパラメータとして予め決められたある固定の値を使用し、式１を用いて予測画像を算出し出力する。この場合式１は実施の形態１で説明した通り式１ｂのようにして変形して扱うことも可能である。
The linear prediction calculation unit 204j acquires the w1_1 parameter from the linear prediction
なお、ｄの値として使用する予め決定された固定の値とは、常に同じ値を使用することも可能であるが、符号化装置においてスライスヘッダに前記固定の値が記述されている場合は、符号列解析部２０１において前記固定の値を抽出することによりスライスごとに切り替えることも可能である。同様に、ピクチャ共通情報領域またはシーケンス共通情報領域に記述することによりピクチャごとまたはシーケンスごとに切り替えることも可能である。
It is possible to always use the same fixed value as the predetermined fixed value used as the value of d, but when the fixed value is described in the slice header in the encoding device, It is also possible to switch for each slice by extracting the fixed value in the code
なお、上記の復号化方法は２つの参照ピクチャをもつＢピクチャに関するものであったが、１つの参照ピクチャしか持たないＰピクチャおよびＢピクチャにおける単一ピクチャ参照復号化モードにおいても同様の処理を行うことが可能である。この場合は第１参照インデックスもしくは第２参照インデックスのどちらか一方のみを使用し、図６の符号列におけるスライスヘッダ領域中のｐｓｅｔおよびｉｄｘ＿ｃｍｄは、ブロックデータ領域中に記述される参照インデックスに従って、ｒｅｆ１用もしくはｒｅｆ２用のもののみを記述することになる。また、線形予測の方法は従来の方法で説明した式１に替えて式３もしくは式４を使用する。
Although the above decoding method is related to a B picture having two reference pictures, the same processing is performed in a single picture reference decoding mode for a P picture and a B picture having only one reference picture. It is possible. In this case, only one of the first reference index and the second reference index is used, and pset and idx_cmd in the slice header area in the code string of FIG. 6 are ref1 according to the reference index described in the block data area. Only those for ref2 or ref2. In addition, the linear prediction method uses
式１および式３を使用する場合は、ｗ１、ｗ２、ｃ、ｄの４つのパラメータが必要だったが、式４を使用する場合は、ｗ１、ｃ、ｄの３つのパラメータのみで線形予測を行うことができる。つまり、Ｐピクチャのようにピクチャ全体で第１参照インデックスもしくは第２参照インデックスのどちらか一方のみしか使用されない場合は、スライスヘッダ領域に記述する重み付け係数セットのデータの項目数をそれぞれ３つずつに減らすことが可能となる。
When using
式３を用いた場合はＢピクチャとＰピクチャとで構成を変更せずに両方に対応した線形予測を実現することが可能となる。また、式４を用いた場合はＰピクチャのヘッダ領域に記述するデータ量を削減することができ、さらに計算が単純化されるため処理量の削減も実現することが可能となる。ただし、いずれの方法においても、本発明において提案する参照インデックスの割り振り方法はそのまま適用することができるため、予測精度の高い予測画像を作成することが可能であり、画像の復号化において非常に有効である。
When
ところで、動き補償において参照するピクチャは、各々のピクチャに割り当てられた参照インデックスを指定することによって決定される。その際に、参照することが可能なピクチャの最大枚数を符号列のピクチャ共通情報部分に記述していた。 By the way, a picture to be referred to in motion compensation is determined by designating a reference index assigned to each picture. At that time, the maximum number of pictures that can be referred to is described in the picture common information portion of the code string.
図３８は、参照することが可能なピクチャの最大枚数を記述した符号列の模式図である。図に示すように符号列のピクチャ共通情報にｒｅｆ１用のピクチャの最大数Ｍａｘ＿ｐｉｃ１と、ｒｅｆ２用のピクチャの最大数Ｍａｘ＿ｐｉｃ２を記述していた。 FIG. 38 is a schematic diagram of a code string describing the maximum number of pictures that can be referred to. As shown in the figure, the maximum number of pictures ref1 Max_pic1 and the maximum number of pictures ref2 Max_pic2 are described in the picture common information of the code string.
復号化において必要とする情報は、実際のピクチャの最大枚数ではなく、ピクチャを指定するために使用する参照インデックスの取り得る最大値である。 The information necessary for decoding is not the actual maximum number of pictures, but the maximum value that can be taken by the reference index used to specify a picture.
従来の方法では、１つのピクチャには１つの参照インデックスしか割り当てられなかったため、前述のピクチャの最大枚数を記述することによって矛盾は生じなかったが、特に本発明のように、ピクチャ番号に複数の参照インデックスが割り当てられる場合には、その違いが大きく影響する。 In the conventional method, since only one reference index is assigned to one picture, there is no contradiction by describing the maximum number of pictures as described above. However, as in the present invention, there are a plurality of picture numbers. When a reference index is assigned, the difference greatly affects.
上述したように、符号列には参照インデックスをピクチャ番号に割り当てるためにコマンド列ｉｄｘ＿ｃｍｄ１、およびｉｄｘ＿ｃｍｄ２が記述されている。このコマンド列ｉｄｘ＿ｃｍｄ１、およびｉｄｘ＿ｃｍｄ２の各コマンドを基に、ピクチャ番号と参照インデックスとを対応づけていく。このときに、参照インデックスの最大値を知ることで、すべての参照インデックスとピクチャ番号との対応づけが行われたことがわかり、コマンド列ｉｄｘ＿ｃｍｄ１、およびｉｄｘ＿ｃｍｄ２におけるコマンドの終端を知ることができる。 As described above, the command strings idx_cmd1 and idx_cmd2 are described in the code string in order to assign the reference index to the picture number. Based on the commands in the command sequences idx_cmd1 and idx_cmd2, the picture number and the reference index are associated with each other. At this time, by knowing the maximum value of the reference index, it can be seen that all the reference indexes are associated with the picture numbers, and the end of the command in the command strings idx_cmd1 and idx_cmd2 can be known.
そこで、本実施の形態では、従来のピクチャの最大枚数の代わりに、利用可能な参照インデックスの最大数をピクチャのヘッダであるピクチャ共通情報部分に記述している。もしくは、ピクチャの最大枚数と参照インデックスの最大数の両者を記述する。 Therefore, in the present embodiment, instead of the conventional maximum number of pictures, the maximum number of reference indexes that can be used is described in the picture common information portion that is the header of the picture. Alternatively, both the maximum number of pictures and the maximum number of reference indexes are described.
図２３は、ピクチャの符号列のピクチャ共通情報に参照インデクッスの最大数を記述した状態を示している。ピクチャの共通情報部分には、ｒｅｆ１用の利用可能な参照インデックスの最大数Ｍａｘ＿ｉｄｘ１、およびｒｅｆ２用の利用可能な参照インデックスの最大数Ｍａｘ＿ｉｄｘ２を記述している。 FIG. 23 shows a state in which the maximum number of reference indexes is described in the picture common information of the picture code string. In the common information portion of the picture, the maximum number of reference indexes Max_idx1 that can be used for ref1 and the maximum number of reference indexes that can be used Max2 for ref2 are described.
なお、図２３では、ピクチャ共通情報に参照インデクッスの最大数を記述しているが、これに加えて、スライスデータ領域に参照インデクッスの最大数を記述する構成としてもよい。例えば、ピクチャでの参照インデクッスの最大数が８、当該ピクチャ中のスライス１で必要な参照インデクッスの最大数が８、スライス２で必要な参照インデクッスの最大数が４であるというように、スライスによって必要な参照インデクッスの最大数がピクチャ共通情報領域に記述された最大数と異なる場合に、スライス毎に必要な参照インデクッスの最大数を明示することができる。
In FIG. 23, the maximum number of reference indexes is described in the picture common information. However, in addition to this, the maximum number of reference indexes may be described in the slice data area. For example, the maximum number of reference indexes in a picture is 8, the maximum number of reference indexes required in
すなわち、ピクチャ共通情報に記述された参照インデクッスの最大数をピクチャ中の各スライスに共通するデフォルト値として、必要な参照インデクッスの最大数がデフォルト値と異なるスライスについてはスライスヘッダに記述するようにしてもよい。 In other words, the maximum number of reference indexes described in the picture common information is set as a default value common to each slice in the picture, and a slice in which the required maximum number of reference indexes is different from the default value is described in the slice header. Also good.
なお、図２３および図３８ではピクチャ共通情報領域とスライスデータ領域とをひとまとめにして符号列としている例を示したが、ピクチャ共通情報領域とスライスデータ領域はそれぞれ独立した符号列とすることも可能であり、この場合も全く同様に扱うことができる。 23 and 38 show an example in which the picture common information area and the slice data area are collectively used as a code string. However, the picture common information area and the slice data area may be independent code strings. This case can be handled in exactly the same way.
（実施の形態７）
本発明の実施の形態７における動画像復号化方法について説明する。なお、復号化装置の構成および復号化の処理の流れおよび参照インデックスの割り当て方法は実施の形態６と全く同様であるため、ここでは説明を省略する。
(Embodiment 7)
The moving picture decoding method in
実施の形態６では動き補償において予測画像を生成する際に、式１もしくは式３もしくは式４を用いて画素ごとに線形予測を行っている。しかし、これらの式はいずれも乗算処理を含むものであり、全ての画素に対してこのような演算を行うことを考えると、処理量が非常に大きくなってしまう。
In the sixth embodiment, when a predicted image is generated in motion compensation, linear prediction is performed for each
そこで式１の代わりに式５、式３の代わりに式６、式４の代わりに式７を使用することも可能である。これらの式は乗算を使用することなくビットシフト演算のみで計算を行うことができるため、処理量を少なく抑えることが可能となる。
Therefore, it is also possible to use
実施の形態６と同様に、同時に２枚のピクチャを参照して予測画像を生成するときは式５を使用し、１枚のピクチャのみを参照して予測画像を生成するときは式６もしくは式７を使用する。これらの式では正負の符号を表す識別子が必要となるため、予測演算に必要な重み付け係数セットは、式５および式６の場合は（ｓｉｇｎ１、ｍ、ｓｉｇｎ２、ｎ、ｃ）、式７の場合は（ｓｉｇｎ１、ｍ、ｃ）となる。ｓｉｇｎ１は１つめの正負の符号を、ｓｉｇｎ２は２つめの正負の符号を識別するパラメータとする。パラメータの個数は実施の形態３よりも増加しているが、ｓｉｇｎ１およびｓｉｇｎ２はそれぞれ１ビットで表現することができるため符号量の増加はほとんど無い。
As in the sixth embodiment,
ここで、重み付け係数セットを決定し、式５を使用し同時に２枚のピクチャを参照して予測画像を生成するまでの処理の流れについて詳細に説明する。
Here, the flow of processing until the weighted coefficient set is determined and the predicted image is generated with reference to two pictures at the same
まず、予測画像を生成する機能構成が図１８である場合について説明する。平均値算出部２０４ａは、線形予測係数記憶部２０６ａより重み付け係数セット（ｓｉｇｎ１＿１，ｍ＿１，ｓｉｇｎ２＿１，ｎ＿１，ｃ＿１）を得る。また、平均値算出部２０４ａは、線形予測係数記憶部２０６ｂより重み付け係数セット（ｓｉｇｎ１＿２，ｍ＿２，ｓｉｇｎ２＿２，ｎ＿２，ｃ＿２）を得る。
First, the case where the functional configuration for generating a predicted image is shown in FIG. 18 will be described. The average
平均値算出部２０４ａは、線形予測係数記憶部２０６ａ，線形予測係数記憶部２０６ｂより得た重み付け係数セットのパラメータ毎の平均値を求め、重み付け係数セット（ｓｉｇｎ１，ｍ，ｓｉｇｎ２，ｎ，ｃ）とする。線形予測演算部２０４ｂは、平均値算出部２０４ａが出力する重み付け係数セット（ｓｉｇｎ１，ｍ，ｓｉｇｎ２，ｎ，ｃ）を基に、式５を用いて予測画像を演算する。
The average
なお、図１８に記載した線形予測係数記憶部２０６ａ等より得られる重み付け係数セット（ｗ１＿１，ｗ２＿１，ｃ＿１，ｄ＿１）等は、実施の形態６で説明した式１の場合の例におけるものであり、式５を用いて予測画像を求める場合についてのパラメータについては図示していないがそのまま置き換えることが可能である。以下に説明する図１９、図２０の場合も同様である。
Note that the weighting coefficient sets (w1_1, w2_1, c_1, d_1) and the like obtained from the linear prediction
次に、予測画像を生成する機能構成が図１９である場合について説明する。線形予測演算部２０４ｃは、線形予測係数記憶部２０６ａより得た重み付け係数セット（ｓｉｇｎ１＿１，ｍ＿１，ｓｉｇｎ２＿１，ｎ＿１，ｃ＿１）を基に予測画像を演算する。線形予測演算部２０４ｄは、線形予測係数記憶部２０６ｂより得た重み付け係数セット（ｓｉｇｎ１＿２，ｍ＿２，ｓｉｇｎ２＿２，ｎ＿２，ｃ＿２）を基に予測画像を演算する。そして平均値算出部２０４ｅは、線形予測演算部２０４ｃ，２０４ｄのそれぞれが演算した予測画像の各画素の平均を求め、予測画像とする。
Next, a case where the functional configuration for generating a predicted image is FIG. 19 will be described. The linear prediction calculation unit 204c calculates a prediction image based on the weighting coefficient set (sign1_1, m_1, sign2_1, n_1, c_1) obtained from the linear prediction
この場合、線形予測演算部２０４ｃは、重み付け係数セット（ｓｉｇｎ１＿１，ｍ＿１，ｓｉｇｎ２＿１，ｎ＿１，ｃ＿１）を基に式５を用いて、最初に予測画像を演算するため、乗算を使用することなく、ビットシフト演算で計算することができる。線形予測演算部２０４ｄも同様である。一方、図１８の場合であると、最初に重み付け係数セット（ｓｉｇｎ１＿１，ｍ＿１，ｓｉｇｎ２＿１，ｎ＿１，ｃ＿１）と重み付け係数セット（ｓｉｇｎ１＿２，ｍ＿２，ｓｉｇｎ２＿２，ｎ＿２，ｃ＿２）の平均を求めるため、ｍ＿１とｍ＿２の平均値あるいはｎ＿１とｎ＿２の平均値が整数にならない場合があり、すなわち２の指数にあたる部分が整数にならないため、処理量が多くなってしまう可能性がある。また、２の指数にあたる部分が整数になるように丸め処理をおこなうと誤差が大きくなってしまう可能性がある。
In this case, the linear prediction calculation unit 204c first calculates a predicted
次に、予測画像を生成する機能構成が図２０（ａ）である場合について説明する。線形予測演算部２０４ｇは、線形予測係数記憶部２０６ｃより得たビットシフト演算に用いられる係数であるパラメータｓｉｇｎ１＿１，ｍ＿１と、線形予測係数記憶部２０６ｃより得たビットシフト演算に用いられる係数であるパラメータｓｉｇｎ２＿２，ｎ＿２と、各線形予測係数記憶部２０６ｃ，２０６ｄより得たパラメータｃ＿１とｃ＿２を平均値算出部２０４ｆが平均して求めた平均値ｃとを基に式９を用いて予測画像を演算する。
Next, the case where the functional configuration for generating a predicted image is shown in FIG. The linear
この場合においても、ビットシフト演算に用いられる係数は、線形予測係数記憶部２０６ｃあるいは線形予測係数記憶部２０６ｄよりそのまま得た値であるので、式５における２の指数部分が整数となる。そのため、ビットシフト演算で計算することができ、処理量を少なくすることが可能となる。
Also in this case, since the coefficient used for the bit shift calculation is a value obtained from the linear prediction
予測画像を生成する機能構成が図２０（ｂ）である場合について説明する。線形予測演算部２０４ｈは、線形予測係数記憶部２０６ｅより得たパラメータｓｉｇｎ１＿１，ｍ＿１，ｃ＿１と、線形予測係数記憶部２０６ｆより得たパラメータｓｉｇｎ２＿２，ｎ＿２とを基に式９を用いて予測画像を演算する。
A case where the functional configuration for generating a predicted image is shown in FIG. The linear
この場合においても、ビットシフト演算に用いられる係数は、線形予測係数記憶部２０６ｅ、あるいは線形予測係数記憶部２０６ｆよりそのまま得た値であるので、式５における２の指数部分が整数となる。そのため、ビットシフト演算で計算することができ、処理量を少なくすることが可能となる。
Also in this case, since the coefficient used for the bit shift calculation is a value obtained from the linear prediction
図２０（ａ）（ｂ）の場合は、実施の形態３における図１０（ａ）（ｂ）の説明と同様に符号列に付加して送らなくてもよいパラメータがあり、符号列を小さくすることが可能である。 In the case of FIGS. 20A and 20B, there is a parameter that does not have to be added to the code string and sent as in the description of FIGS. It is possible.
以上、実施の形態７で説明したような線形予測式を用いると、乗算を使用することなくビットシフト演算で計算することができるため実施の形態６に比べて処理量を大幅に削減することが可能となる。 As described above, when the linear prediction formula as described in the seventh embodiment is used, calculation can be performed by bit shift calculation without using multiplication, so that the processing amount can be significantly reduced as compared with the sixth embodiment. It becomes possible.
なお、上記実施の形態では式１、式３、式４の代わりに式５、式６、式７を用い、符号化するパラメータセットも（ｗ１、ｗ２、ｃ、ｄ）の代わりに（ｓｉｇｎ１、ｍ、ｓｉｇｎ２、ｎ、ｃ）を用いて線形予測を行うことによってビットシフト演算のみでの計算を実現し処理量の削減を図っていたが、別のアプローチとして式１、式３、式４および（ｗ１、ｗ２、ｃ、ｄ）をそのまま用いたまま、ｗ１およびｗ２をビットシフト演算可能な値のみ選択可能として制限することによって実施の形態６と全く同様の構成のままビットシフト演算のみでの計算を実現し処理量の削減を行うことも可能である。
In the above embodiment,
また、さらに限定する方法として、ｗ１およびｗ２を常に１として選択するように制限し、直流成分であるｃ１およびｃ２のみ任意の値を持つような符号列を入力とすることも可能である。図２１の構成の場合を例にとると、ｒｅｆ１用として（１、ｃ＿１）、ｒｅｆ２用として（１、ｃ＿２）をパラメータセットとして符号化されているものする。この場合、予測画像の画素値Ｐ（ｉ）は、（式１ａ）中のｗ１＿１およびｗ２＿２を１に置き換えた次式により求められる。 Further, as a further limiting method, it is possible to restrict w1 and w2 to be always selected as 1, and to input a code string having only an arbitrary value only for DC components c1 and c2. Taking the case of the configuration of FIG. 21 as an example, it is assumed that (1, c_1) for ref1 and (1, c_2) for ref2 are encoded as parameter sets. In this case, the pixel value P (i) of the predicted image is obtained by the following expression in which w1_1 and w2_2 in (Expression 1a) are replaced with 1.
Ｐ(ｉ)＝(Ｑ１(ｉ)＋Ｑ２(ｉ))／ｐｏｗ(２,ｄ)＋（ｃ＿１＋ｃ＿２）／２
（ｐｏｗ(２,ｄ)は２のｄ乗を示す）
P (i) = (Q1 (i) + Q2 (i)) / pow (2, d) + (c_1 + c_2) / 2
(Pow (2, d) indicates 2 to the power of d)
これによって実施の形態６と全く同様の構成のまま線形予測のための処理量を大幅に削減することが可能となる。 As a result, the processing amount for linear prediction can be greatly reduced with the same configuration as that of the sixth embodiment.
さらに、図２４のようにピクチャの符号列のピクチャ共通情報に、線形予測をビットシフト演算のみで行うことが可能であるかを示すフラグｓｆｔ＿ｆｌｇ、および直流成分であるｃのみで線形予測を行うことが可能であるかを示すフラグｄｃ＿ｆｌｇが記述されている場合、復号化装置ではこれらフラグを参照することにより、ビットシフト演算のみでの線形予測に適した構成での復号を行うことや、直流成分のみでの線形予測に適した構成での復号を行うことが可能となり、復号化装置の構成によっては大幅な処理量の削減が可能となる。 Furthermore, as shown in FIG. 24, linear prediction is performed only on a flag sft_flg indicating whether linear prediction can be performed only by a bit shift operation, and c, which is a direct current component, in the picture common information of the code string of the picture. When a flag dc_flg indicating whether or not is possible is described, the decoding apparatus refers to these flags to perform decoding with a configuration suitable for linear prediction only by bit shift operation, Therefore, it is possible to perform decoding with a configuration suitable for linear prediction using only the above-described method, and it is possible to significantly reduce the amount of processing depending on the configuration of the decoding device.
（実施の形態８）
本発明の実施の形態８における動画像復号化方法について説明する。なお、
復号化装置の構成および復号化の処理の流れおよび参照インデックスの割り当て方法は実施の形態６と全く同様であるため、ここでは説明を省略する。
(Embodiment 8)
The moving picture decoding method in
The configuration of the decoding apparatus, the decoding process flow, and the reference index assignment method are exactly the same as those in the sixth embodiment, and thus the description thereof is omitted here.
従来の技術において説明したように、実施の形態６および実施の形態７のように線形予測係数の重み付け係数セットから求める予測式を用いて予測画像を生成するのではなく、式２ａおよび式２ｂのように予め決めた固定式を用いて予測画像を求める方法があった。この方法を用いると、予測画像を求めるときの重み付け係数セットを符号化して送る必要がないため符号量を削減できるという利点があった。また、線形予測の計算式が単純であるため、少ない処理量で線形予測を大幅に削減することが可能であった。しかし、この固定式を用いた方法であると、選択することのできる線形予測式が式２ａおよび式２ｂの２通りしかないため、予測精度が悪くなってしまうという問題があった。 As described in the prior art, the prediction image is not generated by using the prediction expression obtained from the weighting coefficient set of the linear prediction coefficient as in the sixth embodiment and the seventh embodiment, but instead of the expression 2a and the expression 2b. As described above, there is a method of obtaining a predicted image using a predetermined fixed formula. When this method is used, there is an advantage that the amount of codes can be reduced because it is not necessary to encode and send a weighting coefficient set for obtaining a predicted image. In addition, since the calculation formula for linear prediction is simple, linear prediction can be significantly reduced with a small amount of processing. However, the method using this fixed formula has a problem that the prediction accuracy deteriorates because there are only two types of linear prediction formulas 2a and 2b that can be selected.
そこで本実施の形態では式２ａ，式２ｂの代わりに式８ａ，８ｂを使用する。これらの式は式２ａ，式２ｂにＣ１およびＣ２を加えたものである。演算としては加算の回数が増加するだけであるため、元の式と比較しても処理量の増加はほとんど無い。 Therefore, in this embodiment, equations 8a and 8b are used instead of equations 2a and 2b. These equations are obtained by adding C1 and C2 to equations 2a and 2b. As the calculation only increases the number of additions, the amount of processing is hardly increased even when compared with the original expression.
式８ａ，８ｂは同時に２枚のピクチャを参照して予測画像を生成するときの予測式であるが、１枚のピクチャのみを参照して予測画像を生成するときは実施の形態で説明した式３、式４の代わりに式９を使用する。
Expressions 8a and 8b are prediction expressions when a predicted image is generated by referring to two pictures at the same time. When generating a predicted image by referring to only one picture, the expressions described in the embodiment are used. 3. Instead of
この方法を用いるために必要な重み付け係数セットは、ｒｅｆ１用として（Ｃ１）、ｒｅｆ２用として（Ｃ２）のみである。そのため、この方法を用いた場合のピクチャの符号列の例は図１４にようになり、スライスヘッダ領域には線形予測を行うための重み付け係数セット（ｐｓｅｔ０、ｐｓｅｔ１、ｐｓｅｔ２、・・・・）がｒｅｆ１用およびｒｅｆ２用それぞれに記述され、それぞれの重み付け係数セットの中身はＣのみとなる。同様に、図１５は前記スライスヘッダ領域に含まれる重み付け係数セットの例を表に示したものであるが、図７とは異なり、各重み付け係数セットの要素はＣのみとなっている。 The weighting coefficient sets necessary for using this method are only (C1) for ref1 and (C2) for ref2. Therefore, an example of a picture code string when this method is used is as shown in FIG. 14, and weighting coefficient sets (pset0, pset1, pset2,...) For performing linear prediction are shown in the slice header region. It is described for each of ref1 and ref2, and the content of each weighting coefficient set is C only. Similarly, FIG. 15 is a table showing an example of the weighting coefficient set included in the slice header area. Unlike FIG. 7, the element of each weighting coefficient set is C only.
図２２は、図２の線形予測係数記憶部２０６と動き補償復号化部２０４における予測画像を生成する機能構成を示した機能ブロック図である。
FIG. 22 is a functional block diagram illustrating a functional configuration for generating a prediction image in the linear prediction coefficient storage unit 206 and the motion
線形予測係数記憶部２０６ａと、線形予測係数記憶部２０６ｂと、線形予測演算部２０４ａにより予測画像が生成される。
A prediction image is generated by the linear prediction
符号列解析部２０１より出力される第１参照インデックスｒｅｆ１および第２参照インデックスｒｅｆ２によりを線形予測係数記憶部２０６ａおよび２０６ｂよりそれぞれ１つの構成要素のみを持つ重み付け係数セット（Ｃ１）および（Ｃ２）が獲得される。それらの値は線形予測演算部２０４ａに入力され、式８ａ，８ｂを用いて線形予測がなされ、予測画像が生成される。
Weighting coefficient sets (C1) and (C2) each having only one component from the linear prediction
同様に、１枚のみを参照して線形予測を行う場合は図２２のｒｅｆ１もしくはｒｅｆ２のどちらかのみにより重み付け係数セット（Ｃ１）もしくは（Ｃ２）が獲得され、式９を用いて線形予測がなされ、予測画像が生成される。
Similarly, when performing linear prediction with reference to only one sheet, the weighting coefficient set (C1) or (C2) is obtained only by either ref1 or ref2 in FIG. 22, and linear prediction is performed using
このように、本実施の形態では使用するパラメータの数がｒｅｆ１用、ｒｅｆ２用にそれぞれ１つずつのみでよいため、符号列に記述するデータの量を削減することができる。また線形予測式も乗算等の複雑な演算を必要としないため、演算量も最小限に抑えることが可能である。また従来の固定式を用いた方法で欠点とされていた予測精度の悪さも、Ｃ１およびＣ２という係数を用いることにより大幅に改善することが可能である。 As described above, in the present embodiment, since only one parameter is required for each of ref1 and ref2, the amount of data described in the code string can be reduced. In addition, since the linear prediction formula does not require complicated operations such as multiplication, the amount of calculation can be minimized. Further, the poor prediction accuracy, which has been regarded as a drawback in the conventional method using the fixed formula, can be significantly improved by using the coefficients C1 and C2.
なお、本実施の形態で説明した線形予測の方法は、複数の参照インデックスが同一のピクチャを参照することが可能であるかどうかに関わらず用いることが可能である。 Note that the linear prediction method described in this embodiment can be used regardless of whether a plurality of reference indexes can refer to the same picture.
（実施の形態９）
本発明の実施の形態９における動画像復号化方法について説明する。なお、復号化装置の構成および復号化の処理の流れおよび参照インデックスの割り当て方法は実施の形態６と全く同様であるため、ここでは説明を省略する。
(Embodiment 9)
A moving picture decoding method according to the ninth embodiment of the present invention will be described. Note that the configuration of the decoding apparatus, the flow of the decoding process, and the method of assigning the reference index are exactly the same as in the sixth embodiment, and thus the description thereof is omitted here.
各々のピクチャはピクチャ番号と共に、表示時間もしくはそれに代わるものを示すための表示順情報というものが割り当てられている。図３９は、その１例としてピクチャ番号と表示順情報とを並べて示した図である。表示順情報は表示される順番に従ってある値が割り当てられる。この図の例では、１ピクチャごとに１ずつ増加する値が使用されている。線形予測を行うための式で用いられる係数の値をこれらの表示順情報を用いて生成する方法について実施の形態９において説明する。
Each picture is assigned with a picture number and display order information for indicating a display time or an alternative. FIG. 39 is a diagram showing a picture number and display order information side by side as an example. A certain value is assigned to the display order information according to the display order. In the example of this figure, a value that increases by 1 for each picture is used. A method for generating coefficient values used in an equation for performing linear prediction using the display order information will be described in
実施の形態６では動き補償において予測画像を生成する際に、式１もしくは式３もしくは式４を用いて画素ごとに線形予測を行っている。しかし、これらの線形予測を行うためには係数のデータが必要であり、前記実施の形態では、スライスヘッダ領域に重み付け係数セットとして符号列中に係数のデータを記述し、予測画像の作成に用いていた。しかし、高い符号化効率が得られる反面、重み付け係数セットのデータを作成するための処理が必要となり、また、重み付け係数セットを符号列中に記述することによるビット量の増加も発生する。
In the sixth embodiment, when a predicted image is generated in motion compensation, linear prediction is performed for each
そこで式１の代わりに式１０、式１１ａ、式１２ａを用いて線形予測を行うことも可能である。これらの式は各々の参照ピクチャが持つ表示順情報のみから重み付け係数を決定することができるため、別途重み付け係数セットを符号化する必要がない。
Therefore, it is also possible to perform linear
例として図３９において、符号化対象ピクチャが１６番、第１参照インデックスによって指定されたピクチャが１１番、第２参照インデックスによって指定されたピクチャが１０番とすると、それぞれのピクチャの表示順情報は１５、１３、１０となるため、下記のような線形予測式が決定される。 For example, in FIG. 39, if the encoding target picture is No. 16, the picture specified by the first reference index is No. 11, and the picture specified by the second reference index is No. 10, the display order information of each picture is Since the values are 15, 13, and 10, the following linear prediction formula is determined.
Ｖ１＝(１０−１５)／(１０−１３)＝５／３
Ｖ２＝(１５−１３)／(１０−１３)＝−２／３
Ｐ(ｉ)＝５／３×Ｑ１(ｉ)−２／３×Ｑ２(ｉ)
V1 = (10-15) / (10-13) = 5/3
V2 = (15-13) / (10-13) =-2/3
P (i) = 5/3 × Q1 (i) −2 / 3 × Q2 (i)
式１を用いた重み付け係数セットを用いて線形予測を行う方法と比較すると係数の値の自由度が低いため最適な予測画像の作成は困難と言えるが、式２ａ、式２ｂを用いた２つの式からなる固定式を２枚の参照ピクチャの位置関係によって切り替える方法と比較すると線形予測式としてより効率の良い式を生成することができる。
Compared with the method of performing linear prediction using the weighting coefficient set using
なお、第１参照インデックスおよび第２参照インデックスが同じピクチャを参照している場合は、Ｔ１＝Ｔ２となってしまい、式１１ａ、式１２ａが成立しない。そこで、参照される２枚のピクチャが同じ表示順情報を持つ場合はＶ１およびＶ２の値として１／２を用いて線形予測を行うものとする。その場合の線形予測式は下記のようになる。 When the first reference index and the second reference index refer to the same picture, T1 = T2, and Expressions 11a and 12a are not satisfied. Thus, when two referenced pictures have the same display order information, linear prediction is performed using 1/2 as the values of V1 and V2. In this case, the linear prediction formula is as follows.
Ｖ１＝１／２
Ｖ２＝１／２
Ｐ(ｉ)＝１／２×Ｑ１(ｉ)＋１／２×Ｑ２(ｉ)
V1 = 1/2
V2 = 1/2
P (i) = 1/2 * Q1 (i) + 1/2 * Q2 (i)
また、第１参照インデックスおよび第２参照インデックスが異なるピクチャを参照しているが、それらのピクチャが同じ表示順情報を持つ場合にも、Ｔ１＝Ｔ２となってしまい、式１１ａ、式１２ａが成立しない。このように、参照される２枚のピクチャが同じ表示順情報を持つ場合はＶ１およびＶ２の値として１／２を用いて線形予測を行うものとする。 In addition, when the first reference index and the second reference index refer to different pictures, but these pictures have the same display order information, T1 = T2, and Expressions 11a and 12a are satisfied. do not do. In this way, when two referenced pictures have the same display order information, linear prediction is performed using 1/2 as the values of V1 and V2.
このように、参照される２枚のピクチャが同じ表示順情報を持つ場合には、予め設定された値を係数として用いる構成とすればよい。予め設定された値を係数としては、上記の１／２の例のように同じ重みを有する係数としてもよい。 In this way, when two referenced pictures have the same display order information, a configuration may be adopted in which a preset value is used as a coefficient. The preset value may be a coefficient having the same weight as in the above half example.
ところで、上記の実施の形態のように式１０を用いると、線形予測を行うために乗算および除算が必要となる。式１０による線形予測演算は符号化対象ブロック内の全ての画素に対して演算を行うため、乗算が加わることによる処理量の増加は非常に大きなものとなる。
By the way, when
そこで、実施の形態７の考え方と同様にして、Ｖ１およびＶ２を２のべき乗に近似することにより、線形予測の演算をシフト演算のみで行うことを可能とし、処理量の削減を図ることができる。その場合の線形予測式として、式１１ａ、式１２ａの代わりに式１１ｂ、式１２ｂを用いる。 Thus, in the same way as the concept of the seventh embodiment, by approximating V1 and V2 to the power of 2, it is possible to perform the linear prediction operation only by the shift operation and reduce the amount of processing. . As a linear prediction formula in that case, Formula 11b and Formula 12b are used instead of Formula 11a and Formula 12a.
なお、式１１ａ、式１２ａの代わりに式１１ｃ、式１２ｃを用いることも可能である。
なお、式１１ａ、式１２ａの代わりに式１１ｄ、式１２ｄを用いることも可能である。
In addition, it is also possible to use Formula 11c and Formula 12c instead of Formula 11a and Formula 12a.
In addition, it is also possible to use Formula 11d and Formula 12d instead of Formula 11a and Formula 12a.
なお、２のべき乗への近似の方法は、式１１ｂを例にとると、ｖ１の値を１ずつ変化させたとき、±ｐｏｗ(２，ｖ１)と(Ｔ２−Ｔ０)／(Ｔ２−Ｔ１)とが最も近くなるときの±ｐｏｗ(２，ｖ１)の値とする。 As an approximation method to the power of 2, taking Expression 11b as an example, when the value of v1 is changed by 1, ± pow (2, v1) and (T2-T0) / (T2-T1) Is the value of ± pow (2, v1) when.
例として図３９において、復号化対象ピクチャが１６番、第１参照インデックスによって指定されたピクチャが１１番、第２参照インデックスによって指定されたピクチャが１０番とすると、それぞれのピクチャの表示順情報は１５、１３、１０となるため、(Ｔ２−Ｔ０)／(Ｔ２−Ｔ１)および±ｐｏｗ(２，ｖ１)は下記のようになる。 For example, in FIG. 39, when the decoding target picture is No. 16, the picture specified by the first reference index is No. 11, and the picture specified by the second reference index is No. 10, the display order information of each picture is Since 15, 13 and 10, (T2-T0) / (T2-T1) and ± pow (2, v1) are as follows.
(Ｔ２−Ｔ０)／(Ｔ２−Ｔ１)＝(１０−１５)／(１０−１３)＝５／３
＋ｐｏｗ(２，０)＝１、＋ｐｏｗ(２，１)＝２
(T2-T0) / (T2-T1) = (10-15) / (10-13) = 5/3
+ Pow (2,0) = 1, + pow (2,1) = 2
５／３は１よりも２に近いため、近似の結果Ｖ１＝２となる。 Since 5/3 is closer to 2 than 1, the approximation result V1 = 2.
また、別の近似の方法として、表示順情報Ｔ１およびＴ２の２つの値の関係によって切り上げによる近似、切り下げによる近似を切り替えることも可能である。 As another approximation method, the approximation by rounding up and the approximation by rounding down can be switched according to the relationship between the two values of the display order information T1 and T2.
その場合、Ｔ１がＴ２よりも時間的に後方にある場合は、Ｖ１およびＶ２の両者に対して切り上げによる近似を行い、Ｔ１がＴ２よりも時間的に前方にある場合は、Ｖ１およびＶ２の両者に対して切り下げによる近似を行う。逆に、Ｔ１がＴ２よりも時間的に後方にある場合は、Ｖ１およびＶ２の両者に対して切り下げによる近似を行い、Ｔ１がＴ２よりも時間的に前方にある場合は、Ｖ１およびＶ２の両者に対して切り上げによる近似を行うことも可能である。 In that case, when T1 is temporally behind T2, both V1 and V2 are approximated by rounding up. When T1 is temporally ahead of T2, both V1 and V2 are approximated. Is approximated by rounding down. Conversely, if T1 is behind T2 in time, both V1 and V2 are approximated by rounding down. If T1 is ahead in time from T2, both V1 and V2 are approximated. It is also possible to approximate by rounding up.
また、別の表示順情報を用いた近似の方法として、Ｔ１がＴ２よりも時間的に後方にある場合は、Ｖ１に関する式においては切り上げによる近似を行い、Ｖ２に関する式においては切り下げによる近似を行う。これにより２つの係数の値が互いに離れるため、外挿補間に適した値が得られやすくなる。逆に、Ｔ１がＴ２よりも時間的に前方にある場合は、Ｖ１に関する式とＶ２に関する式とでその両者の値を比較したときに、値の小さい方は切り上げによる近似を行い、値の大きい方は切り下げによる近似を行う。これにより２つの係数の値が互いに近づくため、内挿補間に適した値が得られやすくなる。 Further, as another approximation method using display order information, when T1 is temporally behind T2, approximation is performed by rounding up in the formula for V1, and approximation by rounding down is performed in the formula for V2. . As a result, the values of the two coefficients are separated from each other, making it easy to obtain a value suitable for extrapolation. Conversely, when T1 is temporally ahead of T2, when the values of V1 and V2 are compared, the smaller value is approximated by rounding up, and the value is larger. The method is approximated by rounding down. As a result, since the values of the two coefficients are close to each other, it is easy to obtain a value suitable for interpolation.
例として図３９において、復号化対象ピクチャが１６番、第１参照インデックスによって指定されたピクチャが１１番、第２参照インデックスによって指定されたピクチャが１０番とすると、それぞれのピクチャの表示順情報は１５、１３、１０となり、Ｔ１はＴ２よりも時間的に後方にあるため、Ｖ１に関する式においては切り上げによる近似を行い、Ｖ２に関する式においては切り下げによる近似を行う。その結果、式１１ｂおよび式１２ｂは下記のように計算される。 For example, in FIG. 39, if the picture to be decoded is No. 16, the picture specified by the first reference index is No. 11, and the picture specified by the second reference index is No. 10, the display order information of each picture is 15, 13 and 10, and T1 is behind the time T2, so the approximation for the V1 is approximated by rounding up, and the formula for V2 is approximated by rounding down. As a result, Equations 11b and 12b are calculated as follows.
(1)式１１ｂについて
(Ｔ２−Ｔ０)／(Ｔ２−Ｔ１)＝(１０−１５)／(１０−１３)＝５／３
＋ｐｏｗ(２，０)＝１、＋ｐｏｗ(２，１)＝２
(1) About Formula 11b
(T2-T0) / (T2-T1) = (10-15) / (10-13) = 5/3
+ Pow (2,0) = 1, + pow (2,1) = 2
切り上げによる近似を行った結果Ｖ１＝２となる。 As a result of approximation by rounding up, V1 = 2.
(2)式１２ｂについて
(Ｔ０−Ｔ１)／(Ｔ２−Ｔ１)＝(１５−１３)／(１０−１３)＝−２／３
−ｐｏｗ(２，０)＝−１、−ｐｏｗ(２，−１)＝−１／２
(2) About Formula 12b
(T0-T1) / (T2-T1) = (15-13) / (10-13) =-2/3
-Pow (2,0) =-1, -pow (2, -1) =-1/2
切り下げによる近似を行った結果Ｖ２＝−１となる。 As a result of approximation by rounding down, V2 = -1.
なお、上記実施の形態では線形予測の式は式１０の１つであったが、従来の技術で説明した式２ａおよび式２ｂの２つの式からなる固定式による線形予測方法と組み合わせて用いることも可能である。その場合、式２ａの代わりに式１０を使用し、式２ｂはそのまま使用する。つまり、第１参照インデックスによって指定されるピクチャが第２参照インデックスによって指定されるピクチャよりも表示順において後ろにある場合は式１０を使用し、それ以外の場合は式２ｂを使用する。
In the above embodiment, the linear prediction formula is one of the
また逆に、式２ｂの代わりに式１０を使用し、式２ａはそのまま使用することも可能である。つまり、第１参照インデックスによって指定されるピクチャが第２参照インデックスによって指定されるピクチャよりも表示順において後ろにある場合は式２ａを使用し、それ以外の場合は式１０を使用する。ただし、このとき参照される２枚のピクチャが同じ表示順情報を持つ場合はＶ１およびＶ２の値として１／２を用いて線形予測を行う。
On the contrary, it is also possible to use
また、実施の形態８の考え方と同様にして、係数Ｃのみをスライスヘッダ領域に記述して線形予測に使用することも可能である。その場合、式１０の代わりに式１３を用いる。Ｖ１およびＶ２の求め方は上記実施の形態と同様である。
Similarly to the concept of the eighth embodiment, it is possible to describe only the coefficient C in the slice header area and use it for linear prediction. In that case,
係数を生成するための処理が必要になり、さらに、スライスヘッダ領域に係数データを符号化する必要があるが、Ｖ１およびＶ２の精度が低い場合でもＣ１およびＣ２を用いることによってより高い精度の線形予測を行うことが可能となる。特にＶ１およびＶ２を２のべき乗に近似して線形予測を行う場合において有効である。 A process for generating coefficients is required, and further, coefficient data needs to be encoded in the slice header area. Even when the accuracy of V1 and V2 is low, higher accuracy linearity is obtained by using C1 and C2. It is possible to make a prediction. This is particularly effective when linear prediction is performed by approximating V1 and V2 to powers of 2.
なお、式１３を用いた場合の線形予測では、１つのピクチャに１つの参照インデックスが割り当てられている場合でも、また、１つのピクチャに複数の参照インデックスが割り当てられている場合でも、同様に扱うことが可能である。
In the linear
なお、式１１ａ、式１２ａ、式１１ｂ、式１２ｂ、式１１ｃ、式１２ｃ、式１１ｄ、式１２ｄの各式の値の計算では、取り得る値の組み合わせがスライスごとにある程度限られているため、スライスを符号化する再に１度だけ演算を行っておけばよく、式１０や式１３のように符号化対象ブロックのすべての画素に対して演算を行う必要はないため、全体の処理量への影響は小さいと考えられる。
In addition, in the calculation of the values of the equations 11a, 12a, 11b, 12b, 11c, 12c, 11d, and 12d, possible combinations of values are limited to some extent for each slice. It is only necessary to perform the calculation once for encoding the slice, and it is not necessary to perform the calculation for all the pixels of the encoding target block as in
なお、本発明の実施の形態における表示順情報は、表示の順番に限定されるものではなく、実際の表示時間や、表示時間に伴って値が大きくなる所定のピクチャを基準とした各ピクチャの参照順序であっても良い。 Note that the display order information in the embodiment of the present invention is not limited to the display order, but the actual display time or the predetermined picture whose value increases with the display time is used as a reference. The reference order may be used.
（実施の形態１０）
本発明の実施の形態１０における動画像復号化方法について説明する。なお、復号化装置の構成および復号化の処理の流れおよび参照インデックスの割り当て方法は実施の形態６と全く同様であるため、ここでは説明を省略する。
(Embodiment 10)
The moving picture decoding method in
従来の方法では固定式を用いて予測画像の生成を行う場合と、線形予測係数の重み付け係数セットを用いて予測画像の生成を行う場合とを符号列のピクチャ共通情報部分に記述されるフラグを用いることによって必要に応じて切り替えることを可能としていた。 In the conventional method, a flag described in the picture common information portion of the code string is used to generate a predicted image using a fixed formula and to generate a predicted image using a weighted coefficient set of linear prediction coefficients. By using it, it was possible to switch as needed.
本実施の形態では、さらに実施の形態６から実施の形態９で説明した各種の線形予測方法をフラグを用いて切り替える方法について説明する。 In the present embodiment, a method for switching various linear prediction methods described in the sixth to ninth embodiments using a flag will be described.
図１７（ａ）は、上記切り替えを制御するための５つのフラグ（ｐ＿ｆｌａｇ、ｃ＿ｆｌａｇ、ｄ＿ｆｌａｇ、ｔ＿ｆｌａｇ、ｓ＿ｆｌａｇ）を符号列中のスライスヘッダ領域に記述する場合の構成である。 FIG. 17A shows a configuration in which five flags (p_flag, c_flag, d_flag, t_flag, s_flag) for controlling the switching are described in a slice header area in the code string.
図１７（ｂ）に示したように、ｐ＿ｆｌａｇは重み付け係数が符号化されているかどうかを示すためのフラグである。また、ｃ＿ｆｌａｇはｒｅｆ１用およびｒｅｆ２用のパラメータのうち、パラメータＣ（Ｃ１およびＣ２）に関するデータのみが符号化されているかどうかを示すフラグである。また、ｔ＿ｆｌａｇは線形予測を行うための重み付け係数を参照ピクチャの表示順情報を用いて生成するかどうかを示すフラグである。また、ｓ＿ｆｌａｇは線形予測を行うための重み付け係数をシフト演算で計算ができるように２のべき乗に近似するかどうかを示すフラグである。 As shown in FIG. 17B, p_flag is a flag for indicating whether or not the weighting coefficient is encoded. C_flag is a flag indicating whether or not only data related to the parameter C (C1 and C2) is encoded among the parameters for ref1 and ref2. Further, t_flag is a flag indicating whether or not a weighting coefficient for performing linear prediction is generated using display order information of reference pictures. Further, s_flag is a flag indicating whether a weighting coefficient for performing linear prediction is approximated to a power of 2 so that it can be calculated by a shift operation.
また、ｄ＿ｆｌａｇは式２ａおよび式２ｂで示されたような、予め設定されている２つの固定式を用いて線形予測を行う際に、ｒｅｆ１によって指定されるピクチャとｒｅｆ２によって指定されるピクチャの時間的な位置関係によって２つの式を切り替えるかどうかを示すフラグである。つまり、このフラグによって切り替えるように指定された場合は、従来の方法と同様に、ｒｅｆ１によって指定されるピクチャがｒｅｆ２によって指定されるピクチャよりも表示順において後にある場合は式２ａを使用し、それ以外の場合は式２ｂを使用して線形予測を行う。一方、このフラグによって切り替えを行わないように指定された場合は、ｒｅｆ１によって指定されるピクチャがｒｅｆ２によって指定されるピクチャの位置関係に関係なく、常に式２ｂを使用して線形予測を行う。 Also, d_flag is the time between the picture specified by ref1 and the picture specified by ref2 when performing linear prediction using two preset fixed expressions as shown in Expression 2a and Expression 2b. It is a flag indicating whether or not two expressions are switched depending on the positional relationship. In other words, if it is specified to switch by this flag, as in the conventional method, if the picture specified by ref1 is later in the display order than the picture specified by ref2, use Equation 2a. Otherwise, linear prediction is performed using Equation 2b. On the other hand, when it is specified not to switch by this flag, linear prediction is always performed using Expression 2b regardless of the positional relationship between the picture specified by ref1 and the picture specified by ref2.
なお、切り替えずに使用する式を式２ｂの代わりに式２ａを用いた場合も同様に扱うことが可能である。 It should be noted that the expression used without switching can be handled in the same manner when the expression 2a is used instead of the expression 2b.
図２に示す復号化装置では符号列解析部２０１においてフラグｐ＿ｆｌａｇの値を解析し、その結果に基づいて、重み付け係数セットに関するデータを復号化し予測画像の生成を行うのかどうかの指示を動き補償復号化部２０４に出力し、線形予測による動き補償を行う。これによって、処理能力の高い装置では重み付け係数セットを使用して線形予測を行い、処理能力の低い装置では重み付け係数セットを使用せずに線形予測を行うといった使い分けが可能となる。
In the decoding apparatus shown in FIG. 2, the code
同様に、図２に示す復号化装置では符号列解析部２０１においてフラグｃ＿ｆｌａｇの値を解析し、その結果に基づいて、画像データのＤＣ成分に相当するパラメータＣ（Ｃ１およびＣ２）に関するデータのみ復号化し固定式による予測画像の生成を行うのかどうかの指示を動き補償復号化部２０４に出力し、線形予測による動き補償を行う。これによって、処理能力の高い装置では全ての重み付け係数セットを使用して線形予測を行い、処理能力の低い装置では直流成分のみを使用して線形予測を行うといった使い分けが可能となる。
Similarly, in the decoding apparatus shown in FIG. 2, the value of the flag c_flag is analyzed by the code
同様に、図２に示す復号化装置では符号列解析部２０１においてフラグｄ＿ｆｌａｇの値を解析し、その結果に基づいて、固定式を使用して線形予測を行う場合に、２つの式を切り替えて符号化するかどうかの指示を動き補償復号化部２０４に出力し、線形予測による動き補償を行う。これによって、画面の明度が時間的にほとんど変わらないような場合は片方の固定式のみを用いて線形予測を行い、画面の明度が時間的に変化するような場合は２つの固定式を切り替えて使用して線形予測を行うといった使い分けが可能となる。
Similarly, in the decoding apparatus shown in FIG. 2, when the code
同様に、図２に示す復号化装置では符号列解析部２０１においてフラグｔ＿ｆｌａｇの値を解析し、その結果に基づいて、線形予測を行うための係数を参照ピクチャの表示順情
報を用いて生成するかどうかの指示を動き補償復号化部２０４に出力し、線形予測による動き補償を行う。これによって、符号量に余裕がある場合は重み付け係数セットを符号化して線形予測を行い、符号量に余裕がない場合は表示順情報から係数を生成して線形予測を行うといった使い分けが可能となる。
Similarly, in the decoding apparatus illustrated in FIG. 2, the code
同様に、図２に示す復号化装置では符号列解析部２０１においてフラグｓ＿ｆｌａｇの値を解析し、その結果に基づいて、線形予測を行うための係数をシフト演算で計算できるように２のべき乗に近似するかどうかの指示を動き補償復号化部２０４に出力し、線形予測による動き補償を行う。これによって、処理能力の高い装置では重み付け係数を近似しないで使用して線形予測を行い、処理能力の低い装置では重み付け係数を２のべき乗に近似して使用しシフト演算で実現できる線形予測を行うといった使い分けが可能となる。
Similarly, in the decoding apparatus shown in FIG. 2, the value of the flag s_flag is analyzed in the code
例えば、(1)（ｐ、ｃ、ｄ、ｔ、ｓ＿ｆｌａｇ）＝（１、０、０、０、１）である場合は、全ての重み付け係数セットが復号化され、実施の形態７で説明したように、係数を２のべき乗で表すことによりシフト演算のみで線形予測を行い予測画像を生成することが指示される。 For example, when (1) (p, c, d, t, s_flag) = (1, 0, 0, 0, 1), all weighting coefficient sets are decoded and described in the seventh embodiment. Thus, by expressing the coefficient as a power of 2, it is instructed to generate a prediction image by performing linear prediction only by a shift operation.
また、(2)（ｐ、ｃ、ｄ、ｔ、ｓ＿ｆｌａｇ）＝（１、１、１、０、０）である場合は、パラメータＣ（Ｃ１およびＣ２）に関するデータのみが復号化され、実施の形態８で説明した固定式に係数Ｃを加えることによって予測画像を生成する方法を用い、さらに２つの固定式を切り替えて使用することが指示される。 Also, if (2) (p, c, d, t, s_flag) = (1, 1, 1, 0, 0), only the data related to the parameter C (C1 and C2) is decoded and Using the method of generating a predicted image by adding the coefficient C to the fixed formula described in the eighth mode, it is further instructed to switch between two fixed formulas.
また、(3)（ｐ、ｃ、ｄ、ｔ、ｓ＿ｆｌａｇ）＝（０、０、０、０、０）である場合は、重み付け係数セットは何も復号化されない。つまり、従来の方法である固定式のうち式２ｂのみを用いた予測画像の生成方法を用いることが指示される。 When (3) (p, c, d, t, s_flag) = (0, 0, 0, 0, 0), no weighting coefficient set is decoded. That is, it is instructed to use a prediction image generation method using only the formula 2b among the conventional fixed methods.
また、(4)（ｐ、ｃ、ｄ、ｔ、ｓ＿ｆｌａｇ）＝（０、０、１、１、１）である場合は、重み付け係数セットは何も復号化されないが、実施の形態９で説明したように、重み付け係数を参照ピクチャの表示順情報から生成し、さらに係数を２のべき乗で近似すことによりシフト演算のみで線形予測を行い、さらに２つの固定式を切り替えて使用して予測画像を生成することが指示される。 Further, when (4) (p, c, d, t, s_flag) = (0, 0, 1, 1, 1), no weighting coefficient set is decoded, but this will be described in the ninth embodiment. As described above, the weighting coefficient is generated from the display order information of the reference picture, and further, the coefficient is approximated by a power of 2 to perform linear prediction only by a shift operation, and the two fixed expressions are switched and used as a predicted image. Is generated.
なお、上記実施の形態では各々１ビットからなる５つのフラグ（ｐ＿ｆｌａｇ、ｃ＿ｆｌａｇ、ｄ＿ｆｌａｇ、ｔ＿ｆｌａｇ、ｓ＿ｆｌａｇ）を用いて判別を行っているが、５つのフラグの代わりに５ビットからなる１つのフラグのみで表現することも可能である。また、その場合、５ビットで表現するのではなく可変長復号化を用いて復号化することも可能である。 In the above embodiment, the determination is performed using five flags (p_flag, c_flag, d_flag, t_flag, s_flag) each having one bit, but only one flag having five bits is used instead of the five flags. It can also be expressed as In this case, it is also possible to perform decoding using variable length decoding instead of expressing with 5 bits.
なお、上記実施の形態では各々１ビットからなる５つのフラグ（ｐ＿ｆｌａｇ、ｃ＿ｆｌａｇ、ｄ＿ｆｌａｇ、ｔ＿ｆｌａｇ、ｓ＿ｆｌａｇ）を全て用いているが、そのうちの１部分のフラグのみを用いて線形予測方法の切り替えを行う場合も同様に扱うことが可能である。その場合、図１７（ａ）に示したフラグは必要なもののみが符号化されて記述されていることになる。 In the above embodiment, all five flags (p_flag, c_flag, d_flag, t_flag, and s_flag) each consisting of 1 bit are used, but the linear prediction method is switched using only one of the flags. The case can be handled in the same way. In that case, only the necessary flags shown in FIG. 17A are coded and described.
従来の方法では、固定式を用いた予測画像の生成と、線形予測係数の重み付け係数セットを用いた予測画像の生成とを切り替えるためのフラグを符号列のピクチャ共通情報部分に設けて、ピクチャ単位で切り替えることを可能としていた。しかし、この方法であると、ピクチャ毎にしか予測画像の生成方法を切り替えることができなかった。 In the conventional method, a flag for switching between generation of a prediction image using a fixed expression and generation of a prediction image using a weighted coefficient set of linear prediction coefficients is provided in the picture common information portion of the code string, and It was possible to switch with. However, with this method, the prediction image generation method can be switched only for each picture.
しかし、本実施の形態で説明したように、この切り替えフラグを符号列のスライスヘッ
ダに設けるようにして、ピクチャを構成するスライスごとにいずれの方法で予測画像を生成するかを切り替えることを可能とすることにより、例えば、複雑な画像を持つスライスでは重み付け係数セットを用いた予測画像の生成を行い、単純な画像を持つスライスでは固定式を用いた予測画像の生成を行うことにより、処理量の増加を最小限に抑えつつ画質の向上を図ることが可能となる。
However, as described in the present embodiment, by providing this switching flag in the slice header of the code string, it is possible to switch which method is used to generate a predicted image for each slice constituting the picture. For example, in a slice having a complex image, a prediction image is generated using a weighting coefficient set, and in a slice having a simple image, a prediction image is generated using a fixed formula, thereby reducing the processing amount. It is possible to improve the image quality while minimizing the increase.
なお、上記実施の形態ではスライスヘッダ領域に５つのフラグ（ｐ＿ｆｌａｇ、ｃ＿ｆｌａｇ、ｄ＿ｆｌａｇ、ｔ＿ｆｌａｇ、ｓ＿ｆｌａｇ）を記述してスライスごとに判別を行っているが、ピクチャ共通情報領域にこれらのフラグを記述することにより、ピクチャ単位で切り替えるようにすることも可能である。また、スライスを構成するブロックごとに切り替えフラグを設けることにより、さらにブロック単位で最適な方法で予測画像の生成を行うことも可能である。 In the embodiment described above, five flags (p_flag, c_flag, d_flag, t_flag, s_flag) are described in the slice header area, and discrimination is performed for each slice. However, these flags are described in the picture common information area. Thus, it is also possible to switch in units of pictures. Further, by providing a switching flag for each block constituting the slice, it is possible to generate a predicted image by an optimum method in units of blocks.
なお、本発明の実施の形態における表示順情報は、表示の順番に限定されるものではなく、実際の表示時間や、表示時間に伴って値が大きくなる所定のピクチャを基準とした各ピクチャの参照順序であっても良い。 Note that the display order information in the embodiment of the present invention is not limited to the display order, but the actual display time or the predetermined picture whose value increases with the display time is used as a reference. The reference order may be used.
（実施の形態１１）
本発明の実施の形態１１における動画像の符号化方法および復号化方法について説明する。なお、符号化装置および復号化装置の構成および符号化および復号化の処理の流れおよび参照インデックスの割り当て方法は実施の形態１および実施の形態６と全く同様であるため、ここでは説明を省略する。
(Embodiment 11)
A moving picture encoding method and decoding method according to
本実施の形態は実施の形態５および実施の形態１０において説明した内容と同様の技術に関する説明である。 The present embodiment is a description related to the same technology as the contents described in the fifth and tenth embodiments.
パラメータセットが符号化されているかどうかを示すフラグｐ＿ｆｌａｇと、ｒｅｆ１用およびｒｅｆ２用のパラメータのうち、パラメータＣ（Ｃ１およびＣ２）に関するデータのみが符号化されているかどうかを示すフラグｃ＿ｆｌａｇと、をスライス毎に示す。 Slice a flag p_flag indicating whether or not the parameter set is encoded, and a flag c_flag indicating whether or not only data related to the parameter C (C1 and C2) is encoded among the parameters for ref1 and ref2 Shown for each.
図１に示す符号化装置では動き補償符号化部１０７において、各スライスごともしくはブロックごとに、パラメータセットに関するデータを符号化するか否かを決定し、それに基づいてフラグｐ＿ｆｌａｇの情報を符号列生成部１０３に出力し、図４０（ａ）に示すように符号列中に記述する。
In the encoding apparatus shown in FIG. 1, the motion
同様に、図１に示す符号化装置では動き補償符号化部１０７において、各スライスごともしくはブロックごとに、画像データのＤＣ成分に相当するパラメータＣ（Ｃ１，Ｃ２）に関するデータのみ符号化するか否かを決定し、それに基づいてフラグｃ＿ｆｌａｇの情報を符号列生成部１０３に出力し、図４０（ａ）に示すように符号列中に記述する。
Similarly, in the encoding apparatus shown in FIG. 1, in the motion
一方、図２に示す復号化装置では符号列解析部２０１において前記切り替えフラグｐ＿ｆｌａｇとフラグｃ＿ｆｌｇとの値を解析し、その結果に基づいて、例えばダウンロードしたパラメータセットを用いて予測画像を生成するのか、あるいは固定式を用いて予測画像を生成するのかの指示を動き補償復号化部２０４に出力し、線形予測による動き補償を行う。
On the other hand, in the decoding apparatus shown in FIG. 2, the code
例えば、図４０（ｂ）に示すように、(1)フラグｐ＿ｆｌａｇが１であり、フラグｃ＿ｆｌａｇが０である場合には、符号化装置において全てのパラメータセットが符号化される。また、(2)フラグｐ＿ｆｌａｇが１であり、フラグｃ＿ｆｌａｇが１である場合には、符号化装置においてパラメータＣ（Ｃ１およびＣ２）に関するデータのみが符号化される。さらに、(3)フラグｐ＿ｆｌａｇが０であり、フラグｃ＿ｆｌａｇが０である場合に
は、符号化装置においてパラメータセットは何も符号化されない。なお、図４０（ｂ）に示すようにフラグの値を決定すると、フラグｐ＿ｆｌａｇによって画像データのＤＣ成分が符号化されているかが判別できる。
For example, as shown in FIG. 40B, (1) when the flag p_flag is 1 and the flag c_flag is 0, all parameter sets are encoded in the encoding device. (2) When the flag p_flag is 1 and the flag c_flag is 1, only the data related to the parameter C (C1 and C2) is encoded in the encoding device. Further, (3) when the flag p_flag is 0 and the flag c_flag is 0, no parameter set is encoded in the encoding device. When the flag value is determined as shown in FIG. 40B, it can be determined whether the DC component of the image data is encoded by the flag p_flag.
符号化装置において、前記(1)の場合は、例えば図８から図１０で説明したようにパラメータは処理される。前記(2)の場合は、例えば図１６で説明したようにパラメータは処理される。前記(3)の場合は、例えば固定式を用いてパラメータは処理される。 In the encoding apparatus, in the case of (1), parameters are processed as described with reference to FIGS. In the case of (2), parameters are processed as described in FIG. 16, for example. In the case of (3), parameters are processed using, for example, a fixed formula.
復号化装置において、前記(1)の場合は、例えば図１８から図２０で説明したようにパラメータは処理される。前記(2)の場合は、例えば図２２で説明したようにパラメータは処理される。前記(3)の場合は、例えば固定式を用いてパラメータは処理される。 In the decoding apparatus, in the case of (1), parameters are processed as described with reference to FIGS. In the case of (2), for example, the parameters are processed as described in FIG. In the case of (3), parameters are processed using, for example, a fixed formula.
さらに、組み合わせた場合の別の例について、以下に、具体的に説明する。
上記の例では、フラグｐ＿ｆｌａｇ、フラグｃ＿ｆｌａｇを用いて明示的にパラメータを符号化する（受信させるか）を切り替えたが、前記フラグを用いず、可変長符号化テーブル（ＶＬＣテーブル）を用いることも可能である。
Furthermore, another example in the case of combining will be specifically described below.
In the above example, the parameter is explicitly encoded (received) using the flag p_flag and the flag c_flag, but the variable length coding table (VLC table) may be used without using the flag. Is possible.
図４１に示すように、固定式２ａと固定式２ｂを切り替えるかどうかの選択も、さらに明示的に行うことができる。 As shown in FIG. 41, whether or not to switch between the fixed type 2a and the fixed type 2b can also be explicitly selected.
ここで、固定式２の切り替えを行わないとは、以下を意味する。例えば、上記で従来の技術では、第１参照インデックスによって指定されるピクチャが第２参照インデックスによって指定されるピクチャよりも表示順において後にある場合は、固定の係数からなる固定式である式２ａを選択し、それ以外は固定の係数からなる固定式である式２ｂを選択して、予測画像を生成する、ことを説明した。一方、図４１に示す例で、切り替えを行わないと指示された場合は、第１参照インデックスによって指定されるピクチャが第２参照インデックスによって指定されるピクチャよりも符号化順において後にある場合であっても、固定の係数からなる固定式である式２ｂを選択して、予測画像を生成するようにすることを意味する。
Here, not switching the
固定式２ａと固定式２ｂを切り替えるかどうかの選択も明示的に行うためのフラグｖ＿ｆｌａｇの情報は符号列生成部１０３から出力され図４１（ａ）に示すように符号列中に記述される。
Information on the flag v_flag for explicitly selecting whether to switch between the fixed expression 2a and the fixed expression 2b is output from the code
図４１（ｂ）にフラグｖ＿ｆｌａｇによる処理の例を示す。図４１（ｂ）に示すようにフラグｖ＿ｆｌａｇが１のとき、パラメータの符号化は行わず（符号化装置でパラメータはダウンロードされない。以下同様）、固定式２の切り替えは行わない。また、フラグｖ＿ｆｌａｇが０１のとき、パラメータの符号化は行わず、固定式２の切り替えは行う。また、フラグｖ＿ｆｌａｇが００００のとき、パラメータの符号化はパラメータＣのみ行い、固定式２の切り替えは行わない。
FIG. 41B shows an example of processing using the flag v_flag. As shown in FIG. 41 (b), when the flag v_flag is 1, the parameter is not encoded (the parameter is not downloaded by the encoding device; the same applies hereinafter), and the
また、フラグｖ＿ｆｌａｇが０００１のとき、パラメータの符号化はパラメータＣのみ行い、固定式２の切り替えを行う。また、フラグｖ＿ｆｌａｇが００１０のとき、パラメータの符号化はパラメータ全てについて行い、固定式１２の切り替えは行わない。また、フラグｖ＿ｆｌａｇが００１１のとき、パラメータの符号化はパラメータ全てについて行い、固定式１２の切り替えを行う。
When the flag v_flag is 0001, parameter encoding is performed only for parameter C, and fixed
なお、ｖ＿ｆｌａｇが００１０および００１１のときはパラメータ全てが符号化されているので、固定式を使用せずに、重み付けパラメータを用いた線形予測を行うことが可能であり、その場合は固定式を切り替えて使用するかどうかの判別は無視される。 When v_flag is 0010 and 0011, all parameters are encoded, so it is possible to perform linear prediction using weighting parameters without using a fixed formula. In that case, the fixed formula is switched. The determination of whether or not to use is ignored.
なお、フラグｖ＿ｆｌａｇの切り替えは、図１に示す符号化装置では動き補償符号化部１０７において行い、図２に示す復号化装置では動き補償復号化部２０４において行うことができる。また、フラグｖ＿ｆｌａｇでなく、上記のフラグｐ＿ｆｌａｇとフラグｃ＿ｆｌａｇに加え、固定式を切り替えるかどうかを示すフラグｄ＿ｆｌａｇを用いるようにしてもよい。
Note that the flag v_flag can be switched in the motion
以上で示したように、フラグを用いることで、パラメータを符号化装置において符号化して、符号化されたパラメータを復号化装置で受信（ダウンロード）するかどうかを切り替えることができるようになる。これにより、アプリケーションの特性や、復号化装置側の処理能力によって、符号化する（受信させる）パラメータを明示的に切り替えることができる。 As described above, by using a flag, it is possible to switch whether the parameter is encoded by the encoding device and whether the encoded parameter is received (downloaded) by the decoding device. Thereby, the parameter to be encoded (received) can be explicitly switched depending on the characteristics of the application and the processing capability on the decoding device side.
また、固定式の切り替えを明示的に変更可能にすることで、画質の向上を図る手段が増え、ひいては符号化効率の向上も図ることが可能になる。また、復号化装置で有していない固定式がある場合でも、明示的に固定式を変更することによって、明示的に選択した固定式による予測画像の生成が可能になる。 In addition, by making it possible to explicitly change the fixed switching, it is possible to increase means for improving the image quality, and thus to improve the encoding efficiency. Further, even when there is a fixed expression that the decoding apparatus does not have, by explicitly changing the fixed expression, it is possible to generate a predicted image using the explicitly selected fixed expression.
なお、図４０中のフラグの配置は図示するものに限られない。また、フラグの値は上記で説明したものに限られない。また、２種類のフラグを用いると、４通りのパラメータの用い方を明示することが可能になるので、上記で説明した以外のパラメータの用い方を割り当てるようにしてもよい。また、上記の例で全てのパラメータを送ると説明したが、例えば図１０および図２０で説明したように必要なパラメータセットを全て送るようにしてもよい。 Note that the arrangement of the flags in FIG. 40 is not limited to that shown in the figure. Further, the value of the flag is not limited to that described above. Further, when two types of flags are used, it is possible to clearly indicate how to use four types of parameters. Therefore, it is possible to assign a method of using parameters other than those described above. Further, although it has been described that all parameters are sent in the above example, all necessary parameter sets may be sent as described in FIGS. 10 and 20, for example.
（実施の形態１２）
さらに、上記各実施の形態で示した画像符号化方法または画像復号化方法の構成を実現するためのプログラムを、フレキシブルディスク等の記憶媒体に記録するようにすることにより、上記各実施の形態で示した処理を、独立したコンピュータシステムにおいて簡単に実施することが可能となる。
(Embodiment 12)
Further, by recording a program for realizing the configuration of the image encoding method or the image decoding method shown in each of the above embodiments on a storage medium such as a flexible disk, the above embodiments can be used. The illustrated processing can be easily performed in an independent computer system.
図２５は、上記実施の形態１から実施の形態１１の画像符号化方法または画像復号化方法を格納したフレキシブルディスクを用いて、コンピュータシステムにより実施する場合の説明図である。 FIG. 25 is an explanatory diagram in the case of implementing by a computer system using a flexible disk storing the image coding method or the image decoding method of the first to eleventh embodiments.
図２５（ｂ）は、フレキシブルディスクの正面からみた外観、断面構造、及びフレキシブルディスクを示し、図２５（ａ）は、記録媒体本体であるフレキシブルディスクの物理フォーマットの例を示している。フレキシブルディスクＦＤはケースＦ内に内蔵され、該ディスクの表面には、同心円状に外周からは内周に向かって複数のトラックＴｒが形成され、各トラックは角度方向に１６のセクタＳｅに分割されている。従って、上記プログラムを格納したフレキシブルディスクでは、上記フレキシブルディスクＦＤ上に割り当てられた領域に、上記プログラムとしての画像符号化方法が記録されている。 FIG. 25B shows an appearance, a cross-sectional structure, and a flexible disk as seen from the front of the flexible disk, and FIG. 25A shows an example of a physical format of the flexible disk that is a recording medium body. The flexible disk FD is built in the case F, and a plurality of tracks Tr are formed concentrically on the surface of the disk from the outer periphery toward the inner periphery, and each track is divided into 16 sectors Se in the angular direction. ing. Therefore, in the flexible disk storing the program, an image encoding method as the program is recorded in an area allocated on the flexible disk FD.
また、図２５（ｃ）は、フレキシブルディスクＦＤに上記プログラムの記録再生を行うための構成を示す。上記プログラムをフレキシブルディスクＦＤに記録する場合は、コンピュータシステムＣｓから上記プログラムとしての画像符号化方法または画像復号化方法をフレキシブルディスクドライブを介して書き込む。また、フレキシブルディスク内のプログラムにより上記画像符号化方法をコンピュータシステム中に構築する場合は、フレキシブルディスクドライブによりプログラムをフレキシブルディスクから読み出し、コンピ
ュータシステムに転送する。
FIG. 25C shows a configuration for recording and reproducing the program on the flexible disk FD. When recording the program on the flexible disk FD, the image encoding method or the image decoding method as the program is written from the computer system Cs via the flexible disk drive. When the image encoding method is built in a computer system by a program in a flexible disk, the program is read from the flexible disk by a flexible disk drive and transferred to the computer system.
なお、上記説明では、記録媒体としてフレキシブルディスクを用いて説明を行ったが、光ディスクを用いても同様に行うことができる。また、記録媒体はこれに限らず、ＩＣカード、ＲＯＭカセット等、プログラムを記録できるものであれば同様に実施することができる。 In the above description, a flexible disk is used as the recording medium, but the same can be done using an optical disk. Further, the recording medium is not limited to this, and any recording medium such as an IC card or a ROM cassette capable of recording a program can be similarly implemented.
（実施の形態１３）
図２６から図２９は、上記実施の形態で示した符号化処理または復号化処理を行う機器、およびこの機器を用いたシステムを説明する図である。
(Embodiment 13)
FIG. 26 to FIG. 29 are diagrams illustrating a device that performs the encoding process or the decoding process described in the above embodiment, and a system using this device.
図２６は、コンテンツ配信サービスを実現するコンテンツ供給システムex１００の全体構成を示すブロック図である。通信サービスの提供エリアを所望の大きさに分割し、各セル内にそれぞれ固定無線局である基地局ex１０７〜ex１１０が設置されている。 FIG. 26 is a block diagram showing an overall configuration of a content supply system ex100 that implements a content distribution service. The communication service providing area is divided into desired sizes, and base stations ex107 to ex110, which are fixed radio stations, are installed in each cell.
このコンテンツ供給システムex１００は、例えば、インターネットex１０１にインターネットサービスプロバイダex１０２および電話網ex１０４、および基地局ex１０７〜ex１１０を介して、コンピュータex１１１、ＰＤＡ（personal digital assistant）ex１１２、カメラex１１３、携帯電話ex１１４、カメラ付きの携帯電話ex１１５などの各機器が接続される。 The content supply system ex100 includes, for example, a computer ex111, a PDA (personal digital assistant) ex112, a camera ex113, a mobile phone ex114, a camera via the Internet ex101, the Internet service provider ex102, the telephone network ex104, and the base stations ex107 to ex110. Each device such as the attached mobile phone ex115 is connected.
しかし、コンテンツ供給システムex１００は図２６のような組合せに限定されず、いずれかを組み合わせて接続するようにしてもよい。また、固定無線局である基地局ex１０７〜ex１１０を介さずに、各機器が電話網ex１０４に直接接続されてもよい。 However, the content supply system ex100 is not limited to the combination as shown in FIG. 26, and any combination may be connected. Further, each device may be directly connected to the telephone network ex104 without going through the base stations ex107 to ex110 which are fixed wireless stations.
カメラex１１３はデジタルビデオカメラ等の動画撮影が可能な機器である。また、携帯電話は、ＰＤＣ（Personal Digital Communications）方式、ＣＤＭＡ（Code Division Multiple Access）方式、Ｗ−ＣＤＭＡ（Wideband-Code Division Multiple Access）方式、若しくはＧＳＭ（Global System for Mobile Communications）方式の携帯電話機、またはＰＨＳ（Personal Handyphone System）等であり、いずれでも構わない。 The camera ex113 is a device capable of shooting a moving image such as a digital video camera. The mobile phone is a PDC (Personal Digital Communications) system, a CDMA (Code Division Multiple Access) system, a W-CDMA (Wideband-Code Division Multiple Access) system, or a GSM (Global System for Mobile Communications) system mobile phone, Alternatively, PHS (Personal Handyphone System) or the like may be used.
また、ストリーミングサーバex１０３は、カメラex１１３から基地局ex１０９、電話網ex１０４を通じて接続されており、カメラex１１３を用いてユーザが送信する符号化処理されたデータに基づいたライブ配信等が可能になる。撮影したデータの符号化処理はカメラex１１３で行っても、データの送信処理をするサーバ等で行ってもよい。 In addition, the streaming server ex103 is connected from the camera ex113 through the base station ex109 and the telephone network ex104, and live distribution or the like based on the encoded data transmitted by the user using the camera ex113 becomes possible. The encoded processing of the captured data may be performed by the camera ex113 or may be performed by a server or the like that performs data transmission processing.
また、カメラ１１６で撮影した動画データはコンピュータex１１１を介してストリーミングサーバex１０３に送信されてもよい。カメラex１１６はデジタルカメラ等の静止画、動画が撮影可能な機器である。この場合、動画データの符号化はカメラex１１６で行ってもコンピュータex１１１で行ってもどちらでもよい。また、符号化処理はコンピュータex１１１やカメラex１１６が有するＬＳＩex１１７において処理することになる。 Further, the moving image data shot by the camera 116 may be transmitted to the streaming server ex103 via the computer ex111. The camera ex116 is a device that can shoot still images and moving images, such as a digital camera. In this case, the encoding of the moving image data may be performed by the camera ex116 or the computer ex111. The encoding process is performed in the LSI ex117 included in the computer ex111 and the camera ex116.
なお、画像符号化・復号化用のソフトウェアをコンピュータex１１１等で読み取り可能な記録媒体である何らかの蓄積メディア（ＣＤ−ＲＯＭ、フレキシブルディスク、ハードディスクなど）に組み込んでもよい。さらに、カメラ付きの携帯電話ex１１５で動画データを送信してもよい。このときの動画データは携帯電話ex１１５が有するＬＳＩで符号化処理されたデータである。 Note that image encoding / decoding software may be incorporated into any storage medium (CD-ROM, flexible disk, hard disk, etc.) that is a recording medium readable by the computer ex111 or the like. Furthermore, you may transmit moving image data with the mobile telephone ex115 with a camera. The moving image data at this time is data encoded by the LSI included in the mobile phone ex115.
このコンテンツ供給システムex１００では、ユーザがカメラex１１３、カメラex１１６等で撮影しているコンテンツ（例えば、音楽ライブを撮影した映像等）を上記実施の形態同様に符号化処理してストリーミングサーバex１０３に送信する一方で、ストリーミング
サーバex１０３は要求のあったクライアントに対して上記コンテンツデータをストリーム配信する。クライアントとしては、上記符号化処理されたデータを復号化することが可能な、コンピュータex１１１、ＰＤＡex１１２、カメラex１１３、携帯電話ex１１４等がある。このようにすることでコンテンツ供給システムex１００は、符号化されたデータをクライアントにおいて受信して再生することができ、さらにクライアントにおいてリアルタイムで受信して復号化し、再生することにより、個人放送をも実現可能になるシステムである。
In this content supply system ex100, the content (for example, video shot of music live) captured by the user with the camera ex113, camera ex116, etc. is encoded and transmitted to the streaming server ex103 as in the above embodiment. On the other hand, the streaming server ex103 distributes the content data to the requested client. Examples of the client include a computer ex111, a PDA ex112, a camera ex113, a mobile phone ex114, and the like that can decode the encoded data. In this way, the content supply system ex100 can receive and reproduce the encoded data at the client, and also realize personal broadcasting by receiving, decoding, and reproducing in real time at the client. It is a system that becomes possible.
このシステムを構成する各機器の符号化、復号化には上記各実施の形態で示した動画像符号化装置あるいは動画像復号化装置を用いるようにすればよい。 For the encoding and decoding of each device constituting this system, the moving image encoding device or the moving image decoding device described in the above embodiments may be used.
その一例として携帯電話について説明する。
図２８は、上記実施の形態で説明した動画像符号化方法と動画像復号化方法を用いた携帯電話ex１１５を示す図である。携帯電話ex１１５は、基地局ex１１０との間で電波を送受信するためのアンテナex２０１、ＣＣＤカメラ等の映像、静止画を撮ることが可能なカメラ部ex２０３、カメラ部ex２０３で撮影した映像、アンテナex２０１で受信した映像等が復号化されたデータを表示する液晶ディスプレイ等の表示部ex２０２、操作キーex２０４群から構成される本体部、音声出力をするためのスピーカ等の音声出力部ex２０８、音声入力をするためのマイク等の音声入力部ex２０５、撮影した動画もしくは静止画のデータ、受信したメールのデータ、動画のデータもしくは静止画のデータ等、符号化されたデータまたは復号化されたデータを保存するための記録メディアex２０７、携帯電話ex１１５に記録メディアex２０７を装着可能とするためのスロット部ex２０６を有している。記録メディアex２０７はＳＤカード等のプラスチックケース内に電気的に書換えや消去が可能な不揮発性メモリであるＥＥＰＲＯＭ（Electrically Erasable and Programmable Read Only Memory）の一種であるフラッシュメモリ素子を格納したものである。
A mobile phone will be described as an example.
FIG. 28 is a diagram illustrating a mobile phone ex115 that uses the moving picture coding method and the moving picture decoding method described in the above embodiment. The cellular phone ex115 includes an antenna ex201 for transmitting and receiving radio waves to and from the base station ex110, a camera such as a CCD camera, a camera unit ex203 capable of taking a still image, a video shot by the camera unit ex203, and an antenna ex201. A display unit ex202 such as a liquid crystal display for displaying data obtained by decoding received video and the like, a main body unit composed of a group of operation keys ex204, an audio output unit ex208 such as a speaker for audio output, and audio input To store encoded data or decoded data such as a voice input unit ex205 such as a microphone, captured video or still image data, received mail data, video data or still image data, etc. Recording medium ex207 and a slot ex206 for enabling the recording medium ex207 to be attached to the mobile phone ex115. Have. The recording medium ex207 stores a flash memory element which is a kind of EEPROM (Electrically Erasable and Programmable Read Only Memory) which is a nonvolatile memory that can be electrically rewritten and erased in a plastic case such as an SD card.
さらに、携帯電話ex１１５について図２７を用いて説明する。携帯電話ex１１５は表示部ex２０２及び操作キーex２０４を備えた本体部の各部を統括的に制御するようになされた主制御部ex３１１に対して、電源回路部ex３１０、操作入力制御部ex３０４、画像符号化部ex３１２、カメラインターフェース部ex３０３、ＬＣＤ（Liquid Crystal Display）制御部ex３０２、画像復号化部ex３０９、多重分離部ex３０８、記録再生部ex３０７、変復調回路部ex３０６及び音声処理部ex３０５が同期バスex３１３を介して互いに接続されている。 Further, the cellular phone ex115 will be described with reference to FIG. The mobile phone ex115 controls the power supply circuit ex310, the operation input control unit ex304, and the image encoding for the main control unit ex311 configured to control the respective units of the main body unit including the display unit ex202 and the operation key ex204. Unit ex312, camera interface unit ex303, LCD (Liquid Crystal Display) control unit ex302, image decoding unit ex309, demultiplexing unit ex308, recording / reproducing unit ex307, modulation / demodulation circuit unit ex306, and audio processing unit ex305 via a synchronization bus ex313 Are connected to each other.
電源回路部ex３１０は、ユーザの操作により終話及び電源キーがオン状態にされると、バッテリパックから各部に対して電力を供給することによりカメラ付ディジタル携帯電話ex１１５を動作可能な状態に起動する。 When the end call and power key are turned on by a user operation, the power supply circuit ex310 activates the camera-equipped digital mobile phone ex115 by supplying power from the battery pack to each unit. .
携帯電話ex１１５は、ＣＰＵ、ＲＯＭ及びＲＡＭ等でなる主制御部ex３１１の制御に基づいて、音声通話モード時に音声入力部ex２０５で集音した音声信号を音声処理部ex３０５によってディジタル音声データに変換し、これを変復調回路部ex３０６でスペクトラム拡散処理し、送受信回路部ex３０１でディジタルアナログ変換処理及び周波数変換処理を施した後にアンテナex２０１を介して送信する。また携帯電話機ex１１５は、音声通話モード時にアンテナex２０１で受信した受信信号を増幅して周波数変換処理及びアナログディジタル変換処理を施し、変復調回路部ex３０６でスペクトラム逆拡散処理し、音声処理部ex３０５によってアナログ音声信号に変換した後、これを音声出力部ex２０８を介して出力する。 The mobile phone ex115 converts the voice signal collected by the voice input unit ex205 in the voice call mode into digital voice data by the voice processing unit ex305 based on the control of the main control unit ex311 including a CPU, a ROM, a RAM, and the like. The modulation / demodulation circuit unit ex306 performs spread spectrum processing, and the transmission / reception circuit unit ex301 performs digital analog conversion processing and frequency conversion processing, and then transmits the result via the antenna ex201. In addition, the cellular phone ex115 amplifies the received signal received by the antenna ex201 in the voice call mode, performs frequency conversion processing and analog-digital conversion processing, performs spectrum despreading processing by the modulation / demodulation circuit unit ex306, and analog audio by the voice processing unit ex305. After conversion to a signal, this is output via the audio output unit ex208.
さらに、データ通信モード時に電子メールを送信する場合、本体部の操作キーex２０４の操作によって入力された電子メールのテキストデータは操作入力制御部ex３０４を介して主制御部ex３１１に送出される。主制御部ex３１１は、テキストデータを変復調回路部ex３０６でスペクトラム拡散処理し、送受信回路部ex３０１でディジタルアナログ変換処理及び周波数変換処理を施した後にアンテナex２０１を介して基地局ex１１０へ送信する。 Further, when an e-mail is transmitted in the data communication mode, text data of the e-mail input by operating the operation key ex204 on the main body is sent to the main control unit ex311 via the operation input control unit ex304. The main control unit ex311 performs spread spectrum processing on the text data in the modulation / demodulation circuit unit ex306, performs digital analog conversion processing and frequency conversion processing in the transmission / reception circuit unit ex301, and then transmits the text data to the base station ex110 via the antenna ex201.
データ通信モード時に画像データを送信する場合、カメラ部ex２０３で撮像された画像データをカメラインターフェース部ex３０３を介して画像符号化部ex３１２に供給する。また、画像データを送信しない場合には、カメラ部ex２０３で撮像した画像データをカメラインターフェース部ex３０３及びＬＣＤ制御部ex３０２を介して表示部ex２０２に直接表示することも可能である。 When transmitting image data in the data communication mode, the image data captured by the camera unit ex203 is supplied to the image encoding unit ex312 via the camera interface unit ex303. When image data is not transmitted, the image data captured by the camera unit ex203 can be directly displayed on the display unit ex202 via the camera interface unit ex303 and the LCD control unit ex302.
画像符号化部ex３１２は、本願発明で説明した画像符号化装置を備えた構成であり、カメラ部ex２０３から供給された画像データを上記実施の形態で示した画像符号化装置に用いた符号化方法によって圧縮符号化することにより符号化画像データに変換し、これを多重分離部ex３０８に送出する。また、このとき同時に携帯電話機ex１１５は、カメラ部ex２０３で撮像中に音声入力部ex２０５で集音した音声を音声処理部ex３０５を介してディジタルの音声データとして多重分離部ex３０８に送出する。 The image encoding unit ex312 has a configuration including the image encoding device described in the present invention, and an encoding method using the image data supplied from the camera unit ex203 in the image encoding device described in the above embodiment. The encoded image data is converted into encoded image data by compression encoding, and sent to the demultiplexing unit ex308. At the same time, the cellular phone ex115 sends the sound collected by the audio input unit ex205 during imaging by the camera unit ex203 to the demultiplexing unit ex308 as digital audio data via the audio processing unit ex305.
多重分離部ex３０８は、画像符号化部ex３１２から供給された符号化画像データと音声処理部ex３０５から供給された音声データとを所定の方式で多重化し、その結果得られる多重化データを変復調回路部ex３０６でスペクトラム拡散処理し、送受信回路部ex３０１でディジタルアナログ変換処理及び周波数変換処理を施した後にアンテナex２０１を介して送信する。 The demultiplexing unit ex308 multiplexes the encoded image data supplied from the image encoding unit ex312 and the audio data supplied from the audio processing unit ex305 by a predetermined method, and the multiplexed data obtained as a result is a modulation / demodulation circuit unit A spectrum spread process is performed at ex306, a digital-analog conversion process and a frequency conversion process are performed at the transmission / reception circuit unit ex301, and then transmitted through the antenna ex201.
データ通信モード時にホームページ等にリンクされた動画像ファイルのデータを受信する場合、アンテナex２０１を介して基地局ex１１０から受信した受信信号を変復調回路部ex３０６でスペクトラム逆拡散処理し、その結果得られる多重化データを多重分離部ex３０８に送出する。 When receiving data of a moving image file linked to a home page or the like in the data communication mode, the received signal received from the base station ex110 via the antenna ex201 is subjected to spectrum despreading processing by the modulation / demodulation circuit unit ex306, and the resulting multiplexing is obtained. Is sent to the demultiplexing unit ex308.
また、アンテナex２０１を介して受信された多重化データを復号化するには、多重分離部ex３０８は、多重化データを分離することにより画像データの符号化ビットストリームと音声データの符号化ビットストリームとに分け、同期バスex３１３を介して当該符号化画像データを画像復号化部ex３０９に供給すると共に当該音声データを音声処理部ex３０５に供給する。 In addition, in order to decode the multiplexed data received via the antenna ex201, the demultiplexing unit ex308 separates the multiplexed data to generate an encoded bitstream of image data and an encoded bitstream of audio data. The encoded image data is supplied to the image decoding unit ex309 via the synchronization bus ex313, and the audio data is supplied to the audio processing unit ex305.
次に、画像復号化部ex３０９は、本願発明で説明した画像復号化装置を備えた構成であり、画像データの符号化ビットストリームを上記実施の形態で示した符号化方法に対応した復号化方法で復号することにより再生動画像データを生成し、これをＬＣＤ制御部ex３０２を介して表示部ex２０２に供給し、これにより、例えばホームページにリンクされた動画像ファイルに含まれる動画データが表示される。このとき同時に音声処理部ex３０５は、音声データをアナログ音声信号に変換した後、これを音声出力部ex２０８に供給し、これにより、例えばホームページにリンクされた動画像ファイルに含まる音声データが再生される。 Next, the image decoding unit ex309 is configured to include the image decoding device described in the present invention, and a decoding method corresponding to the encoding method described in the above embodiment for an encoded bit stream of image data. To generate playback moving image data, which is supplied to the display unit ex202 via the LCD control unit ex302, thereby displaying, for example, moving image data included in the moving image file linked to the homepage . At the same time, the audio processing unit ex305 converts the audio data into an analog audio signal, and then supplies the analog audio signal to the audio output unit ex208. Thus, for example, the audio data included in the moving image file linked to the home page is reproduced. The
なお、上記システムの例に限られず、最近は衛星、地上波によるディジタル放送が話題となっており、図２９に示すようにディジタル放送用システムにも上記実施の形態の少なくとも画像符号化装置または画像復号化装置のいずれかを組み込むことができる。具体的には、放送局ex４０９では映像情報の符号化ビットストリームが電波を介して通信または放送衛星ex４１０に伝送される。これを受けた放送衛星ex４１０は、放送用の電波を発信し、この電波を衛星放送受信設備をもつ家庭のアンテナex４０６で受信し、テレビ（受信機）ex４０１またはセットトップボックス（ＳＴＢ）ex４０７などの装置により符号化ビットストリームを復号化してこれを再生する。 It should be noted that the present invention is not limited to the above-described system, and recently, digital broadcasting using satellites and terrestrial waves has become a hot topic. As shown in FIG. Any of the decoding devices can be incorporated. Specifically, in the broadcasting station ex409, the encoded bit stream of the video information is transmitted to the communication or broadcasting satellite ex410 via radio waves. Receiving this, the broadcasting satellite ex410 transmits a radio wave for broadcasting, and receives the radio wave with a home antenna ex406 having a satellite broadcasting receiving facility, such as a television (receiver) ex401 or a set top box (STB) ex407. The device decodes the encoded bit stream and reproduces it.
また、記録媒体であるＣＤやＤＶＤ等の蓄積メディアex４０２に記録した符号化ビットストリームを読み取り、復号化する再生装置ex４０３にも上記実施の形態で示した画像復号化装置を実装することが可能である。この場合、再生された映像信号はモニタex４０４に表示される。また、ケーブルテレビ用のケーブルex４０５または衛星／地上波放送のアンテナex４０６に接続されたセットトップボックスex４０７内に画像復号化装置を実装し、これをテレビのモニタex４０８で再生する構成も考えられる。このときセットトップボックスではなく、テレビ内に画像復号化装置を組み込んでも良い。また、アンテナex４１１を有する車ex４１２で衛星ex４１０からまたは基地局ex１０７等から信号を受信し、車ex４１２が有するカーナビゲーションex４１３等の表示装置に動画を再生することも可能である。 In addition, the image decoding apparatus described in the above embodiment can also be implemented in a playback apparatus ex403 that reads and decodes an encoded bitstream recorded on a storage medium ex402 such as a CD or DVD as a recording medium. is there. In this case, the reproduced video signal is displayed on the monitor ex404. Further, a configuration in which an image decoding device is mounted in a set-top box ex407 connected to a cable ex405 for cable television or an antenna ex406 for satellite / terrestrial broadcasting, and this is reproduced on the monitor ex408 of the television is also conceivable. At this time, the image decoding apparatus may be incorporated in the television instead of the set top box. It is also possible to receive a signal from the satellite ex410 or the base station ex107 by the car ex412 having the antenna ex411 and reproduce a moving image on a display device such as the car navigation ex413 that the car ex412 has.
更に、画像信号を上記実施の形態で示した画像符号化装置で符号化し、記録媒体に記録することもできる。具体例としては、ＤＶＤディスクex４２１に画像信号を記録するＤＶＤレコーダや、ハードディスクに記録するディスクレコーダなどのレコーダex４２０がある。更にSDカードex４２２に記録することもできる。レコーダex４２０が上記実施の形態で示した画像復号化装置を備えていれば、ＤＶＤディスクex４２１やSDカードex４２２に記録した画像信号を再生し、モニタex４０８で表示することができる。 Further, the image signal can be encoded by the image encoding device shown in the above embodiment and recorded on a recording medium. Specific examples include a recorder ex420 such as a DVD recorder that records image signals on a DVD disk ex421 and a disk recorder that records on a hard disk. Further, it can be recorded on the SD card ex422. If the recorder ex420 includes the image decoding device described in the above embodiment, the image signal recorded on the DVD disc ex421 or the SD card ex422 can be reproduced and displayed on the monitor ex408.
なお、カーナビゲーションex４１３の構成は例えば図２８に示す構成のうち、カメラ部ex２０３とカメラインターフェース部ex３０３、画像符号化部ex３１２を除いた構成が考えられ、同様なことがコンピュータex１１１やテレビ（受信機）ex４０１等でも考えられる。 As the configuration of the car navigation ex413, for example, the configuration excluding the camera unit ex203, the camera interface unit ex303, and the image encoding unit ex312 in the configuration illustrated in FIG. 28 can be considered, and the same applies to the computer ex111 and the television (receiver). ) Ex401 can also be considered.
また、上記携帯電話ex１１４等の端末は、符号化器・復号化器を両方持つ送受信型の端末の他に、符号化器のみの送信端末、復号化器のみの受信端末の３通りの実装形式が考えられる。 In addition to the transmission / reception type terminal having both the encoder and the decoder, the terminal such as the mobile phone ex114 has three implementation formats: a transmitting terminal having only an encoder and a receiving terminal having only a decoder. Can be considered.
このように、上記実施の形態で示した動画像符号化方法あるいは動画像復号化方法を上述したいずれの機器・システムに用いることは可能であり、そうすることで、上記実施の形態で説明した効果を得ることができる。 As described above, the moving picture encoding method or the moving picture decoding method described in the above embodiment can be used in any of the above-described devices and systems, and as a result, the above-described embodiment has been described. An effect can be obtained.
本発明は、予測画像の生成に用いられる係数および参照ピクチャを指定する参照インデックスとピクチャ番号とを対応付けるコマンドを生成し、符号化対象ピクチャ内のブロックに対して動き補償を行うときに参照すべき参照ピクチャを前記参照インデックスにより指定し、指定された参照ピクチャ上の動き検出により得られたブロックに対して、前記参照インデックスに対応した前記係数を用いた線形予測を施すことにより予測画像を生成する画面間符号化を行う画像符号化装置に適している。また、画像符号化装置により符号化信号を復号化する画像復号化装置に適している。 The present invention generates a command for associating a coefficient used for generating a predicted image and a reference index for specifying a reference picture with a picture number, and should be referred to when performing motion compensation on a block in a picture to be encoded. A reference picture is designated by the reference index, and a prediction image is generated by performing linear prediction using the coefficient corresponding to the reference index on a block obtained by motion detection on the designated reference picture. It is suitable for an image encoding device that performs inter-screen encoding. Further, the present invention is suitable for an image decoding apparatus that decodes an encoded signal by an image encoding apparatus.
１０１ ピクチャメモリ
１０２ 予測残差符号化部
１０３ 符号列生成部
１０４ 予測残差復号化部
１０５ ピクチャメモリ
１０６ 動きベクトル検出部
１０７ 動き補償符号化部
１０８ 動きベクトル記憶部
１０９ 線形予測係数記憶部
１１０ 線形予測係数生成部
１１１ 参照インデックス・ピクチャ番号変換部
２０１ 符号列解析部
２０２ 予測残差復号化部
２０３ ピクチャメモリ
２０４ 動き補償復号部
２０５ 動きベクトル記憶部
２０６ 線形予測係数記憶部
２０７ 参照インデックス・ピクチャ番号変換部
Ｃｓ コンピュータシステム
ＦＤ フレキシブルディスク
ＦＤＤ フレキシブルディスクドライブ
DESCRIPTION OF
Claims (4)
復号化対象ブロックの参照ピクチャを指定する参照インデックス、
複数の参照ピクチャと、該複数の参照ピクチャのそれぞれを指定する参照インデックスとを対応付けるコマンド、
ピクチャの表示順を示す表示順情報、および、
予測誤差
を得る画像符号化信号復号化ステップと、
前記コマンドと前記参照インデックスとにより、復号化対象ブロックを動き補償により復号化するときに参照される参照ピクチャを指定する参照ピクチャ指定ステップと、
前記表示順情報によって重み付け係数を生成する重み付け係数生成ステップと、
前記参照ピクチャ指定ステップで指定された参照ピクチャより得られた参照ブロックの画素値に対して、前記重み付け係数を用いた線形予測を施すことにより前記予測画像を生成する予測画像生成ステップと、
前記予測画像と復号化された前記予測誤差とから復号画像を生成する復元画像生成ステップとを有し、
前記参照インデックスは、第１の参照ピクチャを示す第１の参照インデックスと、第２の参照ピクチャを示す第２の参照インデックスとを有することを特徴とする画像復号化方法。 Decode the image encoded signal,
A reference index specifying the reference picture of the block to be decoded,
A command for associating a plurality of reference pictures with a reference index for designating each of the plurality of reference pictures ;
Display order information indicating the display order of pictures , and
An image encoded signal decoding step to obtain a prediction error;
A reference picture designating step for designating a reference picture to be referred to when decoding the decoding target block by motion compensation based on the command and the reference index;
A weighting factor generating step of generating a weighting factor by the display order information,
A predicted image generating step of generating the predicted image by performing linear prediction using the weighting coefficient on the pixel value of the reference block obtained from the reference picture specified in the reference picture specifying step;
A restored image generation step of generating a decoded image from the predicted image and the decoded prediction error;
The image decoding method, wherein the reference index includes a first reference index indicating a first reference picture and a second reference index indicating a second reference picture.
ことを特徴とする請求項１に記載の画像復号化方法。 In the prediction image generation step, when the first reference picture specified by the first reference index and the second reference picture specified by the second reference index have the same display order information, Generating the predicted image by performing linear prediction using a set weighting coefficient;
The image decoding method according to claim 1, wherein:
復号化対象ブロックの参照ピクチャを指定する参照インデックス、
複数の参照ピクチャと、該複数の参照ピクチャのそれぞれを指定する参照インデックスとを対応付けるコマンド、
ピクチャの表示順を示す表示順情報、および
予測誤差
を得る画像符号化信号復号化手段と、
前記コマンドと前記参照インデックスとにより、復号化対象ブロックを動き補償により復号化するときに参照される参照ピクチャを指定する参照ピクチャ指定手段と、
前記表示順情報によって重み付け係数を生成する重み付け係数生成手段と、
前記参照ピクチャ指定手段で指定された参照ピクチャより得られた参照ブロックの画素値に対して、前記重み付け係数を用いた線形予測を施すことにより前記予測画像を生成する予測画像生成手段と、
前記予測画像と復号化された前記予測誤差とから復号画像を生成する復元画像生成手段とを有し、
前記参照インデックスは、第１の参照ピクチャを示す第１の参照インデックスと、第２の参照ピクチャを示す第２の参照インデックスとを有し、
前記予測画像生成手段において、前記第１の参照インデックスによって指定される第１
の参照ピクチャおよび前記第２の参照インデックスによって指定される前記第２の参照ピクチャが同じ表示順情報をもつ時は、予め設定された重み付け係数を用いて線形予測を行うことにより前記予測画像を生成することを特徴とする画像復号化装置。 Decode the image encoded signal,
A reference index specifying the reference picture of the block to be decoded,
A command for associating a plurality of reference pictures with a reference index for designating each of the plurality of reference pictures ;
Display order information indicating the display order of pictures , and image coded signal decoding means for obtaining a prediction error;
A reference picture designating unit for designating a reference picture to be referred to when decoding a decoding target block by motion compensation based on the command and the reference index;
A weighting coefficient generating means for generating a weighting factor by the display order information,
Predicted image generation means for generating the predicted image by performing linear prediction using the weighting coefficient for the pixel value of the reference block obtained from the reference picture specified by the reference picture specifying means;
Restored image generating means for generating a decoded image from the predicted image and the decoded prediction error;
The reference index includes a first reference index indicating a first reference picture and a second reference index indicating a second reference picture;
In the predicted image generation means, a first designated by the first reference index
When the reference picture and the second reference picture specified by the second reference index have the same display order information, the prediction picture is generated by performing linear prediction using a preset weighting coefficient An image decoding apparatus characterized by:
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2006188423A JP4485494B2 (en) | 2002-08-08 | 2006-07-07 | Image decoding method and image decoding apparatus |
Applications Claiming Priority (7)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002232160 | 2002-08-08 | ||
| JP2002273992 | 2002-09-19 | ||
| JP2002289294 | 2002-10-01 | ||
| JP2002296726 | 2002-10-09 | ||
| JP2002370722 | 2002-12-20 | ||
| JP2003008751 | 2003-01-16 | ||
| JP2006188423A JP4485494B2 (en) | 2002-08-08 | 2006-07-07 | Image decoding method and image decoding apparatus |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003272185A Division JP4485157B2 (en) | 2002-08-08 | 2003-07-09 | Image decoding method and image decoding apparatus |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2006325238A JP2006325238A (en) | 2006-11-30 |
| JP4485494B2 true JP4485494B2 (en) | 2010-06-23 |
Family
ID=37544498
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2006188423A Expired - Lifetime JP4485494B2 (en) | 2002-08-08 | 2006-07-07 | Image decoding method and image decoding apparatus |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4485494B2 (en) |
-
2006
- 2006-07-07 JP JP2006188423A patent/JP4485494B2/en not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| JP2006325238A (en) | 2006-11-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR100976017B1 (en) | Moving picture encoding method and decoding method | |
| JP4767991B2 (en) | Image encoding method and image encoding apparatus | |
| JP2011091846A (en) | Image decoding method, image decoding device, and storage medium | |
| JP4485157B2 (en) | Image decoding method and image decoding apparatus | |
| JP4485494B2 (en) | Image decoding method and image decoding apparatus |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20091215 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100212 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20100302 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20100324 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 4485494 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130402 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130402 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140402 Year of fee payment: 4 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| S131 | Request for trust registration of transfer of right |
Free format text: JAPANESE INTERMEDIATE CODE: R313135 |
|
| SZ02 | Written request for trust registration |
Free format text: JAPANESE INTERMEDIATE CODE: R313Z02 |
|
| S131 | Request for trust registration of transfer of right |
Free format text: JAPANESE INTERMEDIATE CODE: R313135 |
|
| SZ02 | Written request for trust registration |
Free format text: JAPANESE INTERMEDIATE CODE: R313Z02 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| S131 | Request for trust registration of transfer of right |
Free format text: JAPANESE INTERMEDIATE CODE: R313135 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| EXPY | Cancellation because of completion of term |