JP2013126145A - Color moving image encoding device, color moving image decoding device, color moving image encoding method, and color moving image decoding method - Google Patents
Color moving image encoding device, color moving image decoding device, color moving image encoding method, and color moving image decoding method Download PDFInfo
- Publication number
- JP2013126145A JP2013126145A JP2011274543A JP2011274543A JP2013126145A JP 2013126145 A JP2013126145 A JP 2013126145A JP 2011274543 A JP2011274543 A JP 2011274543A JP 2011274543 A JP2011274543 A JP 2011274543A JP 2013126145 A JP2013126145 A JP 2013126145A
- Authority
- JP
- Japan
- Prior art keywords
- block
- prediction
- image
- color difference
- maximum
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
Description
この発明は、カラー動画像を高効率で符号化を行うカラー動画像符号化装置及びカラー動画像符号化方法と、高効率で符号化されているカラー動画像を復号するカラー動画像復号装置及びカラー動画像復号方法とに関するものである。 The present invention relates to a color moving image encoding device and a color moving image encoding method for encoding a color moving image with high efficiency, a color moving image decoding device for decoding a color moving image encoded with high efficiency, and The present invention relates to a color moving image decoding method.
例えば、以下の非特許文献１に記載されている従来のカラー動画像符号化装置では、入力されたカラー画像を所定の大きさの最大符号化ブロックに分割し、さらに、最大符号化ブロックをより細かい符号化ブロックに階層分割する。
また、その符号化ブロックをさらに細かい予測ブロックに分割し、その予測ブロックに対する画面内予測や動き補償予測を実施することで予測誤差を生成する。
また、その予測誤差を符号化ブロック内で階層的に変換ブロックに分割し、それぞれの変換係数をエントロピー符号化することで高い圧縮率を達成している。
従来のカラー動画像符号化装置では、ＹＵＶ４：２：０信号の符号化を行う場合、色差信号の変換ブロックサイズを、輝度信号の変換ブロックサイズの縦横半分のサイズに固定することで、色差信号の変換ブロックサイズに係る情報を符号化する必要をなくして、色差信号の符号化効率を高めている。
For example, in the conventional color moving image encoding device described in Non-Patent
Further, the encoded block is divided into finer prediction blocks, and prediction errors are generated by performing intra prediction and motion compensation prediction on the prediction block.
In addition, the prediction error is hierarchically divided into transform blocks within the coding block, and each transform coefficient is entropy coded to achieve a high compression rate.
In a conventional color moving image encoding apparatus, when encoding a YUV 4: 2: 0 signal, the color difference signal is fixed by fixing the conversion block size of the color difference signal to a size that is half the length and width of the conversion block size of the luminance signal. This eliminates the need to encode information relating to the transform block size, thereby improving the coding efficiency of the color difference signal.
従来のカラー動画像符号化装置は以上のように構成されているので、色差信号の変換ブロックサイズに係る情報の符号化が不要になり、色差信号の符号化効率が高められるが、色差信号の変換ブロックサイズが輝度信号の変換ブロックサイズに応じて固定される。しかしながら、画像信号における色差信号は、一般的に輝度信号よりも、相対的に平坦な信号変化が多く、輝度信号の最適な変換ブロックサイズと色差信号の最適な変換ブロックサイズが異なる。このため、色差信号の変換ブロックサイズが輝度信号の変換ブロックサイズに応じて固定されると、色差信号の符号化効率が最適にならないことがある課題があった。 Since the conventional color moving image encoding apparatus is configured as described above, it is not necessary to encode information related to the conversion block size of the color difference signal and the encoding efficiency of the color difference signal is improved. The transform block size is fixed according to the transform block size of the luminance signal. However, the color difference signal in the image signal generally has a relatively flat signal change compared to the luminance signal, and the optimal conversion block size of the luminance signal and the optimal conversion block size of the color difference signal are different. For this reason, when the conversion block size of the color difference signal is fixed according to the conversion block size of the luminance signal, there is a problem that the encoding efficiency of the color difference signal may not be optimal.
この発明は上記のような課題を解決するためになされたもので、輝度信号と色差信号に適するブロックサイズで圧縮処理を実施して、輝度信号と色差信号の符号化効率を高めることができるカラー動画像符号化装置及びカラー動画像符号化方法を得ることを目的とする。
また、この発明は、符号化効率の改善が図られている符号化データから正確に動画像を復号することができるカラー動画像復号装置及びカラー動画像復号方法を得ることを目的とする。
The present invention has been made in order to solve the above-described problems, and is a color which can increase the coding efficiency of a luminance signal and a color difference signal by performing compression processing with a block size suitable for the luminance signal and the color difference signal. It is an object of the present invention to obtain a moving picture coding apparatus and a color moving picture coding method.
It is another object of the present invention to obtain a color moving image decoding apparatus and a color moving image decoding method capable of accurately decoding a moving image from encoded data whose encoding efficiency is improved.
この発明に係るカラー動画像符号化装置は、画像圧縮手段が、差分画像生成手段により生成された差分画像を圧縮する際、その差分画像における輝度信号のブロックを最大で輝度最大変換ブロック分割階層数まで階層的に分割してから、分割後のブロック単位で輝度信号の圧縮処理を実施し、その差分画像における色差信号のブロックを最大で色差最大変換ブロック分割階層数まで階層的に分割してから、分割後のブロック単位で色差信号の圧縮処理を実施し、可変長符号化手段が、画像圧縮手段によるブロックの分割情報、輝度最大変換ブロック分割階層数及び上記色差最大変換ブロック分割階層数を可変長符号化して、上記分割情報、輝度最大変換ブロック分割階層数及び色差最大変換ブロック分割階層数の符号化データをビットストリームに多重化するようにしたものである。 In the color moving image encoding apparatus according to the present invention, when the image compression unit compresses the difference image generated by the difference image generation unit, the maximum luminance block conversion block division hierarchy number of the luminance signal block in the difference image is increased. After the hierarchical division, the luminance signal is compressed in divided blocks, and the color difference signal block in the difference image is divided hierarchically up to the maximum number of color difference conversion block division layers. The color difference signal is compressed in units of divided blocks, and the variable-length encoding means changes the block division information, the maximum luminance conversion block division hierarchy number, and the maximum color difference conversion block division hierarchy number by the image compression means. After long encoding, the encoded data of the above division information, the maximum luminance conversion block division layer number and the maximum color difference conversion block division layer number is bit streamed. It is obtained so as to multiplex the arm.
この発明によれば、画像圧縮手段が、差分画像生成手段により生成された差分画像を圧縮する際、その差分画像における輝度信号のブロックを最大で輝度最大変換ブロック分割階層数まで階層的に分割してから、分割後のブロック単位で輝度信号の圧縮処理を実施し、その差分画像における色差信号のブロックを最大で色差最大変換ブロック分割階層数まで階層的に分割してから、分割後のブロック単位で色差信号の圧縮処理を実施し、可変長符号化手段が、画像圧縮手段によるブロックの分割情報、輝度最大変換ブロック分割階層数及び上記色差最大変換ブロック分割階層数を可変長符号化して、上記分割情報、輝度最大変換ブロック分割階層数及び色差最大変換ブロック分割階層数の符号化データをビットストリームに多重化するように構成したので、輝度信号と色差信号に対する圧縮処理のブロックサイズの適正化が図られて、輝度信号と色差信号の符号化効率を高めることができる効果がある。 According to the present invention, when the image compression unit compresses the difference image generated by the difference image generation unit, the block of the luminance signal in the difference image is hierarchically divided up to the maximum luminance conversion block division hierarchy number. After that, the luminance signal is compressed in divided block units, and the color difference signal block in the difference image is hierarchically divided up to the maximum color difference conversion block division hierarchy number, and then the divided block unit The variable length coding means performs variable length coding on the block division information, the luminance maximum conversion block division hierarchy number and the color difference maximum conversion block division hierarchy number by the image compression means, The encoded data of the division information, the maximum luminance conversion block division layer number, and the color difference maximum conversion block division layer number are multiplexed into the bitstream. Since form was, been achieved is optimized block size of the compression processing for the luminance signal and the color difference signal, there is an effect that can increase the coding efficiency of the luminance signal and color difference signals.
実施の形態１．
図１はこの発明の実施の形態１によるカラー動画像符号化装置を示す構成図である。
この実施の形態１のカラー動画像符号化装置が処理対象とする映像信号は、輝度信号と２つの色差信号からなるＹＵＶ信号や、ディジタル撮像素子から出力されるＲＧＢ信号等の任意の色空間のカラー映像信号のほか、モノクロ画像信号や赤外線画像信号など、映像フレームが水平・垂直２次元のディジタルサンプル（画素）列から構成される任意の映像信号である。
各画素の諧調は８ビットでもよいし、１０ビット、１２ビットなどの諧調であってもよい。
1 is a block diagram showing a color moving image encoding apparatus according to
The video signal to be processed by the color moving image encoding apparatus according to the first embodiment is an arbitrary color space such as a YUV signal composed of a luminance signal and two color difference signals, or an RGB signal output from a digital image sensor. In addition to a color video signal, the video frame is an arbitrary video signal such as a monochrome image signal or an infrared image signal, in which a video frame is composed of a horizontal / vertical two-dimensional digital sample (pixel) sequence.
The gradation of each pixel may be 8 bits, or may be gradation such as 10 bits or 12 bits.
ただし、以下の説明においては、特に断らない限り、入力される映像信号がＹＵＶ信号であるものとする。また、２つの色差成分Ｕ，Ｖが輝度成分Ｙに対して、サブサンプルされた４：２：０フォーマットの信号であるものとする。
なお、映像の各フレームに対応する処理データ単位を「ピクチャ」と称し、この実施の形態１では、「ピクチャ」は順次走査（プログレッシブスキャン）された映像フレームの信号として説明を行う。ただし、映像信号がインタレース信号である場合、「ピクチャ」は映像フレームを構成する単位であるフィールド画像信号であってもよい。
However, in the following description, it is assumed that the input video signal is a YUV signal unless otherwise specified. In addition, it is assumed that the two color difference components U and V are subsampled 4: 2: 0 format signals with respect to the luminance component Y.
The processing data unit corresponding to each frame of the video is referred to as “picture”. In the first embodiment, “picture” is described as a signal of a video frame that has been sequentially scanned (progressive scan). However, when the video signal is an interlace signal, the “picture” may be a field image signal which is a unit constituting a video frame.
図１において、符号化制御部１はイントラ予測処理（フレーム内予測処理）又は動き補償予測処理（フレーム間予測処理）が実施される際の処理単位となる符号化ブロックの最大サイズを決定するとともに、最大サイズの符号化ブロックが階層的に分割される際の上限の階層数を決定する処理を実施する。
また、符号化制御部１は利用可能な１以上の符号化モード（１以上のイントラ符号化モード、１以上のインター符号化モード）の中から、階層的に分割される各々の符号化ブロックに適する符号化モードを選択する処理を実施する。
また、符号化制御部１は各々の符号化ブロック毎に、差分画像が圧縮される際に用いられる量子化パラメータ及び変換ブロックサイズを決定するとともに、予測処理が実施される際に用いられるイントラ予測パラメータ又はインター予測パラメータを決定する処理を実施する。量子化パラメータ及び変換ブロックサイズを示す変換ブロック分割フラグは、予測差分符号化パラメータに含まれて、変換・量子化部７、逆量子化・逆変換部８及び可変長符号化部１３等に出力される。
なお、符号化制御部１は符号化制御手段を構成している。
In FIG. 1, an
In addition, the
In addition, the
The
ここで、図１７は４：２：０フォーマットの信号における輝度信号及び色差信号の圧縮処理（変換処理、量子化処理）を実施する際の変換ブロックサイズを示す説明図である。
変換ブロックサイズは、図１７に示すように、符号化ブロックを四分木状に階層分割することによって決定される。
例えば、変換ブロックを分割する場合と変換ブロックを分割しない場合での符号量や、符号化誤差を加味した評価尺度などに基づいて、評価値が最小になるように変換ブロックを分割するか否かを決定することで、符号量と符号化誤差のトレードオフの観点から最適な変換ブロックの分割形状を決定することができる。
Here, FIG. 17 is an explanatory diagram showing a conversion block size when performing compression processing (conversion processing and quantization processing) of luminance signals and color difference signals in a 4: 2: 0 format signal.
As shown in FIG. 17, the transform block size is determined by hierarchically dividing the encoded block into a quadtree.
For example, whether or not to divide the transform block so that the evaluation value is minimized based on the amount of code when the transform block is divided and when the transform block is not divided, the evaluation scale that takes into account the coding error, etc. By determining, it is possible to determine the optimal division shape of the transform block from the viewpoint of the trade-off between the code amount and the coding error.
輝度信号については、例えば、図１７に示すように、予測ブロックの形状が正方形である予測モードが符号化ブロックの符号化モードとして選択された場合、符号化ブロックが１つまたは複数の正方形の変換ブロックに階層的に分割されるように構成する。
一方、予測ブロックの形状が長方形である予測モードが符号化ブロックの符号化モードとして選択された場合、符号化ブロックが１つまたは複数の長方形の変換ブロックに階層的に分割されるように構成する。あるいは、正方形の変換ブロックに分割された後に、さらに下の階層で長方形の変換ブロックに分割されるように構成する。
一方、色差信号については、図１７に示すように、予測ブロックの形状が正方形である場合、予測ブロックと同じサイズの変換ブロックが適用されるように構成する。
予測ブロックの形状が長方形である場合、予測ブロックが１階層だけ分割されるように構成する。
For the luminance signal, for example, as shown in FIG. 17, when a prediction mode in which the shape of the prediction block is square is selected as the coding mode of the coding block, the coding block is converted into one or a plurality of squares. It is configured to be divided into blocks hierarchically.
On the other hand, when the prediction mode in which the shape of the prediction block is rectangular is selected as the encoding mode of the encoding block, the encoding block is configured to be hierarchically divided into one or a plurality of rectangular transform blocks. . Or after dividing | segmenting into a square conversion block, it is comprised so that it may be further divided | segmented into a rectangular conversion block in the lower hierarchy.
On the other hand, as shown in FIG. 17, the color difference signal is configured so that a transform block having the same size as the prediction block is applied when the shape of the prediction block is a square.
When the prediction block has a rectangular shape, the prediction block is configured to be divided by one layer.
このように輝度信号については、階層的に最適な変換ブロックサイズに分割されて変換が行われ、色差信号については、分割形状が固定された大きいブロックで変換が行われるため、色差信号の変換ブロックの分割形状に関する情報をシグナリングすることなく、色差信号を効率的に圧縮することができる。
また、色差信号の変換ブロックの分割形状が、輝度信号の変換ブロックの分割形状と異なるため、輝度信号に対しては、輝度信号に最適な変換ブロックの分割形状を選択することができるため、輝度信号についても、効率的に圧縮することができる。
なお、予測ブロックの形状が正方形であっても、符号化ブロックを４分割して得られる正方形サイズの予測ブロックの場合には、色差信号の変換ブロックも１階層だけ分割されるように構成してもよい。
このようにすれば正方形の変換ブロックが正方形の予測ブロックをまたがないように構成できるので、高周波成分の発生を抑制することができ効率よく圧縮できる。
輝度信号の変換ブロックの分割情報は、階層毎に分割するか否かを示す変換ブロック分割フラグとして可変長符号化部１３に出力する。
As described above, the luminance signal is divided and converted into a hierarchically optimal conversion block size, and the chrominance signal is converted in a large block whose division shape is fixed. Thus, the color difference signal can be efficiently compressed without signaling information regarding the divided shape.
In addition, since the division shape of the conversion block of the color difference signal is different from the division shape of the conversion block of the luminance signal, the division shape of the conversion block most suitable for the luminance signal can be selected for the luminance signal. The signal can also be efficiently compressed.
Even if the shape of the prediction block is square, in the case of a square-size prediction block obtained by dividing the coding block into four, the color difference signal conversion block is also divided into one layer. Also good.
In this way, since the square transform block can be configured not to cross the square prediction block, generation of high frequency components can be suppressed and compression can be performed efficiently.
The division information of the transformation block of the luminance signal is output to the variable
ブロック分割部２は入力カラー画像（カレントピクチャ）を示すカラー画像信号を入力すると、その入力カラー画像を符号化制御部１により決定された最大サイズの符号化ブロックに分割するとともに、符号化制御部１により決定された上限の階層数に至るまで、その符号化ブロックを階層的に分割する処理を実施する。なお、ブロック分割部２はブロック分割手段を構成している。
切替スイッチ３は符号化制御部１により選択された符号化モードがイントラ符号化モードであれば、ブロック分割部２により分割された符号化ブロックをイントラ予測部４に出力し、符号化制御部１により選択された符号化モードがインター符号化モードであれば、ブロック分割部２により分割された符号化ブロックを動き補償予測部５に出力する処理を実施する。
When a color image signal indicating an input color image (current picture) is input, the
If the coding mode selected by the
イントラ予測部４は切替スイッチ３からブロック分割部２により分割された符号化ブロックを受けると、その符号化ブロックに対して、イントラ予測用メモリ１０により格納されている上記符号化ブロックに隣接している復号済みの画素を用いて、符号化制御部１から出力されたイントラ予測パラメータに基づくフレーム内予測処理を実施することで予測画像を生成する処理を実施する。
即ち、イントラ予測部４は、ブロック分割部２により分割された符号化ブロックにおける輝度成分については、その輝度成分のフレーム内予測を実施して、輝度成分に対する予測画像を生成する。
一方、ブロック分割部２により分割された符号化ブロックにおける色差成分については、符号化制御部１により選択された符号化モードが、イントラ符号化モードにおける方向性予測モードであれば、ブロック分割部２により分割された符号化ブロックにおける色差成分のフレーム内予測を実施して、色差成分に対する予測画像を生成する。
When the intra prediction unit 4 receives the encoded block divided by the
That is, the intra prediction unit 4 performs intra-frame prediction of the luminance component of the encoded block divided by the
On the other hand, for the color difference component in the coding block divided by the
動き補償予測部５はブロック分割部２により分割された符号化ブロックに対応する符号化モードとして、符号化制御部１によりインター符号化モードが選択された場合、動き補償予測フレームメモリ１２により格納されている１フレーム以上の参照画像を用いて、符号化制御部１から出力されたインター予測パラメータに基づいて、その符号化ブロックに対する動き補償予測処理を実施することで予測画像を生成する処理を実施する。
なお、切替スイッチ３、イントラ予測部４及び動き補償予測部５から予測画像生成手段が構成されている。
When the inter coding mode is selected by the
The
減算部６はブロック分割部２により分割された符号化ブロックから、イントラ予測部４又は動き補償予測部５により生成された予測画像を減算することで、差分画像（＝符号化ブロック−予測画像）を生成する処理を実施する。なお、減算部６は差分画像生成手段を構成している。
The subtracting unit 6 subtracts the prediction image generated by the intra prediction unit 4 or the motion
変換・量子化部７は符号化制御部１から出力された予測差分符号化パラメータに含まれている変換ブロック分割フラグから特定される変換ブロックサイズ単位で、減算部６により生成された差分画像の変換処理（例えば、ＤＣＴ（離散コサイン変換）やＤＳＴ（離散サイン変換）、予め特定の学習系列に対して基底設計がなされているＫＬ変換等の直交変換処理）を実施するとともに、その予測差分符号化パラメータに含まれている量子化パラメータを用いて、その差分画像の変換係数を量子化することで、量子化後の変換係数を差分画像の圧縮データとして出力する処理を実施する。
即ち、変換・量子化部７は減算部６により生成された差分画像の輝度信号に対する変換・量子化処理（圧縮処理）を実施する場合、ブロック分割部２により分割された符号化ブロックをさらに階層的に分割して、分割後のブロック単位で輝度信号の変換・量子化処理を実施し、減算部６により生成された差分画像の色差信号に対する変換・量子化処理を実施する場合、ブロック分割部２により分割された符号化ブロックの形状が正方形であれば、その符号化ブロックと同じサイズのブロック単位で色差信号の変換・量子化処理を実施し、その符号化ブロックの形状が長方形であれば、その符号化ブロックを１階層だけ分割して、分割後のブロック単位で色差信号の変換・量子化処理を実施する。
なお、変換・量子化部７は画像圧縮手段を構成している。
The transform /
That is, when the transform /
The transform /
逆量子化・逆変換部８は符号化制御部１から出力された予測差分符号化パラメータに含まれている量子化パラメータを用いて、変換・量子化部７から出力された圧縮データを逆量子化し、その予測差分符号化パラメータに含まれている変換ブロック分割フラグから特定される変換ブロックサイズ単位で、逆量子化後の圧縮データの逆変換処理（例えば、逆ＤＣＴ（逆離散コサイン変換）や逆ＤＳＴ（逆離散サイン変換）、逆ＫＬ変換等の逆変換処理）を実施することで、逆変換処理後の圧縮データを局所復号予測差分信号として出力する処理を実施する。
The inverse quantization /
加算部９は逆量子化・逆変換部８から出力された局所復号予測差分信号とイントラ予測部４又は動き補償予測部５により生成された予測画像を示す予測信号を加算することで、局所復号画像を示す局所復号画像信号を生成する処理を実施する。
イントラ予測用メモリ１０はイントラ予測部４により次回のイントラ予測処理で用いられる画像として、加算部９により生成された局所復号画像信号が示す局所復号画像を格納するＲＡＭなどの記録媒体である。
The adding unit 9 adds the local decoded prediction difference signal output from the inverse quantization /
The intra prediction memory 10 is a recording medium such as a RAM that stores a local decoded image indicated by the local decoded image signal generated by the adding unit 9 as an image used in the next intra prediction process by the intra prediction unit 4.
ループフィルタ部１１は加算部９により生成された局所復号画像信号に含まれている符号化歪みを補償し、符号化歪み補償後の局所復号画像信号が示す局所復号画像を参照画像として動き補償予測フレームメモリ１２に出力する処理を実施する。
動き補償予測フレームメモリ１２は動き補償予測部５により次回の動き補償予測処理で用いられる参照画像として、ループフィルタ部１１によるフィルタリング処理後の局所復号画像を格納するＲＡＭなどの記録媒体である。
The loop filter unit 11 compensates for the coding distortion included in the locally decoded image signal generated by the adding unit 9, and performs motion compensation prediction using the locally decoded image indicated by the locally decoded image signal after the coding distortion compensation as a reference image. A process of outputting to the frame memory 12 is performed.
The motion compensated prediction frame memory 12 is a recording medium such as a RAM that stores a locally decoded image after the filtering process by the loop filter unit 11 as a reference image used in the next motion compensated prediction process by the motion compensated
可変長符号化部１３は変換・量子化部７から出力された圧縮データと、符号化制御部１から出力された符号化モード及び変換ブロック分割フラグを含む予測差分符号化パラメータと、イントラ予測部４から出力されたイントラ予測パラメータ又は動き補償予測部５から出力されたインター予測パラメータとを可変長符号化して、その圧縮データ、符号化モード、予測差分符号化パラメータ、イントラ予測パラメータ／インター予測パラメータの符号化データが多重化されているビットストリームを生成する処理を実施する。なお、可変長符号化部１３は可変長符号化手段を構成している。
The variable
図１では、カラー動画像符号化装置の構成要素である符号化制御部１、ブロック分割部２、切替スイッチ３、イントラ予測部４、動き補償予測部５、減算部６、変換・量子化部７、逆量子化・逆変換部８、加算部９、ループフィルタ部１１及び可変長符号化部１３のそれぞれが専用のハードウェア（例えば、ＣＰＵを実装している半導体集積回路、あるいは、ワンチップマイコンなど）で構成されているものを想定しているが、カラー動画像符号化装置がコンピュータなどで構成される場合、符号化制御部１、ブロック分割部２、切替スイッチ３、イントラ予測部４、動き補償予測部５、減算部６、変換・量子化部７、逆量子化・逆変換部８、加算部９、ループフィルタ部１１及び可変長符号化部１３の処理内容を記述しているプログラムの全部又は一部を当該コンピュータのメモリに格納し、当該コンピュータのＣＰＵが当該メモリに格納されているプログラムを実行するようにしてもよい。
図２はこの発明の実施の形態１によるカラー動画像符号化装置の処理内容を示すフローチャートである。
In FIG. 1, a
FIG. 2 is a flowchart showing the processing contents of the color moving image coding apparatus according to
図３はこの発明の実施の形態１によるカラー動画像符号化装置のイントラ予測部４を示す構成図である。
図３において、輝度信号イントラ予測部２１はブロック分割部２により分割された符号化ブロックにおける輝度成分のフレーム内予測を実施して、輝度成分に対する予測画像を生成する処理を実施する。
即ち、輝度信号イントラ予測部２１はイントラ予測用メモリ１０により格納されている上記符号化ブロックに隣接している復号済みの輝度参照画素を参照して、符号化制御部１から出力されたイントラ予測パラメータに基づく輝度成分のフレーム内予測を実施することで、輝度成分に対する予測画像を生成する処理を実施する。
FIG. 3 is a block diagram showing the intra prediction unit 4 of the color moving picture coding apparatus according to
In FIG. 3, the luminance signal
That is, the luminance signal
切替スイッチ２２は符号化制御部１から出力されたイントラ予測パラメータのうち、色差信号のイントラ符号化モードを示すパラメータが、方向性予測モードである旨を示していれば、予測に用いる参照画素を色差信号方向性イントラ予測部２３に与え、色差信号のイントラ符号化モードを示すパラメータが、平滑化輝度相関利用色差信号予測モードである旨を示していれば、予測に用いる参照画素を輝度相関利用色差信号予測部２４に出力する処理を実施する。
If the parameter indicating the intra coding mode of the chrominance signal indicates the directional prediction mode among the intra prediction parameters output from the
色差信号方向性イントラ予測部２３は切替スイッチ２２から受け取った上記符号化ブロックに隣接している復号済みの色差参照画素を参照して、符号化制御部１から出力されたイントラ予測パラメータに基づく色差成分のフレーム内予測を実施することで、色差成分に対する予測画像を生成する処理を実施する。
輝度相関利用色差信号予測部２４は切替スイッチ２２から受け取った復号済みの画素のうち、符号化ブロックに隣接している復号済みの輝度参照画素及び色差参照画素と、当該符号化ブロック内の復号済みの輝度参照画素を用いて、その符号化ブロックを構成している画素のうち、水平方向及び垂直方向に隣接している複数の画素に係る輝度成分を平滑化して、平滑化後の輝度成分と色差成分の相関を示す相関パラメータを算出し、その相関パラメータと平滑化後の輝度成分を用いて、色差成分に対する予測画像を生成する処理を実施する。
なお、図５はこの発明の実施の形態１によるカラー動画像符号化装置のイントラ予測部４の処理内容を示すフローチャートである。
The chrominance signal directivity
The luminance correlation utilization color difference
FIG. 5 is a flowchart showing the processing contents of the intra prediction unit 4 of the color moving image coding apparatus according to
図４はこの発明の実施の形態１によるカラー動画像符号化装置の輝度相関利用色差信号予測部２４を示す構成図である。
図４において、平滑化輝度参照画素縮小部３１はイントラ予測用メモリ１０により格納されている符号化ブロックを構成している復号済みの輝度参照画素のうち、水平方向及び垂直方向に隣接している複数の輝度参照画素の平滑化処理等を実施することで、縮小輝度参照画素Ｒｅｃ’Ｌを生成する。
相関算出部３２はイントラ予測用メモリ１０により格納されている色差参照画素と平滑化輝度参照画素縮小部３１により生成された縮小輝度参照画素Ｒｅｃ’Ｌを用いて、輝度成分と色差成分の相関を示す相関パラメータα，βを算出する処理を実施する。
色差予測画像生成部３３は相関算出部３２により算出された相関パラメータα，βと平滑化輝度参照画素縮小部３１により生成された縮小輝度参照画素Ｒｅｃ’Ｌを用いて、色差成分に対する予測画像を生成する処理を実施する。
なお、図６はこの発明の実施の形態１によるカラー動画像符号化装置の輝度相関利用色差信号予測部２４の処理内容を示すフローチャートである。
FIG. 4 is a block diagram showing the luminance correlation utilizing color difference
In FIG. 4, the smoothed luminance reference
The
The color difference predicted
FIG. 6 is a flowchart showing the processing contents of the luminance correlation utilization color difference
図７はこの発明の実施の形態１によるカラー動画像復号装置を示す構成図である。
図７において、可変長復号部４１はイントラ予測処理又は動き補償予測処理が実施される際の処理単位となる符号化ブロックの最大サイズ及び最大サイズの符号化ブロックから階層的に分割されている符号化ブロックの階層数を特定することで、ビットストリームに多重化されている符号化データの中で、最大サイズの符号化ブロック及び階層的に分割されている符号化ブロックに係る符号化データを特定し、各々の符号化データから符号化ブロックに係る圧縮データ、符号化モード、変換ブロック分割フラグを含む予測差分符号化パラメータ、イントラ予測パラメータ／インター予測パラメータを可変長復号して、その圧縮データ及び予測差分符号化パラメータを逆量子化・逆変換部４５に出力するとともに、その符号化モード及びイントラ予測パラメータ／インター予測パラメータを切替スイッチ４２に出力する処理を実施する。なお、可変長復号部４１は可変長復号手段を構成している。
FIG. 7 is a block diagram showing a color moving image decoding apparatus according to
In FIG. 7, the variable
切替スイッチ４２は可変長復号部４１から出力された符号化ブロックに係る符号化モードがイントラ符号化モードである場合、可変長復号部４１から出力されたイントラ予測パラメータをイントラ予測部４３に出力し、その符号化モードがインター符号化モードである場合、可変長復号部４１から出力されたインター予測パラメータを動き補償部４４に出力する処理を実施する。
イントラ予測部４３はイントラ予測用メモリ４７により格納されている符号化ブロックに隣接している復号済みの画素を用いて、切替スイッチ４２から出力されたイントラ予測パラメータに基づいて、符号化ブロックに対するフレーム内予測処理を実施することで予測画像を生成する処理を実施する。
The
The
動き補償部４４は動き補償予測フレームメモリ４９により格納されている１フレーム以上の参照画像を用いて、切替スイッチ４２から出力されたインター予測パラメータに基づいて、符号化ブロックに対する動き補償予測処理を実施することで予測画像を生成する処理を実施する。
なお、切替スイッチ４２、イントラ予測部４３及び動き補償部４４から予測画像生成手段が構成されている。
The
The
逆量子化・逆変換部４５は可変長復号部４１から出力された予測差分符号化パラメータに含まれている量子化パラメータを用いて、可変長復号部４１から出力された符号化ブロックに係る圧縮データを逆量子化し、その予測差分符号化パラメータに含まれている変換ブロック分割フラグから特定される変換ブロックサイズ単位で、逆量子化の圧縮データの逆変換処理（例えば、逆ＤＣＴ（逆離散コサイン変換）や逆ＤＳＴ（逆離散サイン変換）、逆ＫＬ変換等の逆変換処理）を実施することで、逆変換処理後の圧縮データを復号予測差分信号（圧縮前の差分画像を示す信号）として出力する処理を実施する。
即ち、逆量子化・逆変換部４５は可変長復号部４１から出力された予測差分符号化パラメータに含まれている変換ブロック分割フラグに基づいて階層的に分割された輝度信号の変換ブロック形状を特定し、変換ブロック単位で逆量子化処理・逆変換処理を行う。
色差信号については、図１７に示すように、予測ブロックの形状が正方形である場合、予測ブロックと同じサイズの変換ブロック単位で逆量子化処理・逆変換処理を実施し、予測ブロックの形状が長方形である場合、予測ブロックを１階層だけ分割して、分割後のブロック単位で逆量子化処理・逆変換処理を実施する。
なお、逆量子化・逆変換部４５は差分画像生成手段を構成している。
The inverse quantization /
That is, the inverse quantization /
As for the color difference signal, as shown in FIG. 17, when the prediction block has a square shape, inverse quantization processing / inverse conversion processing is performed in units of transform blocks having the same size as the prediction block, and the prediction block has a rectangular shape. In such a case, the prediction block is divided by one layer, and inverse quantization processing / inverse transformation processing is performed in units of the divided blocks.
The inverse quantization /
加算部４６は逆量子化・逆変換部４５から出力された復号予測差分信号とイントラ予測部４３又は動き補償部４４により生成された予測画像を示す予測信号を加算することで、復号画像を示す復号画像信号を生成する処理を実施する。なお、加算部４６は復号画像生成手段を構成している。
イントラ予測用メモリ４７はイントラ予測部４３により次回のイントラ予測処理で用いられる画像として、加算部４６により生成された復号画像信号が示す復号画像を格納するＲＡＭなどの記録媒体である。
The
The
ループフィルタ部４８は加算部４６により生成された復号画像信号に含まれている符号化歪みを補償し、符号化歪み補償後の復号画像信号が示す復号画像を参照画像として動き補償予測フレームメモリ４９に出力するとともに、その復号画像を再生画像として外部に出力する処理を実施する。
動き補償予測フレームメモリ４９は動き補償部４４により次回の動き補償予測処理で用いられる参照画像として、ループフィルタ部４８によるフィルタリング処理後の復号画像を格納するＲＡＭなどの記録媒体である。
The
The motion compensated
図７では、カラー動画像復号装置の構成要素である可変長復号部４１、切替スイッチ４２、イントラ予測部４３、動き補償部４４、逆量子化・逆変換部４５、加算部４６及びループフィルタ部４８のそれぞれが専用のハードウェア（例えば、ＣＰＵを実装している半導体集積回路、あるいは、ワンチップマイコンなど）で構成されているものを想定しているが、カラー動画像復号装置がコンピュータなどで構成される場合、可変長復号部４１、切替スイッチ４２、イントラ予測部４３、動き補償部４４、逆量子化・逆変換部４５、加算部４６及びループフィルタ部４８の処理内容を記述しているプログラムの全部又は一部を当該コンピュータのメモリに格納し、当該コンピュータのＣＰＵが当該メモリに格納されているプログラムを実行するようにしてもよい。
図８はこの発明の実施の形態１によるカラー動画像復号装置の処理内容を示すフローチャートである。
In FIG. 7, a variable
FIG. 8 is a flowchart showing the processing contents of the color moving image decoding apparatus according to
この実施の形態１のカラー動画像符号化装置は、映像信号の空間・時間方向の局所的な変化に適応して、映像信号を多様なサイズの領域に分割してフレーム内・フレーム間適応符号化を行い、色差信号については変換ブロックサイズを２階層のみに限定して一意に決定することを特徴としている。
一般に映像信号は、空間・時間的に信号の複雑さが局所的に変化する特性を有し、空間的に見ると、ある特定の映像フレーム上では、例えば、空や壁などのように、比較的広い画像領域中で均一な信号特性を有する絵柄もあれば、人物や細かいテクスチャを含む絵画などでは、小さい画像領域内で複雑なテクスチャパターンを有する絵柄も混在することがある。
The color moving image coding apparatus according to the first embodiment adapts to local changes in the spatial and temporal directions of a video signal, divides the video signal into regions of various sizes, and performs intraframe / interframe adaptive coding. The color difference signal is uniquely determined by limiting the transform block size to only two layers.
In general, video signals have the characteristic that the complexity of the signal changes locally in space and time, and when viewed spatially, comparison is made on a specific video frame, for example, sky or wall. A picture having uniform signal characteristics in a wide image area and a picture having a complicated texture pattern in a small image area may be mixed in a picture including a person or a fine texture.
時間的に見ても、空や壁は局所的に時間方向の絵柄の変化が小さいが、動く人物や物体は、その輪郭が時間的に剛体・非剛体の運動をするため、時間的な変化が大きい。
符号化処理は、時間・空間的な予測によって、信号電力やエントロピーが小さい予測差分信号を生成して、全体の符号量を削減する処理を行うが、予測処理に用いる予測パラメータをできるだけ大きな画像信号領域に対して均一に適用することができれば、予測パラメータの符号量を小さくすることができる。
一方、時間的・空間的に変化が大きい画像信号パターンに対して、同一の予測パラメータを大きな画像領域に適用すると、予測誤りが増えてしまうため、予測差分信号の符号量を削減することができない。
したがって、時間的・空間的に変化が大きい領域では、予測対象の領域を小さくして、予測処理に用いる予測パラメータのデータ量を増やしても、予測差分信号の電力・エントロピーを低減する方が望ましい。
このような映像信号の一般的な性質に適応している符号化処理を行うため、この実施の形態１のカラー動画像符号化装置では、所定の最大ブロックサイズから映像信号の領域を階層的に分割し、分割領域毎に予測処理や予測差分の符号化処理を適応化する構成を採用している。
Even in terms of time, the sky and the wall have small changes in the local pattern in the time direction, but moving people and objects have temporal and rigid movements, so the time changes. Is big.
The encoding process generates a prediction difference signal with low signal power and entropy by temporal and spatial prediction, and performs a process of reducing the overall code amount. However, the prediction parameter used for the prediction process is as large as possible. If it can be applied uniformly to the region, the code amount of the prediction parameter can be reduced.
On the other hand, if the same prediction parameter is applied to a large image region with respect to an image signal pattern having a large temporal and spatial change, a prediction error increases, and therefore the code amount of the prediction difference signal cannot be reduced. .
Therefore, it is desirable to reduce the power / entropy of the prediction difference signal even if the prediction target area is reduced and the data amount of the prediction parameter used for the prediction process is increased in an area where the temporal and spatial changes are large. .
In order to perform encoding processing adapted to the general characteristics of such a video signal, the color moving image encoding apparatus according to the first embodiment hierarchically divides the video signal area from a predetermined maximum block size. A configuration is adopted in which the image is divided and the prediction process and the prediction difference encoding process are adapted for each divided region.
次に動作について説明する。
最初に、図１のカラー動画像符号化装置の処理内容を説明する。
まず、符号化制御部１は、イントラ予測処理（フレーム内予測処理）又は動き補償予測処理（フレーム間予測処理）が実施される際の処理単位となる符号化ブロックの最大サイズを決定するとともに、最大サイズの符号化ブロックが階層的に分割される際の上限の階層数を決定する（図２のステップＳＴ１）。
Next, the operation will be described.
First, the processing contents of the color moving image encoding apparatus in FIG. 1 will be described.
First, the
符号化ブロックの最大サイズの決め方として、例えば、全てのピクチャに対して、入力画像の解像度に応じたサイズに決定する方法が考えられる。
また、入力カラー画像の局所的な動きの複雑さの違いをパラメータとして定量化しておき、動きの激しいピクチャでは最大サイズを小さな値に決定し、動きが少ないピクチャでは最大サイズを大きな値に決定する方法などが考えられる。
上限の階層数については、例えば、入力カラー画像の動きが激しい程、階層数を深くして、より細かい動きが検出できるように設定し、入力カラー画像の動きが少なければ、階層数を抑えるように設定する方法が考えられる。
As a method of determining the maximum size of the encoded block, for example, a method of determining a size corresponding to the resolution of the input image for all the pictures can be considered.
Also, the difference in the complexity of the local motion of the input color image is quantified as a parameter, and the maximum size is determined to be a small value for pictures with intense motion, and the maximum size is determined to be a large value for pictures with little motion. Possible methods.
The upper limit of the number of hierarchies is set so that, for example, the more intense the input color image moves, the deeper the number of hierarchies, so that more detailed movement can be detected. The method of setting to can be considered.
また、符号化制御部１は、利用可能な１以上の符号化モード（Ｍ種類のイントラ符号化モード、Ｎ種類のインター符号化モード）の中から、階層的に分割される各々の符号化ブロックに対応する符号化モードを選択する（ステップＳＴ２）。予め用意されているＭ種類のイントラ符号化モードについては後述する。
ただし、後述するブロック分割部２により階層的に分割された各々の符号化ブロックが更にパーティション単位に分割される場合は、各々のパーティションに対応する符号化モードを選択することが可能である。
以下、この実施の形態１では、各々の符号化ブロックが更にパーティション単位に分割されるものとして説明する。
符号化制御部１による符号化モードの選択方法は、公知の技術であるため詳細な説明を省略するが、例えば、利用可能な任意の符号化モードを用いて、符号化ブロックに対する符号化処理を実施して符号化効率を検証し、利用可能な複数の符号化モードの中で、最も符号化効率がよい符号化モードを選択する方法などがある。
In addition, the
However, when each coding block hierarchically divided by the
In the following description of the first embodiment, each encoded block is further divided into partitions.
Since the encoding mode selection method by the
また、符号化制御部１は、各々の符号化ブロックに含まれているパーティション毎に、差分画像が圧縮される際に用いられる量子化パラメータ及び変換ブロックサイズを決定するとともに、予測処理が実施される際に用いられるイントラ予測パラメータ又はインター予測パラメータを決定する。
符号化制御部１は、量子化パラメータ及び変換ブロックサイズを含む予測差分符号化パラメータを変換・量子化部７、逆量子化・逆変換部８及び可変長符号化部１３に出力する。また、予測差分符号化パラメータを必要に応じてイントラ予測部４に出力する。
Further, the
The
ブロック分割部２は、入力カラー画像を示す映像信号を入力すると、その入力カラー画像を符号化制御部１により決定された最大サイズの符号化ブロックに分割するとともに、符号化制御部１により決定された上限の階層数に至るまで、その符号化ブロックを階層的に分割する。また、その符号化ブロックをパーティション単位に分割する（ステップＳＴ３）。
ここで、図９は最大サイズの符号化ブロックが階層的に複数の符号化ブロックに分割される様子を示す説明図である。
図９の例では、最大サイズの符号化ブロックは、第０階層の符号化ブロックＢ０であり、輝度成分で（Ｌ０，Ｍ０）のサイズを有している。
また、図９の例では、最大サイズの符号化ブロックＢ０を出発点として、４分木構造で、別途定める所定の深さまで階層的に分割を行うことによって、符号化ブロックＢｎを得ている。
When a video signal indicating an input color image is input, the
Here, FIG. 9 is an explanatory diagram showing a state in which a maximum-size encoded block is hierarchically divided into a plurality of encoded blocks.
In the example of FIG. 9, the coding block of the maximum size is the coding block B 0 of the 0th layer, and has a size of (L 0 , M 0 ) as a luminance component.
In the example of FIG. 9, the encoding block B n is obtained by performing hierarchical division to a predetermined depth determined separately in a quadtree structure with the maximum size encoding block B 0 as a starting point. Yes.
深さｎにおいては、符号化ブロックＢｎはサイズ（Ｌｎ，Ｍｎ）の画像領域である。
ただし、ＬｎとＭｎは同じであってもよいし異なっていてもよいが、図９の例ではＬｎ＝Ｍｎのケースを示している。
以降、符号化ブロックＢｎのサイズは、符号化ブロックＢｎの輝度成分におけるサイズ（Ｌｎ，Ｍｎ）と定義する。
At the depth n, the coding block B n is an image area of size (L n , M n ).
However, L n and M n may be the same or different, but the example of FIG. 9 shows a case of L n = M n .
Later, the size of the encoded block B n is defined as the size of the luminance component of the encoded block B n (L n, M n ).
ブロック分割部２では、４分木分割を行うため、常に（Ｌｎ＋１，Ｍｎ＋１）＝（Ｌｎ／２，Ｍｎ／２）が成立する。
ただし、ＲＧＢ信号などのように、全ての色成分が同一サンプル数を有するカラー映像信号（４：４：４フォーマット）では、全ての色成分のサイズが（Ｌｎ，Ｍｎ）になるが、４：２：０フォーマットを扱う場合、対応する色差成分の符号化ブロックのサイズは（Ｌｎ／２，Ｍｎ／２）である。
以降、第ｎ階層の符号化ブロックＢｎで選択しうる符号化モードをｍ（Ｂｎ）と表記する。
Since the
However, in a color video signal (4: 4: 4 format) in which all color components have the same number of samples, such as RGB signals, the size of all color components is (L n , M n ). When the 4: 2: 0 format is handled, the size of the corresponding color difference component coding block is (L n / 2, M n / 2).
Hereinafter, an encoding mode that can be selected in the encoding block B n in the n-th layer is denoted as m (B n ).
複数の色成分からなるカラー映像信号の場合、符号化モードｍ（Ｂｎ）は、色成分ごとに、それぞれ個別のモードを用いるように構成されてもよいが、以降、特に断らない限り、ＹＵＶ信号、４：２：０フォーマットの符号化ブロックの輝度成分に対する符号化モードのことを指すものとして説明を行う。
符号化モードｍ（Ｂｎ）には、１つないし複数のイントラ符号化モード（総称して「ＩＮＴＲＡ」）、１つないし複数のインター符号化モード（総称して「ＩＮＴＥＲ」）があり、符号化制御部１は、上述したように、当該ピクチャで利用可能な全ての符号化モードないしは、そのサブセットの中から、符号化ブロックＢｎに対して最も符号化効率がよい符号化モードを選択する。
In the case of a color video signal composed of a plurality of color components, the encoding mode m (B n ) may be configured to use an individual mode for each color component, but hereinafter, unless otherwise specified, YUV The description will be made on the assumption that it indicates the coding mode for the luminance component of the coding block of the signal 4: 2: 0 format.
The coding mode m (B n ) includes one or more intra coding modes (collectively “INTRA”), one or more inter coding modes (collectively “INTER”), As described above, the
符号化ブロックＢｎは、図９に示すように、更に１つないし複数の予測処理単位（パーティション）に分割される。
以降、符号化ブロックＢｎに属するパーティションをＰｉ ｎ（ｉ： 第ｎ階層におけるパーティション番号）と表記する。図１０は符号化ブロックＢｎに属するパーティションＰｉ ｎを示す説明図である。
符号化ブロックＢｎに属するパーティションＰｉ ｎの分割がどのようになされているかは符号化モードｍ（Ｂｎ）の中に情報として含まれる。
パーティションＰｉ ｎは、すべて符号化モードｍ（Ｂｎ）に従って予測処理が行われるが、パーティションＰｉ ｎ毎に、個別の予測パラメータを選択することができる。
As shown in FIG. 9, the encoded block Bn is further divided into one or more prediction processing units (partitions).
Hereinafter, the partition belonging to the coding block B n is denoted as P i n (i: the partition number in the nth layer). FIG. 10 is an explanatory diagram showing partitions P i n belonging to the coding block B n .
How the partition P i n belonging to the coding block B n is divided is included as information in the coding mode m (B n ).
All partitions P i n are subjected to prediction processing according to the coding mode m (B n ), but individual prediction parameters can be selected for each partition P i n .
符号化制御部１は、最大サイズの符号化ブロックに対して、例えば、図１１に示すようなブロック分割状態を生成して、符号化ブロックＢｎを特定する。
図１１（ａ）の斜線部分は分割後のパーティションの分布を示し、また、図１１（ｂ）は階層分割後のパーティションに符号化モードｍ（Ｂｎ）が割り当てられる状況を４分木グラフで示している。
図１１（ｂ）において、□で囲まれているノードが、符号化モードｍ（Ｂｎ）が割り当てられたノード（符号化ブロックＢｎ）を示している。
また、符号化制御部１は、分割後のパーティションに対して、前述の通りに、変換ブロックの分割形状を決定する。
For example, the
11A shows the distribution of the partitions after the division, and FIG. 11B shows a situation where the encoding mode m (B n ) is assigned to the partition after the hierarchical division in a quadtree graph. Show.
In FIG. 11B, nodes surrounded by squares indicate nodes (encoded blocks B n ) to which the encoding mode m (B n ) is assigned.
Also, the
切替スイッチ３は、符号化制御部１がイントラ符号化モードを選択すると（ｍ（Ｂｎ）∈ＩＮＴＲＡ）、ブロック分割部２により分割された符号化ブロックＢｎに属するパーティションＰｉ ｎをイントラ予測部４に出力し、符号化制御部１がインター符号化モードを選択すると（ｍ（Ｂｎ）∈ＩＮＴＥＲ）、その符号化ブロックＢｎに属するパーティションＰｉ ｎを動き補償予測部５に出力する。
When the
イントラ予測部４は、切替スイッチ３から符号化ブロックＢｎに属するパーティションＰｉ ｎを受けると（ステップＳＴ４）、具体的な処理内容は後述するが、符号化制御部１により決定されたイントラ予測パラメータに基づいて、各パーティションＰｉ ｎに対するイントラ予測処理を実施することにより、イントラ予測画像（Ｐｉ ｎ）を生成する（ステップＳＴ５）。
以下、この明細書では、Ｐｉ ｎはパーティションを示し、（Ｐｉ ｎ）はパーティションＰｉ ｎの予測画像を示すものとする。
When the intra prediction unit 4 receives the partition P i n belonging to the coding block B n from the changeover switch 3 (step ST4), the specific processing contents will be described later, but the intra prediction determined by the
Hereinafter, in this specification, P i n indicates a partition, and (P i n ) indicates a predicted image of the partition P i n .
イントラ予測画像（Ｐｉ ｎ）の生成に用いられるイントラ予測パラメータは、カラー動画像復号装置側でも、全く同じイントラ予測画像（Ｐｉ ｎ）を生成する必要があるため、可変長符号化部１３によってビットストリームに多重化される。
なお、イントラ予測パラメータとして選択できるイントラ予測方向数は、処理対象となるブロックのサイズに応じて異なるように構成してもよい。
大きいサイズのパーティションでは、イントラ予測の効率が低下するため、選択できるイントラ予測方向数を少なくし、小さいサイズのパーティションでは、選択できるイントラ予測方向数を多くするように構成することができる。
例えば、４×４画素パーティションや８×８画素パーティションでは３４方向、１６×１６画素パーティションでは１７方向、３２×３２画素パーティションでは９方向などのように構成してもよい。
Since the intra prediction parameters used to generate the intra-prediction image (P i n) is also a color video decoding apparatus side, it is necessary to generate exactly the same intra prediction image (P i n), the variable
Note that the number of intra prediction directions that can be selected as the intra prediction parameter may be configured to differ depending on the size of the block to be processed.
Since the efficiency of intra prediction decreases in a large size partition, the number of intra prediction directions that can be selected can be reduced, and the number of intra prediction directions that can be selected in a small size partition can be increased.
For example, a 4 × 4 pixel partition or an 8 × 8 pixel partition may be configured in 34 directions, a 16 × 16 pixel partition in 17 directions, a 32 × 32 pixel partition in 9 directions, or the like.
動き補償予測部５は、切替スイッチ３から符号化ブロックＢｎに属するパーティションＰｉ ｎを受けると（ステップＳＴ４）、符号化制御部１により決定されたインター予測パラメータに基づいて、各パーティションＰｉ ｎに対するインター予測処理を実施することにより、インター予測画像（Ｐｉ ｎ）を生成する（ステップＳＴ６）。
即ち、動き補償予測部５は、動き補償予測フレームメモリ１２により格納されている１フレーム以上の参照画像を用いて、符号化制御部１から出力されたインター予測パラメータに基づいて、その符号化ブロックに対する動き補償予測処理を実施することで、インター予測画像（Ｐｉ ｎ）を生成する。
インター予測画像（Ｐｉ ｎ）の生成に用いられるインター予測パラメータは、カラー動画像復号装置側でも、全く同じインター予測画像（Ｐｉ ｎ）を生成する必要があるため、可変長符号化部１３によってビットストリームに多重化される。
When the motion compensated
That is, the motion compensated
For inter prediction parameters to be used in generating the inter prediction image (P i n) is also a color video decoding apparatus side, it is necessary to generate exactly the same inter-prediction image (P i n), the variable
減算部６は、イントラ予測部４又は動き補償予測部５から予測画像（Ｐｉ ｎ）を受けると、ブロック分割部２により分割された符号化ブロックＢｎに属するパーティションＰｉ ｎから、その予測画像（Ｐｉ ｎ）を減算することで、その差分画像を示す予測差分信号ｅｉ ｎを生成する（ステップＳＴ７）。
When the subtraction unit 6 receives the predicted image (P i n ) from the intra prediction unit 4 or the motion
変換・量子化部７は、減算部６が予測差分信号ｅｉ ｎを生成すると、符号化制御部１で決定された変換ブロックサイズ単位で、その予測差分信号ｅｉ ｎに対する変換処理（例えば、ＤＣＴ（離散コサイン変換）やＤＳＴ（離散サイン変換）、予め特定の学習系列に対して基底設計がなされているＫＬ変換等の直交変換処理）を実施するとともに、その予測差分符号化パラメータに含まれている量子化パラメータを用いて、その予測差分信号ｅｉ ｎの変換係数を量子化することで、量子化後の変換係数である差分画像の圧縮データを逆量子化・逆変換部８及び可変長符号化部１３に出力する（ステップＳＴ８）。
即ち、変換・量子化部７は、減算部６が予測差分信号ｅｉ ｎを生成すると、予測差分信号ｅｉ ｎの輝度信号に対する変換・量子化処理を実施する場合、ブロック分割部２により分割された符号化ブロックをさらに階層的に分割して、分割後のブロック単位で輝度信号の変換・量子化処理を実施し、予測差分信号ｅｉ ｎの色差信号に対する変換・量子化処理を実施する場合、ブロック分割部２により分割された符号化ブロックの形状が正方形であれば、その符号化ブロックと同じサイズのブロック単位で色差信号の変換・量子化処理を実施し、その符号化ブロックの形状が長方形であれば、その符号化ブロックを１階層だけ分割して、分割後のブロック単位で色差信号の変換・量子化処理を実施する。
なお、予測ブロックの形状が正方形であっても、符号化ブロックを４分割して得られる正方形サイズの予測ブロックの場合には、色差信号の変換ブロックも１階層だけ分割されるように構成してもよい。
このようにすれば、正方形の変換ブロックが正方形の予測ブロックをまたがないように構成できるので、このように構成された符号化装置の出力するビットストリームを好適に復号することができる。
Transform and
That is, when the subtraction unit 6 generates the prediction difference signal e i n , the transform /
Even if the shape of the prediction block is square, in the case of a square-size prediction block obtained by dividing the coding block into four, the color difference signal conversion block is also divided into one layer. Also good.
In this way, since the square transform block can be configured not to cross the square prediction block, the bit stream output from the coding apparatus configured in this way can be suitably decoded.
逆量子化・逆変換部８は、変換・量子化部７から圧縮データを受けると、符号化制御部１から出力された予測差分符号化パラメータに含まれている量子化パラメータを用いて、その圧縮データを逆量子化し、その予測差分符号化パラメータに含まれている変換ブロック分割フラグから特定される変換ブロックサイズ単位で、逆量子化の圧縮データの逆変換処理（例えば、逆ＤＣＴ（逆離散コサイン変換）や逆ＤＳＴ（離散サイン変換）、逆ＫＬ変換等の逆変換処理）を実施することで、逆変換処理後の圧縮データを局所復号予測差分信号として加算部９に出力する（ステップＳＴ９）。
When receiving the compressed data from the transform /
加算部９は、逆量子化・逆変換部８から局所復号予測差分信号を受けると、その局所復号予測差分信号と、イントラ予測部４又は動き補償予測部５により生成された予測画像（Ｐｉ ｎ）を示す予測信号とを加算することで、局所復号パーティション画像ないしはその集まりとしての局所復号符号化ブロック画像（以下、「局所復号画像」と称する）を示す局所復号画像信号を生成し、その局所復号画像信号をループフィルタ部１１に出力する（ステップＳＴ１０）。
また、イントラ予測用メモリ１０には、イントラ予測に用いるために、当該局所復号画像が格納される。
Upon receiving the local decoded prediction difference signal from the inverse quantization /
The intra prediction memory 10 stores the local decoded image for use in intra prediction.
ループフィルタ部１１は、加算部９から局所復号画像信号を受けると、その局所復号画像信号に含まれている符号化歪みを補償し、符号化歪み補償後の局所復号画像信号が示す局所復号画像を参照画像として動き補償予測フレームメモリ１２に格納する（ステップＳＴ１１）。
ここで、符号化歪は変換ブロック境界に沿って発生するため、変換ブロック境界に対して符号化歪の補償を行う。小さい変換ブロックについては、変換ブロック境界の符号化歪が目立ちにくいので、ヘッダで最小ループフィルタ適用ブロックサイズをシグナリングし、変換ブロックサイズが最小ループフィルタ適用ブロックサイズより大きいブロックに対してのみ符号化歪補償を適用するよう構成してもよい。
このようにすれば、不要な符号化歪補償を省略できるので、画質を保ちつつ演算量を削減することができる。また、輝度信号と色差信号では、変換ブロックの分割形状が異なるので、符号化歪補償は輝度信号と色差信号でそれぞれ変換ブロックの分割形状を特定して処理するよう構成する。
なお、ループフィルタ部１１によるフィルタリング処理は、入力される局所復号画像信号の最大符号化ブロックあるいは個々の符号化ブロック単位で行ってもよいし、１画面分のマクロブロックに相当する局所復号画像信号が入力された後に１画面分まとめて行ってもよい。
When the loop filter unit 11 receives the local decoded image signal from the adder unit 9, the loop filter unit 11 compensates for the encoding distortion included in the local decoded image signal, and the local decoded image indicated by the local decoded image signal after the encoding distortion compensation Is stored in the motion compensated prediction frame memory 12 as a reference image (step ST11).
Here, since the coding distortion occurs along the transform block boundary, the coding distortion is compensated for the transform block boundary. For small transform blocks, coding distortion at the transform block boundary is inconspicuous. Therefore, the minimum loop filter application block size is signaled in the header, and the coding distortion is only applied to blocks whose transform block size is larger than the minimum loop filter application block size. You may comprise so that compensation may be applied.
In this way, unnecessary coding distortion compensation can be omitted, and the amount of calculation can be reduced while maintaining image quality. In addition, since the division shape of the transform block is different between the luminance signal and the color difference signal, the coding distortion compensation is configured to specify and process the division shape of the conversion block using the luminance signal and the color difference signal, respectively.
Note that the filtering process by the loop filter unit 11 may be performed in units of the maximum encoded block or individual encoded blocks of the input local decoded image signal, or a local decoded image signal corresponding to a macroblock for one screen. It may be performed for one screen after the input.
ステップＳＴ４〜ＳＴ１０の処理は、ブロック分割部２により分割された全ての符号化ブロックＢｎに属するパーティションＰｉ ｎに対する処理が完了するまで繰り返し実施される（ステップＳＴ１２）。
可変長符号化部１３は、変換・量子化部７から出力された圧縮データと、符号化制御部１から出力された符号化モード及び変換ブロック分割フラグを含む予測差分符号化パラメータと、イントラ予測部４から出力されたイントラ予測パラメータ又は動き補償予測部５から出力されたインター予測パラメータとを可変長符号化して、その圧縮データ、符号化モード、予測差分符号化パラメータ、イントラ予測パラメータ／インター予測パラメータの符号化データが多重化されているビットストリームを生成する（ステップＳＴ１３）。
Processing in step ST4~ST10 is repeatedly performed until the processing for the partitions P i n that belong to all the coding blocks B n divided by the
The variable
次に、イントラ予測部４の処理内容を具体的に説明する。
図１２は符号化ブロックＢｎに属する各パーティションＰｉ ｎにおいて選択可能なイントラ予測パラメータ（イントラ予測モード）の一例を示す説明図である。
図１２の例では、イントラ予測モードに対応する予測方向ベクトルを示しており、選択可能なイントラ予測モードの個数が増えるに従って、予測方向ベクトル同士の相対角度が小さくなるように設計されている。
Next, the processing content of the intra estimation part 4 is demonstrated concretely.
FIG. 12 is an explanatory diagram showing an example of intra prediction parameters (intra prediction mode) that can be selected in each partition P i n belonging to the coding block B n .
In the example of FIG. 12, the prediction direction vector corresponding to the intra prediction mode is shown, and the relative angle between the prediction direction vectors is designed to decrease as the number of selectable intra prediction modes increases.
まず、イントラ予測部４の輝度信号イントラ予測部２１は、ブロック分割部２により分割された符号化ブロックにおける輝度成分のフレーム内予測を実施して、輝度成分に対する予測画像を生成する（図５のステップＳＴ２１）。
以下、輝度信号イントラ予測部２１の処理内容を具体的に説明する。
ここでは、イントラ予測部４の輝度信号イントラ予測部２１が、パーティションＰｉ ｎの輝度信号に対するイントラ予測パラメータ（イントラ予測モード）に基づいて、その輝度信号のイントラ予測信号を生成するイントラ処理について説明する。
説明の便宜上、パーティションＰｉ ｎのサイズをｌｉ ｎ×ｍｉ ｎ画素とする。
First, the luminance signal
Hereinafter, the processing content of the luminance signal
Here, the luminance signal
For convenience of explanation, the size of the partition P i n a l i n × m i n pixels.
図１３はｌｉ ｎ＝ｍｉ ｎ＝４の場合において、パーティションＰｉ ｎ内の画素の予測値を生成する際に用いる画素の一例を示す説明図である。
図１３の例では、パーティションＰｉ ｎに隣接している符号化済みの上パーティションの画素（（２×ｌｉ ｎ＋１）個の画素）と、左パーティションの画素（（２×ｍｉ ｎ）個の画素）を予測に用いる参照画素としているが、予測に用いる画素は、図１３に示す画素より多くても少なくてもよい。
また、図１３の例では、隣接している１行又は１列分の画素を予測に用いているが、２行又は２列分の画素、あるいは、それ以上の画素を予測に用いてもよい。
FIG. 13 is an explanatory diagram illustrating an example of pixels used when generating predicted values of pixels in the partition P i n when l i n = m i n = 4.
In the example of FIG. 13, the partition P i n in the pixel on the partition already coded that is adjacent to ((2 × l i n +1 ) pixels), the left partition pixel ((2 × m i n) Number of pixels) is used as a reference pixel for prediction, but the number of pixels used for prediction may be more or less than that shown in FIG.
Further, in the example of FIG. 13, pixels for one row or one column adjacent to each other are used for prediction. However, pixels for two rows or two columns or more may be used for prediction. .
輝度信号イントラ予測部２１は、例えば、パーティションＰｉ ｎに対するイントラ予測モードのインデックス値が２（平均値予測）である場合、上パーティションの隣接画素と左パーティションの隣接画素の平均値をパーティションＰｉ ｎ内の画素の予測値として予測画像を生成する。
イントラ予測モードのインデックス値が２（平均値予測）以外の場合には、インデックス値が示す予測方向ベクトルｖｐ＝（ｄｘ，ｄｙ）に基づいて、パーティションＰｉ ｎ内の画素の予測値を生成する。
予測値を生成する画素（予測対象画素）のパーティションＰｉ ｎ内の相対座標（パーティションの左上画素を原点とする）を（ｘ，ｙ）とすると、予測に用いる参照画素の位置は、下記に示すＬと、隣接画素の交点となる。
If the index value of the intra prediction mode is other than 2 (average prediction), the prediction direction vector index value indicates v p = (dx, dy) on the basis of, generating a prediction value of the pixel in the partition P i n To do.
Partitioning P i n in the relative coordinates of the pixels for generating the prediction value (prediction target pixel) a (an origin at the upper left pixel of the partition) as (x, y), the position of the reference pixels used for prediction, the following This is the intersection of L and adjacent pixels.
参照画素が整数画素位置にある場合、その整数画素を予測対象画素の予測値とする。参照画素が整数画素位置にない場合、参照画素に隣接する整数画素から生成される補間画素を予測値とする。
図１３の例では、参照画素が整数画素位置にないので、参照画素に隣接する２画素の平均値を予測値としている。
なお、隣接する２画素のみではなく、隣接する２画素以上の画素から補間画素を生成して予測値としてもよい。
When the reference pixel is at the integer pixel position, the integer pixel is set as the prediction value of the prediction target pixel. When the reference pixel is not located at the integer pixel position, an interpolation pixel generated from the integer pixel adjacent to the reference pixel is set as the predicted value.
In the example of FIG. 13, since the reference pixel is not located at the integer pixel position, the average value of two pixels adjacent to the reference pixel is used as the predicted value.
Note that an interpolation pixel may be generated not only from two adjacent pixels but also from two or more adjacent pixels, and used as a predicted value.
輝度信号イントラ予測部２１は、同様の手順で、パーティションＰｉ ｎ内の輝度信号のすべての画素に対する予測画素を生成し、その生成したイントラ予測画像（Ｐｉ ｎ）を出力する。
イントラ予測画像（Ｐｉ ｎ）の生成に用いているイントラ予測パラメータは、上述したように、ビットストリームに多重化するために可変長符号化部１３に出力される。
The luminance signal
As described above, the intra-prediction parameters used for generating the intra-predicted image (P i n ) are output to the variable-
イントラ予測部４の切替スイッチ２２は、符号化制御部１から出力されたイントラ予測パラメータのうち、色差信号のイントラ符号化モードを示すパラメータが、方向性予測モードであるのか、平滑化輝度相関利用色差信号予測モードであるのかを判定する（ステップＳＴ２２）。
切替スイッチ２２は、色差信号のイントラ符号化モードを示すパラメータが、方向性予測モードである旨を示していれば、予測に用いる参照画素を色差信号方向性イントラ予測部２３に与え、色差信号のイントラ符号化モードを示すパラメータが、平滑化輝度相関利用色差信号予測モードである旨を示していれば、予測に用いる参照画素を輝度相関利用色差信号予測部２４に与える。
The
If the parameter indicating the intra coding mode of the chrominance signal indicates that it is the directional prediction mode, the
ここで、図１４は色差信号のイントラ予測パラメータと色差イントラ予測モードの対応例を示す説明図である。
図１４の例では、色差信号イントラ予測パラメータが“３４”である場合には、予測に用いる参照画素が輝度相関利用色差信号予測部２４に与えられ、色差信号イントラ予測パラメータが“３４”以外である場合には、予測に用いる参照画素が色差信号方向性イントラ予測部２３に与えられることになる。
Here, FIG. 14 is an explanatory diagram showing a correspondence example between the intra prediction parameters of the color difference signal and the color difference intra prediction modes.
In the example of FIG. 14, when the color difference signal intra prediction parameter is “34”, a reference pixel used for prediction is given to the luminance correlation utilization color difference
色差信号方向性イントラ予測部２３は、切替スイッチ２２から予測に用いる参照画素を受けると、パーティションＰｉ ｎに隣接している復号済みの色差参照画素を参照して、符号化制御部１から出力されたイントラ予測パラメータに基づく色差成分のフレーム内予測を実施することで、色差成分に対する予測画像を生成する（ステップＳＴ２３）。
色差信号方向性イントラ予測部２３におけるイントラ予測の対象が色差信号であり、イントラ予測の対象が輝度信号である輝度信号イントラ予測部２１と異なるが、イントラ予測の処理内容自体は輝度信号イントラ予測部２１と同様である。よって、方向性予測、水平予測、垂直予測、ＤＣ予測などを行うことにより、色差信号のイントラ予測画像が生成される。
Color difference signal
The intra prediction target in the chrominance signal directional
輝度相関利用色差信号予測部２４は、切替スイッチ２２から予測に用いる参照画素を受けると、符号化ブロックであるパーティションＰｉ ｎに隣接している復号済みの輝度参照画素及び色差参照画素と、パーティションＰｉ ｎ内の復号済みの輝度参照画素（輝度信号イントラ予測部２１により先に生成されたパーティションＰｉ ｎのイントラ予測画像（Ｐｉ ｎ）から得られた局所復号画像内の輝度参照画素）とを用いて、その符号化ブロックを構成している画素のうち、水平方向及び垂直方向に隣接している複数の画素に係る輝度成分を平滑化して、平滑化後の輝度成分と色差成分の相関を示す相関パラメータを算出し、その相関パラメータと平滑化後の輝度成分を用いて、色差成分に対する予測画像を生成する（ステップＳＴ２４）。
以下、輝度相関利用色差信号予測部２４の処理内容を具体的に説明する。
Brightness correlation utilizing the color difference
Hereinafter, the processing content of the luminance correlation utilization color difference
輝度相関利用色差信号予測部２４の平滑化輝度参照画素縮小部３１は、イントラ予測用メモリ１０により格納されているパーティションＰｉ ｎを構成している復号済みの輝度参照画素（輝度信号イントラ予測部２１により先に生成されたパーティションＰｉ ｎのイントラ予測画像（Ｐｉ ｎ）から得られた局所復号画像内の輝度参照画素）のうち、水平方向及び垂直方向に隣接している複数の輝度参照画素の平滑化処理等を実施することで、縮小輝度参照画素Ｒｅｃ’Ｌを生成する（図６のステップＳＴ３１）。
即ち、平滑化輝度参照画素縮小部３１は、図１５に示すように、パーティションＰｉ ｎ内の色差信号の予測ブロック（図中、左側のＮ×Ｎのブロック）に対応するブロック（図中、右側の２Ｎ×２Ｎのブロック）内の復号済の画素値である復号済輝度信号と、その復号済輝度信号の上端と左端に隣接している復号済輝度信号とを用いて、縮小輝度参照画素Ｒｅｃ’Ｌを生成する。
ここで、縮小輝度参照画素Ｒｅｃ’Ｌは、図１６に示すように、ＹＵＶ４：２：０信号において、色差信号画素と同位相になるように、輝度参照画素ＲｅｃＬに対して、横方向に１：２：１のローパスフィルタ、縦方向に１：１のローパスフィルタを施した後に、縦横に偶数列のみをサブサンプリングすることで得られる。
Smoothing luminance correlation utilizing the color difference
That is, the smoothed luminance reference
Here, as shown in FIG. 16, the reduced luminance reference pixel Rec ′ L is arranged in the horizontal direction with respect to the luminance reference pixel Rec L so that the YUV 4: 2: 0 signal has the same phase as the color difference signal pixel. After a 1: 2: 1 low-pass filter and a 1: 1 low-pass filter are applied in the vertical direction, only an even column is sub-sampled in the vertical and horizontal directions.
輝度相関利用色差信号予測部２４の相関算出部３２は、平滑化輝度参照画素縮小部３１が縮小輝度参照画素Ｒｅｃ’Ｌを生成すると、その縮小輝度参照画素Ｒｅｃ’Ｌと、色差信号の予測ブロックの上端及び左端に隣接している色差信号の復号済の画素値である色差参照画素ＲｅｃＣとを用いて、下記の式（１）及び式（２）に示すように、予測に用いる相関パラメータα，βを算出する（ステップＳＴ３２）。
素数の２倍の値である。
When the smoothed luminance reference
色差予測画像生成部３３は、相関算出部３２が相関パラメータα，βを算出すると、その相関パラメータα，βと縮小輝度参照画素Ｒｅｃ’Ｌを用いて、下記の式（３）に示すように、色差予測画像ＰｒｅｄＣを生成する（ステップＳＴ３３）。
なお、イントラ予測は、画面内の未知の領域を既知の領域から予測する手段であるが、輝度信号と色差信号のテクスチャには相関があり、空間方向については、近傍画素同士は画素値の変化が小さいため、予測ブロックに隣接する復号済の輝度信号と色差信号を利用して輝度信号と色差信号の相関パラメータを算出し、その輝度信号と相関パラメータから色差信号を予測することにより、予測効率を向上させることができる。
この際、ＹＵＶ４：２：０信号では、輝度信号と色差信号の解像度が異なるため、輝度信号をサブサンプリングする必要があるが、ローパスフィルタを施すことによりエイリアシングの発生を抑えることができ、予測効率を向上させることができる。
Intra prediction is a means for predicting an unknown area in the screen from a known area, but the texture of the luminance signal and the color difference signal are correlated, and in the spatial direction, neighboring pixels change pixel values. Predictive efficiency by calculating the correlation parameter between the luminance signal and the color difference signal using the decoded luminance signal and the color difference signal adjacent to the prediction block and predicting the color difference signal from the luminance signal and the correlation parameter. Can be improved.
In this case, since the resolution of the luminance signal and the color difference signal is different for the YUV 4: 2: 0 signal, it is necessary to subsample the luminance signal. Can be improved.
可変長符号化部１３は、上述したように、イントラ予測部４から出力されたイントラ予測パラメータを可変長符号化して、そのイントラ予測パラメータの符号語をビットストリームに多重化するが、イントラ予測パラメータを符号化する際に、複数の方向性予測の予測方向ベクトルの中から、代表的な予測方向ベクトル（予測方向代表ベクトル）を選択し、イントラ予測パラメータを予測方向代表ベクトルのインデックス（予測方向代表インデックス）と予測方向代表ベクトルからの差分を表すインデックス（予測方向差分インデックス）で表して、それぞれのインデックス毎に、確率モデルに応じた算術符号化などのハフマン符号化を行うことで、符号量を削減して符号化するよう構成してもよい。
As described above, the variable
次に、図７のカラー動画像復号装置の処理内容を説明する。
可変長復号部４１は、図１のカラー動画像符号化装置により生成されたビットストリームを入力すると、そのビットストリームに対する可変長復号処理を実施して（図８のステップＳＴ４１）、１フレーム以上のピクチャから構成されるシーケンス単位あるいはピクチャ単位にフレームサイズを復号する。
可変長復号部４１は、フレームサイズを復号すると、図１のカラー動画像符号化装置で決定された最大符号化ブロックサイズ（イントラ予測処理又は動き補償予測処理が実施される際の処理単位となる符号化ブロックの最大サイズ）と、分割階層数の上限（最大サイズの符号化ブロックから階層的に分割されている符号化ブロックの階層数）をカラー動画像符号化装置と同様の手順で決定する（ステップＳＴ４２）。
Next, processing contents of the color moving image decoding apparatus in FIG. 7 will be described.
When the variable
When the variable
例えば、符号化ブロックの最大サイズが、全てのピクチャに対して、入力カラー画像の解像度に応じたサイズに決定されている場合には、先に復号しているフレームサイズに基づいて、図１のカラー動画像符号化装置と同様の手順で、符号化ブロックの最大サイズを決定する。
カラー動画像符号化装置によって、符号化ブロックの最大サイズ及び符号化ブロックの階層数がビットストリームに多重化されている場合には、そのビットストリームから符号化ブロックの最大サイズ及び符号化ブロックの階層数を復号する。
For example, when the maximum size of the encoding block is determined to be the size corresponding to the resolution of the input color image for all the pictures, the maximum size of the encoding block is determined based on the previously decoded frame size in FIG. The maximum size of the encoded block is determined by the same procedure as that of the color moving image encoding apparatus.
When the maximum size of the encoded block and the number of layers of the encoded block are multiplexed in the bit stream by the color moving image encoding device, the maximum size of the encoded block and the layer of the encoded block are encoded from the bit stream. Decode the number.
可変長復号部４１は、符号化ブロックの最大サイズ及び符号化ブロックの階層数を決定すると、最大符号化ブロックを出発点にして、各符号化ブロックの階層的な分割状態を把握することで、ビットストリームに多重化されている符号化データの中で、各符号化ブロックに係る符号化データを特定し、その符号化データから各符号化ブロックに割り当てられている符号化モードを復号する。
そして、可変長復号部４１は、その符号化モードに含まれている符号化ブロックＢｎに属するパーティションＰｉ ｎの分割情報を参照して、ビットストリームに多重化されている符号化データの中で、各パーティションＰｉ ｎに係る符号化データを特定する（ステップＳＴ４３）。
可変長復号部４１は、各パーティションＰｉ ｎに係る符号化データから圧縮データ、変換ブロック分割フラグを含む予測差分符号化パラメータ、イントラ予測パラメータ／インター予測パラメータを可変長復号して、その圧縮データ及び予測差分符号化パラメータを逆量子化・逆変換部４５に出力するとともに、符号化モード及びイントラ予測パラメータ／インター予測パラメータを切替スイッチ４２に出力する（ステップＳＴ４４）。
The variable
Then, the variable
Variable-
例えば、予測方向代表インデックスと予測方向差分インデックスがビットストリームに多重化されている場合には、その予測方向代表インデックスと予測方向差分インデックスをそれぞれの確率モデルに応じた算術復号などによりエントロピー復号し、その予測方向代表インデックスと予測方向差分インデックスからイントラ予測パラメータを特定するようにする。
これにより、カラー動画像符号化装置側で、イントラ予測パラメータの符号量を削減している場合でも、イントラ予測パラメータを正しく復号することができる。
For example, when the prediction direction representative index and the prediction direction difference index are multiplexed in the bitstream, the prediction direction representative index and the prediction direction difference index are entropy decoded by arithmetic decoding or the like according to each probability model, An intra prediction parameter is specified from the prediction direction representative index and the prediction direction difference index.
Thereby, even when the code amount of the intra prediction parameter is reduced on the color moving image encoding device side, the intra prediction parameter can be correctly decoded.
切替スイッチ４２は、可変長復号部４１から出力された符号化ブロックＢｎに属するパーティションＰｉ ｎの符号化モードがイントラ符号化モードである場合、可変長復号部４１から出力されたイントラ予測パラメータをイントラ予測部４３に出力し、その符号化モードがインター符号化モードである場合、可変長復号部４１から出力されたインター予測パラメータを動き補償部４４に出力する。
When the coding mode of the partition P i n belonging to the coding block B n output from the variable
イントラ予測部４３は、可変長復号部４１からイントラ予測パラメータを受けると（ステップＳＴ４５）、図１のイントラ予測部４と同様に、そのイントラ予測パラメータに基づいて、各パーティションＰｉ ｎに対するイントラ予測処理を実施することにより、イントラ予測画像（Ｐｉ ｎ）を生成する（ステップＳＴ４６）。
即ち、イントラ予測部４３は、可変長復号部４１からイントラ予測パラメータを受けると、カラー動画像符号化装置の輝度信号イントラ予測部２１と同様に、例えば、パーティションＰｉ ｎに対するイントラ予測モードのインデックス値が２（平均値予測）である場合、上パーティションの隣接画素と左パーティションの隣接画素の平均値をパーティションＰｉ ｎ内の画素の予測値として予測画像を生成する。
イントラ予測モードのインデックス値が２（平均値予測）以外の場合には、インデックス値が示す予測方向ベクトルｖｐ＝（ｄｘ，ｄｙ）に基づいて、パーティションＰｉ ｎ内の画素の予測値を生成する。
イントラ予測部４３は、同様の手順で、パーティションＰｉ ｎ内の輝度信号のすべての画素に対する予測画素を生成し、その生成したイントラ予測画像（Ｐｉ ｎ）を出力する。
The
That is, the
If the index value of the intra prediction mode is other than 2 (average prediction), the prediction direction vector index value indicates v p = (dx, dy) on the basis of, generating a prediction value of the pixel in the partition P i n To do.
The
動き補償部４４は、切替スイッチ４２からインター予測パラメータを受けると、カラー動画像符号化装置の動き補償予測部５と同様に、そのインター予測パラメータに基づいて、各パーティションＰｉ ｎに対するインター予測処理を実施することにより、インター予測画像（Ｐｉ ｎ）を生成する（ステップＳＴ４７）。
即ち、動き補償部４４は、動き補償予測フレームメモリ４９により格納されている１フレーム以上の参照画像を用いて、そのインター予測パラメータに基づくパーティションＰｉ ｎに対する動き補償予測処理を実施することで、インター予測画像（Ｐｉ ｎ）を生成する。
That is,
逆量子化・逆変換部４５は、可変長復号部４１から変換ブロック分割フラグを含む予測差分符号化パラメータを受けると、その予測差分符号化パラメータに含まれている量子化パラメータを用いて、変換ブロック分割フラグに従って決定される変換ブロックサイズ毎に、可変長復号部４１から出力された符号化ブロックに係る圧縮データを逆量子化し、その予測差分符号化パラメータに含まれている変換ブロック分割フラグから特定される変換ブロックサイズ単位で、逆量子化後の圧縮データの逆変換処理（例えば、逆ＤＣＴ（逆離散コサイン変換）や逆ＤＳＴ（逆離散サイン変換）、逆ＫＬ変換等の逆変換処理）を実施することで、逆変換処理後の圧縮データを復号予測差分信号（圧縮前の差分画像を示す信号）として加算部４６に出力する（ステップＳＴ４８）。
When the inverse quantization /
加算部４６は、逆量子化・逆変換部４５から出力された復号予測差分信号と、イントラ予測部４３又は動き補償部４４により生成された予測画像（Ｐｉ ｎ）を示す予測信号とを加算することで、復号パーティション画像ないしはその集まりとしての復号画像を示す復号画像信号を生成し、その復号画像信号をループフィルタ部４８に出力する（ステップＳＴ４９）。
また、イントラ予測用メモリ４７には、イントラ予測に用いるために、当該復号画像が格納される。
The
The
ループフィルタ部４８は、加算部４６から復号画像信号を受けると、その復号画像信号に含まれている符号化歪みを補償し、符号化歪み補償後の復号画像信号が示す復号画像を参照画像として動き補償予測フレームメモリ４９に格納するとともに、その復号画像を再生画像として出力する（ステップＳＴ５０）。
ここで、符号化歪は変換ブロック境界に沿って発生するため、変換ブロック境界に対して符号化歪の補償を行う。小さい変換ブロックについては、変換ブロック境界の符号化歪が目立ちにくいので、ヘッダで最小ループフィルタ適用ブロックサイズをシグナリングし、変換ブロックサイズが最小ループフィルタ適用ブロックサイズより大きいブロックに対してのみ符号化歪補償を適用するよう構成してもよい。
このようにすれば、不要な符号化歪補償を省略できるので画質を保ちつつ演算量を削減
することができる。また、輝度信号と色差信号では変換ブロックの分割形状が異なるので
、符号化歪補償は輝度信号と色差信号でそれぞれ変換ブロックの分割形状を特定して処理
するよう構成する。
なお、ループフィルタ部４８によるフィルタリング処理は、入力される復号画像信号の最大符号化ブロックあるいは個々の符号化ブロック単位で行ってもよいし、１画面分のマクロブロックに相当する復号画像信号が入力された後に１画面分まとめて行ってもよい。
ステップＳＴ４３〜ＳＴ４９の処理は、全ての符号化ブロックＢｎに属するパーティションＰｉ ｎに対する処理が完了するまで繰り返し実施される（ステップＳＴ５１）。
When the
Here, since the coding distortion occurs along the transform block boundary, the coding distortion is compensated for the transform block boundary. For small transform blocks, coding distortion at the transform block boundary is inconspicuous. Therefore, the minimum loop filter application block size is signaled in the header, and the coding distortion is only applied to blocks whose transform block size is larger than the minimum loop filter application block size. You may comprise so that compensation may be applied.
In this way, unnecessary coding distortion compensation can be omitted, so that the amount of calculation can be reduced while maintaining image quality. In addition, since the division shape of the transform block is different between the luminance signal and the color difference signal, the coding distortion compensation is configured to specify and process the division shape of the transformation block based on the luminance signal and the color difference signal, respectively.
Note that the filtering processing by the
The processes in steps ST43 to ST49 are repeatedly performed until the processes for the partitions P i n belonging to all the coding blocks B n are completed (step ST51).
以上で明らかなように、この実施の形態１によれば、変換・量子化部７が、減算部６により生成された差分画像の輝度信号に対する変換・量子化処理を実施する場合、ブロック分割部２により分割された符号化ブロックをさらに階層的に分割して、分割後のブロック単位で輝度信号の変換・量子化処理を実施し、減算部６により生成された差分画像の色差信号に対する変換・量子化処理を実施する場合、ブロック分割部２により分割された符号化ブロックの形状が正方形であれば、その符号化ブロックと同じサイズのブロック単位で色差信号の変換・量子化処理を実施し、その符号化ブロックの形状が長方形であれば、その符号化ブロックを１階層だけ分割して、分割後のブロック単位で色差信号の変換・量子化処理を実施するように構成したので、輝度信号と色差信号に対する変換・量子化処理のブロックサイズの適正化が図られて、輝度信号と色差信号の符号化効率を高めることができる効果を奏する。
As apparent from the above, according to the first embodiment, when the transform /
即ち、カラー動画像符号化装置の色差信号における変換ブロックの分割形状が符号化ブロック及び予測モードに応じて、少ない階層数となる分割状態に一意に決定されるため、色差信号の変換ブロックの分割形状についての情報をシグナリングすることなく、輝度信号の変換ブロックサイズと比べて、画面サイズに対し相対的に大きいブロックサイズで色差信号の変換が行われるので、色差信号を効率よく圧縮することができる。
また、カラー動画像復号装置の色差信号における変換ブロックの分割形状が符号化ブロック及び予測モードに応じて一意に決定されるので、カラー動画像符号化装置で生成されるビットストリームを好適に復号することができる。
なお、同様に色差信号における変換ブロックの分割形状を予測ブロックの分割形状と同じサイズに構成してもよい。
このように構成することにより、色差信号の変換ブロックの分割形状が一意に決定されると共に、相対的に大きいブロックサイズで色差信号の変換が行われるので、同様の効果を得ることができる。
That is, since the division shape of the conversion block in the color difference signal of the color moving image encoding device is uniquely determined in a division state having a small number of layers according to the encoding block and the prediction mode, the division of the conversion block of the color difference signal is performed. Since the color difference signal is converted with a block size relatively larger than the conversion block size of the luminance signal without signaling information about the shape, the color difference signal can be efficiently compressed. .
Also, since the division shape of the transform block in the color difference signal of the color moving image decoding apparatus is uniquely determined according to the encoding block and the prediction mode, the bit stream generated by the color moving image encoding apparatus is preferably decoded. be able to.
Similarly, the division shape of the transform block in the color difference signal may be configured to be the same size as the division shape of the prediction block.
With this configuration, the divided shape of the color difference signal conversion block is uniquely determined, and the color difference signal is converted with a relatively large block size, so that the same effect can be obtained.
実施の形態２．
上記実施の形態１では、映像信号がＹＵＶ４：２：０フォーマットである例で説明をしたが、この実施の形態２では、映像信号がＹＵＶ４：２：２フォーマットである場合について説明する。
ＹＵＶ４：２：２フォーマットでは、色差成分の縦方向のサンプリング数が輝度信号と同数であり、横方向のサンプリング数が輝度信号の半分である。従って、ＹＵＶ４：２：０フォーマットの符号化・復号の処理に対し、色差成分の処理のみが異なるため、ここでは、主に色差成分の処理について説明する。
In the first embodiment, the example in which the video signal is in the YUV 4: 2: 0 format has been described. In the second embodiment, the case in which the video signal is in the YUV 4: 2: 2 format will be described.
In the YUV 4: 2: 2 format, the number of color difference components in the vertical direction is the same as that of the luminance signal, and the number of sampling in the horizontal direction is half that of the luminance signal. Accordingly, since only the processing of the color difference component is different from the encoding / decoding processing of the YUV 4: 2: 0 format, the processing of the color difference component will be mainly described here.
この実施の形態２のカラー動画像符号化装置における符号化制御部１は、上記実施の形態１と同様に、イントラ予測処理（フレーム内予測処理）又は動き補償予測処理（フレーム間予測処理）が実施される際の処理単位となる符号化ブロックの最大サイズを決定するとともに、最大サイズの符号化ブロックが階層的に分割される際の上限の階層数を決定する処理を実施する。
また、符号化制御部１は利用可能な１以上の符号化モード（１以上のイントラ符号化モード、１以上のインター符号化モード）の中から、階層的に分割される各々の符号化ブロックに適する符号化モードを選択する処理を実施する。
また、符号化制御部１は各々の符号化ブロック毎に、差分画像が圧縮される際に用いられる量子化パラメータ及び変換ブロックサイズを決定するとともに、予測処理が実施される際に用いられるイントラ予測パラメータ又はインター予測パラメータを決定する処理を実施する。量子化パラメータ及び変換ブロックサイズを示す変換ブロック分割フラグは、予測差分符号化パラメータに含まれて、変換・量子化部７、逆量子化・逆変換部８及び可変長符号化部１３等に出力される。
As in the first embodiment, the
In addition, the
In addition, the
図１８は４：２：２フォーマットの信号における輝度信号及び色差信号の圧縮処理を実施する際の変換ブロックサイズを示す説明図である。
変換ブロックサイズは、図１８に示すように、符号化ブロックを四分木状に階層分割することによって決定される。
例えば、変換ブロックを分割する場合と変換ブロックを分割しない場合での符号量や、符号化誤差を加味した評価尺度などに基づいて、評価値が最小になるように変換ブロックを分割するか否かを決定することで、符号量と符号化誤差のトレードオフの観点から最適な変換ブロックの分割形状を決定することができる。
FIG. 18 is an explanatory diagram showing a conversion block size when performing a compression process of a luminance signal and a color difference signal in a 4: 2: 2 format signal.
As shown in FIG. 18, the transform block size is determined by hierarchically dividing the encoded block into a quadtree.
For example, whether or not to divide the transform block so that the evaluation value is minimized based on the amount of code when the transform block is divided and when the transform block is not divided, the evaluation scale that takes into account the coding error, etc. By determining, it is possible to determine the optimal division shape of the transform block from the viewpoint of the trade-off between the code amount and the coding error.
輝度信号については、例えば、図１８に示すように、予測ブロックの形状が正方形である予測モードが符号化ブロックの符号化モードとして選択された場合、符号化ブロックが１つまたは複数の正方形の変換ブロックに階層的に分割されるように構成する。
一方、予測ブロックの形状が長方形である予測モードが符号化ブロックの符号化モードとして選択された場合、符号化ブロックが１つまたは複数の長方形の変換ブロックに階層的に分割されるように構成する。あるいは、正方形の変換ブロックに分割された後に、さらに下の階層で長方形の変換ブロックに分割されるように構成する。
一方、色差信号については、予測ブロックの形状が正方形である場合、予測ブロックと同じサイズの変換ブロックが適用されるように構成する。
予測ブロックの形状が長方形である場合、図１８に示すように、予測ブロックが１階層だけ分割されるように構成する。
For the luminance signal, for example, as shown in FIG. 18, when a prediction mode in which the shape of the prediction block is a square is selected as the encoding mode of the encoding block, the encoding block is converted into one or a plurality of squares. It is configured to be divided into blocks hierarchically.
On the other hand, when the prediction mode in which the shape of the prediction block is rectangular is selected as the encoding mode of the encoding block, the encoding block is configured to be hierarchically divided into one or a plurality of rectangular transform blocks. . Or after dividing | segmenting into a square conversion block, it is comprised so that it may be further divided | segmented into a rectangular conversion block in the lower hierarchy.
On the other hand, the color difference signal is configured such that a transform block having the same size as the prediction block is applied when the prediction block has a square shape.
When the prediction block has a rectangular shape, as shown in FIG. 18, the prediction block is configured to be divided by one layer.
このように輝度信号については、階層的に最適な変換ブロックサイズに分割されて変換が行われ、色差信号については、分割形状が固定された大きいブロックで変換が行われるため、色差信号の変換ブロックの分割形状に関する情報をシグナリングすることなく、色差信号を効率的に圧縮することができる。
また、色差信号の変換ブロックの分割形状が、輝度信号の変換ブロックの分割形状と異なるため、輝度信号に対しては、輝度信号に最適な変換ブロックの分割形状を選択することができるため、輝度信号についても、効率的に圧縮することができる。
輝度信号の変換ブロックの分割情報は、階層毎に分割するか否かを示す変換ブロック分割フラグとして可変長符号化部１３に出力する。
As described above, the luminance signal is divided and converted into a hierarchically optimal conversion block size, and the chrominance signal is converted in a large block whose division shape is fixed. Thus, the color difference signal can be efficiently compressed without signaling information regarding the divided shape.
In addition, since the division shape of the conversion block of the color difference signal is different from the division shape of the conversion block of the luminance signal, the division shape of the conversion block most suitable for the luminance signal can be selected for the luminance signal. The signal can also be efficiently compressed.
The division information of the transformation block of the luminance signal is output to the variable
イントラ予測部４は切替スイッチ３からブロック分割部２により分割された符号化ブロックを受けると、上記実施の形態１と同様に、その符号化ブロックに対して、イントラ予測用メモリ１０により格納されている上記符号化ブロックに隣接している復号済みの画素を用いて、符号化制御部１から出力されたイントラ予測パラメータに基づくフレーム内予測処理を実施することで予測画像を生成する処理を実施する。
即ち、イントラ予測部４は、ブロック分割部２により分割された符号化ブロックにおける輝度成分については、その輝度成分のフレーム内予測を実施して、輝度成分に対する予測画像を生成する。
一方、ブロック分割部２により分割された符号化ブロックにおける色差成分については、符号化制御部１により選択された符号化モードが、イントラ符号化モードにおける方向性予測モードであれば、ブロック分割部２により分割された符号化ブロックにおける色差成分のフレーム内予測を実施して、色差成分に対する予測画像を生成する。
When the intra prediction unit 4 receives the encoded block divided by the
That is, the intra prediction unit 4 performs intra-frame prediction of the luminance component of the encoded block divided by the
On the other hand, for the color difference component in the coding block divided by the
ここで、色差成分のフレーム内予測は、図１９に示すように、縦長のブロックに対して適用する。
方向性予測の場合、図１９に示すように、隣接局部復号画像を直線的に繰り返すことにより予測画像を得る。
平均値予測の場合、上に隣接する画素と左に隣接する画素の平均値を予測値として用いる。あるいは、左に隣接する画素の平均値である左平均値予測値と、上に隣接する画素の平均値である上平均値予測値を個別に算出し、左平均値予測値と上平均値予測値の平均値を平均値予測値としてもよい。
このようにすることで、演算回路において、割り算を用いずシフト演算で処理をすることができるため、回路規模を小さく抑えることができる。
また、左平均値予測値の３倍と上平均値予測値を加算して、２ビット右シフトするよう構成してもよい。
このようにすることで、予測ブロックの形状が縦長なので、より長い辺である左側の画素値により重みを加えた予測値とすることができ、かつ、シフト演算で実現が可能であるため、小さい回路規模で効率のよい予測を行うことができる。
Here, the intra-frame prediction of the color difference component is applied to a vertically long block as shown in FIG.
In the case of directionality prediction, as shown in FIG. 19, a predicted image is obtained by linearly repeating adjacent local decoded images.
In the case of average value prediction, the average value of the pixel adjacent on the upper side and the pixel adjacent on the left is used as the predicted value. Alternatively, the left average predicted value that is the average value of the pixels adjacent to the left and the upper average predicted value that is the average value of the pixels adjacent to the upper are calculated separately, and the left average predicted value and the upper average predicted The average value may be used as the average predicted value.
In this way, the arithmetic circuit can perform processing by shift operation without using division, so that the circuit scale can be reduced.
Further, it may be configured to add 3 times the left average value predicted value and the upper average value predicted value and shift right by 2 bits.
By doing so, since the shape of the prediction block is vertically long, it is possible to obtain a prediction value obtained by adding a weight to the pixel value on the left side, which is a longer side, and can be realized by a shift operation. Efficient prediction can be performed on a circuit scale.
動き補償予測部５はブロック分割部２により分割された符号化ブロックに対応する符号化モードとして、符号化制御部１によりインター符号化モードが選択された場合、動き補償予測フレームメモリ１２により格納されている１フレーム以上の参照画像を用いて、符号化制御部１から出力されたインター予測パラメータに基づいて、その符号化ブロックに対する動き補償予測処理を実施することで予測画像を生成する処理を実施する。
色差成分については、輝度成分の動きベクトルに対して横方向の動きベクトル成分のみ半分にした値を適用して動き補償予測処理を行う。
When the inter coding mode is selected by the
For the color difference component, the motion compensation prediction process is performed by applying a value obtained by halving only the horizontal motion vector component to the motion vector of the luminance component.
次に動作について説明する。
最初に、図１のカラー動画像符号化装置の処理内容を説明する。
まず、符号化制御部１は、イントラ予測処理（フレーム内予測処理）又は動き補償予測処理（フレーム間予測処理）が実施される際の処理単位となる符号化ブロックの最大サイズを決定するとともに、最大サイズの符号化ブロックが階層的に分割される際の上限の階層数を決定する（図２のステップＳＴ１）。
Next, the operation will be described.
First, the processing contents of the color moving image encoding apparatus in FIG. 1 will be described.
First, the
符号化ブロックの最大サイズの決め方として、例えば、全てのピクチャに対して、入力カラー画像の解像度に応じたサイズに決定する方法が考えられる。
また、入力カラー画像の局所的な動きの複雑さの違いをパラメータとして定量化しておき、動きの激しいピクチャでは最大サイズを小さな値に決定し、動きが少ないピクチャでは最大サイズを大きな値に決定する方法などが考えられる。
上限の階層数については、例えば、入力カラー画像の動きが激しい程、階層数を深くして、より細かい動きが検出できるように設定し、入力カラー画像の動きが少なければ、階層数を抑えるように設定する方法が考えられる。
As a method of determining the maximum size of the encoded block, for example, a method of determining a size corresponding to the resolution of the input color image for all the pictures can be considered.
Also, the difference in the complexity of the local motion of the input color image is quantified as a parameter, and the maximum size is determined to be a small value for pictures with intense motion, and the maximum size is determined to be a large value for pictures with little motion. Possible methods.
The upper limit of the number of hierarchies is set so that, for example, the more intense the input color image moves, the deeper the number of hierarchies, so that more detailed movement can be detected. The method of setting to can be considered.
また、符号化制御部１は、利用可能な１以上の符号化モード（Ｍ種類のイントラ符号化モード、Ｎ種類のインター符号化モード）の中から、階層的に分割される各々の符号化ブロックに対応する符号化モードを選択する（ステップＳＴ２）。
ただし、後述するブロック分割部２により階層的に分割された各々の符号化ブロックが更にパーティション単位に分割される場合は、各々のパーティションに対応する符号化モードを選択することが可能である。
以下、この実施の形態２では、各々の符号化ブロックが更にパーティション単位に分割されるものとして説明する。
符号化制御部１による符号化モードの選択方法は、公知の技術であるため詳細な説明を省略するが、例えば、利用可能な任意の符号化モードを用いて、符号化ブロックに対する符号化処理を実施して符号化効率を検証し、利用可能な複数の符号化モードの中で、最も符号化効率がよい符号化モードを選択する方法などがある。
In addition, the
However, when each coding block hierarchically divided by the
In the following, the second embodiment will be described assuming that each encoded block is further divided into partitions.
Since the encoding mode selection method by the
また、符号化制御部１は、各々の符号化ブロックに含まれているパーティション毎に、差分画像が圧縮される際に用いられる量子化パラメータ及び変換ブロックサイズを決定するとともに、予測処理が実施される際に用いられるイントラ予測パラメータ又はインター予測パラメータを決定する。
符号化制御部１は、量子化パラメータ及び変換ブロックサイズを示す変換ブロック分割フラグ含む予測差分符号化パラメータを変換・量子化部７、逆量子化・逆変換部８及び可変長符号化部１３に出力する。また、予測差分符号化パラメータを必要に応じてイントラ予測部４に出力する。
Further, the
The
ブロック分割部２は、入力カラー画像を示す映像信号を入力すると、上記実施の形態１と同様に、その入力カラー画像を符号化制御部１により決定された最大サイズの符号化ブロックに分割するとともに、符号化制御部１により決定された上限の階層数に至るまで、その符号化ブロックを階層的に分割する。また、その符号化ブロックをパーティション単位に分割する（ステップＳＴ３）。
図９の例では、最大サイズの符号化ブロックは、第０階層の符号化ブロックＢ０であり、輝度成分で（Ｌ０，Ｍ０）のサイズを有している。
また、図９の例では、最大サイズの符号化ブロックＢ０を出発点として、４分木構造で、別途定める所定の深さまで階層的に分割を行うことによって、符号化ブロックＢｎを得ている。
When the video signal indicating the input color image is input, the
In the example of FIG. 9, the coding block of the maximum size is the coding block B 0 of the 0th layer, and has a size of (L 0 , M 0 ) as a luminance component.
In the example of FIG. 9, the encoding block B n is obtained by performing hierarchical division to a predetermined depth determined separately in a quadtree structure with the maximum size encoding block B 0 as a starting point. Yes.
符号化制御部１は、最大サイズの符号化ブロックに対して、例えば、図１１に示すようなブロック分割状態を生成して、符号化ブロックＢｎを特定する。
図１１（ａ）の斜線部分は分割後のパーティションの分布を示し、また、図１１（ｂ）は階層分割後のパーティションに符号化モードｍ（Ｂｎ）が割り当てられる状況を４分木グラフで示している。
図１１（ｂ）において、□で囲まれているノードが、符号化モードｍ（Ｂｎ）が割り当てられたノード（符号化ブロックＢｎ）を示している。
また、符号化制御部１は、分割後のパーティションに対して、前述の通りに、変換ブロックの分割形状を決定する。
For example, the
11A shows the distribution of the partitions after the division, and FIG. 11B shows a situation where the encoding mode m (B n ) is assigned to the partition after the hierarchical division in a quadtree graph. Show.
In FIG. 11B, nodes surrounded by squares indicate nodes (encoded blocks B n ) to which the encoding mode m (B n ) is assigned.
Also, the
切替スイッチ３は、符号化制御部１がイントラ符号化モードを選択すると（ｍ（Ｂｎ）∈ＩＮＴＲＡ）、上記実施の形態１と同様に、ブロック分割部２により分割された符号化ブロックＢｎに属するパーティションＰｉ ｎをイントラ予測部４に出力し、符号化制御部１がインター符号化モードを選択すると（ｍ（Ｂｎ）∈ＩＮＴＥＲ）、その符号化ブロックＢｎに属するパーティションＰｉ ｎを動き補償予測部５に出力する。
When the
イントラ予測部４は、切替スイッチ３から符号化ブロックＢｎに属するパーティションＰｉ ｎを受けると（ステップＳＴ４）、上記実施の形態１と同様に、符号化制御部１により決定されたイントラ予測パラメータに基づいて、各パーティションＰｉ ｎに対するイントラ予測処理を実施することにより、イントラ予測画像（Ｐｉ ｎ）を生成する（ステップＳＴ５）。
ただし、色差成分のフレーム内予測は、図１９に示すように、縦長のブロックに対して適用する。
イントラ予測画像（Ｐｉ ｎ）の生成に用いられるイントラ予測パラメータは、カラー動画像復号装置側でも、全く同じイントラ予測画像（Ｐｉ ｎ）を生成する必要があるため、可変長符号化部１３によってビットストリームに多重化される。
Intra prediction unit 4 receives the partition P i n belonging from the
However, intra-frame prediction of chrominance components is applied to a vertically long block as shown in FIG.
Since the intra prediction parameters used to generate the intra-prediction image (P i n) is also a color video decoding apparatus side, it is necessary to generate exactly the same intra prediction image (P i n), the variable
なお、イントラ予測パラメータとして選択できるイントラ予測方向数は、処理対象となるブロックのサイズに応じて異なるよう構成してもよい。
大きいサイズのパーティションでは、イントラ予測の効率が低下するため、選択できるイントラ予測方向数を少なくし、小さいサイズのパーティションでは、選択できるイントラ予測方向数を多くするように構成することができる。
例えば、４×４画素パーティションや８×８画素パーティションでは３４方向、１６×１６画素パーティションでは１７方向、３２×３２画素パーティションでは９方向などのように構成してもよい。
Note that the number of intra prediction directions that can be selected as the intra prediction parameter may be configured to differ depending on the size of the block to be processed.
Since the efficiency of intra prediction decreases in a large size partition, the number of intra prediction directions that can be selected can be reduced, and the number of intra prediction directions that can be selected in a small size partition can be increased.
For example, a 4 × 4 pixel partition or an 8 × 8 pixel partition may be configured in 34 directions, a 16 × 16 pixel partition in 17 directions, a 32 × 32 pixel partition in 9 directions, or the like.
動き補償予測部５は、切替スイッチ３から符号化ブロックＢｎに属するパーティションＰｉ ｎを受けると（ステップＳＴ４）、上記実施の形態１と同様に、符号化制御部１により決定されたインター予測パラメータに基づいて、各パーティションＰｉ ｎに対するインター予測処理を実施することにより、インター予測画像（Ｐｉ ｎ）を生成する（ステップＳＴ６）。
即ち、動き補償予測部５は、動き補償予測フレームメモリ１２により格納されている１フレーム以上の参照画像を用いて、符号化制御部１から出力されたインター予測パラメータに基づいて、その符号化ブロックに対する動き補償予測処理を実施することで、インター予測画像（Ｐｉ ｎ）を生成する。
インター予測画像（Ｐｉ ｎ）の生成に用いられるインター予測パラメータは、カラー動画像復号装置側でも、全く同じインター予測画像（Ｐｉ ｎ）を生成する必要があるため、可変長符号化部１３によってビットストリームに多重化される。
When the motion
That is, the motion compensated
For inter prediction parameters to be used in generating the inter prediction image (P i n) is also a color video decoding apparatus side, it is necessary to generate exactly the same inter-prediction image (P i n), the variable
減算部６は、イントラ予測部４又は動き補償予測部５から予測画像（Ｐｉ ｎ）を受けると、上記実施の形態１と同様に、ブロック分割部２により分割された符号化ブロックＢｎに属するパーティションＰｉ ｎから、その予測画像（Ｐｉ ｎ）を減算することで、その差分画像を示す予測差分信号ｅｉ ｎを生成する（ステップＳＴ７）。
When receiving the prediction image (P i n ) from the intra prediction unit 4 or the motion
変換・量子化部７は、減算部６が予測差分信号ｅｉ ｎを生成すると、上記実施の形態１と同様に、符号化制御部１で決定された変換ブロックサイズ単位で、その予測差分信号ｅｉ ｎに対する変換処理を実施するとともに、その予測差分符号化パラメータに含まれている量子化パラメータを用いて、その予測差分信号ｅｉ ｎの変換係数を量子化することで、量子化後の変換係数である差分画像の圧縮データを逆量子化・逆変換部８及び可変長符号化部１３に出力する（ステップＳＴ８）。
即ち、変換・量子化部７は、減算部６が予測差分信号ｅｉ ｎを生成すると、予測差分信号ｅｉ ｎの輝度信号に対する変換・量子化処理を実施する場合、ブロック分割部２により分割された符号化ブロックをさらに階層的に分割して、分割後のブロック単位で輝度信号の変換・量子化処理を実施し、予測差分信号ｅｉ ｎの色差信号に対する変換・量子化処理を実施する場合、ブロック分割部２により分割された符号化ブロックの形状が正方形であれば、その符号化ブロックと同じサイズのブロック単位で色差信号の変換・量子化処理を実施し、その符号化ブロックの形状が長方形であれば、その符号化ブロックを１階層だけ分割して、分割後のブロック単位で色差信号の変換・量子化処理を実施する。
When the subtraction unit 6 generates the prediction difference signal e i n , the transform /
That is, when the subtraction unit 6 generates the prediction difference signal e i n , the transform /
逆量子化・逆変換部８は、変換・量子化部７から圧縮データを受けると、上記実施の形態１と同様に、符号化制御部１から出力された予測差分符号化パラメータに含まれている量子化パラメータを用いて、その圧縮データを逆量子化し、その予測差分符号化パラメータに含まれている変換ブロック分割フラグから特定される変換ブロックサイズ単位で、逆量子化の圧縮データの逆変換処理（例えば、逆ＤＣＴ（逆離散コサイン変換）や逆ＤＳＴ（離散サイン変換）、逆ＫＬ変換等の逆変換処理）を実施することで、逆変換処理後の圧縮データを局所復号予測差分信号として加算部９に出力する（ステップＳＴ９）。
When receiving the compressed data from the transform /
加算部９は、逆量子化・逆変換部８から局所復号予測差分信号を受けると、上記実施の形態１と同様に、その局所復号予測差分信号と、イントラ予測部４又は動き補償予測部５により生成された予測画像（Ｐｉ ｎ）を示す予測信号とを加算することで、局所復号パーティション画像ないしはその集まりとしての局所復号符号化ブロック画像（以下、「局所復号画像」と称する）を示す局所復号画像信号を生成し、その局所復号画像信号をループフィルタ部１１に出力する（ステップＳＴ１０）。
また、イントラ予測用メモリ１０には、イントラ予測に用いるために、当該局所復号画像が格納される。
When receiving the local decoded prediction difference signal from the inverse quantization /
The intra prediction memory 10 stores the local decoded image for use in intra prediction.
ループフィルタ部１１は、加算部９から局所復号画像信号を受けると、上記実施の形態１と同様に、その局所復号画像信号に含まれている符号化歪みを補償し、符号化歪み補償後の局所復号画像信号が示す局所復号画像を参照画像として動き補償予測フレームメモリ１２に格納する（ステップＳＴ１１）。
なお、ループフィルタ部１１によるフィルタリング処理は、入力される局所復号画像信号の最大符号化ブロックあるいは個々の符号化ブロック単位で行ってもよいし、１画面分のマクロブロックに相当する局所復号画像信号が入力された後に１画面分まとめて行ってもよい。
When receiving the locally decoded image signal from the adder 9, the loop filter unit 11 compensates for the coding distortion included in the locally decoded image signal as in the first embodiment, and after the coding distortion compensation The local decoded image indicated by the local decoded image signal is stored in the motion compensated prediction frame memory 12 as a reference image (step ST11).
Note that the filtering process by the loop filter unit 11 may be performed in units of the maximum encoded block or individual encoded blocks of the input local decoded image signal, or a local decoded image signal corresponding to a macroblock for one screen. It may be performed for one screen after the input.
ステップＳＴ４〜ＳＴ１０の処理は、ブロック分割部２により分割された全ての符号化ブロックＢｎに属するパーティションＰｉ ｎに対する処理が完了するまで繰り返し実施される（ステップＳＴ１２）。
可変長符号化部１３は、上記実施の形態１と同様に、変換・量子化部７から出力された圧縮データと、符号化制御部１から出力された符号化モード及び変換ブロックサイズを示す変換ブロック分割フラグ含む予測差分符号化パラメータと、イントラ予測部４から出力されたイントラ予測パラメータ又は動き補償予測部５から出力されたインター予測パラメータとを可変長符号化して、その圧縮データ、符号化モード、予測差分符号化パラメータ、イントラ予測パラメータ／インター予測パラメータの符号化データが多重化されているビットストリームを生成する（ステップＳＴ１３）。
なお、色差信号については変換ブロックが１：２の縦長形状となるため、２次元変換係数を１次元系列にスキャンする場合に、係数を縦２個に対して横１個の割合で斜め方向のラスタスキャンあるいは斜め方向のジグザグスキャンし、得られた１次元系列をエントロピー符号化するよう構成する。
Processing in step ST4~ST10 is repeatedly performed until the processing for the partitions P i n that belong to all the coding blocks B n divided by the
As with the first embodiment, the variable
For the color difference signal, the transform block has a vertically long shape of 1: 2, so when scanning a two-dimensional transform coefficient into a one-dimensional series, the coefficient is diagonally at a ratio of one horizontal to two vertical. A raster scan or an oblique zigzag scan is performed, and the obtained one-dimensional sequence is entropy-encoded.
次に、図７のカラー動画像復号装置の処理内容を説明する。
可変長復号部４１は、図１のカラー動画像符号化装置により生成されたビットストリームを入力すると、上記実施の形態１と同様に、そのビットストリームに対する可変長復号処理を実施して（図８のステップＳＴ４１）、１フレーム以上のピクチャから構成されるシーケンス単位あるいはピクチャ単位にフレームサイズを復号する。
可変長復号部４１は、フレームサイズを復号すると、図１のカラー動画像符号化装置で決定された最大符号化ブロックサイズ（イントラ予測処理又は動き補償予測処理が実施される際の処理単位となる符号化ブロックの最大サイズ）と、分割階層数の上限（最大サイズの符号化ブロックから階層的に分割されている符号化ブロックの階層数）をカラー動画像符号化装置と同様の手順で決定する（ステップＳＴ４２）。
Next, processing contents of the color moving image decoding apparatus in FIG. 7 will be described.
When the variable
When the variable
例えば、符号化ブロックの最大サイズが、全てのピクチャに対して、入力カラー画像の解像度に応じたサイズに決定されている場合には、先に復号しているフレームサイズに基づいて、図１のカラー動画像符号化装置と同様の手順で、符号化ブロックの最大サイズを決定する。
カラー動画像符号化装置によって、符号化ブロックの最大サイズ及び符号化ブロックの階層数がビットストリームに多重化されている場合には、そのビットストリームから符号化ブロックの最大サイズ及び符号化ブロックの階層数を復号する。
For example, when the maximum size of the encoding block is determined to be the size corresponding to the resolution of the input color image for all the pictures, the maximum size of the encoding block is determined based on the previously decoded frame size in FIG. The maximum size of the encoded block is determined by the same procedure as that of the color moving image encoding apparatus.
When the maximum size of the encoded block and the number of layers of the encoded block are multiplexed in the bit stream by the color moving image encoding device, the maximum size of the encoded block and the layer of the encoded block are encoded from the bit stream. Decode the number.
可変長復号部４１は、符号化ブロックの最大サイズ及び符号化ブロックの階層数を決定すると、最大符号化ブロックを出発点にして、各符号化ブロックの階層的な分割状態を把握することで、ビットストリームに多重化されている符号化データの中で、各符号化ブロックに係る符号化データを特定し、その符号化データから各符号化ブロックに割り当てられている符号化モードを復号する。
そして、可変長復号部４１は、その符号化モードに含まれている符号化ブロックＢｎに属するパーティションＰｉ ｎの分割情報を参照して、ビットストリームに多重化されている符号化データの中で、各パーティションＰｉ ｎに係る符号化データを特定する（ステップＳＴ４３）。
可変長復号部４１は、各パーティションＰｉ ｎに係る符号化データから圧縮データ、変換ブロックサイズを示す変換ブロック分割フラグを含む予測差分符号化パラメータ、イントラ予測パラメータ／インター予測パラメータを可変長復号して、その圧縮データ及び予測差分符号化パラメータを逆量子化・逆変換部４５に出力するとともに、符号化モード及びイントラ予測パラメータ／インター予測パラメータを切替スイッチ４２に出力する（ステップＳＴ４４）。
なお、色差信号については変換ブロックが１：２の縦長形状となるため、１次元系列となっている復号された変換係数を２次元系列に逆スキャンする場合に、係数を縦２個に対して横１個の割合で斜め方向のラスタスキャンあるいは斜め方向のジグザグスキャンし、得られた２次元系列を変換ブロックの係数とするよう構成する。
The variable
Then, the variable
Variable-
For the color difference signal, since the transform block has a vertically long shape of 1: 2, when a decoded transform coefficient that is a one-dimensional series is reverse-scanned to a two-dimensional series, the coefficients are divided into two longitudinal parts. An oblique raster scan or an oblique zigzag scan is performed at a ratio of one horizontal, and the obtained two-dimensional sequence is used as a coefficient of a transform block.
例えば、予測方向代表インデックスと予測方向差分インデックスがビットストリームに多重化されている場合には、その予測方向代表インデックスと予測方向差分インデックスをそれぞれの確率モデルに応じた算術復号などによりエントロピー復号し、その予測方向代表インデックスと予測方向差分インデックスからイントラ予測パラメータを特定するようにする。
これにより、カラー動画像符号化装置側で、イントラ予測パラメータの符号量を削減している場合でも、イントラ予測パラメータを正しく復号することができる。
For example, when the prediction direction representative index and the prediction direction difference index are multiplexed in the bitstream, the prediction direction representative index and the prediction direction difference index are entropy decoded by arithmetic decoding or the like according to each probability model, An intra prediction parameter is specified from the prediction direction representative index and the prediction direction difference index.
Thereby, even when the code amount of the intra prediction parameter is reduced on the color moving image encoding device side, the intra prediction parameter can be correctly decoded.
切替スイッチ４２は、上記実施の形態１と同様に、可変長復号部４１から出力された符号化ブロックＢｎに属するパーティションＰｉ ｎの符号化モードがイントラ符号化モードである場合、可変長復号部４１から出力されたイントラ予測パラメータをイントラ予測部４３に出力し、その符号化モードがインター符号化モードである場合、可変長復号部４１から出力されたインター予測パラメータを動き補償部４４に出力する。
Similarly to the first embodiment, the
イントラ予測部４３は、可変長復号部４１からイントラ予測パラメータを受けると（ステップＳＴ４５）、図１のイントラ予測部４と同様に、そのイントラ予測パラメータに基づいて、各パーティションＰｉ ｎに対するイントラ予測処理を実施することにより、イントラ予測画像（Ｐｉ ｎ）を生成する（ステップＳＴ４６）。
即ち、イントラ予測部４３は、可変長復号部４１からイントラ予測パラメータを受けると、カラー動画像符号化装置の輝度信号イントラ予測部２１と同様に、例えば、パーティションＰｉ ｎに対するイントラ予測モードのインデックス値が２（平均値予測）である場合、上パーティションの隣接画素と左パーティションの隣接画素の平均値をパーティションＰｉ ｎ内の画素の予測値として予測画像を生成する。
あるいは、左に隣接する画素の平均値である左平均値予測値と、上に隣接する画素の平
均値である上平均値予測値を個別に算出し、左平均値予測値と上平均値予測値の平均値を平均値予測値としてもよい。
このようにすることで、演算回路において、割り算を用いずシフト演算で処理をすることができるため、回路規模を小さく抑えることができる。
また、左平均値予測値の３倍と上平均値予測値を加算して、２ビット右シフトするよう構成してもよい。
このようにすることで、予測ブロックの形状が縦長なので、より長い辺である左側の画素値により重みを加えた予測値とすることができ、かつ、シフト演算で実現が可能であるため、小さい回路規模で効率のよい予測を行うことができる。
イントラ予測モードのインデックス値が２（平均値予測）以外の場合には、インデックス値が示す予測方向ベクトルｖｐ＝（ｄｘ，ｄｙ）に基づいて、パーティションＰｉ ｎ内の画素の予測値を生成する。
イントラ予測部４３は、同様の手順で、パーティションＰｉ ｎ内の輝度信号のすべての画素に対する予測画素を生成し、その生成したイントラ予測画像（Ｐｉ ｎ）を出力する。
The
That is, the
Alternatively, the left average predicted value that is the average value of the pixels adjacent to the left and the upper average predicted value that is the average value of the pixels adjacent to the upper are calculated separately, and the left average predicted value and the upper average predicted The average value may be used as the average predicted value.
In this way, the arithmetic circuit can perform processing by shift operation without using division, so that the circuit scale can be reduced.
Further, it may be configured to add 3 times the left average value predicted value and the upper average value predicted value and shift right by 2 bits.
By doing so, since the shape of the prediction block is vertically long, it is possible to obtain a prediction value obtained by adding a weight to the pixel value on the left side, which is a longer side, and can be realized by a shift operation. Efficient prediction can be performed on a circuit scale.
If the index value of the intra prediction mode is other than 2 (average prediction), the prediction direction vector index value indicates v p = (dx, dy) on the basis of, generating a prediction value of the pixel in the partition P i n To do.
The
動き補償部４４は、切替スイッチ４２からインター予測パラメータを受けると、カラー動画像符号化装置の動き補償予測部５と同様に、そのインター予測パラメータに基づいて、各パーティションＰｉ ｎに対するインター予測処理を実施することにより、インター予測画像（Ｐｉ ｎ）を生成する（ステップＳＴ４７）。
即ち、動き補償部４４は、動き補償予測フレームメモリ４９により格納されている１フレーム以上の参照画像を用いて、そのインター予測パラメータに基づくパーティションＰｉ ｎに対する動き補償予測処理を実施することで、インター予測画像（Ｐｉ ｎ）を生成する。
That is,
逆量子化・逆変換部４５は、可変長復号部４１から変換ブロックサイズを示す変換ブロック分割フラグを含む予測差分符号化パラメータを受けると、その予測差分符号化パラメータに含まれている量子化パラメータを用いて、その変換ブロック分割フラグに従って決定される変換ブロックサイズ毎に可変長復号部４１から出力された符号化ブロックに係る圧縮データを逆量子化し、その予測差分符号化パラメータに含まれている変換ブロック分割フラグから特定される変換ブロックサイズ単位で、逆量子化後の圧縮データの逆変換処理（例えば、逆ＤＣＴ（逆離散コサイン変換）や逆ＤＳＴ（逆離散サイン変換）、逆ＫＬ変換等の逆変換処理）を実施することで、逆変換処理後の圧縮データを復号予測差分信号（圧縮前の差分画像を示す信号）として加算部４６に出力する（ステップＳＴ４８）。
When the inverse quantization /
加算部４６は、上記実施の形態１と同様に、逆量子化・逆変換部４５から出力された復号予測差分信号と、イントラ予測部４３又は動き補償部４４により生成された予測画像（Ｐｉ ｎ）を示す予測信号とを加算することで、復号パーティション画像ないしはその集まりとしての復号画像を示す復号画像信号を生成し、その復号画像信号をループフィルタ部４８に出力する（ステップＳＴ４９）。
また、イントラ予測用メモリ４７には、イントラ予測に用いるために、当該復号画像が格納される。
Similarly to the first embodiment, the
The
ループフィルタ部４８は、加算部４６から復号画像信号を受けると、上記実施の形態１と同様に、その復号画像信号に含まれている符号化歪みを補償し、符号化歪み補償後の復号画像信号が示す復号画像を参照画像として動き補償予測フレームメモリ４９に格納するとともに、その復号画像を再生画像として出力する（ステップＳＴ５０）。
なお、ループフィルタ部４８によるフィルタリング処理は、入力される復号画像信号の最大符号化ブロックあるいは個々の符号化ブロック単位で行ってもよいし、１画面分のマクロブロックに相当する復号画像信号が入力された後に１画面分まとめて行ってもよい。
ステップＳＴ４３〜ＳＴ４９の処理は、全ての符号化ブロックＢｎに属するパーティションＰｉ ｎに対する処理が完了するまで繰り返し実施される（ステップＳＴ５１）。
When receiving the decoded image signal from the adding
Note that the filtering processing by the
The processes in steps ST43 to ST49 are repeatedly performed until the processes for the partitions P i n belonging to all the coding blocks B n are completed (step ST51).
以上で明らかなように、この実施の形態２によれば、映像信号がＹＵＶ４：２：２フォーマットであっても、上記実施の形態１と同様に、カラー動画像符号化装置の色差信号における変換ブロックの分割形状が、符号化ブロック及び予測モードに応じて少ない階層数となる分割状態に一意に決定されるため、色差信号を効率よく圧縮することができる。
また、カラー動画像復号装置の色差信号における変換ブロックの分割形状が、符号化ブロック及び予測モードに応じて一意に決定されるので、カラー動画像符号化装置で生成されたビットストリームを好適に復号することができる。
As is apparent from the above, according to the second embodiment, even if the video signal is in the YUV 4: 2: 2 format, the conversion in the color difference signal of the color moving image coding apparatus is performed as in the first embodiment. Since the block division shape is uniquely determined as a division state having a small number of hierarchies according to the encoded block and the prediction mode, the color difference signal can be efficiently compressed.
Further, since the division shape of the transform block in the color difference signal of the color moving image decoding apparatus is uniquely determined according to the encoding block and the prediction mode, the bit stream generated by the color moving image encoding apparatus is preferably decoded. can do.
実施の形態３．
この実施の形態３では、カラー動画像符号化装置及びカラー動画像復号装置が、ＹＵＶ４：２：２信号に対して、色差信号の変換ブロックの分割を輝度信号の変換ブロックの分割形状と共通にすることを特徴としている。その他の構成・処理は、上記実施の形態２と同様である。
In the third embodiment, the color moving image coding device and the color moving image decoding device share the division of the color difference signal conversion block with the divided shape of the luminance signal conversion block for the YUV 4: 2: 2 signal. It is characterized by doing. Other configurations and processes are the same as those in the second embodiment.
ＹＵＶ４：２：２画像では、色差成分の画素数が縦方向については輝度成分と同じであるため、ＹＵＶ４：２：０信号の色差成分と比べて高周波成分の比率が高いという特性がある。従って、ＹＵＶ４：２：２画像に対しては、変換ブロックの分割形状を輝度成分と色差成分で共通化しても符号化効率が低下しない場合がある。
そこで、この実施の形態３では、ＹＵＶ４：２：２画像における色差成分の変換ブロックの分割形状を輝度成分と共通化するために、輝度成分のブロックに対して、横方向のみ半分のサイズにした変換ブロックを適用する。
In the YUV 4: 2: 2 image, the number of pixels of the color difference component is the same as that of the luminance component in the vertical direction, and thus there is a characteristic that the ratio of the high frequency component is higher than the color difference component of the YUV 4: 2: 0 signal. Therefore, for a YUV 4: 2: 2 image, encoding efficiency may not decrease even if the divided shape of the transform block is shared by the luminance component and the color difference component.
Therefore, in the third embodiment, in order to share the divided shape of the color difference component conversion block in the YUV 4: 2: 2 image with the luminance component, the size of the luminance component block is made half the size only in the horizontal direction. Apply transform block.
即ち、例えば、輝度成分の変換ブロックサイズが縦３２×横３２画素の場合には、色差成分の変換ブロックサイズを縦３２×横１６画素、輝度成分の変換ブロックサイズが縦１６×横１６画素の場合には、色差成分の変換ブロックサイズを縦１６×横８画素、輝度成分の変換ブロックサイズが縦８×横８画素の場合には、色差成分の変換ブロックサイズを縦８×横４画素とする。
例えば、輝度成分の変換ブロックサイズの最小値を４画素としている場合には、輝度成分の変換ブロックサイズが縦４×横４画素であれば、それらを４つまとめた縦８画素×横８画素の領域に対応する色差成分に対して、変換ブロックサイズを縦８×横４画素としたものを適用する。
このように構成すれば、ＹＵＶ４：２：２画像に対して、色差成分のブロック分割形状の情報を符号化しなくても、効率よく符号化することができる。
That is, for example, when the luminance component conversion block size is 32 × 32 pixels, the chrominance component conversion block size is 32 × 16 pixels and the luminance component conversion block size is 16 × 16 pixels. In this case, when the color difference component conversion block size is 16 × 8 horizontal pixels and the luminance component conversion block size is 8 × 8 horizontal pixels, the color difference component conversion block size is 8 × 4 horizontal pixels. To do.
For example, when the minimum value of the conversion block size of the luminance component is 4 pixels, if the conversion block size of the luminance component is 4 × 4 pixels horizontally, 4 pixels are combined and 8 pixels × 8 pixels horizontally A conversion block size of 8 × 4 pixels is applied to the color difference component corresponding to the region.
With this configuration, it is possible to efficiently encode the YUV 4: 2: 2 image without encoding the information on the block division shape of the color difference component.
実施の形態４．
上記実施の形態１では、予測差分信号ｅｉ ｎの色差信号に対する変換・量子化処理を実施する際、符号化ブロックをさらに階層的に分割し、分割後の符号化ブロックである変換ブロックに対して変換・量子化処理を実施するようにしている。
色差信号は輝度信号と比べて高周波成分が少ないため、輝度信号と比べて相対的に大きい変換ブロックを適用することにより、変換ブロック毎のオーバヘッドが少なくなり、符号化性能が向上する。
Embodiment 4 FIG.
In
Since the color difference signal has fewer high-frequency components than the luminance signal, applying a relatively large transform block compared to the luminance signal reduces the overhead for each transform block and improves the encoding performance.
ただし、画像によって残差信号の波形特性が異なるため、必ずしも色差信号の変換ブロックの階層分割の階層数が少ない方がよいとは限らない。従って、画像に応じて色差信号の変換ブロックの階層分割の階層数を切り替えることにより、より符号化効率を向上させることができる場合がある。
そこで、この実施の形態４では、入力画像に応じて、輝度信号に係る最大のブロック分割階層数である輝度最大変換ブロック分割階層数を設定して、輝度信号のブロックを最大で輝度最大変換ブロック分割階層数まで階層的に分割し、色差信号のブロックを固定の階層数まで分割する形態と、色差信号についても、入力画像に応じて、色差信号に係る最大のブロック分割階層数である色差最大変換ブロック分割階層数を設定し、色差信号のブロックを最大で色差最大変換ブロック分割階層数まで階層的に分割してから、分割後のブロック単位で色差信号の圧縮処理を実施する形態について説明する。
However, since the waveform characteristics of the residual signal differ depending on the image, it is not always desirable that the number of hierarchical divisions of the color difference signal conversion block is small. Therefore, there are cases where the coding efficiency can be further improved by switching the number of layers of the color-division signal conversion block according to the image.
Therefore, in the fourth embodiment, the maximum luminance conversion block division hierarchy number which is the maximum number of block division hierarchies related to the luminance signal is set according to the input image, and the luminance signal block is the maximum luminance conversion block at maximum. Dividing up to the number of division layers and dividing the blocks of the color difference signals to a fixed number of layers, and the color difference signals also for the color difference signal, the maximum number of block division layers related to the color difference signals, depending on the input image An embodiment will be described in which the number of conversion block division layers is set, the color difference signal block is hierarchically divided up to the maximum number of color difference conversion block division layers, and then the color difference signal compression processing is performed in units of divided blocks. .
最初に、入力画像に応じて、輝度信号に係る最大のブロック分割階層数である輝度最大変換ブロック分割階層数を設定して、輝度信号のブロックを最大で輝度最大変換ブロック分割階層数まで階層的に分割し、色差信号のブロックを固定の階層数まで分割する形態について説明する。 First, in accordance with the input image, a maximum luminance conversion block division hierarchy number, which is the maximum number of block division hierarchies related to the luminance signal, is set, and the luminance signal block is hierarchical up to the maximum luminance conversion block division hierarchy number. A mode in which the color difference signal block is divided into a fixed number of layers will be described.
カラー動画像符号化装置の符号化制御部１は、例えば、入力画像に対するＦＦＴ（Ｆａｓｔ Ｆｏｕｒｉｅｒ Ｔｒａｎｓｆｏｒｍ）を行うことで、その入力画像を周波数領域の画像に変換し、輝度信号に含まれている高周波数成分の比率を算出する。
そして、符号化制御部１は、輝度信号に含まれている高周波数成分の比率が高いほど、輝度最大変換ブロック分割階層数（MaxTUdepthY）として大きな値を設定する。
また、色差信号の変換ブロックの階層分割の階層数である色差変換ブロック分割階層数（FixTUdepthUV）を設定する。
The
Then, the
Also, the color difference conversion block division layer number (FixTUdepthUV), which is the number of layer divisions of the color difference signal conversion block, is set.
ここでは、符号化制御部１が、高周波数成分の含有率に応じて、輝度最大変換ブロック分割階層数（MaxTUdepthY）を設定するものを示したが、これは一例に過ぎず、他の方法で輝度最大変換ブロック分割階層数（MaxTUdepthY）を設定するようにしてもよい。
例えば、ユーザが入力画像を確認して、手動で輝度最大変換ブロック分割階層数（MaxTUdepthY）を設定するようにしてもよい。
なお、色差変換ブロック分割階層数（FixTUdepthUV）は固定の階層数であるため、予め設定されている値であってもよいが、ユーザが入力画像を確認して、手動で色差変換ブロック分割階層数（FixTUdepthUV）を設定するようにしてもよい。
Here, although the
For example, the user may check the input image and manually set the maximum luminance conversion block division hierarchy number (MaxTUdepthY).
Note that the color difference conversion block division hierarchy number (FixTUdepthUV) is a fixed hierarchy number, and may be a preset value. However, the user confirms the input image and manually checks the color difference conversion block division hierarchy number. (FixTUdepthUV) may be set.
符号化制御部１は、輝度最大変換ブロック分割階層数（MaxTUdepthY）を設定すると、その輝度最大変換ブロック分割階層数（MaxTUdepthY）及び色差変換ブロック分割階層数（FixTUdepthUV）を変換・量子化部７及び可変長符号化部１３に出力する。
なお、符号化制御部１は、輝度信号の各符号化ブロックに対して、符号量と符号化誤差のバランスが最適になるように、輝度信号の変換ブロックが輝度最大変換ブロック分割階層数（MaxTUdepthY）を超えない階層数まで四分木状に階層的に分割する指示と、その変換ブロック分割の形状とを示す変換ブロック分割フラグ（ブロックの分割情報）を変換・量子化部７及び可変長符号化部１３に出力する。
When the maximum luminance conversion block division layer number (MaxTUdepthY) is set, the
Note that the
変換・量子化部７は、符号化制御部１から輝度最大変換ブロック分割階層数（MaxTUdepthY）及び色差変換ブロック分割階層数（FixTUdepthUV）と、変換ブロック分割フラグを受けると、その輝度最大変換ブロック分割階層数（MaxTUdepthY）と変換ブロック分割フラグに基づいて、輝度信号の変換ブロックの階層数が輝度最大変換ブロック分割階層数（MaxTUdepthY）を超えない階層数の範囲で、輝度信号の変換ブロックを四分木状に分割し、それぞれの変換ブロックに対して変換・量子化処理を実施して、その処理結果である圧縮データを逆量子化・逆変換部８及び可変長符号化部１３に出力する。
また、変換・量子化部７は、色差信号の変換ブロックの階層数が色差変換ブロック分割階層数（FixTUdepthUV）と一致するまで、色差信号の変換ブロックを四分木状に分割し、それぞれの変換ブロックに対して変換・量子化処理を実施して、その処理結果である圧縮データを逆量子化・逆変換部８及び可変長符号化部１３に出力する。
When the transform /
Further, the transform /
可変長符号化部１３は、上記実施の形態１で可変長符号化している情報に加えて、符号化制御部１から出力された輝度最大変換ブロック分割階層数（MaxTUdepthY）及び色差変換ブロック分割階層数（FixTUdepthUV）と変換ブロック分割フラグを例えばゴロム符号などによって可変長符号化し、その変換ブロック分割フラグ、輝度最大変換ブロック分割階層数（MaxTUdepthY）及び色差変換ブロック分割階層数（FixTUdepthUV）の符号化データをビットストリームのヘッダ部に多重化して出力する。
The variable
ここでは、符号化モードがイントラ符号化モード（フレーム内予測の符号化モード）であっても、インター符号化モード（フレーム間予測の符号化モード）であっても、輝度最大変換ブロック分割階層数（MaxTUdepthY）の値が同じであるものを示したが、符号化モードがイントラ符号化モードである場合の輝度最大変換ブロック分割階層数（MaxTUdepthY）の値と、符号化モードがインター符号化モードである場合の輝度最大変換ブロック分割階層数（MaxTUdepthY）の値が異なっていてもよい。
図２０は符号化モードがイントラ符号化モードである場合の輝度最大変換ブロック分割階層数（MaxTUdepthYIpic）と、符号化モードがインター符号化モードである場合の輝度最大変換ブロック分割階層数（MaxTUdepthYPpic）と、色差変換ブロック分割階層数（FixTUdepthUV）とをシーケンスパラメータセットとして、ビットストリームのヘッダ部に多重化する例を示す説明図である。
この場合、ピクチャタイプまたはスライスタイプが、イントラタイプの場合、輝度最大変換ブロック分割階層数がMaxTUdepthYIpicとなり、インタータイプの場合、輝度最大変換ブロック分割階層数がMaxTUdepthYPpicとなる。
Here, even if the coding mode is an intra coding mode (coding mode for intra-frame prediction) or an inter coding mode (coding mode for inter-frame prediction), the number of luminance maximum transform block division layers (MaxTUdepthY) shows the same value, but when the coding mode is the intra coding mode, the value of the maximum luminance transform block division layer number (MaxTUdepthY) and the coding mode is the inter coding mode. In some cases, the value of the maximum luminance conversion block division hierarchy number (MaxTUdepthY) may be different.
FIG. 20 shows the maximum luminance transform block division hierarchy number (MaxTUdepthYIpic) when the encoding mode is the intra encoding mode, and the maximum luminance transform block division hierarchy number (MaxTUdepthYPpic) when the encoding mode is the inter encoding mode. FIG. 10 is an explanatory diagram illustrating an example of multiplexing the color difference conversion block division layer number (FixTUdepthUV) as a sequence parameter set in a header portion of a bitstream.
In this case, when the picture type or slice type is an intra type, the maximum luminance conversion block division hierarchy number is MaxTUdepthYIpic, and when the picture type or slice type is an inter type, the maximum luminance conversion block division hierarchy number is MaxTUdepthYPpic.
カラー動画像復号装置の可変長復号部４１は、上記実施の形態１で可変長復号している情報に加えて、ビットストリームから輝度最大変換ブロック分割階層数（MaxTUdepthY）及び色差変換ブロック分割階層数（FixTUdepthUV）と変換ブロック分割フラグを可変長復号する。
逆量子化・逆変換部４５は、可変長復号部４１により可変長復号された輝度最大変換ブロック分割階層数（MaxTUdepthY）と変換ブロック分割フラグに基づいて、輝度信号の変換ブロックの階層数が輝度最大変換ブロック分割階層数（MaxTUdepthY）を超えない階層数の範囲で、輝度信号の変換ブロックを四分木状に分割し、それぞれの分割ブロック毎に逆量子化・逆変換処理を実施して圧縮を解除する。
また、色差信号の変換ブロックの階層数が色差変換ブロック分割階層数（FixTUdepthUV）と一致するまで、色差信号の変換ブロックを四分木状に分割し、それぞれの分割ブロック毎に逆量子化・逆変換処理を実施して圧縮を解除する。
The variable
The inverse quantization /
Also, the chrominance signal conversion block is divided into quadtrees until the number of chrominance signal conversion block layers matches the chrominance conversion block division layer number (FixTUdepthUV). Perform the conversion process to release the compression.
これにより、画像の特性に応じて適切に色差成分の変換ブロック分割階層数を決定することができ、符号化効率を向上させることができる。また、このようにして得られるビットストリームを好適に復号することができる。 As a result, the number of transform block division hierarchies of the color difference component can be appropriately determined according to the characteristics of the image, and the coding efficiency can be improved. Moreover, the bit stream obtained in this way can be suitably decoded.
なお、色差成分の残差信号の特性は、イントラ予測ブロックと動き補償予測ブロック（インター予測ブロック）で異なるため、色差成分の変換ブロックサイズについても、イントラ予測ブロックと動き補償予測ブロックで、それぞれ最適なサイズとすることにより、より符号化効率の高い圧縮を行うことができる。
よって、色差成分の変換ブロック階層数をイントラ予測ブロックと動き補償予測ブロックでそれぞれ異なる値に設定するようにしてもよい。
具体的には、符号化モードがイントラ符号化モードである場合、色差変換ブロック分割階層数（FixTUdepthUV）をフレーム内予測用の色差変換ブロック分割階層数として、色差成分イントラ変換ブロック階層数（FixTUdepthUVintra）を設定し、符号化モードがインター符号化モードである場合、色差変換ブロック分割階層数（FixTUdepthUV）をフレーム間予測用の色差変換ブロック分割階層数として、色差成分インター変換ブロック階層数（FixTUdepthUVinter）を設定する。
Since the characteristics of the residual signal of the chrominance component differ between the intra prediction block and the motion compensated prediction block (inter prediction block), the conversion block size of the chrominance component is also optimal for the intra prediction block and the motion compensated prediction block. By using a small size, compression with higher encoding efficiency can be performed.
Therefore, the number of transform block hierarchies of the color difference component may be set to a different value for each of the intra prediction block and the motion compensation prediction block.
Specifically, when the coding mode is the intra coding mode, the chrominance conversion block division hierarchy number (FixTUdepthUV) is set as the chrominance conversion block division hierarchy number for intra prediction (FixTUdepthUVintra). When the coding mode is the inter coding mode, the color difference conversion block division layer number (FixTUdepthUV) is set as the color difference conversion block division layer number for inter-frame prediction, and the color difference component inter conversion block layer number (FixTUdepthUVinter) is set. Set.
この場合、可変長符号化部１３は、上記実施の形態１で可変長符号化している情報に加えて、符号化制御部１から出力された輝度最大変換ブロック分割階層数（MaxTUdepthY）と、色差成分イントラ変換ブロック階層数（FixTUdepthUVintra）と、色差成分インター変換ブロック階層数（FixTUdepthUVinter）と、変換ブロック分割フラグとを例えばゴロム符号などによって可変長符号化し、その輝度最大変換ブロック分割階層数（MaxTUdepthY）、色差成分イントラ変換ブロック階層数（FixTUdepthUVintra）、色差成分インター変換ブロック階層数（FixTUdepthUVinter）及び変換ブロック分割フラグの符号化データをビットストリームのヘッダ部に多重化して出力する。
In this case, the variable-
カラー動画像復号装置の可変長復号部４１は、上記実施の形態１で可変長復号している情報に加えて、ビットストリームから輝度最大変換ブロック分割階層数（MaxTUdepthY）、色差成分イントラ変換ブロック階層数（FixTUdepthUVintra）、色差成分インター変換ブロック階層数（FixTUdepthUVinter）及び変換ブロック分割フラグを可変長復号する。
逆量子化・逆変換部４５は、可変長復号部４１により可変長復号された符号化モードがイントラ符号化モードであれば、色差信号の変換ブロックの階層数が色差成分イントラ変換ブロック階層数（FixTUdepthUVintra）と一致するまで、色差信号の変換ブロックを四分木状に分割し、それぞれの分割ブロック毎に逆量子化・逆変換処理を実施して圧縮を解除する。
一方、可変長復号部４１により可変長復号された符号化モードがインター符号化モードであれば、色差信号の変換ブロックの階層数が色差成分インター変換ブロック階層数（FixTUdepthUVinter）と一致するまで、色差信号の変換ブロックを四分木状に分割し、それぞれの分割ブロック毎に逆量子化・逆変換処理を実施して圧縮を解除する。
The variable
The inverse quantization /
On the other hand, if the encoding mode variable-length decoded by the variable-
これにより、色差成分の変換ブロックの階層数をイントラ予測ブロックと動き補償予測ブロックでそれぞれ最適な値に設定することができ、より高い圧縮性能を実現することができる。また、このようにして生成されたビットストリームを好適に復号することができる。 As a result, the number of layers of the color difference component conversion block can be set to an optimum value for each of the intra prediction block and the motion compensation prediction block, and higher compression performance can be realized. In addition, the bitstream generated in this way can be suitably decoded.
次に、色差信号についても、入力画像に応じて、色差信号に係る最大のブロック分割階層数である色差最大変換ブロック分割階層数を設定し、色差信号のブロックを最大で色差最大変換ブロック分割階層数まで階層的に分割してから、分割後のブロック単位で色差信号の圧縮処理を実施する形態について説明する。
符号化制御部１は、輝度最大変換ブロック分割階層数（MaxTUdepthY）を設定する際、色差成分に含まれている高周波数成分の比率が低いほど、色差最大変換ブロック分割階層数（MaxTUdepthUV）を小さな値に設定するようにする。
色差最大変換ブロック分割階層数（MaxTUdepthUV）を小さな値に設定すると、輝度成分よりも相対的に大きい変換ブロックで符号化処理することになるので、より高い圧縮性能を実現することができる。
Next, for the chrominance signal, the maximum chrominance conversion block division layer number, which is the maximum number of block division tiers related to the chrominance signal, is set according to the input image, and the maximum chrominance signal conversion block division layer is set for the chrominance signal block. A description will be given of an embodiment in which color difference signal compression processing is performed in units of blocks after division after being divided hierarchically into numbers.
When the
When the maximum color difference transform block division layer number (MaxTUdepthUV) is set to a small value, encoding processing is performed with a transform block that is relatively larger than the luminance component, so that higher compression performance can be realized.
変換・量子化部７は、符号化制御部１から輝度最大変換ブロック分割階層数（MaxTUdepthY）及び色差最大変換ブロック分割階層数（MaxTUdepthUV）と、変換ブロック分割フラグを受けると、その輝度最大変換ブロック分割階層数（MaxTUdepthY）と変換ブロック分割フラグに基づいて、輝度信号の変換ブロックの階層数が輝度最大変換ブロック分割階層数（MaxTUdepthY）を超えない階層数の範囲で輝度信号の変換ブロックを四分木状に分割し、それぞれの変換ブロックに対して変換・量子化処理を実施して、その処理結果である圧縮データを逆量子化・逆変換部８及び可変長符号化部１３に出力する。
また、変換・量子化部７は、その色差最大変換ブロック分割階層数（MaxTUdepthUV）と変換ブロック分割フラグに基づいて、色差信号の変換ブロックの階層数が色差最大変換ブロック分割階層数（MaxTUdepthUV）を超えない階層数の範囲で、色差信号の変換ブロックを四分木状に分割し、それぞれの変換ブロックに対して変換・量子化処理を実施して、その処理結果である圧縮データを逆量子化・逆変換部８及び可変長符号化部１３に出力する。
When the transform /
Further, the transform /
可変長符号化部１３は、上記実施の形態１で可変長符号化している情報に加えて、符号化制御部１から出力された輝度最大変換ブロック分割階層数（MaxTUdepthY）及び色差最大変換ブロック分割階層数（MaxTUdepthUV）と変換ブロック分割フラグを例えばゴロム符号などによって可変長符号化し、その変換ブロック分割フラグ、輝度最大変換ブロック分割階層数（MaxTUdepthY）及び色差最大変換ブロック分割階層数（MaxTUdepthUV）の符号化データをビットストリームのヘッダ部に多重化して出力する。
The variable
カラー動画像復号装置の可変長復号部４１は、上記実施の形態１で可変長復号している情報に加えて、ビットストリームから輝度最大変換ブロック分割階層数（MaxTUdepthY）及び色差最大変換ブロック分割階層数（MaxTUdepthUV）と変換ブロック分割フラグを可変長復号する。
逆量子化・逆変換部４５は、可変長復号部４１により可変長復号された輝度最大変換ブロック分割階層数（MaxTUdepthY）と変換ブロック分割フラグに基づいて、輝度信号の変換ブロックの階層数が輝度最大変換ブロック分割階層数（MaxTUdepthY）を超えない階層数の範囲で、輝度信号の変換ブロックを四分木状に分割し、それぞれの分割ブロック毎に逆量子化・逆変換処理を実施して圧縮を解除する。
また、色差信号の変換ブロックの階層数が色差最大変換ブロック分割階層数（MaxTUdepthUV）を超えない階層数の範囲で、色差信号の変換ブロックを四分木状に分割し、それぞれの分割ブロック毎に逆量子化・逆変換処理を実施して圧縮を解除する。
The variable
The inverse quantization /
Also, the chrominance signal conversion block is divided into quadrants within the range of the number of chrominance signal conversion block layers that does not exceed the maximum chrominance conversion block division layer number (MaxTUdepthUV). Perform inverse quantization / inverse transform processing to release compression.
ここでは、符号化ブロックの符号化モードがイントラ符号化モードであっても、インター符号化モードであっても、色差最大変換ブロック分割階層数（MaxTUdepthUV）の値が同じであるものを示したが、色差信号はイントラ予測モードが限られており、イントラ符号化モードの場合には残差成分のエネルギーが大きくなりやすいため、符号化ブロックの符号化モードがイントラ符号化モードである場合の色差最大変換ブロック分割階層数（MaxTUdepthUV）の値と、符号化ブロックの符号化モードがインター符号化モードである場合の色差最大変換ブロック分割階層数（MaxTUdepthUV）の値を異なるように構成すれば、さらに圧縮効率を向上させることができる。
図２１はピクチャタイプまたはスライスタイプがイントラ符号化ピクチャである場合の輝度最大変換ブロック分割階層数（MaxTUdepthYIpic）と、ピクチャタイプまたはスライスタイプがインター符号化モードである場合の輝度最大変換ブロック分割階層数（MaxTUdepthYPpic）と、符号化ブロックの符号化モードがイントラ符号化モードである場合の色差最大変換ブロック分割階層数（MaxTUdepthUVintra）と、符号化ブロックの符号化モードがインター符号化モードである場合の色差最大変換ブロック分割階層数（MaxTUdepthUVinter）とをシーケンスパラメータセットとして、ビットストリームのヘッダ部に多重化する例を示す説明図である。
この場合、ピクチャタイプまたはスライスタイプが、イントラタイプの場合、輝度最大変換ブロック分割階層数がMaxTUdepthYIpicとなり、インタータイプの場合、輝度最大変換ブロック分割階層数がMaxTUdepthYPpicとなる。また、ピクチャまたはスライス内の符号化ブロックがイントラ符号化モードである場合の色差最大変換ブロック分割階層数がMaxTUdepthUVintraとなり、ピクチャまたはスライス内の符号化ブロックがインター符号化モードである場合の色差最大変換ブロック分割階層数がMaxTUdepthUVinterとなる。
Here, although the coding mode of the coding block is the intra coding mode or the inter coding mode, the value of the maximum color difference transform block division layer number (MaxTUdepthUV) is shown. The color difference signal has a limited intra prediction mode, and in the case of the intra coding mode, the residual component energy tends to be large, so the maximum color difference when the coding mode of the coding block is the intra coding mode. If the value of the transform block division layer number (MaxTUdepthUV) and the value of the color difference maximum transform block division layer number (MaxTUdepthUV) when the coding mode of the coding block is the inter coding mode are configured to be different, further compression is performed. Efficiency can be improved.
FIG. 21 shows the maximum luminance transform block division hierarchy number (MaxTUdepthYIpic) when the picture type or slice type is an intra-coded picture, and the maximum luminance conversion block division hierarchy number when the picture type or slice type is an inter coding mode. (MaxTUdepthYPpic), color difference maximum transform block division layer number (MaxTUdepthUVintra) when the coding mode of the coding block is the intra coding mode, and color difference when the coding mode of the coding block is the inter coding mode It is explanatory drawing which shows the example multiplexed with the maximum conversion block division | segmentation hierarchy number (MaxTUdepthUVinter) as a sequence parameter set in the header part of a bit stream.
In this case, when the picture type or slice type is an intra type, the maximum luminance conversion block division hierarchy number is MaxTUdepthYIpic, and when the picture type or slice type is an inter type, the maximum luminance conversion block division hierarchy number is MaxTUdepthYPpic. In addition, when the coding block in the picture or slice is in the intra coding mode, the maximum color difference conversion block division layer number is MaxTUdepthUVintra, and the maximum color difference conversion is performed when the coding block in the picture or slice is in the inter coding mode. The number of block division layers is MaxTUdepthUVinter.
なお、符号化モードがイントラ符号化モードである場合の色差最大変換ブロック分割階層数（MaxTUdepthUVintra）や、符号化モードがインター符号化モードである場合の色差最大変換ブロック分割階層数（MaxTUdepthUVinter）が、輝度最大変換ブロック分割階層数（MaxTUdepthY）との差分値より得られるTintra及びTinterとして、可変長符号化するように構成してもよい。
Tintra = MaxTUdepthY - MaxTUdepthUVintra
Tinter = MaxTUdepthY - MaxTUdepthUVinter
Note that the maximum color difference transform block division layer number (MaxTUdepthUVintra) when the coding mode is the intra coding mode, and the maximum color difference transform block division layer number (MaxTUdepthUVinter) when the coding mode is the inter coding mode, Variable length coding may be used as the Tintra and Tinter obtained from the difference value from the maximum luminance conversion block division hierarchy number (MaxTUdepthY).
Tintra = MaxTUdepthY-MaxTUdepthUVintra
Tinter = MaxTUdepthY-MaxTUdepthUVinter
復号側では、符号化ブロックの符号化モードがイントラ符号化モードである場合の色差最大変換ブロック分割階層数（MaxTUdepthUVintra）や、符号化ブロックの符号化モードがインター符号化モードである場合の色差最大変換ブロック分割階層数（MaxTUdepthUVinter）は、次式によって得られる。
MaxTUdepthUVintra = max(0, MaxTUdepthY - Tintra)
MaxTUdepthUVinter = max(0, MaxTUdepthY - Tinter)
On the decoding side, the maximum color difference when the coding mode of the coding block is the intra coding mode, the maximum number of color difference transform block division layers (MaxTUdepthUVintra), and the coding mode of the coding block is the inter coding mode. The number of transform block division layers (MaxTUdepthUVinter) is obtained by the following equation.
MaxTUdepthUVintra = max (0, MaxTUdepthY-Tintra)
MaxTUdepthUVinter = max (0, MaxTUdepthY-Tinter)
また、例えば、図２２に示すように、色差最大変換ブロック分割階層数を、輝度最大変換ブロック分割階層数をイントラ符号化ピクチャとインター符号化ピクチャとで異なる値として、符号化モードがイントラ符号化モードである場合の色差最大変換ブロック分割階層数（MaxTUdepthUVIpic）と、符号化モードがインター符号化モードである場合の色差最大変換ブロック分割階層数（MaxTUdepthUVPpic）をヘッダに多重化するように構成してもよい。
この場合、ピクチャタイプまたはスライスタイプがイントラタイプの場合、色差最大変換ブロック分割階層数がMaxTUdepthUVIpicとなり、インタータイプの場合、色差最大変換ブロック分割階層数がMaxTUdepthUVPpicとなる。
Also, for example, as shown in FIG. 22, the coding mode is set to intra coding by setting the maximum number of color difference transform block division layers and the maximum luminance conversion block division layer number to different values for an intra-coded picture and an inter-coded picture. The chrominance maximum transform block division layer number (MaxTUdepthUVIpic) in the mode and the chrominance maximum conversion block division layer number (MaxTUdepthUVPpic) when the encoding mode is the inter coding mode are multiplexed in the header. Also good.
In this case, when the picture type or slice type is an intra type, the maximum color difference conversion block division hierarchy number is MaxTUdepthUVIpic, and when the picture type or slice type is an inter type, the maximum color difference conversion block division hierarchy number is MaxTUdepthUVPpic.
なお、本願発明はその発明の範囲内において、各実施の形態の自由な組み合わせ、あるいは各実施の形態の任意の構成要素の変形、もしくは各実施の形態において任意の構成要素の省略が可能である。 In the present invention, within the scope of the invention, any combination of the embodiments, or any modification of any component in each embodiment, or omission of any component in each embodiment is possible. .
１ 符号化制御部（符号化制御手段）、２ ブロック分割部（ブロック分割手段）、３ 切替スイッチ（予測画像生成手段）、４ イントラ予測部（予測画像生成手段）、５ 動き補償予測部（予測画像生成手段）、６ 減算部（差分画像生成手段）、７ 変換・量子化部（画像圧縮手段）、８ 逆量子化・逆変換部、９ 加算部、１０ イントラ予測用メモリ、１１ ループフィルタ部、１２ 動き補償予測フレームメモリ、１３ 可変長符号化部（可変長符号化手段）、２１ 輝度信号イントラ予測部、２２ 切替スイッチ、２３ 色差信号方向性イントラ予測部、２４ 輝度相関利用色差信号予測部、３１ 平滑化輝度参照画素縮小部、３２ 相関算出部、３３ 色差予測画像生成部、４１ 可変長復号部（可変長復号手段）、４２ 切替スイッチ（予測画像生成手段）、４３ イントラ予測部（予測画像生成手段）、４４ 動き補償部（予測画像生成手段）、４５ 逆量子化・逆変換部（差分画像生成手段）、４６ 加算部（復号画像生成手段）、４７ イントラ予測用メモリ、４８ ループフィルタ部、４９ 動き補償予測フレームメモリ。 DESCRIPTION OF SYMBOLS 1 Coding control part (coding control means), 2 block division part (block division means), 3 changeover switch (prediction image generation means), 4 intra prediction part (prediction image generation means), 5 motion compensation prediction part (prediction) Image generation means), 6 subtraction section (difference image generation means), 7 transform / quantization section (image compression means), 8 inverse quantization / inverse transform section, 9 addition section, 10 intra prediction memory, 11 loop filter section , 12 motion compensation prediction frame memory, 13 variable length coding unit (variable length coding means), 21 luminance signal intra prediction unit, 22 changeover switch, 23 color difference signal directional intra prediction unit, 24 luminance correlation use color difference signal prediction unit 31 smoothing luminance reference pixel reduction unit, 32 correlation calculation unit, 33 color difference prediction image generation unit, 41 variable length decoding unit (variable length decoding means), 42 changeover switch ( Measurement image generation means), 43 Intra prediction section (prediction image generation means), 44 Motion compensation section (prediction image generation means), 45 Inverse quantization / inverse transform section (difference image generation means), 46 Addition section (decoded image generation) Means), 47 intra prediction memory, 48 loop filter section, 49 motion compensated prediction frame memory.
Claims (6)
上記画像圧縮手段は、予め、輝度信号に係る最大のブロック分割階層数である輝度最大変換ブロック分割階層数と、色差信号に係る最大のブロック分割階層数である色差最大変換ブロック分割階層数とが設定されており、上記差分画像生成手段により生成された差分画像を圧縮する際、上記差分画像における輝度信号のブロックを最大で上記輝度最大変換ブロック分割階層数まで階層的に分割してから、分割後のブロック単位で輝度信号の圧縮処理を実施し、上記差分画像における色差信号のブロックを最大で上記色差最大変換ブロック分割階層数まで階層的に分割してから、分割後のブロック単位で色差信号の圧縮処理を実施し、
上記可変長符号化手段は、上記画像圧縮手段によるブロックの分割情報、上記輝度最大変換ブロック分割階層数及び上記色差最大変換ブロック分割階層数を可変長符号化して、上記分割情報、上記輝度最大変換ブロック分割階層数及び上記色差最大変換ブロック分割階層数の符号化データを上記ビットストリームに多重化する
ことを特徴とするカラー動画像符号化装置。 Corresponding to a block dividing unit that divides an input color image into maximum coding blocks of a predetermined size and hierarchically divides the maximum coding block into coding blocks, and a coding block divided by the block dividing unit. A prediction image corresponding to the encoding mode selected by the encoding control unit is applied to the encoding control unit that selects the encoding mode, and the encoding block divided by the block dividing unit. Prediction image generation means for generating the difference image generation means for generating a difference image between the encoded block divided by the block division means and the prediction image generated by the prediction image generation means, and the difference image generation means An image compression unit that compresses the difference image generated by the output and outputs compressed data of the difference image; and Variable length code for variable length coding the output compressed data and the coding mode selected by the coding control means to generate a bit stream in which the compressed data and the coded data of the coding mode are multiplexed Comprising
The image compression means includes a luminance maximum conversion block division hierarchy number that is the maximum number of block division layers related to the luminance signal and a color difference maximum conversion block division hierarchy number that is the maximum block division hierarchy number related to the color difference signal. When the difference image generated by the difference image generation means is set and compressed, the luminance signal block in the difference image is divided hierarchically up to the maximum luminance conversion block division hierarchy number, and then divided. The luminance signal compression process is performed in units of subsequent blocks, and the color difference signal block in the difference image is hierarchically divided up to the maximum number of color difference conversion block division layers, and then the color difference signal in units of the divided blocks The compression process of
The variable length coding means performs variable length coding on the block division information by the image compression means, the maximum luminance conversion block division hierarchy number and the maximum color difference conversion block division hierarchy number, and the division information and the maximum luminance conversion. A color moving image encoding apparatus, wherein encoded data of the number of block division layers and the maximum number of color difference conversion block division layers is multiplexed into the bit stream.
上記可変長符号化手段は、上記画像圧縮手段によるブロックの分割情報、上記輝度最大変換ブロック分割階層数、上記フレーム内予測処理用の色差最大変換ブロック分割階層数及び上記フレーム間予測処理用の色差最大変換ブロック分割階層数を可変長符号化して、上記分割情報、上記輝度最大変換ブロック分割階層数、上記フレーム内予測処理用の色差最大変換ブロック分割階層数及び上記フレーム間予測処理用の色差最大変換ブロック分割階層数の符号化データを上記ビットストリームに多重化する
ことを特徴とする請求項１記載のカラー動画像符号化装置。 When the color difference maximum conversion block division hierarchy number for the intra-frame prediction process and the color difference maximum conversion block division hierarchy number for the inter-frame prediction process are set as the color difference maximum conversion block division hierarchy number, If the coding mode selected by the conversion control means is a mode in which intra-frame prediction is performed, the color difference signal block in the difference image is hierarchically divided up to the maximum number of color difference conversion block division layers for the intra-frame prediction processing. If the coding mode is a mode in which inter-frame prediction is performed, the block of the color difference signal in the difference image is hierarchically divided up to the maximum number of color difference transform block division layers for the inter-frame prediction process,
The variable length coding means includes block division information by the image compression means, the maximum luminance conversion block division hierarchy number, the maximum color difference conversion block division hierarchy number for the intra-frame prediction process, and the color difference for the inter-frame prediction process. The maximum number of transform block division layers is variable-length encoded, and the division information, the maximum luminance conversion block division layer number, the maximum color difference conversion block division layer number for the intra-frame prediction process, and the maximum color difference for the inter-frame prediction process. The color moving image encoding apparatus according to claim 1, wherein encoded data of the number of transform block division layers is multiplexed into the bit stream.
上記可変長復号手段は、上記ビットストリームに多重化された符号化データからブロックの分割情報、輝度最大変換ブロック分割階層数及び色差最大変換ブロック分割階層数を可変長復号し、
上記差分画像生成手段は、上記可変長復号手段により可変長復号されたブロックの分割情報及び輝度最大変換ブロック分割階層数から差分画像における輝度信号に対する圧縮処理単位のブロックを特定し、上記ブロック毎に輝度信号に対する圧縮の解除処理を実施して、圧縮前の差分画像における輝度信号を復号するとともに、上記可変長復号手段により可変長復号されたブロックの分割情報及び色差最大変換ブロック分割階層数から差分画像における色差信号に対する圧縮処理単位のブロックを特定し、上記ブロック毎に色差信号に対する圧縮の解除処理を実施して、圧縮前の差分画像における色差信号を復号する
ことを特徴とするカラー動画像復号装置。 Variable length decoding means for variable length decoding compressed data and coding modes related to each coding block hierarchically divided from the encoded data multiplexed into the bitstream, and variable length decoding by the variable length decoding means A prediction image generation unit that performs a prediction process corresponding to the encoding mode related to the decoded encoding block and generates a prediction image for the encoding block, and an encoding variable-length decoded by the variable-length decoding unit A difference image generation unit that generates a pre-compression difference image from the compressed data related to the block, a difference image generated by the difference image generation unit, and a prediction image generated by the prediction image generation unit are added to obtain a decoded image And a decoded image generating means for generating
The variable length decoding means variable length decodes block division information, luminance maximum conversion block division hierarchy number and color difference maximum conversion block division hierarchy number from the encoded data multiplexed in the bitstream,
The difference image generation means specifies a block of a compression processing unit for the luminance signal in the difference image from the division information of the block variable-length decoded by the variable-length decoding means and the maximum luminance conversion block division hierarchy number, and for each block The luminance signal in the difference image before compression is decoded by performing compression release processing on the luminance signal, and the difference is obtained from the division information of the block variable-length decoded by the variable-length decoding unit and the maximum number of color difference conversion block division layers. A color moving image decoding characterized by identifying a block of a compression processing unit for a color difference signal in an image, performing a decompression process on the color difference signal for each block, and decoding a color difference signal in a difference image before compression apparatus.
差分画像生成手段は、上記可変長復号手段により可変長復号された符号化モードがフレーム内予測を行うモードであれば、上記可変長復号手段により可変長復号された分割情報及びフレーム内予測処理用の色差最大変換ブロック分割階層数から差分画像における色差信号に対する圧縮処理単位のブロックを特定し、上記符号化モードがフレーム間予測を行うモードであれば、上記分割情報及び上記フレーム間予測処理用の色差最大変換ブロック分割階層数から差分画像における色差信号に対する圧縮処理単位のブロックを特定する
ことを特徴とする請求項３記載のカラー動画像復号装置。 The variable length decoding means variably encodes the encoded data of the maximum color difference conversion block division layer number for intra-frame prediction processing and the maximum difference of color difference conversion block division layer for inter-frame prediction processing from the encoded data multiplexed in the bitstream. Long decoding,
If the encoding mode that has been variable-length decoded by the variable-length decoding unit is a mode that performs intra-frame prediction, the difference image generation unit is for the division information and the intra-frame prediction process that are variable-length decoded by the variable-length decoding unit. The block of the compression processing unit for the color difference signal in the difference image is identified from the maximum number of color difference conversion block division layers, and if the encoding mode is a mode for performing inter-frame prediction, the division information and the inter-frame prediction processing are used. The color moving image decoding apparatus according to claim 3, wherein a block of a compression processing unit for a color difference signal in a difference image is specified from the number of color difference maximum conversion block division layers.
上記画像圧縮処理ステップでは、予め、輝度信号に係る最大のブロック分割階層数である輝度最大変換ブロック分割階層数と、色差信号に係る最大のブロック分割階層数である色差最大変換ブロック分割階層数とが設定されており、上記差分画像生成処理ステップで生成された差分画像を圧縮する際、上記差分画像における輝度信号のブロックを最大で上記輝度最大変換ブロック分割階層数まで階層的に分割してから、分割後のブロック単位で輝度信号の圧縮処理を実施し、上記差分画像における色差信号のブロックを最大で上記色差最大変換ブロック分割階層数まで階層的に分割してから、分割後のブロック単位で色差信号の圧縮処理を実施し、
上記可変長符号化処理ステップでは、上記画像圧縮処理ステップでのブロックの分割情報、上記輝度最大変換ブロック分割階層数及び上記色差最大変換ブロック分割階層数を可変長符号化して、上記分割情報、上記輝度最大変換ブロック分割階層数及び上記色差最大変換ブロック分割階層数の符号化データを上記ビットストリームに多重化する
ことを特徴とするカラー動画像符号化方法。 A block dividing unit that divides the input color image into maximum encoded blocks of a predetermined size and hierarchically divides the maximum encoded block into encoded blocks; and an encoding control unit includes the block A coding control processing step for selecting a coding mode corresponding to the coding block divided in the division processing step, and a prediction image generation means for the coding block divided in the block division processing step for the code A prediction image generation processing step for generating a prediction image by performing prediction processing corresponding to the encoding mode selected in the conversion control processing step, and a coding block in which the difference image generation means is divided in the block division processing step And a difference image generation processing step for generating a difference image between the prediction image generated in the prediction image generation processing step. And an image compression means for compressing the difference image generated in the difference image generation processing step and outputting compressed data of the difference image; and a variable length encoding means for the image compression processing. The compressed data output in the step and the encoding mode selected in the encoding control processing step are variable length encoded to generate a bit stream in which the compressed data and the encoded data in the encoding mode are multiplexed. Variable length encoding processing step,
In the image compression processing step, the luminance maximum conversion block division hierarchy number that is the maximum block division hierarchy number related to the luminance signal, and the color difference maximum conversion block division hierarchy number that is the maximum block division hierarchy number related to the color difference signal, Is set, and when the difference image generated in the difference image generation processing step is compressed, the luminance signal block in the difference image is hierarchically divided up to the maximum luminance conversion block division hierarchy number. , The luminance signal compression processing is performed in units of the divided blocks, and the blocks of the color difference signals in the difference image are hierarchically divided up to the maximum number of color difference conversion block division layers, and then in units of blocks after the division Performs color difference signal compression processing,
In the variable length coding processing step, the block division information in the image compression processing step, the luminance maximum conversion block division layer number and the color difference maximum conversion block division layer number are variable length encoded, and the division information, A color moving image encoding method comprising: multiplexing encoded data of the maximum luminance conversion block division hierarchy number and the maximum color difference conversion block division hierarchy number into the bitstream.
上記可変長復号手段は、上記ビットストリームに多重化された符号化データからブロックの分割情報、輝度最大変換ブロック分割階層数及び色差最大変換ブロック分割階層数を可変長復号し、
上記差分画像生成処理ステップでは、上記可変長復号処理ステップで可変長復号されたブロックの分割情報及び輝度最大変換ブロック分割階層数から差分画像における輝度信号に対する圧縮処理単位のブロックを特定し、上記ブロック毎に輝度信号に対する圧縮の解除処理を実施して、圧縮前の差分画像における輝度信号を復号するとともに、上記可変長復号処理ステップで可変長復号されたブロックの分割情報及び色差最大変換ブロック分割階層数から差分画像における色差信号に対する圧縮処理単位のブロックを特定し、上記ブロック毎に色差信号に対する圧縮の解除処理を実施して、圧縮前の差分画像における色差信号を復号する
ことを特徴とするカラー動画像復号方法。 A variable-length decoding means for variable-length decoding the compressed data and the coding mode associated with each coding block hierarchically divided from the coded data multiplexed in the bitstream; Prediction image generation processing step in which the image generation means performs a prediction process corresponding to the encoding mode related to the encoded block subjected to variable length decoding in the variable length decoding processing step, and generates a predicted image for the encoded block The difference image generation means generates a difference image before compression from the compressed data related to the encoded block variable length decoded in the variable length decoding processing step, and the decoded image generation means The difference image generated in the difference image generation processing step is added to the prediction image generated in the prediction image generation processing step to obtain a decoded image And a decoded image generation processing step of generating a,
The variable length decoding means variable length decodes block division information, luminance maximum conversion block division hierarchy number and color difference maximum conversion block division hierarchy number from the encoded data multiplexed in the bitstream,
In the difference image generation processing step, the block of the compression processing unit for the luminance signal in the difference image is specified from the division information of the block variable-length decoded in the variable-length decoding processing step and the luminance maximum transform block division hierarchy number, and the block The decoding process for the luminance signal is performed every time, the luminance signal in the difference image before compression is decoded, and the division information of the block variable-length decoded in the variable-length decoding processing step and the color difference maximum conversion block division hierarchy A block that identifies a block of a compression processing unit for a color difference signal in a difference image from the number, performs a decompression process on the color difference signal for each block, and decodes the color difference signal in the difference image before compression Video decoding method.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2011274543A JP2013126145A (en) | 2011-12-15 | 2011-12-15 | Color moving image encoding device, color moving image decoding device, color moving image encoding method, and color moving image decoding method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2011274543A JP2013126145A (en) | 2011-12-15 | 2011-12-15 | Color moving image encoding device, color moving image decoding device, color moving image encoding method, and color moving image decoding method |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2013126145A true JP2013126145A (en) | 2013-06-24 |
Family
ID=48777151
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2011274543A Pending JP2013126145A (en) | 2011-12-15 | 2011-12-15 | Color moving image encoding device, color moving image decoding device, color moving image encoding method, and color moving image decoding method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2013126145A (en) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2018116802A1 (en) * | 2016-12-22 | 2018-06-28 | シャープ株式会社 | Image decoding device, image coding device, and image predicting device |
| CN114554221A (en) * | 2017-07-19 | 2022-05-27 | 三星电子株式会社 | Encoding method and apparatus therefor, decoding method and apparatus therefor |
-
2011
- 2011-12-15 JP JP2011274543A patent/JP2013126145A/en active Pending
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2018116802A1 (en) * | 2016-12-22 | 2018-06-28 | シャープ株式会社 | Image decoding device, image coding device, and image predicting device |
| CN114554221A (en) * | 2017-07-19 | 2022-05-27 | 三星电子株式会社 | Encoding method and apparatus therefor, decoding method and apparatus therefor |
| CN114554221B (en) * | 2017-07-19 | 2023-08-01 | 三星电子株式会社 | Encoding method and apparatus therefor, decoding method and apparatus therefor |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6863669B2 (en) | Image coding device, image coding method, image decoding device and image decoding method | |
| JP6005087B2 (en) | Image decoding apparatus, image decoding method, image encoding apparatus, image encoding method, and data structure of encoded data | |
| KR101728285B1 (en) | Image encoding device, image encoding method, image decoding device, image decoding method and recording medium | |
| JP5551837B2 (en) | Image decoding apparatus, image encoding apparatus, image decoding method, and image encoding method | |
| KR101749855B1 (en) | Color image encoding apparatus, color image decoding apparatus, color image encoding method, and color image decoding method | |
| JP6469048B2 (en) | Moving picture encoding apparatus, moving picture encoding method, moving picture decoding apparatus, moving picture decoding method, moving picture encoded data, and recording medium | |
| WO2014049981A1 (en) | Video encoding device, video decoding device, video encoding method and video decoding method | |
| WO2013114992A1 (en) | Color video encoding device, color video decoding device, color video encoding method, and color video decoding method | |
| WO2012176387A1 (en) | Video encoding device, video decoding device, video encoding method and video decoding method | |
| WO2013065678A1 (en) | Dynamic image encoding device, dynamic image decoding device, method for encoding dynamic image and method for decoding dynamic image | |
| JP2014007643A (en) | Moving picture encoder, moving picture decoder, moving picture encoding method, and moving picture decoding method | |
| JP2013168913A (en) | Video encoder, video decoder, video encoding method and video decoding method | |
| JP2013126145A (en) | Color moving image encoding device, color moving image decoding device, color moving image encoding method, and color moving image decoding method | |
| JP2014204311A (en) | Color image encoding device, color image decoding device, color image encoding method and color image decoding method | |
| WO2014049982A1 (en) | Video encoding device, video decoding device, video encoding method and video decoding method | |
| JP2013102269A (en) | Color video encoding device, color video decoding device, color video encoding method, and color video decoding method | |
| WO2014051080A1 (en) | Color moving image coding device, color moving image decoding device, color moving image coding method and color moving image decoding method |