JP2013126145A - Color moving image encoding device, color moving image decoding device, color moving image encoding method, and color moving image decoding method - Google Patents
Color moving image encoding device, color moving image decoding device, color moving image encoding method, and color moving image decoding method Download PDFInfo
- Publication number
- JP2013126145A JP2013126145A JP2011274543A JP2011274543A JP2013126145A JP 2013126145 A JP2013126145 A JP 2013126145A JP 2011274543 A JP2011274543 A JP 2011274543A JP 2011274543 A JP2011274543 A JP 2011274543A JP 2013126145 A JP2013126145 A JP 2013126145A
- Authority
- JP
- Japan
- Prior art keywords
- block
- prediction
- image
- color difference
- maximum
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
Description
この発明は、カラー動画像を高効率で符号化を行うカラー動画像符号化装置及びカラー動画像符号化方法と、高効率で符号化されているカラー動画像を復号するカラー動画像復号装置及びカラー動画像復号方法とに関するものである。 The present invention relates to a color moving image encoding device and a color moving image encoding method for encoding a color moving image with high efficiency, a color moving image decoding device for decoding a color moving image encoded with high efficiency, and The present invention relates to a color moving image decoding method.
例えば、以下の非特許文献1に記載されている従来のカラー動画像符号化装置では、入力されたカラー画像を所定の大きさの最大符号化ブロックに分割し、さらに、最大符号化ブロックをより細かい符号化ブロックに階層分割する。
また、その符号化ブロックをさらに細かい予測ブロックに分割し、その予測ブロックに対する画面内予測や動き補償予測を実施することで予測誤差を生成する。
また、その予測誤差を符号化ブロック内で階層的に変換ブロックに分割し、それぞれの変換係数をエントロピー符号化することで高い圧縮率を達成している。
従来のカラー動画像符号化装置では、YUV4:2:0信号の符号化を行う場合、色差信号の変換ブロックサイズを、輝度信号の変換ブロックサイズの縦横半分のサイズに固定することで、色差信号の変換ブロックサイズに係る情報を符号化する必要をなくして、色差信号の符号化効率を高めている。
For example, in the conventional color moving image encoding device described in Non-Patent
Further, the encoded block is divided into finer prediction blocks, and prediction errors are generated by performing intra prediction and motion compensation prediction on the prediction block.
In addition, the prediction error is hierarchically divided into transform blocks within the coding block, and each transform coefficient is entropy coded to achieve a high compression rate.
In a conventional color moving image encoding apparatus, when encoding a YUV 4: 2: 0 signal, the color difference signal is fixed by fixing the conversion block size of the color difference signal to a size that is half the length and width of the conversion block size of the luminance signal. This eliminates the need to encode information relating to the transform block size, thereby improving the coding efficiency of the color difference signal.
従来のカラー動画像符号化装置は以上のように構成されているので、色差信号の変換ブロックサイズに係る情報の符号化が不要になり、色差信号の符号化効率が高められるが、色差信号の変換ブロックサイズが輝度信号の変換ブロックサイズに応じて固定される。しかしながら、画像信号における色差信号は、一般的に輝度信号よりも、相対的に平坦な信号変化が多く、輝度信号の最適な変換ブロックサイズと色差信号の最適な変換ブロックサイズが異なる。このため、色差信号の変換ブロックサイズが輝度信号の変換ブロックサイズに応じて固定されると、色差信号の符号化効率が最適にならないことがある課題があった。 Since the conventional color moving image encoding apparatus is configured as described above, it is not necessary to encode information related to the conversion block size of the color difference signal and the encoding efficiency of the color difference signal is improved. The transform block size is fixed according to the transform block size of the luminance signal. However, the color difference signal in the image signal generally has a relatively flat signal change compared to the luminance signal, and the optimal conversion block size of the luminance signal and the optimal conversion block size of the color difference signal are different. For this reason, when the conversion block size of the color difference signal is fixed according to the conversion block size of the luminance signal, there is a problem that the encoding efficiency of the color difference signal may not be optimal.
この発明は上記のような課題を解決するためになされたもので、輝度信号と色差信号に適するブロックサイズで圧縮処理を実施して、輝度信号と色差信号の符号化効率を高めることができるカラー動画像符号化装置及びカラー動画像符号化方法を得ることを目的とする。
また、この発明は、符号化効率の改善が図られている符号化データから正確に動画像を復号することができるカラー動画像復号装置及びカラー動画像復号方法を得ることを目的とする。
The present invention has been made in order to solve the above-described problems, and is a color which can increase the coding efficiency of a luminance signal and a color difference signal by performing compression processing with a block size suitable for the luminance signal and the color difference signal. It is an object of the present invention to obtain a moving picture coding apparatus and a color moving picture coding method.
It is another object of the present invention to obtain a color moving image decoding apparatus and a color moving image decoding method capable of accurately decoding a moving image from encoded data whose encoding efficiency is improved.
この発明に係るカラー動画像符号化装置は、画像圧縮手段が、差分画像生成手段により生成された差分画像を圧縮する際、その差分画像における輝度信号のブロックを最大で輝度最大変換ブロック分割階層数まで階層的に分割してから、分割後のブロック単位で輝度信号の圧縮処理を実施し、その差分画像における色差信号のブロックを最大で色差最大変換ブロック分割階層数まで階層的に分割してから、分割後のブロック単位で色差信号の圧縮処理を実施し、可変長符号化手段が、画像圧縮手段によるブロックの分割情報、輝度最大変換ブロック分割階層数及び上記色差最大変換ブロック分割階層数を可変長符号化して、上記分割情報、輝度最大変換ブロック分割階層数及び色差最大変換ブロック分割階層数の符号化データをビットストリームに多重化するようにしたものである。 In the color moving image encoding apparatus according to the present invention, when the image compression unit compresses the difference image generated by the difference image generation unit, the maximum luminance block conversion block division hierarchy number of the luminance signal block in the difference image is increased. After the hierarchical division, the luminance signal is compressed in divided blocks, and the color difference signal block in the difference image is divided hierarchically up to the maximum number of color difference conversion block division layers. The color difference signal is compressed in units of divided blocks, and the variable-length encoding means changes the block division information, the maximum luminance conversion block division hierarchy number, and the maximum color difference conversion block division hierarchy number by the image compression means. After long encoding, the encoded data of the above division information, the maximum luminance conversion block division layer number and the maximum color difference conversion block division layer number is bit streamed. It is obtained so as to multiplex the arm.
この発明によれば、画像圧縮手段が、差分画像生成手段により生成された差分画像を圧縮する際、その差分画像における輝度信号のブロックを最大で輝度最大変換ブロック分割階層数まで階層的に分割してから、分割後のブロック単位で輝度信号の圧縮処理を実施し、その差分画像における色差信号のブロックを最大で色差最大変換ブロック分割階層数まで階層的に分割してから、分割後のブロック単位で色差信号の圧縮処理を実施し、可変長符号化手段が、画像圧縮手段によるブロックの分割情報、輝度最大変換ブロック分割階層数及び上記色差最大変換ブロック分割階層数を可変長符号化して、上記分割情報、輝度最大変換ブロック分割階層数及び色差最大変換ブロック分割階層数の符号化データをビットストリームに多重化するように構成したので、輝度信号と色差信号に対する圧縮処理のブロックサイズの適正化が図られて、輝度信号と色差信号の符号化効率を高めることができる効果がある。 According to the present invention, when the image compression unit compresses the difference image generated by the difference image generation unit, the block of the luminance signal in the difference image is hierarchically divided up to the maximum luminance conversion block division hierarchy number. After that, the luminance signal is compressed in divided block units, and the color difference signal block in the difference image is hierarchically divided up to the maximum color difference conversion block division hierarchy number, and then the divided block unit The variable length coding means performs variable length coding on the block division information, the luminance maximum conversion block division hierarchy number and the color difference maximum conversion block division hierarchy number by the image compression means, The encoded data of the division information, the maximum luminance conversion block division layer number, and the color difference maximum conversion block division layer number are multiplexed into the bitstream. Since form was, been achieved is optimized block size of the compression processing for the luminance signal and the color difference signal, there is an effect that can increase the coding efficiency of the luminance signal and color difference signals.
実施の形態1.
図1はこの発明の実施の形態1によるカラー動画像符号化装置を示す構成図である。
この実施の形態1のカラー動画像符号化装置が処理対象とする映像信号は、輝度信号と2つの色差信号からなるYUV信号や、ディジタル撮像素子から出力されるRGB信号等の任意の色空間のカラー映像信号のほか、モノクロ画像信号や赤外線画像信号など、映像フレームが水平・垂直2次元のディジタルサンプル(画素)列から構成される任意の映像信号である。
各画素の諧調は8ビットでもよいし、10ビット、12ビットなどの諧調であってもよい。
1 is a block diagram showing a color moving image encoding apparatus according to
The video signal to be processed by the color moving image encoding apparatus according to the first embodiment is an arbitrary color space such as a YUV signal composed of a luminance signal and two color difference signals, or an RGB signal output from a digital image sensor. In addition to a color video signal, the video frame is an arbitrary video signal such as a monochrome image signal or an infrared image signal, in which a video frame is composed of a horizontal / vertical two-dimensional digital sample (pixel) sequence.
The gradation of each pixel may be 8 bits, or may be gradation such as 10 bits or 12 bits.
ただし、以下の説明においては、特に断らない限り、入力される映像信号がYUV信号であるものとする。また、2つの色差成分U,Vが輝度成分Yに対して、サブサンプルされた4:2:0フォーマットの信号であるものとする。
なお、映像の各フレームに対応する処理データ単位を「ピクチャ」と称し、この実施の形態1では、「ピクチャ」は順次走査(プログレッシブスキャン)された映像フレームの信号として説明を行う。ただし、映像信号がインタレース信号である場合、「ピクチャ」は映像フレームを構成する単位であるフィールド画像信号であってもよい。
However, in the following description, it is assumed that the input video signal is a YUV signal unless otherwise specified. In addition, it is assumed that the two color difference components U and V are subsampled 4: 2: 0 format signals with respect to the luminance component Y.
The processing data unit corresponding to each frame of the video is referred to as “picture”. In the first embodiment, “picture” is described as a signal of a video frame that has been sequentially scanned (progressive scan). However, when the video signal is an interlace signal, the “picture” may be a field image signal which is a unit constituting a video frame.
図1において、符号化制御部1はイントラ予測処理(フレーム内予測処理)又は動き補償予測処理(フレーム間予測処理)が実施される際の処理単位となる符号化ブロックの最大サイズを決定するとともに、最大サイズの符号化ブロックが階層的に分割される際の上限の階層数を決定する処理を実施する。
また、符号化制御部1は利用可能な1以上の符号化モード(1以上のイントラ符号化モード、1以上のインター符号化モード)の中から、階層的に分割される各々の符号化ブロックに適する符号化モードを選択する処理を実施する。
また、符号化制御部1は各々の符号化ブロック毎に、差分画像が圧縮される際に用いられる量子化パラメータ及び変換ブロックサイズを決定するとともに、予測処理が実施される際に用いられるイントラ予測パラメータ又はインター予測パラメータを決定する処理を実施する。量子化パラメータ及び変換ブロックサイズを示す変換ブロック分割フラグは、予測差分符号化パラメータに含まれて、変換・量子化部7、逆量子化・逆変換部8及び可変長符号化部13等に出力される。
なお、符号化制御部1は符号化制御手段を構成している。
In FIG. 1, an
In addition, the
In addition, the
The
ここで、図17は4:2:0フォーマットの信号における輝度信号及び色差信号の圧縮処理(変換処理、量子化処理)を実施する際の変換ブロックサイズを示す説明図である。
変換ブロックサイズは、図17に示すように、符号化ブロックを四分木状に階層分割することによって決定される。
例えば、変換ブロックを分割する場合と変換ブロックを分割しない場合での符号量や、符号化誤差を加味した評価尺度などに基づいて、評価値が最小になるように変換ブロックを分割するか否かを決定することで、符号量と符号化誤差のトレードオフの観点から最適な変換ブロックの分割形状を決定することができる。
Here, FIG. 17 is an explanatory diagram showing a conversion block size when performing compression processing (conversion processing and quantization processing) of luminance signals and color difference signals in a 4: 2: 0 format signal.
As shown in FIG. 17, the transform block size is determined by hierarchically dividing the encoded block into a quadtree.
For example, whether or not to divide the transform block so that the evaluation value is minimized based on the amount of code when the transform block is divided and when the transform block is not divided, the evaluation scale that takes into account the coding error, etc. By determining, it is possible to determine the optimal division shape of the transform block from the viewpoint of the trade-off between the code amount and the coding error.
輝度信号については、例えば、図17に示すように、予測ブロックの形状が正方形である予測モードが符号化ブロックの符号化モードとして選択された場合、符号化ブロックが1つまたは複数の正方形の変換ブロックに階層的に分割されるように構成する。
一方、予測ブロックの形状が長方形である予測モードが符号化ブロックの符号化モードとして選択された場合、符号化ブロックが1つまたは複数の長方形の変換ブロックに階層的に分割されるように構成する。あるいは、正方形の変換ブロックに分割された後に、さらに下の階層で長方形の変換ブロックに分割されるように構成する。
一方、色差信号については、図17に示すように、予測ブロックの形状が正方形である場合、予測ブロックと同じサイズの変換ブロックが適用されるように構成する。
予測ブロックの形状が長方形である場合、予測ブロックが1階層だけ分割されるように構成する。
For the luminance signal, for example, as shown in FIG. 17, when a prediction mode in which the shape of the prediction block is square is selected as the coding mode of the coding block, the coding block is converted into one or a plurality of squares. It is configured to be divided into blocks hierarchically.
On the other hand, when the prediction mode in which the shape of the prediction block is rectangular is selected as the encoding mode of the encoding block, the encoding block is configured to be hierarchically divided into one or a plurality of rectangular transform blocks. . Or after dividing | segmenting into a square conversion block, it is comprised so that it may be further divided | segmented into a rectangular conversion block in the lower hierarchy.
On the other hand, as shown in FIG. 17, the color difference signal is configured so that a transform block having the same size as the prediction block is applied when the shape of the prediction block is a square.
When the prediction block has a rectangular shape, the prediction block is configured to be divided by one layer.
このように輝度信号については、階層的に最適な変換ブロックサイズに分割されて変換が行われ、色差信号については、分割形状が固定された大きいブロックで変換が行われるため、色差信号の変換ブロックの分割形状に関する情報をシグナリングすることなく、色差信号を効率的に圧縮することができる。
また、色差信号の変換ブロックの分割形状が、輝度信号の変換ブロックの分割形状と異なるため、輝度信号に対しては、輝度信号に最適な変換ブロックの分割形状を選択することができるため、輝度信号についても、効率的に圧縮することができる。
なお、予測ブロックの形状が正方形であっても、符号化ブロックを4分割して得られる正方形サイズの予測ブロックの場合には、色差信号の変換ブロックも1階層だけ分割されるように構成してもよい。
このようにすれば正方形の変換ブロックが正方形の予測ブロックをまたがないように構成できるので、高周波成分の発生を抑制することができ効率よく圧縮できる。
輝度信号の変換ブロックの分割情報は、階層毎に分割するか否かを示す変換ブロック分割フラグとして可変長符号化部13に出力する。
As described above, the luminance signal is divided and converted into a hierarchically optimal conversion block size, and the chrominance signal is converted in a large block whose division shape is fixed. Thus, the color difference signal can be efficiently compressed without signaling information regarding the divided shape.
In addition, since the division shape of the conversion block of the color difference signal is different from the division shape of the conversion block of the luminance signal, the division shape of the conversion block most suitable for the luminance signal can be selected for the luminance signal. The signal can also be efficiently compressed.
Even if the shape of the prediction block is square, in the case of a square-size prediction block obtained by dividing the coding block into four, the color difference signal conversion block is also divided into one layer. Also good.
In this way, since the square transform block can be configured not to cross the square prediction block, generation of high frequency components can be suppressed and compression can be performed efficiently.
The division information of the transformation block of the luminance signal is output to the variable
ブロック分割部2は入力カラー画像(カレントピクチャ)を示すカラー画像信号を入力すると、その入力カラー画像を符号化制御部1により決定された最大サイズの符号化ブロックに分割するとともに、符号化制御部1により決定された上限の階層数に至るまで、その符号化ブロックを階層的に分割する処理を実施する。なお、ブロック分割部2はブロック分割手段を構成している。
切替スイッチ3は符号化制御部1により選択された符号化モードがイントラ符号化モードであれば、ブロック分割部2により分割された符号化ブロックをイントラ予測部4に出力し、符号化制御部1により選択された符号化モードがインター符号化モードであれば、ブロック分割部2により分割された符号化ブロックを動き補償予測部5に出力する処理を実施する。
When a color image signal indicating an input color image (current picture) is input, the
If the coding mode selected by the
イントラ予測部4は切替スイッチ3からブロック分割部2により分割された符号化ブロックを受けると、その符号化ブロックに対して、イントラ予測用メモリ10により格納されている上記符号化ブロックに隣接している復号済みの画素を用いて、符号化制御部1から出力されたイントラ予測パラメータに基づくフレーム内予測処理を実施することで予測画像を生成する処理を実施する。
即ち、イントラ予測部4は、ブロック分割部2により分割された符号化ブロックにおける輝度成分については、その輝度成分のフレーム内予測を実施して、輝度成分に対する予測画像を生成する。
一方、ブロック分割部2により分割された符号化ブロックにおける色差成分については、符号化制御部1により選択された符号化モードが、イントラ符号化モードにおける方向性予測モードであれば、ブロック分割部2により分割された符号化ブロックにおける色差成分のフレーム内予測を実施して、色差成分に対する予測画像を生成する。
When the intra prediction unit 4 receives the encoded block divided by the
That is, the intra prediction unit 4 performs intra-frame prediction of the luminance component of the encoded block divided by the
On the other hand, for the color difference component in the coding block divided by the
動き補償予測部5はブロック分割部2により分割された符号化ブロックに対応する符号化モードとして、符号化制御部1によりインター符号化モードが選択された場合、動き補償予測フレームメモリ12により格納されている1フレーム以上の参照画像を用いて、符号化制御部1から出力されたインター予測パラメータに基づいて、その符号化ブロックに対する動き補償予測処理を実施することで予測画像を生成する処理を実施する。
なお、切替スイッチ3、イントラ予測部4及び動き補償予測部5から予測画像生成手段が構成されている。
When the inter coding mode is selected by the
The
減算部6はブロック分割部2により分割された符号化ブロックから、イントラ予測部4又は動き補償予測部5により生成された予測画像を減算することで、差分画像(=符号化ブロック−予測画像)を生成する処理を実施する。なお、減算部6は差分画像生成手段を構成している。
The subtracting unit 6 subtracts the prediction image generated by the intra prediction unit 4 or the motion
変換・量子化部7は符号化制御部1から出力された予測差分符号化パラメータに含まれている変換ブロック分割フラグから特定される変換ブロックサイズ単位で、減算部6により生成された差分画像の変換処理(例えば、DCT(離散コサイン変換)やDST(離散サイン変換)、予め特定の学習系列に対して基底設計がなされているKL変換等の直交変換処理)を実施するとともに、その予測差分符号化パラメータに含まれている量子化パラメータを用いて、その差分画像の変換係数を量子化することで、量子化後の変換係数を差分画像の圧縮データとして出力する処理を実施する。
即ち、変換・量子化部7は減算部6により生成された差分画像の輝度信号に対する変換・量子化処理(圧縮処理)を実施する場合、ブロック分割部2により分割された符号化ブロックをさらに階層的に分割して、分割後のブロック単位で輝度信号の変換・量子化処理を実施し、減算部6により生成された差分画像の色差信号に対する変換・量子化処理を実施する場合、ブロック分割部2により分割された符号化ブロックの形状が正方形であれば、その符号化ブロックと同じサイズのブロック単位で色差信号の変換・量子化処理を実施し、その符号化ブロックの形状が長方形であれば、その符号化ブロックを1階層だけ分割して、分割後のブロック単位で色差信号の変換・量子化処理を実施する。
なお、変換・量子化部7は画像圧縮手段を構成している。
The transform /
That is, when the transform /
The transform /
逆量子化・逆変換部8は符号化制御部1から出力された予測差分符号化パラメータに含まれている量子化パラメータを用いて、変換・量子化部7から出力された圧縮データを逆量子化し、その予測差分符号化パラメータに含まれている変換ブロック分割フラグから特定される変換ブロックサイズ単位で、逆量子化後の圧縮データの逆変換処理(例えば、逆DCT(逆離散コサイン変換)や逆DST(逆離散サイン変換)、逆KL変換等の逆変換処理)を実施することで、逆変換処理後の圧縮データを局所復号予測差分信号として出力する処理を実施する。
The inverse quantization /
加算部9は逆量子化・逆変換部8から出力された局所復号予測差分信号とイントラ予測部4又は動き補償予測部5により生成された予測画像を示す予測信号を加算することで、局所復号画像を示す局所復号画像信号を生成する処理を実施する。
イントラ予測用メモリ10はイントラ予測部4により次回のイントラ予測処理で用いられる画像として、加算部9により生成された局所復号画像信号が示す局所復号画像を格納するRAMなどの記録媒体である。
The adding unit 9 adds the local decoded prediction difference signal output from the inverse quantization /
The intra prediction memory 10 is a recording medium such as a RAM that stores a local decoded image indicated by the local decoded image signal generated by the adding unit 9 as an image used in the next intra prediction process by the intra prediction unit 4.
ループフィルタ部11は加算部9により生成された局所復号画像信号に含まれている符号化歪みを補償し、符号化歪み補償後の局所復号画像信号が示す局所復号画像を参照画像として動き補償予測フレームメモリ12に出力する処理を実施する。
動き補償予測フレームメモリ12は動き補償予測部5により次回の動き補償予測処理で用いられる参照画像として、ループフィルタ部11によるフィルタリング処理後の局所復号画像を格納するRAMなどの記録媒体である。
The loop filter unit 11 compensates for the coding distortion included in the locally decoded image signal generated by the adding unit 9, and performs motion compensation prediction using the locally decoded image indicated by the locally decoded image signal after the coding distortion compensation as a reference image. A process of outputting to the frame memory 12 is performed.
The motion compensated prediction frame memory 12 is a recording medium such as a RAM that stores a locally decoded image after the filtering process by the loop filter unit 11 as a reference image used in the next motion compensated prediction process by the motion compensated
可変長符号化部13は変換・量子化部7から出力された圧縮データと、符号化制御部1から出力された符号化モード及び変換ブロック分割フラグを含む予測差分符号化パラメータと、イントラ予測部4から出力されたイントラ予測パラメータ又は動き補償予測部5から出力されたインター予測パラメータとを可変長符号化して、その圧縮データ、符号化モード、予測差分符号化パラメータ、イントラ予測パラメータ/インター予測パラメータの符号化データが多重化されているビットストリームを生成する処理を実施する。なお、可変長符号化部13は可変長符号化手段を構成している。
The variable
図1では、カラー動画像符号化装置の構成要素である符号化制御部1、ブロック分割部2、切替スイッチ3、イントラ予測部4、動き補償予測部5、減算部6、変換・量子化部7、逆量子化・逆変換部8、加算部9、ループフィルタ部11及び可変長符号化部13のそれぞれが専用のハードウェア(例えば、CPUを実装している半導体集積回路、あるいは、ワンチップマイコンなど)で構成されているものを想定しているが、カラー動画像符号化装置がコンピュータなどで構成される場合、符号化制御部1、ブロック分割部2、切替スイッチ3、イントラ予測部4、動き補償予測部5、減算部6、変換・量子化部7、逆量子化・逆変換部8、加算部9、ループフィルタ部11及び可変長符号化部13の処理内容を記述しているプログラムの全部又は一部を当該コンピュータのメモリに格納し、当該コンピュータのCPUが当該メモリに格納されているプログラムを実行するようにしてもよい。
図2はこの発明の実施の形態1によるカラー動画像符号化装置の処理内容を示すフローチャートである。
In FIG. 1, a
FIG. 2 is a flowchart showing the processing contents of the color moving image coding apparatus according to
図3はこの発明の実施の形態1によるカラー動画像符号化装置のイントラ予測部4を示す構成図である。
図3において、輝度信号イントラ予測部21はブロック分割部2により分割された符号化ブロックにおける輝度成分のフレーム内予測を実施して、輝度成分に対する予測画像を生成する処理を実施する。
即ち、輝度信号イントラ予測部21はイントラ予測用メモリ10により格納されている上記符号化ブロックに隣接している復号済みの輝度参照画素を参照して、符号化制御部1から出力されたイントラ予測パラメータに基づく輝度成分のフレーム内予測を実施することで、輝度成分に対する予測画像を生成する処理を実施する。
FIG. 3 is a block diagram showing the intra prediction unit 4 of the color moving picture coding apparatus according to
In FIG. 3, the luminance signal
That is, the luminance signal
切替スイッチ22は符号化制御部1から出力されたイントラ予測パラメータのうち、色差信号のイントラ符号化モードを示すパラメータが、方向性予測モードである旨を示していれば、予測に用いる参照画素を色差信号方向性イントラ予測部23に与え、色差信号のイントラ符号化モードを示すパラメータが、平滑化輝度相関利用色差信号予測モードである旨を示していれば、予測に用いる参照画素を輝度相関利用色差信号予測部24に出力する処理を実施する。
If the parameter indicating the intra coding mode of the chrominance signal indicates the directional prediction mode among the intra prediction parameters output from the
色差信号方向性イントラ予測部23は切替スイッチ22から受け取った上記符号化ブロックに隣接している復号済みの色差参照画素を参照して、符号化制御部1から出力されたイントラ予測パラメータに基づく色差成分のフレーム内予測を実施することで、色差成分に対する予測画像を生成する処理を実施する。
輝度相関利用色差信号予測部24は切替スイッチ22から受け取った復号済みの画素のうち、符号化ブロックに隣接している復号済みの輝度参照画素及び色差参照画素と、当該符号化ブロック内の復号済みの輝度参照画素を用いて、その符号化ブロックを構成している画素のうち、水平方向及び垂直方向に隣接している複数の画素に係る輝度成分を平滑化して、平滑化後の輝度成分と色差成分の相関を示す相関パラメータを算出し、その相関パラメータと平滑化後の輝度成分を用いて、色差成分に対する予測画像を生成する処理を実施する。
なお、図5はこの発明の実施の形態1によるカラー動画像符号化装置のイントラ予測部4の処理内容を示すフローチャートである。
The chrominance signal directivity
The luminance correlation utilization color difference
FIG. 5 is a flowchart showing the processing contents of the intra prediction unit 4 of the color moving image coding apparatus according to
図4はこの発明の実施の形態1によるカラー動画像符号化装置の輝度相関利用色差信号予測部24を示す構成図である。
図4において、平滑化輝度参照画素縮小部31はイントラ予測用メモリ10により格納されている符号化ブロックを構成している復号済みの輝度参照画素のうち、水平方向及び垂直方向に隣接している複数の輝度参照画素の平滑化処理等を実施することで、縮小輝度参照画素Rec’Lを生成する。
相関算出部32はイントラ予測用メモリ10により格納されている色差参照画素と平滑化輝度参照画素縮小部31により生成された縮小輝度参照画素Rec’Lを用いて、輝度成分と色差成分の相関を示す相関パラメータα,βを算出する処理を実施する。
色差予測画像生成部33は相関算出部32により算出された相関パラメータα,βと平滑化輝度参照画素縮小部31により生成された縮小輝度参照画素Rec’Lを用いて、色差成分に対する予測画像を生成する処理を実施する。
なお、図6はこの発明の実施の形態1によるカラー動画像符号化装置の輝度相関利用色差信号予測部24の処理内容を示すフローチャートである。
FIG. 4 is a block diagram showing the luminance correlation utilizing color difference
In FIG. 4, the smoothed luminance reference
The
The color difference predicted
FIG. 6 is a flowchart showing the processing contents of the luminance correlation utilization color difference
図7はこの発明の実施の形態1によるカラー動画像復号装置を示す構成図である。
図7において、可変長復号部41はイントラ予測処理又は動き補償予測処理が実施される際の処理単位となる符号化ブロックの最大サイズ及び最大サイズの符号化ブロックから階層的に分割されている符号化ブロックの階層数を特定することで、ビットストリームに多重化されている符号化データの中で、最大サイズの符号化ブロック及び階層的に分割されている符号化ブロックに係る符号化データを特定し、各々の符号化データから符号化ブロックに係る圧縮データ、符号化モード、変換ブロック分割フラグを含む予測差分符号化パラメータ、イントラ予測パラメータ/インター予測パラメータを可変長復号して、その圧縮データ及び予測差分符号化パラメータを逆量子化・逆変換部45に出力するとともに、その符号化モード及びイントラ予測パラメータ/インター予測パラメータを切替スイッチ42に出力する処理を実施する。なお、可変長復号部41は可変長復号手段を構成している。
FIG. 7 is a block diagram showing a color moving image decoding apparatus according to
In FIG. 7, the variable
切替スイッチ42は可変長復号部41から出力された符号化ブロックに係る符号化モードがイントラ符号化モードである場合、可変長復号部41から出力されたイントラ予測パラメータをイントラ予測部43に出力し、その符号化モードがインター符号化モードである場合、可変長復号部41から出力されたインター予測パラメータを動き補償部44に出力する処理を実施する。
イントラ予測部43はイントラ予測用メモリ47により格納されている符号化ブロックに隣接している復号済みの画素を用いて、切替スイッチ42から出力されたイントラ予測パラメータに基づいて、符号化ブロックに対するフレーム内予測処理を実施することで予測画像を生成する処理を実施する。
The
The
動き補償部44は動き補償予測フレームメモリ49により格納されている1フレーム以上の参照画像を用いて、切替スイッチ42から出力されたインター予測パラメータに基づいて、符号化ブロックに対する動き補償予測処理を実施することで予測画像を生成する処理を実施する。
なお、切替スイッチ42、イントラ予測部43及び動き補償部44から予測画像生成手段が構成されている。
The
The
逆量子化・逆変換部45は可変長復号部41から出力された予測差分符号化パラメータに含まれている量子化パラメータを用いて、可変長復号部41から出力された符号化ブロックに係る圧縮データを逆量子化し、その予測差分符号化パラメータに含まれている変換ブロック分割フラグから特定される変換ブロックサイズ単位で、逆量子化の圧縮データの逆変換処理(例えば、逆DCT(逆離散コサイン変換)や逆DST(逆離散サイン変換)、逆KL変換等の逆変換処理)を実施することで、逆変換処理後の圧縮データを復号予測差分信号(圧縮前の差分画像を示す信号)として出力する処理を実施する。
即ち、逆量子化・逆変換部45は可変長復号部41から出力された予測差分符号化パラメータに含まれている変換ブロック分割フラグに基づいて階層的に分割された輝度信号の変換ブロック形状を特定し、変換ブロック単位で逆量子化処理・逆変換処理を行う。
色差信号については、図17に示すように、予測ブロックの形状が正方形である場合、予測ブロックと同じサイズの変換ブロック単位で逆量子化処理・逆変換処理を実施し、予測ブロックの形状が長方形である場合、予測ブロックを1階層だけ分割して、分割後のブロック単位で逆量子化処理・逆変換処理を実施する。
なお、逆量子化・逆変換部45は差分画像生成手段を構成している。
The inverse quantization /
That is, the inverse quantization /
As for the color difference signal, as shown in FIG. 17, when the prediction block has a square shape, inverse quantization processing / inverse conversion processing is performed in units of transform blocks having the same size as the prediction block, and the prediction block has a rectangular shape. In such a case, the prediction block is divided by one layer, and inverse quantization processing / inverse transformation processing is performed in units of the divided blocks.
The inverse quantization /
加算部46は逆量子化・逆変換部45から出力された復号予測差分信号とイントラ予測部43又は動き補償部44により生成された予測画像を示す予測信号を加算することで、復号画像を示す復号画像信号を生成する処理を実施する。なお、加算部46は復号画像生成手段を構成している。
イントラ予測用メモリ47はイントラ予測部43により次回のイントラ予測処理で用いられる画像として、加算部46により生成された復号画像信号が示す復号画像を格納するRAMなどの記録媒体である。
The
The
ループフィルタ部48は加算部46により生成された復号画像信号に含まれている符号化歪みを補償し、符号化歪み補償後の復号画像信号が示す復号画像を参照画像として動き補償予測フレームメモリ49に出力するとともに、その復号画像を再生画像として外部に出力する処理を実施する。
動き補償予測フレームメモリ49は動き補償部44により次回の動き補償予測処理で用いられる参照画像として、ループフィルタ部48によるフィルタリング処理後の復号画像を格納するRAMなどの記録媒体である。
The
The motion compensated
図7では、カラー動画像復号装置の構成要素である可変長復号部41、切替スイッチ42、イントラ予測部43、動き補償部44、逆量子化・逆変換部45、加算部46及びループフィルタ部48のそれぞれが専用のハードウェア(例えば、CPUを実装している半導体集積回路、あるいは、ワンチップマイコンなど)で構成されているものを想定しているが、カラー動画像復号装置がコンピュータなどで構成される場合、可変長復号部41、切替スイッチ42、イントラ予測部43、動き補償部44、逆量子化・逆変換部45、加算部46及びループフィルタ部48の処理内容を記述しているプログラムの全部又は一部を当該コンピュータのメモリに格納し、当該コンピュータのCPUが当該メモリに格納されているプログラムを実行するようにしてもよい。
図8はこの発明の実施の形態1によるカラー動画像復号装置の処理内容を示すフローチャートである。
In FIG. 7, a variable
FIG. 8 is a flowchart showing the processing contents of the color moving image decoding apparatus according to
この実施の形態1のカラー動画像符号化装置は、映像信号の空間・時間方向の局所的な変化に適応して、映像信号を多様なサイズの領域に分割してフレーム内・フレーム間適応符号化を行い、色差信号については変換ブロックサイズを2階層のみに限定して一意に決定することを特徴としている。
一般に映像信号は、空間・時間的に信号の複雑さが局所的に変化する特性を有し、空間的に見ると、ある特定の映像フレーム上では、例えば、空や壁などのように、比較的広い画像領域中で均一な信号特性を有する絵柄もあれば、人物や細かいテクスチャを含む絵画などでは、小さい画像領域内で複雑なテクスチャパターンを有する絵柄も混在することがある。
The color moving image coding apparatus according to the first embodiment adapts to local changes in the spatial and temporal directions of a video signal, divides the video signal into regions of various sizes, and performs intraframe / interframe adaptive coding. The color difference signal is uniquely determined by limiting the transform block size to only two layers.
In general, video signals have the characteristic that the complexity of the signal changes locally in space and time, and when viewed spatially, comparison is made on a specific video frame, for example, sky or wall. A picture having uniform signal characteristics in a wide image area and a picture having a complicated texture pattern in a small image area may be mixed in a picture including a person or a fine texture.
時間的に見ても、空や壁は局所的に時間方向の絵柄の変化が小さいが、動く人物や物体は、その輪郭が時間的に剛体・非剛体の運動をするため、時間的な変化が大きい。
符号化処理は、時間・空間的な予測によって、信号電力やエントロピーが小さい予測差分信号を生成して、全体の符号量を削減する処理を行うが、予測処理に用いる予測パラメータをできるだけ大きな画像信号領域に対して均一に適用することができれば、予測パラメータの符号量を小さくすることができる。
一方、時間的・空間的に変化が大きい画像信号パターンに対して、同一の予測パラメータを大きな画像領域に適用すると、予測誤りが増えてしまうため、予測差分信号の符号量を削減することができない。
したがって、時間的・空間的に変化が大きい領域では、予測対象の領域を小さくして、予測処理に用いる予測パラメータのデータ量を増やしても、予測差分信号の電力・エントロピーを低減する方が望ましい。
このような映像信号の一般的な性質に適応している符号化処理を行うため、この実施の形態1のカラー動画像符号化装置では、所定の最大ブロックサイズから映像信号の領域を階層的に分割し、分割領域毎に予測処理や予測差分の符号化処理を適応化する構成を採用している。
Even in terms of time, the sky and the wall have small changes in the local pattern in the time direction, but moving people and objects have temporal and rigid movements, so the time changes. Is big.
The encoding process generates a prediction difference signal with low signal power and entropy by temporal and spatial prediction, and performs a process of reducing the overall code amount. However, the prediction parameter used for the prediction process is as large as possible. If it can be applied uniformly to the region, the code amount of the prediction parameter can be reduced.
On the other hand, if the same prediction parameter is applied to a large image region with respect to an image signal pattern having a large temporal and spatial change, a prediction error increases, and therefore the code amount of the prediction difference signal cannot be reduced. .
Therefore, it is desirable to reduce the power / entropy of the prediction difference signal even if the prediction target area is reduced and the data amount of the prediction parameter used for the prediction process is increased in an area where the temporal and spatial changes are large. .
In order to perform encoding processing adapted to the general characteristics of such a video signal, the color moving image encoding apparatus according to the first embodiment hierarchically divides the video signal area from a predetermined maximum block size. A configuration is adopted in which the image is divided and the prediction process and the prediction difference encoding process are adapted for each divided region.
次に動作について説明する。
最初に、図1のカラー動画像符号化装置の処理内容を説明する。
まず、符号化制御部1は、イントラ予測処理(フレーム内予測処理)又は動き補償予測処理(フレーム間予測処理)が実施される際の処理単位となる符号化ブロックの最大サイズを決定するとともに、最大サイズの符号化ブロックが階層的に分割される際の上限の階層数を決定する(図2のステップST1)。
Next, the operation will be described.
First, the processing contents of the color moving image encoding apparatus in FIG. 1 will be described.
First, the
符号化ブロックの最大サイズの決め方として、例えば、全てのピクチャに対して、入力画像の解像度に応じたサイズに決定する方法が考えられる。
また、入力カラー画像の局所的な動きの複雑さの違いをパラメータとして定量化しておき、動きの激しいピクチャでは最大サイズを小さな値に決定し、動きが少ないピクチャでは最大サイズを大きな値に決定する方法などが考えられる。
上限の階層数については、例えば、入力カラー画像の動きが激しい程、階層数を深くして、より細かい動きが検出できるように設定し、入力カラー画像の動きが少なければ、階層数を抑えるように設定する方法が考えられる。
As a method of determining the maximum size of the encoded block, for example, a method of determining a size corresponding to the resolution of the input image for all the pictures can be considered.
Also, the difference in the complexity of the local motion of the input color image is quantified as a parameter, and the maximum size is determined to be a small value for pictures with intense motion, and the maximum size is determined to be a large value for pictures with little motion. Possible methods.
The upper limit of the number of hierarchies is set so that, for example, the more intense the input color image moves, the deeper the number of hierarchies, so that more detailed movement can be detected. The method of setting to can be considered.
また、符号化制御部1は、利用可能な1以上の符号化モード(M種類のイントラ符号化モード、N種類のインター符号化モード)の中から、階層的に分割される各々の符号化ブロックに対応する符号化モードを選択する(ステップST2)。予め用意されているM種類のイントラ符号化モードについては後述する。
ただし、後述するブロック分割部2により階層的に分割された各々の符号化ブロックが更にパーティション単位に分割される場合は、各々のパーティションに対応する符号化モードを選択することが可能である。
以下、この実施の形態1では、各々の符号化ブロックが更にパーティション単位に分割されるものとして説明する。
符号化制御部1による符号化モードの選択方法は、公知の技術であるため詳細な説明を省略するが、例えば、利用可能な任意の符号化モードを用いて、符号化ブロックに対する符号化処理を実施して符号化効率を検証し、利用可能な複数の符号化モードの中で、最も符号化効率がよい符号化モードを選択する方法などがある。
In addition, the
However, when each coding block hierarchically divided by the
In the following description of the first embodiment, each encoded block is further divided into partitions.
Since the encoding mode selection method by the
また、符号化制御部1は、各々の符号化ブロックに含まれているパーティション毎に、差分画像が圧縮される際に用いられる量子化パラメータ及び変換ブロックサイズを決定するとともに、予測処理が実施される際に用いられるイントラ予測パラメータ又はインター予測パラメータを決定する。
符号化制御部1は、量子化パラメータ及び変換ブロックサイズを含む予測差分符号化パラメータを変換・量子化部7、逆量子化・逆変換部8及び可変長符号化部13に出力する。また、予測差分符号化パラメータを必要に応じてイントラ予測部4に出力する。
Further, the
The
ブロック分割部2は、入力カラー画像を示す映像信号を入力すると、その入力カラー画像を符号化制御部1により決定された最大サイズの符号化ブロックに分割するとともに、符号化制御部1により決定された上限の階層数に至るまで、その符号化ブロックを階層的に分割する。また、その符号化ブロックをパーティション単位に分割する(ステップST3)。
ここで、図9は最大サイズの符号化ブロックが階層的に複数の符号化ブロックに分割される様子を示す説明図である。
図9の例では、最大サイズの符号化ブロックは、第0階層の符号化ブロックB0であり、輝度成分で(L0,M0)のサイズを有している。
また、図9の例では、最大サイズの符号化ブロックB0を出発点として、4分木構造で、別途定める所定の深さまで階層的に分割を行うことによって、符号化ブロックBnを得ている。
When a video signal indicating an input color image is input, the
Here, FIG. 9 is an explanatory diagram showing a state in which a maximum-size encoded block is hierarchically divided into a plurality of encoded blocks.
In the example of FIG. 9, the coding block of the maximum size is the coding block B 0 of the 0th layer, and has a size of (L 0 , M 0 ) as a luminance component.
In the example of FIG. 9, the encoding block B n is obtained by performing hierarchical division to a predetermined depth determined separately in a quadtree structure with the maximum size encoding block B 0 as a starting point. Yes.
深さnにおいては、符号化ブロックBnはサイズ(Ln,Mn)の画像領域である。
ただし、LnとMnは同じであってもよいし異なっていてもよいが、図9の例ではLn=Mnのケースを示している。
以降、符号化ブロックBnのサイズは、符号化ブロックBnの輝度成分におけるサイズ(Ln,Mn)と定義する。
At the depth n, the coding block B n is an image area of size (L n , M n ).
However, L n and M n may be the same or different, but the example of FIG. 9 shows a case of L n = M n .
Later, the size of the encoded block B n is defined as the size of the luminance component of the encoded block B n (L n, M n ).
ブロック分割部2では、4分木分割を行うため、常に(Ln+1,Mn+1)=(Ln/2,Mn/2)が成立する。
ただし、RGB信号などのように、全ての色成分が同一サンプル数を有するカラー映像信号(4:4:4フォーマット)では、全ての色成分のサイズが(Ln,Mn)になるが、4:2:0フォーマットを扱う場合、対応する色差成分の符号化ブロックのサイズは(Ln/2,Mn/2)である。
以降、第n階層の符号化ブロックBnで選択しうる符号化モードをm(Bn)と表記する。
Since the
However, in a color video signal (4: 4: 4 format) in which all color components have the same number of samples, such as RGB signals, the size of all color components is (L n , M n ). When the 4: 2: 0 format is handled, the size of the corresponding color difference component coding block is (L n / 2, M n / 2).
Hereinafter, an encoding mode that can be selected in the encoding block B n in the n-th layer is denoted as m (B n ).
複数の色成分からなるカラー映像信号の場合、符号化モードm(Bn)は、色成分ごとに、それぞれ個別のモードを用いるように構成されてもよいが、以降、特に断らない限り、YUV信号、4:2:0フォーマットの符号化ブロックの輝度成分に対する符号化モードのことを指すものとして説明を行う。
符号化モードm(Bn)には、1つないし複数のイントラ符号化モード(総称して「INTRA」)、1つないし複数のインター符号化モード(総称して「INTER」)があり、符号化制御部1は、上述したように、当該ピクチャで利用可能な全ての符号化モードないしは、そのサブセットの中から、符号化ブロックBnに対して最も符号化効率がよい符号化モードを選択する。
In the case of a color video signal composed of a plurality of color components, the encoding mode m (B n ) may be configured to use an individual mode for each color component, but hereinafter, unless otherwise specified, YUV The description will be made on the assumption that it indicates the coding mode for the luminance component of the coding block of the signal 4: 2: 0 format.
The coding mode m (B n ) includes one or more intra coding modes (collectively “INTRA”), one or more inter coding modes (collectively “INTER”), As described above, the
符号化ブロックBnは、図9に示すように、更に1つないし複数の予測処理単位(パーティション)に分割される。
以降、符号化ブロックBnに属するパーティションをPi n(i: 第n階層におけるパーティション番号)と表記する。図10は符号化ブロックBnに属するパーティションPi nを示す説明図である。
符号化ブロックBnに属するパーティションPi nの分割がどのようになされているかは符号化モードm(Bn)の中に情報として含まれる。
パーティションPi nは、すべて符号化モードm(Bn)に従って予測処理が行われるが、パーティションPi n毎に、個別の予測パラメータを選択することができる。
As shown in FIG. 9, the encoded block Bn is further divided into one or more prediction processing units (partitions).
Hereinafter, the partition belonging to the coding block B n is denoted as P i n (i: the partition number in the nth layer). FIG. 10 is an explanatory diagram showing partitions P i n belonging to the coding block B n .
How the partition P i n belonging to the coding block B n is divided is included as information in the coding mode m (B n ).
All partitions P i n are subjected to prediction processing according to the coding mode m (B n ), but individual prediction parameters can be selected for each partition P i n .
符号化制御部1は、最大サイズの符号化ブロックに対して、例えば、図11に示すようなブロック分割状態を生成して、符号化ブロックBnを特定する。
図11(a)の斜線部分は分割後のパーティションの分布を示し、また、図11(b)は階層分割後のパーティションに符号化モードm(Bn)が割り当てられる状況を4分木グラフで示している。
図11(b)において、□で囲まれているノードが、符号化モードm(Bn)が割り当てられたノード(符号化ブロックBn)を示している。
また、符号化制御部1は、分割後のパーティションに対して、前述の通りに、変換ブロックの分割形状を決定する。
For example, the
11A shows the distribution of the partitions after the division, and FIG. 11B shows a situation where the encoding mode m (B n ) is assigned to the partition after the hierarchical division in a quadtree graph. Show.
In FIG. 11B, nodes surrounded by squares indicate nodes (encoded blocks B n ) to which the encoding mode m (B n ) is assigned.
Also, the
切替スイッチ3は、符号化制御部1がイントラ符号化モードを選択すると(m(Bn)∈INTRA)、ブロック分割部2により分割された符号化ブロックBnに属するパーティションPi nをイントラ予測部4に出力し、符号化制御部1がインター符号化モードを選択すると(m(Bn)∈INTER)、その符号化ブロックBnに属するパーティションPi nを動き補償予測部5に出力する。
When the
イントラ予測部4は、切替スイッチ3から符号化ブロックBnに属するパーティションPi nを受けると(ステップST4)、具体的な処理内容は後述するが、符号化制御部1により決定されたイントラ予測パラメータに基づいて、各パーティションPi nに対するイントラ予測処理を実施することにより、イントラ予測画像(Pi n)を生成する(ステップST5)。
以下、この明細書では、Pi nはパーティションを示し、(Pi n)はパーティションPi nの予測画像を示すものとする。
When the intra prediction unit 4 receives the partition P i n belonging to the coding block B n from the changeover switch 3 (step ST4), the specific processing contents will be described later, but the intra prediction determined by the
Hereinafter, in this specification, P i n indicates a partition, and (P i n ) indicates a predicted image of the partition P i n .
イントラ予測画像(Pi n)の生成に用いられるイントラ予測パラメータは、カラー動画像復号装置側でも、全く同じイントラ予測画像(Pi n)を生成する必要があるため、可変長符号化部13によってビットストリームに多重化される。
なお、イントラ予測パラメータとして選択できるイントラ予測方向数は、処理対象となるブロックのサイズに応じて異なるように構成してもよい。
大きいサイズのパーティションでは、イントラ予測の効率が低下するため、選択できるイントラ予測方向数を少なくし、小さいサイズのパーティションでは、選択できるイントラ予測方向数を多くするように構成することができる。
例えば、4×4画素パーティションや8×8画素パーティションでは34方向、16×16画素パーティションでは17方向、32×32画素パーティションでは9方向などのように構成してもよい。
Since the intra prediction parameters used to generate the intra-prediction image (P i n) is also a color video decoding apparatus side, it is necessary to generate exactly the same intra prediction image (P i n), the variable
Note that the number of intra prediction directions that can be selected as the intra prediction parameter may be configured to differ depending on the size of the block to be processed.
Since the efficiency of intra prediction decreases in a large size partition, the number of intra prediction directions that can be selected can be reduced, and the number of intra prediction directions that can be selected in a small size partition can be increased.
For example, a 4 × 4 pixel partition or an 8 × 8 pixel partition may be configured in 34 directions, a 16 × 16 pixel partition in 17 directions, a 32 × 32 pixel partition in 9 directions, or the like.
動き補償予測部5は、切替スイッチ3から符号化ブロックBnに属するパーティションPi nを受けると(ステップST4)、符号化制御部1により決定されたインター予測パラメータに基づいて、各パーティションPi nに対するインター予測処理を実施することにより、インター予測画像(Pi n)を生成する(ステップST6)。
即ち、動き補償予測部5は、動き補償予測フレームメモリ12により格納されている1フレーム以上の参照画像を用いて、符号化制御部1から出力されたインター予測パラメータに基づいて、その符号化ブロックに対する動き補償予測処理を実施することで、インター予測画像(Pi n)を生成する。
インター予測画像(Pi n)の生成に用いられるインター予測パラメータは、カラー動画像復号装置側でも、全く同じインター予測画像(Pi n)を生成する必要があるため、可変長符号化部13によってビットストリームに多重化される。
When the motion compensated
That is, the motion compensated
For inter prediction parameters to be used in generating the inter prediction image (P i n) is also a color video decoding apparatus side, it is necessary to generate exactly the same inter-prediction image (P i n), the variable
減算部6は、イントラ予測部4又は動き補償予測部5から予測画像(Pi n)を受けると、ブロック分割部2により分割された符号化ブロックBnに属するパーティションPi nから、その予測画像(Pi n)を減算することで、その差分画像を示す予測差分信号ei nを生成する(ステップST7)。
When the subtraction unit 6 receives the predicted image (P i n ) from the intra prediction unit 4 or the motion
変換・量子化部7は、減算部6が予測差分信号ei nを生成すると、符号化制御部1で決定された変換ブロックサイズ単位で、その予測差分信号ei nに対する変換処理(例えば、DCT(離散コサイン変換)やDST(離散サイン変換)、予め特定の学習系列に対して基底設計がなされているKL変換等の直交変換処理)を実施するとともに、その予測差分符号化パラメータに含まれている量子化パラメータを用いて、その予測差分信号ei nの変換係数を量子化することで、量子化後の変換係数である差分画像の圧縮データを逆量子化・逆変換部8及び可変長符号化部13に出力する(ステップST8)。
即ち、変換・量子化部7は、減算部6が予測差分信号ei nを生成すると、予測差分信号ei nの輝度信号に対する変換・量子化処理を実施する場合、ブロック分割部2により分割された符号化ブロックをさらに階層的に分割して、分割後のブロック単位で輝度信号の変換・量子化処理を実施し、予測差分信号ei nの色差信号に対する変換・量子化処理を実施する場合、ブロック分割部2により分割された符号化ブロックの形状が正方形であれば、その符号化ブロックと同じサイズのブロック単位で色差信号の変換・量子化処理を実施し、その符号化ブロックの形状が長方形であれば、その符号化ブロックを1階層だけ分割して、分割後のブロック単位で色差信号の変換・量子化処理を実施する。
なお、予測ブロックの形状が正方形であっても、符号化ブロックを4分割して得られる正方形サイズの予測ブロックの場合には、色差信号の変換ブロックも1階層だけ分割されるように構成してもよい。
このようにすれば、正方形の変換ブロックが正方形の予測ブロックをまたがないように構成できるので、このように構成された符号化装置の出力するビットストリームを好適に復号することができる。
Transform and
That is, when the subtraction unit 6 generates the prediction difference signal e i n , the transform /
Even if the shape of the prediction block is square, in the case of a square-size prediction block obtained by dividing the coding block into four, the color difference signal conversion block is also divided into one layer. Also good.
In this way, since the square transform block can be configured not to cross the square prediction block, the bit stream output from the coding apparatus configured in this way can be suitably decoded.
逆量子化・逆変換部8は、変換・量子化部7から圧縮データを受けると、符号化制御部1から出力された予測差分符号化パラメータに含まれている量子化パラメータを用いて、その圧縮データを逆量子化し、その予測差分符号化パラメータに含まれている変換ブロック分割フラグから特定される変換ブロックサイズ単位で、逆量子化の圧縮データの逆変換処理(例えば、逆DCT(逆離散コサイン変換)や逆DST(離散サイン変換)、逆KL変換等の逆変換処理)を実施することで、逆変換処理後の圧縮データを局所復号予測差分信号として加算部9に出力する(ステップST9)。
When receiving the compressed data from the transform /
加算部9は、逆量子化・逆変換部8から局所復号予測差分信号を受けると、その局所復号予測差分信号と、イントラ予測部4又は動き補償予測部5により生成された予測画像(Pi n)を示す予測信号とを加算することで、局所復号パーティション画像ないしはその集まりとしての局所復号符号化ブロック画像(以下、「局所復号画像」と称する)を示す局所復号画像信号を生成し、その局所復号画像信号をループフィルタ部11に出力する(ステップST10)。
また、イントラ予測用メモリ10には、イントラ予測に用いるために、当該局所復号画像が格納される。
Upon receiving the local decoded prediction difference signal from the inverse quantization /
The intra prediction memory 10 stores the local decoded image for use in intra prediction.
ループフィルタ部11は、加算部9から局所復号画像信号を受けると、その局所復号画像信号に含まれている符号化歪みを補償し、符号化歪み補償後の局所復号画像信号が示す局所復号画像を参照画像として動き補償予測フレームメモリ12に格納する(ステップST11)。
ここで、符号化歪は変換ブロック境界に沿って発生するため、変換ブロック境界に対して符号化歪の補償を行う。小さい変換ブロックについては、変換ブロック境界の符号化歪が目立ちにくいので、ヘッダで最小ループフィルタ適用ブロックサイズをシグナリングし、変換ブロックサイズが最小ループフィルタ適用ブロックサイズより大きいブロックに対してのみ符号化歪補償を適用するよう構成してもよい。
このようにすれば、不要な符号化歪補償を省略できるので、画質を保ちつつ演算量を削減することができる。また、輝度信号と色差信号では、変換ブロックの分割形状が異なるので、符号化歪補償は輝度信号と色差信号でそれぞれ変換ブロックの分割形状を特定して処理するよう構成する。
なお、ループフィルタ部11によるフィルタリング処理は、入力される局所復号画像信号の最大符号化ブロックあるいは個々の符号化ブロック単位で行ってもよいし、1画面分のマクロブロックに相当する局所復号画像信号が入力された後に1画面分まとめて行ってもよい。
When the loop filter unit 11 receives the local decoded image signal from the adder unit 9, the loop filter unit 11 compensates for the encoding distortion included in the local decoded image signal, and the local decoded image indicated by the local decoded image signal after the encoding distortion compensation Is stored in the motion compensated prediction frame memory 12 as a reference image (step ST11).
Here, since the coding distortion occurs along the transform block boundary, the coding distortion is compensated for the transform block boundary. For small transform blocks, coding distortion at the transform block boundary is inconspicuous. Therefore, the minimum loop filter application block size is signaled in the header, and the coding distortion is only applied to blocks whose transform block size is larger than the minimum loop filter application block size. You may comprise so that compensation may be applied.
In this way, unnecessary coding distortion compensation can be omitted, and the amount of calculation can be reduced while maintaining image quality. In addition, since the division shape of the transform block is different between the luminance signal and the color difference signal, the coding distortion compensation is configured to specify and process the division shape of the conversion block using the luminance signal and the color difference signal, respectively.
Note that the filtering process by the loop filter unit 11 may be performed in units of the maximum encoded block or individual encoded blocks of the input local decoded image signal, or a local decoded image signal corresponding to a macroblock for one screen. It may be performed for one screen after the input.
ステップST4〜ST10の処理は、ブロック分割部2により分割された全ての符号化ブロックBnに属するパーティションPi nに対する処理が完了するまで繰り返し実施される(ステップST12)。
可変長符号化部13は、変換・量子化部7から出力された圧縮データと、符号化制御部1から出力された符号化モード及び変換ブロック分割フラグを含む予測差分符号化パラメータと、イントラ予測部4から出力されたイントラ予測パラメータ又は動き補償予測部5から出力されたインター予測パラメータとを可変長符号化して、その圧縮データ、符号化モード、予測差分符号化パラメータ、イントラ予測パラメータ/インター予測パラメータの符号化データが多重化されているビットストリームを生成する(ステップST13)。
Processing in step ST4~ST10 is repeatedly performed until the processing for the partitions P i n that belong to all the coding blocks B n divided by the
The variable
次に、イントラ予測部4の処理内容を具体的に説明する。
図12は符号化ブロックBnに属する各パーティションPi nにおいて選択可能なイントラ予測パラメータ(イントラ予測モード)の一例を示す説明図である。
図12の例では、イントラ予測モードに対応する予測方向ベクトルを示しており、選択可能なイントラ予測モードの個数が増えるに従って、予測方向ベクトル同士の相対角度が小さくなるように設計されている。
Next, the processing content of the intra estimation part 4 is demonstrated concretely.
FIG. 12 is an explanatory diagram showing an example of intra prediction parameters (intra prediction mode) that can be selected in each partition P i n belonging to the coding block B n .
In the example of FIG. 12, the prediction direction vector corresponding to the intra prediction mode is shown, and the relative angle between the prediction direction vectors is designed to decrease as the number of selectable intra prediction modes increases.
まず、イントラ予測部4の輝度信号イントラ予測部21は、ブロック分割部2により分割された符号化ブロックにおける輝度成分のフレーム内予測を実施して、輝度成分に対する予測画像を生成する(図5のステップST21)。
以下、輝度信号イントラ予測部21の処理内容を具体的に説明する。
ここでは、イントラ予測部4の輝度信号イントラ予測部21が、パーティションPi nの輝度信号に対するイントラ予測パラメータ(イントラ予測モード)に基づいて、その輝度信号のイントラ予測信号を生成するイントラ処理について説明する。
説明の便宜上、パーティションPi nのサイズをli n×mi n画素とする。
First, the luminance signal
Hereinafter, the processing content of the luminance signal
Here, the luminance signal
For convenience of explanation, the size of the partition P i n a l i n × m i n pixels.
図13はli n=mi n=4の場合において、パーティションPi n内の画素の予測値を生成する際に用いる画素の一例を示す説明図である。
図13の例では、パーティションPi nに隣接している符号化済みの上パーティションの画素((2×li n+1)個の画素)と、左パーティションの画素((2×mi n)個の画素)を予測に用いる参照画素としているが、予測に用いる画素は、図13に示す画素より多くても少なくてもよい。
また、図13の例では、隣接している1行又は1列分の画素を予測に用いているが、2行又は2列分の画素、あるいは、それ以上の画素を予測に用いてもよい。
FIG. 13 is an explanatory diagram illustrating an example of pixels used when generating predicted values of pixels in the partition P i n when l i n = m i n = 4.
In the example of FIG. 13, the partition P i n in the pixel on the partition already coded that is adjacent to ((2 × l i n +1 ) pixels), the left partition pixel ((2 × m i n) Number of pixels) is used as a reference pixel for prediction, but the number of pixels used for prediction may be more or less than that shown in FIG.
Further, in the example of FIG. 13, pixels for one row or one column adjacent to each other are used for prediction. However, pixels for two rows or two columns or more may be used for prediction. .
輝度信号イントラ予測部21は、例えば、パーティションPi nに対するイントラ予測モードのインデックス値が2(平均値予測)である場合、上パーティションの隣接画素と左パーティションの隣接画素の平均値をパーティションPi n内の画素の予測値として予測画像を生成する。
イントラ予測モードのインデックス値が2(平均値予測)以外の場合には、インデックス値が示す予測方向ベクトルvp=(dx,dy)に基づいて、パーティションPi n内の画素の予測値を生成する。
予測値を生成する画素(予測対象画素)のパーティションPi n内の相対座標(パーティションの左上画素を原点とする)を(x,y)とすると、予測に用いる参照画素の位置は、下記に示すLと、隣接画素の交点となる。
ただし、kは正のスカラ値である。
Luminance signal
If the index value of the intra prediction mode is other than 2 (average prediction), the prediction direction vector index value indicates v p = (dx, dy) on the basis of, generating a prediction value of the pixel in the partition P i n To do.
Partitioning P i n in the relative coordinates of the pixels for generating the prediction value (prediction target pixel) a (an origin at the upper left pixel of the partition) as (x, y), the position of the reference pixels used for prediction, the following This is the intersection of L and adjacent pixels.
However, k is a positive scalar value.
参照画素が整数画素位置にある場合、その整数画素を予測対象画素の予測値とする。参照画素が整数画素位置にない場合、参照画素に隣接する整数画素から生成される補間画素を予測値とする。
図13の例では、参照画素が整数画素位置にないので、参照画素に隣接する2画素の平均値を予測値としている。
なお、隣接する2画素のみではなく、隣接する2画素以上の画素から補間画素を生成して予測値としてもよい。
When the reference pixel is at the integer pixel position, the integer pixel is set as the prediction value of the prediction target pixel. When the reference pixel is not located at the integer pixel position, an interpolation pixel generated from the integer pixel adjacent to the reference pixel is set as the predicted value.
In the example of FIG. 13, since the reference pixel is not located at the integer pixel position, the average value of two pixels adjacent to the reference pixel is used as the predicted value.
Note that an interpolation pixel may be generated not only from two adjacent pixels but also from two or more adjacent pixels, and used as a predicted value.
輝度信号イントラ予測部21は、同様の手順で、パーティションPi n内の輝度信号のすべての画素に対する予測画素を生成し、その生成したイントラ予測画像(Pi n)を出力する。
イントラ予測画像(Pi n)の生成に用いているイントラ予測パラメータは、上述したように、ビットストリームに多重化するために可変長符号化部13に出力される。
The luminance signal
As described above, the intra-prediction parameters used for generating the intra-predicted image (P i n ) are output to the variable-
イントラ予測部4の切替スイッチ22は、符号化制御部1から出力されたイントラ予測パラメータのうち、色差信号のイントラ符号化モードを示すパラメータが、方向性予測モードであるのか、平滑化輝度相関利用色差信号予測モードであるのかを判定する(ステップST22)。
切替スイッチ22は、色差信号のイントラ符号化モードを示すパラメータが、方向性予測モードである旨を示していれば、予測に用いる参照画素を色差信号方向性イントラ予測部23に与え、色差信号のイントラ符号化モードを示すパラメータが、平滑化輝度相関利用色差信号予測モードである旨を示していれば、予測に用いる参照画素を輝度相関利用色差信号予測部24に与える。
The
If the parameter indicating the intra coding mode of the chrominance signal indicates that it is the directional prediction mode, the
ここで、図14は色差信号のイントラ予測パラメータと色差イントラ予測モードの対応例を示す説明図である。
図14の例では、色差信号イントラ予測パラメータが“34”である場合には、予測に用いる参照画素が輝度相関利用色差信号予測部24に与えられ、色差信号イントラ予測パラメータが“34”以外である場合には、予測に用いる参照画素が色差信号方向性イントラ予測部23に与えられることになる。
Here, FIG. 14 is an explanatory diagram showing a correspondence example between the intra prediction parameters of the color difference signal and the color difference intra prediction modes.
In the example of FIG. 14, when the color difference signal intra prediction parameter is “34”, a reference pixel used for prediction is given to the luminance correlation utilization color difference
色差信号方向性イントラ予測部23は、切替スイッチ22から予測に用いる参照画素を受けると、パーティションPi nに隣接している復号済みの色差参照画素を参照して、符号化制御部1から出力されたイントラ予測パラメータに基づく色差成分のフレーム内予測を実施することで、色差成分に対する予測画像を生成する(ステップST23)。
色差信号方向性イントラ予測部23におけるイントラ予測の対象が色差信号であり、イントラ予測の対象が輝度信号である輝度信号イントラ予測部21と異なるが、イントラ予測の処理内容自体は輝度信号イントラ予測部21と同様である。よって、方向性予測、水平予測、垂直予測、DC予測などを行うことにより、色差信号のイントラ予測画像が生成される。
Color difference signal
The intra prediction target in the chrominance signal directional
輝度相関利用色差信号予測部24は、切替スイッチ22から予測に用いる参照画素を受けると、符号化ブロックであるパーティションPi nに隣接している復号済みの輝度参照画素及び色差参照画素と、パーティションPi n内の復号済みの輝度参照画素(輝度信号イントラ予測部21により先に生成されたパーティションPi nのイントラ予測画像(Pi n)から得られた局所復号画像内の輝度参照画素)とを用いて、その符号化ブロックを構成している画素のうち、水平方向及び垂直方向に隣接している複数の画素に係る輝度成分を平滑化して、平滑化後の輝度成分と色差成分の相関を示す相関パラメータを算出し、その相関パラメータと平滑化後の輝度成分を用いて、色差成分に対する予測画像を生成する(ステップST24)。
以下、輝度相関利用色差信号予測部24の処理内容を具体的に説明する。
Brightness correlation utilizing the color difference
Hereinafter, the processing content of the luminance correlation utilization color difference
輝度相関利用色差信号予測部24の平滑化輝度参照画素縮小部31は、イントラ予測用メモリ10により格納されているパーティションPi nを構成している復号済みの輝度参照画素(輝度信号イントラ予測部21により先に生成されたパーティションPi nのイントラ予測画像(Pi n)から得られた局所復号画像内の輝度参照画素)のうち、水平方向及び垂直方向に隣接している複数の輝度参照画素の平滑化処理等を実施することで、縮小輝度参照画素Rec’Lを生成する(図6のステップST31)。
即ち、平滑化輝度参照画素縮小部31は、図15に示すように、パーティションPi n内の色差信号の予測ブロック(図中、左側のN×Nのブロック)に対応するブロック(図中、右側の2N×2Nのブロック)内の復号済の画素値である復号済輝度信号と、その復号済輝度信号の上端と左端に隣接している復号済輝度信号とを用いて、縮小輝度参照画素Rec’Lを生成する。
ここで、縮小輝度参照画素Rec’Lは、図16に示すように、YUV4:2:0信号において、色差信号画素と同位相になるように、輝度参照画素RecLに対して、横方向に1:2:1のローパスフィルタ、縦方向に1:1のローパスフィルタを施した後に、縦横に偶数列のみをサブサンプリングすることで得られる。
Smoothing luminance correlation utilizing the color difference
That is, the smoothed luminance reference
Here, as shown in FIG. 16, the reduced luminance reference pixel Rec ′ L is arranged in the horizontal direction with respect to the luminance reference pixel Rec L so that the YUV 4: 2: 0 signal has the same phase as the color difference signal pixel. After a 1: 2: 1 low-pass filter and a 1: 1 low-pass filter are applied in the vertical direction, only an even column is sub-sampled in the vertical and horizontal directions.
輝度相関利用色差信号予測部24の相関算出部32は、平滑化輝度参照画素縮小部31が縮小輝度参照画素Rec’Lを生成すると、その縮小輝度参照画素Rec’Lと、色差信号の予測ブロックの上端及び左端に隣接している色差信号の復号済の画素値である色差参照画素RecCとを用いて、下記の式(1)及び式(2)に示すように、予測に用いる相関パラメータα,βを算出する(ステップST32)。
式(1),(2)において、Iは処理対象となる色差信号の予測ブロックの1辺の画
素数の2倍の値である。
When the smoothed luminance reference
In equations (1) and (2), I is a value twice the number of pixels on one side of the prediction block of the color difference signal to be processed.
色差予測画像生成部33は、相関算出部32が相関パラメータα,βを算出すると、その相関パラメータα,βと縮小輝度参照画素Rec’Lを用いて、下記の式(3)に示すように、色差予測画像PredCを生成する(ステップST33)。
When the
なお、イントラ予測は、画面内の未知の領域を既知の領域から予測する手段であるが、輝度信号と色差信号のテクスチャには相関があり、空間方向については、近傍画素同士は画素値の変化が小さいため、予測ブロックに隣接する復号済の輝度信号と色差信号を利用して輝度信号と色差信号の相関パラメータを算出し、その輝度信号と相関パラメータから色差信号を予測することにより、予測効率を向上させることができる。
この際、YUV4:2:0信号では、輝度信号と色差信号の解像度が異なるため、輝度信号をサブサンプリングする必要があるが、ローパスフィルタを施すことによりエイリアシングの発生を抑えることができ、予測効率を向上させることができる。
Intra prediction is a means for predicting an unknown area in the screen from a known area, but the texture of the luminance signal and the color difference signal are correlated, and in the spatial direction, neighboring pixels change pixel values. Predictive efficiency by calculating the correlation parameter between the luminance signal and the color difference signal using the decoded luminance signal and the color difference signal adjacent to the prediction block and predicting the color difference signal from the luminance signal and the correlation parameter. Can be improved.
In this case, since the resolution of the luminance signal and the color difference signal is different for the YUV 4: 2: 0 signal, it is necessary to subsample the luminance signal. Can be improved.
可変長符号化部13は、上述したように、イントラ予測部4から出力されたイントラ予測パラメータを可変長符号化して、そのイントラ予測パラメータの符号語をビットストリームに多重化するが、イントラ予測パラメータを符号化する際に、複数の方向性予測の予測方向ベクトルの中から、代表的な予測方向ベクトル(予測方向代表ベクトル)を選択し、イントラ予測パラメータを予測方向代表ベクトルのインデックス(予測方向代表インデックス)と予測方向代表ベクトルからの差分を表すインデックス(予測方向差分インデックス)で表して、それぞれのインデックス毎に、確率モデルに応じた算術符号化などのハフマン符号化を行うことで、符号量を削減して符号化するよう構成してもよい。
As described above, the variable
次に、図7のカラー動画像復号装置の処理内容を説明する。
可変長復号部41は、図1のカラー動画像符号化装置により生成されたビットストリームを入力すると、そのビットストリームに対する可変長復号処理を実施して(図8のステップST41)、1フレーム以上のピクチャから構成されるシーケンス単位あるいはピクチャ単位にフレームサイズを復号する。
可変長復号部41は、フレームサイズを復号すると、図1のカラー動画像符号化装置で決定された最大符号化ブロックサイズ(イントラ予測処理又は動き補償予測処理が実施される際の処理単位となる符号化ブロックの最大サイズ)と、分割階層数の上限(最大サイズの符号化ブロックから階層的に分割されている符号化ブロックの階層数)をカラー動画像符号化装置と同様の手順で決定する(ステップST42)。
Next, processing contents of the color moving image decoding apparatus in FIG. 7 will be described.
When the variable
When the variable
例えば、符号化ブロックの最大サイズが、全てのピクチャに対して、入力カラー画像の解像度に応じたサイズに決定されている場合には、先に復号しているフレームサイズに基づいて、図1のカラー動画像符号化装置と同様の手順で、符号化ブロックの最大サイズを決定する。
カラー動画像符号化装置によって、符号化ブロックの最大サイズ及び符号化ブロックの階層数がビットストリームに多重化されている場合には、そのビットストリームから符号化ブロックの最大サイズ及び符号化ブロックの階層数を復号する。
For example, when the maximum size of the encoding block is determined to be the size corresponding to the resolution of the input color image for all the pictures, the maximum size of the encoding block is determined based on the previously decoded frame size in FIG. The maximum size of the encoded block is determined by the same procedure as that of the color moving image encoding apparatus.
When the maximum size of the encoded block and the number of layers of the encoded block are multiplexed in the bit stream by the color moving image encoding device, the maximum size of the encoded block and the layer of the encoded block are encoded from the bit stream. Decode the number.
可変長復号部41は、符号化ブロックの最大サイズ及び符号化ブロックの階層数を決定すると、最大符号化ブロックを出発点にして、各符号化ブロックの階層的な分割状態を把握することで、ビットストリームに多重化されている符号化データの中で、各符号化ブロックに係る符号化データを特定し、その符号化データから各符号化ブロックに割り当てられている符号化モードを復号する。
そして、可変長復号部41は、その符号化モードに含まれている符号化ブロックBnに属するパーティションPi nの分割情報を参照して、ビットストリームに多重化されている符号化データの中で、各パーティションPi nに係る符号化データを特定する(ステップST43)。
可変長復号部41は、各パーティションPi nに係る符号化データから圧縮データ、変換ブロック分割フラグを含む予測差分符号化パラメータ、イントラ予測パラメータ/インター予測パラメータを可変長復号して、その圧縮データ及び予測差分符号化パラメータを逆量子化・逆変換部45に出力するとともに、符号化モード及びイントラ予測パラメータ/インター予測パラメータを切替スイッチ42に出力する(ステップST44)。
The variable
Then, the variable
Variable-
例えば、予測方向代表インデックスと予測方向差分インデックスがビットストリームに多重化されている場合には、その予測方向代表インデックスと予測方向差分インデックスをそれぞれの確率モデルに応じた算術復号などによりエントロピー復号し、その予測方向代表インデックスと予測方向差分インデックスからイントラ予測パラメータを特定するようにする。
これにより、カラー動画像符号化装置側で、イントラ予測パラメータの符号量を削減している場合でも、イントラ予測パラメータを正しく復号することができる。
For example, when the prediction direction representative index and the prediction direction difference index are multiplexed in the bitstream, the prediction direction representative index and the prediction direction difference index are entropy decoded by arithmetic decoding or the like according to each probability model, An intra prediction parameter is specified from the prediction direction representative index and the prediction direction difference index.
Thereby, even when the code amount of the intra prediction parameter is reduced on the color moving image encoding device side, the intra prediction parameter can be correctly decoded.
切替スイッチ42は、可変長復号部41から出力された符号化ブロックBnに属するパーティションPi nの符号化モードがイントラ符号化モードである場合、可変長復号部41から出力されたイントラ予測パラメータをイントラ予測部43に出力し、その符号化モードがインター符号化モードである場合、可変長復号部41から出力されたインター予測パラメータを動き補償部44に出力する。
When the coding mode of the partition P i n belonging to the coding block B n output from the variable
イントラ予測部43は、可変長復号部41からイントラ予測パラメータを受けると(ステップST45)、図1のイントラ予測部4と同様に、そのイントラ予測パラメータに基づいて、各パーティションPi nに対するイントラ予測処理を実施することにより、イントラ予測画像(Pi n)を生成する(ステップST46)。
即ち、イントラ予測部43は、可変長復号部41からイントラ予測パラメータを受けると、カラー動画像符号化装置の輝度信号イントラ予測部21と同様に、例えば、パーティションPi nに対するイントラ予測モードのインデックス値が2(平均値予測)である場合、上パーティションの隣接画素と左パーティションの隣接画素の平均値をパーティションPi n内の画素の予測値として予測画像を生成する。
イントラ予測モードのインデックス値が2(平均値予測)以外の場合には、インデックス値が示す予測方向ベクトルvp=(dx,dy)に基づいて、パーティションPi n内の画素の予測値を生成する。
イントラ予測部43は、同様の手順で、パーティションPi n内の輝度信号のすべての画素に対する予測画素を生成し、その生成したイントラ予測画像(Pi n)を出力する。
The
That is, the
If the index value of the intra prediction mode is other than 2 (average prediction), the prediction direction vector index value indicates v p = (dx, dy) on the basis of, generating a prediction value of the pixel in the partition P i n To do.
The
動き補償部44は、切替スイッチ42からインター予測パラメータを受けると、カラー動画像符号化装置の動き補償予測部5と同様に、そのインター予測パラメータに基づいて、各パーティションPi nに対するインター予測処理を実施することにより、インター予測画像(Pi n)を生成する(ステップST47)。
即ち、動き補償部44は、動き補償予測フレームメモリ49により格納されている1フレーム以上の参照画像を用いて、そのインター予測パラメータに基づくパーティションPi nに対する動き補償予測処理を実施することで、インター予測画像(Pi n)を生成する。
That is,
逆量子化・逆変換部45は、可変長復号部41から変換ブロック分割フラグを含む予測差分符号化パラメータを受けると、その予測差分符号化パラメータに含まれている量子化パラメータを用いて、変換ブロック分割フラグに従って決定される変換ブロックサイズ毎に、可変長復号部41から出力された符号化ブロックに係る圧縮データを逆量子化し、その予測差分符号化パラメータに含まれている変換ブロック分割フラグから特定される変換ブロックサイズ単位で、逆量子化後の圧縮データの逆変換処理(例えば、逆DCT(逆離散コサイン変換)や逆DST(逆離散サイン変換)、逆KL変換等の逆変換処理)を実施することで、逆変換処理後の圧縮データを復号予測差分信号(圧縮前の差分画像を示す信号)として加算部46に出力する(ステップST48)。
When the inverse quantization /
加算部46は、逆量子化・逆変換部45から出力された復号予測差分信号と、イントラ予測部43又は動き補償部44により生成された予測画像(Pi n)を示す予測信号とを加算することで、復号パーティション画像ないしはその集まりとしての復号画像を示す復号画像信号を生成し、その復号画像信号をループフィルタ部48に出力する(ステップST49)。
また、イントラ予測用メモリ47には、イントラ予測に用いるために、当該復号画像が格納される。
The
The
ループフィルタ部48は、加算部46から復号画像信号を受けると、その復号画像信号に含まれている符号化歪みを補償し、符号化歪み補償後の復号画像信号が示す復号画像を参照画像として動き補償予測フレームメモリ49に格納するとともに、その復号画像を再生画像として出力する(ステップST50)。
ここで、符号化歪は変換ブロック境界に沿って発生するため、変換ブロック境界に対して符号化歪の補償を行う。小さい変換ブロックについては、変換ブロック境界の符号化歪が目立ちにくいので、ヘッダで最小ループフィルタ適用ブロックサイズをシグナリングし、変換ブロックサイズが最小ループフィルタ適用ブロックサイズより大きいブロックに対してのみ符号化歪補償を適用するよう構成してもよい。
このようにすれば、不要な符号化歪補償を省略できるので画質を保ちつつ演算量を削減
することができる。また、輝度信号と色差信号では変換ブロックの分割形状が異なるので
、符号化歪補償は輝度信号と色差信号でそれぞれ変換ブロックの分割形状を特定して処理
するよう構成する。
なお、ループフィルタ部48によるフィルタリング処理は、入力される復号画像信号の最大符号化ブロックあるいは個々の符号化ブロック単位で行ってもよいし、1画面分のマクロブロックに相当する復号画像信号が入力された後に1画面分まとめて行ってもよい。
ステップST43〜ST49の処理は、全ての符号化ブロックBnに属するパーティションPi nに対する処理が完了するまで繰り返し実施される(ステップST51)。
When the
Here, since the coding distortion occurs along the transform block boundary, the coding distortion is compensated for the transform block boundary. For small transform blocks, coding distortion at the transform block boundary is inconspicuous. Therefore, the minimum loop filter application block size is signaled in the header, and the coding distortion is only applied to blocks whose transform block size is larger than the minimum loop filter application block size. You may comprise so that compensation may be applied.
In this way, unnecessary coding distortion compensation can be omitted, so that the amount of calculation can be reduced while maintaining image quality. In addition, since the division shape of the transform block is different between the luminance signal and the color difference signal, the coding distortion compensation is configured to specify and process the division shape of the transformation block based on the luminance signal and the color difference signal, respectively.
Note that the filtering processing by the
The processes in steps ST43 to ST49 are repeatedly performed until the processes for the partitions P i n belonging to all the coding blocks B n are completed (step ST51).
以上で明らかなように、この実施の形態1によれば、変換・量子化部7が、減算部6により生成された差分画像の輝度信号に対する変換・量子化処理を実施する場合、ブロック分割部2により分割された符号化ブロックをさらに階層的に分割して、分割後のブロック単位で輝度信号の変換・量子化処理を実施し、減算部6により生成された差分画像の色差信号に対する変換・量子化処理を実施する場合、ブロック分割部2により分割された符号化ブロックの形状が正方形であれば、その符号化ブロックと同じサイズのブロック単位で色差信号の変換・量子化処理を実施し、その符号化ブロックの形状が長方形であれば、その符号化ブロックを1階層だけ分割して、分割後のブロック単位で色差信号の変換・量子化処理を実施するように構成したので、輝度信号と色差信号に対する変換・量子化処理のブロックサイズの適正化が図られて、輝度信号と色差信号の符号化効率を高めることができる効果を奏する。
As apparent from the above, according to the first embodiment, when the transform /
即ち、カラー動画像符号化装置の色差信号における変換ブロックの分割形状が符号化ブロック及び予測モードに応じて、少ない階層数となる分割状態に一意に決定されるため、色差信号の変換ブロックの分割形状についての情報をシグナリングすることなく、輝度信号の変換ブロックサイズと比べて、画面サイズに対し相対的に大きいブロックサイズで色差信号の変換が行われるので、色差信号を効率よく圧縮することができる。
また、カラー動画像復号装置の色差信号における変換ブロックの分割形状が符号化ブロック及び予測モードに応じて一意に決定されるので、カラー動画像符号化装置で生成されるビットストリームを好適に復号することができる。
なお、同様に色差信号における変換ブロックの分割形状を予測ブロックの分割形状と同じサイズに構成してもよい。
このように構成することにより、色差信号の変換ブロックの分割形状が一意に決定されると共に、相対的に大きいブロックサイズで色差信号の変換が行われるので、同様の効果を得ることができる。
That is, since the division shape of the conversion block in the color difference signal of the color moving image encoding device is uniquely determined in a division state having a small number of layers according to the encoding block and the prediction mode, the division of the conversion block of the color difference signal is performed. Since the color difference signal is converted with a block size relatively larger than the conversion block size of the luminance signal without signaling information about the shape, the color difference signal can be efficiently compressed. .
Also, since the division shape of the transform block in the color difference signal of the color moving image decoding apparatus is uniquely determined according to the encoding block and the prediction mode, the bit stream generated by the color moving image encoding apparatus is preferably decoded. be able to.
Similarly, the division shape of the transform block in the color difference signal may be configured to be the same size as the division shape of the prediction block.
With this configuration, the divided shape of the color difference signal conversion block is uniquely determined, and the color difference signal is converted with a relatively large block size, so that the same effect can be obtained.
実施の形態2.
上記実施の形態1では、映像信号がYUV4:2:0フォーマットである例で説明をしたが、この実施の形態2では、映像信号がYUV4:2:2フォーマットである場合について説明する。
YUV4:2:2フォーマットでは、色差成分の縦方向のサンプリング数が輝度信号と同数であり、横方向のサンプリング数が輝度信号の半分である。従って、YUV4:2:0フォーマットの符号化・復号の処理に対し、色差成分の処理のみが異なるため、ここでは、主に色差成分の処理について説明する。
In the first embodiment, the example in which the video signal is in the YUV 4: 2: 0 format has been described. In the second embodiment, the case in which the video signal is in the YUV 4: 2: 2 format will be described.
In the YUV 4: 2: 2 format, the number of color difference components in the vertical direction is the same as that of the luminance signal, and the number of sampling in the horizontal direction is half that of the luminance signal. Accordingly, since only the processing of the color difference component is different from the encoding / decoding processing of the YUV 4: 2: 0 format, the processing of the color difference component will be mainly described here.
この実施の形態2のカラー動画像符号化装置における符号化制御部1は、上記実施の形態1と同様に、イントラ予測処理(フレーム内予測処理)又は動き補償予測処理(フレーム間予測処理)が実施される際の処理単位となる符号化ブロックの最大サイズを決定するとともに、最大サイズの符号化ブロックが階層的に分割される際の上限の階層数を決定する処理を実施する。
また、符号化制御部1は利用可能な1以上の符号化モード(1以上のイントラ符号化モード、1以上のインター符号化モード)の中から、階層的に分割される各々の符号化ブロックに適する符号化モードを選択する処理を実施する。
また、符号化制御部1は各々の符号化ブロック毎に、差分画像が圧縮される際に用いられる量子化パラメータ及び変換ブロックサイズを決定するとともに、予測処理が実施される際に用いられるイントラ予測パラメータ又はインター予測パラメータを決定する処理を実施する。量子化パラメータ及び変換ブロックサイズを示す変換ブロック分割フラグは、予測差分符号化パラメータに含まれて、変換・量子化部7、逆量子化・逆変換部8及び可変長符号化部13等に出力される。
As in the first embodiment, the
In addition, the
In addition, the
図18は4:2:2フォーマットの信号における輝度信号及び色差信号の圧縮処理を実施する際の変換ブロックサイズを示す説明図である。
変換ブロックサイズは、図18に示すように、符号化ブロックを四分木状に階層分割することによって決定される。
例えば、変換ブロックを分割する場合と変換ブロックを分割しない場合での符号量や、符号化誤差を加味した評価尺度などに基づいて、評価値が最小になるように変換ブロックを分割するか否かを決定することで、符号量と符号化誤差のトレードオフの観点から最適な変換ブロックの分割形状を決定することができる。
FIG. 18 is an explanatory diagram showing a conversion block size when performing a compression process of a luminance signal and a color difference signal in a 4: 2: 2 format signal.
As shown in FIG. 18, the transform block size is determined by hierarchically dividing the encoded block into a quadtree.
For example, whether or not to divide the transform block so that the evaluation value is minimized based on the amount of code when the transform block is divided and when the transform block is not divided, the evaluation scale that takes into account the coding error, etc. By determining, it is possible to determine the optimal division shape of the transform block from the viewpoint of the trade-off between the code amount and the coding error.
輝度信号については、例えば、図18に示すように、予測ブロックの形状が正方形である予測モードが符号化ブロックの符号化モードとして選択された場合、符号化ブロックが1つまたは複数の正方形の変換ブロックに階層的に分割されるように構成する。
一方、予測ブロックの形状が長方形である予測モードが符号化ブロックの符号化モードとして選択された場合、符号化ブロックが1つまたは複数の長方形の変換ブロックに階層的に分割されるように構成する。あるいは、正方形の変換ブロックに分割された後に、さらに下の階層で長方形の変換ブロックに分割されるように構成する。
一方、色差信号については、予測ブロックの形状が正方形である場合、予測ブロックと同じサイズの変換ブロックが適用されるように構成する。
予測ブロックの形状が長方形である場合、図18に示すように、予測ブロックが1階層だけ分割されるように構成する。
For the luminance signal, for example, as shown in FIG. 18, when a prediction mode in which the shape of the prediction block is a square is selected as the encoding mode of the encoding block, the encoding block is converted into one or a plurality of squares. It is configured to be divided into blocks hierarchically.
On the other hand, when the prediction mode in which the shape of the prediction block is rectangular is selected as the encoding mode of the encoding block, the encoding block is configured to be hierarchically divided into one or a plurality of rectangular transform blocks. . Or after dividing | segmenting into a square conversion block, it is comprised so that it may be further divided | segmented into a rectangular conversion block in the lower hierarchy.
On the other hand, the color difference signal is configured such that a transform block having the same size as the prediction block is applied when the prediction block has a square shape.
When the prediction block has a rectangular shape, as shown in FIG. 18, the prediction block is configured to be divided by one layer.
このように輝度信号については、階層的に最適な変換ブロックサイズに分割されて変換が行われ、色差信号については、分割形状が固定された大きいブロックで変換が行われるため、色差信号の変換ブロックの分割形状に関する情報をシグナリングすることなく、色差信号を効率的に圧縮することができる。
また、色差信号の変換ブロックの分割形状が、輝度信号の変換ブロックの分割形状と異なるため、輝度信号に対しては、輝度信号に最適な変換ブロックの分割形状を選択することができるため、輝度信号についても、効率的に圧縮することができる。
輝度信号の変換ブロックの分割情報は、階層毎に分割するか否かを示す変換ブロック分割フラグとして可変長符号化部13に出力する。
As described above, the luminance signal is divided and converted into a hierarchically optimal conversion block size, and the chrominance signal is converted in a large block whose division shape is fixed. Thus, the color difference signal can be efficiently compressed without signaling information regarding the divided shape.
In addition, since the division shape of the conversion block of the color difference signal is different from the division shape of the conversion block of the luminance signal, the division shape of the conversion block most suitable for the luminance signal can be selected for the luminance signal. The signal can also be efficiently compressed.
The division information of the transformation block of the luminance signal is output to the variable
イントラ予測部4は切替スイッチ3からブロック分割部2により分割された符号化ブロックを受けると、上記実施の形態1と同様に、その符号化ブロックに対して、イントラ予測用メモリ10により格納されている上記符号化ブロックに隣接している復号済みの画素を用いて、符号化制御部1から出力されたイントラ予測パラメータに基づくフレーム内予測処理を実施することで予測画像を生成する処理を実施する。
即ち、イントラ予測部4は、ブロック分割部2により分割された符号化ブロックにおける輝度成分については、その輝度成分のフレーム内予測を実施して、輝度成分に対する予測画像を生成する。
一方、ブロック分割部2により分割された符号化ブロックにおける色差成分については、符号化制御部1により選択された符号化モードが、イントラ符号化モードにおける方向性予測モードであれば、ブロック分割部2により分割された符号化ブロックにおける色差成分のフレーム内予測を実施して、色差成分に対する予測画像を生成する。
When the intra prediction unit 4 receives the encoded block divided by the
That is, the intra prediction unit 4 performs intra-frame prediction of the luminance component of the encoded block divided by the
On the other hand, for the color difference component in the coding block divided by the
ここで、色差成分のフレーム内予測は、図19に示すように、縦長のブロックに対して適用する。
方向性予測の場合、図19に示すように、隣接局部復号画像を直線的に繰り返すことにより予測画像を得る。
平均値予測の場合、上に隣接する画素と左に隣接する画素の平均値を予測値として用いる。あるいは、左に隣接する画素の平均値である左平均値予測値と、上に隣接する画素の平均値である上平均値予測値を個別に算出し、左平均値予測値と上平均値予測値の平均値を平均値予測値としてもよい。
このようにすることで、演算回路において、割り算を用いずシフト演算で処理をすることができるため、回路規模を小さく抑えることができる。
また、左平均値予測値の3倍と上平均値予測値を加算して、2ビット右シフトするよう構成してもよい。
このようにすることで、予測ブロックの形状が縦長なので、より長い辺である左側の画素値により重みを加えた予測値とすることができ、かつ、シフト演算で実現が可能であるため、小さい回路規模で効率のよい予測を行うことができる。
Here, the intra-frame prediction of the color difference component is applied to a vertically long block as shown in FIG.
In the case of directionality prediction, as shown in FIG. 19, a predicted image is obtained by linearly repeating adjacent local decoded images.
In the case of average value prediction, the average value of the pixel adjacent on the upper side and the pixel adjacent on the left is used as the predicted value. Alternatively, the left average predicted value that is the average value of the pixels adjacent to the left and the upper average predicted value that is the average value of the pixels adjacent to the upper are calculated separately, and the left average predicted value and the upper average predicted The average value may be used as the average predicted value.
In this way, the arithmetic circuit can perform processing by shift operation without using division, so that the circuit scale can be reduced.
Further, it may be configured to add 3 times the left average value predicted value and the upper average value predicted value and shift right by 2 bits.
By doing so, since the shape of the prediction block is vertically long, it is possible to obtain a prediction value obtained by adding a weight to the pixel value on the left side, which is a longer side, and can be realized by a shift operation. Efficient prediction can be performed on a circuit scale.
動き補償予測部5はブロック分割部2により分割された符号化ブロックに対応する符号化モードとして、符号化制御部1によりインター符号化モードが選択された場合、動き補償予測フレームメモリ12により格納されている1フレーム以上の参照画像を用いて、符号化制御部1から出力されたインター予測パラメータに基づいて、その符号化ブロックに対する動き補償予測処理を実施することで予測画像を生成する処理を実施する。
色差成分については、輝度成分の動きベクトルに対して横方向の動きベクトル成分のみ半分にした値を適用して動き補償予測処理を行う。
When the inter coding mode is selected by the
For the color difference component, the motion compensation prediction process is performed by applying a value obtained by halving only the horizontal motion vector component to the motion vector of the luminance component.
次に動作について説明する。
最初に、図1のカラー動画像符号化装置の処理内容を説明する。
まず、符号化制御部1は、イントラ予測処理(フレーム内予測処理)又は動き補償予測処理(フレーム間予測処理)が実施される際の処理単位となる符号化ブロックの最大サイズを決定するとともに、最大サイズの符号化ブロックが階層的に分割される際の上限の階層数を決定する(図2のステップST1)。
Next, the operation will be described.
First, the processing contents of the color moving image encoding apparatus in FIG. 1 will be described.
First, the
符号化ブロックの最大サイズの決め方として、例えば、全てのピクチャに対して、入力カラー画像の解像度に応じたサイズに決定する方法が考えられる。
また、入力カラー画像の局所的な動きの複雑さの違いをパラメータとして定量化しておき、動きの激しいピクチャでは最大サイズを小さな値に決定し、動きが少ないピクチャでは最大サイズを大きな値に決定する方法などが考えられる。
上限の階層数については、例えば、入力カラー画像の動きが激しい程、階層数を深くして、より細かい動きが検出できるように設定し、入力カラー画像の動きが少なければ、階層数を抑えるように設定する方法が考えられる。
As a method of determining the maximum size of the encoded block, for example, a method of determining a size corresponding to the resolution of the input color image for all the pictures can be considered.
Also, the difference in the complexity of the local motion of the input color image is quantified as a parameter, and the maximum size is determined to be a small value for pictures with intense motion, and the maximum size is determined to be a large value for pictures with little motion. Possible methods.
The upper limit of the number of hierarchies is set so that, for example, the more intense the input color image moves, the deeper the number of hierarchies, so that more detailed movement can be detected. The method of setting to can be considered.
また、符号化制御部1は、利用可能な1以上の符号化モード(M種類のイントラ符号化モード、N種類のインター符号化モード)の中から、階層的に分割される各々の符号化ブロックに対応する符号化モードを選択する(ステップST2)。
ただし、後述するブロック分割部2により階層的に分割された各々の符号化ブロックが更にパーティション単位に分割される場合は、各々のパーティションに対応する符号化モードを選択することが可能である。
以下、この実施の形態2では、各々の符号化ブロックが更にパーティション単位に分割されるものとして説明する。
符号化制御部1による符号化モードの選択方法は、公知の技術であるため詳細な説明を省略するが、例えば、利用可能な任意の符号化モードを用いて、符号化ブロックに対する符号化処理を実施して符号化効率を検証し、利用可能な複数の符号化モードの中で、最も符号化効率がよい符号化モードを選択する方法などがある。
In addition, the
However, when each coding block hierarchically divided by the
In the following, the second embodiment will be described assuming that each encoded block is further divided into partitions.
Since the encoding mode selection method by the
また、符号化制御部1は、各々の符号化ブロックに含まれているパーティション毎に、差分画像が圧縮される際に用いられる量子化パラメータ及び変換ブロックサイズを決定するとともに、予測処理が実施される際に用いられるイントラ予測パラメータ又はインター予測パラメータを決定する。
符号化制御部1は、量子化パラメータ及び変換ブロックサイズを示す変換ブロック分割フラグ含む予測差分符号化パラメータを変換・量子化部7、逆量子化・逆変換部8及び可変長符号化部13に出力する。また、予測差分符号化パラメータを必要に応じてイントラ予測部4に出力する。
Further, the
The
ブロック分割部2は、入力カラー画像を示す映像信号を入力すると、上記実施の形態1と同様に、その入力カラー画像を符号化制御部1により決定された最大サイズの符号化ブロックに分割するとともに、符号化制御部1により決定された上限の階層数に至るまで、その符号化ブロックを階層的に分割する。また、その符号化ブロックをパーティション単位に分割する(ステップST3)。
図9の例では、最大サイズの符号化ブロックは、第0階層の符号化ブロックB0であり、輝度成分で(L0,M0)のサイズを有している。
また、図9の例では、最大サイズの符号化ブロックB0を出発点として、4分木構造で、別途定める所定の深さまで階層的に分割を行うことによって、符号化ブロックBnを得ている。
When the video signal indicating the input color image is input, the
In the example of FIG. 9, the coding block of the maximum size is the coding block B 0 of the 0th layer, and has a size of (L 0 , M 0 ) as a luminance component.
In the example of FIG. 9, the encoding block B n is obtained by performing hierarchical division to a predetermined depth determined separately in a quadtree structure with the maximum size encoding block B 0 as a starting point. Yes.
符号化制御部1は、最大サイズの符号化ブロックに対して、例えば、図11に示すようなブロック分割状態を生成して、符号化ブロックBnを特定する。
図11(a)の斜線部分は分割後のパーティションの分布を示し、また、図11(b)は階層分割後のパーティションに符号化モードm(Bn)が割り当てられる状況を4分木グラフで示している。
図11(b)において、□で囲まれているノードが、符号化モードm(Bn)が割り当てられたノード(符号化ブロックBn)を示している。
また、符号化制御部1は、分割後のパーティションに対して、前述の通りに、変換ブロックの分割形状を決定する。
For example, the
11A shows the distribution of the partitions after the division, and FIG. 11B shows a situation where the encoding mode m (B n ) is assigned to the partition after the hierarchical division in a quadtree graph. Show.
In FIG. 11B, nodes surrounded by squares indicate nodes (encoded blocks B n ) to which the encoding mode m (B n ) is assigned.
Also, the
切替スイッチ3は、符号化制御部1がイントラ符号化モードを選択すると(m(Bn)∈INTRA)、上記実施の形態1と同様に、ブロック分割部2により分割された符号化ブロックBnに属するパーティションPi nをイントラ予測部4に出力し、符号化制御部1がインター符号化モードを選択すると(m(Bn)∈INTER)、その符号化ブロックBnに属するパーティションPi nを動き補償予測部5に出力する。
When the
イントラ予測部4は、切替スイッチ3から符号化ブロックBnに属するパーティションPi nを受けると(ステップST4)、上記実施の形態1と同様に、符号化制御部1により決定されたイントラ予測パラメータに基づいて、各パーティションPi nに対するイントラ予測処理を実施することにより、イントラ予測画像(Pi n)を生成する(ステップST5)。
ただし、色差成分のフレーム内予測は、図19に示すように、縦長のブロックに対して適用する。
イントラ予測画像(Pi n)の生成に用いられるイントラ予測パラメータは、カラー動画像復号装置側でも、全く同じイントラ予測画像(Pi n)を生成する必要があるため、可変長符号化部13によってビットストリームに多重化される。
Intra prediction unit 4 receives the partition P i n belonging from the
However, intra-frame prediction of chrominance components is applied to a vertically long block as shown in FIG.
Since the intra prediction parameters used to generate the intra-prediction image (P i n) is also a color video decoding apparatus side, it is necessary to generate exactly the same intra prediction image (P i n), the variable
なお、イントラ予測パラメータとして選択できるイントラ予測方向数は、処理対象となるブロックのサイズに応じて異なるよう構成してもよい。
大きいサイズのパーティションでは、イントラ予測の効率が低下するため、選択できるイントラ予測方向数を少なくし、小さいサイズのパーティションでは、選択できるイントラ予測方向数を多くするように構成することができる。
例えば、4×4画素パーティションや8×8画素パーティションでは34方向、16×16画素パーティションでは17方向、32×32画素パーティションでは9方向などのように構成してもよい。
Note that the number of intra prediction directions that can be selected as the intra prediction parameter may be configured to differ depending on the size of the block to be processed.
Since the efficiency of intra prediction decreases in a large size partition, the number of intra prediction directions that can be selected can be reduced, and the number of intra prediction directions that can be selected in a small size partition can be increased.
For example, a 4 × 4 pixel partition or an 8 × 8 pixel partition may be configured in 34 directions, a 16 × 16 pixel partition in 17 directions, a 32 × 32 pixel partition in 9 directions, or the like.
動き補償予測部5は、切替スイッチ3から符号化ブロックBnに属するパーティションPi nを受けると(ステップST4)、上記実施の形態1と同様に、符号化制御部1により決定されたインター予測パラメータに基づいて、各パーティションPi nに対するインター予測処理を実施することにより、インター予測画像(Pi n)を生成する(ステップST6)。
即ち、動き補償予測部5は、動き補償予測フレームメモリ12により格納されている1フレーム以上の参照画像を用いて、符号化制御部1から出力されたインター予測パラメータに基づいて、その符号化ブロックに対する動き補償予測処理を実施することで、インター予測画像(Pi n)を生成する。
インター予測画像(Pi n)の生成に用いられるインター予測パラメータは、カラー動画像復号装置側でも、全く同じインター予測画像(Pi n)を生成する必要があるため、可変長符号化部13によってビットストリームに多重化される。
When the motion
That is, the motion compensated
For inter prediction parameters to be used in generating the inter prediction image (P i n) is also a color video decoding apparatus side, it is necessary to generate exactly the same inter-prediction image (P i n), the variable
減算部6は、イントラ予測部4又は動き補償予測部5から予測画像(Pi n)を受けると、上記実施の形態1と同様に、ブロック分割部2により分割された符号化ブロックBnに属するパーティションPi nから、その予測画像(Pi n)を減算することで、その差分画像を示す予測差分信号ei nを生成する(ステップST7)。
When receiving the prediction image (P i n ) from the intra prediction unit 4 or the motion
変換・量子化部7は、減算部6が予測差分信号ei nを生成すると、上記実施の形態1と同様に、符号化制御部1で決定された変換ブロックサイズ単位で、その予測差分信号ei nに対する変換処理を実施するとともに、その予測差分符号化パラメータに含まれている量子化パラメータを用いて、その予測差分信号ei nの変換係数を量子化することで、量子化後の変換係数である差分画像の圧縮データを逆量子化・逆変換部8及び可変長符号化部13に出力する(ステップST8)。
即ち、変換・量子化部7は、減算部6が予測差分信号ei nを生成すると、予測差分信号ei nの輝度信号に対する変換・量子化処理を実施する場合、ブロック分割部2により分割された符号化ブロックをさらに階層的に分割して、分割後のブロック単位で輝度信号の変換・量子化処理を実施し、予測差分信号ei nの色差信号に対する変換・量子化処理を実施する場合、ブロック分割部2により分割された符号化ブロックの形状が正方形であれば、その符号化ブロックと同じサイズのブロック単位で色差信号の変換・量子化処理を実施し、その符号化ブロックの形状が長方形であれば、その符号化ブロックを1階層だけ分割して、分割後のブロック単位で色差信号の変換・量子化処理を実施する。
When the subtraction unit 6 generates the prediction difference signal e i n , the transform /
That is, when the subtraction unit 6 generates the prediction difference signal e i n , the transform /
逆量子化・逆変換部8は、変換・量子化部7から圧縮データを受けると、上記実施の形態1と同様に、符号化制御部1から出力された予測差分符号化パラメータに含まれている量子化パラメータを用いて、その圧縮データを逆量子化し、その予測差分符号化パラメータに含まれている変換ブロック分割フラグから特定される変換ブロックサイズ単位で、逆量子化の圧縮データの逆変換処理(例えば、逆DCT(逆離散コサイン変換)や逆DST(離散サイン変換)、逆KL変換等の逆変換処理)を実施することで、逆変換処理後の圧縮データを局所復号予測差分信号として加算部9に出力する(ステップST9)。
When receiving the compressed data from the transform /
加算部9は、逆量子化・逆変換部8から局所復号予測差分信号を受けると、上記実施の形態1と同様に、その局所復号予測差分信号と、イントラ予測部4又は動き補償予測部5により生成された予測画像(Pi n)を示す予測信号とを加算することで、局所復号パーティション画像ないしはその集まりとしての局所復号符号化ブロック画像(以下、「局所復号画像」と称する)を示す局所復号画像信号を生成し、その局所復号画像信号をループフィルタ部11に出力する(ステップST10)。
また、イントラ予測用メモリ10には、イントラ予測に用いるために、当該局所復号画像が格納される。
When receiving the local decoded prediction difference signal from the inverse quantization /
The intra prediction memory 10 stores the local decoded image for use in intra prediction.
ループフィルタ部11は、加算部9から局所復号画像信号を受けると、上記実施の形態1と同様に、その局所復号画像信号に含まれている符号化歪みを補償し、符号化歪み補償後の局所復号画像信号が示す局所復号画像を参照画像として動き補償予測フレームメモリ12に格納する(ステップST11)。
なお、ループフィルタ部11によるフィルタリング処理は、入力される局所復号画像信号の最大符号化ブロックあるいは個々の符号化ブロック単位で行ってもよいし、1画面分のマクロブロックに相当する局所復号画像信号が入力された後に1画面分まとめて行ってもよい。
When receiving the locally decoded image signal from the adder 9, the loop filter unit 11 compensates for the coding distortion included in the locally decoded image signal as in the first embodiment, and after the coding distortion compensation The local decoded image indicated by the local decoded image signal is stored in the motion compensated prediction frame memory 12 as a reference image (step ST11).
Note that the filtering process by the loop filter unit 11 may be performed in units of the maximum encoded block or individual encoded blocks of the input local decoded image signal, or a local decoded image signal corresponding to a macroblock for one screen. It may be performed for one screen after the input.
ステップST4〜ST10の処理は、ブロック分割部2により分割された全ての符号化ブロックBnに属するパーティションPi nに対する処理が完了するまで繰り返し実施される(ステップST12)。
可変長符号化部13は、上記実施の形態1と同様に、変換・量子化部7から出力された圧縮データと、符号化制御部1から出力された符号化モード及び変換ブロックサイズを示す変換ブロック分割フラグ含む予測差分符号化パラメータと、イントラ予測部4から出力されたイントラ予測パラメータ又は動き補償予測部5から出力されたインター予測パラメータとを可変長符号化して、その圧縮データ、符号化モード、予測差分符号化パラメータ、イントラ予測パラメータ/インター予測パラメータの符号化データが多重化されているビットストリームを生成する(ステップST13)。
なお、色差信号については変換ブロックが1:2の縦長形状となるため、2次元変換係数を1次元系列にスキャンする場合に、係数を縦2個に対して横1個の割合で斜め方向のラスタスキャンあるいは斜め方向のジグザグスキャンし、得られた1次元系列をエントロピー符号化するよう構成する。
Processing in step ST4~ST10 is repeatedly performed until the processing for the partitions P i n that belong to all the coding blocks B n divided by the
As with the first embodiment, the variable
For the color difference signal, the transform block has a vertically long shape of 1: 2, so when scanning a two-dimensional transform coefficient into a one-dimensional series, the coefficient is diagonally at a ratio of one horizontal to two vertical. A raster scan or an oblique zigzag scan is performed, and the obtained one-dimensional sequence is entropy-encoded.
次に、図7のカラー動画像復号装置の処理内容を説明する。
可変長復号部41は、図1のカラー動画像符号化装置により生成されたビットストリームを入力すると、上記実施の形態1と同様に、そのビットストリームに対する可変長復号処理を実施して(図8のステップST41)、1フレーム以上のピクチャから構成されるシーケンス単位あるいはピクチャ単位にフレームサイズを復号する。
可変長復号部41は、フレームサイズを復号すると、図1のカラー動画像符号化装置で決定された最大符号化ブロックサイズ(イントラ予測処理又は動き補償予測処理が実施される際の処理単位となる符号化ブロックの最大サイズ)と、分割階層数の上限(最大サイズの符号化ブロックから階層的に分割されている符号化ブロックの階層数)をカラー動画像符号化装置と同様の手順で決定する(ステップST42)。
Next, processing contents of the color moving image decoding apparatus in FIG. 7 will be described.
When the variable
When the variable
例えば、符号化ブロックの最大サイズが、全てのピクチャに対して、入力カラー画像の解像度に応じたサイズに決定されている場合には、先に復号しているフレームサイズに基づいて、図1のカラー動画像符号化装置と同様の手順で、符号化ブロックの最大サイズを決定する。
カラー動画像符号化装置によって、符号化ブロックの最大サイズ及び符号化ブロックの階層数がビットストリームに多重化されている場合には、そのビットストリームから符号化ブロックの最大サイズ及び符号化ブロックの階層数を復号する。
For example, when the maximum size of the encoding block is determined to be the size corresponding to the resolution of the input color image for all the pictures, the maximum size of the encoding block is determined based on the previously decoded frame size in FIG. The maximum size of the encoded block is determined by the same procedure as that of the color moving image encoding apparatus.
When the maximum size of the encoded block and the number of layers of the encoded block are multiplexed in the bit stream by the color moving image encoding device, the maximum size of the encoded block and the layer of the encoded block are encoded from the bit stream. Decode the number.
可変長復号部41は、符号化ブロックの最大サイズ及び符号化ブロックの階層数を決定すると、最大符号化ブロックを出発点にして、各符号化ブロックの階層的な分割状態を把握することで、ビットストリームに多重化されている符号化データの中で、各符号化ブロックに係る符号化データを特定し、その符号化データから各符号化ブロックに割り当てられている符号化モードを復号する。
そして、可変長復号部41は、その符号化モードに含まれている符号化ブロックBnに属するパーティションPi nの分割情報を参照して、ビットストリームに多重化されている符号化データの中で、各パーティションPi nに係る符号化データを特定する(ステップST43)。
可変長復号部41は、各パーティションPi nに係る符号化データから圧縮データ、変換ブロックサイズを示す変換ブロック分割フラグを含む予測差分符号化パラメータ、イントラ予測パラメータ/インター予測パラメータを可変長復号して、その圧縮データ及び予測差分符号化パラメータを逆量子化・逆変換部45に出力するとともに、符号化モード及びイントラ予測パラメータ/インター予測パラメータを切替スイッチ42に出力する(ステップST44)。
なお、色差信号については変換ブロックが1:2の縦長形状となるため、1次元系列となっている復号された変換係数を2次元系列に逆スキャンする場合に、係数を縦2個に対して横1個の割合で斜め方向のラスタスキャンあるいは斜め方向のジグザグスキャンし、得られた2次元系列を変換ブロックの係数とするよう構成する。
The variable
Then, the variable
Variable-
For the color difference signal, since the transform block has a vertically long shape of 1: 2, when a decoded transform coefficient that is a one-dimensional series is reverse-scanned to a two-dimensional series, the coefficients are divided into two longitudinal parts. An oblique raster scan or an oblique zigzag scan is performed at a ratio of one horizontal, and the obtained two-dimensional sequence is used as a coefficient of a transform block.
例えば、予測方向代表インデックスと予測方向差分インデックスがビットストリームに多重化されている場合には、その予測方向代表インデックスと予測方向差分インデックスをそれぞれの確率モデルに応じた算術復号などによりエントロピー復号し、その予測方向代表インデックスと予測方向差分インデックスからイントラ予測パラメータを特定するようにする。
これにより、カラー動画像符号化装置側で、イントラ予測パラメータの符号量を削減している場合でも、イントラ予測パラメータを正しく復号することができる。
For example, when the prediction direction representative index and the prediction direction difference index are multiplexed in the bitstream, the prediction direction representative index and the prediction direction difference index are entropy decoded by arithmetic decoding or the like according to each probability model, An intra prediction parameter is specified from the prediction direction representative index and the prediction direction difference index.
Thereby, even when the code amount of the intra prediction parameter is reduced on the color moving image encoding device side, the intra prediction parameter can be correctly decoded.
切替スイッチ42は、上記実施の形態1と同様に、可変長復号部41から出力された符号化ブロックBnに属するパーティションPi nの符号化モードがイントラ符号化モードである場合、可変長復号部41から出力されたイントラ予測パラメータをイントラ予測部43に出力し、その符号化モードがインター符号化モードである場合、可変長復号部41から出力されたインター予測パラメータを動き補償部44に出力する。
Similarly to the first embodiment, the
イントラ予測部43は、可変長復号部41からイントラ予測パラメータを受けると(ステップST45)、図1のイントラ予測部4と同様に、そのイントラ予測パラメータに基づいて、各パーティションPi nに対するイントラ予測処理を実施することにより、イントラ予測画像(Pi n)を生成する(ステップST46)。
即ち、イントラ予測部43は、可変長復号部41からイントラ予測パラメータを受けると、カラー動画像符号化装置の輝度信号イントラ予測部21と同様に、例えば、パーティションPi nに対するイントラ予測モードのインデックス値が2(平均値予測)である場合、上パーティションの隣接画素と左パーティションの隣接画素の平均値をパーティションPi n内の画素の予測値として予測画像を生成する。
あるいは、左に隣接する画素の平均値である左平均値予測値と、上に隣接する画素の平
均値である上平均値予測値を個別に算出し、左平均値予測値と上平均値予測値の平均値を平均値予測値としてもよい。
このようにすることで、演算回路において、割り算を用いずシフト演算で処理をすることができるため、回路規模を小さく抑えることができる。
また、左平均値予測値の3倍と上平均値予測値を加算して、2ビット右シフトするよう構成してもよい。
このようにすることで、予測ブロックの形状が縦長なので、より長い辺である左側の画素値により重みを加えた予測値とすることができ、かつ、シフト演算で実現が可能であるため、小さい回路規模で効率のよい予測を行うことができる。
イントラ予測モードのインデックス値が2(平均値予測)以外の場合には、インデックス値が示す予測方向ベクトルvp=(dx,dy)に基づいて、パーティションPi n内の画素の予測値を生成する。
イントラ予測部43は、同様の手順で、パーティションPi n内の輝度信号のすべての画素に対する予測画素を生成し、その生成したイントラ予測画像(Pi n)を出力する。
The
That is, the
Alternatively, the left average predicted value that is the average value of the pixels adjacent to the left and the upper average predicted value that is the average value of the pixels adjacent to the upper are calculated separately, and the left average predicted value and the upper average predicted The average value may be used as the average predicted value.
In this way, the arithmetic circuit can perform processing by shift operation without using division, so that the circuit scale can be reduced.
Further, it may be configured to add 3 times the left average value predicted value and the upper average value predicted value and shift right by 2 bits.
By doing so, since the shape of the prediction block is vertically long, it is possible to obtain a prediction value obtained by adding a weight to the pixel value on the left side, which is a longer side, and can be realized by a shift operation. Efficient prediction can be performed on a circuit scale.
If the index value of the intra prediction mode is other than 2 (average prediction), the prediction direction vector index value indicates v p = (dx, dy) on the basis of, generating a prediction value of the pixel in the partition P i n To do.
The
動き補償部44は、切替スイッチ42からインター予測パラメータを受けると、カラー動画像符号化装置の動き補償予測部5と同様に、そのインター予測パラメータに基づいて、各パーティションPi nに対するインター予測処理を実施することにより、インター予測画像(Pi n)を生成する(ステップST47)。
即ち、動き補償部44は、動き補償予測フレームメモリ49により格納されている1フレーム以上の参照画像を用いて、そのインター予測パラメータに基づくパーティションPi nに対する動き補償予測処理を実施することで、インター予測画像(Pi n)を生成する。
That is,
逆量子化・逆変換部45は、可変長復号部41から変換ブロックサイズを示す変換ブロック分割フラグを含む予測差分符号化パラメータを受けると、その予測差分符号化パラメータに含まれている量子化パラメータを用いて、その変換ブロック分割フラグに従って決定される変換ブロックサイズ毎に可変長復号部41から出力された符号化ブロックに係る圧縮データを逆量子化し、その予測差分符号化パラメータに含まれている変換ブロック分割フラグから特定される変換ブロックサイズ単位で、逆量子化後の圧縮データの逆変換処理(例えば、逆DCT(逆離散コサイン変換)や逆DST(逆離散サイン変換)、逆KL変換等の逆変換処理)を実施することで、逆変換処理後の圧縮データを復号予測差分信号(圧縮前の差分画像を示す信号)として加算部46に出力する(ステップST48)。
When the inverse quantization /
加算部46は、上記実施の形態1と同様に、逆量子化・逆変換部45から出力された復号予測差分信号と、イントラ予測部43又は動き補償部44により生成された予測画像(Pi n)を示す予測信号とを加算することで、復号パーティション画像ないしはその集まりとしての復号画像を示す復号画像信号を生成し、その復号画像信号をループフィルタ部48に出力する(ステップST49)。
また、イントラ予測用メモリ47には、イントラ予測に用いるために、当該復号画像が格納される。
Similarly to the first embodiment, the
The
ループフィルタ部48は、加算部46から復号画像信号を受けると、上記実施の形態1と同様に、その復号画像信号に含まれている符号化歪みを補償し、符号化歪み補償後の復号画像信号が示す復号画像を参照画像として動き補償予測フレームメモリ49に格納するとともに、その復号画像を再生画像として出力する(ステップST50)。
なお、ループフィルタ部48によるフィルタリング処理は、入力される復号画像信号の最大符号化ブロックあるいは個々の符号化ブロック単位で行ってもよいし、1画面分のマクロブロックに相当する復号画像信号が入力された後に1画面分まとめて行ってもよい。
ステップST43〜ST49の処理は、全ての符号化ブロックBnに属するパーティションPi nに対する処理が完了するまで繰り返し実施される(ステップST51)。
When receiving the decoded image signal from the adding
Note that the filtering processing by the
The processes in steps ST43 to ST49 are repeatedly performed until the processes for the partitions P i n belonging to all the coding blocks B n are completed (step ST51).
以上で明らかなように、この実施の形態2によれば、映像信号がYUV4:2:2フォーマットであっても、上記実施の形態1と同様に、カラー動画像符号化装置の色差信号における変換ブロックの分割形状が、符号化ブロック及び予測モードに応じて少ない階層数となる分割状態に一意に決定されるため、色差信号を効率よく圧縮することができる。
また、カラー動画像復号装置の色差信号における変換ブロックの分割形状が、符号化ブロック及び予測モードに応じて一意に決定されるので、カラー動画像符号化装置で生成されたビットストリームを好適に復号することができる。
As is apparent from the above, according to the second embodiment, even if the video signal is in the YUV 4: 2: 2 format, the conversion in the color difference signal of the color moving image coding apparatus is performed as in the first embodiment. Since the block division shape is uniquely determined as a division state having a small number of hierarchies according to the encoded block and the prediction mode, the color difference signal can be efficiently compressed.
Further, since the division shape of the transform block in the color difference signal of the color moving image decoding apparatus is uniquely determined according to the encoding block and the prediction mode, the bit stream generated by the color moving image encoding apparatus is preferably decoded. can do.
実施の形態3.
この実施の形態3では、カラー動画像符号化装置及びカラー動画像復号装置が、YUV4:2:2信号に対して、色差信号の変換ブロックの分割を輝度信号の変換ブロックの分割形状と共通にすることを特徴としている。その他の構成・処理は、上記実施の形態2と同様である。
In the third embodiment, the color moving image coding device and the color moving image decoding device share the division of the color difference signal conversion block with the divided shape of the luminance signal conversion block for the YUV 4: 2: 2 signal. It is characterized by doing. Other configurations and processes are the same as those in the second embodiment.
YUV4:2:2画像では、色差成分の画素数が縦方向については輝度成分と同じであるため、YUV4:2:0信号の色差成分と比べて高周波成分の比率が高いという特性がある。従って、YUV4:2:2画像に対しては、変換ブロックの分割形状を輝度成分と色差成分で共通化しても符号化効率が低下しない場合がある。
そこで、この実施の形態3では、YUV4:2:2画像における色差成分の変換ブロックの分割形状を輝度成分と共通化するために、輝度成分のブロックに対して、横方向のみ半分のサイズにした変換ブロックを適用する。
In the YUV 4: 2: 2 image, the number of pixels of the color difference component is the same as that of the luminance component in the vertical direction, and thus there is a characteristic that the ratio of the high frequency component is higher than the color difference component of the YUV 4: 2: 0 signal. Therefore, for a YUV 4: 2: 2 image, encoding efficiency may not decrease even if the divided shape of the transform block is shared by the luminance component and the color difference component.
Therefore, in the third embodiment, in order to share the divided shape of the color difference component conversion block in the YUV 4: 2: 2 image with the luminance component, the size of the luminance component block is made half the size only in the horizontal direction. Apply transform block.
即ち、例えば、輝度成分の変換ブロックサイズが縦32×横32画素の場合には、色差成分の変換ブロックサイズを縦32×横16画素、輝度成分の変換ブロックサイズが縦16×横16画素の場合には、色差成分の変換ブロックサイズを縦16×横8画素、輝度成分の変換ブロックサイズが縦8×横8画素の場合には、色差成分の変換ブロックサイズを縦8×横4画素とする。
例えば、輝度成分の変換ブロックサイズの最小値を4画素としている場合には、輝度成分の変換ブロックサイズが縦4×横4画素であれば、それらを4つまとめた縦8画素×横8画素の領域に対応する色差成分に対して、変換ブロックサイズを縦8×横4画素としたものを適用する。
このように構成すれば、YUV4:2:2画像に対して、色差成分のブロック分割形状の情報を符号化しなくても、効率よく符号化することができる。
That is, for example, when the luminance component conversion block size is 32 × 32 pixels, the chrominance component conversion block size is 32 × 16 pixels and the luminance component conversion block size is 16 × 16 pixels. In this case, when the color difference component conversion block size is 16 × 8 horizontal pixels and the luminance component conversion block size is 8 × 8 horizontal pixels, the color difference component conversion block size is 8 × 4 horizontal pixels. To do.
For example, when the minimum value of the conversion block size of the luminance component is 4 pixels, if the conversion block size of the luminance component is 4 × 4 pixels horizontally, 4 pixels are combined and 8 pixels × 8 pixels horizontally A conversion block size of 8 × 4 pixels is applied to the color difference component corresponding to the region.
With this configuration, it is possible to efficiently encode the YUV 4: 2: 2 image without encoding the information on the block division shape of the color difference component.
実施の形態4.
上記実施の形態1では、予測差分信号ei nの色差信号に対する変換・量子化処理を実施する際、符号化ブロックをさらに階層的に分割し、分割後の符号化ブロックである変換ブロックに対して変換・量子化処理を実施するようにしている。
色差信号は輝度信号と比べて高周波成分が少ないため、輝度信号と比べて相対的に大きい変換ブロックを適用することにより、変換ブロック毎のオーバヘッドが少なくなり、符号化性能が向上する。
Embodiment 4 FIG.
In
Since the color difference signal has fewer high-frequency components than the luminance signal, applying a relatively large transform block compared to the luminance signal reduces the overhead for each transform block and improves the encoding performance.
ただし、画像によって残差信号の波形特性が異なるため、必ずしも色差信号の変換ブロックの階層分割の階層数が少ない方がよいとは限らない。従って、画像に応じて色差信号の変換ブロックの階層分割の階層数を切り替えることにより、より符号化効率を向上させることができる場合がある。
そこで、この実施の形態4では、入力画像に応じて、輝度信号に係る最大のブロック分割階層数である輝度最大変換ブロック分割階層数を設定して、輝度信号のブロックを最大で輝度最大変換ブロック分割階層数まで階層的に分割し、色差信号のブロックを固定の階層数まで分割する形態と、色差信号についても、入力画像に応じて、色差信号に係る最大のブロック分割階層数である色差最大変換ブロック分割階層数を設定し、色差信号のブロックを最大で色差最大変換ブロック分割階層数まで階層的に分割してから、分割後のブロック単位で色差信号の圧縮処理を実施する形態について説明する。
However, since the waveform characteristics of the residual signal differ depending on the image, it is not always desirable that the number of hierarchical divisions of the color difference signal conversion block is small. Therefore, there are cases where the coding efficiency can be further improved by switching the number of layers of the color-division signal conversion block according to the image.
Therefore, in the fourth embodiment, the maximum luminance conversion block division hierarchy number which is the maximum number of block division hierarchies related to the luminance signal is set according to the input image, and the luminance signal block is the maximum luminance conversion block at maximum. Dividing up to the number of division layers and dividing the blocks of the color difference signals to a fixed number of layers, and the color difference signals also for the color difference signal, the maximum number of block division layers related to the color difference signals, depending on the input image An embodiment will be described in which the number of conversion block division layers is set, the color difference signal block is hierarchically divided up to the maximum number of color difference conversion block division layers, and then the color difference signal compression processing is performed in units of divided blocks. .
最初に、入力画像に応じて、輝度信号に係る最大のブロック分割階層数である輝度最大変換ブロック分割階層数を設定して、輝度信号のブロックを最大で輝度最大変換ブロック分割階層数まで階層的に分割し、色差信号のブロックを固定の階層数まで分割する形態について説明する。 First, in accordance with the input image, a maximum luminance conversion block division hierarchy number, which is the maximum number of block division hierarchies related to the luminance signal, is set, and the luminance signal block is hierarchical up to the maximum luminance conversion block division hierarchy number. A mode in which the color difference signal block is divided into a fixed number of layers will be described.
カラー動画像符号化装置の符号化制御部1は、例えば、入力画像に対するFFT(Fast Fourier Transform)を行うことで、その入力画像を周波数領域の画像に変換し、輝度信号に含まれている高周波数成分の比率を算出する。
そして、符号化制御部1は、輝度信号に含まれている高周波数成分の比率が高いほど、輝度最大変換ブロック分割階層数(MaxTUdepthY)として大きな値を設定する。
また、色差信号の変換ブロックの階層分割の階層数である色差変換ブロック分割階層数(FixTUdepthUV)を設定する。
The
Then, the
Also, the color difference conversion block division layer number (FixTUdepthUV), which is the number of layer divisions of the color difference signal conversion block, is set.
ここでは、符号化制御部1が、高周波数成分の含有率に応じて、輝度最大変換ブロック分割階層数(MaxTUdepthY)を設定するものを示したが、これは一例に過ぎず、他の方法で輝度最大変換ブロック分割階層数(MaxTUdepthY)を設定するようにしてもよい。
例えば、ユーザが入力画像を確認して、手動で輝度最大変換ブロック分割階層数(MaxTUdepthY)を設定するようにしてもよい。
なお、色差変換ブロック分割階層数(FixTUdepthUV)は固定の階層数であるため、予め設定されている値であってもよいが、ユーザが入力画像を確認して、手動で色差変換ブロック分割階層数(FixTUdepthUV)を設定するようにしてもよい。
Here, although the
For example, the user may check the input image and manually set the maximum luminance conversion block division hierarchy number (MaxTUdepthY).
Note that the color difference conversion block division hierarchy number (FixTUdepthUV) is a fixed hierarchy number, and may be a preset value. However, the user confirms the input image and manually checks the color difference conversion block division hierarchy number. (FixTUdepthUV) may be set.
符号化制御部1は、輝度最大変換ブロック分割階層数(MaxTUdepthY)を設定すると、その輝度最大変換ブロック分割階層数(MaxTUdepthY)及び色差変換ブロック分割階層数(FixTUdepthUV)を変換・量子化部7及び可変長符号化部13に出力する。
なお、符号化制御部1は、輝度信号の各符号化ブロックに対して、符号量と符号化誤差のバランスが最適になるように、輝度信号の変換ブロックが輝度最大変換ブロック分割階層数(MaxTUdepthY)を超えない階層数まで四分木状に階層的に分割する指示と、その変換ブロック分割の形状とを示す変換ブロック分割フラグ(ブロックの分割情報)を変換・量子化部7及び可変長符号化部13に出力する。
When the maximum luminance conversion block division layer number (MaxTUdepthY) is set, the
Note that the
変換・量子化部7は、符号化制御部1から輝度最大変換ブロック分割階層数(MaxTUdepthY)及び色差変換ブロック分割階層数(FixTUdepthUV)と、変換ブロック分割フラグを受けると、その輝度最大変換ブロック分割階層数(MaxTUdepthY)と変換ブロック分割フラグに基づいて、輝度信号の変換ブロックの階層数が輝度最大変換ブロック分割階層数(MaxTUdepthY)を超えない階層数の範囲で、輝度信号の変換ブロックを四分木状に分割し、それぞれの変換ブロックに対して変換・量子化処理を実施して、その処理結果である圧縮データを逆量子化・逆変換部8及び可変長符号化部13に出力する。
また、変換・量子化部7は、色差信号の変換ブロックの階層数が色差変換ブロック分割階層数(FixTUdepthUV)と一致するまで、色差信号の変換ブロックを四分木状に分割し、それぞれの変換ブロックに対して変換・量子化処理を実施して、その処理結果である圧縮データを逆量子化・逆変換部8及び可変長符号化部13に出力する。
When the transform /
Further, the transform /
可変長符号化部13は、上記実施の形態1で可変長符号化している情報に加えて、符号化制御部1から出力された輝度最大変換ブロック分割階層数(MaxTUdepthY)及び色差変換ブロック分割階層数(FixTUdepthUV)と変換ブロック分割フラグを例えばゴロム符号などによって可変長符号化し、その変換ブロック分割フラグ、輝度最大変換ブロック分割階層数(MaxTUdepthY)及び色差変換ブロック分割階層数(FixTUdepthUV)の符号化データをビットストリームのヘッダ部に多重化して出力する。
The variable
ここでは、符号化モードがイントラ符号化モード(フレーム内予測の符号化モード)であっても、インター符号化モード(フレーム間予測の符号化モード)であっても、輝度最大変換ブロック分割階層数(MaxTUdepthY)の値が同じであるものを示したが、符号化モードがイントラ符号化モードである場合の輝度最大変換ブロック分割階層数(MaxTUdepthY)の値と、符号化モードがインター符号化モードである場合の輝度最大変換ブロック分割階層数(MaxTUdepthY)の値が異なっていてもよい。
図20は符号化モードがイントラ符号化モードである場合の輝度最大変換ブロック分割階層数(MaxTUdepthYIpic)と、符号化モードがインター符号化モードである場合の輝度最大変換ブロック分割階層数(MaxTUdepthYPpic)と、色差変換ブロック分割階層数(FixTUdepthUV)とをシーケンスパラメータセットとして、ビットストリームのヘッダ部に多重化する例を示す説明図である。
この場合、ピクチャタイプまたはスライスタイプが、イントラタイプの場合、輝度最大変換ブロック分割階層数がMaxTUdepthYIpicとなり、インタータイプの場合、輝度最大変換ブロック分割階層数がMaxTUdepthYPpicとなる。
Here, even if the coding mode is an intra coding mode (coding mode for intra-frame prediction) or an inter coding mode (coding mode for inter-frame prediction), the number of luminance maximum transform block division layers (MaxTUdepthY) shows the same value, but when the coding mode is the intra coding mode, the value of the maximum luminance transform block division layer number (MaxTUdepthY) and the coding mode is the inter coding mode. In some cases, the value of the maximum luminance conversion block division hierarchy number (MaxTUdepthY) may be different.
FIG. 20 shows the maximum luminance transform block division hierarchy number (MaxTUdepthYIpic) when the encoding mode is the intra encoding mode, and the maximum luminance transform block division hierarchy number (MaxTUdepthYPpic) when the encoding mode is the inter encoding mode. FIG. 10 is an explanatory diagram illustrating an example of multiplexing the color difference conversion block division layer number (FixTUdepthUV) as a sequence parameter set in a header portion of a bitstream.
In this case, when the picture type or slice type is an intra type, the maximum luminance conversion block division hierarchy number is MaxTUdepthYIpic, and when the picture type or slice type is an inter type, the maximum luminance conversion block division hierarchy number is MaxTUdepthYPpic.
カラー動画像復号装置の可変長復号部41は、上記実施の形態1で可変長復号している情報に加えて、ビットストリームから輝度最大変換ブロック分割階層数(MaxTUdepthY)及び色差変換ブロック分割階層数(FixTUdepthUV)と変換ブロック分割フラグを可変長復号する。
逆量子化・逆変換部45は、可変長復号部41により可変長復号された輝度最大変換ブロック分割階層数(MaxTUdepthY)と変換ブロック分割フラグに基づいて、輝度信号の変換ブロックの階層数が輝度最大変換ブロック分割階層数(MaxTUdepthY)を超えない階層数の範囲で、輝度信号の変換ブロックを四分木状に分割し、それぞれの分割ブロック毎に逆量子化・逆変換処理を実施して圧縮を解除する。
また、色差信号の変換ブロックの階層数が色差変換ブロック分割階層数(FixTUdepthUV)と一致するまで、色差信号の変換ブロックを四分木状に分割し、それぞれの分割ブロック毎に逆量子化・逆変換処理を実施して圧縮を解除する。
The variable
The inverse quantization /
Also, the chrominance signal conversion block is divided into quadtrees until the number of chrominance signal conversion block layers matches the chrominance conversion block division layer number (FixTUdepthUV). Perform the conversion process to release the compression.
これにより、画像の特性に応じて適切に色差成分の変換ブロック分割階層数を決定することができ、符号化効率を向上させることができる。また、このようにして得られるビットストリームを好適に復号することができる。 As a result, the number of transform block division hierarchies of the color difference component can be appropriately determined according to the characteristics of the image, and the coding efficiency can be improved. Moreover, the bit stream obtained in this way can be suitably decoded.
なお、色差成分の残差信号の特性は、イントラ予測ブロックと動き補償予測ブロック(インター予測ブロック)で異なるため、色差成分の変換ブロックサイズについても、イントラ予測ブロックと動き補償予測ブロックで、それぞれ最適なサイズとすることにより、より符号化効率の高い圧縮を行うことができる。
よって、色差成分の変換ブロック階層数をイントラ予測ブロックと動き補償予測ブロックでそれぞれ異なる値に設定するようにしてもよい。
具体的には、符号化モードがイントラ符号化モードである場合、色差変換ブロック分割階層数(FixTUdepthUV)をフレーム内予測用の色差変換ブロック分割階層数として、色差成分イントラ変換ブロック階層数(FixTUdepthUVintra)を設定し、符号化モードがインター符号化モードである場合、色差変換ブロック分割階層数(FixTUdepthUV)をフレーム間予測用の色差変換ブロック分割階層数として、色差成分インター変換ブロック階層数(FixTUdepthUVinter)を設定する。
Since the characteristics of the residual signal of the chrominance component differ between the intra prediction block and the motion compensated prediction block (inter prediction block), the conversion block size of the chrominance component is also optimal for the intra prediction block and the motion compensated prediction block. By using a small size, compression with higher encoding efficiency can be performed.
Therefore, the number of transform block hierarchies of the color difference component may be set to a different value for each of the intra prediction block and the motion compensation prediction block.
Specifically, when the coding mode is the intra coding mode, the chrominance conversion block division hierarchy number (FixTUdepthUV) is set as the chrominance conversion block division hierarchy number for intra prediction (FixTUdepthUVintra). When the coding mode is the inter coding mode, the color difference conversion block division layer number (FixTUdepthUV) is set as the color difference conversion block division layer number for inter-frame prediction, and the color difference component inter conversion block layer number (FixTUdepthUVinter) is set. Set.
この場合、可変長符号化部13は、上記実施の形態1で可変長符号化している情報に加えて、符号化制御部1から出力された輝度最大変換ブロック分割階層数(MaxTUdepthY)と、色差成分イントラ変換ブロック階層数(FixTUdepthUVintra)と、色差成分インター変換ブロック階層数(FixTUdepthUVinter)と、変換ブロック分割フラグとを例えばゴロム符号などによって可変長符号化し、その輝度最大変換ブロック分割階層数(MaxTUdepthY)、色差成分イントラ変換ブロック階層数(FixTUdepthUVintra)、色差成分インター変換ブロック階層数(FixTUdepthUVinter)及び変換ブロック分割フラグの符号化データをビットストリームのヘッダ部に多重化して出力する。
In this case, the variable-
カラー動画像復号装置の可変長復号部41は、上記実施の形態1で可変長復号している情報に加えて、ビットストリームから輝度最大変換ブロック分割階層数(MaxTUdepthY)、色差成分イントラ変換ブロック階層数(FixTUdepthUVintra)、色差成分インター変換ブロック階層数(FixTUdepthUVinter)及び変換ブロック分割フラグを可変長復号する。
逆量子化・逆変換部45は、可変長復号部41により可変長復号された符号化モードがイントラ符号化モードであれば、色差信号の変換ブロックの階層数が色差成分イントラ変換ブロック階層数(FixTUdepthUVintra)と一致するまで、色差信号の変換ブロックを四分木状に分割し、それぞれの分割ブロック毎に逆量子化・逆変換処理を実施して圧縮を解除する。
一方、可変長復号部41により可変長復号された符号化モードがインター符号化モードであれば、色差信号の変換ブロックの階層数が色差成分インター変換ブロック階層数(FixTUdepthUVinter)と一致するまで、色差信号の変換ブロックを四分木状に分割し、それぞれの分割ブロック毎に逆量子化・逆変換処理を実施して圧縮を解除する。
The variable
The inverse quantization /
On the other hand, if the encoding mode variable-length decoded by the variable-
これにより、色差成分の変換ブロックの階層数をイントラ予測ブロックと動き補償予測ブロックでそれぞれ最適な値に設定することができ、より高い圧縮性能を実現することができる。また、このようにして生成されたビットストリームを好適に復号することができる。 As a result, the number of layers of the color difference component conversion block can be set to an optimum value for each of the intra prediction block and the motion compensation prediction block, and higher compression performance can be realized. In addition, the bitstream generated in this way can be suitably decoded.
次に、色差信号についても、入力画像に応じて、色差信号に係る最大のブロック分割階層数である色差最大変換ブロック分割階層数を設定し、色差信号のブロックを最大で色差最大変換ブロック分割階層数まで階層的に分割してから、分割後のブロック単位で色差信号の圧縮処理を実施する形態について説明する。
符号化制御部1は、輝度最大変換ブロック分割階層数(MaxTUdepthY)を設定する際、色差成分に含まれている高周波数成分の比率が低いほど、色差最大変換ブロック分割階層数(MaxTUdepthUV)を小さな値に設定するようにする。
色差最大変換ブロック分割階層数(MaxTUdepthUV)を小さな値に設定すると、輝度成分よりも相対的に大きい変換ブロックで符号化処理することになるので、より高い圧縮性能を実現することができる。
Next, for the chrominance signal, the maximum chrominance conversion block division layer number, which is the maximum number of block division tiers related to the chrominance signal, is set according to the input image, and the maximum chrominance signal conversion block division layer is set for the chrominance signal block. A description will be given of an embodiment in which color difference signal compression processing is performed in units of blocks after division after being divided hierarchically into numbers.
When the
When the maximum color difference transform block division layer number (MaxTUdepthUV) is set to a small value, encoding processing is performed with a transform block that is relatively larger than the luminance component, so that higher compression performance can be realized.
変換・量子化部7は、符号化制御部1から輝度最大変換ブロック分割階層数(MaxTUdepthY)及び色差最大変換ブロック分割階層数(MaxTUdepthUV)と、変換ブロック分割フラグを受けると、その輝度最大変換ブロック分割階層数(MaxTUdepthY)と変換ブロック分割フラグに基づいて、輝度信号の変換ブロックの階層数が輝度最大変換ブロック分割階層数(MaxTUdepthY)を超えない階層数の範囲で輝度信号の変換ブロックを四分木状に分割し、それぞれの変換ブロックに対して変換・量子化処理を実施して、その処理結果である圧縮データを逆量子化・逆変換部8及び可変長符号化部13に出力する。
また、変換・量子化部7は、その色差最大変換ブロック分割階層数(MaxTUdepthUV)と変換ブロック分割フラグに基づいて、色差信号の変換ブロックの階層数が色差最大変換ブロック分割階層数(MaxTUdepthUV)を超えない階層数の範囲で、色差信号の変換ブロックを四分木状に分割し、それぞれの変換ブロックに対して変換・量子化処理を実施して、その処理結果である圧縮データを逆量子化・逆変換部8及び可変長符号化部13に出力する。
When the transform /
Further, the transform /
可変長符号化部13は、上記実施の形態1で可変長符号化している情報に加えて、符号化制御部1から出力された輝度最大変換ブロック分割階層数(MaxTUdepthY)及び色差最大変換ブロック分割階層数(MaxTUdepthUV)と変換ブロック分割フラグを例えばゴロム符号などによって可変長符号化し、その変換ブロック分割フラグ、輝度最大変換ブロック分割階層数(MaxTUdepthY)及び色差最大変換ブロック分割階層数(MaxTUdepthUV)の符号化データをビットストリームのヘッダ部に多重化して出力する。
The variable
カラー動画像復号装置の可変長復号部41は、上記実施の形態1で可変長復号している情報に加えて、ビットストリームから輝度最大変換ブロック分割階層数(MaxTUdepthY)及び色差最大変換ブロック分割階層数(MaxTUdepthUV)と変換ブロック分割フラグを可変長復号する。
逆量子化・逆変換部45は、可変長復号部41により可変長復号された輝度最大変換ブロック分割階層数(MaxTUdepthY)と変換ブロック分割フラグに基づいて、輝度信号の変換ブロックの階層数が輝度最大変換ブロック分割階層数(MaxTUdepthY)を超えない階層数の範囲で、輝度信号の変換ブロックを四分木状に分割し、それぞれの分割ブロック毎に逆量子化・逆変換処理を実施して圧縮を解除する。
また、色差信号の変換ブロックの階層数が色差最大変換ブロック分割階層数(MaxTUdepthUV)を超えない階層数の範囲で、色差信号の変換ブロックを四分木状に分割し、それぞれの分割ブロック毎に逆量子化・逆変換処理を実施して圧縮を解除する。
The variable
The inverse quantization /
Also, the chrominance signal conversion block is divided into quadrants within the range of the number of chrominance signal conversion block layers that does not exceed the maximum chrominance conversion block division layer number (MaxTUdepthUV). Perform inverse quantization / inverse transform processing to release compression.
ここでは、符号化ブロックの符号化モードがイントラ符号化モードであっても、インター符号化モードであっても、色差最大変換ブロック分割階層数(MaxTUdepthUV)の値が同じであるものを示したが、色差信号はイントラ予測モードが限られており、イントラ符号化モードの場合には残差成分のエネルギーが大きくなりやすいため、符号化ブロックの符号化モードがイントラ符号化モードである場合の色差最大変換ブロック分割階層数(MaxTUdepthUV)の値と、符号化ブロックの符号化モードがインター符号化モードである場合の色差最大変換ブロック分割階層数(MaxTUdepthUV)の値を異なるように構成すれば、さらに圧縮効率を向上させることができる。
図21はピクチャタイプまたはスライスタイプがイントラ符号化ピクチャである場合の輝度最大変換ブロック分割階層数(MaxTUdepthYIpic)と、ピクチャタイプまたはスライスタイプがインター符号化モードである場合の輝度最大変換ブロック分割階層数(MaxTUdepthYPpic)と、符号化ブロックの符号化モードがイントラ符号化モードである場合の色差最大変換ブロック分割階層数(MaxTUdepthUVintra)と、符号化ブロックの符号化モードがインター符号化モードである場合の色差最大変換ブロック分割階層数(MaxTUdepthUVinter)とをシーケンスパラメータセットとして、ビットストリームのヘッダ部に多重化する例を示す説明図である。
この場合、ピクチャタイプまたはスライスタイプが、イントラタイプの場合、輝度最大変換ブロック分割階層数がMaxTUdepthYIpicとなり、インタータイプの場合、輝度最大変換ブロック分割階層数がMaxTUdepthYPpicとなる。また、ピクチャまたはスライス内の符号化ブロックがイントラ符号化モードである場合の色差最大変換ブロック分割階層数がMaxTUdepthUVintraとなり、ピクチャまたはスライス内の符号化ブロックがインター符号化モードである場合の色差最大変換ブロック分割階層数がMaxTUdepthUVinterとなる。
Here, although the coding mode of the coding block is the intra coding mode or the inter coding mode, the value of the maximum color difference transform block division layer number (MaxTUdepthUV) is shown. The color difference signal has a limited intra prediction mode, and in the case of the intra coding mode, the residual component energy tends to be large, so the maximum color difference when the coding mode of the coding block is the intra coding mode. If the value of the transform block division layer number (MaxTUdepthUV) and the value of the color difference maximum transform block division layer number (MaxTUdepthUV) when the coding mode of the coding block is the inter coding mode are configured to be different, further compression is performed. Efficiency can be improved.
FIG. 21 shows the maximum luminance transform block division hierarchy number (MaxTUdepthYIpic) when the picture type or slice type is an intra-coded picture, and the maximum luminance conversion block division hierarchy number when the picture type or slice type is an inter coding mode. (MaxTUdepthYPpic), color difference maximum transform block division layer number (MaxTUdepthUVintra) when the coding mode of the coding block is the intra coding mode, and color difference when the coding mode of the coding block is the inter coding mode It is explanatory drawing which shows the example multiplexed with the maximum conversion block division | segmentation hierarchy number (MaxTUdepthUVinter) as a sequence parameter set in the header part of a bit stream.
In this case, when the picture type or slice type is an intra type, the maximum luminance conversion block division hierarchy number is MaxTUdepthYIpic, and when the picture type or slice type is an inter type, the maximum luminance conversion block division hierarchy number is MaxTUdepthYPpic. In addition, when the coding block in the picture or slice is in the intra coding mode, the maximum color difference conversion block division layer number is MaxTUdepthUVintra, and the maximum color difference conversion is performed when the coding block in the picture or slice is in the inter coding mode. The number of block division layers is MaxTUdepthUVinter.
なお、符号化モードがイントラ符号化モードである場合の色差最大変換ブロック分割階層数(MaxTUdepthUVintra)や、符号化モードがインター符号化モードである場合の色差最大変換ブロック分割階層数(MaxTUdepthUVinter)が、輝度最大変換ブロック分割階層数(MaxTUdepthY)との差分値より得られるTintra及びTinterとして、可変長符号化するように構成してもよい。
Tintra = MaxTUdepthY - MaxTUdepthUVintra
Tinter = MaxTUdepthY - MaxTUdepthUVinter
Note that the maximum color difference transform block division layer number (MaxTUdepthUVintra) when the coding mode is the intra coding mode, and the maximum color difference transform block division layer number (MaxTUdepthUVinter) when the coding mode is the inter coding mode, Variable length coding may be used as the Tintra and Tinter obtained from the difference value from the maximum luminance conversion block division hierarchy number (MaxTUdepthY).
Tintra = MaxTUdepthY-MaxTUdepthUVintra
Tinter = MaxTUdepthY-MaxTUdepthUVinter
復号側では、符号化ブロックの符号化モードがイントラ符号化モードである場合の色差最大変換ブロック分割階層数(MaxTUdepthUVintra)や、符号化ブロックの符号化モードがインター符号化モードである場合の色差最大変換ブロック分割階層数(MaxTUdepthUVinter)は、次式によって得られる。
MaxTUdepthUVintra = max(0, MaxTUdepthY - Tintra)
MaxTUdepthUVinter = max(0, MaxTUdepthY - Tinter)
On the decoding side, the maximum color difference when the coding mode of the coding block is the intra coding mode, the maximum number of color difference transform block division layers (MaxTUdepthUVintra), and the coding mode of the coding block is the inter coding mode. The number of transform block division layers (MaxTUdepthUVinter) is obtained by the following equation.
MaxTUdepthUVintra = max (0, MaxTUdepthY-Tintra)
MaxTUdepthUVinter = max (0, MaxTUdepthY-Tinter)
また、例えば、図22に示すように、色差最大変換ブロック分割階層数を、輝度最大変換ブロック分割階層数をイントラ符号化ピクチャとインター符号化ピクチャとで異なる値として、符号化モードがイントラ符号化モードである場合の色差最大変換ブロック分割階層数(MaxTUdepthUVIpic)と、符号化モードがインター符号化モードである場合の色差最大変換ブロック分割階層数(MaxTUdepthUVPpic)をヘッダに多重化するように構成してもよい。
この場合、ピクチャタイプまたはスライスタイプがイントラタイプの場合、色差最大変換ブロック分割階層数がMaxTUdepthUVIpicとなり、インタータイプの場合、色差最大変換ブロック分割階層数がMaxTUdepthUVPpicとなる。
Also, for example, as shown in FIG. 22, the coding mode is set to intra coding by setting the maximum number of color difference transform block division layers and the maximum luminance conversion block division layer number to different values for an intra-coded picture and an inter-coded picture. The chrominance maximum transform block division layer number (MaxTUdepthUVIpic) in the mode and the chrominance maximum conversion block division layer number (MaxTUdepthUVPpic) when the encoding mode is the inter coding mode are multiplexed in the header. Also good.
In this case, when the picture type or slice type is an intra type, the maximum color difference conversion block division hierarchy number is MaxTUdepthUVIpic, and when the picture type or slice type is an inter type, the maximum color difference conversion block division hierarchy number is MaxTUdepthUVPpic.
なお、本願発明はその発明の範囲内において、各実施の形態の自由な組み合わせ、あるいは各実施の形態の任意の構成要素の変形、もしくは各実施の形態において任意の構成要素の省略が可能である。 In the present invention, within the scope of the invention, any combination of the embodiments, or any modification of any component in each embodiment, or omission of any component in each embodiment is possible. .
1 符号化制御部(符号化制御手段)、2 ブロック分割部(ブロック分割手段)、3 切替スイッチ(予測画像生成手段)、4 イントラ予測部(予測画像生成手段)、5 動き補償予測部(予測画像生成手段)、6 減算部(差分画像生成手段)、7 変換・量子化部(画像圧縮手段)、8 逆量子化・逆変換部、9 加算部、10 イントラ予測用メモリ、11 ループフィルタ部、12 動き補償予測フレームメモリ、13 可変長符号化部(可変長符号化手段)、21 輝度信号イントラ予測部、22 切替スイッチ、23 色差信号方向性イントラ予測部、24 輝度相関利用色差信号予測部、31 平滑化輝度参照画素縮小部、32 相関算出部、33 色差予測画像生成部、41 可変長復号部(可変長復号手段)、42 切替スイッチ(予測画像生成手段)、43 イントラ予測部(予測画像生成手段)、44 動き補償部(予測画像生成手段)、45 逆量子化・逆変換部(差分画像生成手段)、46 加算部(復号画像生成手段)、47 イントラ予測用メモリ、48 ループフィルタ部、49 動き補償予測フレームメモリ。 DESCRIPTION OF SYMBOLS 1 Coding control part (coding control means), 2 block division part (block division means), 3 changeover switch (prediction image generation means), 4 intra prediction part (prediction image generation means), 5 motion compensation prediction part (prediction) Image generation means), 6 subtraction section (difference image generation means), 7 transform / quantization section (image compression means), 8 inverse quantization / inverse transform section, 9 addition section, 10 intra prediction memory, 11 loop filter section , 12 motion compensation prediction frame memory, 13 variable length coding unit (variable length coding means), 21 luminance signal intra prediction unit, 22 changeover switch, 23 color difference signal directional intra prediction unit, 24 luminance correlation use color difference signal prediction unit 31 smoothing luminance reference pixel reduction unit, 32 correlation calculation unit, 33 color difference prediction image generation unit, 41 variable length decoding unit (variable length decoding means), 42 changeover switch ( Measurement image generation means), 43 Intra prediction section (prediction image generation means), 44 Motion compensation section (prediction image generation means), 45 Inverse quantization / inverse transform section (difference image generation means), 46 Addition section (decoded image generation) Means), 47 intra prediction memory, 48 loop filter section, 49 motion compensated prediction frame memory.
Claims (6)
上記画像圧縮手段は、予め、輝度信号に係る最大のブロック分割階層数である輝度最大変換ブロック分割階層数と、色差信号に係る最大のブロック分割階層数である色差最大変換ブロック分割階層数とが設定されており、上記差分画像生成手段により生成された差分画像を圧縮する際、上記差分画像における輝度信号のブロックを最大で上記輝度最大変換ブロック分割階層数まで階層的に分割してから、分割後のブロック単位で輝度信号の圧縮処理を実施し、上記差分画像における色差信号のブロックを最大で上記色差最大変換ブロック分割階層数まで階層的に分割してから、分割後のブロック単位で色差信号の圧縮処理を実施し、
上記可変長符号化手段は、上記画像圧縮手段によるブロックの分割情報、上記輝度最大変換ブロック分割階層数及び上記色差最大変換ブロック分割階層数を可変長符号化して、上記分割情報、上記輝度最大変換ブロック分割階層数及び上記色差最大変換ブロック分割階層数の符号化データを上記ビットストリームに多重化する
ことを特徴とするカラー動画像符号化装置。 Corresponding to a block dividing unit that divides an input color image into maximum coding blocks of a predetermined size and hierarchically divides the maximum coding block into coding blocks, and a coding block divided by the block dividing unit. A prediction image corresponding to the encoding mode selected by the encoding control unit is applied to the encoding control unit that selects the encoding mode, and the encoding block divided by the block dividing unit. Prediction image generation means for generating the difference image generation means for generating a difference image between the encoded block divided by the block division means and the prediction image generated by the prediction image generation means, and the difference image generation means An image compression unit that compresses the difference image generated by the output and outputs compressed data of the difference image; and Variable length code for variable length coding the output compressed data and the coding mode selected by the coding control means to generate a bit stream in which the compressed data and the coded data of the coding mode are multiplexed Comprising
The image compression means includes a luminance maximum conversion block division hierarchy number that is the maximum number of block division layers related to the luminance signal and a color difference maximum conversion block division hierarchy number that is the maximum block division hierarchy number related to the color difference signal. When the difference image generated by the difference image generation means is set and compressed, the luminance signal block in the difference image is divided hierarchically up to the maximum luminance conversion block division hierarchy number, and then divided. The luminance signal compression process is performed in units of subsequent blocks, and the color difference signal block in the difference image is hierarchically divided up to the maximum number of color difference conversion block division layers, and then the color difference signal in units of the divided blocks The compression process of
The variable length coding means performs variable length coding on the block division information by the image compression means, the maximum luminance conversion block division hierarchy number and the maximum color difference conversion block division hierarchy number, and the division information and the maximum luminance conversion. A color moving image encoding apparatus, wherein encoded data of the number of block division layers and the maximum number of color difference conversion block division layers is multiplexed into the bit stream.
上記可変長符号化手段は、上記画像圧縮手段によるブロックの分割情報、上記輝度最大変換ブロック分割階層数、上記フレーム内予測処理用の色差最大変換ブロック分割階層数及び上記フレーム間予測処理用の色差最大変換ブロック分割階層数を可変長符号化して、上記分割情報、上記輝度最大変換ブロック分割階層数、上記フレーム内予測処理用の色差最大変換ブロック分割階層数及び上記フレーム間予測処理用の色差最大変換ブロック分割階層数の符号化データを上記ビットストリームに多重化する
ことを特徴とする請求項1記載のカラー動画像符号化装置。 When the color difference maximum conversion block division hierarchy number for the intra-frame prediction process and the color difference maximum conversion block division hierarchy number for the inter-frame prediction process are set as the color difference maximum conversion block division hierarchy number, If the coding mode selected by the conversion control means is a mode in which intra-frame prediction is performed, the color difference signal block in the difference image is hierarchically divided up to the maximum number of color difference conversion block division layers for the intra-frame prediction processing. If the coding mode is a mode in which inter-frame prediction is performed, the block of the color difference signal in the difference image is hierarchically divided up to the maximum number of color difference transform block division layers for the inter-frame prediction process,
The variable length coding means includes block division information by the image compression means, the maximum luminance conversion block division hierarchy number, the maximum color difference conversion block division hierarchy number for the intra-frame prediction process, and the color difference for the inter-frame prediction process. The maximum number of transform block division layers is variable-length encoded, and the division information, the maximum luminance conversion block division layer number, the maximum color difference conversion block division layer number for the intra-frame prediction process, and the maximum color difference for the inter-frame prediction process. The color moving image encoding apparatus according to claim 1, wherein encoded data of the number of transform block division layers is multiplexed into the bit stream.
上記可変長復号手段は、上記ビットストリームに多重化された符号化データからブロックの分割情報、輝度最大変換ブロック分割階層数及び色差最大変換ブロック分割階層数を可変長復号し、
上記差分画像生成手段は、上記可変長復号手段により可変長復号されたブロックの分割情報及び輝度最大変換ブロック分割階層数から差分画像における輝度信号に対する圧縮処理単位のブロックを特定し、上記ブロック毎に輝度信号に対する圧縮の解除処理を実施して、圧縮前の差分画像における輝度信号を復号するとともに、上記可変長復号手段により可変長復号されたブロックの分割情報及び色差最大変換ブロック分割階層数から差分画像における色差信号に対する圧縮処理単位のブロックを特定し、上記ブロック毎に色差信号に対する圧縮の解除処理を実施して、圧縮前の差分画像における色差信号を復号する
ことを特徴とするカラー動画像復号装置。 Variable length decoding means for variable length decoding compressed data and coding modes related to each coding block hierarchically divided from the encoded data multiplexed into the bitstream, and variable length decoding by the variable length decoding means A prediction image generation unit that performs a prediction process corresponding to the encoding mode related to the decoded encoding block and generates a prediction image for the encoding block, and an encoding variable-length decoded by the variable-length decoding unit A difference image generation unit that generates a pre-compression difference image from the compressed data related to the block, a difference image generated by the difference image generation unit, and a prediction image generated by the prediction image generation unit are added to obtain a decoded image And a decoded image generating means for generating
The variable length decoding means variable length decodes block division information, luminance maximum conversion block division hierarchy number and color difference maximum conversion block division hierarchy number from the encoded data multiplexed in the bitstream,
The difference image generation means specifies a block of a compression processing unit for the luminance signal in the difference image from the division information of the block variable-length decoded by the variable-length decoding means and the maximum luminance conversion block division hierarchy number, and for each block The luminance signal in the difference image before compression is decoded by performing compression release processing on the luminance signal, and the difference is obtained from the division information of the block variable-length decoded by the variable-length decoding unit and the maximum number of color difference conversion block division layers. A color moving image decoding characterized by identifying a block of a compression processing unit for a color difference signal in an image, performing a decompression process on the color difference signal for each block, and decoding a color difference signal in a difference image before compression apparatus.
差分画像生成手段は、上記可変長復号手段により可変長復号された符号化モードがフレーム内予測を行うモードであれば、上記可変長復号手段により可変長復号された分割情報及びフレーム内予測処理用の色差最大変換ブロック分割階層数から差分画像における色差信号に対する圧縮処理単位のブロックを特定し、上記符号化モードがフレーム間予測を行うモードであれば、上記分割情報及び上記フレーム間予測処理用の色差最大変換ブロック分割階層数から差分画像における色差信号に対する圧縮処理単位のブロックを特定する
ことを特徴とする請求項3記載のカラー動画像復号装置。 The variable length decoding means variably encodes the encoded data of the maximum color difference conversion block division layer number for intra-frame prediction processing and the maximum difference of color difference conversion block division layer for inter-frame prediction processing from the encoded data multiplexed in the bitstream. Long decoding,
If the encoding mode that has been variable-length decoded by the variable-length decoding unit is a mode that performs intra-frame prediction, the difference image generation unit is for the division information and the intra-frame prediction process that are variable-length decoded by the variable-length decoding unit. The block of the compression processing unit for the color difference signal in the difference image is identified from the maximum number of color difference conversion block division layers, and if the encoding mode is a mode for performing inter-frame prediction, the division information and the inter-frame prediction processing are used. The color moving image decoding apparatus according to claim 3, wherein a block of a compression processing unit for a color difference signal in a difference image is specified from the number of color difference maximum conversion block division layers.
上記画像圧縮処理ステップでは、予め、輝度信号に係る最大のブロック分割階層数である輝度最大変換ブロック分割階層数と、色差信号に係る最大のブロック分割階層数である色差最大変換ブロック分割階層数とが設定されており、上記差分画像生成処理ステップで生成された差分画像を圧縮する際、上記差分画像における輝度信号のブロックを最大で上記輝度最大変換ブロック分割階層数まで階層的に分割してから、分割後のブロック単位で輝度信号の圧縮処理を実施し、上記差分画像における色差信号のブロックを最大で上記色差最大変換ブロック分割階層数まで階層的に分割してから、分割後のブロック単位で色差信号の圧縮処理を実施し、
上記可変長符号化処理ステップでは、上記画像圧縮処理ステップでのブロックの分割情報、上記輝度最大変換ブロック分割階層数及び上記色差最大変換ブロック分割階層数を可変長符号化して、上記分割情報、上記輝度最大変換ブロック分割階層数及び上記色差最大変換ブロック分割階層数の符号化データを上記ビットストリームに多重化する
ことを特徴とするカラー動画像符号化方法。 A block dividing unit that divides the input color image into maximum encoded blocks of a predetermined size and hierarchically divides the maximum encoded block into encoded blocks; and an encoding control unit includes the block A coding control processing step for selecting a coding mode corresponding to the coding block divided in the division processing step, and a prediction image generation means for the coding block divided in the block division processing step for the code A prediction image generation processing step for generating a prediction image by performing prediction processing corresponding to the encoding mode selected in the conversion control processing step, and a coding block in which the difference image generation means is divided in the block division processing step And a difference image generation processing step for generating a difference image between the prediction image generated in the prediction image generation processing step. And an image compression means for compressing the difference image generated in the difference image generation processing step and outputting compressed data of the difference image; and a variable length encoding means for the image compression processing. The compressed data output in the step and the encoding mode selected in the encoding control processing step are variable length encoded to generate a bit stream in which the compressed data and the encoded data in the encoding mode are multiplexed. Variable length encoding processing step,
In the image compression processing step, the luminance maximum conversion block division hierarchy number that is the maximum block division hierarchy number related to the luminance signal, and the color difference maximum conversion block division hierarchy number that is the maximum block division hierarchy number related to the color difference signal, Is set, and when the difference image generated in the difference image generation processing step is compressed, the luminance signal block in the difference image is hierarchically divided up to the maximum luminance conversion block division hierarchy number. , The luminance signal compression processing is performed in units of the divided blocks, and the blocks of the color difference signals in the difference image are hierarchically divided up to the maximum number of color difference conversion block division layers, and then in units of blocks after the division Performs color difference signal compression processing,
In the variable length coding processing step, the block division information in the image compression processing step, the luminance maximum conversion block division layer number and the color difference maximum conversion block division layer number are variable length encoded, and the division information, A color moving image encoding method comprising: multiplexing encoded data of the maximum luminance conversion block division hierarchy number and the maximum color difference conversion block division hierarchy number into the bitstream.
上記可変長復号手段は、上記ビットストリームに多重化された符号化データからブロックの分割情報、輝度最大変換ブロック分割階層数及び色差最大変換ブロック分割階層数を可変長復号し、
上記差分画像生成処理ステップでは、上記可変長復号処理ステップで可変長復号されたブロックの分割情報及び輝度最大変換ブロック分割階層数から差分画像における輝度信号に対する圧縮処理単位のブロックを特定し、上記ブロック毎に輝度信号に対する圧縮の解除処理を実施して、圧縮前の差分画像における輝度信号を復号するとともに、上記可変長復号処理ステップで可変長復号されたブロックの分割情報及び色差最大変換ブロック分割階層数から差分画像における色差信号に対する圧縮処理単位のブロックを特定し、上記ブロック毎に色差信号に対する圧縮の解除処理を実施して、圧縮前の差分画像における色差信号を復号する
ことを特徴とするカラー動画像復号方法。 A variable-length decoding means for variable-length decoding the compressed data and the coding mode associated with each coding block hierarchically divided from the coded data multiplexed in the bitstream; Prediction image generation processing step in which the image generation means performs a prediction process corresponding to the encoding mode related to the encoded block subjected to variable length decoding in the variable length decoding processing step, and generates a predicted image for the encoded block The difference image generation means generates a difference image before compression from the compressed data related to the encoded block variable length decoded in the variable length decoding processing step, and the decoded image generation means The difference image generated in the difference image generation processing step is added to the prediction image generated in the prediction image generation processing step to obtain a decoded image And a decoded image generation processing step of generating a,
The variable length decoding means variable length decodes block division information, luminance maximum conversion block division hierarchy number and color difference maximum conversion block division hierarchy number from the encoded data multiplexed in the bitstream,
In the difference image generation processing step, the block of the compression processing unit for the luminance signal in the difference image is specified from the division information of the block variable-length decoded in the variable-length decoding processing step and the luminance maximum transform block division hierarchy number, and the block The decoding process for the luminance signal is performed every time, the luminance signal in the difference image before compression is decoded, and the division information of the block variable-length decoded in the variable-length decoding processing step and the color difference maximum conversion block division hierarchy A block that identifies a block of a compression processing unit for a color difference signal in a difference image from the number, performs a decompression process on the color difference signal for each block, and decodes the color difference signal in the difference image before compression Video decoding method.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011274543A JP2013126145A (en) | 2011-12-15 | 2011-12-15 | Color moving image encoding device, color moving image decoding device, color moving image encoding method, and color moving image decoding method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011274543A JP2013126145A (en) | 2011-12-15 | 2011-12-15 | Color moving image encoding device, color moving image decoding device, color moving image encoding method, and color moving image decoding method |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2013126145A true JP2013126145A (en) | 2013-06-24 |
Family
ID=48777151
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011274543A Pending JP2013126145A (en) | 2011-12-15 | 2011-12-15 | Color moving image encoding device, color moving image decoding device, color moving image encoding method, and color moving image decoding method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2013126145A (en) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018116802A1 (en) * | 2016-12-22 | 2018-06-28 | シャープ株式会社 | Image decoding device, image coding device, and image predicting device |
CN114554221A (en) * | 2017-07-19 | 2022-05-27 | 三星电子株式会社 | Encoding method and apparatus therefor, decoding method and apparatus therefor |
-
2011
- 2011-12-15 JP JP2011274543A patent/JP2013126145A/en active Pending
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018116802A1 (en) * | 2016-12-22 | 2018-06-28 | シャープ株式会社 | Image decoding device, image coding device, and image predicting device |
CN114554221A (en) * | 2017-07-19 | 2022-05-27 | 三星电子株式会社 | Encoding method and apparatus therefor, decoding method and apparatus therefor |
CN114554221B (en) * | 2017-07-19 | 2023-08-01 | 三星电子株式会社 | Encoding method and apparatus therefor, decoding method and apparatus therefor |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6863669B2 (en) | Image coding device, image coding method, image decoding device and image decoding method | |
JP6005087B2 (en) | Image decoding apparatus, image decoding method, image encoding apparatus, image encoding method, and data structure of encoded data | |
KR101728285B1 (en) | Image encoding device, image encoding method, image decoding device, image decoding method and recording medium | |
JP5551837B2 (en) | Image decoding apparatus, image encoding apparatus, image decoding method, and image encoding method | |
KR101749855B1 (en) | Color image encoding apparatus, color image decoding apparatus, color image encoding method, and color image decoding method | |
JP6469048B2 (en) | Moving picture encoding apparatus, moving picture encoding method, moving picture decoding apparatus, moving picture decoding method, moving picture encoded data, and recording medium | |
WO2014049981A1 (en) | Video encoding device, video decoding device, video encoding method and video decoding method | |
WO2013114992A1 (en) | Color video encoding device, color video decoding device, color video encoding method, and color video decoding method | |
WO2012176387A1 (en) | Video encoding device, video decoding device, video encoding method and video decoding method | |
WO2013065678A1 (en) | Dynamic image encoding device, dynamic image decoding device, method for encoding dynamic image and method for decoding dynamic image | |
JP2014007643A (en) | Moving picture encoder, moving picture decoder, moving picture encoding method, and moving picture decoding method | |
JP2013168913A (en) | Video encoder, video decoder, video encoding method and video decoding method | |
JP2013126145A (en) | Color moving image encoding device, color moving image decoding device, color moving image encoding method, and color moving image decoding method | |
JP2014204311A (en) | Color image encoding device, color image decoding device, color image encoding method and color image decoding method | |
WO2014049982A1 (en) | Video encoding device, video decoding device, video encoding method and video decoding method | |
JP2013102269A (en) | Color video encoding device, color video decoding device, color video encoding method, and color video decoding method | |
WO2014051080A1 (en) | Color moving image coding device, color moving image decoding device, color moving image coding method and color moving image decoding method |