JP2007013298A

JP2007013298A - Image coding apparatus

Info

Publication number: JP2007013298A
Application number: JP2005188234A
Authority: JP
Inventors: Shohei Saito; 昇平齋藤; Muneaki Yamaguchi; 宗明山口
Original assignee: Renesas Technology Corp
Current assignee: Renesas Technology Corp
Priority date: 2005-06-28
Filing date: 2005-06-28
Publication date: 2007-01-18

Abstract

<P>PROBLEM TO BE SOLVED: To provide an image coding apparatus for implementing image coding processing with high prediction accuracy when the image coding apparatus uses pipeline processing to execute inter-image prediction processing. <P>SOLUTION: The coding apparatus for implementing intra-prediction in the unit of pixel blocks being divisions of each frame of a moving picture includes: a prediction image generating section for generating a prediction image from adjacent pixels to the pixel blocks; and a coding section for coding a difference signal between the generated prediction image and an original image, the prediction image generating section includes a first intra prediction section for generating the prediction image in the unit of plural pixel blocks and a second intra prediction section for implementing intra prediction in the unit of sub blocks being divisions of the pixel blocks, and the second intra prediction section implements the intra prediction processing on the basis of pixel value information obtained by the first intra prediction section. <P>COPYRIGHT: (C)2007,JPO&INPIT

Description

本発明は、画像符号化装置に関し、特に、フレーム画像を分割したブロック単位で符号化する際に、符号化対象ブロックの隣接画素から生成された予測画像と符号化対象ブロックとの差分を符号化する圧縮符号化技術に関する。 The present invention relates to an image encoding device, and in particular, encodes a difference between a prediction image generated from an adjacent pixel of an encoding target block and an encoding target block when encoding a frame image in units of divided blocks. The present invention relates to compression encoding technology.

近年、ＭＰＥＧ（Moving Picture Experts Group）に代表されるように、イントラ予測、動き補償予測、直交変換、量子化、可変長符号化を用いた動画像符号化装置が広く普及している。ＩＳＯ／ＭＰＥＧ（International Organization for Standardization /Moving Picture Experts Group）とＩＴＵ−Ｔ／ＶＣＥＧ（International Telecommunication Union-Telecommunication standardization sector/Video Coding Experts Group）の共同プロジェクトによって策定されたＨ．２６４／ＡＶＣ動画像符号化方式では、マクロブロックと呼ばれる１６×１６画素ブロック単位でイントラ予測処理を行うイントラ１６×１６予測モードや、マクロブロックを４×４画素や８×８画素ブロック単位に分割し、各ブロック単位でイントラ予測処理を行うイントラ４×４予測モードやイントラ８×８予測モードが規定されている（例えば、非特許文献１参照。）。この技術によると、入力画像の複雑度に応じて、これら多数の予測モードを使い分けることによって、符号化効率を向上することができる。 In recent years, as represented by MPEG (Moving Picture Experts Group), moving picture coding apparatuses using intra prediction, motion compensation prediction, orthogonal transform, quantization, and variable length coding have been widely used. An H.264 standard developed by a joint project of ISO / MPEG (International Organization for Standardization / Moving Picture Experts Group) and ITU-T / VCEG (International Telecommunication Union-Telecommunication standardization sector / Video Coding Experts Group). In the H.264 / AVC video coding scheme, an intra 16 × 16 prediction mode for performing an intra prediction process called a macro block in 16 × 16 pixel block units, or a macro block is divided into 4 × 4 pixel or 8 × 8 pixel block units. In addition, an intra 4 × 4 prediction mode and an intra 8 × 8 prediction mode in which intra prediction processing is performed in units of blocks are defined (for example, see Non-Patent Document 1). According to this technique, encoding efficiency can be improved by properly using these many prediction modes according to the complexity of the input image.

以下、Ｈ．２６４／ＡＶＣ規格を例にしてイントラ予測処理の概要を説明する。 Hereinafter, H.C. An overview of the intra prediction process will be described using the H.264 / AVC standard as an example.

イントラ予測は、画像内のブロック間の画素相関を利用して圧縮率を向上させる方法である。例えば、イントラ４×４予測処理は、図１２に示すように、符号化対象ブロックの周囲の４×４画素ブロックＡ、Ｂ、Ｃ、Ｄの灰色で示した画素値を用いて予測画像を生成する。イントラ予測は予測方向に応じて複数のモードを有し、そのモードに従って予測画像が生成される。Ｈ．２６４／ＡＶＣ規格では、輝度信号では、イントラ４×４予測モードで９種類、イントラ８×８予測モードで９種類、イントラ１６×１６予測モードで４種類のモードがある。また、色差信号では４種類のイントラ予測モードがある。これらの中から最も符号化コスト値が小さくなるモードを一つ選択して符号化をする。 Intra prediction is a method of improving the compression rate by using pixel correlation between blocks in an image. For example, in the intra 4 × 4 prediction process, as shown in FIG. 12, a predicted image is generated using the pixel values shown in gray of the 4 × 4 pixel blocks A, B, C, and D around the block to be encoded. To do. Intra prediction has a plurality of modes according to the prediction direction, and a prediction image is generated according to the modes. H. In the H.264 / AVC standard, there are nine types of luminance signals in the intra 4 × 4 prediction mode, nine types in the intra 8 × 8 prediction mode, and four types in the intra 16 × 16 prediction mode. There are four types of intra prediction modes for color difference signals. One of the modes having the smallest encoding cost value is selected from these, and encoding is performed.

図１３に、イントラ４×４予測及びイントラ８×８予測の予測方向の例を示す。 FIG. 13 shows examples of prediction directions of intra 4 × 4 prediction and intra 8 × 8 prediction.

一般にハードウェアで符号化処理を行う際には、パイプライン処理によって処理時間の短縮を図ることができる。例えば、イントラ予測処理において、符号化処理をいくつかのステージに分けて、並列に処理することで、処理時間を短縮できる。しかし、このようなパイプライン処理を用いた場合、隣接ブロックでは符号化演算が終了しておらず、隣接ブロックの画素値を利用できない場合がある。 In general, when encoding processing is performed by hardware, processing time can be shortened by pipeline processing. For example, in intra prediction processing, processing time can be shortened by dividing the encoding processing into several stages and processing in parallel. However, when such pipeline processing is used, the encoding operation is not completed in the adjacent block, and the pixel value of the adjacent block may not be used.

例えば、左側の画素から順に符号化をする場合には、図１３に示したモード１（Horizontal）やモード４（Diagonal Down Right）等の左側の画素値を用いるモードでは、予測ができなくなる。 For example, when encoding is performed in order from the left pixel, prediction is not possible in the mode using the left pixel value such as mode 1 (Horizontal) and mode 4 (Diagonal Down Right) shown in FIG.

このため、符号化順序を変更する方法や、使用可能な隣接ブロックの画素値のみを用いてイントラ予測を行う方法や、利用できないブロックの画素値は隣接ブロックの既に符号化済みの画素値を代用する方法が提案されている（例えば、特許文献１参照。）。
特開２００４−１４０４７３号公報 Joint Video Team (JVT) of ISO/IEC MPEG & ITU-T VCEG : Text of ISO/IEC 14496-10 Advanced Video Coding 3rd Edition (2004). For this reason, a method of changing the encoding order, a method of performing intra prediction using only pixel values of usable adjacent blocks, or a pixel value of an unusable block is substituted with an already encoded pixel value of an adjacent block. A method has been proposed (for example, see Patent Document 1).
JP 2004-140473 A Joint Video Team (JVT) of ISO / IEC MPEG & ITU-T VCEG: Text of ISO / IEC 14496-10 Advanced Video Coding 3rd Edition (2004).

パイプラインを用いてイントラ予測符号化する場合、符号化順序を変更しても予測に使用できない画素値が生じる場合がある。そこで、使用できる画素値のみを用いて予測画像を生成する方式や、符号化済みの隣接ブロックの画素値を用いて予測を行う方法が提案されている。しかし、これらの方法を用いた場合、隣接ブロック間の相関が低い画像においては予測精度が低くなる問題がある。 When intra prediction encoding is performed using a pipeline, pixel values that cannot be used for prediction may occur even if the encoding order is changed. Therefore, a method of generating a predicted image using only usable pixel values and a method of performing prediction using pixel values of encoded adjacent blocks have been proposed. However, when these methods are used, there is a problem that prediction accuracy is low in an image having a low correlation between adjacent blocks.

本発明は、パイプライン処理を用いたイントラ予測処理において、精度の高いイントラ予測をする画像符号化装置を提供することを目的とする。 An object of the present invention is to provide an image encoding device that performs intra prediction with high accuracy in intra prediction processing using pipeline processing.

本願で開示する代表的な発明は、以下の通りである。動画像のフレームを分割した複数画素ブロック単位でイントラ予測を行う符号化装置において、前記複数画素ブロックの隣接画素から予測画像を生成する予測画像生成部と、前記生成された予測画像と原画像との間の差分信号を符号化する符号化部とを備え、前記予測画像生成部は、複数画素ブロック単位で予測画像を生成する第１のイントラ予測部、及び、前記複数画素ブロックを分割したサブブロック単位でイントラ予測を行う第２のイントラ予測部を備える。そして、前記第２のイントラ予測部は、前記第１のイントラ予測部で得られた画素値情報に基づいてイントラ予測処理を行う。 Typical inventions disclosed in the present application are as follows. In an encoding apparatus that performs intra prediction in units of a plurality of pixel blocks obtained by dividing a frame of a moving image, a prediction image generation unit that generates a prediction image from adjacent pixels of the plurality of pixel blocks, and the generated prediction image and original image A prediction unit that encodes a difference signal between the first intra prediction unit that generates a prediction image in units of a plurality of pixel blocks, and a sub that divides the plurality of pixel blocks. A second intra prediction unit that performs intra prediction in units of blocks is provided. Then, the second intra prediction unit performs an intra prediction process based on the pixel value information obtained by the first intra prediction unit.

本発明によると、マクロブロックを複数のブロックに分割し、各ブロック単位でイントラ予測処理を行う符号化方式において、パイプライン処理を用いた場合でも精度の高い予測画像を生成することができる。 According to the present invention, a prediction image with high accuracy can be generated even when pipeline processing is used in an encoding method in which a macroblock is divided into a plurality of blocks and intra prediction processing is performed in units of blocks.

（実施形態１）
図１は、本発明の第１の実施の形態の画像符号化装置の構成を示す機能ブロック図である。 (Embodiment 1)
FIG. 1 is a functional block diagram showing the configuration of the image coding apparatus according to the first embodiment of the present invention.

第１の実施の形態の画像符号化装置は、図１に示すように、画像情報のデータを記憶する入力画像処理部５０１、直交変換部５０２、量子化部５０３、レート制御部５０４、符号化部５０５、符号化データ蓄積部５０６、逆量子化部５０７、逆直交変換部５０８、逆イントラ予測部５０９、フィルタ処理部５１０、フレームメモリ５１１、イントラ予測部５１２、動き検出・動き補償部５１３、イントラ・インター予測モード判定部５１４、加算器５１５、減算器５１６及び再構成画像格納メモリ５１７を備える。 As shown in FIG. 1, the image coding apparatus according to the first embodiment includes an input image processing unit 501, an orthogonal transform unit 502, a quantization unit 503, a rate control unit 504, an encoding unit that stores data of image information. Unit 505, encoded data storage unit 506, inverse quantization unit 507, inverse orthogonal transform unit 508, inverse intra prediction unit 509, filter processing unit 510, frame memory 511, intra prediction unit 512, motion detection / motion compensation unit 513, An intra / inter prediction mode determination unit 514, an adder 515, a subtracter 516, and a reconstructed image storage memory 517 are provided.

入力画像処理部５０１は、符号化される原画像フレームのデータを一時的にバッファリングする。バッファリングされた画像フレームのデータは、１６×１６の画素からなるマクロブロック単位で読み出され、イントラ予測部５１２や動き検出・動き補償部５１３で生成された予測画像の差分が演算され（５１６）、符号化される（５０５）。 The input image processing unit 501 temporarily buffers the data of the original image frame to be encoded. The buffered image frame data is read in units of macroblocks composed of 16 × 16 pixels, and the difference between the prediction images generated by the intra prediction unit 512 and the motion detection / motion compensation unit 513 is calculated (516). ) Is encoded (505).

イントラ予測部５１２は、符号化しようとするマクロブロックがある同じ画像フレームで、既に符号化された隣接ブロックの境界画素の信号レベルから、予測ブロックの画素の信号レベルを予測し、それらの差分を取って残差成分を作る。その残差成分の情報に基づいてイントラ予測モードが選択される。 The intra prediction unit 512 predicts the signal level of the pixel of the prediction block from the signal level of the boundary pixel of the adjacent block that has already been encoded in the same image frame where the macroblock to be encoded exists, and calculates the difference between them. Take the residual component. The intra prediction mode is selected based on the residual component information.

画面間予測処理を行う動き検出・動き補償部５１３では、フレームメモリ５１１に格納されている参照画像フレームから、探索ブロック、すなわち入力画像処理部５０１から入力し符号化しようとするブロックと最も画像が似ているブロックの位置を検出し、その位置の画像を予測画像とする。この画像が似ている位置の検出は、原画像と予測画像の残差成分や発生符号量が最も小さくなる参照画像ブロックを選択する。 In the motion detection / compensation unit 513 that performs inter-screen prediction processing, from the reference image frame stored in the frame memory 511, the search block, that is, the block that is input from the input image processing unit 501 and the image to be encoded is the most image. The position of a similar block is detected, and the image at that position is used as a predicted image. For detecting a position where the images are similar, a reference image block having the smallest residual component and generated code amount between the original image and the predicted image is selected.

イントラ・インター予測モード判定部５１４は、イントラ予測部５１２で選択されたイントラ予測モードと、動き検出・動き補償部５１３で選択された情報を利用したインター予測モードとのうち、符号化効率の高い符号化モードを選択する。イントラ・インター予測モード判定部５１４において選択された符号化モードを用いて生成された予測画像と原画像との対象信号、すなわち画像の予測誤差信号は、直交変換部５０２、量子化部５０３、符号化部５０５、符号化データ蓄積部５０６へ伝送される。 The intra / inter prediction mode determination unit 514 has high coding efficiency between the intra prediction mode selected by the intra prediction unit 512 and the inter prediction mode using information selected by the motion detection / motion compensation unit 513. Select the encoding mode. A target signal between the predicted image and the original image generated by using the encoding mode selected by the intra / inter prediction mode determination unit 514, that is, a prediction error signal of the image, includes an orthogonal transform unit 502, a quantization unit 503, and a code. Is transmitted to the encoding unit 505 and the encoded data storage unit 506.

直交変換部５０２では、ＤＣＴ等の直交変換が行われ、画像信号を直交変換係数に変換する。直交変換係数は、量子部５０３で量子化処理が行われる。量子部５０３で量子化された量子化係数は、符号化部５０５により、可変長符号化、算術符号化等の可逆符号化が行われた後、符号化データ蓄積部５０６に蓄積され、画像圧縮情報として出力される。 The orthogonal transformation unit 502 performs orthogonal transformation such as DCT, and transforms the image signal into orthogonal transformation coefficients. The orthogonal transform coefficient is quantized by the quantum unit 503. The quantized coefficients quantized by the quantum unit 503 are subjected to lossless encoding such as variable length encoding and arithmetic encoding by the encoding unit 505, and are then stored in the encoded data storage unit 506 for image compression. Output as information.

また、量子化部５０３から出力された量子化係数は、逆量子化部５０７にて逆量子化が施され、逆直交変換化部５０８にて逆直交変換がなされる。 Further, the quantization coefficient output from the quantization unit 503 is subjected to inverse quantization by the inverse quantization unit 507, and subjected to inverse orthogonal transform by the inverse orthogonal transform unit 508.

イントラ・インター予測モード選択部５１４でイントラ予測モードが選択された画像については、逆イントラ予測部５０９で生成された画像データと、逆直交変換化部５０８で逆直行変換によって生成された画素データとが加算される。逆イントラ予測が行われた再構成画像情報は、再構成画像格納メモリ５１７に格納され、フィルタ処理部５１０によってブロック歪みが除去された後、フレームメモリ５１１に格納される。 For an image for which the intra prediction mode is selected by the intra / inter prediction mode selection unit 514, image data generated by the inverse intra prediction unit 509, pixel data generated by the inverse orthogonal transform by the inverse orthogonal transform unit 508, and Is added. The reconstructed image information subjected to the inverse intra prediction is stored in the reconstructed image storage memory 517, and after the block distortion is removed by the filter processing unit 510, the reconstructed image information is stored in the frame memory 511.

イントラ・インター予測モード判定部５１４でインター予測モードが選択された画像は、動き検出・動き補償部５１３において生成された予測画像ブロックの動き補償がなされた画像信号と、加算器５１５で加算される。加算器５１５の出力は、フィルタ処理部５１０によりデブロック処理が行われ、ブロック歪みが除去された後、フレームメモリ５１１に格納される。 The image for which the inter prediction mode is selected by the intra / inter prediction mode determination unit 514 is added by the adder 515 to the image signal that has undergone motion compensation of the prediction image block generated by the motion detection / motion compensation unit 513. . The output of the adder 515 is deblocked by the filter processing unit 510, and after block distortion is removed, the output is stored in the frame memory 511.

次に、本発明の主要部であるイントラ予測処理の動作を説明する。 Next, the operation | movement of the intra prediction process which is the principal part of this invention is demonstrated.

図２は、第１の実施の形態のイントラ予測処理のフローチャートである。 FIG. 2 is a flowchart of intra prediction processing according to the first embodiment.

まず、イントラ１６×１６予測モードの符号化コスト値の算出を行い、イントラ１６×１６予測モードを選択する。イントラ１６×１６予測モードは４種類あり、この中から符号化コスト値の最も小さいモードを選択する（６０１、６０２）。
符号化コスト値には、原画像と予測画像の誤差や、その予測誤差を直交変換、量子化、逆量子化、逆直交変換及び逆イントラ予測を行って生成した再構成画像の差分値に、符号化モード情報を加えた値を用いる。イントラ１６×１６予測処理に用いられる隣接画素は、符号化対象マクロブロックの上のマクロブロックの下端１６画素と左のマクロブロックの右端１６画素である。これらの画素は既に符号化済みであるのでマクロブロック単位のパイプライン処理では、イントラ予測の際に支障は生じない。 First, the encoding cost value of the intra 16 × 16 prediction mode is calculated, and the intra 16 × 16 prediction mode is selected. There are four types of intra 16 × 16 prediction modes, and the mode with the smallest coding cost value is selected from these (601, 602).
The encoding cost value includes an error between the original image and the predicted image, and a difference value between the reconstructed images generated by performing orthogonal transform, quantization, inverse quantization, inverse orthogonal transform, and inverse intra prediction on the prediction error. A value added with encoding mode information is used. The adjacent pixels used for the intra 16 × 16 prediction process are the lower end 16 pixels of the macroblock above the encoding target macroblock and the right end 16 pixels of the left macroblock. Since these pixels have already been encoded, the pipeline processing in units of macroblocks does not cause any trouble in intra prediction.

次に、符号化コスト値の算出の際に再構成画像が用いられていない場合は、イントラ１６×１６再構成画像を生成し、再構成画像格納メモリ５１７に保存する（６０３、６０４）。 Next, when the reconstructed image is not used in the calculation of the encoding cost value, an intra 16 × 16 reconstructed image is generated and stored in the reconstructed image storage memory 517 (603, 604).

次に、イントラ８×８予測を使用するか否かを決定する。その結果、イントラ８×８予測を使用する場合は、イントラ８×８予測の符号化コスト値の算出（６０５）とイントラ８×８予測モード選択を行う。符号化コスト値の算出の際に再構成画像が用いられていない場合は、イントラ８×８再構成画像を生成し（６０７）、再構成画像格納メモリ５１７に保存する（６０８）。イントラ８×８予測モードは図１３に示すように９種類あり、これら９種類のモードの中から符号化コスト値が最も小さくなるモードが選択される。イントラ８×８予測の際に、パイプライン処理のために予測画像生成に用いる隣接ブロックの画素値が取得できない場合は、再構成画像格納メモリ５１７に保存されているイントラ１６×１６予測で生成された再構成画素値を用いる。 Next, it is determined whether to use intra 8 × 8 prediction. As a result, when intra 8 × 8 prediction is used, calculation of the encoding cost value of intra 8 × 8 prediction (605) and intra 8 × 8 prediction mode selection are performed. If the reconstructed image is not used when calculating the encoding cost value, an intra 8 × 8 reconstructed image is generated (607) and stored in the reconstructed image storage memory 517 (608). As shown in FIG. 13, there are nine types of intra 8 × 8 prediction modes, and the mode with the smallest encoding cost value is selected from these nine types. In the case of intra 8 × 8 prediction, if pixel values of adjacent blocks used for prediction image generation for pipeline processing cannot be obtained, the pixel values are generated by intra 16 × 16 prediction stored in the reconstructed image storage memory 517. The reconstructed pixel value is used.

例えば、８×８画素単位でパイプライン処理が行われた場合、図３に示すようにイントラ予測、直交変換、量子化、逆量子化、逆直交変換、逆イントラ予測の各処理をいくつかのステージに分けて並列に処理され処理時間が短縮されるが、このようなパイプライン処理を用いた場合、図４に灰色で示す隣接ブロックの符号化済みの画素値を用いることができない。具体的には、左隣のブロックはステージ１が終了した段階であり、ブロック１の左隣のブロック０及びブロック３の左隣のブロック２の符号化済みの画素値を用いることができない。また、上隣のブロックはステージ２が終了した段階であり、ブロック２の上側のブロック０及びブロック３の上側のブロック１の符号化済みの画素値を用いることができない。そこで、再構成画像格納メモリ５１７に格納されているイントラ１６×１６予測で生成された再構成画像の画素値を、イントラ８×８予測に用いる。 For example, when pipeline processing is performed in units of 8 × 8 pixels, each process of intra prediction, orthogonal transform, quantization, inverse quantization, inverse orthogonal transform, and inverse intra prediction is performed as shown in FIG. The processing time is shortened by dividing into stages, but when such pipeline processing is used, encoded pixel values of adjacent blocks shown in gray in FIG. 4 cannot be used. Specifically, the block on the left is the stage at which stage 1 is completed, and the encoded pixel values of block 0 on the left of block 1 and block 2 on the left of block 3 cannot be used. The upper adjacent block is a stage at the end of the stage 2, and the encoded pixel values of the upper block 0 of the block 2 and the upper block 1 of the block 3 cannot be used. Therefore, the pixel value of the reconstructed image generated by the intra 16 × 16 prediction stored in the reconstructed image storage memory 517 is used for the intra 8 × 8 prediction.

イントラ８×８予測処理が終了した後、イントラ４×４予測の符号化コスト値の算出（６０９）とイントラ４×４予測モード選択を行う（６１０）。 After the intra 8 × 8 prediction process is completed, calculation of the encoding cost value of intra 4 × 4 prediction (609) and intra 4 × 4 prediction mode selection are performed (610).

イントラ４×４予測モードは図１３に示すように９種類あり、これら９種類のモードの中から符号化コスト値が最も小さくなるモードを選択する。イントラ４×４予測処理では、図５に示す順序で符号化処理が行われる。そのため、イントラ８×８予測と同様にパイプライン処理のため隣接ブロックの画素値が取得できない場合がある。そこで、イントラ４×４予測の符号化コスト値の算出（６０９）の際にイントラ８×８予測が使用されている場合は、再構成画像格納メモリ５１７に保存されているイントラ８×８予測で生成された再構成画像またはイントラ１６×１６予測で生成された再構成画像から符号化コスト値が小さくなる再構成画像を用いる。また、イントラ８×８予測が使用されていない場合は、イントラ１６×１６予測で生成された再構成画像の画素値を用いる。 There are nine types of intra 4 × 4 prediction modes as shown in FIG. 13, and the mode with the smallest encoding cost value is selected from these nine types. In the intra 4 × 4 prediction process, the encoding process is performed in the order shown in FIG. For this reason, pixel values of adjacent blocks may not be acquired due to pipeline processing as in intra 8 × 8 prediction. Therefore, when intra 8 × 8 prediction is used when calculating the encoding cost value of intra 4 × 4 prediction (609), intra 8 × 8 prediction stored in the reconstructed image storage memory 517 is used. A reconstructed image having a smaller encoding cost value is used from the generated reconstructed image or a reconstructed image generated by intra 16 × 16 prediction. In addition, when intra 8 × 8 prediction is not used, the pixel value of the reconstructed image generated by intra 16 × 16 prediction is used.

最後に、イントラ１６×１６予測モード、イントラ８×８予測モード、イントラ４×４予測モードで選択された予測モードの中から符号化コスト値の最も小さいモードを選択する（６１１）。 Finally, the mode with the smallest coding cost value is selected from the prediction modes selected in the intra 16 × 16 prediction mode, the intra 8 × 8 prediction mode, and the intra 4 × 4 prediction mode (611).

以上説明した第１の実施の形態では、イントラ予測に用いる画素と同位置の画素を使用しており、さらに再構成画像の画素値を使用しているため、実際の再構成画像に近い予測画像を生成することができる。そのため隣接ブロック間で予測画素値に用いる画素値の相関が低い場合においても精度の高いイントラ予測が実現できる。 In the first embodiment described above, a pixel at the same position as the pixel used for intra prediction is used, and the pixel value of the reconstructed image is used, so that the predicted image close to the actual reconstructed image Can be generated. Therefore, highly accurate intra prediction can be realized even when the correlation between pixel values used for prediction pixel values between adjacent blocks is low.

例えば、図６に示すような左上から右下に相関の高い縞画像を符号化する際に、ブロック８０６の左側ブロック８０５を用いることができないため、ブロック８０４の画素値を用いた場合、予測精度が低下する。しかし、第１の実施の形態によると、再構成画像の画素値を用いる場合でも、同じ位置の画素値を用いているため、実際の画素値と再構成画像の画素値の差は小さく、精度の高いイントラ予測を行うことが可能となる。 For example, when coding a highly correlated striped image from the upper left to the lower right as shown in FIG. 6, the left block 805 of the block 806 cannot be used. Therefore, when the pixel value of the block 804 is used, the prediction accuracy Decreases. However, according to the first embodiment, even when the pixel value of the reconstructed image is used, since the pixel value at the same position is used, the difference between the actual pixel value and the pixel value of the reconstructed image is small, and the accuracy is high. High intra prediction can be performed.

以上説明したように、第１の実施の形態の画像符号化装置は、第１のイントラ予測部にて複数画素ブロック単位でイントラ予測を行い、第１のイントラ予測部で選択されたイントラ予測モードの再構成画像を生成する。そして、第２のイントラ予測部にて、前記複数画素ブロックを分割したサブブロック単位でイントラ予測を行う際に、パイプライン処理のために使用できない画素値は、前記再構成画像の画素値を用いて予測画像を生成する。 As described above, the image coding apparatus according to the first embodiment performs intra prediction in units of a plurality of pixel blocks in the first intra prediction unit, and is selected by the first intra prediction unit. The reconstructed image is generated. When the second intra prediction unit performs intra prediction in units of sub-blocks obtained by dividing the plurality of pixel blocks, the pixel value that cannot be used for pipeline processing uses the pixel value of the reconstructed image. To generate a predicted image.

よって、マクロブロックを複数のサブブロックに分割し、各ブロック単位でイントラ予測処理を行う場合に、パイプライン処理を用いても、精度の高い予測画像を生成することができる。例えば、Ｈ．２６４／ＡＶＣのように、分割されたブロック単位でイントラ予測処理を行う符号化方法に好適である。 Therefore, when a macroblock is divided into a plurality of sub-blocks and intra prediction processing is performed in units of blocks, a prediction image with high accuracy can be generated even using pipeline processing. For example, H.M. As in H.264 / AVC, it is suitable for an encoding method that performs intra prediction processing in units of divided blocks.

（実施形態２）
図７に、本発明の第２の実施の形態の画像符号化装置の機能ブロック図を示す。 (Embodiment 2)
FIG. 7 shows a functional block diagram of an image coding apparatus according to the second embodiment of the present invention.

第２の実施の形態は、画像符号化装置が画素値情報使用判定部９０１を備える点が前述した第１の実施の形態（図１）と異なる。 The second embodiment is different from the first embodiment (FIG. 1) described above in that the image encoding device includes a pixel value information use determination unit 901.

画素値情報使用判定部９０１は、第１の実施の形態で説明したイントラ予測方式を適用するか否かを決定する。例えば、入力画像サイズが大きい場合やフレームレートが高い場合は、処理量が多くなるため、パイプライン処理が必要となるため、第１の実施の形態で説明したイントラ予測方式を適用する。一方、入力画像サイズが小さい場合やフレームレートが低い場合は、パイプライン処理を必要としないため、第１の実施の形態で説明したイントラ予測方式を適用せずに通常のイントラ予測処理を行う。 The pixel value information use determination unit 901 determines whether to apply the intra prediction method described in the first embodiment. For example, when the input image size is large or the frame rate is high, the amount of processing increases, and therefore pipeline processing is necessary. Therefore, the intra prediction method described in the first embodiment is applied. On the other hand, when the input image size is small or the frame rate is low, pipeline processing is not required, and therefore normal intra prediction processing is performed without applying the intra prediction method described in the first embodiment.

なお、第２の実施の形態において、前述した第１の実施の形態と同じ構成には同じ符号を付し、その説明は省略する。 Note that in the second embodiment, the same components as those in the first embodiment described above are denoted by the same reference numerals, and descriptions thereof are omitted.

次に、第２の実施の形態のイントラ予測処理について説明する。 Next, the intra prediction process of 2nd Embodiment is demonstrated.

画素値情報使用判定部９０１には、イントラ予測処理において第１の実施の形態で説明したイントラ予測方式を適用するか否かを決定する画素値情報使用フラグが設けられており、画素値情報使用フラグの値が”０”の時はパイプライン処理を行わない。すなわち、各ブロックにおいて通常のイントラ予測処理を行う。 The pixel value information use determination unit 901 is provided with a pixel value information use flag that determines whether or not to apply the intra prediction method described in the first embodiment in the intra prediction process. When the flag value is “0”, pipeline processing is not performed. That is, normal intra prediction processing is performed in each block.

一方、画素値情報使用フラグの値が”１”の時は、イントラ８×８予測ではイントラ１６×１６予測により生成された再構成画像の画素値を、イントラ４×４予測では、イントラ８×８予測又はイントラ１６×１６予測で生成された再構成画像の画素値を用いてイントラ予測を行う。なお、画素値情報使用フラグの”１”、”０”の関係はこれに限られるものではなく、ＯＮ、ＯＦＦ等、２値を判別できるものであれば何でもよい。また、関連づけを逆にしてもよい。 On the other hand, when the value of the pixel value information use flag is “1”, the pixel value of the reconstructed image generated by intra 16 × 16 prediction is used for intra 8 × 8 prediction, and intra 8 × is used for intra 4 × 4 prediction. Intra prediction is performed using pixel values of a reconstructed image generated by 8 prediction or intra 16 × 16 prediction. Note that the relationship between the pixel value information use flags “1” and “0” is not limited to this, and any relationship can be used as long as binary values can be discriminated, such as ON and OFF. Further, the association may be reversed.

画素値情報使用フラグの切り換え単位は、例えば、マクロブロック、スライス、フレーム、シーケンス単位がある。また、第１の実施の形態で説明したイントラ予測方式を適用するか否かを、ユーザが任意に設定してもよい。その際、画像符号化装置にユーザ入力部９０２を設ける。 The switching unit of the pixel value information use flag includes, for example, a macro block, a slice, a frame, and a sequence unit. In addition, the user may arbitrarily set whether to apply the intra prediction method described in the first embodiment. At that time, a user input unit 902 is provided in the image encoding apparatus.

ユーザは、イントラ予測前に第１の実施の形態で説明したイントラ予測方式を適用するか否かの命令をユーザ入力部９０２に入力する。ユーザ入力部９０２は、ユーザからの命令を受け取ると、画素値情報使用フラグを使用、または使用しないという情報を画素値情報使用判定部９０１へ送る。 The user inputs to the user input unit 902 an instruction as to whether to apply the intra prediction method described in the first embodiment before intra prediction. When the user input unit 902 receives a command from the user, the user input unit 902 sends information that the pixel value information use flag is used or not used to the pixel value information use determination unit 901.

以上説明したように、第２の実施の形態によると、例えば、ＨＤ（High Definition）等の大きな画像を符号化処理する場合、画素値情報使用フラグを”１”に設定することによって、イントラ予測処理時間を短縮することができる。逆に、ＱＣＩＦ（Quarter Common Intermediate Format）等の小さい画像を符号化する場合、処理演算量が少ないため、画素値情報使用フラグを”０”とすることによって、予測効率の高さを優先して処理することができる。 As described above, according to the second embodiment, for example, when encoding a large image such as HD (High Definition), intra prediction is performed by setting the pixel value information use flag to “1”. Processing time can be shortened. Conversely, when encoding a small image such as QCIF (Quarter Common Intermediate Format), the amount of processing calculation is small. Therefore, by setting the pixel value information use flag to “0”, priority is given to high prediction efficiency. Can be processed.

よって、第２の実施の形態では、入力画像サイズや符号化装置の性能によって、予測効率と演算負荷とのトレードオフを制御して、自由度の高い画像符号化を行うことができる。 Therefore, in the second embodiment, it is possible to perform image coding with a high degree of freedom by controlling the trade-off between prediction efficiency and calculation load according to the input image size and the performance of the coding apparatus.

（実施形態３）
次に、本発明の第３の実施の形態について説明する。 (Embodiment 3)
Next, a third embodiment of the present invention will be described.

以下に説明する第３の実施の形態は、前述した各実施の形態の画像符号化復号装置において実行される新しいイントラ予測方式である。 The third embodiment described below is a new intra prediction method that is executed in the image coding / decoding apparatus according to each of the embodiments described above.

第３の実施の形態について説明する前に、規格に基づいた既存のイントラ予測処理について説明する。 Before describing the third embodiment, an existing intra prediction process based on the standard will be described.

既存のイントラ予測処理は、符号化対象ブロックの右上ブロックが符号化されていない場合、符号化対象ブロックの上のブロックの右下端の画素値をコピーして用いる。例えば、イントラ４×４予測において、図５のブロック３、１１を符号化するときに、右上ブロックがまだ符号化されていない場合は、図８に示すように、各ブロックの上ブロック（１、９）の右下端の画素をコピーして予測画像を生成する。 In the existing intra prediction process, when the upper right block of the encoding target block is not encoded, the pixel value at the lower right end of the block above the encoding target block is copied and used. For example, in the intra 4 × 4 prediction, when the blocks 3 and 11 of FIG. 5 are encoded, if the upper right block is not yet encoded, as shown in FIG. The predicted image is generated by copying the lower right pixel of 9).

そのため、右上から左下へ相関の高い画像に対して効果のあるモード３（Diagonal Down Left）やモード７（Vertical Left）において、右上ブロックの画素値の誤差が大きくなり適切にモードが選択されないという問題が生じる。そこで、符号化対象ブロックの右上ブロックの画素値を用いるモードであり、かつ右上のブロックがまだ符号化されていない場合は、イントラ１６×１６予測やイントラ８×８予測で生成された復号画素値を用いて予測を行う。 Therefore, in Mode 3 (Diagonal Down Left) and Mode 7 (Vertical Left), which are effective for images with high correlation from the upper right to the lower left, the pixel value error of the upper right block becomes large and the mode is not appropriately selected. Occurs. Therefore, when the pixel value of the upper right block of the encoding target block is used and the upper right block is not yet encoded, the decoded pixel value generated by intra 16 × 16 prediction or intra 8 × 8 prediction is used. Make a prediction using.

図９は、第３の実施の形態の画像符号化装置のイントラ予測処理のフローチャートである。 FIG. 9 is a flowchart of intra prediction processing of the image coding apparatus according to the third embodiment.

まず、イントラ予測モードの中で、符号化対象ブロックの右上ブロックの画素値を利用する予測モードであるか否かを判定する（１１０２）。 First, it is determined whether or not the intra prediction mode is a prediction mode that uses the pixel value of the upper right block of the current block (1102).

その結果、右上ブロックの画素値を利用する予測モードではない場合、既存のイントラ予測処理と同じイントラ予測処理によって予測画像を生成し（１１０３）、符号化コスト値を算出し（１１０４）、ステップ１１１０に進む。 As a result, when the prediction mode does not use the pixel value of the upper right block, a prediction image is generated by the same intra prediction process as the existing intra prediction process (1103), an encoding cost value is calculated (1104), and step 1110 Proceed to

一方、右上ブロックの画素値を利用する予測モードの場合は、符号化対象ブロックの右上のブロックが取得できるか否かを判定する（１１０５）。右上のブロックが符号化されており取得可能な場合は、既存の方式と同様に予測画像を生成し（１１０６）、符号化コスト値を算出し（１１０７）、ステップ１１１０に進む。 On the other hand, in the prediction mode using the pixel value of the upper right block, it is determined whether or not the upper right block of the encoding target block can be acquired (1105). If the upper right block is encoded and can be acquired, a prediction image is generated in the same manner as the existing method (1106), an encoding cost value is calculated (1107), and the process proceeds to step 1110.

一方、右上のブロックが符号化されておらず、その画素値が取得できない場合は、イントラ１６×１６予測やイントラ８×８予測で生成された再構成画像の画素値を用いて予測画像を生成し（１１０８）、符号化コスト値を算出する（１１０９）。 On the other hand, if the upper right block is not encoded and its pixel value cannot be obtained, a predicted image is generated using the pixel value of the reconstructed image generated by intra 16 × 16 prediction or intra 8 × 8 prediction. Then, an encoding cost value is calculated (1109).

その後、前記符号化コスト値が最も小さくなるモードを選択する（１１１０）。そして、イントラ１６×１６予測又はイントラ８×８予測で生成された再構成画像を用いたか否かを判定し（１１１１）、イントラ予測で生成された再構成画像を用いた場合には、ストリームデータにその画素値情報を符号化する（１１１２）。 Thereafter, the mode with the smallest encoding cost value is selected (1110). Then, it is determined whether or not the reconstructed image generated by the intra 16 × 16 prediction or the intra 8 × 8 prediction is used (1111). When the reconstructed image generated by the intra prediction is used, stream data is used. The pixel value information is encoded (1112).

例えば、図１０に示す符号化対象ブロックの上ブロックの右下端の画素値を基準として隣接画素値の差分値を可変長符号化や算術符号化などの処理により符号化する。 For example, the difference value between adjacent pixel values is encoded by processing such as variable length encoding or arithmetic encoding with reference to the pixel value at the lower right end of the upper block of the encoding target block shown in FIG.

以上説明したように第３の実施の形態によれば、右上ブロックを用いる符号化モードの予測精度が向上し、既存方式よりも適切にモードを選択することができる。
次に、前述した画像符号化装置によって符号化されたストリームを復号する画像復号化装置について説明する。 As described above, according to the third embodiment, the prediction accuracy of the encoding mode using the upper right block is improved, and the mode can be selected more appropriately than the existing method.
Next, an image decoding apparatus that decodes a stream encoded by the above-described image encoding apparatus will be described.

図１１は、第３の実施の形態の画像復号化装置の機能ブロック図である。 FIG. 11 is a functional block diagram of an image decoding apparatus according to the third embodiment.

第１の実施の形態の画像復号化装置は、符号化データ蓄積部１３０１、復号部１３０２、符号化モード解析部１３０３、逆量子化部１３０４、逆直交変換部１３０５、フィルタ処理部１３０６、動き補償部１３０７、逆イントラ予測部１３０８、フレームメモリ１３０９及び再構成画素値生成部３１０を備える。 The image decoding apparatus according to the first embodiment includes an encoded data accumulation unit 1301, a decoding unit 1302, an encoding mode analysis unit 1303, an inverse quantization unit 1304, an inverse orthogonal transform unit 1305, a filter processing unit 1306, a motion compensation. Unit 1307, inverse intra prediction unit 1308, frame memory 1309, and reconstructed pixel value generation unit 310.

まず、符号化データ蓄積部１３０１は、入力された符号化ストリームのデータをバッファリングする。復号部１３０２は、ストリームデータを復号し、フラグやストリームデータの情報を取得する。復号部１３０２によって復号された情報は、符号化モード解析部１３０３に伝送される。 First, the encoded data accumulation unit 1301 buffers input encoded stream data. The decoding unit 1302 decodes the stream data, and acquires information on the flag and the stream data. Information decoded by the decoding unit 1302 is transmitted to the coding mode analysis unit 1303.

符号化モード解析部１３０３は、符号化モードを判定し、イントラ予測処理においてイントラ１６×１６予測又はイントラ８×８予測で生成された再構成画素値が用いられているか否かを判定する。符号化モード解析部１３０３にて、インター予測モードが選択されたと判定されたときは、フレームメモリ１３０９に格納されている参照画像から、動きベクトルで示された位置の画像を取得し、逆直交変換、逆量子化された画素データと加算しフィルタ処理部１３０６へ伝送する。 The encoding mode analysis unit 1303 determines an encoding mode, and determines whether or not a reconstructed pixel value generated by intra 16 × 16 prediction or intra 8 × 8 prediction is used in the intra prediction process. When the coding mode analysis unit 1303 determines that the inter prediction mode is selected, an image at a position indicated by the motion vector is acquired from the reference image stored in the frame memory 1309, and inverse orthogonal transform is performed. The dequantized pixel data is added and transmitted to the filter processing unit 1306.

符号化モード解析部１３０３にてイントラ予測モードが選択され、さらにそのイントラ予測モードが当該ブロックの隣接画素値がまだ符号化されていないため、イントラ１６×１６予測又はイントラ８×８予測において生成された再構成画像の画素値を用いていると判定したときは、再構成画素値生成部１３１０にて伝送されたイントラ１６×１６予測やイントラ８×８予測の再構成画素情報に基づき再構成画素値を生成し、その再構成画素値を用いて逆イントラ予測を行う。逆イントラ予測により生成された再構成画像はフィルタ処理部１３０６へ伝送される。その後、フィルタ処理部１３０６にてブロック歪みが除去され、フレームメモリ１３１１に格納され、画面へ表示され、またストリームとして出力される。 The intra prediction mode is selected by the coding mode analysis unit 1303, and the intra prediction mode is generated in intra 16 × 16 prediction or intra 8 × 8 prediction because the adjacent pixel value of the block is not yet encoded. When it is determined that the pixel value of the reconstructed image is used, the reconstructed pixel is based on the reconstructed pixel information of intra 16 × 16 prediction or intra 8 × 8 prediction transmitted by the reconstructed pixel value generation unit 1310. A value is generated, and inverse intra prediction is performed using the reconstructed pixel value. The reconstructed image generated by the inverse intra prediction is transmitted to the filter processing unit 1306. Thereafter, the block distortion is removed by the filter processing unit 1306, stored in the frame memory 1311, displayed on the screen, and output as a stream.

なお、以上説明した実施の形態では、Ｈ．２６４／ＡＶＣによる画像符号化装置及び画像復号化装置について説明したが、本発明の適用はこれに限定されるものではなく、様々な規格に基づく画像符号化装置及び画像復号化装置等に用いることができる。 In the embodiment described above, the H.264 standard. The H.264 / AVC image encoding device and the image decoding device have been described. However, the application of the present invention is not limited to this, and the present invention is used for image encoding devices and image decoding devices based on various standards. Can do.

第１の実施の形態の画像符号化装置の構成を示す機能ブロック図である。It is a functional block diagram which shows the structure of the image coding apparatus of 1st Embodiment. 第１の実施の形態のイントラ予測処理のフローチャートである。It is a flowchart of the intra prediction process of 1st Embodiment. 第１の実施の形態のパイプライン処理の説明図である。It is explanatory drawing of the pipeline process of 1st Embodiment. 第１の実施の形態のイントラ８×８予測の符号化順序と画素ブロックの説明図である。It is explanatory drawing of the encoding order and pixel block of intra 8x8 prediction of 1st Embodiment. 第１の実施の形態のイントラ４×４予測の符号化順序の説明図である。It is explanatory drawing of the encoding order of intra 4x4 prediction of 1st Embodiment. 第１の実施の形態の画像符号化装置の効果を説明する図である。It is a figure explaining the effect of the image coding apparatus of 1st Embodiment. 第２の実施の形態の画像符号化装置の機能ブロック図である。It is a functional block diagram of the image coding apparatus of 2nd Embodiment. 第２の実施の形態の予測画像の生成の説明図である。It is explanatory drawing of the production | generation of the estimated image of 2nd Embodiment. 第３の実施の形態の画像符号化装置のイントラ予測処理のフローチャートである。It is a flowchart of the intra prediction process of the image coding apparatus of 3rd Embodiment. 第３の実施の形態の隣接ブロックの符号化処理の説明図である。It is explanatory drawing of the encoding process of the adjacent block of 3rd Embodiment. 第３の実施の形態の画像復号化装置の機能ブロック図である。It is a functional block diagram of the image decoding apparatus of 3rd Embodiment. 従来のイントラ予測符号化方式の説明図である。It is explanatory drawing of the conventional intra prediction encoding system. 従来のイントラ予測の予測方向の説明図である。It is explanatory drawing of the prediction direction of the conventional intra prediction.

符号の説明Explanation of symbols

５０１入力画像処理部
５０２直交変換部
５０３量子化部
５０４レート制御部
５０５符号化部
５０６符号化データ蓄積部
５０７逆量子化部
５０８逆直交変換部
５０９逆イントラ予測部
５１０フィルタ処理部
５１１フレームメモリ
５１２イントラ予測部
５１３動き検出・動き補償部
５１４イントラ・インター予測モード判定部
５１５加算器
５１６減算器
９０１パイプライン処理切り換え部
９０２ユーザ入力部
１３０１符号化データ蓄積部
１３０２復号部
１３０３符号化データ解析部
１３０４逆量子化部
１３０５逆直交変換部
１３０６フィルタ処理部
１３０７動き補償部
１３０８逆イントラ予測部
１３０９フレームメモリ
１３１０再構成画素値生成部
１３１１加算器 501 Input image processing unit 502 Orthogonal transformation unit 503 Quantization unit 504 Rate control unit 505 Encoding unit 506 Encoded data storage unit 507 Inverse quantization unit 508 Inverse orthogonal transformation unit 509 Inverse intra prediction unit 510 Filter processing unit 511 Frame memory 512 Intra prediction unit 513 Motion detection / motion compensation unit 514 Intra / inter prediction mode determination unit 515 Adder 516 Subtractor 901 Pipeline processing switching unit 902 User input unit 1301 Encoded data storage unit 1302 Decoding unit 1303 Encoded data analysis unit 1304 Inverse quantization unit 1305 Inverse orthogonal transform unit 1306 Filter processing unit 1307 Motion compensation unit 1308 Inverse intra prediction unit 1309 Frame memory 1310 Reconstructed pixel value generation unit 1311 Adder

Claims

動画像のフレームを分割した複数画素ブロック単位でイントラ予測を行う符号化装置において、
前記複数画素ブロックの隣接画素から予測画像を生成する予測画像生成部と、前記生成された予測画像と原画像との間の差分信号を符号化する符号化部とを備え、
前記予測画像生成部は、
複数画素ブロック単位で予測画像を生成する第１のイントラ予測部、及び、前記複数画素ブロックを分割したサブブロック単位でイントラ予測を行う第２のイントラ予測部を備え、
前記第２のイントラ予測部は、前記第１のイントラ予測部で得られた画素値情報に基づいてイントラ予測処理を行うことを特徴とする画像符号化装置。 In an encoding apparatus that performs intra prediction in units of a plurality of pixel blocks obtained by dividing a moving image frame,
A prediction image generation unit that generates a prediction image from adjacent pixels of the plurality of pixel blocks, and an encoding unit that encodes a difference signal between the generated prediction image and the original image,
The predicted image generation unit
A first intra prediction unit that generates a prediction image in units of a plurality of pixel blocks; and a second intra prediction unit that performs intra prediction in units of sub-blocks obtained by dividing the plurality of pixel blocks.
The image coding apparatus, wherein the second intra prediction unit performs an intra prediction process based on pixel value information obtained by the first intra prediction unit.

前記第２のイントラ予測部において使用される画素値情報は、前記第１のイントラ予測部で生成された予測画像と原画像との差分データを直交変換、量子化、逆量子化、逆直交変換及び逆イントラ予測を行うことにより生成された再構成画像であることを特徴とする請求項１に記載の画像符号化装置。 The pixel value information used in the second intra prediction unit includes orthogonal transform, quantization, inverse quantization, and inverse orthogonal transform of difference data between the prediction image generated by the first intra prediction unit and the original image. The image coding apparatus according to claim 1, wherein the image coding apparatus is a reconstructed image generated by performing inverse intra prediction.

前記第１のイントラ予測部にて生成された画素値情報を格納する画像格納領域を備えることを特徴とする請求項１に記載の画像符号化装置。 The image coding apparatus according to claim 1, further comprising an image storage area for storing pixel value information generated by the first intra prediction unit.

前記第２のイントラ予測部において、前記第１のイントラ予測部で生成された画素値情報を用いるか否かを決定する画素値情報使用判定部を備え、該画素値情報使用判定部において前記隣接画素値が使用できないと判定した場合には、第１のイントラ予測部で得られた画素値情報を用いてイントラ予測を行うことを特徴とする請求項１に記載の画像符号化装置。 The second intra prediction unit includes a pixel value information use determination unit that determines whether or not to use the pixel value information generated by the first intra prediction unit, and the adjacent pixel value information use determination unit includes the adjacent pixel value information use determination unit. The image coding apparatus according to claim 1, wherein when it is determined that the pixel value cannot be used, intra prediction is performed using the pixel value information obtained by the first intra prediction unit.

前記第２のイントラ予測部において、イントラ予測モードが隣接画素値を用いる符号化モードであり、かつ当該隣接画素値を含むサブブロックの符号化処理が終了していない場合は、前記再構成画素値を用いて予測画像を生成することを特徴とする請求項２から４のいずれか一つに記載の画像符号化装置。 In the second intra prediction unit, when the intra prediction mode is an encoding mode using an adjacent pixel value and the encoding process of the sub-block including the adjacent pixel value is not finished, the reconstructed pixel value 5. The image encoding apparatus according to claim 2, wherein a prediction image is generated using

前記第２のイントラ予測部において、イントラ予測モードが隣接画素値を用いる符号化モードであり、かつ当該隣接画素値を含むサブブロックの符号化処理が終了していない場合は、前記再構成画素値を符号化して伝送することを特徴とする請求項５に記載の画像符号化装置。 In the second intra prediction unit, when the intra prediction mode is an encoding mode using an adjacent pixel value and the encoding process of the sub-block including the adjacent pixel value is not finished, the reconstructed pixel value The image encoding device according to claim 5, wherein the image is transmitted after being encoded.

前記第１のイントラ予測部は、前記複数画素ブロック単位として１６×１６画素ブロックまたは８×８画素ブロックを用い、前記第２のイントラ予測部は、前記サブブロック単位として８×８画素ブロックまたは４×４画素ブロックを用いることを特徴とする請求項１から６のいずれか一つに記載の画像符号化装置。 The first intra prediction unit uses a 16 × 16 pixel block or an 8 × 8 pixel block as the plurality of pixel block units, and the second intra prediction unit uses an 8 × 8 pixel block or 4 as the sub block unit. The image encoding apparatus according to claim 1, wherein a x4 pixel block is used.

複数画素ブロック単位で予測画像を生成する第１のイントラ予測、及び、前記複数画素ブロックを分割したサブブロック単位でイントラ予測を行う第２のイントラ予測を行う符号化の施されたストリームデータを復号化する画像復号装置であって、
ストリームデータを解析する符号化モード解析部と、
前記解析結果に基づいて前記第１のイントラ予測部で生成された予測画像と原画像との差分データを直交変換、量子化、逆量子化、逆直交変換及び逆イントラ予測を行うことにより生成された再構成画素値を生成する再構成画素値生成部と、
該再構成画素値を用いた逆イントラ予測を行う逆イントラ部とを備えることを特徴とする画像復号化装置。 Decoding first intra prediction for generating a prediction image in units of a plurality of pixel blocks, and encoded stream data for performing second intra prediction for performing intra prediction in units of sub-blocks obtained by dividing the plurality of pixel blocks An image decoding device
An encoding mode analyzer for analyzing stream data;
Generated by performing orthogonal transformation, quantization, inverse quantization, inverse orthogonal transformation, and inverse intra prediction on the difference data between the prediction image generated by the first intra prediction unit and the original image based on the analysis result A reconstructed pixel value generating unit for generating a reconstructed pixel value;
An image decoding apparatus comprising: an inverse intra unit that performs inverse intra prediction using the reconstructed pixel value.