JP2013146038A

JP2013146038A - Image quantization apparatus, image quantization method, and program, and image inverse quantization apparatus, image inverse quantization method, and program

Info

Publication number: JP2013146038A
Application number: JP2012026158A
Authority: JP
Inventors: Mitsuru Maeda; 充前田
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2011-12-13
Filing date: 2012-02-09
Publication date: 2013-07-25
Also published as: WO2013089264A1

Abstract

PROBLEM TO BE SOLVED: To solve the problem of which: in a conventional encoding system or the HEVC encoding system during standardization activities, it is necessary to record defaults of quantization matrices corresponding to all block sizes in a memory or the like in advance; and especially, the number of elements of a quantization matrix for a large block size is large, so that a large memory capacity is required.SOLUTION: Only defaults of some quantization matrices are recorded in advance, and defaults of the other quantization matrices are generated by scaling the quantization matrices.

Description

本発明は画像量子化装置、画像量子化方法及びプログラム、画像逆量子化装置、画像逆量子化方法及びプログラムに関し、特に量子化マトリクスの設定方法に関する。 The present invention relates to an image quantization apparatus, an image quantization method and program, an image inverse quantization apparatus, an image inverse quantization method and a program, and more particularly to a quantization matrix setting method.

動画像の圧縮記録方法として、Ｈ．２６４／ＭＰＥＧ−４ＡＶＣ（以下Ｈ．２６４）が知られている。（非特許文献１）
Ｈ．２６４においてはデフォルトの量子化マトリクスを用いて入力値を量子化することができる。非特許文献１によれば、ｓｅｑ＿ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ｐｒｅｓｅｎｔ＿ｆｌａｇ［ｉ］が０であればＴａｂｌｅ７−２に記載の通り各ブロックサイズのデフォルトの量子化マトリクスを使用する。また、ｓｅｑ＿ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ｐｒｅｓｅｎｔ＿ｆｌａｇ［ｉ］に１を設定することで、デフォルトの量子化マトリクスと異なる量子化マトリクスを符号化・伝送することができる。この場合、Ｈ．２６４ではブロックサイズの大きさ毎にｄｅｌｔａ＿ｓｃａｌｅを量子化マトリクスの要素分送ることで異なる量子化マトリクスによる量子化・逆量子化を実現できる。 As a method of compressing and recording moving images, H.264 H.264 / MPEG-4 AVC (hereinafter referred to as H.264) is known. (Non-Patent Document 1)
H. In H.264, an input value can be quantized using a default quantization matrix. According to Non-Patent Document 1, if seq_scaling_list_present_flag [i] is 0, the default quantization matrix of each block size is used as described in Table 7-2. Also, by setting 1 to seq_scaling_list_present_flag [i], a quantization matrix different from the default quantization matrix can be encoded and transmitted. In this case, H.C. In H.264, quantization / inverse quantization using different quantization matrices can be realized by sending delta_scale for each block size by the amount of the quantization matrix elements.

近年、Ｈ．２６４の後継としてさらに高効率な符号化方式の国際標準化を行う活動が開始された。ＪＣＴ−ＶＣ（ＪｏｉｎｔＣｏｌｌａｂｏｒａｔｉｖｅＴｅａｍｏｎＶｉｄｅｏＣｏｄｉｎｇ）がＩＳＯ／ＩＥＣとＩＴＵ−Ｔの間で設立され、ＪＣＴ−ＶＣではＨＥＶＣ（ＨｉｇｈＥｆｆｉｃｉｅｎｃｙＶｉｄｅｏＣｏｄｉｎｇ）符号化方式（以下、ＨＥＶＣ）として標準化が進められている。ＨＥＶＣでは、対象となる画面サイズの増大に伴い、従来のマクロブロック（１６×１６画素）より大きなブロックサイズでの分割が検討されている。この大きなサイズの基本ブロックはＬＣＵ（ＬａｒｇｅｓｔＣｏｄｉｎｇＵｎｉｔ）と呼ばれ、そのサイズは最大６４×６４画素として検討が進められている。（非特許文献２） In recent years, H.C. As a successor to H.264, activities to start international standardization of a more efficient coding method have started. JCT-VC (Joint Collaborative Team on Video Coding) has been established between ISO / IEC and ITU-T. Yes. In HEVC, division with a block size larger than that of a conventional macroblock (16 × 16 pixels) is being studied as the target screen size increases. This large-sized basic block is called an LCU (Large Coding Unit), and studies are underway with a maximum size of 64 × 64 pixels. (Non-Patent Document 2)

ＬＣＵはさらに予測や変換を行う単位となるサブブロックに分割される。但し、サブブロックでも例えば、３２×３２画素等の大きなブロックサイズの場合、その個数は１０２４個にもなり、符号化効率を低下させる要因となっている。これに対して、小さなブロックサイズの量子化マトリックスを符号化して、復号側で拡大して使用するといった技術がＪＣＴ−ＶＣに提案されている。（非特許文献３） The LCU is further divided into sub-blocks which are units for performing prediction and conversion. However, even in the case of a sub-block having a large block size such as 32 × 32 pixels, the number of sub-blocks is as high as 1024, which is a factor for reducing the encoding efficiency. On the other hand, JCT-VC has proposed a technique in which a quantization matrix having a small block size is encoded and expanded on the decoding side. (Non Patent Literature 3)

図１４に当該提案の構成のブロック図を示す。デフォルト値として４×４画素ブロックに対応する量子化マトリクスのデフォルト値を格納する４×４量子化マトリクスメモリ１４０１、８×８画素ブロックに対応する量子化マトリクスのデフォルト値を格納する８×８量子化マトリクスメモリ１４０２を備える。これに加えて、１６×１６画素ブロックに対応する量子化マトリクスのデフォルト値を格納する１６×１６量子化マトリクスメモリ１４２０を備える。さらに、３２×３２画素ブロックに対応する量子化マトリクスのデフォルト値を格納する３２×３２量子化マトリクスメモリ１４２１を備える。これらは４×４量子化マトリクス保持部１４０５、８×８量子化マトリクス保持部１４０６、１６×１６量子化マトリクス保持部１４０７、３２×３２量子化マトリクス保持部１４０８に入力される。また、各ブロックサイズの量子化係数が端子１４１０から入力され、ブロックのサイズが端子１４０９から入力される。入力されたブロック単位の量子化係数はこれら量子化マトリクス保持部に格納された量子化マトリクスを用いて、４×４逆量子化部１４１３、８×８逆量子化部１４１４、１６×１６逆量子化部１４１５、３２×３２逆量子化部１４１６で逆量子化される。量子化マトリクスを更新する場合は、端子１４２２から量子化マトリクスの符号データが入力され、量子化マトリクス復号部１４２３で復号される。 FIG. 14 shows a block diagram of the proposed configuration. 4 × 4 quantization matrix memory 1401 that stores a default value of a quantization matrix corresponding to a 4 × 4 pixel block as a default value, and 8 × 8 quantum that stores a default value of a quantization matrix corresponding to an 8 × 8 pixel block The matrix memory 1402 is provided. In addition, a 16 × 16 quantization matrix memory 1420 for storing a default value of a quantization matrix corresponding to a 16 × 16 pixel block is provided. Further, a 32 × 32 quantization matrix memory 1421 for storing a default value of a quantization matrix corresponding to a 32 × 32 pixel block is provided. These are input to a 4 × 4 quantization matrix holding unit 1405, an 8 × 8 quantization matrix holding unit 1406, a 16 × 16 quantization matrix holding unit 1407, and a 32 × 32 quantization matrix holding unit 1408. Further, the quantization coefficient of each block size is input from a terminal 1410, and the block size is input from a terminal 1409. The input block-unit quantization coefficients are converted into 4 × 4 inverse quantization unit 1413, 8 × 8 inverse quantization unit 1414, and 16 × 16 inverse quantum using the quantization matrix stored in the quantization matrix holding unit. The quantization unit 1415 and the 32 × 32 inverse quantization unit 1416 perform inverse quantization. When updating the quantization matrix, code data of the quantization matrix is input from the terminal 1422 and decoded by the quantization matrix decoding unit 1423.

更新する量子化マトリクスが４×４画素ブロック対応の量子化マトリクス、もしくは８×８画素ブロック対応の量子化マトリクスであれば、復号結果はそのまま各量子化マトリクス保持部に入力される。更新される量子化マトリクスが１６×１６画素ブロックまたは３２×３２画素ブロックに対応するものであった場合について説明する。８×８画素ブロックに対応する量子化マトリクスを量子化マトリクス変倍部１４０３で縦横２倍拡大を行い、１６×１６画素ブロックに対応する量子化マトリクス生成する。さらにこの１６×１６画素ブロックに対応する量子化マトリクスを量子化マトリクス変倍部１４０４で縦横２倍拡大を行い、３２×３２画素ブロックに対応する量子化マトリクスを生成する。 If the quantization matrix to be updated is a quantization matrix corresponding to a 4 × 4 pixel block or a quantization matrix corresponding to an 8 × 8 pixel block, the decoding result is directly input to each quantization matrix holding unit. A case where the updated quantization matrix corresponds to a 16 × 16 pixel block or a 32 × 32 pixel block will be described. The quantization matrix corresponding to the 8 × 8 pixel block is doubled vertically and horizontally by the quantization matrix scaling unit 1403 to generate a quantization matrix corresponding to the 16 × 16 pixel block. Further, the quantization matrix corresponding to the 16 × 16 pixel block is doubled vertically and horizontally by the quantization matrix scaling unit 1404 to generate a quantization matrix corresponding to the 32 × 32 pixel block.

ＩＴＵ−ＴＨ．２６４（０３／２０１０）ＡｄｖａｎｃｅｄｖｉｄｅｏｃｏｄｉｎｇｆｏｒｇｅｎｅｒｉｃａｕｄｉｏｖｉｓｕａｌｓｅｒｖｉｃｅｓITU-TH. H.264 (03/2010) Advanced video coding for generic audiovisual services ＪＣＴ−ＶＣ寄書ＪＣＴＶＣ−Ｅ６０３．ｄｏｃインターネット＜ｈｔｔｐ：／／ｐｈｅｎｉｘ．ｉｎｔ−ｅｖｒｙ．ｆｒ／ｊｃｔ／ｄｏｃ＿ｅｎｄ＿ｕｓｅｒ／ｄｏｃｕｍｅｎｔｓ／５＿Ｇｅｎｅｖａ／ｗｇ１１／＞JCT-VC contribution JCTVC-E603. doc Internet <http: // phenix. int-evry. fr / jct / doc_end_user / documents / 5_Geneva / wg11 /> ＪＣＴ−ＶＣ寄書ＪＣＴＶＣ−Ｇ０９４．ｄｏｃインターネット＜ｈｔｔｐ：／／ｐｈｅｎｉｘ．ｉｎｔ−ｅｖｒｙ．ｆｒ／ｊｃｔ／ｄｏｃ＿ｅｎｄ＿ｕｓｅｒ／ｄｏｃｕｍｅｎｔｓ／７＿Ｇｅｎｅｖａ／ｗｇ１１／＞JCT-VC contribution JCTVC-G094. doc Internet <http: // phenix. int-evry. fr / jct / doc_end_user / documents / 7_Geneva / wg11 />

大きなブロックサイズの量子化マトリクスにおいて、デフォルト値として当該サイズの数の要素に対応する量子化マトリクスを符号化側、復号側で持つ必要があり、メモリ領域でも大きな容量を必要となる。このメモリ容量を削減することを目的としている。 In a quantization matrix of a large block size, it is necessary to have a quantization matrix corresponding to the number of elements of the size as a default value on the encoding side and the decoding side, and a large capacity is also required in the memory area. The purpose is to reduce the memory capacity.

上述の問題点を解決するため、本発明の画像逆量子化装置は以下の構成を有する。すなわち、複数のサイズの量子化マトリクスを用いて量子化係数を逆量子化し、係数を算出する画像逆量子化装置であって、ｎ×ｍ（ｎ、ｍは２以上の正の整数）のブロックサイズに適合する量子化マトリクスを第１デフォルト量子化マトリクスとして保持する第１デフォルト量子化マトリクス保持手段と、前記ｎ×ｍのブロックサイズの量子化マトリクスからｐ×ｑ（ｐ、ｑは２以上の正の整数）のブロックサイズに適合する量子化マトリクスを算出する変倍手段と、前記変倍手段によって変倍された量子化マトリクスを第２デフォルト量子化マトリクスとして保持する第２デフォルト量子化マトリクス保持手段とを有することを特徴とする。 In order to solve the above problems, the image inverse quantization apparatus of the present invention has the following configuration. That is, an image inverse quantization apparatus that inversely quantizes a quantization coefficient using a plurality of quantization matrices and calculates a coefficient, and has an n × m (n, m is a positive integer of 2 or more) block A first default quantization matrix holding means for holding a quantization matrix suitable for a size as a first default quantization matrix; and a quantization matrix having a block size of n × m, wherein p × q (p and q are 2 or more) A scaling unit that calculates a quantization matrix that matches a block size of a positive integer), and a second default quantization matrix that holds the quantization matrix that has been scaled by the scaling unit as a second default quantization matrix Means.

さらに、上述の問題点を解決するため、本発明の画像量子化装置は以下の構成を有する。すなわち、複数のサイズの量子化マトリクスを用いて係数を量子化する画像量子化装置であって、ｎ×ｍ（ｎ、ｍは２以上の正の整数）のブロックサイズに適合する量子化マトリクスを第１デフォルト量子化マトリクスとして保持する第１デフォルト量子化マトリクス保持手段と、ｎ×ｍブロックサイズの量子化マトリクスからｐ×ｑ（ｐ、ｑは２以上の正の整数でｎ≦ｐ、ｍ≦ｑ）のブロックサイズに適合する量子化マトリクスを算出する変倍手段と、前記変倍手段によって変倍された量子化マトリクスを第２デフォルト量子化マトリクスとして保持する第２デフォルト量子化マトリクス保持手段とを有することを特徴とする。 Furthermore, in order to solve the above-described problems, the image quantization apparatus of the present invention has the following configuration. That is, an image quantization apparatus that quantizes coefficients using a plurality of size quantization matrices, and a quantization matrix that conforms to a block size of n × m (n and m are positive integers of 2 or more) From the first default quantization matrix holding means to hold as the first default quantization matrix, and from the quantization matrix of the n × m block size, p × q (p and q are positive integers of 2 or more, n ≦ p, m ≦ a scaling unit for calculating a quantization matrix suitable for the block size of q), and a second default quantization matrix holding unit for holding the quantization matrix scaled by the scaling unit as a second default quantization matrix; It is characterized by having.

デフォルト値として保持する量子化マトリクスとして所望の量子化マトリクスの数より少ない量子化マトリクスのみを保持する。量子化マトリクスの更新の際に用いる変倍手段を持って拡大または縮小を行い、デフォルト値として用意しなければならない量子化マトリクスを格納するメモリ容量が削減される。 Only quantization matrices smaller than the number of desired quantization matrices are held as quantization matrices held as default values. Enlargement or reduction is performed with a scaling unit used for updating the quantization matrix, and the memory capacity for storing the quantization matrix that must be prepared as a default value is reduced.

実施形態１における画像逆量子化装置の構成を示すブロック図1 is a block diagram illustrating a configuration of an image inverse quantization apparatus according to Embodiment 1. FIG. 実施形態１に係る画像逆量子化装置における画像逆量子化処理を示すフローチャート6 is a flowchart showing image inverse quantization processing in the image inverse quantization apparatus according to the first embodiment. （ａ）、（ｂ）、（ｃ）量子化マトリクスの一例を示す図(A), (b), (c) The figure which shows an example of a quantization matrix 実施形態１における別な画像逆量子化装置の構成を示すブロック図FIG. 3 is a block diagram illustrating a configuration of another image inverse quantization apparatus according to the first embodiment. 実施形態１における別な画像逆量子化装置の構成を示すブロック図FIG. 3 is a block diagram illustrating a configuration of another image inverse quantization apparatus according to the first embodiment. （ａ）〜（ｃ）量子化マトリクスの一例を示す図(A)-(c) The figure which shows an example of a quantization matrix 実施形態１における別な画像逆量子化装置の構成を示すブロック図FIG. 3 is a block diagram illustrating a configuration of another image inverse quantization apparatus according to the first embodiment. 量子化マトリクスの一例を示す図Diagram showing an example of a quantization matrix 実施形態２における画像量子化装置の構成を示すブロック図FIG. 3 is a block diagram illustrating a configuration of an image quantization apparatus according to a second embodiment. 実施形態２に係る画像量子化装置における画像量子化処理を示すフローチャート7 is a flowchart showing image quantization processing in the image quantization apparatus according to the second embodiment. 実施形態２における別な画像量子化装置の構成を示すブロック図FIG. 9 is a block diagram illustrating a configuration of another image quantization apparatus according to the second embodiment. 画像符号化装置の一例を示すブロック図Block diagram showing an example of an image encoding device 画像復号装置の一例を示すブロック図Block diagram showing an example of an image decoding device 従来の画像逆量子化装置の構成を示すブロック図Block diagram showing the configuration of a conventional image inverse quantization apparatus 本発明の画像符号化装置、復号装置に適用可能なコンピュータのハードウェアの構成例を示すブロック図The block diagram which shows the structural example of the hardware of the computer applicable to the image coding apparatus of this invention, and a decoding apparatus. （ａ）〜（ｃ）量子化マトリクスの一例を示す図(A)-(c) The figure which shows an example of a quantization matrix 実施形態３における画像逆量子化装置の構成を示すブロック図FIG. 9 is a block diagram illustrating a configuration of an image inverse quantization device according to a third embodiment. 実施形態３における画像量子化装置の構成を示すブロック図FIG. 9 is a block diagram illustrating a configuration of an image quantization apparatus according to a third embodiment.

以下、添付の図面を参照して、本願発明をその好適な実施形態に基づいて詳細に説明する。なお、以下の実施形態において示す構成は一例に過ぎず、本発明は図示された構成に限定されるものではない。 Hereinafter, the present invention will be described in detail based on the preferred embodiments with reference to the accompanying drawings. The configurations shown in the following embodiments are merely examples, and the present invention is not limited to the illustrated configurations.

＜実施形態１＞
以下、本発明の実施形態を、図面を用いて説明する。 <Embodiment 1>
Hereinafter, embodiments of the present invention will be described with reference to the drawings.

図１２は本発明を用いた画像復号装置の一例を示すブロック図である。端子１２０１から入力された画像を符号化して得られたビットストリームを入力する。復号部１２０２でそのヘッダデータ、量子化マトリクスに関する情報、及びブロック単位の予測方法、予測誤差の量子化結果を復号する。量子化マトリクスに関する情報としてはその更新の有無を表すｓｅｑ＿ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ｐｒｅｓｅｎｔ＿ｆｌａｇ［ｉ］と更新される場合にはその符号化データを逆量子化部１２０３に出力する。また、処理を行うブロックのサイズについてもブロックサイズ情報として逆量子化部１２０３に入力する。逆量子化部１２０３ではデフォルトの量子化マトリクスまたは更新された量子化マトリクスで予測誤差の量子化結果を逆量子化し、直交変換係数を生成する。逆変換部１２０４ではこの直交変換係数に逆変換を行い、予測誤差を生成する。予測部１２０５は予測の方法や動きベクトルなどの情報から予測値を生成し、予測誤差を用いて画像データを再生する。再生された画像データはフレームメモリ１２０６に蓄積され、端子１２０７から外部に出力される。 FIG. 12 is a block diagram showing an example of an image decoding apparatus using the present invention. A bit stream obtained by encoding an image input from the terminal 1201 is input. The decoding unit 1202 decodes the header data, information about the quantization matrix, the prediction method in units of blocks, and the quantization result of the prediction error. When the information regarding the quantization matrix is updated to seq_scaling_list_present_flag [i] indicating whether or not the update is performed, the encoded data is output to the inverse quantization unit 1203. Further, the size of the block to be processed is also input to the inverse quantization unit 1203 as block size information. The inverse quantization unit 1203 inversely quantizes the prediction error quantization result using the default quantization matrix or the updated quantization matrix to generate orthogonal transform coefficients. The inverse transform unit 1204 performs inverse transform on the orthogonal transform coefficient to generate a prediction error. A prediction unit 1205 generates a prediction value from information such as a prediction method and a motion vector, and reproduces image data using a prediction error. The reproduced image data is stored in the frame memory 1206 and output from the terminal 1207 to the outside.

図１３は本発明を用いた画像符号化装置の一例を示すブロック図である。端子１３０１から入力された画像データを入力し、フレームメモリ１３０２に格納される。予測部１３０３でフレーム内予測やフレームメモリ１３２０に格納された画像データから動き補償予測を行い、ブロック単位での予測方法、およびその予測に基づいて予測誤差を生成する。予測誤差は変換部１３０４に入力される。変換部１３０４は予測誤差に対して直交変換を行い、直交変換係数を生成する。量子化部１３０５はデフォルトの量子化マトリクスまたは更新された量子化マトリクスによって直交変換を量子化する。量子化マトリクスを更新する場合は、更新の有無を表すｓｅｑ＿ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ｐｒｅｓｅｎｔ＿ｆｌａｇ［ｉ］と更新される場合にはその情報を符号化部１３０６及び逆量子化部１３０８に出力する。符号化部１３０６はそのヘッダデータ、量子化マトリクスに関する情報、及びブロック単位の予測方法、予測誤差の量子化結果を符号化する。逆量子化部１３０８ではデフォルトの量子化マトリクスまたは更新された量子化マトリクスで予測誤差の量子化結果を逆量子化し、直交変換係数を生成する。逆変換・予測部１３０９ではこの直交変換係数に逆変換を行い、予測誤差を生成し、予測方法によってフレームメモリ１３２０を参照して予測値を求め、画像を再構成する。予測部１３０３は予測の方法や動きベクトルなどの情報から予測値を生成し、予測誤差を用いて画像データを再生する。符号化して得られたビットストリームは端子１３０７から外部に出力される。 FIG. 13 is a block diagram showing an example of an image encoding apparatus using the present invention. The image data input from the terminal 1301 is input and stored in the frame memory 1302. The prediction unit 1303 performs intra-frame prediction and motion compensation prediction from the image data stored in the frame memory 1320, and generates a prediction error based on the prediction method in block units and the prediction. The prediction error is input to the conversion unit 1304. The transform unit 1304 performs orthogonal transform on the prediction error to generate an orthogonal transform coefficient. The quantization unit 1305 quantizes the orthogonal transform using a default quantization matrix or an updated quantization matrix. When updating the quantization matrix, when updating with seq_scaling_list_present_flag [i] indicating the presence / absence of update, the information is output to the encoding unit 1306 and the inverse quantization unit 1308. The encoding unit 1306 encodes the header data, information about the quantization matrix, the prediction method in units of blocks, and the quantization result of the prediction error. The inverse quantization unit 1308 inversely quantizes the prediction error quantization result using the default quantization matrix or the updated quantization matrix to generate orthogonal transform coefficients. An inverse transform / prediction unit 1309 performs inverse transform on the orthogonal transform coefficient, generates a prediction error, obtains a predicted value by referring to the frame memory 1320 by a prediction method, and reconstructs an image. A prediction unit 1303 generates a prediction value from information such as a prediction method and a motion vector, and reproduces image data using a prediction error. The bit stream obtained by encoding is output from the terminal 1307 to the outside.

図１は図１２の逆量子化部１２０３を構成する本実施例の画像逆量子化装置を示すブロック図である。 FIG. 1 is a block diagram showing an image inverse quantization apparatus of the present embodiment that constitutes the inverse quantization unit 1203 of FIG.

なお、本実施例においては説明を容易にするために、用いるブロックサイズを４×４、８×８、１６×１６、３２×３２とするが、これに限定されない。 In this embodiment, for ease of explanation, the block size used is 4 × 4, 8 × 8, 16 × 16, and 32 × 32, but is not limited to this.

図１において、１０１は４×４画素ブロックに対応する量子化マトリクスのデフォルト値を格納する４×４量子化マトリクスメモリである。１０２は８×８画素ブロックに対応する量子化マトリクスのデフォルト値を格納する８×８量子化マトリクスメモリである。１０３は８×８画素ブロックに対応する量子化マトリクスを拡大し、１６×１６画素ブロックに対応する量子化マトリクスを生成する量子化マトリクス変倍部である。１０４は１６×１６画素ブロックに対応する量子化マトリクスを拡大し、３２×３２画素ブロックに対応する量子化マトリクスを生成する量子化マトリクス変倍部である。１０５は４×４画素ブロックに対応する量子化マトリクスを保持する４×４量子化マトリクス保持部である。１０６は８×８画素ブロックに対応する量子化マトリクスを保持する８×８量子化マトリクス保持部である。１０７は１６×１６画素ブロックに対応する量子化マトリクスを保持する１６×１６量子化マトリクス保持部である。１０８は３２×３２画素ブロックに対応する量子化マトリクスを保持する３２×３２量子化マトリクス保持部である。 In FIG. 1, reference numeral 101 denotes a 4 × 4 quantization matrix memory that stores a default value of a quantization matrix corresponding to a 4 × 4 pixel block. Reference numeral 102 denotes an 8 × 8 quantization matrix memory that stores a default value of a quantization matrix corresponding to an 8 × 8 pixel block. Reference numeral 103 denotes a quantization matrix scaling unit that expands a quantization matrix corresponding to an 8 × 8 pixel block and generates a quantization matrix corresponding to a 16 × 16 pixel block. Reference numeral 104 denotes a quantization matrix scaling unit that expands a quantization matrix corresponding to a 16 × 16 pixel block and generates a quantization matrix corresponding to a 32 × 32 pixel block. Reference numeral 105 denotes a 4 × 4 quantization matrix holding unit that holds a quantization matrix corresponding to a 4 × 4 pixel block. Reference numeral 106 denotes an 8 × 8 quantization matrix holding unit that holds a quantization matrix corresponding to an 8 × 8 pixel block. Reference numeral 107 denotes a 16 × 16 quantization matrix holding unit that holds a quantization matrix corresponding to a 16 × 16 pixel block. Reference numeral 108 denotes a 32 × 32 quantization matrix holding unit that holds a quantization matrix corresponding to a 32 × 32 pixel block.

１０９は端子であり、図１２の復号部１２０２に接続され、入力された画像データのブロックサイズを示すブロックサイズ情報を入力する。１１０は端子であり、図１２の復号部１２０２に接続され、ブロックサイズ単位で量子化係数を入力する。１１１はバッファであり、処理を行うブロックサイズの量子化係数を保持する。１１２はセレクタであり、前記ブロックサイズ情報に従って出力先を選択する。１１３は４×４画素ブロックの量子化係数を逆量子化する４×４逆量子化部である。１１４は８×８画素ブロックの量子化係数を逆量子化する８×８逆量子化部である。１１５は１６×１６画素ブロックの量子化係数を逆量子化する１６×１６逆量子化部である。１１６は３２×３２画素ブロックの量子化係数を逆量子化する３２×３２逆量子化部である。１１７はセレクタであり、前記ブロックサイズ情報に従って入力先を選択する。１１８はバッファであり、逆量子化して得られた直交変換係数を保持しておく。１１９は端子であり、図１２の逆変換部１２０４に接続され、直交変換係数を出力する。１２０は端子であり、量子化マトリクスの更新に関する符号データを入力する。１２１は量子化マトリクス復号部であり、量子化マトリクスの更新の符号データを復号する。これらの符号データから更新の有無と更新される量子化マトリクスのサイズ、それと更新する量子化マトリクスの要素データを生成する。１２２はセレクタであり、量子化マトリクス復号部１２１から入力された量子化マトリクスを更新するブロックサイズによって出力先を変更する。 Reference numeral 109 denotes a terminal which is connected to the decoding unit 1202 in FIG. 12 and inputs block size information indicating the block size of the input image data. Reference numeral 110 denotes a terminal which is connected to the decoding unit 1202 in FIG. 12 and inputs quantization coefficients in block size units. Reference numeral 111 denotes a buffer, which holds quantization coefficients having a block size to be processed. A selector 112 selects an output destination according to the block size information. Reference numeral 113 denotes a 4 × 4 inverse quantization unit that inversely quantizes the quantization coefficient of the 4 × 4 pixel block. Reference numeral 114 denotes an 8 × 8 inverse quantization unit that inversely quantizes the quantization coefficient of the 8 × 8 pixel block. Reference numeral 115 denotes a 16 × 16 inverse quantization unit that inversely quantizes the quantization coefficient of the 16 × 16 pixel block. Reference numeral 116 denotes a 32 × 32 inverse quantization unit that inversely quantizes the quantization coefficient of the 32 × 32 pixel block. Reference numeral 117 denotes a selector which selects an input destination according to the block size information. Reference numeral 118 denotes a buffer, which holds orthogonal transform coefficients obtained by inverse quantization. Reference numeral 119 denotes a terminal which is connected to the inverse transform unit 1204 in FIG. 12 and outputs orthogonal transform coefficients. Reference numeral 120 denotes a terminal for inputting code data relating to the update of the quantization matrix. Reference numeral 121 denotes a quantization matrix decoding unit that decodes code data for updating the quantization matrix. From these code data, the presence / absence of update, the size of the updated quantization matrix, and element data of the updated quantization matrix are generated. A selector 122 changes the output destination according to the block size for updating the quantization matrix input from the quantization matrix decoding unit 121.

上記画像逆量子化装置における量子化係数の逆量子化動作を以下に説明する。本実施形態では直交変換係数の量子化結果を入力する構成となっているが、これに限定されない。また、説明のため、ブロック単位での入力になっているが、これも限定されない。 The inverse quantization operation of the quantization coefficient in the image inverse quantization apparatus will be described below. Although the present embodiment is configured to input the quantization result of the orthogonal transform coefficient, the present invention is not limited to this. Further, for the sake of explanation, the input is performed in units of blocks, but this is not limited.

復号に先立ち、４×４量子化マトリクスメモリ１０１から４×４画素ブロックに対応する量子化マトリクスの各要素を４×４量子化マトリクス保持部１０５に入力する。また、同時に８×８量子化マトリクスメモリ１０２から８×８画素ブロックに対応する量子化マトリクスの各要素を８×８量子化マトリクス保持部１０６に入力する。また、８×８画素ブロックに対応する量子化マトリクスの各要素は量子化マトリクス変倍部１０３に入力される。量子化マトリクス変倍部１０３は８×８画素ブロックに対応する量子化マトリクスを縦横２倍に拡大し、１６×１６画素ブロックに対応する量子化マトリクスを生成し、１６×１６量子化マトリクス保持部１０７と量子化マトリクス変倍部１０４に入力する。１６×１６量子化マトリクス保持部１０７は入力された１６×１６画素ブロックに対応する量子化マトリクスを保持しておく。量子化マトリクス変倍部１０４は１６×１６画素ブロックに対応する量子化マトリクスを縦横２倍に拡大し、３２×３２画素ブロックに対応する量子化マトリクスを生成し、３２×３２量子化マトリクス保持部１０８に入力する。３２×３２量子化マトリクス保持部１０８は入力された３２×３２画素ブロックに対応する量子化マトリクスを保持しておく。 Prior to decoding, each element of the quantization matrix corresponding to the 4 × 4 pixel block is input from the 4 × 4 quantization matrix memory 101 to the 4 × 4 quantization matrix holding unit 105. At the same time, each element of the quantization matrix corresponding to the 8 × 8 pixel block is input from the 8 × 8 quantization matrix memory 102 to the 8 × 8 quantization matrix holding unit 106. Each element of the quantization matrix corresponding to the 8 × 8 pixel block is input to the quantization matrix scaling unit 103. The quantization matrix scaling unit 103 enlarges the quantization matrix corresponding to the 8 × 8 pixel block vertically and horizontally to generate a quantization matrix corresponding to the 16 × 16 pixel block, and a 16 × 16 quantization matrix holding unit 107 and the quantization matrix scaling unit 104. The 16 × 16 quantization matrix holding unit 107 holds a quantization matrix corresponding to the input 16 × 16 pixel block. The quantization matrix scaling unit 104 enlarges the quantization matrix corresponding to the 16 × 16 pixel block vertically and horizontally, generates a quantization matrix corresponding to the 32 × 32 pixel block, and generates a 32 × 32 quantization matrix holding unit. Input to 108. The 32 × 32 quantization matrix holding unit 108 holds a quantization matrix corresponding to the input 32 × 32 pixel block.

１ブロック分の量子化結果が端子１１０から入力され、バッファ１１１に入力される。また、入力された量子化結果のブロックサイズ情報が端子１０９から入力され、セレクタ１１２、１１７に入力される。 The quantization result for one block is input from the terminal 110 and input to the buffer 111. The block size information of the input quantization result is input from the terminal 109 and input to the selectors 112 and 117.

ブロックサイズ情報が４×４画素ブロックを表す場合、４×４画素ブロックに対応する量子化結果が端子１１０からバッファ１１１に入力され、保持される。セレクタ１１２はブロックサイズ情報が４×４画素であることから出力先を４×４逆量子化部１１３とする。４×４逆量子化部１１３は４×４画素ブロックに対応する量子化結果に対して、４×４量子化マトリクス保持部１０５に保持された４×４画素ブロックに対応する量子化マトリクスを用いて逆量子化し、４×４の直交変換係数を生成する。４×４の直交変換係数はセレクタ１１７を介してバッファ１１８に出力される。 When the block size information represents a 4 × 4 pixel block, the quantization result corresponding to the 4 × 4 pixel block is input from the terminal 110 to the buffer 111 and held. The selector 112 sets the output destination to the 4 × 4 inverse quantization unit 113 because the block size information is 4 × 4 pixels. The 4 × 4 inverse quantization unit 113 uses the quantization matrix corresponding to the 4 × 4 pixel block held in the 4 × 4 quantization matrix holding unit 105 for the quantization result corresponding to the 4 × 4 pixel block. Inverse quantization is performed to generate 4 × 4 orthogonal transform coefficients. The 4 × 4 orthogonal transform coefficients are output to the buffer 118 via the selector 117.

ブロックサイズ情報が８×８画素ブロックを表す場合、８×８画素ブロックに対応する量子化結果が端子１１０からバッファ１１１に入力され、保持される。セレクタ１１２はブロックサイズ情報が８×８画素であることから出力先を８×８逆量子化部１１４とする。８×８逆量子化部１１４は８×８画素ブロックに対応する量子化結果に対して、８×８量子化マトリクス保持部１０６に保持された８×８画素ブロックに対応する量子化マトリクスを用いて逆量子化し、８×８の直交変換係数を生成する。８×８の直交変換係数はセレクタ１１７を介してバッファ１１８に出力される。 When the block size information represents an 8 × 8 pixel block, a quantization result corresponding to the 8 × 8 pixel block is input from the terminal 110 to the buffer 111 and held. The selector 112 sets the output destination to the 8 × 8 inverse quantization unit 114 because the block size information is 8 × 8 pixels. The 8 × 8 inverse quantization unit 114 uses the quantization matrix corresponding to the 8 × 8 pixel block held in the 8 × 8 quantization matrix holding unit 106 for the quantization result corresponding to the 8 × 8 pixel block. Inverse quantization is performed to generate an 8 × 8 orthogonal transform coefficient. The 8 × 8 orthogonal transform coefficient is output to the buffer 118 via the selector 117.

ブロックサイズ情報が１６×１６画素ブロックを表す場合、１６×１６画素ブロックに対応する量子化結果が端子１１０からバッファ１１１に入力され、保持される。セレクタ１１２はブロックサイズ情報が１６×１６画素であることから出力先を１６×１６逆量子化部１１５とする。１６×１６逆量子化部１１５は１６×１６画素ブロックに対応する量子化結果に対して、１６×１６量子化マトリクス保持部１０７に保持された１６×１６画素ブロックに対応する量子化マトリクスを用いて逆量子化し、１６×１６の直交変換係数を生成する。１６×１６の直交変換係数はセレクタ１１７を介してバッファ１１８に出力される。 When the block size information represents a 16 × 16 pixel block, the quantization result corresponding to the 16 × 16 pixel block is input from the terminal 110 to the buffer 111 and held. The selector 112 sets the output destination to the 16 × 16 inverse quantization unit 115 because the block size information is 16 × 16 pixels. The 16 × 16 inverse quantization unit 115 uses the quantization matrix corresponding to the 16 × 16 pixel block held in the 16 × 16 quantization matrix holding unit 107 for the quantization result corresponding to the 16 × 16 pixel block. Inverse quantization is performed to generate 16 × 16 orthogonal transform coefficients. The 16 × 16 orthogonal transform coefficient is output to the buffer 118 via the selector 117.

ブロックサイズ情報が３２×３２画素ブロックを表す場合、３２×３２画素ブロックに対応する量子化結果が端子１１０からバッファ１１１に入力され、保持される。セレクタ１１２はブロックサイズ情報が３２×３２画素であることから出力先を３２×３２逆量子化部１１６とする。３２×３２逆量子化部１１６は３２×３２画素ブロックに対応する量子化結果に対して、３２×３２量子化マトリクス保持部１０８に保持された３２×３２画素ブロックに対応する量子化マトリクスを用いて逆量子化し、３２×３２の直交変換係数を生成する。３２×３２の直交変換係数はセレクタ１１７を介してバッファ１１８に出力される。バッファ１１８は各ブロックサイズの直交変換係数を、端子１１９を介して出力する。 When the block size information represents a 32 × 32 pixel block, a quantization result corresponding to the 32 × 32 pixel block is input from the terminal 110 to the buffer 111 and held. The selector 112 sets the output destination to the 32 × 32 inverse quantization unit 116 because the block size information is 32 × 32 pixels. The 32 × 32 inverse quantization unit 116 uses the quantization matrix corresponding to the 32 × 32 pixel block held in the 32 × 32 quantization matrix holding unit 108 for the quantization result corresponding to the 32 × 32 pixel block. Inverse quantization is performed to generate a 32 × 32 orthogonal transform coefficient. The 32 × 32 orthogonal transform coefficient is output to the buffer 118 via the selector 117. The buffer 118 outputs the orthogonal transform coefficient of each block size via the terminal 119.

Ｈ．２６４によれば量子化マトリクスをｐｉｃ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔの中で符号化することができる。これによって、シーケンスの途中でも量子化マトリクスの更新を行うことができる。図１２の画像復号装置にｐｉｃ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔを表す符号が端子１２０１から入力されると復号部１２０２は量子化パラメータの更新があることを逆量子化部１２０３に入力する。ｐｉｃ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔに含まれるｐｉｃ＿ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ｐｒｅｓｅｎｔ＿ｆｌａｇ［ｉ］によって更新される量子化マトリクスのブロックサイズも決まる。更新の有無と更新される量子化マトリクスのサイズ、それと更新する量子化マトリクスの要素データの符号データが逆量子化部１２０３に入力される。 H. According to H.264, the quantization matrix can be encoded in pic_parameter_set. Thereby, the quantization matrix can be updated even during the sequence. When a code representing pic_parameter_set is input from the terminal 1201 to the image decoding apparatus in FIG. 12, the decoding unit 1202 inputs to the inverse quantization unit 1203 that the quantization parameter is updated. The block size of the quantization matrix updated by pic_scaling_list_present_flag [i] included in pic_parameter_set is also determined. The presence / absence of update, the size of the quantization matrix to be updated, and the code data of element data of the quantization matrix to be updated are input to the inverse quantization unit 1203.

図１に戻って、これらの符号データは量子化マトリクス復号部１２１に入力される。量子化マトリクス復号部１２１はｐｉｃ＿ｓｃａｌｉｎｇ＿ｍａｔｒｉｘ＿ｐｒｅｓｅｎｔ＿ｆｌａｇ符号を復号し、量子化マトリクスの更新の有無を得る。更新される場合は、ｐｉｃ＿ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ｐｒｅｓｅｎｔ＿ｆｌａｇ［ｉ］によって更新する量子化マトリクスを決めることができる。さらにｓｃａｌｉｎｇ＿ｌｉｓｔ（）によって各ブロックサイズに適応する量子化要素の符号データを得る。これらの復号を行う。 Returning to FIG. 1, these code data are input to the quantization matrix decoding unit 121. The quantization matrix decoding unit 121 decodes the pic_scaling_matrix_present_flag code, and obtains whether or not the quantization matrix is updated. In the case of updating, the quantization matrix to be updated can be determined by pic_scaling_list_present_flag [i]. Further, code data of quantization elements adapted to each block size is obtained by scaling_list (). These decodings are performed.

復号された量子化更新を行うブロックサイズが４×４であった場合セレクタ１２２は、出力先として４×４量子化マトリクス保持部１０５を選択する。量子化マトリクス復号部１２１から出力される４×４＝１６個の要素を入力し、４×４量子化マトリクス保持部１０５で保持しておき、ピクチャの各ブロックの４×４画素ブロックに対応した量子化マトリクスを得る。 When the block size for performing the decoded quantization update is 4 × 4, the selector 122 selects the 4 × 4 quantization matrix holding unit 105 as an output destination. 4 × 4 = 16 elements output from the quantization matrix decoding unit 121 are input, held in the 4 × 4 quantization matrix holding unit 105, and correspond to the 4 × 4 pixel block of each block of the picture Get the quantization matrix.

量子化更新を行うブロックサイズが８×８であった場合セレクタ１２２は、出力先として８×８量子化マトリクス保持部１０６と量子化マトリクス変倍部１０３を選択する。量子化マトリクス復号部１２１から出力される８×８＝６４個の要素を入力し、８×８量子化マトリクス保持部１０６で保持しておき、ピクチャの各ブロックの８×８画素ブロックに対応した量子化マトリクスを得る。 When the block size for performing the quantization update is 8 × 8, the selector 122 selects the 8 × 8 quantization matrix holding unit 106 and the quantization matrix scaling unit 103 as output destinations. 8 × 8 = 64 elements output from the quantization matrix decoding unit 121 are input and stored in the 8 × 8 quantization matrix storage unit 106, and correspond to the 8 × 8 pixel block of each block of the picture. Get the quantization matrix.

復号された量子化更新を行うブロックサイズが１６×１６であった場合セレクタ１２２は、出力先として量子化マトリクス変倍部１０３を選択する。量子化マトリクス変倍部１０３は８×８量子化マトリクス保持部１０６に保持された８×８画素ブロック対応の量子化マトリクスを入力する。量子化マトリクス変倍部１０３は入力された８×８画素ブロックに対応する量子化マトリクスを拡大して１６×１６画素ブロックに対応した量子化マトリクスを生成する。これらの拡大方法の一例を図３に示す。 When the block size for performing the decoded quantization update is 16 × 16, the selector 122 selects the quantization matrix scaling unit 103 as an output destination. The quantization matrix scaling unit 103 inputs the quantization matrix corresponding to the 8 × 8 pixel block held in the 8 × 8 quantization matrix holding unit 106. The quantization matrix scaling unit 103 expands the quantization matrix corresponding to the input 8 × 8 pixel block, and generates a quantization matrix corresponding to the 16 × 16 pixel block. An example of these enlargement methods is shown in FIG.

図３（ａ）は８×８画素ブロックに対応した量子化マトリクスの例であり、それを縦横２倍の拡大を行う。例えば、前述の非特許文献３に記載の拡大方法、すなわち、Ｎ×Ｎの量子化マトリクスＱ（ｉ、ｊ）（０≦ｉ≦Ｎ−１、０≦ｊ≦Ｎ−１）を２Ｎ×２Ｎの量子化マトリクスＱ´（ｘ、ｙ）（０≦ｘ≦２×Ｎ−１、０≦ｙ≦２×Ｎ−１）に拡大する際に、
Ｑ´（０，０）＝Ｑ（０，０）
Ｑ´（０，２×ｊ＋１）＝Ｑ（０，ｊ）
Ｑ´（２×ｉ＋１，０）＝Ｑ（ｉ，０）
Ｑ´（２×ｉ＋１，２×ｊ＋１）＝Ｑ（ｉ，ｊ）
Ｑ´（０，１）＝（２１×Ｑ´（０，０）＋１１×Ｑ´（０，３）＋１６）／３２
Ｑ´（０，２）＝（１１×Ｑ´（０，０）＋２１×Ｑ´（０，３）＋１６）／３２
Ｑ´（０，２＊ｊ＋２）＝（Ｑ´（０，２＊ｊ＋１）＋Ｑ´（０，２＊ｊ＋３）＋１）／２
Ｑ´（２×ｉ＋１，１）＝（２１×Ｑ´（２×ｉ＋１，０）＋１１×Ｑ´（２×ｉ＋１，３）＋１６）／３２
Ｑ´（２×ｉ＋１，２）＝（１１×Ｑ´（２×ｉ＋１，０）＋２１×Ｑ´（２×ｉ＋１，３）＋１６）／３２
Ｑ´（２×ｉ＋１，２＊ｊ＋２）＝（Ｑ´（２×ｉ＋１，２＊ｊ＋１）＋Ｑ´（２×ｉ＋１，２＊ｊ＋３）＋１）／２
Ｑ´（１，ｊ）＝（２１×Ｑ´（０，ｊ）＋１１×Ｑ´（３，ｊ）＋１６）／３２
Ｑ´（２，ｊ）＝（１１×Ｑ´（０，ｊ）＋２１×Ｑ´（３，ｊ）＋１６）／３２
Ｑ´（２×ｉ＋２，ｊ）＝（Ｑ´（２×ｉ＋１，ｊ）＋Ｑ´（２＊ｉ＋３，ｊ）＋１）／２
として拡大しても良い。図３（ｂ）に拡大結果を示す。 FIG. 3A shows an example of a quantization matrix corresponding to an 8 × 8 pixel block, which is enlarged twice vertically and horizontally. For example, the expansion method described in Non-Patent Document 3 described above, that is, an N × N quantization matrix Q (i, j) (0 ≦ i ≦ N−1, 0 ≦ j ≦ N−1) is 2N × 2N. When expanding to the quantization matrix Q ′ (x, y) (0 ≦ x ≦ 2 × N−1, 0 ≦ y ≦ 2 × N−1),
Q ′ (0,0) = Q (0,0)
Q ′ (0,2 × j + 1) = Q (0, j)
Q ′ (2 × i + 1,0) = Q (i, 0)
Q ′ (2 × i + 1, 2 × j + 1) = Q (i, j)
Q ′ (0,1) = (21 × Q ′ (0,0) + 11 × Q ′ (0,3) +16) / 32
Q ′ (0,2) = (11 × Q ′ (0,0) + 21 × Q ′ (0,3) +16) / 32
Q ′ (0,2 * j + 2) = (Q ′ (0,2 * j + 1) + Q ′ (0,2 * j + 3) +1) / 2
Q ′ (2 × i + 1,1) = (21 × Q ′ (2 × i + 1,0) + 11 × Q ′ (2 × i + 1,3) +16) / 32
Q ′ (2 × i + 1,2) = (11 × Q ′ (2 × i + 1,0) + 21 × Q ′ (2 × i + 1,3) +16) / 32
Q ′ (2 × i + 1, 2 * j + 2) = (Q ′ (2 × i + 1, 2 * j + 1) + Q ′ (2 × i + 1, 2 * j + 3) +1) / 2
Q ′ (1, j) = (21 × Q ′ (0, j) + 11 × Q ′ (3, j) +16) / 32
Q ′ (2, j) = (11 × Q ′ (0, j) + 21 × Q ′ (3, j) +16) / 32
Q ′ (2 × i + 2, j) = (Q ′ (2 × i + 1, j) + Q ′ (2 * i + 3, j) +1) / 2
You may enlarge as. FIG. 3B shows the enlargement result.

または、
Ｑ´（２×ｉ，２×ｊ）＝Ｑ（ｉ，ｊ）ｉｆｉ≦１、ｊ≦１
Ｑ´（２×ｉ，２×ｊ＋１）＝Ｑ（ｉ，ｊ）ｉｆｉ≦１、ｊ＞１またはｊ＝７
Ｑ´（２×ｉ＋１，２×ｊ）＝Ｑ（ｉ，ｊ）ｉｆｉ＞１またはｉ＝７、ｊ≦１
Ｑ´（２×ｉ＋１，２×ｊ＋１）＝Ｑ（ｉ，ｊ）ｉｆｉ＞ｔかつｊ＞１、ｉ＝ｊ＝１
隣接する左右または上下の要素の値が存在する２Ｎ×２Ｎの量子化マトリクスＱ´の要素については、
Ｑ´（ｉ＋１，ｊ）＝（Ｑ´（ｉ，ｊ）＋Ｑ´（ｉ＋２，ｊ）＋１）／２
Ｑ´（ｉ，ｊ＋１）＝（Ｑ´（ｉ，ｊ）＋Ｑ´（ｉ，ｊ＋２）＋１）／２
隣接する左右または上下の要素の値が無い場合は、
Ｑ´（ｉ＋１，ｊ）＝（２×Ｑ´（ｉ，ｊ）＋Ｑ´（ｉ＋３，ｊ））／３
Ｑ´（ｉ＋２，ｊ）＝（Ｑ´（ｉ，ｊ）＋２×Ｑ´（ｉ＋３，ｊ））／３
Ｑ´（ｉ，ｊ＋１）＝（２×Ｑ´（ｉ，ｊ）＋Ｑ´（ｉ，ｊ＋３））／３
Ｑ´（ｉ，ｊ＋２）＝（Ｑ´（ｉ，ｊ）＋２×Ｑ´（ｉ，ｊ＋３））／３
としても良い。 Or
Q ′ (2 × i, 2 × j) = Q (i, j) if i ≦ 1, j ≦ 1
Q ′ (2 × i, 2 × j + 1) = Q (i, j) if i ≦ 1, j> 1 or j = 7
Q ′ (2 × i + 1, 2 × j) = Q (i, j) if i> 1 or i = 7, j ≦ 1
Q ′ (2 × i + 1, 2 × j + 1) = Q (i, j) if i> t and j> 1, i = j = 1
For the elements of the 2N × 2N quantization matrix Q ′ in which there are adjacent left and right or upper and lower element values,
Q ′ (i + 1, j) = (Q ′ (i, j) + Q ′ (i + 2, j) +1) / 2
Q ′ (i, j + 1) = (Q ′ (i, j) + Q ′ (i, j + 2) +1) / 2
If there is no value for the adjacent left / right or top / bottom element,
Q ′ (i + 1, j) = (2 × Q ′ (i, j) + Q ′ (i + 3, j)) / 3
Q ′ (i + 2, j) = (Q ′ (i, j) + 2 × Q ′ (i + 3, j)) / 3
Q ′ (i, j + 1) = (2 × Q ′ (i, j) + Q ′ (i, j + 3)) / 3
Q ′ (i, j + 2) = (Q ′ (i, j) + 2 × Q ′ (i, j + 3)) / 3
It is also good.

または、線形補間によって求めても良い。すなわち、各要素の左上、右上、左下、右下の各係数に対して
Ｑ´（０，０）＝Ｑ（０，０）
Ｑ´（（２Ｎ−１），０）＝Ｑ（（Ｎ−１），０）
Ｑ´（０，（２Ｎ−１））＝Ｑ（０，（Ｎ−１））
Ｑ´（（２Ｎ−１），（２Ｎ−１））＝Ｑ（（Ｎ−１），（Ｎ−１））
とする。ここで、Ａ／／ＢはＡをＢで割った時の商を、ｍｏｄ（Ａ，Ｂ）はＡをＢで割った時のあまりを表すこととして、下記のようにＳ、Ｔ、Ｕ、Ｖを定義する。 Alternatively, it may be obtained by linear interpolation. That is, Q ′ (0,0) = Q (0,0) for each coefficient at the upper left, upper right, lower left, and lower right of each element
Q ′ ((2N−1), 0) = Q ((N−1), 0)
Q ′ (0, (2N−1)) = Q (0, (N−1))
Q ′ ((2N−1), (2N−1)) = Q ((N−1), (N−1))
And Here, A // B represents the quotient when A is divided by B, and mod (A, B) represents the quotient when A is divided by B. S, T, U, Define V.

Ｓ＝Ｑ（（（Ｎ−１）×ｘ）／／（２Ｎ−１），（（Ｎ−１）×ｙ）／／（２Ｎ−１））
Ｔ＝Ｑ（（（Ｎ−１）×ｘ）／／（２Ｎ−１）＋１，（（Ｎ−１）×ｙ）／／（２Ｎ−１））
Ｕ＝Ｑ（（（Ｎ−１）×ｘ）／／（２Ｎ−１），（（Ｎ−１）×ｙ＋１）／／（２Ｎ−１））
Ｖ＝Ｑ（（（Ｎ−１）×ｘ）／／（２Ｎ−１）＋１，（（Ｎ−１）×ｙ＋１）／／（２Ｎ−１）） S = Q (((N−1) × x) // (2N−1), ((N−1) × y) // (2N−1))
T = Q (((N−1) × x) // (2N−1) +1, ((N−1) × y) // (2N−1))
U = Q (((N−1) × x) // (2N−1), ((N−1) × y + 1) // (2N−1))
V = Q (((N−1) × x) // (2N−1) +1, ((N−1) × y + 1) // (2N−1))

これらを用いて、上端、左端、右端、下端の行および列を下記のように決定する。
Ｑ´（ｘ，０）＝（Ｓ×（２Ｎ−１−ｘ）＋Ｔ×ｘ）／／（２Ｎ−１）ｉｆ１≦ｘ≦２Ｎ−２
Ｑ´（０，ｙ）＝（Ｓ×（２Ｎ−１−ｙ）＋Ｕ×ｙ）／／（２Ｎ−１）ｉｆ１≦ｙ≦２Ｎ−２
Ｑ´（ｘ，２Ｎ−１）＝（Ｓ×（２Ｎ−１−ｘ）＋Ｔ×ｘ）／／（２Ｎ−１）ｉｆ１≦ｘ≦２Ｎ−２
Ｑ´（２Ｎ−１，ｙ）＝（Ｓ×（２Ｎ−１−ｙ）＋Ｕ×ｙ）／／（２Ｎ−１）ｉｆ１≦ｙ≦２Ｎ−２ Using these, the upper end, left end, right end, and lower end rows and columns are determined as follows.
Q ′ (x, 0) = (S × (2N−1−x) + T × x) // (2N−1) if 1 ≦ x ≦ 2N−2
Q ′ (0, y) = (S × (2N−1−y) + U × y) // (2N−1) if 1 ≦ y ≦ 2N−2
Q ′ (x, 2N−1) = (S × (2N−1−x) + T × x) // (2N−1) if 1 ≦ x ≦ 2N−2
Q ′ (2N−1, y) = (S × (2N−1−y) + U × y) // (2N−1) if 1 ≦ y ≦ 2N−2

さらに、それ以外の要素の計算をする際に、下記のようにＷ、Ｚを定義する。
Ｗ＝（Ｓ×（２Ｎ−１−ｘ）＋Ｔ×ｘ）／（２Ｎ−１）
Ｚ＝（Ｕ×（２Ｎ−１−ｘ）＋Ｖ×ｘ）／（２Ｎ−１） Furthermore, when calculating other elements, W and Z are defined as follows.
W = (S × (2N−1−x) + T × x) / (2N−1)
Z = (U * (2N-1-x) + V * x) / (2N-1)

これらを用いて、上記以外の要素の計算を下記の式で行う。
Ｑ´（ｘ，ｙ）＝（Ｗ×（２Ｎ−１−ｙ）＋Ｚ×ｙ）／／（２Ｎ−１）ｉｆ１≦ｘ≦２Ｎ−２がつ１≦ｙ≦２Ｎ−２
以上の計算を行うことで線形補間を行うことができる。図３（ｃ）にその結果を示す。 Using these, calculation of elements other than the above is performed by the following formula.
Q ′ (x, y) = (W × (2N−1−y) + Z × y) // (2N−1) if 1 ≦ x ≦ 2N-2 1 ≦ y ≦ 2N−2
Linear interpolation can be performed by performing the above calculation. FIG. 3C shows the result.

または、
Ｑ´（ｉ，ｊ）＝Ｑ（ｉ，ｊ）（ｉ≦１、ｊ≦１）
Ｑ´（２×ｉ，０）＝（Ｑ（ｉ＋１，０）＋Ｑ（ｉ，０）＋１）／２（Ｎ＞ｉ＞１でかつｉが奇数）
Ｑ´（２×ｉ，０）＝（Ｑ（ｉ＋１，０）（Ｎ＞ｉ＞１でかつｉが偶数）
Ｑ´（２×ｉ，１）＝（Ｑ（ｉ＋１，１）＋Ｑ（ｉ，１）＋１）／２（Ｎ＞ｉ＞１でかつｉが奇数）
Ｑ´（２×ｉ，１）＝（Ｑ（ｉ＋１，１）（Ｎ＞ｉ＞１でかつｉが偶数）
Ｑ´（２×ｉ，ｊ）＝（Ｑ（ｉ＋１，１）＋Ｑ（ｉ，１）＋１）／２（Ｎ＞ｊ＞１でかつｊが奇数においてＮ＞ｉ＞１でかつｉが奇数）
Ｑ´（２×ｉ，ｊ）＝（Ｑ（ｉ＋１，１）（Ｎ＞ｊ＞１でかつｊが奇数においてＮ＞ｉ＞１でかつｉが偶数）
とした後に、
Ｑ´（２×ｉ，ｊ）＝（Ｑ´（２×ｉ−１，ｊ）＋Ｑ´（２×ｉ＋１，ｊ）＋１）／２（Ｎ＞ｉ≧０、Ｎ≧ｊ＞１でかつｊが偶数）
とする方法でも良い。 Or
Q ′ (i, j) = Q (i, j) (i ≦ 1, j ≦ 1)
Q ′ (2 × i, 0) = (Q (i + 1,0) + Q (i, 0) +1) / 2 (N>i> 1 and i is an odd number)
Q ′ (2 × i, 0) = (Q (i + 1, 0) (N>i> 1 and i is an even number)
Q ′ (2 × i, 1) = (Q (i + 1,1) + Q (i, 1) +1) / 2 (N>i> 1 and i is an odd number)
Q ′ (2 × i, 1) = (Q (i + 1, 1) (N>i> 1 and i is an even number)
Q ′ (2 × i, j) = (Q (i + 1,1) + Q (i, 1) +1) / 2 (N>j> 1 and j is odd and N>i> 1 and i is odd)
Q ′ (2 × i, j) = (Q (i + 1,1) (N>j> 1 and j is an odd number, N>i> 1 and i is an even number)
And after
Q ′ (2 × i, j) = (Q ′ (2 × i−1, j) + Q ′ (2 × i + 1, j) +1) / 2 (N> i ≧ 0, N ≧ j> 1 and j Is even)
It is also possible to use the method.

上記のように変倍の方法については限定しないが、必ず、復号側と符号化側で方法が一致していることが必要である。 As described above, the scaling method is not limited, but it is always necessary that the decoding side and the encoding side match each other.

生成された量子化マトリクスは１６×１６量子化マトリクス保持部１０７に保持される。 The generated quantization matrix is held in the 16 × 16 quantization matrix holding unit 107.

量子化更新を行うブロックサイズが３２×３２であった場合セレクタ１２２は、出力先として量子化マトリクス変倍部１０４を選択する。量子化マトリクス変倍部１０３は８×８量子化マトリクス保持部１０７に保持された１６×１６画素ブロック対応の量子化マトリクスを入力する。量子化マトリクス変倍部１０４は入力された１６×１６画素ブロックに対応する量子化マトリクスを拡大して３２×３２画素ブロックに対応した量子化マトリクスを生成する。これらの拡大方法については量子化マトリクス変倍部１４０３と同じ方法を用いればよい。生成された量子化マトリクスは３２×３２量子化マトリクス保持部１０８に保持される。 When the block size for performing the quantization update is 32 × 32, the selector 122 selects the quantization matrix scaling unit 104 as an output destination. The quantization matrix scaling unit 103 inputs the quantization matrix corresponding to the 16 × 16 pixel block held in the 8 × 8 quantization matrix holding unit 107. The quantization matrix scaling unit 104 enlarges the quantization matrix corresponding to the input 16 × 16 pixel block and generates a quantization matrix corresponding to the 32 × 32 pixel block. About these expansion methods, the same method as that of the quantization matrix scaling unit 1403 may be used. The generated quantization matrix is held in the 32 × 32 quantization matrix holding unit 108.

図２は実施形態１に係る画像符号化装置における画像逆量子化処理を示すフローチャートである。まず、ステップＳ２０１にて、デフォルトの量子化マトリクスとして保持されている４×４画素ブロックに対応する量子化マトリクスと８×８画素ブロックに対応する量子化マトリクスをそれぞれのメモリから読み出し、逆量子化に用いるためにこれらを保持する。 FIG. 2 is a flowchart showing image dequantization processing in the image coding apparatus according to the first embodiment. First, in step S201, the quantization matrix corresponding to the 4 × 4 pixel block and the quantization matrix corresponding to the 8 × 8 pixel block held as the default quantization matrix are read from the respective memories, and the inverse quantization is performed. Hold these for use.

ステップＳ２０２にて、８×８画素ブロックに対応する量子化マトリクスを縦横２倍に拡大し、１６×１６画素ブロックに対応する量子化マトリクスを生成して、逆量子化に用いるためにこれを保持する。ステップＳ２０３にて、１６×１６画素ブロックに対応する量子化マトリクスを縦横２倍に拡大し、３２×３２画素ブロックに対応する量子化マトリクスを生成して、逆量子化に用いるためにこれを保持する。 In step S202, the quantization matrix corresponding to the 8 × 8 pixel block is doubled vertically and horizontally, and a quantization matrix corresponding to the 16 × 16 pixel block is generated and retained for use in inverse quantization. To do. In step S203, the quantization matrix corresponding to the 16 × 16 pixel block is doubled vertically and horizontally, and a quantization matrix corresponding to the 32 × 32 pixel block is generated and retained for use in inverse quantization. To do.

ステップＳ２０４にて、量子化マトリクスの更新を行うか否かを判定する。量子化マトリクスの更新を行わない場合はステップＳ２１０に進み、更新を行う場合はステップＳ２０５に進む。ステップＳ２０５にて、量子化マトリクスの更新を行うので、更新される量子化マトリクスの符号データを入力し、復号する。 In step S204, it is determined whether or not to update the quantization matrix. If the quantization matrix is not updated, the process proceeds to step S210. If the quantization matrix is updated, the process proceeds to step S205. In step S205, since the quantization matrix is updated, the code data of the updated quantization matrix is input and decoded.

ステップＳ２０６にて、デフォルトの量子化マトリクスへのリセットか否かを判定し、デフォルトの量子化マトリクスへのリセットであれば、ステップＳ２０１に戻り、ステップＳ２０１からステップＳ２０３にて、デフォルトの量子化マトリクスを設定する。リセットでなければ、ステップＳ２０７に進む。 In step S206, it is determined whether or not to reset to the default quantization matrix. If reset to the default quantization matrix, the process returns to step S201, and the default quantization matrix is returned from step S201 to step S203. Set. If not reset, the process proceeds to step S207.

ステップＳ２０７にて、４×４画素ブロックに対応する量子化マトリクスと８×８画素ブロックに対応する量子化マトリクスをそれぞれの符号データを復号して各量子化マトリクスを生成して、逆量子化に用いるためにこれを保持する。ステップＳ２０８にて、ステップＳ２０２と同様にして、８×８画素ブロックに対応する量子化マトリクスを縦横２倍に拡大し、１６×１６画素ブロックに対応する量子化マトリクスを生成して、逆量子化に用いるためにこれを保持する。 In step S207, the quantization matrix corresponding to the 4 × 4 pixel block and the quantization matrix corresponding to the 8 × 8 pixel block are decoded to generate each quantization matrix, and the inverse quantization is performed. Hold this for use. In step S208, as in step S202, the quantization matrix corresponding to the 8 × 8 pixel block is doubled vertically and horizontally to generate a quantization matrix corresponding to the 16 × 16 pixel block, and inverse quantization is performed. Hold this for use.

ステップＳ２０９にて、ステップＳ２０３と同様にして、１６×１６画素ブロックに対応する量子化マトリクスを縦横２倍に拡大し、３２×３２画素ブロックに対応する量子化マトリクスを生成して、逆量子化に用いるためにこれを保持する。ステップＳ２１０にて、量子化係数を読み込む。ステップＳ２１１にて、読み込まれた量子化係数を該当するブロックサイズの量子化マトリクスを用いて逆量子化を行い、直交変換係数を算出して出力する。 In step S209, in the same manner as in step S203, the quantization matrix corresponding to the 16 × 16 pixel block is doubled vertically and horizontally to generate a quantization matrix corresponding to the 32 × 32 pixel block, and inverse quantization is performed. Hold this for use. In step S210, the quantization coefficient is read. In step S211, the read quantization coefficient is inversely quantized using a quantization matrix having a corresponding block size, and an orthogonal transform coefficient is calculated and output.

ステップＳ２１２にて、ＬＣＵの全ての量子化係数の逆量子化が終了したか否かを判定し、もし、終了していなければステップＳ２０４に戻り、次のブロックの処理を行う。 In step S212, it is determined whether or not the inverse quantization of all the quantization coefficients of the LCU has been completed. If not completed, the process returns to step S204, and the next block is processed.

以上の構成と動作により、特にステップＳ２０２、Ｓ２０３の処理により、１６×１６画素ブロックに対応する量子化マトリクス、３２×３２画素ブロックに対応する量子化マトリクスのデフォルトの量子化マトリクスを格納するメモリを省略することができる。この際に、量子化マトリクスの拡大を量子化マトリクスの更新で使用する拡大手段を用いることで、処理の規模は増大しない。 With the above configuration and operation, a memory for storing a default quantization matrix of a quantization matrix corresponding to a 16 × 16 pixel block and a quantization matrix corresponding to a 32 × 32 pixel block, in particular, by the processing of steps S202 and S203. Can be omitted. At this time, the scale of processing does not increase by using an expansion unit that uses expansion of the quantization matrix in updating the quantization matrix.

なお、ステップＳ２０６にてデフォルトの量子化マトリクスへのリセットの判定を行ったが、これを省略して符号データに量子化マトリクスの符号データを復号しても構わない。また、本実施例において、３２×３２画素ブロックに対応する量子化マトリクスを１６×１６画素ブロックに対応する量子化マトリクスから拡大して生成したが、これに限定されない。図４に構成の異なる画像逆量子化装置の構成を表す。図４において図１と同じ動作を行うブロックに関しては図１と同じ番号を付し、説明を省略する。４０４は量子化マトリクス変倍部であり、８×８画素ブロックに対応する量子化マトリクスを縦横４倍に拡大し、３２×３２画素ブロックに対応する量子化マトリクスを生成する。このように構成することで、１６×１６画素ブロック対応の量子化マトリクスの要素（２５６個）を送らずに８×８画素ブロックに対応する量子化マトリクスの要素（６４個）の伝送で済むため、転送のデータ幅を抑えることができる。 Note that the reset to the default quantization matrix is determined in step S206, but this may be omitted and the code data of the quantization matrix may be decoded into the code data. In this embodiment, the quantization matrix corresponding to the 32 × 32 pixel block is generated by being enlarged from the quantization matrix corresponding to the 16 × 16 pixel block. However, the present invention is not limited to this. FIG. 4 shows a configuration of an image inverse quantization device having a different configuration. 4, blocks that perform the same operations as in FIG. 1 are assigned the same numbers as in FIG. Reference numeral 404 denotes a quantization matrix scaling unit that expands the quantization matrix corresponding to the 8 × 8 pixel block four times vertically and horizontally to generate a quantization matrix corresponding to the 32 × 32 pixel block. With this configuration, the quantization matrix elements (64) corresponding to the 8 × 8 pixel block can be transmitted without transmitting the quantization matrix elements (256) corresponding to the 16 × 16 pixel block. The data width of transfer can be suppressed.

また、本実施例において、変倍部での変倍を拡大についてのみ説明したが、これに限定されない。例えば、８×８画素ブロックに対応する量子化マトリクスのみを保持して、これから４×４画素ブロックに対応する量子化マトリクスを生成しても構わない。図５に構成の異なる画像逆量子化装置の構成を表す。図５において図１と同じ動作を行うブロックに関しては図１と同じ番号を付し、説明を省略する。５０１は量子化マトリクス変倍部であり、８×８画素ブロックに対応する量子化マトリクスを縦横１／２倍に縮小し、４×４画素ブロックに対応する量子化マトリクスを生成する。復号に先立ち、８×８量子化マトリクスメモリ１０２から８×８画素ブロックに対応する量子化マトリクスの各要素を量子化マトリクス変倍部５０１に入力する。量子化マトリクス変倍部５０１は８×８画素ブロックに対応する量子化マトリクスを縦横１／２倍に縮小し、４×４画素ブロックに対応する量子化マトリクスを生成し、４×４量子化マトリクス保持部１０５に入力する。その後、当該量子化マトリクスを用いて逆量子化を行う。量子化マトリクス変倍部５０１での変倍の方法については特に特に言及しない。その一例を図６に示す。図６（ａ）は図３（ａ）のから４×４の要素で平均値を算出して生成した量子化マトリックスである。また、図６（ｂ）は図３（ａ）のから４×４の要素で間引きを行って生成した量子化マトリックスである。例えば、前述の２Ｎ×２Ｎの量子化マトリクスＱ´（ｘ、ｙ）をＮ×Ｎの量子化マトリクスＱ（ｉ、ｊ）に縮小する場合、
ｆｏｒ（ｉ＝０；ｉ＜Ｎ；ｉ＋＋）｛
ｉｆ（ｉ＞１）｛Ｒ＝ｉ×２−１｝ｅｌｓｅ｛Ｒ＝０｝
ｆｏｒ（ｊ＝０；ｊ＜Ｎ；ｊ＋＋）｛
ｉｆ（ｊ＞１）｛Ｃ＝ｊ×２−１｝ｅｌｓｅ｛Ｃ＝０｝
Ｑ（ｉ、ｊ）＝Ｑ´（Ｒ．Ｃ）；
｝
｝
といった方法でも良い。図６（ｃ）は図３（ａ）のから４×４の要素で加重平均を用いて生成した量子化マトリックスである。 Further, in the present embodiment, the zooming in the zooming unit has been described only for the enlargement, but the present invention is not limited to this. For example, only the quantization matrix corresponding to the 8 × 8 pixel block may be held, and the quantization matrix corresponding to the 4 × 4 pixel block may be generated from this. FIG. 5 shows a configuration of an image inverse quantization device having a different configuration. 5, blocks that perform the same operations as in FIG. 1 are assigned the same numbers as in FIG. 1, and descriptions thereof are omitted. Reference numeral 501 denotes a quantization matrix scaling unit that reduces the quantization matrix corresponding to the 8 × 8 pixel block to ½ times vertically and horizontally to generate a quantization matrix corresponding to the 4 × 4 pixel block. Prior to decoding, each element of the quantization matrix corresponding to the 8 × 8 pixel block is input from the 8 × 8 quantization matrix memory 102 to the quantization matrix scaling unit 501. The quantization matrix scaling unit 501 reduces the quantization matrix corresponding to the 8 × 8 pixel block to ½ times vertically and horizontally, generates a quantization matrix corresponding to the 4 × 4 pixel block, and generates the 4 × 4 quantization matrix. Input to the holding unit 105. Thereafter, inverse quantization is performed using the quantization matrix. No particular mention is made of the scaling method in the quantization matrix scaling unit 501. An example is shown in FIG. FIG. 6A shows a quantization matrix generated by calculating an average value with 4 × 4 elements from FIG. FIG. 6B is a quantization matrix generated by performing thinning with 4 × 4 elements from FIG. For example, when the 2N × 2N quantization matrix Q ′ (x, y) is reduced to an N × N quantization matrix Q (i, j),
for (i = 0; i <N; i ++) {
if (i> 1) {R = i × 2-1} else {R = 0}
for (j = 0; j <N; j ++) {
if (j> 1) {C = j × 2-1} else {C = 0}
Q (i, j) = Q ′ (RC);
}
}
A method such as FIG. 6C is a quantization matrix generated by using a weighted average with 4 × 4 elements from FIG.

また、本実施例において、正方形の量子化マトリクスについて説明を行ったが、これに限定されない。例えば１６×８画素ブロックや８×１６画素ブロック等であっても良い。８×８画素ブロックに対応する量子化マトリクスから１６×８画素ブロックに対応する量子化マトリクスを拡大によって生成する場合、上記の方法で水平方向のみの拡大を行う。また、８×１６画素ブロックに対応する量子化マトリクスを生成する場合は上記の方法で垂直方向のみに拡大を行う。縮小においても同様で１６×１６画素ブロックに対応する量子化マトリクスから１６×８画素ブロックに対応する量子化マトリクスを縮小によって生成する場合、上記の方法で垂直方向のみの縮小を行う。さらには１６×４画素ブロックに対応する量子化マトリクスとしてももちろん構わない。また、これらのブロックサイズに限定されない。 In this embodiment, a square quantization matrix has been described. However, the present invention is not limited to this. For example, a 16 × 8 pixel block or an 8 × 16 pixel block may be used. When a quantization matrix corresponding to a 16 × 8 pixel block is generated by enlargement from a quantization matrix corresponding to an 8 × 8 pixel block, enlargement only in the horizontal direction is performed by the above method. When generating a quantization matrix corresponding to an 8 × 16 pixel block, enlargement is performed only in the vertical direction by the above method. The same applies to the reduction. When a quantization matrix corresponding to a 16 × 8 pixel block is generated by reduction from a quantization matrix corresponding to a 16 × 16 pixel block, reduction in the vertical direction is performed by the above method. Of course, a quantization matrix corresponding to a 16 × 4 pixel block may be used. Moreover, it is not limited to these block sizes.

図５に構成の異なる画像逆量子化装置の構成を表す。図５において図１と同じ動作を行うブロックに関しては図１と同じ番号を付し、説明を省略する。７０３は８×８画素ブロックに対応する量子化マトリクスを縮小し、１６×８画素ブロックに対応する量子化マトリクスを生成する量子化マトリクス変倍部である。変倍の手法については特に限定しない。図８にその変倍の一例を示す。図６（ａ）の８×８画素ブロックに対応する量子化マトリクスを横に２倍拡大する。１６×８画素ブロックに対応する量子化マトリクスを保持する１６×８量子化マトリクス保持部である。７０８は８×１６画素ブロックに対応する量子化マトリクスを保持する８×１６量子化マトリクス保持部である。７１５は１６×８画素ブロックの量子化係数を逆量子化する１６×８逆量子化部である。７１６は８×１６画素ブロックの量子化係数を逆量子化する８×１６逆量子化部である。以上の構成において、端子１１０から１６×８画素ブロックの量子化係数が入力された場合、セレクタ１１２を介して１６×８逆量子化部７１５に入力される。１６×８画素ブロックの量子化係数は１６×８量子化マトリクス保持部７０７の量子化マトリクスを用いて逆量子化して１６×８の直交変換係数を生成する。また、端子１１０から８×１６画素ブロックの量子化係数が入力された場合、セレクタ１１２を介して８×１６逆量子化部７１６に入力され、８×１６量子化マトリクス保持部７０８の量子化マトリクスを用いて、逆量子化して８×１６の直交変換係数を生成する。また、これらの実施例のブロックサイズはこれに限定されない。また、１６×８画素ブロックに対応する量子化マトリクスや８×１６画素ブロックに対応する量子化マトリクスを８×８画素ブロックに対応する量子化マトリクスから拡大して求めたがこれに限定されない。１６×１６画素ブロックに対応する量子化マトリクスから縮小して求めても構わない。このように構成し、動作することで正方形以外の量子化マトリクスにも対応できる。 FIG. 5 shows a configuration of an image inverse quantization device having a different configuration. 5, blocks that perform the same operations as in FIG. 1 are assigned the same numbers as in FIG. 1, and descriptions thereof are omitted. Reference numeral 703 denotes a quantization matrix scaling unit that reduces the quantization matrix corresponding to the 8 × 8 pixel block and generates a quantization matrix corresponding to the 16 × 8 pixel block. There is no particular limitation on the scaling method. FIG. 8 shows an example of the scaling. The quantization matrix corresponding to the 8 × 8 pixel block in FIG. 6A is doubled horizontally. A 16 × 8 quantization matrix holding unit that holds a quantization matrix corresponding to a 16 × 8 pixel block. Reference numeral 708 denotes an 8 × 16 quantization matrix holding unit that holds a quantization matrix corresponding to an 8 × 16 pixel block. Reference numeral 715 denotes a 16 × 8 inverse quantization unit that inversely quantizes the quantization coefficient of the 16 × 8 pixel block. Reference numeral 716 denotes an 8 × 16 inverse quantization unit that inversely quantizes the quantization coefficient of the 8 × 16 pixel block. In the above configuration, when a quantization coefficient of a 16 × 8 pixel block is input from the terminal 110, the quantization coefficient is input to the 16 × 8 inverse quantization unit 715 via the selector 112. The quantization coefficient of the 16 × 8 pixel block is inversely quantized using the quantization matrix of the 16 × 8 quantization matrix holding unit 707 to generate a 16 × 8 orthogonal transform coefficient. Further, when the quantization coefficient of the 8 × 16 pixel block is input from the terminal 110, the quantization coefficient is input to the 8 × 16 inverse quantization unit 716 via the selector 112, and the quantization matrix of the 8 × 16 quantization matrix holding unit 708 is input. Is used to generate an 8 × 16 orthogonal transform coefficient by inverse quantization. Further, the block size of these embodiments is not limited to this. Further, although the quantization matrix corresponding to the 16 × 8 pixel block and the quantization matrix corresponding to the 8 × 16 pixel block are obtained by enlarging from the quantization matrix corresponding to the 8 × 8 pixel block, the present invention is not limited to this. You may obtain | require by reducing from the quantization matrix corresponding to a 16x16 pixel block. By configuring and operating in this way, it is possible to deal with quantization matrices other than squares.

また、量子化マトリクス変倍部１０３と量子化マトリクス変倍部１０４で異なる拡大方法を用いてももちろん構わない。復号側と符号化側で同じ変倍方法を用いることによって、特に変倍方法について符号化する必要は無い。 Of course, different enlargement methods may be used for the quantization matrix scaling unit 103 and the quantization matrix scaling unit 104. By using the same scaling method on the decoding side and the encoding side, it is not necessary to encode the scaling method.

＜実施形態２＞
図９は図１３の量子化部１３０５を構成する本実施例の画像量子化装置を示すブロック図である。 <Embodiment 2>
FIG. 9 is a block diagram showing the image quantization apparatus of this embodiment that constitutes the quantization unit 1305 of FIG.

図９において、９０１は４×４画素ブロックに対応する量子化マトリクスのデフォルト値を格納する４×４量子化マトリクスメモリである。９０２は８×８画素ブロックに対応する量子化マトリクスのデフォルト値を格納する８×８量子化マトリクスメモリである。９０３は８×８画素ブロックに対応する量子化マトリクスを拡大し、１６×１６画素ブロックに対応する量子化マトリクスを生成する量子化マトリクス変倍部である。９０４は１６×１６画素ブロックに対応する量子化マトリクスを拡大し、３２×３２画素ブロックに対応する量子化マトリクスを生成する量子化マトリクス変倍部である。９０５は４×４画素ブロックに対応する量子化マトリクスを保持する４×４量子化マトリクス保持部である。９０６は８×８画素ブロックに対応する量子化マトリクスを保持する８×８量子化マトリクス保持部である。９０７は１６×１６画素ブロックに対応する量子化マトリクスを保持する１６×１６量子化マトリクス保持部である。９０８は３２×３２画素ブロックに対応する量子化マトリクスを保持する３２×３２量子化マトリクス保持部である。 In FIG. 9, reference numeral 901 denotes a 4 × 4 quantization matrix memory that stores a default value of a quantization matrix corresponding to a 4 × 4 pixel block. Reference numeral 902 denotes an 8 × 8 quantization matrix memory that stores a default value of a quantization matrix corresponding to an 8 × 8 pixel block. Reference numeral 903 denotes a quantization matrix scaling unit that expands a quantization matrix corresponding to an 8 × 8 pixel block and generates a quantization matrix corresponding to a 16 × 16 pixel block. Reference numeral 904 denotes a quantization matrix scaling unit that expands a quantization matrix corresponding to a 16 × 16 pixel block and generates a quantization matrix corresponding to a 32 × 32 pixel block. Reference numeral 905 denotes a 4 × 4 quantization matrix holding unit that holds a quantization matrix corresponding to a 4 × 4 pixel block. Reference numeral 906 denotes an 8 × 8 quantization matrix holding unit that holds a quantization matrix corresponding to an 8 × 8 pixel block. Reference numeral 907 denotes a 16 × 16 quantization matrix holding unit that holds a quantization matrix corresponding to a 16 × 16 pixel block. Reference numeral 908 denotes a 32 × 32 quantization matrix holding unit that holds a quantization matrix corresponding to a 32 × 32 pixel block.

９０９は端子であり、図１３の変換部１３０４に接続され、入力された画像データのブロックサイズを示すブロックサイズ情報を入力する。９１０は端子であり、図１３の変換部１３０４に接続され、ブロックサイズ単位で直交変換係数を入力する。９１１はバッファであり、処理を行うブロックサイズの直交変換係数を保持する。９１２はセレクタであり、前記ブロックサイズ情報に従って出力先を選択する。９１３は４×４画素ブロックの量子化係数を量子化する４×４量子化部である。９１４は８×８画素ブロックの直交変換係数を量子化する８×８量子化部である。９１５は１６×１６画素ブロックの直交変換係数を量子化する１６×１６量子化部である。９１６は３２×３２画素ブロックの直交変換係数を量子化する３２×３２量子化部である。９１７はセレクタであり、前記ブロックサイズ情報に従って入力先を選択する。９１８はバッファであり、量子化して得られた量子化係数を保持しておく。９１９は端子であり、図１３の符号化部１３０６と逆量子化部１３０８に接続され、量子化係数を出力する。９２１は端子であり、不図示のユーザインターフェースに接続されており、量子化マトリクスの更新を行う場合の指示を入力する。９２２は４×４画素ブロックに対応する量子化マトリクスを更新する際の量子化マトリクスを生成する４×４量子化マトリクス修正部である。９２２は４×４画素ブロックに対応する量子化マトリクスを更新する際の量子化マトリクスを生成する４×４量子化マトリクス修正部である。９２４はセレクタであり、４×４量子化マトリクス修正部９２２、８×８量子化マトリクス修正部９２３から修正した量子化マトリクスを入力し、端子９２１からの指示で出力先を選択するセレクタである。９２５は量子化マトリクス符号化部であり、量子化マトリクスの更新の情報を符号化する。９２６は端子であり、量子化マトリクスの更新に関する符号データを出力する。 Reference numeral 909 denotes a terminal which is connected to the conversion unit 1304 in FIG. 13 and inputs block size information indicating the block size of the input image data. Reference numeral 910 denotes a terminal which is connected to the transform unit 1304 in FIG. 13 and inputs orthogonal transform coefficients in block size units. Reference numeral 911 denotes a buffer, which holds orthogonal transform coefficients having a block size to be processed. A selector 912 selects an output destination according to the block size information. Reference numeral 913 denotes a 4 × 4 quantization unit that quantizes the quantization coefficient of the 4 × 4 pixel block. Reference numeral 914 denotes an 8 × 8 quantization unit that quantizes the orthogonal transform coefficient of the 8 × 8 pixel block. Reference numeral 915 denotes a 16 × 16 quantization unit that quantizes the orthogonal transform coefficient of the 16 × 16 pixel block. Reference numeral 916 denotes a 32 × 32 quantization unit that quantizes the orthogonal transform coefficient of the 32 × 32 pixel block. A selector 917 selects an input destination according to the block size information. Reference numeral 918 denotes a buffer, which holds quantization coefficients obtained by quantization. Reference numeral 919 denotes a terminal which is connected to the encoding unit 1306 and the inverse quantization unit 1308 in FIG. 13 and outputs a quantized coefficient. Reference numeral 921 denotes a terminal, which is connected to a user interface (not shown), and inputs an instruction for updating the quantization matrix. Reference numeral 922 denotes a 4 × 4 quantization matrix correction unit that generates a quantization matrix when updating a quantization matrix corresponding to a 4 × 4 pixel block. Reference numeral 922 denotes a 4 × 4 quantization matrix correction unit that generates a quantization matrix when updating a quantization matrix corresponding to a 4 × 4 pixel block. Reference numeral 924 denotes a selector which receives the corrected quantization matrix from the 4 × 4 quantization matrix correction unit 922 and the 8 × 8 quantization matrix correction unit 923 and selects an output destination according to an instruction from the terminal 921. A quantization matrix encoding unit 925 encodes update information of the quantization matrix. Reference numeral 926 denotes a terminal which outputs code data relating to the update of the quantization matrix.

上記画像量子化装置における直交変換係数の量子化動作を以下に説明する。本実施形態では直交変換係数の量子化結果を入力する構成となっているが、これに限定されない。また、説明のため、ブロック単位での入力になっているが、これも限定されない。 The quantization operation of the orthogonal transform coefficient in the image quantization apparatus will be described below. Although the present embodiment is configured to input the quantization result of the orthogonal transform coefficient, the present invention is not limited to this. Further, for the sake of explanation, the input is performed in units of blocks, but this is not limited.

符号化に先立ち、４×４量子化マトリクスメモリ９０１から４×４画素ブロックに対応する量子化マトリクスの各要素を４×４量子化マトリクス保持部９０５に入力する。また、同時に８×８量子化マトリクスメモリ９０２から８×８画素ブロックに対応する量子化マトリクスの各要素を８×８量子化マトリクス保持部９０６に入力する。また、８×８画素ブロックに対応する量子化マトリクスの各要素は量子化マトリクス変倍部９０３に入力される。量子化マトリクス変倍部９０３は８×８画素ブロックに対応する量子化マトリクスを縦横２倍に拡大し、１６×１６画素ブロックに対応する量子化マトリクスを生成し、１６×１６量子化マトリクス保持部９０７と量子化マトリクス変倍部９０４に入力する。１６×１６量子化マトリクス保持部９０７は入力された１６×１６画素ブロックに対応する量子化マトリクスを保持しておく。量子化マトリクス変倍部９０４は１６×１６画素ブロックに対応する量子化マトリクスを縦横２倍に拡大し、３２×３２画素ブロックに対応する量子化マトリクスを生成し、３２×３２量子化マトリクス保持部９０８に入力する。３２×３２量子化マトリクス保持部９０８は入力された３２×３２画素ブロックに対応する量子化マトリクスを保持しておく。 Prior to encoding, each element of the quantization matrix corresponding to the 4 × 4 pixel block is input from the 4 × 4 quantization matrix memory 901 to the 4 × 4 quantization matrix holding unit 905. At the same time, each element of the quantization matrix corresponding to the 8 × 8 pixel block is input from the 8 × 8 quantization matrix memory 902 to the 8 × 8 quantization matrix holding unit 906. In addition, each element of the quantization matrix corresponding to the 8 × 8 pixel block is input to the quantization matrix scaling unit 903. The quantization matrix scaling unit 903 expands the quantization matrix corresponding to the 8 × 8 pixel block vertically and horizontally to generate a quantization matrix corresponding to the 16 × 16 pixel block, and a 16 × 16 quantization matrix holding unit 907 and the quantization matrix scaling unit 904. The 16 × 16 quantization matrix holding unit 907 holds a quantization matrix corresponding to the input 16 × 16 pixel block. The quantization matrix scaling unit 904 enlarges the quantization matrix corresponding to the 16 × 16 pixel block vertically and horizontally, generates a quantization matrix corresponding to the 32 × 32 pixel block, and generates a 32 × 32 quantization matrix holding unit. Input to 908. The 32 × 32 quantization matrix holding unit 908 holds a quantization matrix corresponding to the input 32 × 32 pixel block.

１ブロック分の直交変換係数が端子９１０から入力され、バッファ９１１に入力される。また、入力された直交変換係数のブロックサイズ情報が端子９０９から入力され、セレクタ９１２、９１７に入力される。 An orthogonal transform coefficient for one block is input from a terminal 910 and input to a buffer 911. Further, block size information of the input orthogonal transform coefficient is input from a terminal 909 and input to selectors 912 and 917.

ブロックサイズ情報が４×４画素ブロックを表す場合、４×４画素ブロックに対応する直交変換係数が端子９１０からバッファ９１１に入力され、保持される。セレクタ９１２はブロックサイズ情報が４×４画素であることから出力先を４×４量子化部９１３とする。４×４量子化部９１３は４×４画素ブロックに対応する直交変換係数に対して、４×４量子化マトリクス保持部９０５に保持された４×４画素ブロックに対応する量子化マトリクスを用いて量子化し、４×４の量子化係数を生成する。４×４の量子化係数はセレクタ９１７を介してバッファ９１８に出力される。 When the block size information represents a 4 × 4 pixel block, an orthogonal transform coefficient corresponding to the 4 × 4 pixel block is input from the terminal 910 to the buffer 911 and held. The selector 912 sets the output destination to the 4 × 4 quantization unit 913 because the block size information is 4 × 4 pixels. The 4 × 4 quantization unit 913 uses the quantization matrix corresponding to the 4 × 4 pixel block held in the 4 × 4 quantization matrix holding unit 905 for the orthogonal transform coefficient corresponding to the 4 × 4 pixel block. Quantize to generate 4 × 4 quantization coefficients. The 4 × 4 quantization coefficient is output to the buffer 918 via the selector 917.

ブロックサイズ情報が８×８画素ブロックを表す場合、８×８画素ブロックに対応する直交変換係数が端子９１０からバッファ９１１に入力され、保持される。セレクタ１１２はブロックサイズ情報が８×８画素であることから出力先を８×８量子化部９１４とする。８×８量子化部９１４は８×８画素ブロックに対応する直交変換係数に対して、８×８量子化マトリクス保持部９０６に保持された８×８画素ブロックに対応する量子化マトリクスを用いて量子化し、８×８の量子化係数を生成する。８×８の量子化係数はセレクタ９１７を介してバッファ９１８に出力される。 When the block size information represents an 8 × 8 pixel block, an orthogonal transform coefficient corresponding to the 8 × 8 pixel block is input from the terminal 910 to the buffer 911 and held. The selector 112 sets the output destination to the 8 × 8 quantization unit 914 because the block size information is 8 × 8 pixels. The 8 × 8 quantization unit 914 uses the quantization matrix corresponding to the 8 × 8 pixel block held in the 8 × 8 quantization matrix holding unit 906 for the orthogonal transform coefficient corresponding to the 8 × 8 pixel block. Quantize to generate 8 × 8 quantization coefficients. The 8 × 8 quantization coefficient is output to the buffer 918 via the selector 917.

ブロックサイズ情報が１６×１６画素ブロックを表す場合、１６×１６画素ブロックに対応する直交変換係数が端子９１０からバッファ９１１に入力され、保持される。セレクタ９１２はブロックサイズ情報が１６×１６画素であることから出力先を１６×１６量子化部９１５とする。１６×１６量子化部９１５は１６×１６画素ブロックに対応する直交変換係数に対して、１６×１６量子化マトリクス保持部９０７に保持された１６×１６画素ブロックに対応する量子化マトリクスを用いて量子化し、１６×１６の量子化係数を生成する。１６×１６の量子化係数はセレクタ９１７を介してバッファ９１８に出力される。 When the block size information represents a 16 × 16 pixel block, an orthogonal transform coefficient corresponding to the 16 × 16 pixel block is input from the terminal 910 to the buffer 911 and held. The selector 912 sets the output destination to the 16 × 16 quantization unit 915 since the block size information is 16 × 16 pixels. The 16 × 16 quantization unit 915 uses the quantization matrix corresponding to the 16 × 16 pixel block held in the 16 × 16 quantization matrix holding unit 907 for the orthogonal transform coefficient corresponding to the 16 × 16 pixel block. Quantize to generate 16 × 16 quantization coefficients. The 16 × 16 quantization coefficient is output to the buffer 918 via the selector 917.

ブロックサイズ情報が３２×３２画素ブロックを表す場合、３２×３２画素ブロックに対応する直交変換係数が端子９１０からバッファ９１１に入力され、保持される。セレクタ９１２はブロックサイズ情報が３２×３２画素であることから出力先を３２×３２量子化部９１６とする。３２×３２量子化部９１６は３２×３２画素ブロックに対応する直交変換係数に対して、３２×３２量子化マトリクス保持部９０８に保持された３２×３２画素ブロックに対応する量子化マトリクスを用いて量子化し、３２×３２の量子化係数を生成する。３２×３２の量子化係数はセレクタ９１７を介してバッファ９１８に出力される。 When the block size information represents a 32 × 32 pixel block, an orthogonal transform coefficient corresponding to the 32 × 32 pixel block is input from the terminal 910 to the buffer 911 and held. The selector 912 sets the output destination to the 32 × 32 quantization unit 916 because the block size information is 32 × 32 pixels. The 32 × 32 quantization unit 916 uses the quantization matrix corresponding to the 32 × 32 pixel block held in the 32 × 32 quantization matrix holding unit 908 for the orthogonal transform coefficient corresponding to the 32 × 32 pixel block. Quantize to generate 32 × 32 quantization coefficients. The 32 × 32 quantization coefficient is output to the buffer 918 via the selector 917.

バッファ９１８は各ブロックサイズの直交変換係数を、端子９１９を介して出力する。 The buffer 918 outputs the orthogonal transform coefficient of each block size via the terminal 919.

実施例１でも説明したように、Ｈ．２６４によれば量子化マトリクスをｐｉｃ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔの中で符号化することができる。これによって、シーケンスの途中でも量子化マトリクスの更新を行うことができる。端子９２１からユーザが量子化マトリクスの更新の指示を行った場合について説明する。４×４画素ブロックに対応する量子化マトリクス及び８×８画素ブロックに対応する量子化マトリクスを更新する場合について最初に説明する。４×４量子化マトリクス修正部９２２は更新される新しい４×４画素ブロックに対応する量子化マトリクスを生成し、セレクタ９２４に入力する。セレクタ９２４は入力された量子化マトリクスを４×４量子化マトリクス保持部９０５と量子化マトリクス符号化部９２５に出力する。４×４量子化マトリクス保持部９０５はこの量子化マトリクスを保持し、以降の４×４画素ブロックに対応する量子化マトリクスによる量子化に備える。また、量子化マトリクス符号化部９２５はｐｉｃ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔを表す符号を生成し、出力するとともに、続く符号データが４×４画素ブロックに対応する量子化マトリクスの係数であることを示す量子化マトリクスサイズ符号を出力する。続いて、１６個の量子化マトリクスの要素が符号化される。これらの符号データは端子９２６から出力される。 As described in the first embodiment, H.P. According to H.264, the quantization matrix can be encoded in pic_parameter_set. Thereby, the quantization matrix can be updated even during the sequence. A case where the user instructs to update the quantization matrix from the terminal 921 will be described. First, a case where the quantization matrix corresponding to the 4 × 4 pixel block and the quantization matrix corresponding to the 8 × 8 pixel block are updated will be described. The 4 × 4 quantization matrix correction unit 922 generates a quantization matrix corresponding to the new 4 × 4 pixel block to be updated, and inputs the quantization matrix to the selector 924. The selector 924 outputs the input quantization matrix to the 4 × 4 quantization matrix holding unit 905 and the quantization matrix encoding unit 925. The 4 × 4 quantization matrix holding unit 905 holds this quantization matrix and prepares for quantization by the quantization matrix corresponding to the subsequent 4 × 4 pixel block. Also, the quantization matrix encoding unit 925 generates and outputs a code representing pic_parameter_set, and outputs a quantization matrix size code indicating that the subsequent code data is a coefficient of a quantization matrix corresponding to a 4 × 4 pixel block. Output. Subsequently, the 16 quantization matrix elements are encoded. These code data are output from a terminal 926.

同様に、８×８量子化マトリクス修正部９２３は更新される新しい８×８画素ブロックに対応する量子化マトリクスを生成し、セレクタ９２４に入力する。セレクタ９２４は入力された量子化マトリクスを８×８量子化マトリクス保持部９０６、量子化マトリクス変倍部９０３、及び量子化マトリクス変倍部９０４、量子化マトリクス符号化部９２５に出力する。４×４量子化マトリクス保持部９０６はこの量子化マトリクスを保持し、以降の８×８画素ブロックに対応する量子化マトリクスによる量子化に備える。また、量子化マトリクス符号化部９２５はｐｉｃ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔを表す符号を生成し、出力するとともに、続く符号データが８×８画素ブロックに対応する量子化マトリクスの係数であることを示す量子化マトリクスサイズ符号を出力する。続いて、６４個の量子化マトリクスの要素が符号化される。これらの符号データは端子９２６から出力される。 Similarly, the 8 × 8 quantization matrix modification unit 923 generates a quantization matrix corresponding to the new 8 × 8 pixel block to be updated, and inputs the quantization matrix to the selector 924. The selector 924 outputs the input quantization matrix to the 8 × 8 quantization matrix holding unit 906, the quantization matrix scaling unit 903, the quantization matrix scaling unit 904, and the quantization matrix encoding unit 925. The 4 × 4 quantization matrix holding unit 906 holds this quantization matrix and prepares for quantization by the quantization matrix corresponding to the subsequent 8 × 8 pixel block. Also, the quantization matrix encoding unit 925 generates and outputs a code representing pic_parameter_set, and outputs a quantization matrix size code indicating that the subsequent code data is a coefficient of a quantization matrix corresponding to an 8 × 8 pixel block. Output. Subsequently, 64 quantization matrix elements are encoded. These code data are output from a terminal 926.

続いて、１６×１６画素ブロックに対応する量子化マトリクス、３２×３２画素ブロックに対応する量子化マトリクスの更新について説明する。量子化マトリクス変倍部９０３は実施例１の量子化マトリクス変倍部１０３と同様に縦横２倍の拡大を８×８画素ブロックに対応する量子化マトリクスに対して行い、１６×１６画素ブロックに対応する量子化マトリクスを生成する。生成された量子化マトリクスは１６×１６量子化マトリクス保持部９０７に入力される。１６×１６量子化マトリクス保持部９０７はこの量子化マトリクスを保持し、以降の１６×１６画素ブロックに対応する量子化マトリクスによる量子化に備える。と同時に、量子化マトリクス符号化部９２５は１６×１６画素ブロックに対応する量子化マトリクスが更新されたことのみを符号化し、端子９２６から出力する。同様に、量子化マトリクス変倍部９０４は縦横４倍の拡大を入力された８×８画素ブロックに対応する量子化マトリクスに対して行い、３２×３２画素ブロックに対応する量子化マトリクスを生成する。生成された量子化マトリクスは３２×３２量子化マトリクス保持部９０８に入力される。３２×３２量子化マトリクス保持部９０８はこの量子化マトリクスを保持し、以降の３２×３２画素ブロックに対応する量子化マトリクスによる量子化に備える。と同時に、量子化マトリクス符号化部９２５は３２×３２画素ブロックに対応する量子化マトリクスが更新されたことのみを符号化し、端子９２６から出力する。 Next, update of the quantization matrix corresponding to the 16 × 16 pixel block and the quantization matrix corresponding to the 32 × 32 pixel block will be described. Similar to the quantization matrix scaling unit 103 of the first embodiment, the quantization matrix scaling unit 903 enlarges the horizontal and vertical two times to the quantization matrix corresponding to the 8 × 8 pixel block, thereby obtaining a 16 × 16 pixel block. A corresponding quantization matrix is generated. The generated quantization matrix is input to the 16 × 16 quantization matrix holding unit 907. The 16 × 16 quantization matrix holding unit 907 holds this quantization matrix and prepares for quantization by the quantization matrix corresponding to the subsequent 16 × 16 pixel block. At the same time, the quantization matrix encoding unit 925 encodes only that the quantization matrix corresponding to the 16 × 16 pixel block has been updated, and outputs it from the terminal 926. Similarly, the quantization matrix scaling unit 904 performs 4 times vertical and horizontal enlargement on the input quantization matrix corresponding to the 8 × 8 pixel block, and generates a quantization matrix corresponding to the 32 × 32 pixel block. . The generated quantization matrix is input to the 32 × 32 quantization matrix holding unit 908. The 32 × 32 quantization matrix holding unit 908 holds this quantization matrix and prepares for quantization by the quantization matrix corresponding to the subsequent 32 × 32 pixel block. At the same time, the quantization matrix encoding unit 925 encodes only that the quantization matrix corresponding to the 32 × 32 pixel block has been updated, and outputs the result from the terminal 926.

図１０は実施形態２に係る画像符号化装置における画像量子化処理を示すフローチャートである。まず、ステップＳ１００１にて、デフォルトの量子化マトリクスとして保持されている４×４画素ブロックに対応する量子化マトリクスと８×８画素ブロックに対応する量子化マトリクスをそれぞれのメモリから読み出す。これらを量子化及び逆量子化に用いるためにこれらを保持する。 FIG. 10 is a flowchart showing an image quantization process in the image coding apparatus according to the second embodiment. First, in step S1001, the quantization matrix corresponding to the 4 × 4 pixel block and the quantization matrix corresponding to the 8 × 8 pixel block held as the default quantization matrix are read from the respective memories. These are retained for use in quantization and inverse quantization.

ステップＳ１００２にて、８×８画素ブロックに対応する量子化マトリクスを縦横２倍に拡大し、１６×１６画素ブロックに対応する量子化マトリクスを生成して、量子化及び逆量子化に用いるためにこれを保持する。ステップＳ１００３にて、８×８画素ブロックに対応する量子化マトリクスを縦横４倍に拡大し、３２×３２画素ブロックに対応する量子化マトリクスを生成して、量子化及び逆量子化に用いるためにこれを保持する。 In step S1002, the quantization matrix corresponding to the 8 × 8 pixel block is doubled vertically and horizontally, and a quantization matrix corresponding to the 16 × 16 pixel block is generated and used for quantization and inverse quantization. Hold this. In step S1003, the quantization matrix corresponding to the 8 × 8 pixel block is expanded four times vertically and horizontally to generate a quantization matrix corresponding to the 32 × 32 pixel block, and used for quantization and inverse quantization. Hold this.

ステップＳ１００４にて、量子化マトリクスの更新を行うか否かを判定する。量子化マトリクスの更新を行わない場合はステップＳ１００９に進み、更新を行う場合はステップＳ１００５に進む。ステップＳ１００５にて、更新はデフォルトの量子化マトリクスへの更新か否かを判定する。デフォルトの量子化マトリクスへの変更であれば、ステップＳ１００１に戻り、デフォルトの量子化マトリクスを再設定する。そうでなければ、ステップＳ１００６に進む。 In step S1004, it is determined whether to update the quantization matrix. If the quantization matrix is not updated, the process proceeds to step S1009. If the quantization matrix is updated, the process proceeds to step S1005. In step S1005, it is determined whether the update is an update to a default quantization matrix. If the change is to the default quantization matrix, the process returns to step S1001 to reset the default quantization matrix. Otherwise, the process proceeds to step S1006.

ステップＳ１００６にて、４×４画素ブロックに対応する量子化マトリクスと８×８画素ブロックに対応する量子化マトリクスのそれぞれを新しい要素からなる要素に寄って更新し、これを保持する。ステップＳ１００７にて、ｐｉｃ＿ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ｐｒｅｓｅｎｔ＿ｆｌａｇ［ｉ］を符号化し、更新された各要素を符号化する。 In step S1006, the quantization matrix corresponding to the 4 × 4 pixel block and the quantization matrix corresponding to the 8 × 8 pixel block are updated according to the elements composed of the new elements, and are retained. In step S1007, pic_scaling_list_present_flag [i] is encoded, and each updated element is encoded.

ステップＳ１００８にて、復号側と符号化側で同じ変倍方法を用い、８×８画素ブロックに対応する量子化マトリクスを縦横２倍に拡大し、１６×１６画素ブロックに対応する量子化マトリクスを生成する。量子化及び逆量子化に用いるためにこれを保持する。 In step S1008, the same scaling method is used on the decoding side and the encoding side, the quantization matrix corresponding to the 8 × 8 pixel block is doubled vertically and horizontally, and the quantization matrix corresponding to the 16 × 16 pixel block is expanded. Generate. Retain this for use in quantization and inverse quantization.

ステップＳ１００９にて、８×８画素ブロックに対応する量子化マトリクスを復号側と符号化側で同じ変倍方法を用い、縦横４倍に拡大し、３２×３２画素ブロックに対応する量子化マトリクスを生成する。量子化及び逆量子化に用いるためにこれを保持する。 In step S1009, the quantization matrix corresponding to the 8 × 8 pixel block is enlarged four times in the vertical and horizontal directions using the same scaling method on the decoding side and the encoding side, and the quantization matrix corresponding to the 32 × 32 pixel block is obtained. Generate. Retain this for use in quantization and inverse quantization.

ステップＳ１０１０にて、量子化するブロックのブロックサイズと直交変換係数を読み込む。ステップＳ１０１１にて、ブロックサイズに従って、対応する量子化マトリクスを用いて直交変換係数を量子化する。ステップＳ１０１２にて、ＬＣＵの全ての量子化係数の量子化が終了したか否かを判定し、もし、終了していなければステップＳ１００４に戻り、次のブロックの処理を行う。 In step S1010, the block size of the block to be quantized and the orthogonal transform coefficient are read. In step S1011, the orthogonal transform coefficient is quantized using the corresponding quantization matrix according to the block size. In step S1012, it is determined whether or not the quantization of all the quantization coefficients of the LCU has been completed. If not, the process returns to step S1004 to perform the next block processing.

以上の構成と動作により、特にステップＳ１００２、Ｓ１００３の処理により、１６×１６画素ブロックに対応する量子化マトリクス、３２×３２画素ブロックに対応するデフォルトの量子化マトリクスを格納するメモリを省略することができる。この際に、量子化マトリクスの拡大を量子化マトリクスの更新で使用する拡大手段を用いることで、処理の規模は増大しない。 With the above configuration and operation, the memory for storing the quantization matrix corresponding to the 16 × 16 pixel block and the default quantization matrix corresponding to the 32 × 32 pixel block can be omitted particularly by the processing of steps S1002 and S1003. it can. At this time, the scale of processing does not increase by using an expansion unit that uses expansion of the quantization matrix in updating the quantization matrix.

なお、本実施例において、ユーザが量子化マトリクスの更新を行うように説明したが、これに限定されない。例えば、画像の特性を抽出し、その絵柄等に依存して量子化マトリクスを自動で更新してももちろん構わない。 In the present embodiment, the user is described as updating the quantization matrix, but the present invention is not limited to this. For example, it is of course possible to extract the characteristics of the image and automatically update the quantization matrix depending on the pattern or the like.

なお、本実施例において、量子化マトリクスのブロックサイズを符号データとして符号化する場合を例にとって説明したが、小さいブロックサイズのものから符号化する規則を設けることで、このブロックサイズの符号データを省略することができる。 In the present embodiment, the case where the block size of the quantization matrix is encoded as code data has been described as an example. Can be omitted.

また、更新する量子化マトリクスを選択することできる。例えば８×８画素ブロックに対応する量子化マトリクスだけとする場合はｐｉｃ＿ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ｐｒｅｓｅｎｔ＿ｆｌａｇ［ｉ］で８×８画素ブロックに対応する量子化マトリクスのみを更新するように符号化すればよい。また、拡大によって得られる量子化マトリクスのみを更新する場合、ｐｉｃ＿ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ｐｒｅｓｅｎｔ＿ｆｌａｇ［ｉ］で８×８画素ブロックに対応する量子化マトリクスの更新は行わないように符号化する。但し、８×８画素ブロックに対応する量子化マトリクスの更新する係数値を符号化する。さらにｐｉｃ＿ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ｐｒｅｓｅｎｔ＿ｆｌａｇ［ｉ］で例えば１６×１６画素ブロックに対応する量子化マトリクスの更新を行うように符号化を行う。 In addition, the quantization matrix to be updated can be selected. For example, when only the quantization matrix corresponding to the 8 × 8 pixel block is used, it is only necessary to encode the pic_scaling_list_present_flag [i] so that only the quantization matrix corresponding to the 8 × 8 pixel block is updated. When only the quantization matrix obtained by the enlargement is updated, encoding is performed so that the quantization matrix corresponding to the 8 × 8 pixel block is not updated by pic_scaling_list_present_flag [i]. However, the coefficient value to be updated in the quantization matrix corresponding to the 8 × 8 pixel block is encoded. Further, encoding is performed so as to update a quantization matrix corresponding to, for example, a 16 × 16 pixel block by pic_scaling_list_present_flag [i].

なお、本実施例において、３２×３２画素ブロックに対応する量子化マトリクスを８×９画素ブロックに対応する量子化マトリクスから生成したが、一旦生成された１６×１６画素ブロックに対応する量子化マトリクスを縦横２倍して生成しても良い。図１１に構成の異なる画像量子化装置の構成を表す。図１１において図９と同じ動作を行うブロックに関しては図９と同じ番号を付し、説明を省略する。１１０１は１６×１６画素ブロックに対応する量子化マトリクスを更新する１６×１６量子化マトリクス更新情報を生成する１６×１６量子化マトリクス修正部である。１１０２は３２×３２画素ブロックに対応する量子化マトリクスを更新する１６×１６量子化マトリクス更新情報を生成する３２×３２量子化マトリクス修正部である。１１２４はセレクタである。４×４量子化マトリクス修正部９２２、８×８量子化マトリクス修正部９２３から修正した量子化マトリクスを入力し、１６×１６量子化マトリクス更新情報または３２×３２量子化マトリクス更新情報を入力する。これらの入力を端子９２１からの指示で入力先および出力先を選択するセレクタである。１１２５は量子化マトリクス符号化部であり、量子化マトリクスの更新の情報を符号化する。４×４画素ブロックに対応する量子化マトリクスないしは８×８画素ブロックに対応する量子化マトリクスの更新については図９で説明したとおりである。 In this embodiment, the quantization matrix corresponding to the 32 × 32 pixel block is generated from the quantization matrix corresponding to the 8 × 9 pixel block, but the quantization matrix corresponding to the once generated 16 × 16 pixel block is generated. May be generated by doubling the height and width. FIG. 11 shows a configuration of an image quantization apparatus having a different configuration. 11, blocks that perform the same operations as in FIG. 9 are assigned the same numbers as in FIG. 9, and descriptions thereof are omitted. Reference numeral 1101 denotes a 16 × 16 quantization matrix correction unit that generates 16 × 16 quantization matrix update information for updating a quantization matrix corresponding to a 16 × 16 pixel block. Reference numeral 1102 denotes a 32 × 32 quantization matrix correction unit that generates 16 × 16 quantization matrix update information for updating a quantization matrix corresponding to a 32 × 32 pixel block. Reference numeral 1124 denotes a selector. The modified quantization matrix is input from the 4 × 4 quantization matrix modification unit 922 and the 8 × 8 quantization matrix modification unit 923, and 16 × 16 quantization matrix update information or 32 × 32 quantization matrix update information is input. This selector is a selector that selects an input destination and an output destination for these inputs according to an instruction from a terminal 921. Reference numeral 1125 denotes a quantization matrix encoding unit that encodes update information of the quantization matrix. The update of the quantization matrix corresponding to the 4 × 4 pixel block or the quantization matrix corresponding to the 8 × 8 pixel block is as described in FIG.

端子９２１からユーザが１６×１６画素ブロックに対応する量子化マトリクスの更新の指示を行った場合について説明する。１６×１６量子化マトリクス修正部１１０１は１６×１６量子化マトリクス更新情報を生成する。生成された１６×１６量子化マトリクス更新情報はセレクタ１１２４を介して量子化マトリクス符号化部１１２５に入力される。量子化マトリクス符号化部１１２５はｐｉｃ＿ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ｐｒｅｓｅｎｔ＿ｆｌａｇ［ｉ］で１６×１６画素ブロックに対応する量子化マトリクスの更新を行うように符号化を行う。 A case where the user gives an instruction to update the quantization matrix corresponding to the 16 × 16 pixel block from the terminal 921 will be described. The 16 × 16 quantization matrix correction unit 1101 generates 16 × 16 quantization matrix update information. The generated 16 × 16 quantization matrix update information is input to the quantization matrix encoding unit 1125 via the selector 1124. The quantization matrix encoding unit 1125 performs encoding so that the quantization matrix corresponding to the 16 × 16 pixel block is updated with pic_scaling_list_present_flag [i].

また、端子９２１からユーザが３２×３２画素ブロックに対応する量子化マトリクスの更新の指示を行った場合について説明する。３２×３２量子化マトリクス修正部１１０２は３２×３２量子化マトリクス更新情報を生成する。生成された３２×３２量子化マトリクス更新情報はセレクタ１１２４を介して量子化マトリクス符号化部１１２５に入力される。量子化マトリクス符号化部１１２５はｐｉｃ＿ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ｐｒｅｓｅｎｔ＿ｆｌａｇ［ｉ］で３２×３２画素ブロックに対応する量子化マトリクスの更新を行うように符号化を行う。 A case where the user instructs to update the quantization matrix corresponding to the 32 × 32 pixel block from the terminal 921 will be described. The 32 × 32 quantization matrix correction unit 1102 generates 32 × 32 quantization matrix update information. The generated 32 × 32 quantization matrix update information is input to the quantization matrix encoding unit 1125 via the selector 1124. The quantization matrix encoding unit 1125 performs encoding so that the quantization matrix corresponding to the 32 × 32 pixel block is updated with pic_scaling_list_present_flag [i].

また、１６×１６量子化マトリクス修正部１１０１は対応する８×８画素ブロックに対応する量子化マトリクスのみを更新することもできる。この時、更新する１６×１６画素ブロックに対応する量子化マトリクスを縦横１／２に縮小した８×８画素ブロックに対応する量子化マトリクスを生成する。セレクタ１１２４は生成された８×８画素ブロックに対応する量子化マトリクスを量子化マトリクス変倍部９０３に入力する。量子化マトリクス変倍部９０３は前述の通り縦横２倍の拡大を行い１６×１６画素ブロックに対応する量子化マトリクスを生成する。量子化マトリクス符号化部１１２５は生成された８×８画素ブロックに対応する量子化マトリクスを符号化する。但し、８×８画素ブロックに対応する量子化マトリクスの更新は行わない。さらに上述の１６×１６量子化マトリクス更新情報を符号化する。３２×３２画素ブロックに対応する量子化マトリクスについても同様に処理を行うことができる。 Further, the 16 × 16 quantization matrix correction unit 1101 can update only the quantization matrix corresponding to the corresponding 8 × 8 pixel block. At this time, a quantization matrix corresponding to the 8 × 8 pixel block is generated by reducing the quantization matrix corresponding to the 16 × 16 pixel block to be updated to 1/2 in the vertical and horizontal directions. The selector 1124 inputs the quantization matrix corresponding to the generated 8 × 8 pixel block to the quantization matrix scaling unit 903. As described above, the quantization matrix scaling unit 903 enlarges the image twice vertically and horizontally and generates a quantization matrix corresponding to a 16 × 16 pixel block. The quantization matrix encoding unit 1125 encodes the quantization matrix corresponding to the generated 8 × 8 pixel block. However, the quantization matrix corresponding to the 8 × 8 pixel block is not updated. Further, the above 16 × 16 quantization matrix update information is encoded. The same processing can be performed for a quantization matrix corresponding to a 32 × 32 pixel block.

また、本実施例では説明を簡単にするために正方形の画素ブロックに対応する量子化マトリクスの更新について説明したが、これに限定されない。実施例１で説明したように非正方形の量子化マトリクス、例えば８×１６画素ブロックに対応する量子化マトリクスとしても良い。 In the present embodiment, the update of the quantization matrix corresponding to the square pixel block has been described for the sake of simplicity, but the present invention is not limited to this. As described in the first embodiment, a non-square quantization matrix, for example, a quantization matrix corresponding to an 8 × 16 pixel block may be used.

＜実施形態３＞
本実施形態では図１２の逆量子化部１２０４における画像逆量子化装置として図１の構成をもちいて説明する。 <Embodiment 3>
In the present embodiment, the image inverse quantization apparatus in the inverse quantization unit 1204 in FIG. 12 will be described using the configuration in FIG.

なお、本実施形態においては説明を容易にするために、用いるブロックサイズを４×４、８×８、１６×１６、３２×３２とするが、これに限定されない。実施形態１とは量子化マトリクス変倍部１０３、１０４の構成が異なる。 In the present embodiment, for ease of explanation, the block size used is 4 × 4, 8 × 8, 16 × 16, and 32 × 32, but is not limited to this. The configuration of the quantization matrix scaling units 103 and 104 is different from that of the first embodiment.

実施形態１と同様に、復号に先立ち、４×４量子化マトリクスメモリ１０１から４×４画素ブロックに対応する量子化マトリクスの各要素を４×４量子化マトリクス保持部１０５に入力する。また、同時に８×８量子化マトリクスメモリ１０２から８×８画素ブロックに対応する量子化マトリクスの各要素を８×８量子化マトリクス保持部１０６に入力する。また、８×８画素ブロックに対応する量子化マトリクスの各要素は量子化マトリクス変倍部１０３に入力される。量子化マトリクス変倍部１０３は８×８画素ブロックに対応する量子化マトリクスを縦に２倍、横に２倍に拡大し、１６×１６画素ブロックに対応する量子化マトリクスを生成し、１６×１６量子化マトリクス保持部１０７と量子化マトリクス変倍部１０４に入力する。量子化マトリクス変倍部１０３において、量子化マトリクスの各要素を縦、横に繰り返して複写することで拡大を行う。Ｎ×Ｎ画素ブロックに対応する量子化マトリクスＱ（ｉ、ｊ）（０≦ｉ≦Ｎ−１、０≦ｊ≦Ｎ−１）を２Ｎ×２Ｎ画素ブロックに対応する量子化マトリクスＱ´（ｘ、ｙ）（０≦ｘ≦２×Ｎ−１、０≦ｙ≦２×Ｎ−１）に拡大する際に、Ｑ´（ｘ、ｙ）＝Ｑ（ｘ／Ｆ，ｙ／Ｆ）（但しＦは２）として拡大を行う。図３（ａ）の８×８量子化マトリクスを本実施形態によって拡大した結果を図１６（ａ）に示す。拡大された１６×１６画素ブロックに対応する量子化マトリクスの各要素は１６×１６量子化マトリクス保持部１０７に格納される。 Similarly to the first embodiment, each element of the quantization matrix corresponding to the 4 × 4 pixel block is input from the 4 × 4 quantization matrix memory 101 to the 4 × 4 quantization matrix holding unit 105 prior to decoding. At the same time, each element of the quantization matrix corresponding to the 8 × 8 pixel block is input from the 8 × 8 quantization matrix memory 102 to the 8 × 8 quantization matrix holding unit 106. Each element of the quantization matrix corresponding to the 8 × 8 pixel block is input to the quantization matrix scaling unit 103. The quantization matrix scaling unit 103 enlarges the quantization matrix corresponding to the 8 × 8 pixel block vertically twice and horizontally to generate a quantization matrix corresponding to the 16 × 16 pixel block, The 16-quantization matrix holding unit 107 and the quantization matrix scaling unit 104 are input. The quantization matrix scaling unit 103 performs enlargement by repeatedly copying each element of the quantization matrix vertically and horizontally. A quantization matrix Q (i, j) (0 ≦ i ≦ N−1, 0 ≦ j ≦ N−1) corresponding to an N × N pixel block is converted into a quantization matrix Q ′ (x) corresponding to a 2N × 2N pixel block. , Y) (Q ′ (x, y) = Q (x / F, y / F) (however, when expanding to 0 ≦ x ≦ 2 × N−1, 0 ≦ y ≦ 2 × N−1) F is expanded as 2). FIG. 16A shows the result of enlarging the 8 × 8 quantization matrix in FIG. 3A according to this embodiment. Each element of the quantization matrix corresponding to the expanded 16 × 16 pixel block is stored in the 16 × 16 quantization matrix holding unit 107.

同様に、量子化マトリクス変倍部１０４は１６×１６画素ブロックに対応する量子化マトリクスを縦に２倍、横に２倍に拡大し、３２×３２画素ブロックに対応する量子化マトリクスを生成する。拡大の方法は量子化マトリクス変倍部１０３で用いた方法と同じである。生成された３２×３２画素ブロックに対応する量子化マトリクスは３２×３２量子化マトリクス保持部１０８で保持しておく。 Similarly, the quantization matrix scaling unit 104 expands the quantization matrix corresponding to the 16 × 16 pixel block vertically twice and horizontally to generate a quantization matrix corresponding to the 32 × 32 pixel block. . The enlargement method is the same as that used in the quantization matrix scaling unit 103. The generated quantization matrix corresponding to the 32 × 32 pixel block is held in the 32 × 32 quantization matrix holding unit 108.

また、復号途中で量子化マトリクスの更新を行う場合、実施形態１と同様に、入力された量子化マトリクスは量子化マトリクス復号部１２１で復号され、セレクタ１２２を経由して、量子化マトリクス変倍部１０３及び１０４にて上記の方法で拡大される。 When updating the quantization matrix during decoding, the input quantization matrix is decoded by the quantization matrix decoding unit 121 as in the first embodiment, and the quantization matrix scaling is performed via the selector 122. The parts 103 and 104 are enlarged by the above method.

画像逆量子化処理のフローチャートを示した図２においては、ステップＳ２０８、Ｓ２０９にて上記の拡大方法で量子化マトリクスの拡大を行うことになる。 In FIG. 2 showing the flowchart of the image inverse quantization process, the quantization matrix is expanded by the above-described expansion method in steps S208 and S209.

以上の構成と動作により、１６×１６画素ブロックに対応する量子化マトリクス、３２×３２画素ブロックに対応する量子化マトリクスのデフォルトの量子化マトリクスを格納するメモリを省略することができる。これにより、量子化マトリクスの要素が８ビットで表される場合、１６×１６量子化マトリクスメモリ１４２０の２５６バイト、３２×３２量子化マトリクスメモリ１４２１の１０２４バイトのメモリ削減が可能になる。通常はＩｎｔｒａ／Ｉｎｔｅｒ符号化、輝度・色差で異なる量子化マトリクスを持つため、この４倍のメモリを削減できる。量子化マトリクスの拡大において、要素を複写するといった簡単な構成をとることにより、変倍部の回路規模、計算コストを大きく下げることができる。 With the above configuration and operation, a memory for storing a quantization matrix corresponding to a 16 × 16 pixel block and a default quantization matrix of a quantization matrix corresponding to a 32 × 32 pixel block can be omitted. Thereby, when the elements of the quantization matrix are represented by 8 bits, it is possible to reduce the memory of 256 bytes of the 16 × 16 quantization matrix memory 1420 and 1024 bytes of the 32 × 32 quantization matrix memory 1421. Usually, since the Intra / Inter encoding and the quantization matrix differing in luminance and color difference are provided, the memory can be reduced by 4 times. In enlarging the quantization matrix, by taking a simple configuration such as copying elements, it is possible to greatly reduce the circuit scale and calculation cost of the zoom unit.

また、実施形態１の量子化マトリクス変倍部７０３及び７０４においても同様の拡大方法を用いることができる。量子化マトリクス変倍部７０３は縦横２倍の拡大であるため上記の式を用いてＦを２として拡大を行う。また、量子化マトリクス変倍部７０４においてはＮ×Ｎ画素ブロックに対応する量子化マトリクスＱ（ｉ、ｊ）（０≦ｉ≦Ｎ−１、０≦ｊ≦Ｎ−１）とする。これに対して、４Ｎ×４Ｎ画素ブロックに対応する量子化マトリクスＱ´（ｘ、ｙ）（０≦ｘ≦４×Ｎ−１、０≦ｙ≦４×Ｎ−１）に拡大することになる。従って、上記の式を用いて、Ｆを４として拡大する。このように変倍率が異なる場合でも対応することができる。 The same enlargement method can also be used in the quantization matrix scaling units 703 and 704 of the first embodiment. Since the quantization matrix scaling unit 703 enlarges twice in the vertical and horizontal directions, F is enlarged by 2 using the above formula. In the quantization matrix scaling unit 704, the quantization matrix Q (i, j) (0 ≦ i ≦ N−1, 0 ≦ j ≦ N−1) corresponding to the N × N pixel block is assumed. On the other hand, the quantization matrix Q ′ (x, y) corresponding to the 4N × 4N pixel block (0 ≦ x ≦ 4 × N−1, 0 ≦ y ≦ 4 × N−1) is expanded. . Therefore, using the above equation, F is expanded to 4. In this way, it is possible to cope with a case where the scaling factor is different.

また、本画像逆量子化装置に対応する画像量子化装置においても同じ拡大方法を用いることができる。具体的には図９に示す量子化マトリクス変倍部９０３及び９０４が量子化マトリクス変倍部１０３、１０４と同じ構成を持つことで実現される。同様に画像量子化処理のフローチャートを示した図１０においては、ステップＳ１００８、Ｓ１００９にて上記の拡大方法で量子化マトリクスの拡大を行うことになる。 The same enlargement method can also be used in an image quantization apparatus corresponding to the present image inverse quantization apparatus. Specifically, the quantization matrix scaling units 903 and 904 shown in FIG. 9 have the same configuration as the quantization matrix scaling units 103 and 104. Similarly, in FIG. 10 showing the flowchart of the image quantization process, the quantization matrix is expanded by the above expansion method in steps S1008 and S1009.

なお、本実施形態の量子化マトリクスの値についてはこれに限定されない。 Note that the values of the quantization matrix of the present embodiment are not limited to this.

＜実施形態４＞
図１７は図１２の逆量子化部１２０３を構成する本実施形態の画像逆量子化装置を示すブロック図である。図１７において、図１の画像復号装置と同じ機能を果たすブロックについては同じ番号を付し、詳細な説明を省略する。 <Embodiment 4>
FIG. 17 is a block diagram showing an image inverse quantization apparatus according to this embodiment that constitutes the inverse quantization unit 1203 of FIG. In FIG. 17, blocks having the same functions as those of the image decoding apparatus in FIG. 1 are denoted by the same reference numerals, and detailed description thereof is omitted.

図１７において、１７０１は１６×１６画素ブロックに対応する量子化マトリクスで特定の要素を格納しておく１６×１６量子化特定要素メモリである。ここではＤＣ成分にあたるＱ´（０，０）の要素の値を格納するものとする。１７０２は３２×３２画素ブロックに対応する量子化マトリクスで特定の要素を格納しておく３２×３２量子化特定要素メモリである。ここではＤＣ成分にあたるＱ´（０，０）の要素の値を格納するものとする。１７０３は８×８画素ブロックに対応する量子化マトリクスを拡大し、１６×１６画素ブロックに対応する量子化マトリクスを生成する量子化マトリクス変倍部である。１７０４は１６×１６画素ブロックに対応する量子化マトリクスを拡大し、３２×３２画素ブロックに対応する量子化マトリクスを生成する量子化マトリクス変倍部である。 In FIG. 17, reference numeral 1701 denotes a 16 × 16 quantization specific element memory that stores specific elements in a quantization matrix corresponding to a 16 × 16 pixel block. Here, the value of the element of Q ′ (0, 0) corresponding to the DC component is stored. Reference numeral 1702 denotes a 32 × 32 quantization specific element memory which stores specific elements in a quantization matrix corresponding to a 32 × 32 pixel block. Here, the value of the element of Q ′ (0, 0) corresponding to the DC component is stored. Reference numeral 1703 denotes a quantization matrix scaling unit that expands a quantization matrix corresponding to an 8 × 8 pixel block and generates a quantization matrix corresponding to a 16 × 16 pixel block. Reference numeral 1704 denotes a quantization matrix scaling unit that expands a quantization matrix corresponding to a 16 × 16 pixel block and generates a quantization matrix corresponding to a 32 × 32 pixel block.

実施形態３と同様に、復号に先立ち、８×８量子化マトリクスメモリ１０２から８×８画素ブロックに対応する量子化マトリクスの各要素は量子化マトリクス変倍部１７０３に入力される。また、１６×１６量子化特定要素メモリ１７０１からＤＣ成分の要素のデフォルト値を入力する。量子化マトリクス変倍部１７０３はまず、８×８量子化マトリクスメモリの８×８画素ブロックに対応する量子化マトリクスの各要素を入力する。その後、実施形態３に記載の縦、横に繰り返して複写する拡大方法によって、拡大を行い、１６×１６画素ブロックに対応する量子化マトリクスを生成する。さらに生成された量子化マトリクスのＤＣ成分のデフォルト値を１６×１６量子化特定要素メモリ１７０１から入力した値に置き換える。図１６（ｂ）に８×８量子化マトリクスメモリ１０２に格納されている８×８画素ブロックに対応する量子化マトリクスの各要素を示す。また、図１６（ｃ）にその拡大結果を示す。ここでは１６×１６量子化特定要素メモリ１７０１に値９が格納されていたものとする。図１６（ｂ）の量子化マトリクスの要素を実施形態３の式にしがって拡大する。さらにＤＣ成分の要素をデフォルト値（ここでは９とする）に置き換えることで１６×１６画素ブロックに対応する量子化マトリクスが生成される。生成された１６×１６画素ブロックに対応する量子化マトリクスは量子化マトリクス変倍部１７０４に入力される。量子化マトリクス変倍部１７０４においても量子化マトリクス変倍部１７０３と同様に複写による拡大を行った後に３２×３２量子化特定要素メモリ１７０２に格納されているＤＣ成分の要素のデフォルト値を入力して置換する。 Similar to the third embodiment, each element of the quantization matrix corresponding to the 8 × 8 pixel block is input to the quantization matrix scaling unit 1703 from the 8 × 8 quantization matrix memory 102 prior to decoding. Also, the default value of the DC component element is input from the 16 × 16 quantization specific element memory 1701. The quantization matrix scaling unit 1703 first inputs each element of the quantization matrix corresponding to the 8 × 8 pixel block of the 8 × 8 quantization matrix memory. After that, enlargement is performed by the enlargement method for repetitively copying in the vertical and horizontal directions described in the third embodiment, and a quantization matrix corresponding to a 16 × 16 pixel block is generated. Further, the default value of the DC component of the generated quantization matrix is replaced with the value input from the 16 × 16 quantization specific element memory 1701. FIG. 16B shows each element of the quantization matrix corresponding to the 8 × 8 pixel block stored in the 8 × 8 quantization matrix memory 102. FIG. 16C shows the enlargement result. Here, it is assumed that the value 9 is stored in the 16 × 16 quantization specific element memory 1701. The elements of the quantization matrix in FIG. 16B are enlarged according to the expression of the third embodiment. Further, the quantization matrix corresponding to the 16 × 16 pixel block is generated by replacing the element of the DC component with a default value (here, 9). The generated quantization matrix corresponding to the 16 × 16 pixel block is input to the quantization matrix scaling unit 1704. In the quantization matrix scaling unit 1704, similarly to the quantization matrix scaling unit 1703, after performing enlargement by copying, the default value of the element of the DC component stored in the 32 × 32 quantization specific element memory 1702 is input. Replace.

以上の構成と動作により、逆量子化において、１６×１６画素ブロックに対応する量子化マトリクス、３２×３２画素ブロックに対応する量子化マトリクスのデフォルトの量子化マトリクスを格納するメモリを省略することができる。また、特定要素を別途拡大された量子化マトリクスに用いる。これにより、画質への影響の大きい要素に限って量子化マトリクスの要素を変更することで非常にわずかなメモリ容量（この場合１バイト）のみで画質への影響の大きいＤＣ成分を特定要素とすることで画質を改善することができる。 With the above configuration and operation, the memory for storing the quantization matrix corresponding to the 16 × 16 pixel block and the default quantization matrix corresponding to the 32 × 32 pixel block can be omitted in the inverse quantization. it can. Further, the specific element is used for a separately enlarged quantization matrix. As a result, by changing the quantization matrix elements only for the elements that have a large influence on the image quality, the DC component that has a large influence on the image quality is set as the specific element with only a very small memory capacity (in this case, 1 byte). This can improve image quality.

なお、本実施形態において特定要素をＤＣ成分のみとしたが、これに限定されない。例えば、縦横４倍に拡大する際には低周波の要素を同様に特定要素とすることができる。例えば、Ｑ´（１，０）、Ｑ´（０，１）の値を特定要素として置換することも可能である。 In the present embodiment, the specific element is only the DC component, but is not limited thereto. For example, a low-frequency element can be similarly used as a specific element when the image is enlarged four times vertically and horizontally. For example, the values of Q ′ (1, 0) and Q ′ (0, 1) can be replaced as specific elements.

また、本画像逆量子化装置に対応する画像量子化装置においても同じ拡大方法を用いることができる。図１８にその詳細なブロック図を示す。図１８において、図９の画像符号化装置と同じ機能を果たすブロックについては同じ番号を付し、詳細な説明を省略する。 The same enlargement method can also be used in an image quantization apparatus corresponding to the present image inverse quantization apparatus. FIG. 18 shows a detailed block diagram thereof. 18, blocks having the same functions as those of the image encoding device in FIG. 9 are denoted by the same reference numerals and detailed description thereof is omitted.

図１８において、１８０１は１６×１６画素ブロックに対応する量子化マトリクスで特定の要素を格納しておく１６×１６量子化特定要素メモリである。ここではＤＣ成分にあたるＱ´（０，０）の要素の値を格納するものとする。１８０２は３２×３２画素ブロックに対応する量子化マトリクスで特定の要素を格納しておく３２×３２量子化特定要素メモリである。ここではＤＣ成分にあたるＱ´（０，０）の要素の値を格納するものとする。１８０３は８×８画素ブロックに対応する量子化マトリクスを拡大し、１６×１６画素ブロックに対応する量子化マトリクスを生成する量子化マトリクス変倍部である。１７０４は１６×１６画素ブロックに対応する量子化マトリクスを拡大し、３２×３２画素ブロックに対応する量子化マトリクスを生成する量子化マトリクス変倍部である。 In FIG. 18, reference numeral 1801 denotes a 16 × 16 quantization specific element memory which stores specific elements in a quantization matrix corresponding to a 16 × 16 pixel block. Here, the value of the element of Q ′ (0, 0) corresponding to the DC component is stored. Reference numeral 1802 denotes a 32 × 32 quantization specific element memory which stores specific elements in a quantization matrix corresponding to a 32 × 32 pixel block. Here, the value of the element of Q ′ (0, 0) corresponding to the DC component is stored. Reference numeral 1803 denotes a quantization matrix scaling unit that expands a quantization matrix corresponding to an 8 × 8 pixel block and generates a quantization matrix corresponding to a 16 × 16 pixel block. Reference numeral 1704 denotes a quantization matrix scaling unit that expands a quantization matrix corresponding to a 16 × 16 pixel block and generates a quantization matrix corresponding to a 32 × 32 pixel block.

実施形態２の画像量子化装置と同様に、符号化に先立ち、４×４量子化マトリクスメモリ９０１から４×４画素ブロックに対応する量子化マトリクスの各要素を４×４量子化マトリクス保持部９０５に入力する。また、同時に８×８量子化マトリクスメモリ９０２から８×８画素ブロックに対応する量子化マトリクスの各要素を８×８量子化マトリクス保持部９０６に入力する。また、８×８画素ブロックに対応する量子化マトリクスの各要素は量子化マトリクス変倍部１８０３に入力される。また、１６×１６量子化特定要素メモリ１８０１からＤＣ成分の要素のデフォルト値を入力する。量子化マトリクス変倍部１８０３はまず、８×８量子化マトリクスメモリの８×８画素ブロックに対応する量子化マトリクスの各要素を入力する。その後、実施形態３に記載の縦、横に繰り返して複写する拡大方法によって、拡大を行い、１６×１６画素ブロックに対応する量子化マトリクスを生成する。さらに生成された量子化マトリクスのＤＣ成分のデフォルト値を１６×１６量子化特定要素メモリ１８０１から入力した値に置き換える。生成された１６×１６画素ブロックに対応する量子化マトリクスは量子化マトリクス変倍部１８０４に入力される。また、１６×１６量子化マトリクス保持部９０７は入力された１６×１６画素ブロックに対応する量子化マトリクスを保持しておく。量子化マトリクス変倍部１８０４においても量子化マトリクス変倍部１７０３と同様に複写による拡大を行った後に３２×３２量子化特定要素メモリ１８０２に格納されているＤＣ成分の要素のデフォルト値を入力して置換する。３２×３２量子化マトリクス保持部９０８は入力された３２×３２画素ブロックに対応する量子化マトリクスを保持しておく。 Similar to the image quantization apparatus of the second embodiment, prior to encoding, each element of a quantization matrix corresponding to a 4 × 4 pixel block from the 4 × 4 quantization matrix memory 901 is converted into a 4 × 4 quantization matrix holding unit 905. To enter. At the same time, each element of the quantization matrix corresponding to the 8 × 8 pixel block is input from the 8 × 8 quantization matrix memory 902 to the 8 × 8 quantization matrix holding unit 906. Each element of the quantization matrix corresponding to the 8 × 8 pixel block is input to the quantization matrix scaling unit 1803. Also, the default value of the DC component element is input from the 16 × 16 quantization specific element memory 1801. The quantization matrix scaling unit 1803 first inputs each element of the quantization matrix corresponding to the 8 × 8 pixel block of the 8 × 8 quantization matrix memory. After that, enlargement is performed by the enlargement method for repetitively copying in the vertical and horizontal directions described in the third embodiment, and a quantization matrix corresponding to a 16 × 16 pixel block is generated. Further, the default value of the DC component of the generated quantization matrix is replaced with the value input from the 16 × 16 quantization specific element memory 1801. The generated quantization matrix corresponding to the 16 × 16 pixel block is input to the quantization matrix scaling unit 1804. The 16 × 16 quantization matrix holding unit 907 holds a quantization matrix corresponding to the input 16 × 16 pixel block. Similarly to the quantization matrix scaling unit 1703, the quantization matrix scaling unit 1804 inputs the default value of the element of the DC component stored in the 32 × 32 quantization specific element memory 1802 after performing enlargement by copying. Replace. The 32 × 32 quantization matrix holding unit 908 holds a quantization matrix corresponding to the input 32 × 32 pixel block.

画像量子化処理のフローチャートを示した図１０においては、ステップＳ１００８、Ｓ１００９にて上記の拡大方法で量子化マトリクスの拡大を行うことになる。 In FIG. 10 showing the flowchart of the image quantization process, the quantization matrix is expanded by the above expansion method in steps S1008 and S1009.

以上の構成と動作により、量子化において１６×１６画素ブロックに対応する量子化マトリクス、３２×３２画素ブロックに対応する量子化マトリクスのデフォルトの量子化マトリクスを格納するメモリを省略することができる。特定要素を別途拡大された量子化マトリクスに用いる。これにより、画質への影響の大きい要素に限って量子化マトリクスの要素を変更することで非常にわずかなメモリ容量（この場合１バイト）のみで画質への影響の大きいＤＣ成分を特定要素とすることで画質を改善することができる。 With the above configuration and operation, it is possible to omit a memory that stores a quantization matrix corresponding to a 16 × 16 pixel block and a default quantization matrix corresponding to a 32 × 32 pixel block in quantization. A specific element is used for a separately expanded quantization matrix. As a result, by changing the quantization matrix elements only for the elements that have a large influence on the image quality, the DC component that has a large influence on the image quality is set as the specific element with only a very small memory capacity (in this case, 1 byte). This can improve image quality.

なお、本実施形態の量子化マトリクスの値についてはこれに限定されない。また、本実施形態において、量子化マトリクス変倍部において要素の繰り返しによる拡大を例にとって説明したが、拡大の方法についてはこれに限定されない。 Note that the values of the quantization matrix of the present embodiment are not limited to this. Further, in the present embodiment, the enlargement by repetition of elements has been described as an example in the quantization matrix scaling unit, but the enlargement method is not limited to this.

＜実施形態５＞
図１、図４、図５、図７、図９、図１１、図１７、図１８に示した各処理部はハードウェアでもって構成しているものとして上記実施形態では説明した。しかし、図１、図４、図５、図７、図９、図１１に示した各処理部で行なう処理をコンピュータプログラムでもって構成しても良い。 <Embodiment 5>
1, 4, 5, 7, 9, 11, 17, and 18 have been described in the above embodiment as being configured by hardware. However, the processing performed in each processing unit shown in FIG. 1, FIG. 4, FIG. 5, FIG. 7, FIG.

図１５は、上記各実施形態に係る画像表示装置に適用可能なコンピュータのハードウェアの構成例を示すブロック図である。 FIG. 15 is a block diagram illustrating a configuration example of computer hardware applicable to the image display device according to each of the above embodiments.

ＣＰＵ１５０１は、ＲＡＭ１５０２やＲＯＭ１５０３に格納されているコンピュータプログラムやデータを用いてコンピュータ全体の制御を行うと共に、上記各実施形態に係る画像処理装置が行うものとして上述した各処理を実行する。即ち、ＣＰＵ１５０１は、図１、図３に示した各処理部として機能することになる。 The CPU 1501 controls the entire computer using computer programs and data stored in the RAM 1502 and the ROM 1503, and executes the processes described above as performed by the image processing apparatus according to each of the above embodiments. That is, the CPU 1501 functions as each processing unit shown in FIGS.

ＲＡＭ１５０２は、外部記憶装置１５０６からロードされたコンピュータプログラムやデータ、Ｉ／Ｆ（インターフェース）１５０９を介して外部から取得したデータなどを一時的に記憶するためのエリアを有する。更に、ＲＡＭ１５０２は、ＣＰＵ１５０１が各種の処理を実行する際に用いるワークエリアを有する。即ち、ＲＡＭ１５０２は、例えば、フレームメモリとして割当てたり、その他の各種のエリアを適宜提供することができる。 The RAM 1502 has an area for temporarily storing computer programs and data loaded from the external storage device 1506, data acquired from the outside via an I / F (interface) 1509, and the like. Further, the RAM 1502 has a work area used when the CPU 1501 executes various processes. That is, the RAM 1502 can be allocated as a frame memory, for example, or can provide other various areas as appropriate.

ＲＯＭ１５０３には、本コンピュータの設定データや、ブートプログラムなどが格納されている。操作部１５０４は、キーボードやマウスなどにより構成されており、本コンピュータのユーザが操作することで、各種の指示をＣＰＵ１５０１に対して入力することができる。表示部１５０５は、ＣＰＵ１５０１による処理結果を表示する。また表示部１５０５は例えば液晶ディスプレイのような表示装置で構成される。 The ROM 1503 stores setting data for the computer, a boot program, and the like. The operation unit 1504 is configured by a keyboard, a mouse, and the like, and can input various instructions to the CPU 1501 when operated by a user of the computer. A display unit 1505 displays a processing result by the CPU 1501. The display unit 1505 is configured by a display device such as a liquid crystal display.

外部記憶装置１５０６は、ハードディスクドライブ装置に代表される、大容量情報記憶装置である。外部記憶装置１５０６には、ＯＳ（オペレーティングシステム）や、図１、図４、図５、図７、図９、図１１、図１７、図１８に示した各部の機能をＣＰＵ１５０１に実現させるためのコンピュータプログラムが保存されている。更には、外部記憶装置１５０６には、処理対象としての各画像データが保存されていても良い。 The external storage device 1506 is a large-capacity information storage device represented by a hard disk drive device. In the external storage device 1506, an OS (operating system) and functions of each unit shown in FIGS. 1, 4, 5, 7, 9, 9, 17, and 18 are realized by the CPU 1501. A computer program is stored. Furthermore, each image data as a processing target may be stored in the external storage device 1506.

外部記憶装置１５０６に保存されているコンピュータプログラムやデータは、ＣＰＵ１５０１による制御に従って適宜ＲＡＭ１５０２にロードされ、ＣＰＵ１５０１による処理対象となる。Ｉ／Ｆ１５０７には、ＬＡＮやインターネット等のネットワーク、投影装置や表示装置などの他の機器を接続することができ、本コンピュータはこのＩ／Ｆ１５０７を介して様々な情報を取得したり、送出したりすることができる。１５０８は上述の各部を繋ぐバスである。 Computer programs and data stored in the external storage device 1506 are appropriately loaded into the RAM 1502 under the control of the CPU 1501 and are processed by the CPU 1501. The I / F 1507 can be connected to a network such as a LAN or the Internet, and other devices such as a projection device and a display device. The computer can acquire and send various information via the I / F 1507. Can be. A bus 1508 connects the above-described units.

上述の構成からなる作動は前述のフローチャートで説明した作動をＣＰＵ１５０１が中心となってその制御を行う。 The operation having the above-described configuration is controlled by the CPU 1501 centering on the operation described in the above flowchart.

＜その他の実施形態＞
本発明の目的は、前述した機能を実現するコンピュータプログラムのコードを記録した記憶媒体を、システムに供給し、そのシステムがコンピュータプログラムのコードを読み出し実行することによっても達成される。この場合、記憶媒体から読み出されたコンピュータプログラムのコード自体が前述した実施形態の機能を実現し、そのコンピュータプログラムのコードを記憶した記憶媒体は本発明を構成する。また、そのプログラムのコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）などが実際の処理の一部または全部を行い、その処理によって前述した機能が実現される場合も含まれる。 <Other embodiments>
The object of the present invention can also be achieved by supplying a storage medium storing a computer program code for realizing the above-described functions to the system, and the system reading and executing the computer program code. In this case, the computer program code itself read from the storage medium realizes the functions of the above-described embodiments, and the storage medium storing the computer program code constitutes the present invention. In addition, the operating system (OS) running on the computer performs part or all of the actual processing based on the code instruction of the program, and the above-described functions are realized by the processing. .

さらに、以下の形態で実現しても構わない。すなわち、記憶媒体から読み出されたコンピュータプログラムコードを、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込む。そして、そのコンピュータプログラムのコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行って、前述した機能が実現される場合も含まれる。 Furthermore, you may implement | achieve with the following forms. That is, the computer program code read from the storage medium is written into a memory provided in a function expansion card inserted into the computer or a function expansion unit connected to the computer. Then, based on the instruction of the code of the computer program, the above-described functions are realized by the CPU or the like provided in the function expansion card or function expansion unit performing part or all of the actual processing.

本発明を上記記憶媒体に適用する場合、その記憶媒体には、先に説明したフローチャートに対応するコンピュータプログラムのコードが格納されることになる。 When the present invention is applied to the above storage medium, the computer program code corresponding to the flowchart described above is stored in the storage medium.

Claims

複数のサイズの量子化マトリクスを用いて量子化係数を逆量子化し、係数を算出する画像逆量子化装置であって、
ｎ×ｍ（ｎ、ｍは２以上の正の整数）のブロックサイズに適合する量子化マトリクスを第１デフォルト量子化マトリクスとして保持する第１デフォルト量子化マトリクス保持手段と、
前記ｎ×ｍのブロックサイズの量子化マトリクスからｐ×ｑ（ｐ、ｑは２以上の正の整数）のブロックサイズに適合する量子化マトリクスを算出する変倍手段と、
前記変倍手段によって変倍された量子化マトリクスを第２デフォルト量子化マトリクスとして保持する第２デフォルト量子化マトリクス保持手段とを有することを特徴とする画像逆量子化装置。 An image inverse quantization apparatus that inversely quantizes quantization coefficients using quantization matrices of a plurality of sizes and calculates the coefficients,
first default quantization matrix holding means for holding a quantization matrix that conforms to a block size of n × m (n and m are positive integers of 2 or more) as a first default quantization matrix;
A scaling unit that calculates a quantization matrix that matches a block size of p × q (p and q are positive integers of 2 or more) from the quantization matrix of the n × m block size;
An image inverse quantization apparatus comprising: a second default quantization matrix holding unit that holds the quantization matrix scaled by the scaling unit as a second default quantization matrix.

前記変倍手段において、ｎ≦ｐ、ｍ≦ｑとなることを特徴とする請求項１に記載の画像逆量子化装置。 The image inverse quantization apparatus according to claim 1, wherein in the scaling unit, n ≦ p and m ≦ q.

前記変倍手段において、ｎ≧ｐ、ｍ≧ｑとなることを特徴とする請求項１に記載の画像逆量子化装置。 The image inverse quantization apparatus according to claim 1, wherein in the scaling unit, n ≧ p and m ≧ q.

前記変倍手段において、線形補間によって量子化マトリクスを変倍することを特徴とする請求項１乃至３に記載の画像逆量子化装置。 4. The image inverse quantization apparatus according to claim 1, wherein the scaling unit scales the quantization matrix by linear interpolation.

前記変倍手段において、要素の繰り返しによって量子化マトリクスを変倍することを特徴とする請求項１乃至３に記載の画像逆量子化装置。 4. The image inverse quantization apparatus according to claim 1, wherein the scaling unit scales the quantization matrix by repeating the elements.

前記変倍手段において、線形補間によって要素を変倍し、特定の要素については別途値を設定することを特徴とする請求項５に記載の画像逆量子化装置。 6. The image inverse quantization apparatus according to claim 5, wherein the scaling unit scales elements by linear interpolation, and sets specific values for specific elements.

前記画像逆量子化装置において、さらにｎ×ｍ（ｎ、ｍは２以上の正の整数）のブロックサイズに適合する量子化マトリクスの符号データを入力する量子化マトリクス符号データ入力手段と、前記符号データを復号して第１量子化マトリクスデータを生成する復号手段とをさらに備え、第１量子化マトリクスデータから前記変倍手段によってｐ×ｑのブロックサイズに適合する第２量子化マトリクスデータを生成し、前記第２デフォルト量子化マトリクス保持手段で保持することを特徴とする請求項１乃至請求項６に記載の画像逆量子化装置。 In the image inverse quantization apparatus, a quantization matrix code data input means for inputting code data of a quantization matrix adapted to a block size of n × m (n and m are positive integers of 2 or more), and the code Decoding means for decoding the data to generate first quantization matrix data, and generating second quantization matrix data suitable for a block size of p × q by the scaling means from the first quantization matrix data 7. The image inverse quantization apparatus according to claim 1, wherein the image inverse quantization apparatus holds the second default quantization matrix holding means.

複数のサイズの量子化マトリクスを用いて係数を量子化する画像量子化装置であって、
ｎ×ｍ（ｎ、ｍは２以上の正の整数）のブロックサイズに適合する量子化マトリクスを第１デフォルト量子化マトリクスとして保持する第１デフォルト量子化マトリクス保持手段と、
ｎ×ｍブロックサイズの量子化マトリクスからｐ×ｑ（ｐ、ｑは２以上の正の整数でｎ≦ｐ、ｍ≦ｑ）のブロックサイズに適合する量子化マトリクスを算出する変倍手段と、
前記変倍手段によって変倍された量子化マトリクスを第２デフォルト量子化マトリクスとして保持する第２デフォルト量子化マトリクス保持手段とを有することを特徴とする画像量子化装置。 An image quantization apparatus for quantizing coefficients using a plurality of sizes of quantization matrices,
first default quantization matrix holding means for holding a quantization matrix that conforms to a block size of n × m (n and m are positive integers of 2 or more) as a first default quantization matrix;
a scaling unit for calculating a quantization matrix suitable for a block size of p × q (p, q is a positive integer of 2 or more, n ≦ p, m ≦ q) from a quantization matrix of an n × m block size;
An image quantization apparatus comprising: a second default quantization matrix holding unit that holds the quantization matrix scaled by the scaling unit as a second default quantization matrix.

複数のサイズの量子化マトリクスを用いて量子化係数を逆量子化して係数を算出する画像逆量子化装置における画像逆量子化方法であって、
ｎ×ｍ（ｎ、ｍは２以上の正の整数）のブロックサイズに適合する量子化マトリクスを第１デフォルト量子化マトリクスとして第１デフォルト量子化マトリクス保持手段に保持する第１デフォルト量子化マトリクス記憶工程と、
ｎ×ｍブロックサイズの量子化マトリクスからｐ×ｑ（ｐ、ｑは２以上の正の整数）のブロックサイズに適合する量子化マトリクスを算出する変倍工程と、
前記変倍工程によって変倍された量子化マトリクスを第２デフォルト量子化マトリクスとして第２デフォルト量子化マトリクス保持手段に保持する第２デフォルト量子化マトリクス保持工程とを有することを特徴とする画像逆量子化方法。 An image dequantization method in an image dequantization apparatus that calculates a coefficient by dequantizing a quantization coefficient using a plurality of size quantization matrices,
A first default quantization matrix storage that holds, in the first default quantization matrix holding unit, a quantization matrix that conforms to a block size of n × m (n and m are positive integers of 2 or more) as a first default quantization matrix Process,
A scaling step for calculating a quantization matrix that matches a block size of p × q (p and q are positive integers of 2 or more) from an n × m block size quantization matrix;
And a second default quantization matrix holding step of holding the quantization matrix scaled by the scaling step as a second default quantization matrix in a second default quantization matrix holding means. Method.

複数のサイズの量子化マトリクスを用いて係数を量子化する画像量子化装置における画像量子化方法であって、
ｎ×ｍ（ｎ、ｍは２以上の正の整数）のブロックサイズに適合する量子化マトリクスを第１デフォルト量子化マトリクスとして第１デフォルト量子化マトリクス保持手段に保持する第１デフォルト量子化マトリクス記憶工程と、
ｎ×ｍブロックサイズの量子化マトリクスからｐ×ｑ（ｐ、ｑは２以上の正の整数）のブロックサイズに適合する量子化マトリクスを算出する変倍工程と、
前記変倍工程によって変倍された量子化マトリクスを第２デフォルト量子化マトリクスとして第２デフォルト量子化マトリクス保持手段に保持する第２デフォルト量子化マトリクス保持工程とを有することを特徴とする画像量子化方法。 An image quantization method in an image quantization apparatus that quantizes coefficients using a plurality of sizes of quantization matrices,
A first default quantization matrix storage that holds, in the first default quantization matrix holding unit, a quantization matrix that conforms to a block size of n × m (n and m are positive integers of 2 or more) as a first default quantization matrix Process,
A scaling step for calculating a quantization matrix that matches a block size of p × q (p and q are positive integers of 2 or more) from an n × m block size quantization matrix;
And a second default quantization matrix holding step of holding the quantization matrix scaled by the scaling step as a second default quantization matrix in a second default quantization matrix holding means. Method.

コンピュータが読み出して実行することにより、前記コンピュータを、請求項１に記載の画像逆量子化装置として機能させることを特徴とするプログラム。 A program that causes the computer to function as the image inverse quantization device according to claim 1 by being read and executed by the computer.

コンピュータが読み出して実行することにより、前記コンピュータを、請求項８に記載の画像量子化装置として機能させることを特徴とするプログラム。 A program that causes a computer to function as the image quantizing device according to claim 8 by being read and executed by the computer.