JPH11252573A - Hierarchical image coding system and hierarchical image decoding system - Google Patents

Abstract

PROBLEM TO BE SOLVED: To improve coding efficiency in the case of applying hierarchical coding to an image. SOLUTION: A base layer coder 500 encodes a received video signal to generate a base layer code stream and provides an output of coding residual and quantization information. A coding residual incidence probability calculation section 502 calculates incidence probability of the coding residue based on quantization information and a statistic relating to a value before quantization stored in advance, and an arithmetic coder 501 applies arithmetic coding to the coding residue based on the incidence probability. The result of the arithmetic coding is multiplexed by a multiplexer 503 with quantization information and an enhancement layer code stream is generated.

Description

【発明の詳細な説明】DETAILED DESCRIPTION OF THE INVENTION

【０００１】[0001]

【発明の属する技術分野】本発明は、画像（画像信号）
の圧縮技術に関し、特に圧縮した画像をロスレスに復号
するための技術に関する。[0001] The present invention relates to an image (image signal).
More particularly, the present invention relates to a technique for losslessly decoding a compressed image.

【０００２】[0002]

【従来の技術】可逆な画像符号化方式としては、例えば
特願平８−２７７３１２号「可逆変換を可能にするディ
ジタル信号の変換符号化方式」に記載されている技術が
ある。これは、離散コサイン変換にもとづく画像の可逆
符号化方式で、通常の離散コサイン変換を用いた符号化
方式を改良して可逆符号化を可能にしている。その技術
をMPEG-2(Moving Picture Experts Group- Phase 2) に
よる符号化方式に適用しても、可逆な画像符号化方式を
構築することができる。2. Description of the Related Art As a reversible image coding method, there is a technique described in Japanese Patent Application No. 8-27712 "Transform coding method of digital signal enabling lossless conversion". This is a reversible coding method for images based on discrete cosine transform, and improves a coding method using ordinary discrete cosine transform to enable lossless coding. Even if this technology is applied to an encoding method based on MPEG-2 (Moving Picture Experts Group-Phase 2), a reversible image encoding method can be constructed.

【０００３】さらに、これをMPEG-2(Moving Picture Ex
perts Group- Phase 2) のSNR スケーラビリティと組み
合わせることで、大網，太田：「ロスレスDCT を用いた
階層符号化に関する一検討」（1997年10月，画像符号化
シンポジウム第12回シンポジウム資料，107 〜108 頁）
にあるように、可逆の階層的符号化方式を構築できる。
この方式では、ベースレイヤとエンハンスメントレイヤ
の２つの符号列ができるが、ベースレイヤ符号列は、通
常のMPEG-2復号器でも復号できる。そして、ベースレイ
ヤとエンハンスメントレイヤの各符号列を、特願平８−
２７７３１２号に記載の可逆離散コサイン変換の逆変換
を用いて復号すると、原画像と同一の、ロスのない復号
画像が得られる。[0003] Further, this is called MPEG-2 (Moving Picture Ex).
Combined with the perts Group-Phase 2) SNR scalability, Oami, Ota: "A Study on Hierarchical Coding Using Lossless DCT" (October 1997, 12th Symposium on Image Coding, 107- 108
, A reversible hierarchical coding scheme can be constructed.
In this method, two code strings of a base layer and an enhancement layer are formed, but the base layer code string can be decoded even by an ordinary MPEG-2 decoder. Then, the respective code strings of the base layer and the enhancement layer are referred to in Japanese Patent Application No.
When decoding is performed using the inverse transform of the reversible discrete cosine transform described in No. 277312, a decoded image without loss that is the same as the original image is obtained.

【０００４】図２５は、可逆の階層的符号化方式を採用
した従来の符号化装置の回路図である。図２５におい
て、動き推定および補償回路５０は、入力ビデオ信号
（原画像信号）に対して動き補償を行って、動き補償予
測画像信号を作成して出力する。これと同時に、マクロ
ブロック情報を出力する。減算器１は、動き推定および
補償回路５０から出力される動き補償予測画像信号を入
力ビデオ信号から減じて予測誤差画像を出力する。可逆
離散コサイン変換回路５１は、減算器１から出力される
予測誤差画像信号に対して可逆離散コサイン変換を行
い、可逆離散コサイン変換の変換係数を算出する。FIG. 25 is a circuit diagram of a conventional encoding apparatus employing a reversible hierarchical encoding method. In FIG. 25, a motion estimation and compensation circuit 50 performs motion compensation on an input video signal (original image signal) to create and output a motion-compensated predicted image signal. At the same time, macroblock information is output. The subtracter 1 subtracts the motion compensated prediction image signal output from the motion estimation and compensation circuit 50 from the input video signal, and outputs a prediction error image. The reversible discrete cosine transform circuit 51 performs a reversible discrete cosine transform on the prediction error image signal output from the subtracter 1, and calculates a transform coefficient of the reversible discrete cosine transform.

【０００５】量子化制御部３は、減算器１から出力され
る予測誤差画像信号と多重化器５４から出力されるベー
スレイヤ符号列の符号量情報とからマクロブロック毎に
量子化スケール値を決定し、出力する。量子化器４は量
子化マトリクス値と、量子化制御部３で決定する量子化
スケール値と、動き推定および補償回路５０から出力さ
れるマクロブロック情報とに基づいて、可逆離散コサイ
ン変換回路５１から出力される変換係数を量子化し、そ
の量子化値を出力する。The quantization control unit 3 determines a quantization scale value for each macroblock from the prediction error image signal output from the subtractor 1 and the code amount information of the base layer code string output from the multiplexer 54. And output. The quantizer 4 outputs a signal from the reversible discrete cosine transform circuit 51 based on the quantization matrix value, the quantization scale value determined by the quantization control unit 3, and the macroblock information output from the motion estimation and compensation circuit 50. The output transform coefficients are quantized, and the quantized value is output.

【０００６】符号変換部１４は、動き推定および補償回
路５０から出力されるマクロブロック情報と予め定めら
れた符号化表に基づいて、量子化器４から出力される量
子化値を可変長符号化し、量子化値の可変長符号を出力
する。多重化器５４は、量子化器４から出力される可変
長符号と、量子化制御部３から出力される量子化スケー
ル値と、動き推定および補償回路５０から出力されるマ
クロブロック情報と、量子化マトリクス値と、その他の
付加情報を多重化して、ベースレイヤ符号列として出力
する。その他には、ベースレイヤ符号列の符号量情報を
量子化制御部３に出力する。The code converter 14 performs variable length coding of the quantized value output from the quantizer 4 based on the macroblock information output from the motion estimation and compensation circuit 50 and a predetermined coding table. , And outputs a variable-length code of the quantized value. The multiplexer 54 outputs the variable-length code output from the quantizer 4, the quantization scale value output from the quantization control unit 3, the macroblock information output from the motion estimation and compensation circuit 50, The multiplexed matrix value and other additional information are multiplexed and output as a base layer code sequence. In addition, the code amount information of the base layer code sequence is output to the quantization control unit 3.

【０００７】逆量子化器５は量子化器４で用いた量子化
マトリクスと、量子化スケール値と同じ値を用いて、動
き推定および補償回路５０から出力されるマクロブロッ
ク情報に基づき、量子化器４から出力される量子化値を
逆量子化する。減算器５３は、可逆離散コサイン変換回
路５１が出力する変換係数から、逆量子化器５が出力す
る逆量子化値を減じて、符号化残差を算出する。符号変
換部５２は、減算器５３から出力される符号化残差を、
予め定められた符号化表に基づいて可変長符号化し、符
号化残差の可変長符号を出力する。多重化器５５は、符
号変換部５２から出力される可変長符号とその他の付加
情報を多重化して、エンハンスメントレイヤ符号列とし
て出力する。The inverse quantizer 5 uses the quantization matrix used in the quantizer 4 and the same value as the quantization scale value to perform quantization based on the macroblock information output from the motion estimation and compensation circuit 50. The quantization value output from the unit 4 is inversely quantized. The subtracter 53 subtracts the inverse quantization value output by the inverse quantizer 5 from the transform coefficient output by the reversible discrete cosine transform circuit 51, and calculates an encoding residual. The code conversion unit 52 converts the coding residual output from the subtractor 53 into
Variable-length coding is performed based on a predetermined coding table, and a variable-length code of the coding residual is output. The multiplexer 55 multiplexes the variable length code output from the code conversion unit 52 and other additional information, and outputs the result as an enhancement layer code sequence.

【０００８】なお、通常のMPEG-2の符号化器では、局所
復号した画像信号を用いて動き補償を行う構成となって
いるが、図２５の符号化器にはこの部分がない。これ
は、通常の離散コサイン変換のかわりに可逆離散コサイ
ン変換を用いる場合には、復号画像（復号後の画像信
号）が原画像（符号化前の原画像信号）と一致し、局所
復号の必要がないためである。[0008] It should be noted that a normal MPEG-2 encoder has a configuration in which motion compensation is performed using a locally decoded image signal, but the encoder of FIG. 25 does not have this part. This is because, when reversible discrete cosine transform is used instead of ordinary discrete cosine transform, the decoded image (image signal after decoding) matches the original image (original image signal before encoding), and local decoding is required. Because there is no.

【０００９】一方、図２６は、図２５の従来の符号化装
置により符号化されたビデオ信号（画像信号）を復号す
る従来の復号装置の回路図である。多重分離器７２は、
ベースレイヤ符号列から量子化値の可変長符号と量子化
スケール値とマクロブロック情報とその他の付加情報を
分離する。そして、符号変換部３０は、予め定められた
符号化表を用いて量子化値の可変長符号を復号し、その
量子化値を出力する。逆量子化器３２は多重分離器７２
から出力される量子化スケール値と量子化マトリクスと
マクロブロック情報によって定まる逆量子化を、符号変
換部３０から出力される量子化値に対して行って、逆量
子化値を求める。FIG. 26 is a circuit diagram of a conventional decoding device for decoding a video signal (image signal) encoded by the conventional encoding device of FIG. The demultiplexer 72
The variable length code of the quantization value, the quantization scale value, the macroblock information, and other additional information are separated from the base layer code sequence. Then, the code conversion unit 30 decodes the variable-length code of the quantized value using a predetermined coding table, and outputs the quantized value. The dequantizer 32 is a demultiplexer 72
The inverse quantization determined by the quantization scale value, the quantization matrix, and the macroblock information output from is performed on the quantization value output from the code conversion unit 30 to obtain an inverse quantization value.

【００１０】多重分離器７３は、エンハンスメントレイ
ヤ符号列から符号化残差の可変長符号とその他の付加情
報を分離する。そして、符号変換部７０は、予め定めら
れた符号化表を用いて符号化残差の可変長符号を復号
し、符号化残差を求める。加算器３４は、逆量子化器３
２から出力される逆量子化値と、符号変換部７０から出
力される符号化残差を加算して、その加算値を可逆離散
コサイン変換係数として出力する。可逆離散コサイン逆
変換回路７１は、加算器３４から出力される可逆離散コ
サイン変換係数に対して可逆離散コサイン変換の逆変換
を行い、予測誤差画像信号を出力する。加算器３６は、
可逆離散コサイン逆変換回路７１から出力される予測誤
差画像信号に動き補償回路３７から出力される動き補償
予測画像信号を加算し、復号画像信号として出力する。
その動き補償回路３７は、多重分離器７２から出力され
るマクロブロック情報に基づいて、加算器３６から出力
される復号画像信号に動き補償を行い、動き補償予測画
像信号を出力する。The demultiplexer 73 separates the variable-length code of the coding residual and other additional information from the enhancement layer code sequence. Then, the code conversion unit 70 decodes the variable-length code of the coding residual using the predetermined coding table, and obtains the coding residual. The adder 34 outputs the inverse quantizer 3
2 and the coding residual output from the code conversion unit 70, and outputs the added value as a lossless discrete cosine transform coefficient. The reversible discrete cosine inverse transform circuit 71 performs an inverse transform of the reversible discrete cosine transform on the reversible discrete cosine transform coefficient output from the adder 34, and outputs a prediction error image signal. The adder 36
The motion compensated prediction image signal output from the motion compensation circuit 37 is added to the prediction error image signal output from the reversible discrete cosine inverse transform circuit 71 and output as a decoded image signal.
The motion compensation circuit 37 performs motion compensation on the decoded image signal output from the adder 36 based on the macroblock information output from the demultiplexer 72, and outputs a motion-compensated predicted image signal.

【００１１】一方、MPEG-2 SNRスケーラビリティのエン
ハンスメントレイヤを算術符号化して、符号化効率を向
上させる方式に、D. Wilson 他:"Efficient Coding Met
hodsfor Enhancement DCT Coefficients in SNR Scalab
le Coders" （1997年 9月、ピー・シー・エス97予稿
集、407 〜410 頁(Proceeding of PCS 97)）に記載のも
のがある。この方式では、エンハンスメントレイヤ符号
列の作成に、MPEG-2の可変長符号化のかわりに算術符号
化を用いている。On the other hand, D. Wilson et al .: “Efficient Coding Met” describes a method of arithmetically encoding an MPEG-2 SNR scalability enhancement layer to improve encoding efficiency.
hodsfor Enhancement DCT Coefficients in SNR Scalab
le Coders "(September 1997, Proceeding of PCS 97, Proceeding of PCS 97). In this method, MPEG- Arithmetic coding is used instead of variable length coding of 2.

【００１２】これ以外に、画像に直交変換を行って、得
られる変換係数を算術符号化する方式として、例えば、
特開平４−７２８７０号に記載された「画像符号化方
式」がある。この方式では、画像をブロックごとに直交
変換符号化、量子化を行い、それによって得られた量子
化値を算術符号化している。このときに用いる量子化値
（シンボル）の生起確率密度関数を、ブロックの局所的
性質に応じて適応的に切り替えている。In addition to the above, as a method of performing orthogonal transform on an image and arithmetically coding the obtained transform coefficients, for example,
There is an "image coding method" described in JP-A-4-72870. In this method, an image is subjected to orthogonal transform coding and quantization for each block, and the resulting quantization value is arithmetically coded. The occurrence probability density function of the quantization value (symbol) used at this time is adaptively switched according to the local property of the block.

【００１３】[0013]

【発明が解決しようとする課題】しかしながら、特願平
８−２７７３１２号に記載の可逆符号化方式とMPEG-2の
SNR スケーラビリティとを組み合わせた図２５に示す従
来の符号化装置（符号化方式）では、エンハンスメント
レイヤの実際の符号量が、エントロピーに比べて、大幅
に増大するという問題がある。However, the lossless encoding method described in Japanese Patent Application No. 8-277312 and the MPEG-2
The conventional coding device (coding method) shown in FIG. 25 which combines SNR scalability has a problem that the actual code amount of the enhancement layer is significantly increased as compared with the entropy.

【００１４】第１の理由は、可逆符号化で想定している
高レートでは、エンハンスメントレイヤにおける量子化
残差の生起確率分布が、MPEG-2の可変長符号化設計時に
仮定された生起確率分布と大きく異なるためである。The first reason is that at the high rate assumed in lossless coding, the probability distribution of the quantization residual in the enhancement layer is the probability probability distribution assumed at the time of the variable length coding design of MPEG-2. This is because it is significantly different.

【００１５】第２の理由は、高レートになると、MPEG-2
の可変長符号化で採用されている、０ラン長とレベルを
組み合わせて符号化する方式は効率的でないためであ
る。０ラン長とレベルを組み合わせてエントロピー符号
化する方式と、周波数インデックス（ブロック内での変
換係数の位置）が同じ変換係数ごとにエントロピー符号
化する方式とでエントロピーを比較すると、後者の方が
エントロピーが小さくなる場合が多い。The second reason is that when the rate becomes high, MPEG-2
This is because the method of coding by combining the 0 run length and the level, which is adopted in the variable length coding, is not efficient. A comparison of entropy between the method of entropy coding by combining the 0 run length and the level and the method of entropy coding for each transform coefficient having the same frequency index (position of the transform coefficient in the block) shows that the latter is the entropy. Is often smaller.

【００１６】前記D. Wilson 他の文献にあるように、エ
ンハンスメントレイヤで算術符号化を行えば、符号化効
率を向上できるが、この方式では、ベースレイヤの量子
化幅を固定にしている。このため、ベースレイヤの量子
化スケール値がブロック毎に適応的に変化した場合に対
処できないという問題がある。As described in D. Wilson et al., The coding efficiency can be improved by performing arithmetic coding in the enhancement layer. In this method, however, the quantization width of the base layer is fixed. For this reason, there is a problem that it is impossible to cope with a case where the quantization scale value of the base layer adaptively changes for each block.

【００１７】また、特開平４−７２８７０号公報に記載
されているように、ブロックの局所的性質に応じて生起
確率密度関数を切り替える方式では、符号化効率を向上
させるために、量子化の特性に応じて用いる生起確率を
適切に選択する必要がある。Further, as described in Japanese Patent Application Laid-Open No. 4-72870, in the system in which the occurrence probability density function is switched according to the local property of the block, in order to improve the coding efficiency, the characteristics of the quantization are reduced. It is necessary to appropriately select the occurrence probability to be used according to the situation.

【００１８】しかしながら、エンハンスメントレイヤの
場合のように、生起確率密度関数がベースレイヤで行わ
れる量子化に依存して大きく変化する場合、必ずしも適
応的に対処することができないという問題がある。However, when the occurrence probability density function greatly changes depending on the quantization performed in the base layer as in the case of the enhancement layer, there is a problem that it is not always possible to cope adaptively.

【００１９】従って、本発明の目的は、画像を階層適符
号化する際の符号化効率を向上させることができる階層
的画像符号化方式、及び階層的画像復号方式を提供する
ことにある。SUMMARY OF THE INVENTION Accordingly, an object of the present invention is to provide a hierarchical image encoding system and a hierarchical image decoding system that can improve the encoding efficiency when encoding an image hierarchically.

【００２０】[0020]

【課題を解決するための手段】本発明は、上記の目的を
達成するため、符号化の対象とする原画像信号を階層的
に符号化する符号化方式であって、原画像信号を符号化
して、ベースレイヤ符号列を出力するとともに、量子化
情報、及び符号化残差を出力する第１の符号化手段と、
量子化情報から符号化残差の生起確率を算出する生起確
率算出手段と、符号化残差の生起確率に基づいて、符号
化残差を符号化して符号化残差符号を出力する第２の符
号化手段と、符号化残差符号と量子化情報とを多重化し
てエンハンスメントレイヤ符号列として出力する多重化
手段とを有することを特徴とする階層的画像符号化方式
を提供するものである。According to the present invention, there is provided an encoding method for hierarchically encoding an original image signal to be encoded, wherein the original image signal is encoded. And a first encoding unit that outputs a base layer code sequence, and outputs quantization information and an encoding residual.
An occurrence probability calculating means for calculating an occurrence probability of an encoding residual from the quantization information; and a second encoding the encoding residual to output an encoding residual code based on the occurrence probability of the encoding residual. It is an object of the present invention to provide a hierarchical image coding method, comprising: a coding means; and a multiplexing means for multiplexing a coded residual code and quantization information and outputting the multiplexed result as an enhancement layer code sequence.

【００２１】以上の構成において、符号化残差は、第１
の符号化手段が原画像信号に対して可逆変換符号化を行
って得られる変換係数を量子化した際に生じる符号化残
差であり、量子化情報は、量子化スケール値の頻度分布
と量子化マトリクスとを含み、生起確率算出手段は、量
子化スケール値の頻度分布、量子化マトリクス、及び、
予め用意された変換係数の頻度分布に基づいて、符号化
残差の生起確率を算出し、第２の符号化手段は、符号化
残差を、符号化残差の生起確率に基づいて周波数インデ
ックスが同じ変換係数ごとに可変長符号化することが望
ましい。In the above configuration, the coding residual is the first
Is a coding residual generated when the coding means of the original image signal quantizes a transform coefficient obtained by performing a lossless transform coding on the original image signal, and the quantization information includes a frequency distribution of a quantization scale value and a quantization And the occurrence probability calculation means, the frequency distribution of the quantization scale value, the quantization matrix, and,
Based on the frequency distribution of the transform coefficients prepared in advance, the probability of occurrence of the coding residual is calculated, and the second coding unit calculates the coding residual as a frequency index based on the probability of occurrence of the coding residual. Is desirably subjected to variable-length coding for each of the same transform coefficients.

【００２２】また、第１の符号化手段が原画像信号に対
して可逆変換符号化を行って得られる変換係数を集計し
て、変換係数の頻度分布を求める第１の集計手段を更に
具備し、生起確率算出手段は、変換係数の頻度分布に基
づいて、符号化残差の生起確率を更新させることが望ま
しい。The first encoding means further comprises first aggregation means for summing up conversion coefficients obtained by performing lossless transform coding on the original image signal and obtaining a frequency distribution of the conversion coefficients. It is desirable that the occurrence probability calculation means update the occurrence probability of the coding residual based on the frequency distribution of the transform coefficients.

【００２３】更に、第１の符号化手段は、原画像信号に
対して動き推定あるいは動き補償を行って、動き補償予
測画像信号を生成するとともに、マクロブロック情報を
出力する第１の画像信号生成手段と、原画像信号から動
き補償予測画像信号を減じて予測誤差画像信号を生成す
る第２の画像信号生成手段と、予測誤差画像信号に可逆
変換を行って変換係数を求める変換手段と、予測誤差画
像信号に基づいて、マクロブロックごとに量子化スケー
ル値を決定する量子化スケール値決定手段と、量子化ス
ケール値、量子化マトリクス、及びマクロブロック情報
に基づいて、変換係数を量子化して量子化値を出力する
量子化手段と、マクロブロック情報および予め定められ
た符号表に基づいて、量子化値を可変長符号化すること
により、量子化値の可変長符号を出力する可変長符号化
手段と、量子化値の可変長符号、量子化マトリクス、量
子化スケール値、及びマクロブロック情報を多重化し、
ベースレイヤ符号列として出力するベースレイヤ多重化
手段と、量子化スケール値、量子化マトリクス、及びマ
クロブロック情報に基づいて、量子化値を逆量子化して
逆量子化値を出力する逆量子化手段と、変換係数から逆
量子化値を減じて符号化残差を算出する符号化残差算出
手段と、量子化スケール値を所定の符号化周期で集計
し、量子化スケール値の頻度分布を出力する第２の集計
手段とを有し、生起確率算出手段は、量子化スケール値
の頻度分布に基づいて、符号化残差の生起確率を更新す
ることが望ましい。Further, the first encoding means performs motion estimation or motion compensation on the original image signal to generate a motion-compensated predicted image signal and outputs the first image signal for outputting macroblock information. Means for generating a prediction error image signal by subtracting the motion compensated prediction image signal from the original image signal, conversion means for performing a reversible transform on the prediction error image signal to obtain a transform coefficient, Quantization scale value determination means for determining a quantization scale value for each macroblock based on the error image signal; and quantizing the transform coefficient based on the quantization scale value, the quantization matrix, and the macroblock information, and Quantizing means for outputting a quantized value, and performing variable-length encoding on the quantized value based on macroblock information and a predetermined code table, thereby obtaining a quantized value. And variable length coding means for outputting a variable length code, variable length code of the quantized values, the quantization matrix, a quantization scale value, and the macroblock information are multiplexed,
Base layer multiplexing means for outputting as a base layer code sequence, and inverse quantization means for inversely quantizing the quantized value based on the quantization scale value, the quantization matrix, and the macroblock information and outputting the inversely quantized value And an encoding residual calculating means for calculating an encoding residual by subtracting an inverse quantization value from a transform coefficient, and summing up a quantization scale value at a predetermined encoding cycle, and outputting a frequency distribution of the quantization scale value. It is preferable that the occurrence probability calculating means update the occurrence probability of the coding residual based on the frequency distribution of the quantization scale value.

【００２４】この場合、ベースレイヤ多重化手段は、ベ
ースレイヤ符号列の他に、該ベースレイヤ符号列の符号
量情報を出力し、量子化スケール値決定手段は、予測誤
差画像信号、及び符号量情報に基づいて、マクロブロッ
クごとに量子化スケール値を決定することをが望まし
い。In this case, the base layer multiplexing means outputs the code amount information of the base layer code string in addition to the base layer code string, and the quantization scale value determining means outputs the prediction error image signal and the code amount. It is desirable to determine a quantization scale value for each macroblock based on the information.

【００２５】また、第１の符号化手段は、原画像信号と
局所復号画像信号との間で動き推定を行い、該推定結果
を基に局所復号画像信号に動き補償を行って第１の動き
補償予測画像信号を生成するとともに、マクロブロック
情報を出力する第１の画像信号生成手段と、原画像信号
から、第１の動き補償予測画像信号を減じて第１の予測
誤差画像信号を生成する第２の画像信号生成手段と、第
１の予測誤差画像信号に可逆変換を行って第１の変換係
数を求める第１の変換手段と、第１の予測誤差画像信号
に基づいて、マクロブロックごとに量子化スケール値を
決定する量子化スケール値決定手段と、量子化マトリク
ス、量子化スケール値、及びマクロブロック情報に基づ
いて、第１の変換係数を量子化して量子化値を出力する
量子化手段と、マクロブロック情報および予め定められ
た符号表に基づいて、量子化値を可変長符号化して該量
子化値の可変長符号を出力する可変長符号化手段と、量
子化値の可変長符号、量子化マトリクス、量子化スケー
ル値、及びマクロブロック情報を多重化し、ベースレイ
ヤ符号列として出力するベースレイヤ多重化手段と、量
子化スケール値、量子化マトリクス、及びマクロブロッ
ク情報に基づいて、量子化値を逆量子化して逆量子化値
を出力する逆量子化手段と、逆量子化値に可逆変換の逆
変換を行って、局所復号予測誤差画像信号を生成する第
３の画像信号生成手段と、局所復号予測誤差画像信号に
第１の動き補償予測画像信号を加えて局所復号画像を生
成する第４の画像信号生成手段と、マクロブロック情報
に基づいて原画像信号に対して動き補償を行い、第２の
動き補償予測画像信号を生成する第５の画像信号生成手
段と、原画像信号から第２の動き補償予測画像信号を減
じて第２の予測誤差画像信号を生成する第６の画像信号
生成手段と、第２の予測誤差画像信号に可逆変換を行っ
て第２の変換係数を求める第２の変換手段と、第２の変
換係数から逆量子化値を減じて、符号化残差を求める符
号化残差算出手段と、量子化スケール値を所定の符号化
周期で集計し、該量子化スケール値の頻度分布を出力す
る第１の集計手段とを有し、生起確率算出手段は、量子
化スケール値の頻度分布に基づいて、符号化残差の生起
確率を更新することが望ましい。The first encoding means estimates the motion between the original image signal and the locally decoded image signal, and performs motion compensation on the locally decoded image signal based on the estimation result to perform the first motion estimation. First image signal generating means for generating a compensated predicted image signal and outputting macroblock information; and generating a first predicted error image signal by subtracting the first motion compensated predicted image signal from the original image signal. A second image signal generation unit, a first conversion unit for performing a reversible conversion on the first prediction error image signal to obtain a first conversion coefficient, and a macroblock based on the first prediction error image signal. A quantization scale value determining means for determining a quantization scale value, and a quantization for outputting a quantization value by quantizing a first transform coefficient based on a quantization matrix, a quantization scale value, and macroblock information. Means and ma Variable length coding means for performing variable length coding of the quantized value based on the block information and a predetermined code table and outputting a variable length code of the quantized value; a variable length code of the quantized value; Multiplexing means for multiplexing the quantization matrix, the quantization scale value, and the macroblock information and outputting the result as a baselayer code sequence, and the quantization value based on the quantization scale value, the quantization matrix, and the macroblock information. Inverse quantization means for inversely quantizing and outputting an inversely quantized value; third image signal generating means for performing an inverse transform of a reversible transform on the inversely quantized value to generate a locally decoded prediction error image signal; Fourth image signal generating means for generating a locally decoded image by adding the first motion compensated predicted image signal to the locally decoded prediction error image signal, and moving the original image signal based on the macroblock information. Fifth image signal generating means for performing compensation and generating a second motion compensated predicted image signal, and a fifth image signal generating means for subtracting the second motion compensated predicted image signal from the original image signal to generate a second predicted error image signal. 6, an image signal generation unit, a second conversion unit that performs a reversible conversion on the second prediction error image signal to obtain a second conversion coefficient, and subtracts an inverse quantization value from the second conversion coefficient to generate a code. Encoding means for calculating a quantized residual, and first counting means for summing up quantized scale values at a predetermined coding cycle and outputting a frequency distribution of the quantized scale values. It is desirable that the calculation unit updates the occurrence probability of the coding residual based on the frequency distribution of the quantization scale value.

【００２６】この場合、ベースレイヤ多重化手段は、ベ
ースレイヤ符号列の他に、該ベースレイヤ符号列の符号
量情報を出力し、量子化スケール値決定手段は、第１の
予測誤差画像信号、及び符号量情報に基づいて、マクロ
ブロックごとに量子化スケール値を決定することが望ま
しい。In this case, the base layer multiplexing means outputs the code amount information of the base layer code string in addition to the base layer code string, and the quantization scale value determining means outputs the first prediction error image signal, It is desirable to determine the quantization scale value for each macroblock based on the information and the code amount information.

【００２７】また、第１の符号化手段が原画像信号に対
して可逆変換符号化を行って得られる変換係数を集計し
て、変換係数の頻度分布を求める第２の集計手段を更に
具備し、生起確率算出手段は、変換係数の頻度分布に基
づいて、符号化残差の生起確率を更新させることが望ま
しい。Further, there is further provided a second counting means for counting the conversion coefficients obtained by the first coding means performing the reversible transform coding on the original image signal and obtaining a frequency distribution of the conversion coefficients. It is desirable that the occurrence probability calculation means update the occurrence probability of the coding residual based on the frequency distribution of the transform coefficients.

【００２８】更に、第２の変換係数を集計して、該第２
の変換係数の頻度分布を出力する第２の集計手段を更に
有し、生起確率算出手段は、第２の変換係数の頻度分布
に基づいて、符号化残差の生起確率を更新することが望
ましい。Further, the second conversion coefficient is tabulated to obtain the second conversion coefficient.
It is preferable to further include a second totaling unit that outputs the frequency distribution of the transform coefficient, and that the occurrence probability calculating unit updates the occurrence probability of the coding residual based on the frequency distribution of the second transform coefficient. .

【００２９】更に、また、第１の集計手段は、マクロブ
ロック情報に基づいて、頻度分布の集計をブロックの種
類別に行い、生起確率算出手段は、マクロブロック情報
に基づいて、符号化残差の生起確率の算出をブロックの
種類別に行い、第２の符号化手段は、符号化残差の生起
確率をブロックの種類別に用いて符号化を行うことが望
ましい。Further, the first counting means counts the frequency distribution for each block type based on the macroblock information, and the occurrence probability calculating means calculates the coding residual based on the macroblock information. It is desirable that the occurrence probability is calculated for each type of block, and the second encoding unit performs the encoding using the occurrence probability of the encoding residual for each type of block.

【００３０】更に、また、第２の集計手段は、マクロブ
ロック情報に基づいて、頻度分布をブロックの種類別に
集計し、生起確率算出手段は、ブロックの種類別に集計
された頻度分布に基づいて、符号化残差の生起確率をブ
ロックの種類別に更新し、第２の符号化手段は、符号化
残差の生起確率をブロックの種類別に用いて符号化を行
うことが望ましい。Further, the second counting means counts the frequency distribution for each type of block based on the macroblock information, and the occurrence probability calculation means calculates the frequency distribution based on the frequency distribution counted for each type of block. It is preferable that the occurrence probability of the encoding residual is updated for each type of block, and the second encoding unit performs encoding using the occurrence probability of the encoding residual for each type of block.

【００３１】更に、また、ブロックは、イントラブロッ
クか否かにより種類分けしていることが望ましい。Furthermore, it is desirable that the blocks are classified according to whether they are intra blocks or not.

【００３２】また、本発明は、上記目的を達成するた
め、前述した階層的画像符号化方式によって符号化され
た原画像信号を復号する方式であって、エンハンスメン
トレイヤ符号列から、符号化残差符号と量子化情報とを
分離して出力する分離手段と、量子化情報から符号化残
差の生起確率を算出する生起確率算出手段と、符号化残
差の生起確率に基づいて、符号化残差符号を復号して符
号化残差を出力する第１の復号手段と、ベースレイヤ符
号列を復号し、該復号によって得られた信号に符号化残
差を加算して原画像信号を復号する第２の復号手段とを
有することを特徴とする階層的画像復号方式を提供する
ものである。In order to achieve the above object, the present invention is a method for decoding an original image signal encoded by the above-mentioned hierarchical image encoding method, wherein the method comprises the steps of: A separating unit that separates and outputs a code and quantization information, an occurrence probability calculation unit that calculates an occurrence probability of an encoding residual from the quantization information, and an encoding residual based on the occurrence probability of the encoding residual. First decoding means for decoding a difference code and outputting an encoded residual; decoding a base layer code sequence; adding an encoded residual to a signal obtained by the decoding to decode an original image signal; And a second decoding unit.

【００３３】以上の構成において、生起確率算出手段
は、量子化情報として入力した量子化スケール値の頻度
分布、量子化マトリクス、及び予め蓄えられている変換
係数の頻度分布に基づいて、符号化残差の生起確率を算
出し、第１の復号手段は、符号化残差の生起確率に基づ
いて、同じ周波数インデックス毎に符号化残差符号を復
号することにより、符号化残差を出力することが望まし
い。In the above arrangement, the occurrence probability calculating means calculates the coding residual based on the frequency distribution of the quantization scale value input as the quantization information, the quantization matrix, and the frequency distribution of the transform coefficients stored in advance. Calculating an occurrence probability of the difference, and outputting the encoded residual by decoding the encoded residual code for each frequency index based on the occurrence probability of the encoded residual. Is desirable.

【００３４】また、第２の復号手段がベースレイヤ符号
列を復号した際に得られる変換係数を集計して、該変換
係数の頻度分布を求める集計手段を有し、生起確率算出
手段は、変換係数の頻度分布に基づいて、符号化残差の
生起確率を更新することが望ましい。[0034] Further, there is provided a totaling means for totalizing transform coefficients obtained when the second decoding means decodes the base layer code string and obtaining a frequency distribution of the transform coefficients. It is desirable to update the occurrence probability of the coding residual based on the frequency distribution of the coefficients.

【００３５】更に、第２の復号手段は、ベースレイヤ符
号列から、量子化スケール値と量子化マトリクスとマク
ロブロック情報と量子化値の可変長符号とを分離して出
力する分離手段と、量子化値の可変長符号を、マクロブ
ロック情報、及び予め定められた符号表に基づいて復号
し、量子化値を出力する量子化値復号手段と、量子化値
マトリクス、量子化スケール値、及びマクロブロック情
報に基づいて、量子化値を逆量子化して逆量子化値を出
力する逆量子化手段と、第１の復号手段から出力される
符号化残差を逆量子化値に加えて変換係数を算出する変
換係数算出手段と、変換係数に、階層的画像符号化方式
で行われた変換の逆変換を行って、予測誤差画像信号を
生成する第１の画像信号生成手段と、予測誤差画像信号
に動き補償予測画像信号を加算して、復号画像信号を生
成する第２の画像信号生成手段と、マクロブロック情報
に基づいて、復号画像信号に動き補償を行って動き補償
予測画像を生成する第３の画像信号生成手段とを有する
ことが望ましい。Further, the second decoding means separates the quantization scale value, the quantization matrix, the macroblock information, and the variable length code of the quantization value from the base layer code sequence, and outputs the result. Quantization value decoding means for decoding a variable-length code of a quantization value based on macroblock information and a predetermined code table and outputting a quantization value, a quantization value matrix, a quantization scale value, and a macro. A dequantizing means for dequantizing the quantized value based on the block information and outputting a dequantized value; and a transform coefficient obtained by adding a coding residual output from the first decoding means to the dequantized value. Transform coefficient calculating means for calculating a predictive error image signal, a first image signal generating means for performing a reverse transform of the transform performed by the hierarchical image coding method to generate a predictive error image signal, Motion compensation prediction image A second image signal generating unit that generates a decoded image signal by adding the signals, and a third image signal generation unit that performs motion compensation on the decoded image signal based on the macroblock information to generate a motion-compensated predicted image. It is desirable to have means.

【００３６】この場合、変換係数を集計して、該変換係
数の頻度分布を求める集計手段を更に有し、生起確率算
出手段は、変換係数の頻度分布に基づいて、符号化残差
の生起確率を更新することが望ましい。In this case, there is further provided a totalizing means for totalizing the transform coefficients and obtaining a frequency distribution of the transform coefficients, wherein the occurrence probability calculating means calculates the occurrence probability of the coding residual based on the frequency distribution of the transform coefficients. It is desirable to update.

【００３７】また、集計手段は、マクロブロック情報に
基づいて、ブロックの種類別に変換係数の頻度分布を集
計し、生起確率算出手段は、符号化残差の生起確率をブ
ロックの種類別に算出し、第１の復号手段は、マクロブ
ロック情報に基づいて、復号すべき符号化残差符号が対
応するブロックの種類を特定し、該特定結果に応じて符
号化残差の生起確率を用いることが望ましい。Further, the counting means totalizes the frequency distribution of the transform coefficients for each type of block based on the macroblock information, and the occurrence probability calculating means calculates the occurrence probability of the coding residual for each type of block. It is preferable that the first decoding means specifies the type of the block corresponding to the coded residual code to be decoded based on the macroblock information, and uses the occurrence probability of the coded residual according to the specification result. .

【００３８】更に、また、ブロックは、イントラブロッ
クか否かにより種類分けしていることが望ましい。Furthermore, it is desirable that the blocks are classified according to whether they are intra blocks or not.

【００３９】[0039]

【発明の実施の形態】以下、図面を参照しながら、本発
明の実施の形態につき詳細に説明する。 〔第１の実施の形態〕図１は、第１の実施の形態による
階層的画像符号化装置（以降、符号化装置と略す。他の
実施の形態においても同様））の回路図である。第１の
実施の形態による画像符号化装置について、図１を参照
して詳述する。Embodiments of the present invention will be described below in detail with reference to the drawings. [First Embodiment] FIG. 1 is a circuit diagram of a hierarchical image encoding device (hereinafter, abbreviated as an encoding device and the same in other embodiments) according to a first embodiment. An image encoding device according to the first embodiment will be described in detail with reference to FIG.

【００４０】ベースレイヤ符号化器５００は、入力ビデ
オ信号（原画像信号）を符号化して、ベースレイヤ符号
列を作成して出力する。これとともに、符号化残差と量
子化情報を出力する。符号化残差の生起確率算出部５０
２は、ベースレイヤ符号化器５００から出力される量子
化情報に基づいて、符号化残差の生起確率を算出し、出
力する。算術符号化器５０１は、符号化残差の生起確率
算出部５０２から出力される符号化残差の生起確率に基
づいて、ベースレイヤ符号化器５００から入力される符
号化残差を算術符号化（可変長符号化）して、その結果
を符号化残差の算術符号として出力する。多重化器５０
３は、算術符号化器５０１から出力される符号化残差の
算術符号とベースレイヤ符号化器５００から出力される
量子化情報を多重化して、エンハンスメントレイヤ符号
列として出力する。The base layer encoder 500 encodes an input video signal (original image signal) to create and output a base layer code sequence. At the same time, the coding residual and the quantization information are output. Encoding residual occurrence probability calculating unit 50
2 calculates and outputs the occurrence probability of an encoding residual based on the quantization information output from the base layer encoder 500. Arithmetic encoder 501 arithmetically encodes the coding residual input from base layer encoder 500 based on the coding residual occurrence probability output from coding residual occurrence probability calculation section 502. (Variable length coding) and outputs the result as the arithmetic code of the coding residual. Multiplexer 50
3 multiplexes the arithmetic code of the encoded residual output from the arithmetic encoder 501 and the quantization information output from the base layer encoder 500, and outputs the result as an enhancement layer code sequence.

【００４１】次に、動作について詳細に説明する。入力
ビデオ信号（ここでは、それを変換して得られる信号も
含む）は、ベースレイヤ符号化器５００に入力され、非
可逆な画像符号化が行われる。その結果、ベースレイヤ
符号列が生成、出力される。非可逆な画像符号化では、
入力ビデオ信号に対して、量子化などの情報量を減少さ
せる処理が行われる。この処理によって情報量の損失が
発生する。符号化残差は、入力ビデオ信号の非可逆な符
号化を行った際に発生した損失を求めたものである。量
子化情報は、量子化などの情報量を減少させるために行
った処理の内容を表す情報である。それらは、ベースレ
イヤ符号化器５００から出力される。Next, the operation will be described in detail. An input video signal (here, a signal obtained by converting the input video signal) is input to the base layer encoder 500, and lossy image encoding is performed. As a result, a base layer code sequence is generated and output. In lossy image coding,
Processing for reducing the amount of information such as quantization is performed on the input video signal. This process results in a loss of the information amount. The encoding residual is obtained by calculating a loss that occurs when irreversible encoding of the input video signal is performed. The quantization information is information indicating the content of processing performed to reduce the amount of information such as quantization. They are output from base layer encoder 500.

【００４２】ベースレイヤ符号化器５００から出力され
た量子化情報は、符号化残差の生起確率算出部５０２に
入力される。ここには、ビデオ信号の統計量に関するデ
ータが予め保持されている。そして、この統計量と量子
化情報とから、ベースレイヤ符号化器５００から出力さ
れる符号化残差の生起確率を算出し、出力する。The quantization information output from base layer encoder 500 is input to encoding residual occurrence probability calculating section 502. Here, data relating to the statistics of the video signal is held in advance. Then, based on the statistics and the quantization information, the occurrence probability of the encoding residual output from the base layer encoder 500 is calculated and output.

【００４３】ベースレイヤ符号化器５００から出力され
る符号化残差は、算術符号化器５０１に入力され、ここ
で、符号化残差の生起確率算出部５０２から出力される
生起確率に基づいて、算術符号化（可変長符号化（エン
トロピー符号化））される。その結果は、符号化残差の
算術符号として出力される。The coding residual output from the base layer encoder 500 is input to the arithmetic encoder 501, where the coding residual is output based on the occurrence probability output from the coding residual occurrence probability calculating unit 502. And arithmetic coding (variable length coding (entropy coding)). The result is output as the arithmetic code of the encoded residual.

【００４４】符号化残差の算術符号は、ベースレイヤ符
号化器５００から出力された量子化情報とともに多重化
器５０３に入力される。多重化器５０３にはバッファが
あり、入力された各種データは一旦ここに蓄えられる。
そして、予め定められた順序で各種データを多重化し
て、エンハンスメントレイヤ符号列として出力する。The arithmetic code of the coding residual is input to the multiplexer 503 together with the quantization information output from the base layer encoder 500. The multiplexer 503 has a buffer, and various kinds of input data are temporarily stored here.
Then, various data are multiplexed in a predetermined order and output as an enhancement layer code sequence.

【００４５】このように、第１の実施の形態では、ベー
スレイヤ符号化で得られる量子化情報に基づいて、符号
化残差の生起確率を求め、適応的に算術符号化してい
る。このため、従来よりもエンハンスメントレイヤ符号
列の符号化効率が向上し、全体の符号量を減少させるこ
とができる。As described above, in the first embodiment, the probability of occurrence of a coding residual is obtained based on the quantization information obtained by base layer coding, and adaptive arithmetic coding is performed. For this reason, the coding efficiency of the enhancement layer code string is improved as compared with the related art, and the entire code amount can be reduced.

【００４６】〔第２の実施の形態〕図２は、第２の実施
の形態による階層的画像復号装置（以下、画像復号装置
と略す。他の実施の形態においても同様）の回路図であ
る。第２の実施の形態による画像復号装置について、図
２を参照して詳述する。なお、この画像復号装置は、上
記第１の実施の形態による符号化装置により符号化され
た原画像信号を復号するものである。[Second Embodiment] FIG. 2 is a circuit diagram of a hierarchical image decoding apparatus (hereinafter, abbreviated as an image decoding apparatus and the same applies to other embodiments) according to a second embodiment. . An image decoding device according to the second embodiment will be described in detail with reference to FIG. This image decoding apparatus decodes an original image signal encoded by the encoding apparatus according to the first embodiment.

【００４７】多重分離器６０３は、エンハンスメントレ
イヤ符号列から符号化残差の算術符号と、量子化情報
と、その他の付加情報とに分離し、出力する。符号化残
差の生起確率算出部６０２は、多重分離器６０３から出
力される量子化情報に基づいて、符号化残差の生起確率
を算出し、出力する。算術復号器６０１は、符号化残差
の生起確率算出部６０２から出力される符号化残差の生
起確率に基づいて、多重分離器６０３から出力される符
号化残差の算術符号を算術復号して、復号結果（符号化
残差）を出力する。ベースレイヤ復号器６００は、ベー
スレイヤ符号列と算術復号器６０１から出力される符号
化残差とから、原画像信号を復号し、それを復号画像信
号として出力する。The demultiplexer 603 separates the arithmetic code of the encoded residual, the quantization information, and other additional information from the enhancement layer code sequence and outputs the result. The coding residual occurrence probability calculation unit 602 calculates and outputs the coding residual occurrence probability based on the quantization information output from the demultiplexer 603. The arithmetic decoder 601 arithmetically decodes the arithmetic code of the encoded residual output from the demultiplexer 603 based on the occurrence probability of the encoded residual output from the encoding residual occurrence probability calculation unit 602. And outputs the decoding result (encoding residual). Base layer decoder 600 decodes the original image signal from the base layer code sequence and the encoding residual output from arithmetic decoder 601 and outputs the decoded image signal as a decoded image signal.

【００４８】次に、動作について詳細に説明する。エン
ハンスメントレイヤ符号列は、多重分離器６０３に入力
される。多重分離器６０３にはバッファがあり、入力さ
れたエンハンスメントレイヤ符号列は、符号化残差の算
術符号と、量子化情報と、その他の付加情報とに分離さ
れてバッファに蓄えられる。ただし、多重分離器６０３
を後述する算術復号器６０１と組み合わせて、算術復号
しながら各種情報を分離するようになっていてもよい。
量子化情報は、符号化残差の生起確率算出部６０２に入
力され、符号化残差の生起確率の算出に用いられる。Next, the operation will be described in detail. The enhancement layer code sequence is input to the demultiplexer 603. The demultiplexer 603 has a buffer, and the input enhancement layer code string is separated into the arithmetic code of the coding residual, quantization information, and other additional information, and is stored in the buffer. However, the demultiplexer 603
May be combined with an arithmetic decoder 601 described later to separate various types of information while performing arithmetic decoding.
The quantization information is input to the coding residual occurrence probability calculation unit 602, and is used for calculating the coding residual occurrence probability.

【００４９】符号化残差の生起確率算出部６０２には、
ビデオ信号の統計量を表すデータが予め保持されてい
る。これは、図１の符号化残差の生起確率算出部５０２
のものと同一である。また、符号化残差の生起確率算出
部６０２の動作は、図１の符号化残差の生起確率算出部
５０２の動作と同様である。The coding residual occurrence probability calculating unit 602 includes:
Data representing the statistics of the video signal is stored in advance. This is because the coding residual occurrence probability calculation unit 502 in FIG.
Is the same as The operation of the coding residual occurrence probability calculation unit 602 is the same as the operation of the coding residual occurrence probability calculation unit 502 in FIG.

【００５０】算術復号器６０１は、符号化残差の算術符
号を多重分離器６０３から入力し、それを符号化残差生
起確率算出部６０２から入力される符号化残差の生起確
率分布にしたがって算術復号する。それによって得られ
た符号化残差は、ベースレイヤ復号器６００に出力す
る。The arithmetic decoder 601 receives the arithmetic code of the coded residual from the demultiplexer 603 and converts the arithmetic code according to the distribution of occurrence probability of the coded residual input from the coded residual occurrence probability calculation unit 602. Perform arithmetic decoding. The obtained coding residual is output to base layer decoder 600.

【００５１】他方のベースレイヤ符号列はベースレイヤ
復号器６００に入力される。ここでは、図１のベースレ
イヤ符号化器５００で行われた符号化に対応する復号
が、ベースレイヤ符号列に対して行われる。これによっ
て得られた信号と、算術復号器６０１から入力される符
号化残差とから復号画像信号が生成され、出力される。
このようにして、図１の符号化装置で符号化された原画
像信号が復号される。The other base layer code sequence is input to base layer decoder 600. Here, decoding corresponding to the encoding performed by the base layer encoder 500 in FIG. 1 is performed on the base layer code sequence. A decoded image signal is generated from the signal thus obtained and the coding residual input from the arithmetic decoder 601 and output.
Thus, the original image signal encoded by the encoding device of FIG. 1 is decoded.

【００５２】〔第３の実施の形態〕図３は、第３の実施
の形態による階層的画像符号化装置（以下、画像符号化
装置と略す）の回路図である。第３の実施の形態による
画像符号化装置について、図３を参照して詳述する。ベ
ースレイヤ符号化器５２０は、入力ビデオ信号を符号化
して、ベースレイヤ符号列を作成して出力する。これと
ともに、符号化残差と、量子化情報である量子化マトリ
クスと量子化スケール値の頻度分布とを出力する。符号
化残差の生起確率算出部９２は、ベースレイヤ符号化器
５２０から出力される量子化スケールの頻度分布と量子
化マトリクスとから、符号化残差の生起確率を算出して
出力する、算術符号化器９１は、ベースレイヤ符号化器
５２０から出力される量子化残差（符号化残差）を、符
号化残差の生起確率算出部９２から出力される符号化残
差の生起確率に基づいて算術符号化し、その結果を符号
化残差の算術符号として出力する。多重化器９５は、算
術符号化器９１から出力される符号化残差の算術符号
と、量子化情報、すなわち、量子化スケール値の頻度分
布と量子化マトリクスと、その他の付加情報とを多重化
して、エンハンスメントレイヤ符号列として出力する。[Third Embodiment] FIG. 3 is a circuit diagram of a hierarchical image encoding device (hereinafter abbreviated as an image encoding device) according to a third embodiment. An image encoding device according to the third embodiment will be described in detail with reference to FIG. The base layer encoder 520 encodes the input video signal to create and output a base layer code sequence. At the same time, it outputs an encoding residual, a quantization matrix which is quantization information, and a frequency distribution of quantization scale values. The coding residual occurrence probability calculating unit 92 calculates and outputs the coding residual occurrence probability from the quantization scale frequency distribution and the quantization matrix output from the base layer encoder 520. The encoder 91 converts the quantization residual (encoding residual) output from the base layer encoder 520 into the encoding residual occurrence probability output from the encoding residual occurrence probability calculation unit 92. Arithmetic coding on the basis of the result, and outputs the result as the arithmetic code of the coding residual. The multiplexer 95 multiplexes the arithmetic code of the encoding residual output from the arithmetic encoder 91, quantization information, that is, the frequency distribution and quantization matrix of the quantization scale value, and other additional information. And outputs it as an enhancement layer code sequence.

【００５３】次に、動作について詳細に説明する。入力
ビデオ信号は、ベースレイヤ符号化器５２０に入力され
る。ここでは、入力ビデオ信号は、ブロックなどの小領
域に分割される。そしてそれぞれの小領域に対して、可
逆離散コサイン変換、可逆アダマール変換、あるいは可
逆ウェーブレット変換などの可逆変換符号化で用いられ
る変換が行われる。得られた変換係数は、周波数インデ
ックス（変換係数の小領域内での位置）ごとに定まる量
子化マトリクスと、小領域ごとの量子化の粗さを制御す
る量子化スケール値とによって定まる量子化に従って量
子化される。なお、ここでは量子化マトリクスと量子化
スケール値という用語を以後も用いるが、これと同等の
作用をもつパラメータであれば何でもよい。また、量子
化マトリクスを用いない場合は、量子化マトリクスを全
て等しい値にしたものとみなせばよい。上述の量子化値
は、さらにハフマン符号化、あるいは算術符号化などの
エントロピー符号化によって符号変換される。そして、
付加情報とともに多重化されてベースレイヤ符号列とし
て出力される。Next, the operation will be described in detail. The input video signal is input to base layer encoder 520. Here, the input video signal is divided into small areas such as blocks. Then, a transform used in a reversible transform coding such as a reversible discrete cosine transform, a reversible Hadamard transform, or a reversible wavelet transform is performed on each small region. The obtained transform coefficients are obtained according to the quantization matrix determined by the frequency index (the position of the transform coefficients in the small area) and the quantization scale value that controls the quantization roughness for each small area. Quantized. Here, the terms quantization matrix and quantization scale value will be used hereinafter, but any parameter having the same effect as this may be used. When the quantization matrix is not used, it may be considered that all the quantization matrices have the same value. The above-described quantization value is further code-transformed by entropy coding such as Huffman coding or arithmetic coding. And
It is multiplexed with the additional information and output as a base layer code sequence.

【００５４】一方、前記量子化値は逆量子化され、逆量
子化値が求められる。逆量子化値は、量子化する前の値
から減じられ、その結果が符号化残差（量子化残差）と
して算術符号化器９１に出力される。また、量子化スケ
ール値に関しては、ある定められた符号化周期で頻度分
布が集計される。そして、この頻度分布と量子化マトリ
クスとが、ベースレイヤ符号化器５２０から出力され
る。その出力された量子化スケール値の頻度分布と量子
化マトリクスとは、符号化残差の生起確率算出部９２に
入力される。On the other hand, the quantized value is inversely quantized to obtain an inversely quantized value. The inverse quantization value is subtracted from the value before quantization, and the result is output to the arithmetic encoder 91 as a coding residual (quantized residual). As for the quantization scale value, the frequency distribution is tabulated at a predetermined coding cycle. Then, the frequency distribution and the quantization matrix are output from base layer encoder 520. The output frequency distribution and quantization matrix of the quantization scale value are input to the encoding residual occurrence probability calculation unit 92.

【００５５】符号化残差の生起確率算出部９２には、各
周波数インデックス(i,j) （変換係数の小領域（ブロッ
ク）内での位置）に対して、変換係数の頻度分布に関す
るデータが予め蓄えられている。この頻度分布データ
と、入力される量子化スケール値の頻度分布と量子化値
マトリクスとから各インデックス(i,j) に対して、符号
化残差の生起確率を算出する。この算出方式の詳細は後
述する。そして、各インデックス(i,j) に対して算出さ
れた生起確率は、算術符号化器９１に出力される。ただ
し、ここで出力される値は、生起確率を定数倍したも
の、あるいはそれをさらに近似したものであってもよ
い。The coding residual occurrence probability calculation unit 92 stores data on the frequency distribution of the transform coefficient for each frequency index (i, j) (the position of the transform coefficient in a small area (block)). It is stored in advance. Based on the frequency distribution data, the frequency distribution of the input quantization scale value, and the quantization value matrix, the occurrence probability of the coding residual is calculated for each index (i, j). Details of this calculation method will be described later. Then, the occurrence probability calculated for each index (i, j) is output to the arithmetic encoder 91. However, the value output here may be a value obtained by multiplying the occurrence probability by a constant or a value obtained by further approximating the value.

【００５６】算術符号化器９１は、周波数インデックス
(i,j) に対する符号化残差を、その周波数インデックス
(i,j) に対応する符号化残差の生起確率に従って、順次
算術符号化する。これを、各インデックス(i,j) に対し
て行う。その結果が符号化残差の算術符号として出力さ
れる。The arithmetic encoder 91 calculates the frequency index
Let the coding residual for (i, j) be its frequency index
Arithmetic encoding is performed sequentially according to the occurrence probability of the encoding residual corresponding to (i, j). This is performed for each index (i, j). The result is output as the arithmetic code of the encoded residual.

【００５７】符号化残差の算術符号と量子化スケール値
の頻度分布と量子化マトリクスとその他の付加情報は、
多重化器９５に入力される。多重化器９５にはバッファ
があり、入力された各種データは一旦ここに蓄えられ
る。そして、予め定められた順序で各種データは多重化
されて、エンハンスメントレイヤ符号列として出力され
る。The arithmetic code of the coding residual, the frequency distribution of the quantization scale value, the quantization matrix, and other additional information are
The signal is input to the multiplexer 95. The multiplexer 95 has a buffer, and various kinds of input data are temporarily stored therein. Various data are multiplexed in a predetermined order and output as an enhancement layer code sequence.

【００５８】次に、符号化残差の生起確率算出部９２に
おいて、周波数インデックス(i,j)毎に符号化残差の生
起確率を算出する方法について述べる。ここでは、量子
化スケール値がs となる割合（頻度分布）をr(s)で表
し、符号化残差がe となる確率をPij(e)で表すことにす
る。また、周波数インデックス(i,j) に対応する変換係
数の頻度分布をpij(x)、量子化マトリクス値をWij とす
る。さらに、量子化マトリクス値がw 、量子化スケール
値がs のときに、x の量子化値を返す関数をQ(x,w,s)、
x の逆量子化値を返す関数をIQ(x,w,s) で表すことにす
る。そして、関数f(x,w,s)を数１で定義される関数とす
る。これは、変換係数値x の符号化残差を表す。さら
に、周波数インデックスが(i,j) である変換係数として
考慮する値の最小値、最大値をそれぞれx0、x1とする。Next, a method of calculating the occurrence probability of the coding residual for each frequency index (i, j) in the coding residual occurrence probability calculating unit 92 will be described. Here, the ratio (frequency distribution) at which the quantization scale value becomes s is represented by r (s), and the probability that the coding residual becomes e is represented by Pij (e). Also, let pij (x) be the frequency distribution of the transform coefficient corresponding to the frequency index (i, j), and let Wij be the quantization matrix value. Furthermore, when the quantization matrix value is w and the quantization scale value is s, Q (x, w, s) is a function that returns the quantization value of x.
The function that returns the inverse quantization value of x is represented by IQ (x, w, s). Then, the function f (x, w, s) is a function defined by Expression 1. This represents the coding residual of the transform coefficient value x. Further, the minimum value and the maximum value of the value considered as the transform coefficient whose frequency index is (i, j) are x0 and x1, respectively.

【００５９】[0059]

【数１】 (Equation 1)

【００６０】このとき、量子化スケール値がs のときの
符号化残差e の頻度分布をp'ij(e,s) とすると、これ
は、数２で与えられる。ここに、δ(x) は、数３で与え
られる関数である。よって、量子化スケール値s の取り
得る値の最小値と最大値をそれぞれs0、s1とすると、符
号化残差e の生起確率Pij(e)は、数４で表される。At this time, assuming that the frequency distribution of the coding residual e when the quantization scale value is s is p'ij (e, s), this is given by Expression 2. Here, δ (x) is a function given by Expression 3. Therefore, assuming that the minimum value and the maximum value of the possible values of the quantization scale value s are s0 and s1, respectively, the occurrence probability Pij (e) of the encoding residual e is expressed by Expression 4.

【００６１】[0061]

【数２】 (Equation 2)

【００６２】[0062]

【数３】 (Equation 3)

【００６３】[0063]

【数４】 (Equation 4)

【００６４】このようにして、図示しない記憶装置に予
め蓄えられた変換係数の頻度分布pij(x)と、量子化スケ
ール値の頻度分布r(s)と、量子化マトリクス値Wij とか
ら、周波数インデックスが(i,j) である変換係数の符号
化残差の生起確率Pij(e)が求められる。In this way, the frequency distribution pij (x) of the transform coefficient, the frequency distribution r (s) of the quantization scale value, and the quantization matrix value Wij previously stored in the storage device (not shown) are used to calculate the frequency. The occurrence probability Pij (e) of the coding residual of the transform coefficient whose index is (i, j) is obtained.

【００６５】次に、上述のことを実現するために符号化
残差の生起確率算出部９２で行われる処理の例を、図４
を参照して説明する。まず、ステップ３００では、量子
化スケール値s をs0にセットし、e0以上e1以下の全ての
整数e に対して、符号化残差の生起確率Pij(e)の値を0
にセットする。ここでe0は、符号化残差e として取り得
る値の最小値以下の整数であれば、任意の値で良い。ま
た、e1は、符号化残差e として取り得る値の最大値以上
の整数であれば、任意の値で良い。Next, an example of the processing performed by the encoding residual occurrence probability calculating unit 92 to realize the above will be described with reference to FIG.
This will be described with reference to FIG. First, in step 300, the quantization scale value s is set to s0, and the value of the coding residual occurrence probability Pij (e) is set to 0 for all integers e not less than e0 and not more than e1.
Set to. Here, e0 may be any value as long as it is an integer equal to or less than the minimum value of the value that can be taken as the encoding residual e. Further, e1 may be any value as long as it is an integer equal to or larger than the maximum value of the values that can be taken as the encoding residual e.

【００６６】ステップ３０１では、量子化スケール値が
s の時の符号化残差の頻度分布p'ij(e,s) を計算する。
この詳細は後述する。そしてステップ３０２において
は、ステップ３０１で求まった頻度分布p'ij(e,s) と量
子化スケール値の頻度分布r(s)を用いて、生起確率Pij
(e)の値を更新する。この詳細についても後述する。そ
の後のステップ３０３では、量子化スケール値s の値を
１だけ増やす。そして、ステップ３０４において、量子
化スケール値s の値とs1とを比較し、s がs1以下（ＹＥ
Ｓ）と判定すれば、ふたたびステップ３０１に戻り、そ
うでなければ、即ちＮＯと判定すれば、この処理を終了
する。終了した時点で、各符号化残差e に対して数４に
示す確率Pij(e)の値が求まる。In step 301, the quantization scale value is
Calculate the frequency distribution p'ij (e, s) of the coding residual at the time of s.
The details will be described later. Then, in step 302, using the frequency distribution p′ij (e, s) obtained in step 301 and the frequency distribution r (s) of the quantization scale value, the occurrence probability Pij
Update the value of (e). This will be described later in detail. In the subsequent step 303, the value of the quantization scale value s is increased by one. Then, in step 304, the value of the quantization scale value s is compared with s1, and s is equal to or smaller than s1 (YE
If determined as S), the process returns to step 301 again, and if not, that is, if determined as NO, this process ends. At the end, the value of the probability Pij (e) shown in Equation 4 is obtained for each coding residual e.

【００６７】次に、図５を参照して、図４のステップ３
０１における頻度分布p'ij(e,s) の算出方法について説
明する。まず、ステップ３５０では、変換係数値x の値
をx0にセットし、e0以上e1以下の全ての整数e に対し
て、量子化スケール値がs のときの符号化残差の頻度分
布p'ij(e,s) の値を0 にセットする。次のステップ３５
１では、量子化マトリクス値がWij 、量子化スケール値
がs 、変換係数値がx のときの符号化残差の値e を求め
る。続くステップ３５２において、頻度分布p'ij(e,s)
に頻度分布pij(x)を加算して、頻度分布p'ij(e,s) の値
を更新する。その後のステップ３５３では、係数値x の
値を１だけ増やす。そしてステップ３５４では、係数値
x の値をx1と比較して、x がx1以下（ＹＥＳ）と判定す
れば、再びステップ３５１に戻り、そうでなければ、即
ちＮＯと判定すれば、この処理を終了する。終了した時
点で、各整数e に対して数２に示す頻度分布p'ij(e,s)
が求まり、図４のステップ３０２に進む。Next, referring to FIG. 5, step 3 in FIG.
A method of calculating the frequency distribution p'ij (e, s) at 01 will be described. First, in step 350, the value of the transform coefficient value x is set to x0, and the frequency distribution p′ij of the encoding residual when the quantization scale value is s is set for all integers e not less than e0 and not more than e1. Set the value of (e, s) to 0. Next step 35
In step 1, the coding residual value e is obtained when the quantization matrix value is Wij, the quantization scale value is s, and the transform coefficient value is x. In the following step 352, the frequency distribution p'ij (e, s)
Is added to the frequency distribution pij (x) to update the value of the frequency distribution p'ij (e, s). In the subsequent step 353, the value of the coefficient value x is increased by one. Then, in step 354, the coefficient value
The value of x is compared with x1, and if it is determined that x is equal to or less than x1 (YES), the process returns to step 351 again, and if not, that is, if it is determined as NO, this process ends. At the end, the frequency distribution p'ij (e, s) shown in Equation 2 for each integer e
Is obtained, and the process proceeds to step 302 in FIG.

【００６８】次に、図６を参照して、図４のステップ３
０２において、生起確率Pij(e)の値を更新する過程につ
いて説明する。まず、ステップ４００において、符号化
残差e の値をe0にセットする。次のステップ４０１で
は、確率Pij(e)の値に、割合r(s)と頻度分布p'ij(e,s)
の積を加算して、確率Pij(e)の値を更新する。続くステ
ップ４０２では、符号化残差e の値を１だけ増やす。そ
の後のステップ４０３では、符号化残差e の値をe1と比
較して、e がe1以下（ＹＥＳ）と判定すれば、再びステ
ップ４０１に戻り、そうでなければ、即ちＮＯと判定す
れば、この処理を終了する。終了した時点で、各符号化
残差e に対する確率Pij(e)の値の更新が終了したことに
なり、図４のステップ３０３に進む。Next, referring to FIG. 6, step 3 in FIG.
In 02, a process of updating the value of the occurrence probability Pij (e) will be described. First, in step 400, the value of the encoding residual e is set to e0. In the next step 401, the ratio r (s) and the frequency distribution p'ij (e, s) are added to the value of the probability Pij (e).
To update the value of the probability Pij (e). In the following step 402, the value of the encoding residual e is increased by one. In the subsequent step 403, the value of the encoding residual e is compared with e1, and if it is determined that e is equal to or less than e1 (YES), the process returns to step 401 again. This processing ends. At the end of the process, the update of the value of the probability Pij (e) for each encoding residual e has been completed, and the process proceeds to step 303 in FIG.

【００６９】なお、図４に示す符号化残差の生起確率算
出部９２で行われる処理は、図７に示す処理であっても
良い。ステップ３００は、図４のものと同じであるが、
この後、ステップ３０５に進む。そのステップ３０５で
は、割合r(s)の値が0 かどうかを調べ、0 （ＹＥＳ）と
判定すればステップ３０１、ステップ３０２を飛ばし、
ステップ３０３に進む。そうでなければ、即ちＮＯと判
定すれば、ステップ３０１に進む。他のステップ３０１
からステップ３０４までの処理は図４のものと同じであ
るが、ステップ３０４において、量子化スケール値s が
s1以下（ＹＥＳ）と判定すればステップ３０５へ戻り、
そうでなければ、即ちＮＯと判定すれば、この処理を終
了する。割合r(s)が0 のときは、頻度分布p'ij(e,s) の
値にかかわらず、確率Pij(e)の値は更新されないため、
終了した時点で求まる確率Pij(e)の値は、図４の場合と
同じになる。The processing performed by the encoding residual occurrence probability calculating section 92 shown in FIG. 4 may be the processing shown in FIG. Step 300 is the same as that of FIG.
Thereafter, the process proceeds to step 305. In step 305, it is checked whether the value of the ratio r (s) is 0, and if it is determined to be 0 (YES), steps 301 and 302 are skipped.
Proceed to step 303. Otherwise, that is, if NO is determined, the process proceeds to step 301. Other steps 301
4 to step 304 are the same as those in FIG. 4, but in step 304, the quantization scale value s is
If it is determined to be s1 or less (YES), the process returns to step 305,
Otherwise, that is, if it is determined to be NO, this process ends. When the ratio r (s) is 0, the value of the probability Pij (e) is not updated regardless of the value of the frequency distribution p'ij (e, s).
The value of the probability Pij (e) obtained at the end of the process is the same as that in FIG.

【００７０】また、図４または図７のステップ３０１に
おける頻度分布p'ij(e,s) の算出方法は、図５に示す方
法ではなく、図８に示す方法であっても良い。図８にお
いて、ステップ３５０は、図５と同じであるか、この
後、ステップ３５５に進む。ステップ３５５では、頻度
分布pij(x)が0 かどうかを調べ、0 （ＹＥＳ）と判定す
れば、ステップ３５１、ステップ３５２を飛ばし、ステ
ップ３５３に進む。そうでなければ、即ちＮＯと判定す
れば、ステップ３５１に進む。ステップ３５１からステ
ップ３５４までの処理は、図５と同じであるが、ステッ
プ３５４において、係数値x がx1以下（ＹＥＳ）と判定
すればステップ３５５へ戻り、そうでなければ、即ちＮ
Ｏと判定すれば、この処理を終了する。頻度分布pij(x)
が0 のときは、頻度分布p'ij(e,s) の値は更新されない
ため、終了した時点で求まる頻度分布p'ij(e,s) の値
は、図５の場合と同じになる。The method of calculating the frequency distribution p'ij (e, s) in step 301 in FIG. 4 or FIG. 7 may be the method shown in FIG. 8 instead of the method shown in FIG. In FIG. 8, step 350 is the same as in FIG. 5, or proceeds to step 355 thereafter. In step 355, it is checked whether or not the frequency distribution pij (x) is 0. If it is determined to be 0 (YES), steps 351 and 352 are skipped, and the process proceeds to step 353. Otherwise, that is, if NO is determined, the process proceeds to step 351. The processing from step 351 to step 354 is the same as that in FIG. 5, but if it is determined in step 354 that the coefficient value x is equal to or less than x1 (YES), the processing returns to step 355;
If it is determined to be O, this processing ends. Frequency distribution pij (x)
Is 0, the value of the frequency distribution p'ij (e, s) is not updated, so the value of the frequency distribution p'ij (e, s) obtained at the end is the same as in FIG. .

【００７１】以上のような処理によって、符号化残差e
の生起確率Pij(e)を算出している。そのように、実際に
発生した頻度分布等から生起確率を算出することで、算
術符号化部９１が出力する算術符号の符号量はより小さ
くなる。With the above processing, the coding residual e
Is calculated as Pij (e). By calculating the occurrence probability from the actually generated frequency distribution or the like, the code amount of the arithmetic code output by the arithmetic coding unit 91 becomes smaller.

【００７２】〔第４の実施の形態〕図９は、第４の実施
の形態による階層的画像符号化装置の回路図である。こ
の符号化装置は、多重化器９３以外は図３に示す符号化
装置と同じである。その多重化器９３は、算術符号化器
９１から出力される符号化残差の算術符号と、ベースレ
イヤ符号化器５２０から出力される量子化スケール値の
頻度分布と、その他の付加情報を多重化して、エンハン
スメントレイヤ符号列として出力させるようにしてい
る。即ち多重化器９５とは異なり、量子化マトリクスの
情報をエンハンスメントレイヤ符号列として多重化させ
ないようにしている。それにより、発生符号量をより低
減させている。[Fourth Embodiment] FIG. 9 is a circuit diagram of a hierarchical image encoding apparatus according to a fourth embodiment. This encoding device is the same as the encoding device shown in FIG. The multiplexer 93 multiplexes the arithmetic code of the encoded residual output from the arithmetic encoder 91, the frequency distribution of the quantization scale value output from the base layer encoder 520, and other additional information. And output it as an enhancement layer code string. That is, unlike the multiplexer 95, the information of the quantization matrix is not multiplexed as an enhancement layer code sequence. Thereby, the generated code amount is further reduced.

【００７３】〔第５の実施の形態〕図１０は、第５の実
施の形態による階層的画像復号装置の回路図である。第
５の実施の形態による画像復号装置について、図１０を
参照して詳述する。なお、この画像復号装置は、上記第
３の実施の形態による符号化装置（図３参照）により符
号化された画像信号を復号するものである。多重分離器
１３４は、エンハンスメントレイヤ符号列から符号化残
差の算術符号と、量子化値スケール値の頻度分布と、量
子化マトリクスと、その他の付加情報とを分離して出力
する。符号化残差の生起確率算出部１３５は、多重分離
器１３４から出力される量子化スケール値の頻度分布お
よび量子化マトリクスとから、符号化残差の生起確率を
算出して出力する。算術復号器１３０は、多重分離器１
３４から出力される符号化残差の算術符号を、符号化残
差の生起確率算出部１３５から出力される生起確率に基
づいて算術復号して、復号結果（符号化残差）を出力す
る。ベースレイヤ復号器６２０は、ベースレイヤ符号列
と、算術復号器１３０から出力される符号化残差とから
復号画像を作成して出力する。[Fifth Embodiment] FIG. 10 is a circuit diagram of a hierarchical image decoding apparatus according to a fifth embodiment. An image decoding device according to the fifth embodiment will be described in detail with reference to FIG. This image decoding apparatus decodes an image signal encoded by the encoding apparatus according to the third embodiment (see FIG. 3). The demultiplexer 134 separates and outputs the arithmetic code of the coding residual, the frequency distribution of the quantization value scale value, the quantization matrix, and other additional information from the enhancement layer code sequence. The coding residual occurrence probability calculation unit 135 calculates and outputs the coding residual occurrence probability from the quantization scale value frequency distribution and the quantization matrix output from the demultiplexer 134. Arithmetic decoder 130 is a demultiplexer 1
The arithmetic code of the encoded residual output from 34 is arithmetically decoded based on the occurrence probability output from the encoded residual occurrence probability calculation unit 135, and a decoded result (encoded residual) is output. The base layer decoder 620 creates and outputs a decoded image from the base layer code sequence and the coding residual output from the arithmetic decoder 130.

【００７４】次に、動作について詳細に説明する。エン
ハンスメントレイヤ符号列は、多重分離器１３４に入力
される。多重分離器１３４にはバッファがあり、入力さ
れたエンハンスメントレイヤ符号列は、符号化残差の算
術符号と、量子化値スケール値の頻度分布と、量子化マ
トリクス値と、その他の付加情報とに分離されてバッフ
ァに蓄えられる。ただし、多重分離器１３４は、後述す
る算術復号器１３０と一体となって、算術復号しながら
各種情報を分離するようになっていてもよい。量子化ス
ケール値の頻度分布は、量子化マトリクス値とともに、
符号化残差の生起確率算出部１３５に入力され、符号化
残差の生起確率の算出に用いられる。符号化残差の生起
確率算出部１３５には、各変換係数の頻度分布のデータ
が予め蓄えられている。これは、図３または図９の装置
で、符号化残差の生起確率算出部９２に蓄えられている
データと同一のものである。また、符号化残差生起確率
算出部１３５の動作は、図３または図９の符号化残差生
起確率算出部９２の動作と同様である。符号化残差の算
術符号は、多重分離器１３４から算術復号器１３０に読
み込まれる。そして、符号化残差生起確率算出部１３５
から出力される符号化残差の生起確率分布にしたがっ
て、算術復号される。得られた符号化残差は、ベースレ
イヤ復号器６２０に出力される。Next, the operation will be described in detail. The enhancement layer code sequence is input to the demultiplexer 134. The demultiplexer 134 has a buffer, and the input enhancement layer code string is used to store the arithmetic code of the coding residual, the frequency distribution of the quantization value scale value, the quantization matrix value, and other additional information. Separated and stored in the buffer. However, the demultiplexer 134 may be integrated with an arithmetic decoder 130 described later to separate various information while performing arithmetic decoding. The frequency distribution of the quantized scale values, along with the quantized matrix values,
It is input to the coding residual occurrence probability calculation unit 135 and is used for calculating the coding residual occurrence probability. In the encoding residual occurrence probability calculation unit 135, data of the frequency distribution of each transform coefficient is stored in advance. This is the same as the data stored in the coding residual occurrence probability calculation unit 92 in the apparatus of FIG. 3 or FIG. The operation of the coding residual occurrence probability calculation unit 135 is the same as the operation of the coding residual occurrence probability calculation unit 92 in FIG. 3 or FIG. The arithmetic code of the encoded residual is read from the demultiplexer 134 into the arithmetic decoder 130. Then, the encoding residual occurrence probability calculation unit 135
Are subjected to arithmetic decoding in accordance with the distribution of occurrence probabilities of the encoding residuals output from. The obtained coding residual is output to base layer decoder 620.

【００７５】一方ベースレイヤ符号列はベースレイヤ復
号器６２０に入力される。ここでは、ベースレイヤ符号
列の中で、変換係数の符号に相当する部分に対して符号
変換が行われ、それによって量子化値が得られる。この
符号変換は、図３に示す符号化器のベースレイヤ符号化
器５２０で行われた変換の逆変換に相当するものであ
る。量子化値は逆量子化され、さらに算術復号器１３０
から入力される符号化残差と加算されることで、可逆変
換符号化の変換係数が得られる。この変換係数に対し
て、符号化時に、図３の装置で行われた可逆変換の逆変
換が行われ、それにより、図３の装置の入力ビデオ信号
と同一の復号信号が得られる。On the other hand, the base layer code string is input to base layer decoder 620. Here, code conversion is performed on a portion corresponding to the code of the transform coefficient in the base layer code sequence, and thereby a quantized value is obtained. This code conversion corresponds to the inverse conversion of the conversion performed by the base layer encoder 520 of the encoder shown in FIG. The quantized value is inversely quantized and further processed by the arithmetic decoder 130
Is added to the coding residual input from the, to obtain a transform coefficient of lossless transform coding. At the time of encoding, the inverse transform of the reversible transform performed by the apparatus in FIG. 3 is performed on the transform coefficients, and the same decoded signal as the input video signal of the apparatus in FIG. 3 is obtained.

【００７６】〔第６の実施の形態〕図１１は、第６の実
施の形態による階層的画像復号装置の回路図である。第
６の実施の形態による画像復号装置について、図１１を
参照して詳述する。なお、この画像復号装置は、上記第
４の実施の形態による符号化装置（図９参照）により符
号化された画像信号を復号するものである。装置の構成
は、算術復号器１３０については、図１０と同じであ
る。多重化器分離器１３２は、エンハンスメントレイヤ
符号列から符号化残差の算術符号と、量子化スケール値
の頻度分布と、その他の付加情報に分離し、出力する。
符号化残差の生起確率算出部１３１は、多重分離器１３
２から出力される量子化スケール値の頻度分布と、ベー
スレイヤ復号器６２１から出力される量子化マトリクス
値とから符号化残差の生起確率を算出して出力する。ベ
ースレイヤ復号器６２１は、ベースレイヤ符号列から量
子化マトリクスを分離し出力する。また、ベースレイヤ
符号列と算術復号器１３０から出力される符号化残差と
からロスのない復号画像信号を作成して出力する。[Sixth Embodiment] FIG. 11 is a circuit diagram of a hierarchical image decoding apparatus according to a sixth embodiment. An image decoding device according to the sixth embodiment will be described in detail with reference to FIG. Note that this image decoding device decodes an image signal encoded by the encoding device according to the fourth embodiment (see FIG. 9). The configuration of the device is the same as that of FIG. The multiplexer / separator 132 separates and outputs the arithmetic code of the coding residual, the frequency distribution of the quantization scale value, and other additional information from the enhancement layer code sequence.
The encoding residual occurrence probability calculation unit 131 includes a demultiplexer 13
2 and the quantization matrix value output from the base layer decoder 621, and calculates and outputs the probability of occurrence of the coding residual. The base layer decoder 621 separates and outputs a quantization matrix from the base layer code sequence. Further, it generates and outputs a lossless decoded image signal from the base layer code sequence and the coding residual output from the arithmetic decoder 130.

【００７７】この装置と、図１０の装置の違いは、量子
化マトリクスの情報をベースレイヤ符号列から得る点で
ある。ベースレイヤ符号列には、ベースレイヤの量子化
に用いる量子化マトリクスの情報が含まれる。ベースレ
イヤ復号器６２１では、これをベースレイヤ符号列から
分離して出力する。なお、量子化マトリクスの情報が含
まれない場合もあるが、この場合は、ベースレイヤの逆
量子化では、予め定められた量子化マトリクスを用いる
ことになる。よって、符号化残差の生起確率算出部１３
１は、ベースレイヤ復号器６２１から出力される量子化
マトリクスを用いる。その符号化残差の生起確率算出部
１３１は、この量子化マトリクスが入力されてから、生
起確率の算出を行う。The difference between this apparatus and the apparatus shown in FIG. 10 is that information of a quantization matrix is obtained from a base layer code string. The base layer code string includes information of a quantization matrix used for quantization of the base layer. The base layer decoder 621 separates this from the base layer code sequence and outputs it. In some cases, the information of the quantization matrix is not included. In this case, in the inverse quantization of the base layer, a predetermined quantization matrix is used. Therefore, the coding residual occurrence probability calculation unit 13
1 uses the quantization matrix output from the base layer decoder 621. The coding residual occurrence probability calculation unit 131 calculates the occurrence probability after the quantization matrix is input.

【００７８】〔第７の実施の形態〕図１２は、第７の実
施の形態による階層的画像符号化装置の回路図である。
第７の実施の形態による画像符号化装置について、図１
２を参照して詳述する。ベースレイヤ符号化器５４０
は、基本的には、図９のベースレイヤ符号化器５２０と
同じであるが、それに加えてさらに、可逆変換符号化の
変換係数も出力する。変換係数の頻度分布算出部１１０
は、ベースレイヤ符号化器５４０から出力される変換係
数を集計して、変換係数の頻度分布を求めて出力する。
符号化残差の生起確率算出部１１１は、ベースレイヤ符
号化器５４０から出力される量子化マトリクスと量子化
スケールの頻度分布と、変換係数の頻度分布算出部１１
０から出力される変換係数の頻度分布とに基づいて、符
号化残差の生起確率を算出して出力する。算術符号化器
９１は、ベースレイヤ符号化器５４０から出力される符
号化残差を、符号化残差の生起確率算出部１１１から出
力される符号化残差の生起確率に基づいて算術符号化
し、その結果を符号化残差の算術符号として出力する。
多重化器９３は、算術符号化器９１から出力される符号
化残差の算術符号と、ベースレイヤ符号化器５４０から
出力される量子化スケール値の頻度分布と、その他の付
加情報を多重化して、エンハンスメントレイヤ符号列と
して出力する。[Seventh Embodiment] FIG. 12 is a circuit diagram of a hierarchical image encoding apparatus according to a seventh embodiment.
FIG. 1 shows an image coding apparatus according to a seventh embodiment.
This will be described in detail with reference to FIG. Base layer encoder 540
Is basically the same as the base layer encoder 520 of FIG. 9, but additionally outputs a transform coefficient of lossless transform encoding. Conversion coefficient frequency distribution calculator 110
Collects the transform coefficients output from the base layer encoder 540, calculates the frequency distribution of the transform coefficients, and outputs the frequency distribution.
The encoding residual occurrence probability calculation unit 111 includes a quantization matrix output from the base layer encoder 540, a quantization scale frequency distribution, and a transform coefficient frequency distribution calculation unit 11.
Based on the frequency distribution of the transform coefficients output from 0, the occurrence probability of the coding residual is calculated and output. Arithmetic encoder 91 arithmetically encodes the encoding residual output from base layer encoder 540 based on the occurrence probability of the encoding residual output from encoding residual occurrence probability calculating section 111. , And outputs the result as the arithmetic code of the encoded residual.
The multiplexer 93 multiplexes the arithmetic code of the encoded residual output from the arithmetic encoder 91, the frequency distribution of the quantization scale value output from the base layer encoder 540, and other additional information. And outputs it as an enhancement layer code sequence.

【００７９】次に、動作について詳細に説明する。入力
ビデオ信号は、ベースレイヤ符号化器５４０に入力され
る。ベースレイヤ符号化器５４０の動作は、図９のベー
スレイヤ符号化器５２０と同じであるが、可逆変換符号
化の変換係数も出力される。Next, the operation will be described in detail. The input video signal is input to base layer encoder 540. The operation of the base layer encoder 540 is the same as that of the base layer encoder 520 of FIG. 9, but also outputs the transform coefficients of the lossless transform encoding.

【００８０】出力された変換係数は、変換係数の頻度分
布算出部１１０に入力される。変換係数の頻度分布算出
部１１０では、変換係数の値として、各周波数インデッ
クス(i,j) ごとに別々に、どの値がどれだけ生起したか
を、ある定まった符号化周期ごとに集計する。そして、
変換係数の頻度分布を算出し、出力する。The output transform coefficient is input to transform coefficient frequency distribution calculating section 110. The frequency distribution calculation unit 110 of the transform coefficient sums up, as a value of the transform coefficient, for each frequency index (i, j), which value has occurred and how much, for each predetermined coding cycle. And
The frequency distribution of the conversion coefficient is calculated and output.

【００８１】符号化残差の生起確率算出部１１１は、符
号化残差の生起確率を算出する。この算出過程は図９の
符号化残差の生起確率算出部９２と同じであるが、ここ
では、さらに、変換係数の頻度分布算出部１１０から出
力される変換係数の頻度分布に基づいて、各変換係数の
頻度分布のデータを更新する。更新した頻度分布は、次
の符号化周期での符号化残差の生起確率算出に用いる。
頻度分布を更新する方式としては、様々な方式が考えら
れる。変換係数の頻度分布算出部１１０から出力される
変換係数ｘの頻度分布をp''ij(x)とすると、例えば、パ
ラメータａを０以上１以下の値として、数５によって更
新する方式が考えられる。なお、これ以外の、算術符号
化器９１、多重化器９３の動作は、図９のものと同じで
ある。The coding residual occurrence probability calculation section 111 calculates the coding residual occurrence probability. This calculation process is the same as that of the encoding residual occurrence probability calculation unit 92 in FIG. 9, but here, furthermore, based on the frequency distribution of the transform coefficients output from the frequency distribution calculation unit 110 of the transform coefficients, Update the data of the frequency distribution of the conversion coefficient. The updated frequency distribution is used for calculating the occurrence probability of the encoding residual in the next encoding cycle.
Various methods can be considered as a method of updating the frequency distribution. Assuming that the frequency distribution of the transform coefficient x output from the transform coefficient frequency distribution calculator 110 is p ″ ij (x), for example, a method in which the parameter a is set to a value of 0 or more and 1 or less and updated by Equation 5 is considered. Can be The other operations of the arithmetic encoder 91 and the multiplexer 93 are the same as those in FIG.

【００８２】[0082]

【数５】 (Equation 5)

【００８３】この第７の実施の形態では、変換係数の頻
度分布が入力される画像信号（ビデオ信号）によって適
応的に更新されるため、入力ビデオ信号の性質を符号化
に反映させることができ、さらに符号化効率を向上させ
ることができる。In the seventh embodiment, since the frequency distribution of the transform coefficient is adaptively updated by the input image signal (video signal), the characteristics of the input video signal can be reflected in the encoding. , The coding efficiency can be further improved.

【００８４】〔第８の実施の形態〕図１３は、第８の実
施の形態による階層的画像復号装置の回路図である。第
８の実施の形態による画像復号装置について、図１３を
参照して詳述する。なお、この画像復号装置は、第７の
実施の形態による符号化装置（図１２参照）により符号
化された画像信号を復号するものである。[Eighth Embodiment] FIG. 13 is a circuit diagram of a hierarchical image decoding apparatus according to an eighth embodiment. An image decoding device according to the eighth embodiment will be described in detail with reference to FIG. This image decoding device decodes an image signal encoded by the encoding device according to the seventh embodiment (see FIG. 12).

【００８５】ベースレイヤ復号器６４０は、基本的に
は、図１１のベースレイヤ復号器６２１と同じである
が、それに加えてさらに、可逆変換符号化の変換係数も
出力する。変換係数の頻度分布算出部１５０は、ベース
レイヤ復号器６４０から出力される変換係数を集計し
て、変換係数の頻度分布を求めて出力する。多重分離器
１３２は、エンハンスメントレイヤ符号列から符号化残
差の算術符号と、量子化スケール値の頻度分布と、その
他の付加情報とを分離して出力する。符号化残差の生起
確率算出部１５１は、多重分離器１３２から出力される
量子化スケールの頻度分布と、ベースレイヤ復号器６４
０から出力される量子化マトリクスと、変換係数の頻度
分布算出部１５０から出力される変換係数の頻度分布と
に基づいて、符号化残差の生起確率を算出して出力す
る。算術復号器１３０は、多重分離器１３２から出力さ
れる符号化残差の算術符号を、符号化残差の生起確率算
出部１５１から出力される生起確率に基づいて算術復号
し、復号結果を符号化残差として出力する。The base layer decoder 640 is basically the same as the base layer decoder 621 shown in FIG. 11, but also outputs a transform coefficient for lossless transform coding. Transform coefficient frequency distribution calculation section 150 counts the transform coefficients output from base layer decoder 640, obtains and outputs a frequency distribution of transform coefficients. The demultiplexer 132 separates and outputs the arithmetic code of the encoding residual, the frequency distribution of the quantization scale value, and other additional information from the enhancement layer code sequence. The coding residual occurrence probability calculation unit 151 calculates the frequency distribution of the quantization scale output from the demultiplexer 132 and the base layer decoder 64.
Based on the quantization matrix output from 0 and the frequency distribution of the transform coefficients output from the frequency distribution calculation unit 150 of the transform coefficients, the occurrence probability of the coding residual is calculated and output. The arithmetic decoder 130 arithmetically decodes the arithmetic code of the encoded residual output from the demultiplexer 132 based on the occurrence probability output from the encoded residual occurrence probability calculation unit 151, and encodes the decoded result. Output as the coded residual.

【００８６】次に、動作についてより詳細に説明する。
多重分離器１３２、算術復号器１３０の動作は、図１１
のものと同じである。符号化残差の生起確率算出部１５
１は、図１２の符号化残差の生起確率算出部１１１と同
様にして、符号化残差の生起確率を算出し、出力する。
なお、変換係数の頻度分布の初期値は、図１２の符号化
残差の生起確率算出部１１１のものと同一にセットされ
ているものとする。それにより、算術復号器１３０で得
られる符号化残差の値は、図１２のベースレイヤ符号化
器５４０から出力された値と同じになる。Next, the operation will be described in more detail.
The operations of the demultiplexer 132 and the arithmetic decoder 130 are shown in FIG.
Is the same as Encoding residual occurrence probability calculating unit 15
1 calculates and outputs the occurrence probability of the coding residual in the same manner as the coding residual occurrence probability calculating unit 111 of FIG.
It is assumed that the initial value of the frequency distribution of the transform coefficient is set to be the same as that of the encoding residual occurrence probability calculation unit 111 in FIG. Thus, the value of the coding residual obtained by arithmetic decoder 130 becomes the same as the value output from base layer coder 540 in FIG.

【００８７】符号化残差は、ベースレイヤ復号器６４０
に入力される。ベースレイヤ復号器６４０の動作は、基
本的には、図１１のベースレイヤ復号器６２１と同じで
ある。さらに、ベースレイヤ符号列から符号変換および
逆量子化して得られる逆量子化値と、この符号化残差と
を加えて得られる可逆変換符号化の変換係数が出力され
る。この変換係数は、図１２のベースレイヤ符号化器５
４０のものと同一になる。The coding residual is transmitted to the base layer decoder 640
Is input to The operation of the base layer decoder 640 is basically the same as that of the base layer decoder 621 in FIG. Further, a transform coefficient of lossless transform coding obtained by adding the inverse quantization value obtained by performing code conversion and inverse quantization from the base layer code sequence and this coding residual is output. This transform coefficient is used as the base layer encoder 5 in FIG.
It will be the same as 40.

【００８８】出力された変換係数は、変換係数の頻度分
布算出部１５０に入力される。変換係数の頻度分布算出
部１５０の動作は、図１２の変換係数の頻度分布算出部
１１０と同様である。前述の通り、変換係数は図１２の
ベースレイヤ符号化器５４０から出力されるものと同じ
であるため、ここから出力される変換係数の頻度分布
も、図１２の変換係数の頻度分布算出部１１０から出力
されるものと同じになる。The output transform coefficient is input to transform coefficient frequency distribution calculating section 150. The operation of the transform coefficient frequency distribution calculating section 150 is the same as that of the transform coefficient frequency distribution calculating section 110 in FIG. As described above, since the transform coefficients are the same as those output from the base layer encoder 540 in FIG. 12, the frequency distribution of the transform coefficients output therefrom is also the same as the frequency distribution calculator 110 of FIG. Will be the same as the one output from

【００８９】この変換係数の頻度分布は、符号化残差の
生起確率算出部１５１に入力される。そして、ここに蓄
えられている変換係数の頻度分布のデータが、図１２の
符号化残差の生起確率算出部１１１と同じ方法で更新さ
れる。この結果、更新後の変換係数の頻度分布のデータ
も、図１２の符号化残差の生起確率算出部１１１の場合
と同じになる。The frequency distribution of the transform coefficients is input to the coding residual occurrence probability calculating section 151. Then, the data of the frequency distribution of the transform coefficients stored here is updated by the same method as the coding residual occurrence probability calculation unit 111 in FIG. As a result, the data of the frequency distribution of the transformed coefficients after the update becomes the same as the case of the encoding residual occurrence probability calculation unit 111 in FIG.

【００９０】このようにして、符号化残差の生起確率算
出部１５１から出力される符号化残差の生起確率は、常
に図１２の符号化残差の生起確率算出部１１１の場合と
同じになるため、図１２の符号化器で生成されるエンハ
ンスメントレイヤ符号列を正しく復号することができ
る。その結果、ベースレイヤ復号器６４０からロスのな
い復号画像を（ビデオ信号、あるいはそれを変換して得
られる信号）が得られることになる。As described above, the occurrence probability of the encoding residual output from the encoding residual occurrence probability calculating unit 151 is always the same as that of the encoding residual occurrence probability calculating unit 111 in FIG. Therefore, the enhancement layer code sequence generated by the encoder in FIG. 12 can be correctly decoded. As a result, a decoded image (a video signal or a signal obtained by converting the video signal) without loss is obtained from the base layer decoder 640.

【００９１】〔第９の実施の形態〕図１４は、第９の実
施の形態による階層的画像符号化装置の回路図である。
第９の実施の形態による画像符号化装置について、図１
４を参照して詳述する。[Ninth Embodiment] FIG. 14 is a circuit diagram of a hierarchical image encoding apparatus according to a ninth embodiment.
FIG. 1 shows an image coding apparatus according to a ninth embodiment.
4 will be described in detail.

【００９２】動き推定および補償回路５０、減算器１、
可逆離散コサイン変換回路５１、量子化制御部３、量子
化器４、符号変換部１４、多重化器５４、逆量子化器
５、減算器５３は、図２５に示す従来の符号化装置と同
じである。量子化スケール値集計部９０は、量子化制御
部３からマクロブロック毎に出力される量子化スケール
値を定まった符号化周期（例えばピクチャ単位）で集計
し、量子化スケール値の頻度分布を出力する。符号化残
差の生起確率算出部９２は、量子化スケール値集計部９
０から出力される量子化スケール値の頻度分布と、量子
化マトリクスと、予め求められ、蓄積された各変換係数
の頻度分布とから各変換係数の符号化残差の生起確率を
算出して出力する。バッファ９４は、減算器５３から出
力される符号化残差を一時的に蓄積する。算術符号化器
９１は、符号化残差の生起確率算出部９２から出力され
る生起確率に基づいて、バッファ９４から出力される符
号化残差を算術符号化し、その結果を符号化残差の算術
符号として出力する。多重化器９３は、算術符号化器９
１から出力される符号化残差の算術符号と、量子化スケ
ール値の頻度分布と、その他の付加情報とを多重化し
て、エンハンスメントレイヤ符号列として出力する。The motion estimation and compensation circuit 50, the subtractor 1,
A reversible discrete cosine transform circuit 51, a quantization control unit 3, a quantizer 4, a code conversion unit 14, a multiplexer 54, an inverse quantizer 5, and a subtractor 53 are the same as those in the conventional coding device shown in FIG. It is. The quantization scale value summation unit 90 counts the quantization scale values output from the quantization control unit 3 for each macroblock at a predetermined coding cycle (for example, in picture units), and outputs a frequency distribution of the quantization scale values. I do. The encoding residual occurrence probability calculating section 92 includes a quantization scale value totaling section 9.
Calculate and output the occurrence probability of the coding residual of each transform coefficient from the frequency distribution of the quantization scale value output from 0, the quantization matrix, and the frequency distribution of each transform coefficient obtained and stored in advance. I do. The buffer 94 temporarily stores the encoding residual output from the subtractor 53. The arithmetic coder 91 arithmetically codes the coded residual output from the buffer 94 based on the occurrence probability output from the coded residual occurrence probability calculation unit 92, and converts the result to the coded residual. Output as arithmetic code. The multiplexer 93 includes the arithmetic coder 9
The arithmetic code of the encoded residual output from 1 is multiplexed with the frequency distribution of the quantization scale value and other additional information, and output as an enhancement layer code sequence.

【００９３】次に、動作について詳細に説明する。入力
ビデオ信号は、例えばピクチャ毎に分割され、符号化す
る順序で入力される。この入力ビデオ信号は、動き推定
および補償回路５０と減算器１に入力される。動き推定
および補償回路５０では、過去に符号化された動き推定
の参照画像のデータが蓄えられており、入力ビデオ信号
と参照画像データとの間で動き推定が行われる。そし
て、マクロブロック毎に、イントラ、ノンイントラなど
の予測モードおよび動きベクトルなどからなるマクロブ
ロック情報が求められる。さらに、これらの情報に従っ
て動き補償が行われ、動き補償予測画像信号が作成され
る。ここで求められたマクロブロック情報は、量子化器
４、逆量子化器５、及び符号変換部１４に入力され、そ
れぞれの動作の制御にも用いられる。Next, the operation will be described in detail. The input video signal is divided for each picture, for example, and is input in an encoding order. This input video signal is input to the motion estimation and compensation circuit 50 and the subtracter 1. In the motion estimation and compensation circuit 50, data of a reference image for motion estimation encoded in the past is stored, and motion estimation is performed between the input video signal and the reference image data. Then, macroblock information including a prediction mode such as intra or non-intra, a motion vector, and the like is obtained for each macroblock. Further, motion compensation is performed in accordance with these pieces of information, and a motion-compensated predicted image signal is created. The macroblock information obtained here is input to the quantizer 4, the inverse quantizer 5, and the code conversion unit 14, and is also used to control each operation.

【００９４】動き補償予測画像は、減算器１に出力され
る。減算器１は入力ビデオ信号から動き補償予測画像信
号を減算し、その減算結果である予測誤差画像信号を出
力する。予測誤差画像は、可逆離散コサイン変換回路５
１と量子化制御部３に入力される。可逆離散コサイン変
換回路５１に入力された予測誤差画像信号に対して、ブ
ロック毎に可逆離散コサイン変換が行われる。変換結果
は可逆離散コサイン変換係数として、量子化器４、減算
器５３に出力される。量子化制御部３では、予測誤差画
像信号と、多重化器５４からフィードバックされる符号
量情報を用いて、マクロブロック単位に量子化スケール
値を算出する。この算出方式としては、例えば、MPEG-2
TM5｛Test Mode I 5 ｝のものを用いることができる。
なお、TM5 については、特集“MPEG”の3-2-5 節レート
制御とバッファ制御「1995年 4月、テレビジョン学会
誌、第49巻、第 4号、455 〜458 頁」に述べられてい
る。The motion compensated prediction image is output to the subtracter 1. The subtracter 1 subtracts the motion compensated prediction image signal from the input video signal, and outputs a prediction error image signal as a result of the subtraction. The prediction error image is converted to a reversible discrete cosine transform circuit 5
1 is input to the quantization control unit 3. The prediction error image signal input to the reversible discrete cosine transform circuit 51 is subjected to reversible discrete cosine transform for each block. The transform result is output to the quantizer 4 and the subtractor 53 as a reversible discrete cosine transform coefficient. The quantization control unit 3 calculates a quantization scale value for each macroblock using the prediction error image signal and the code amount information fed back from the multiplexer 54. As the calculation method, for example, MPEG-2
TM5 {Test Mode I5} can be used.
For TM5, see Section 3-2-5 Rate control and buffer control in the special issue “MPEG” in “April 1995, Journal of the Institute of Television Engineers of Japan, Vol. 49, No. 4, pp. 455-458”. I have.

【００９５】量子化器４では、量子化制御部でブロック
毎に決定された量子化スケール値と、マクロブロック情
報と、予め定められた、あるいはある一定の符号化周期
ごとに算出された量子化マトリクス値とに基づいて、可
逆離散コサイン変換係数を量子化する。そして、得られ
た量子化値は、符号変換部１４に入力され、ジグザグス
キャンなどによって１次元に走査された後、可変長符号
化される。この可変長符号化の方法としては、例えば、
量子化値が連続して0 となる長さ(0ラン長) と次の量子
化値の絶対値（レベル）とを組み合わせて、予め定めら
れた符号化表に従ってハフマン符号化する方式がある。
また、ハフマン符号化のかわりに算術符号化を用いて符
号化することもできる。In the quantizer 4, the quantization scale value determined for each block by the quantization control unit, the macroblock information, and the quantization calculated in a predetermined or fixed coding cycle are calculated. The reversible discrete cosine transform coefficients are quantized based on the matrix values. Then, the obtained quantized value is input to the code conversion unit 14, where it is one-dimensionally scanned by zigzag scanning or the like, and then subjected to variable length coding. As a method of the variable length coding, for example,
There is a method of performing Huffman coding according to a predetermined coding table by combining a length (0 run length) in which a quantized value is continuously 0 and an absolute value (level) of the next quantized value.
Also, encoding can be performed using arithmetic coding instead of Huffman coding.

【００９６】このようにして得られる量子化値の可変長
符号は、量子化スケール値と、量子化マトリクスと、マ
クロブロック情報と、その他付加情報とともに多重化器
５４に入力される。多重化器５４にはバッファがあり、
入力された各種データはここに一旦蓄えられる。そし
て、予め定まった順序で各種データは多重化され、ベー
スレイヤの符号列として出力される。ここではさらに実
際に発生した符号量がカウントされ、符号量情報として
量子化制御部３に出力される。もし、符号変換部１４で
MPEG-2に従った可変長符号化を行い、多重化器54でMPEG
-2で規定されている通りに各種情報を多重化するなら
ば、ベースレイヤ符号列は、MPEG-2互換なものとなる。
また、MPEG-2以外にも、MPEG-1、MPEG-4、H.261 、H.26
3 などの方式を用いることもでき、それぞれに対して互
換なベースレイヤ符号列を作成することも可能である。The variable length code of the quantized value thus obtained is input to the multiplexer 54 together with the quantized scale value, the quantized matrix, the macroblock information, and other additional information. The multiplexer 54 has a buffer,
The various input data are temporarily stored here. Then, various data are multiplexed in a predetermined order, and are output as a base layer code sequence. Here, the actually generated code amount is further counted and output to the quantization control unit 3 as code amount information. If the code converter 14
Performs variable-length encoding according to MPEG-2, and outputs the MPEG
If various types of information are multiplexed as specified in -2, the base layer code string becomes MPEG-2 compatible.
In addition to MPEG-2, MPEG-1, MPEG-4, H.261, H.26
A method such as 3 can be used, and a compatible base layer code string can be created for each method.

【００９７】一方、量子化器４から出力される量子化値
は、逆量子化器５にも入力される。逆量子化器５には、
量子化スケール値と量子化マトリクスとマクロブロック
情報も入力され、量子化値はこれらに基づいて逆量子化
される。得られた逆量子化値は減算器５３に入力され、
量子化前の値である、対応する変換係数から減じられて
符号化残差が算出される。その符号化残差はバッファ９
４に入力される。そして、バッファ９４に一時的に蓄え
られたデータは、予め定まった順序で算術符号化器９１
に読み込まれる。算術符号化器９１の動作は、図３の説
明で述べた通りである。On the other hand, the quantized value output from the quantizer 4 is also input to the inverse quantizer 5. In the inverse quantizer 5,
A quantization scale value, a quantization matrix, and macroblock information are also input, and the quantization value is inversely quantized based on these. The obtained inverse quantization value is input to the subtractor 53,
The coding residual is calculated by subtracting from the corresponding transform coefficient, which is the value before quantization. The encoded residual is stored in buffer 9
4 is input. The data temporarily stored in the buffer 94 is stored in the arithmetic encoder 91 in a predetermined order.
Is read in. The operation of the arithmetic encoder 91 is as described in the description of FIG.

【００９８】また、量子化制御部３が出力した量子化ス
ケール値は、量子化スケール値集計部９０にも入力され
る。量子化スケール値集計部９０は、量子化スケール値
を集計する。この集計では、ある定められた符号化周期
（例えばピクチャ単位）内で、量子化スケール値とし
て、どの値がどれだけ生じたかがカウントされる。ただ
し、この符号化周期内では、量子化マトリクスの値は一
定とする。そして、一定の符号化周期ごとに、頻度分布
r(s)の値が算出され、出力される。ただし出力される値
は、頻度分布r(s)に定数倍したもの、あるいはさらにそ
れを近似したものであってよい。The quantization scale value output from the quantization control unit 3 is also input to the quantization scale value summation unit 90. The quantization scale value totalizing section 90 totalizes the quantization scale values. In this summation, how many and how many quantization scale values are generated in a predetermined coding cycle (for example, in picture units) is counted. However, the value of the quantization matrix is constant within this encoding cycle. Then, for each fixed encoding cycle, the frequency distribution
The value of r (s) is calculated and output. However, the output value may be a value obtained by multiplying the frequency distribution r (s) by a constant, or a value obtained by further approximating the value.

【００９９】頻度分布r(s)は符号化残差の生起確率算出
部９２に入力され、符号化残差の生起確率算出部９２
は、変換係数の各周波数インデックス(i,j) （変換係数
のブロック内での位置）に対して、符号化残差の生起確
率が算出される。符号化残差の生起確率算出部９２の動
作は、図３の説明で述べた通りである。The frequency distribution r (s) is input to the coding residual occurrence probability calculating section 92, and the coding residual occurrence probability calculating section 92
Is calculated for each frequency index (i, j) (the position of the transform coefficient in the block) of the transform coefficient. The operation of the encoding residual occurrence probability calculation unit 92 is as described in the description of FIG.

【０１００】最後に算術符号化器９１から出力される符
号化残差の算術符号と量子化スケール値の頻度分布が多
重化器９３において多重化され、エンハンスメントレイ
ヤの符号列が生成、出力される。エンハンスメントレイ
ヤ符号列としては、量子化スケール値の集計をピクチャ
単位でとる場合には、例えば、図１５に示す構成で出力
される。この第９の実施の形態においても、上記第３の
実施の形態と同様の効果を得ることができる。Finally, the arithmetic code of the encoding residual and the frequency distribution of the quantized scale value output from the arithmetic encoder 91 are multiplexed in the multiplexer 93, and a code string of the enhancement layer is generated and output. . When the sum of the quantization scale values is calculated in picture units, the enhancement layer code string is output, for example, in the configuration shown in FIG. In the ninth embodiment, the same effect as in the third embodiment can be obtained.

【０１０１】〔第１０の実施の形態〕図１６は、第１０
の実施の形態による階層的画像符号化装置の回路図であ
る。第１０の実施の形態による画像符号化装置につい
て、図１６を参照して詳述する。動き推定および補償回
路６０は、入力ビデオ信号と、加算器６４から出力され
る局所復号画像信号との間で動き推定を行う。そして、
得られる動きベクトルに従って、参照局所復号画像信号
に対して動き補償を行い、第１の動き補償予測画像信号
を出力する。これと同時に、マクロブロック情報を出力
する。[Tenth Embodiment] FIG. 16 shows a tenth embodiment.
1 is a circuit diagram of a hierarchical image encoding device according to an embodiment. An image encoding device according to the tenth embodiment will be described in detail with reference to FIG. The motion estimation and compensation circuit 60 performs motion estimation between the input video signal and the locally decoded image signal output from the adder 64. And
According to the obtained motion vector, motion compensation is performed on the reference locally decoded image signal, and a first motion compensated prediction image signal is output. At the same time, macroblock information is output.

【０１０２】減算器６７は、入力ビデオ信号から、動き
推定および補償回路６０から出力される第１の動き補償
予測画像信号を減じて、第１の予測誤差画像を出力す
る。可逆離散コサイン変換回路５１は、減算器６７から
出力される第１の予測誤差画像信号に対して可逆離散コ
サイン変換を行い、第１の可逆離散コサイン変換係数を
出力する。量子化制御部３は、減算器６７から出力され
る第１の予測誤差画像信号と、多重化器５４から出力さ
れる符号量情報とに基づいて、量子化スケール値を算出
し、出力する。量子化器４は、量子化制御部３から出力
される量子化スケール値と、量子化マトリクスと、動き
推定および補償回路６０から出力されるマクロブロック
情報とに基づいて、可逆離散コサイン変換回路５１から
出力される第１の可逆離散コサイン変換係数を量子化し
て、量子化値を出力する。符号変換部１４は、量子化器
４から出力される量子化値に対して可変長符号化を行っ
て、量子化値の可変長符号を出力する。多重化器５４
は、量子化マトリクスと、量子化制御部３から出力され
る量子化スケール値と、動き推定および補償回路６０か
ら出力されるマクロブロック情報と、符号変換部１４か
ら出力される量子化値の可変長符号と、その他の付加情
報とから、ベースレイヤ符号列を生成、出力する。The subtracter 67 subtracts the first motion compensated prediction image signal output from the motion estimation and compensation circuit 60 from the input video signal, and outputs a first prediction error image. The reversible discrete cosine transform circuit 51 performs a reversible discrete cosine transform on the first prediction error image signal output from the subtracter 67, and outputs a first reversible discrete cosine transform coefficient. The quantization control unit 3 calculates and outputs a quantization scale value based on the first prediction error image signal output from the subtractor 67 and the code amount information output from the multiplexer 54. The quantizer 4 performs a reversible discrete cosine transform circuit 51 based on the quantization scale value output from the quantization control unit 3, the quantization matrix, and the macroblock information output from the motion estimation and compensation circuit 60. Quantizes the first reversible discrete cosine transform coefficient output from and outputs a quantized value. The code converter 14 performs variable-length coding on the quantized value output from the quantizer 4 and outputs a variable-length code of the quantized value. Multiplexer 54
Are variable values of the quantization matrix, the quantization scale value output from the quantization control unit 3, the macroblock information output from the motion estimation and compensation circuit 60, and the quantization value output from the code conversion unit 14. A base layer code sequence is generated and output from the long code and other additional information.

【０１０３】逆量子化器５は、量子化マトリクスと、量
子化制御部３から出力される量子化スケール値と、動き
推定および補償回路６０から出力されるマクロブロック
情報とに基づいて、量子化器４から出力される量子化値
を逆量子化し、逆量子化値を出力する。可逆離散コサイ
ン逆変換回路６５は、逆量子化器５から出力される逆量
子化値に可逆離散コサイン変換の逆変換を行って、局所
復号予測誤差画像信号を出力する。加算器６４は、可逆
離散コサイン逆変換回路６５から出力される局所復号予
測誤差画像信号に、動き推定および補償回路６０から出
力される第１の動き補償予測画像信号を加算し、局所復
号画像信号として出力する。The inverse quantizer 5 performs quantization based on the quantization matrix, the quantization scale value output from the quantization control unit 3, and the macroblock information output from the motion estimation and compensation circuit 60. It dequantizes the quantized value output from the unit 4 and outputs a dequantized value. The reversible discrete cosine inverse transform circuit 65 performs an inverse transform of the reversible discrete cosine transform on the inversely quantized value output from the inverse quantizer 5 and outputs a local decoded prediction error image signal. The adder 64 adds the first motion compensated prediction image signal output from the motion estimation and compensation circuit 60 to the local decoded prediction error image signal output from the lossless discrete cosine inverse transform circuit 65, and Output as

【０１０４】また、動き補償回路６１は、動き推定およ
び補償回路６０から出力されるマクロブロック情報に基
づいて、入力ビデオ信号に動き補償を行って、第２の動
き補償予測画像信号を生成し、出力する。減算器６２
は、入力ビデオ信号から、第２の動き補償予測画像信号
を減じ、第２の予測誤差画像信号を生成する。可逆離散
コサイン変換回路６３は、減算器６２から出力される第
２の予測誤差画像信号を可逆離散コサイン変換して、第
２の可逆離散コサイン変換係数を出力する。減算器６６
は、可逆離散コサイン変換回路６３から出力される可逆
離散コサイン変換係数から、逆量子化器５から出力され
る逆量子化値を減じて、符号化残差を算出し、出力す
る。バッファ９４は、減算器６６から出力される符号化
残差を蓄積する。その他の、量子化スケール値集計部９
０、符号化残差の生起確率算出部９２、算術符号化器９
１、多重化器９３については、図１４と同じである。The motion compensation circuit 61 performs motion compensation on the input video signal based on the macroblock information output from the motion estimation and compensation circuit 60 to generate a second motion-compensated predicted image signal. Output. Subtractor 62
Subtracts the second motion compensated prediction image signal from the input video signal to generate a second prediction error image signal. The reversible discrete cosine transform circuit 63 performs a reversible discrete cosine transform on the second prediction error image signal output from the subtracter 62, and outputs a second reversible discrete cosine transform coefficient. Subtractor 66
Subtracts the inverse quantization value output from the inverse quantizer 5 from the reversible discrete cosine transform coefficient output from the reversible discrete cosine transform circuit 63, calculates an encoding residual, and outputs the result. The buffer 94 accumulates the encoding residual output from the subtractor 66. Other quantization scale value aggregation unit 9
0, coding residual occurrence probability calculating unit 92, arithmetic encoder 9
1. The multiplexer 93 is the same as that in FIG.

【０１０５】次に、動作について詳細に説明する。入力
ビデオ信号は、例えばピクチャ毎に分割され、符号化す
る順序で入力される。この入力ビデオ信号は、動き推定
および補償回路６０、動き補償回路６１、減算器６７、
及び減算器６２に入力される。動き推定および補償回路
６０では、過去に符号化され、局所復号された動き推定
の参照画像データが蓄えられており、入力ビデオ信号と
参照画像データとの間で動き推定を行う。そして、マク
ロブロック毎に、イントラ、ノンイントラなどの予測モ
ードおよび動きベクトルなどからなるマクロブロック情
報を求める。さらに、これらの情報に従って動き補償を
行い、第１の動き補償予測画像信号を作成する。ここで
求められたマクロブロック情報は、動き補償回路６１、
量子化器４、逆量子化器５、符号変換部１４に入力さ
れ、それぞれの動作の制御にも用いられる。Next, the operation will be described in detail. The input video signal is divided for each picture, for example, and is input in an encoding order. This input video signal is supplied to a motion estimation and compensation circuit 60, a motion compensation circuit 61, a subtractor 67,
And input to the subtractor 62. The motion estimation and compensation circuit 60 stores reference image data of motion estimation that has been encoded and locally decoded in the past, and performs motion estimation between an input video signal and reference image data. Then, macro block information including a prediction mode such as intra or non-intra, a motion vector, or the like is obtained for each macro block. Further, motion compensation is performed in accordance with these pieces of information, and a first motion-compensated predicted image signal is created. The macro block information obtained here is used as the motion compensation circuit 61,
The signals are input to the quantizer 4, the inverse quantizer 5, and the code converter 14, and are also used to control the respective operations.

【０１０６】第１の動き補償予測画像信号は、減算器６
７で入力ビデオ信号から減じられて、第１の予測誤差画
像信号が作成される。第１の予測誤差画像信号は、可逆
離散コサイン変換回路５１と量子化制御部３に入力され
る。可逆離散コサイン変換５１、量子化器４、逆量子化
器５、符号変換部１４、多重化器５４、量子化制御部３
の動作は図１４と同じである。The first motion-compensated predicted image signal is supplied to the subtractor 6
At 7, subtraction from the input video signal produces a first prediction error image signal. The first prediction error image signal is input to the reversible discrete cosine transform circuit 51 and the quantization control unit 3. Reversible discrete cosine transform 51, quantizer 4, inverse quantizer 5, code converter 14, multiplexer 54, quantization controller 3
Are the same as those in FIG.

【０１０７】一方、動き補償回路６１には、過去に符号
化された動き補償の参照画像データが蓄えられており、
動き推定および補償回路６０から出力されるマクロブロ
ック情報に基づいて動き補償が行われる。そして、第２
の動き補償予測画像信号が作成される。第２の動き補償
予測画像信号を、減算器６２で入力ビデオ信号から減じ
ることで、第２の予測誤差画像信号が作成される。第２
の予測誤差画像信号は、可逆離散コサイン変換回路６３
に入力され、ブロックごとに可逆離散コサイン変換が行
われる。この回路の動作は、可逆離散コサイン変換回路
５１と同様であり、第２の可逆離散コサイン変換係数が
算出され、出力される。On the other hand, the motion compensation circuit 61 stores motion compensation reference image data encoded in the past.
Motion compensation is performed based on the macroblock information output from the motion estimation and compensation circuit 60. And the second
Is generated. By subtracting the second motion-compensated predicted image signal from the input video signal by the subtractor 62, a second predicted error image signal is created. Second
Is input to the reversible discrete cosine transform circuit 63
, And a reversible discrete cosine transform is performed for each block. The operation of this circuit is the same as that of the reversible discrete cosine transform circuit 51, and the second reversible discrete cosine transform coefficient is calculated and output.

【０１０８】第２の可逆離散コサイン変換係数は、減算
器６６に入力される。また、逆量子化器５から出力され
る逆量子化値も減算器６６に入力され、対応する変換係
数から逆量子化値が減じられ、符号化残差が算出され
る。その符号化残差はバッファ９４に入力される。バッ
ファ９４、量子化スケール値集計部９０、算術符号化器
９１、符号化残差の生起確率算出部９２、多重化器９３
の動作は、図１４と同じである。The second reversible discrete cosine transform coefficient is input to the subtractor 66. Further, the inversely quantized value output from the inverse quantizer 5 is also input to the subtractor 66, and the inversely quantized value is subtracted from the corresponding transform coefficient, and the coding residual is calculated. The encoded residual is input to the buffer 94. Buffer 94, quantization scale value summation unit 90, arithmetic encoder 91, encoding residual occurrence probability calculation unit 92, multiplexer 93
Are the same as those in FIG.

【０１０９】逆量子化器５から出力される逆量子化値
は、可逆離散コサイン逆変換回路６５にも入力される。
ここで、逆量子化値に対して、ブロックごとに可逆離散
コサイン変換の逆変換が行われ、局所復号予測誤差画像
信号が生成、出力される。局所復号予測誤差画像信号
は、加算器６４に入力され、動き推定および補償回路６
０から出力される第１の動き補償予測画像信号に加算さ
れる。そして、局所復号画像信号が生成される。これ
は、動き推定および補償回路６０に入力、蓄積され、後
の動き推定、動き補償の参照画像データとして用いられ
る。The inverse quantized value output from the inverse quantizer 5 is also input to the inverse reversible discrete cosine transform circuit 65.
Here, an inverse transform of a reversible discrete cosine transform is performed on the inverse quantized value for each block, and a locally decoded prediction error image signal is generated and output. The local decoded prediction error image signal is input to the adder 64, and the motion estimation and compensation circuit 6
0 is added to the first motion-compensated prediction image signal output from 0. Then, a locally decoded image signal is generated. This is input to and accumulated in the motion estimation and compensation circuit 60, and is used as reference image data for later motion estimation and motion compensation.

【０１１０】この第１０の実施の形態では、発生符号量
が従来より小さくなるということに加えて、復号側がベ
ースレイヤ符号列のみを用いて復号しても、誤差累積が
復号画像に生じるのが回避されるという効果がある。In the tenth embodiment, in addition to the fact that the generated code amount is smaller than before, even if the decoding side decodes using only the base layer code string, error accumulation occurs in the decoded image. This has the effect of being avoided.

【０１１１】〔第１１の実施の形態〕図１７は、第１１
の実施の形態による階層的画像復号装置の回路図であ
る。第１１の実施の形態による画像復号装置について、
図１７を参照して詳述する。なお、この画像復号装置
は、上記第９あるいは第１０の実施の形態による符号化
装置により符号化された画像信号を復号するものであ
る。[Eleventh Embodiment] FIG.
FIG. 10 is a circuit diagram of a hierarchical image decoding device according to the embodiment. Regarding the image decoding device according to the eleventh embodiment,
This will be described in detail with reference to FIG. This image decoding device decodes an image signal encoded by the encoding device according to the ninth or tenth embodiment.

【０１１２】多重分離器７２、符号変換部３０、逆量子
化器３２は図２６に示す従来の復号器と同じである。多
重分離器１３２は、エンハンスメントレイヤ符号列から
符号化残差の算術符号と、量子化スケール値の頻度分布
と、その他の付加情報とを分離して出力する。符号化残
差の生起確率算出部１３１は、多重分離器１３２から出
力される量子化スケール値の頻度分布と、多重分離器７
２から出力される量子化マトリクス値とから、各変換係
数の符号化残差の生起確率を算出して、その生起確率を
出力する。算術復号器１３０は、符号化残差の生起確率
算出部１３１から出力される生起確率に基づいて、多重
分離器１３２から出力される符号化残差の算術符号を復
号し、それを符号化残差として出力する。バッファ１３
３は、算術復号器１３０から出力される符号化残差を一
時的に蓄積する。加算器３４は、逆量子化器３２から出
力される逆量子化値にバッファ１３３から出力される符
号化残差を加算して、可逆離散コサイン変換係数として
出力する。可逆離散コサイン逆変換回路７１、加算器３
６、動き補償回路３７についても、図２６に示す従来の
復号器と同じである。The demultiplexer 72, code converter 30, and inverse quantizer 32 are the same as the conventional decoder shown in FIG. The demultiplexer 132 separates and outputs the arithmetic code of the encoding residual, the frequency distribution of the quantization scale value, and other additional information from the enhancement layer code sequence. The encoding residual occurrence probability calculation unit 131 calculates the frequency distribution of the quantization scale value output from the demultiplexer 132 and the
From the quantization matrix value output from 2, the occurrence probability of the coding residual of each transform coefficient is calculated, and the occurrence probability is output. The arithmetic decoder 130 decodes the arithmetic code of the coded residual output from the demultiplexer 132 based on the occurrence probability output from the coding residual occurrence probability calculation unit 131, and decodes the arithmetic code. Output as difference. Buffer 13
3 temporarily stores the coding residual output from the arithmetic decoder 130. The adder 34 adds the coding residual output from the buffer 133 to the inverse quantization value output from the inverse quantizer 32, and outputs the result as a lossless discrete cosine transform coefficient. Reversible discrete cosine inverse transform circuit 71, adder 3
6. The motion compensation circuit 37 is the same as the conventional decoder shown in FIG.

【０１１３】次に、動作について詳細に説明する。ベー
スレイヤ符号列は、多重分離器７２に入力される。多重
分離器７２にはバッファがあり、入力されたベースレイ
ヤ符号列は、量子化値の可変長符号と、量子化マトリク
スと、量子化スケール値と、マクロブロック情報と、そ
の他の付加情報とに分離され、バッファに蓄えられる。
ただし、多重分離器７２は、次に述べる符号変換部３０
と一体になって、可変長復号しながら、各種情報を分離
するようになっていてもよい。Next, the operation will be described in detail. The base layer code sequence is input to the demultiplexer 72. The demultiplexer 72 has a buffer, and the input base layer code sequence stores the variable length code of the quantization value, the quantization matrix, the quantization scale value, the macroblock information, and other additional information. Separated and stored in a buffer.
However, the demultiplexer 72 includes a code conversion unit 30 described below.
And various information may be separated while performing variable-length decoding.

【０１１４】量子化値の可変長符号は、符号変換部３０
において、予め定まった符号表を用いて可変長復号さ
れ、１次元量子化列に変換される。さらに逆走査変換が
行われて量子化値が求まる。符号化側でMPEG-2の可変長
符号化方式が用いられている場合には、量子化値の可変
長符号は、MPEG-2の符号表によって0 ラン長とレベルの
組に変換され、さらに１次元量子化列、量子化値へと変
換される。符号化側で算術符号が用いられている場合に
は、それに対応した算術復号を行う。そうして得られた
量子化値は、逆量子化器３２により、量子化スケール
値、量子化マトリクス、マクロブロック情報に基づい
て、逆量子化される。The variable length code of the quantized value is converted by the code conversion unit 30.
In the above, variable-length decoding is performed using a predetermined code table, and converted into a one-dimensional quantized sequence. Further, inverse scan conversion is performed to obtain a quantized value. If the encoding side uses the MPEG-2 variable length encoding method, the variable length code of the quantized value is converted into a set of 0 run length and level by the MPEG-2 code table, It is converted into a one-dimensional quantization sequence and a quantization value. When an arithmetic code is used on the encoding side, arithmetic decoding corresponding to the arithmetic code is performed. The quantized value thus obtained is inversely quantized by the inverse quantizer 32 based on the quantization scale value, the quantization matrix, and the macroblock information.

【０１１５】一方、エンハンスメントレイヤ符号列は、
多重分離器１３２に入力され、符号化残差の算術符号
と、量子化スケール値の頻度分布と、その他の付加情報
とに分離される。多重分離器１３２の動作は、図１１の
ものと同じである。量子化スケール値の頻度分布は、ベ
ースレイヤ符号列から得られた量子化マトリクス値とと
もに符号化残差の生起確率算出部１３１に入力され、符
号化残差の生起確率が算出される。符号化残差の生起確
率算出部１３１の動作も、図１１のものと同じである。
なお、ここに予め蓄えられている各変換係数の頻度分布
のデータは、図１４または図１６の符号化残差の生起確
率算出部９２のものと同一である。算術復号器１３０で
は、多重分離器１３２から符号化残差の算術符号が読み
込まれ、入力される符号化残差の生起確率分布にしたが
って、算術復号される。そして、得られた符号化残差は
バッファ１３３に出力される。On the other hand, the enhancement layer code sequence is
The signal is input to the demultiplexer 132, and is separated into the arithmetic code of the coded residual, the frequency distribution of the quantization scale value, and other additional information. The operation of the demultiplexer 132 is the same as that of FIG. The frequency distribution of the quantization scale value is input to the encoding residual occurrence probability calculation unit 131 together with the quantization matrix value obtained from the base layer code sequence, and the encoding residual occurrence probability is calculated. The operation of the encoding residual occurrence probability calculation unit 131 is the same as that of FIG.
The frequency distribution data of each transform coefficient stored in advance here is the same as that of the coding residual occurrence probability calculation unit 92 in FIG. 14 or FIG. In the arithmetic decoder 130, the arithmetic code of the encoded residual is read from the demultiplexer 132, and is arithmetically decoded according to the occurrence probability distribution of the input encoded residual. Then, the obtained encoding residual is output to the buffer 133.

【０１１６】逆量子化器３２から出力された逆量子化値
は、加算器３４に入力される。加算器３４では、バッフ
ァ１３３から対応する符号化残差を読みだし、逆量子化
値に加算して、可逆離散コサイン変換係数を求める。可
逆離散コサイン変換係数は、可逆離散コサイン逆変換回
路７１において、ブロックごとに可逆離散コサイン変換
の逆変換が行われ、予測誤差画像信号が生成される。動
き補償回路３７では、動き補償の参照画像となる過去に
復号された画像信号が蓄えられており、多重分離器７２
から出力されるマクロブロック情報にしたがって、この
参照画像信号に動き補償が行われる。そうして動き補償
予測画像信号が作成され、出力される。加算器３６は、
可逆離散コサイン逆変換回路７１から出力される予測画
像誤差画像信号に、動き補償予測画像を加算する。それ
により、復号画像信号が作成される。The inversely quantized value output from the inverse quantizer 32 is input to the adder 34. The adder 34 reads the corresponding coding residual from the buffer 133 and adds it to the dequantized value to obtain a reversible discrete cosine transform coefficient. The reversible discrete cosine transform coefficient is subjected to inverse transform of the reversible discrete cosine transform for each block in an inverse reversible discrete cosine transform circuit 71 to generate a prediction error image signal. In the motion compensation circuit 37, a previously decoded image signal serving as a reference image for motion compensation is stored.
The motion compensation is performed on this reference image signal according to the macroblock information output from. Thus, a motion-compensated predicted image signal is created and output. The adder 36
The motion compensated prediction image is added to the prediction image error image signal output from the reversible discrete cosine inverse transform circuit 71. Thereby, a decoded image signal is created.

【０１１７】このようにして、第１１の実施の形態で
は、上記第９あるいは第１０の実施の形態により得られ
るベースレイヤ符号列とエンハンスメントレイヤ符号列
とから、ロスのない復号画像を生成する。As described above, in the eleventh embodiment, a lossless decoded image is generated from the base layer code sequence and the enhancement layer code sequence obtained in the ninth or tenth embodiment.

【０１１８】〔第１２の実施の形態〕図１８は、第１２
の実施の形態による階層的画像符号化装置の回路図であ
る。第１２の実施の形態による画像符号化装置につい
て、図１８を参照して詳述する。回路構成は、基本的に
は図１４と同じである。異なるのは、変換係数の頻度分
布算出部１１０と符号化残差の生起確率算出部１１１で
ある。変換係数の頻度分布算出部１１０は、可逆離散コ
サイン変換回路５１から出力される変換係数を集計し、
変換係数の頻度分布を求め、出力する。符号化残差の生
起確率算出部１１１は、量子化スケール値集計部９０か
ら出力される量子化スケールの頻度分布と、量子化マト
リクス値と、変換係数の頻度分布算出部１１０から出力
される変換係数の頻度分布とに基づいて、符号化残差の
生起確率を算出して出力する。[Twelfth Embodiment] FIG.
1 is a circuit diagram of a hierarchical image encoding device according to an embodiment. An image encoding device according to the twelfth embodiment will be described in detail with reference to FIG. The circuit configuration is basically the same as that of FIG. The difference lies in the frequency distribution calculation unit 110 of the transform coefficient and the occurrence probability calculation unit 111 of the coding residual. The transform coefficient frequency distribution calculation unit 110 counts the transform coefficients output from the reversible discrete cosine transform circuit 51,
Obtain and output the frequency distribution of the transform coefficients. The encoding residual occurrence probability calculation unit 111 converts the frequency distribution of the quantization scale output from the quantization scale value aggregation unit 90, the quantization matrix value, and the conversion output from the frequency distribution calculation unit 110 of the transform coefficient. Based on the coefficient frequency distribution, the occurrence probability of the coding residual is calculated and output.

【０１１９】次に、動作について説明する。基本的な動
作は、図１４と同じであるが、ここでは、可逆離散コサ
イン変換回路５１から出力される変換係数は、変換係数
の頻度分布算出部１１０にも入力される。変換係数の頻
度分布算出部１１０の動作は、図１２の説明で述べた通
りで、そこで算出された変換係数の頻度分布が符号化残
差の生起確率算出部１１１へ出力される。符号化残差の
生起確率算出部１１１の動作についても、図１２の説明
で述べた通りであり、符号化残差の生起確率が出力され
る。これ以外の部分は、図１４と同様である。Next, the operation will be described. The basic operation is the same as that of FIG. 14, but here, the transform coefficient output from the reversible discrete cosine transform circuit 51 is also input to the transform coefficient frequency distribution calculation unit 110. The operation of the transform coefficient frequency distribution calculating unit 110 is as described in the description of FIG. 12, and the calculated transform coefficient frequency distribution calculated there is output to the coding residual occurrence probability calculating unit 111. The operation of the coding residual occurrence probability calculation unit 111 is also as described in the description of FIG. 12, and the coding residual occurrence probability is output. The other parts are the same as in FIG.

【０１２０】この第１２の実施の形態では、変換係数の
頻度分布が入力画像（入力ビデオ信号）によって適応的
に更新されるため、入力ビデオ信号の性質を符号化に反
映させることができ、さらに符号化効率を向上させるこ
とができる。In the twelfth embodiment, the frequency distribution of the transform coefficient is adaptively updated by the input image (input video signal), so that the properties of the input video signal can be reflected in the encoding. Encoding efficiency can be improved.

【０１２１】〔第１３の実施の形態〕図１９は、第１３
の実施の形態による階層的画像符号化装置の回路図であ
る。第１３の実施の形態による画像符号化装置につい
て、図１９を参照して詳述する。回路構成は、基本的に
は図１６と同じである。図１６からは、変換係数の頻度
分布算出部１１０と符号化残差の生起確率算出部１１１
が異なる。[Thirteenth Embodiment] FIG. 19 shows a thirteenth embodiment.
1 is a circuit diagram of a hierarchical image encoding device according to an embodiment. The image coding apparatus according to the thirteenth embodiment will be described in detail with reference to FIG. The circuit configuration is basically the same as in FIG. From FIG. 16, the frequency distribution calculation unit 110 of the transform coefficient and the occurrence probability calculation unit 111 of the encoding residual
Are different.

【０１２２】変換係数の頻度分布算出部１１０は、可逆
離散コサイン変換回路６３から出力される変換係数を集
計し、変換係数の頻度分布を求め、出力する。符号化残
差の生起確率算出部１１１は、量子化スケール値集計部
９０から出力される量子化スケールの頻度分布と、量子
化マトリクス値と、変換係数の頻度分布算出部１１０か
ら出力される変換係数の頻度分布に基づいて、符号化残
差の生起確率を算出して出力する。The transform coefficient frequency distribution calculating section 110 counts the transform coefficients output from the reversible discrete cosine transform circuit 63, obtains the transform coefficient frequency distribution, and outputs it. The encoding residual occurrence probability calculation unit 111 converts the frequency distribution of the quantization scale output from the quantization scale value aggregation unit 90, the quantization matrix value, and the conversion output from the frequency distribution calculation unit 110 of the transform coefficient. Based on the frequency distribution of the coefficients, the probability of occurrence of the coding residual is calculated and output.

【０１２３】次に、動作について説明する。基本的な動
作は、図１６と同じであるが、ここでは、可逆離散コサ
イン変換回路６３から出力される変換係数は、変換係数
の頻度分布算出部１１０にも入力される。変換係数の頻
度分布算出部１１０の動作は、図１２の説明で述べた通
りで、変換係数の頻度分布が符号化残差の生起確率算出
部１１１へ出力される。符号化残差の生起確率算出部１
１１の動作についても、図１２の説明で述べた通りであ
り、符号化残差の生起確率が出力される。これ以外の部
分は、図１６と同様である。Next, the operation will be described. The basic operation is the same as that of FIG. 16, but here, the transform coefficients output from the reversible discrete cosine transform circuit 63 are also input to the transform coefficient frequency distribution calculator 110. The operation of the transform coefficient frequency distribution calculating unit 110 is as described in the description of FIG. 12, and the transform coefficient frequency distribution is output to the coding residual occurrence probability calculating unit 111. Coding residual occurrence probability calculation unit 1
The operation 11 is also as described in the description of FIG. 12, and the occurrence probability of the coding residual is output. Other parts are the same as those in FIG.

【０１２４】この第１３の実施の形態では、変換係数の
頻度分布が入力画像によって適応的に更新されるため、
入力ビデオ信号の性質を符号化に反映させることがで
き、さらに符号化効率を向上させることができる。In the thirteenth embodiment, the frequency distribution of the transform coefficient is adaptively updated by the input image.
The properties of the input video signal can be reflected in the encoding, and the encoding efficiency can be further improved.

【０１２５】〔第１４の実施の形態〕図２０は、第１４
の実施の形態による階層的画像復号装置の回路図であ
る。第１４の実施の形態による画像復号装置について、
図１４を参照して詳述する。なお、この画像復号装置
は、上記第１２あるいは第１３の実施の形態による符号
化装置により符号化された画像信号を復号するものであ
る。回路構成は、基本的には図１７と同じである。図１
７からは、変換係数の頻度分布算出部１５０と符号化残
差の生起確率算出部１５１が異なる。[Fourteenth Embodiment] FIG. 20 shows a fourteenth embodiment.
FIG. 10 is a circuit diagram of a hierarchical image decoding device according to the embodiment. Regarding the image decoding device according to the fourteenth embodiment,
This will be described in detail with reference to FIG. This image decoding device decodes an image signal encoded by the encoding device according to the twelfth or thirteenth embodiment. The circuit configuration is basically the same as in FIG. FIG.
7, the transform coefficient frequency distribution calculation unit 150 and the coding residual occurrence probability calculation unit 151 are different.

【０１２６】変換係数の頻度分布算出部１５０は、加算
器３４から出力される変換係数を集計し、変換係数の頻
度分布を求め、出力する。符号化残差の生起確率算出部
１５１は、多重分離器１３２から出力される量子化スケ
ール値の頻度分布と、多重分離器７２から出力される量
子化マトリクスと、変換係数の頻度分布算出部１５０か
ら出力される変換係数の頻度分布とに基づいて、符号化
残差の生起確率を算出して出力する。The conversion coefficient frequency distribution calculating section 150 counts the conversion coefficients output from the adder 34, obtains the frequency distribution of the conversion coefficients, and outputs it. The encoding residual occurrence probability calculation unit 151 includes a quantization scale value frequency distribution output from the demultiplexer 132, a quantization matrix output from the demultiplexer 72, and a transform coefficient frequency distribution calculation unit 150. Based on the frequency distribution of the transform coefficients output from, the occurrence probability of the coding residual is calculated and output.

【０１２７】次に、動作について説明する。基本的な動
作は、図１７と同じであるが、ここでは、加算器３４か
ら出力される変換係数は、変換係数の頻度分布算出部１
５０にも入力される。変換係数の頻度分布算出部１５０
の動作は、図１３の説明で述べた通りで、変換係数の頻
度分布が符号化残差の生起確率算出部１５１へ出力され
る。符号化残差の生起確率算出部１５１の動作について
も、図１３の説明で述べた通りであり、符号化残差の生
起確率が出力される。これ以外の部分は、図１７と同様
である。Next, the operation will be described. The basic operation is the same as that of FIG. 17, except that the transform coefficient output from the adder 34 is the transform coefficient frequency distribution calculation unit 1.
50 is also input. Conversion coefficient frequency distribution calculation section 150
As described in the description of FIG. 13, the frequency distribution of the transform coefficient is output to the coding residual occurrence probability calculating unit 151. The operation of the coding residual occurrence probability calculation unit 151 is also as described in the description of FIG. 13, and the coding residual occurrence probability is output. The other parts are the same as in FIG.

【０１２８】この第１４の実施の形態では、第１２また
は第１３の実施の形態によって得られるベースレイヤ符
号列とエンハンスメントレイヤ符号列とから、ロスのな
い復号画像を得ることができる。In the fourteenth embodiment, a lossless decoded image can be obtained from the base layer code sequence and the enhancement layer code sequence obtained by the twelfth or thirteenth embodiment.

【０１２９】〔第１５の実施の形態〕図２１は、第１５
の実施の形態による階層的画像符号化装置の回路図であ
る。第１５の実施の形態による画像符号化装置につい
て、図２１を参照して詳述する。装置の構成は、量子化
スケール値集計部１７０、算術符号化器１７１、符号化
残差の生起確率算出部１７２、多重化器１７３以外は、
図１４と同じである。[Fifteenth Embodiment] FIG.
1 is a circuit diagram of a hierarchical image encoding device according to an embodiment. An image encoding device according to a fifteenth embodiment will be described in detail with reference to FIG. The configuration of the device is the same as that of the quantization scale value summation unit 170, the arithmetic encoder 171, the encoding residual occurrence probability calculation unit 172, and the multiplexer 173.
It is the same as FIG.

【０１３０】量子化スケール値集計部１７０は、動き推
定および補償回路５０から出力されるマクロブロック情
報と、量子化制御部３から出力される量子化スケール値
情報とから、量子化スケール値を集計して、その頻度分
布を出力する。符号化残差の生起確率算出部１７２は、
量子化スケール値集計部１７０から出力される量子化ス
ケール値の頻度分布と量子化マトリクス値とから、符号
化残差の生起確率を算出して出力する。The quantization scale value totalizing section 170 totalizes the quantized scale values from the macroblock information output from the motion estimation and compensation circuit 50 and the quantized scale value information output from the quantization control section 3. And outputs the frequency distribution. The coding residual occurrence probability calculation unit 172 calculates
From the frequency distribution of the quantization scale values output from the quantization scale value totaling unit 170 and the quantization matrix values, the occurrence probability of the coding residual is calculated and output.

【０１３１】算術符号化器１７１は、動き推定および補
償回路５０から出力されるマクロブロック情報と、符号
化残差の生起確率算出部１７２から出力される符号化残
差の生起確率とに基づいて、バッファ９４から符号化残
差を読みだして算術符号化し、その結果を符号化残差の
算術符号として出力する。多重化器１７３は、算術符号
化器１７１から出力される符号化残差の算術符号と量子
化スケール値集計部１７０から出力される量子化スケー
ル値の頻度分布とその他の付加情報を多重化して、エン
ハンスメントレイヤ符号列として出力する。Arithmetic encoder 171 is based on macroblock information output from motion estimation and compensation circuit 50 and the occurrence probability of the coding residual output from coding residue occurrence probability calculating section 172. , The coding residual is read from the buffer 94 and arithmetically coded, and the result is output as the arithmetic code of the coding residual. The multiplexer 173 multiplexes the arithmetic code of the encoded residual output from the arithmetic encoder 171, the frequency distribution of the quantized scale value output from the quantized scale value summation unit 170, and other additional information. , As an enhancement layer code sequence.

【０１３２】次に、動作について説明する。装置の動作
も、量子化値スケール値集計部１７０、算術符号化器１
７１、符号化残差の生起確率算出部１７２、多重化器１
７３以外は、図１４と同じである。Next, the operation will be described. The operation of the apparatus also includes the quantization value scale value totaling unit 170, the arithmetic encoder 1
71, coding residual occurrence probability calculating section 172, multiplexer 1
Other than 73, it is the same as FIG.

【０１３３】量子化スケール値集計部１７０では、量子
化制御部３から出力される量子化スケール値が集計され
る。この集計では、ある定められた符号化周期内で、量
子化値スケール値として、どの値がどれだけ生じたかを
カウントする。この際、動き推定および補償回路５０か
ら入力されるマクロブロック情報に基づいて、入力され
る量子化スケール値が、イントラ、ノンイントラマクロ
ブロックのどちらのものかを区別し、別々にカウントす
る。そして、イントラ、ノンイントラマクロブロックの
それぞれに対する集計結果を、両方とも量子化スケール
値の頻度分布として、符号化残差の生起確率算出部１７
２に出力する。In the quantization scale totalizing section 170, the quantization scale values output from the quantization control section 3 are totalized. In this tabulation, what value and how much have occurred as a quantized value scale value within a predetermined coding cycle is counted. At this time, based on the macroblock information input from the motion estimation and compensation circuit 50, whether the input quantization scale value is an intra or non-intra macroblock is discriminated and counted separately. Then, the summation results for each of the intra and non-intra macroblocks are set as the frequency distribution of the quantization scale value, and the occurrence probability of the coding residual
Output to 2.

【０１３４】符号化残差の生起確率算出部１７２では、
入力されたイントラ、ノンイントラマクロブロックに対
する量子化スケール値の頻度分布と、予め蓄えられたイ
ントラ、ノンイントラ用の各変換係数の頻度分布とか
ら、各周波数インデックス(i,j) ごとに符号化残差の生
起確率が算出される。算出方式の詳細は、図３の符号化
残差の生起確率算出部９２の説明で述べた通りである
が、ここでは、イントラ用、ノンイントラ用両方の生起
確率を算出する。そして、これらは算術符号化器１７１
に出力される。In the encoding residual occurrence probability calculating section 172,
Encode for each frequency index (i, j) from the frequency distribution of the quantized scale values for the input intra and non-intra macroblocks and the frequency distribution of each transform coefficient for intra and non-intra stored in advance. An occurrence probability of the residual is calculated. The details of the calculation method are as described in the description of the coding residual occurrence probability calculation unit 92 in FIG. 3. Here, both the intra and non-intra occurrence probabilities are calculated. And these are the arithmetic encoders 171
Is output to

【０１３５】算術符号化器１７１では、周波数インデッ
クス(i,j) に対応する符号化残差をバッファ９４から読
みだして算術符号化する。このとき、別に入力されるマ
クロブロック情報に基づいて、符号化対象の符号化残差
がどちらに帰属するものかを判定する。そしてイントラ
マクロブロックに帰属する場合には、イントラ用の生起
確率を用いて符号化し、ノンイントラマクロブロックに
帰属する場合には、ノンイントラ用の生起確率を符号化
する。The arithmetic encoder 171 reads out the encoding residual corresponding to the frequency index (i, j) from the buffer 94 and performs arithmetic encoding. At this time, it is determined to which of the coding residuals to be coded belongs based on the separately input macroblock information. In the case of belonging to an intra macroblock, encoding is performed using the occurrence probability for intra, and in the case of belonging to a non-intra macroblock, the occurrence probability for non-intra is encoded.

【０１３６】最後に、符号化残差の算術符号と、イント
ラ、ノンイントラマクロブロックのそれぞれに対する量
子化スケール値の頻度分布と、その他の付加情報とが、
多重化器１７３で多重化され、エンハンスメントレイヤ
符号列として出力される。なお、図２１の装置構成は、
図１４の装置構成を変形して得られたものであるが、同
様のことを、図１６の装置構成に対しても行うことがで
きる。Finally, the arithmetic code of the coding residual, the frequency distribution of the quantization scale value for each of the intra and non-intra macroblocks, and other additional information are
The signals are multiplexed by the multiplexer 173 and output as an enhancement layer code string. The device configuration in FIG.
Although this is obtained by modifying the device configuration of FIG. 14, the same can be applied to the device configuration of FIG.

【０１３７】第１５の実施の形態では、イントラマクロ
ブロックとノンイントラマクロブロックとで性質の異な
る変換係数の符号化残差を、それぞれに適した生起確率
を用いて算術符号化するため、さらに符号化効率を向上
させることができる。In the fifteenth embodiment, coding residuals of transform coefficients having different properties between an intra macroblock and a non-intra macroblock are arithmetically coded using occurrence probabilities suitable for the respective macroblocks. Conversion efficiency can be improved.

【０１３８】〔第１６の実施の形態〕図２２は、第１６
の実施の形態による階層的画像復号装置の回路図であ
る。第１６の実施の形態による画像復号装置について、
図２２を参照して詳述する。なお、この画像復号装置
は、上記第１５の実施の形態による符号化装置（図２１
参照）により符号化された画像信号を復号するものであ
る。装置の構成は、算術復号器１９０、符号化残差の生
起確率算出部１９１、多重分離器１９２以外は、図１７
と同じである。[Sixteenth Embodiment] FIG. 22 shows a sixteenth embodiment.
FIG. 10 is a circuit diagram of a hierarchical image decoding device according to the embodiment. Regarding the image decoding device according to the sixteenth embodiment,
This will be described in detail with reference to FIG. This image decoding apparatus is an encoding apparatus according to the fifteenth embodiment (FIG. 21).
) Is decoded. The configuration of the apparatus is the same as that shown in FIG. 17 except for the arithmetic decoder 190, the encoding residual occurrence probability calculating unit 191 and the demultiplexer 192.
Is the same as

【０１３９】多重分離器１９２は、エンハンスメントレ
イヤ符号列から符号化残差の算術符号と、量子化スケー
ル値の頻度分布と、その他の付加情報とを分離する。符
号化残差の生起確率算出部１９１は、多重分離器１９２
から出力される量子化スケール値の頻度分布と、多重分
離器７２から出力される量子化マトリクス値とから、各
変換係数の符号化残差の生起確率を算出して、その生起
確率を出力する。算術復号器１９０は、多重分離器７２
から出力されるマクロブロック情報と、符号化残差の生
起確率算出部１９１から出力される生起確率とに基づい
て、多重分離器１９２から出力される符号化残差の算術
符号を復号し、符号化残差として出力する。The demultiplexer 192 separates the arithmetic code of the coded residual, the frequency distribution of the quantized scale value, and other additional information from the enhancement layer code sequence. The encoding residual occurrence probability calculation unit 191 includes a demultiplexer 192.
From the frequency distribution of the quantized scale value output from, and the quantized matrix value output from the demultiplexer 72, calculate the occurrence probability of the coding residual of each transform coefficient, and output the occurrence probability. . Arithmetic decoder 190 includes demultiplexer 72.
Decodes the arithmetic code of the coded residual output from the demultiplexer 192, based on the macroblock information output from, and the occurrence probability output from the coding residual occurrence probability calculation unit 191. Output as the coded residual.

【０１４０】次に、動作について説明する。構成要素の
動作も、算術復号器１９０、符号化残差の生起確率算出
部１９１、多重分離器１９２以外は、図１７と同じであ
る。エンハンスメントレイヤ符号列は、多重分離器１９
２に入力される。多重分離器１９２にはバッファがあ
り、エンハンスメントレイヤ符号列は、符号化残差の算
術符号と、イントラ、ノンイントラマクロブロックそれ
ぞれに対する量子化スケール値の頻度分布と、その他の
付加情報とに分離され、バッファに蓄積される。ただ
し、多重分離器１９２と、後述する算術復号器１９０と
が一体となって、算術復号しながら各種情報を分離する
ようになっていてもよい。Next, the operation will be described. The operation of the components is the same as that of FIG. 17 except for the arithmetic decoder 190, the coding error occurrence probability calculation unit 191 and the demultiplexer 192. The enhancement layer code sequence is output to the demultiplexer 19.
2 is input. The demultiplexer 192 has a buffer, and the enhancement layer code sequence is separated into an arithmetic code of a coding residual, a frequency distribution of quantization scale values for each of intra and non-intra macroblocks, and other additional information. Are stored in the buffer. However, the demultiplexer 192 and an arithmetic decoder 190 described later may be integrated to separate various information while performing arithmetic decoding.

【０１４１】多重分離器１９２が出力した量子化スケー
ル値の頻度分布は、ベースレイヤ符号列から得られた量
子化マトリクス値とともに、符号化残差の生起確率算出
部１９１に入力され、符号化残差の生起確率の算出に用
いられる。符号化残差生起確率算出部１９１の動作は、
図２１の符号化差残差生起確率算出部１７２と同様であ
る。また、ここに保持されている、イントラ用、ノンイ
ントラ用の各変換係数の頻度分布は、図２１の符号化残
差生起確率算出部１７２のものと同一である。The frequency distribution of the quantized scale value output from the demultiplexer 192 is input to the coding residual occurrence probability calculating unit 191 together with the quantization matrix value obtained from the base layer code string, Used to calculate the difference occurrence probability. The operation of the encoding residual occurrence probability calculation unit 191 is as follows.
This is the same as the coding difference residual occurrence probability calculation unit 172 in FIG. Further, the frequency distribution of the transform coefficients for intra and non-intra held here is the same as that of the coding residual occurrence probability calculation unit 172 in FIG.

【０１４２】算術復号器１９０は、符号化残差の生起確
率分布が入力された後、多重分離器１９２から符号化残
差の算術符号を読み込み算術復号する。この際、多重分
離器７２から入力されるマクロブロック情報に基づい
て、復号対象となる符号化残差の算術符号が、イント
ラ、ノンイントラマクロブロックのどちらに帰属するも
のかを判定する。これは、符号化時に符号化残差をどの
ような順序で符号化するかを予め定めておけば、一意に
決定できる。そして、イントラマクロブロックに帰属す
ると判定した場合には、イントラ用の生起確率を用いて
復号し、反対にノンイントラマクロブロックに帰属する
と判定した場合には、ノンイントラ用の生起確率を用い
て復号する。これによって符号化残差の算術符号が復号
され、符号化残差が得られる。After receiving the occurrence probability distribution of the coding residual, the arithmetic decoder 190 reads the arithmetic code of the coding residual from the demultiplexer 192 and performs arithmetic decoding. At this time, based on the macroblock information input from the demultiplexer 72, it is determined whether the arithmetic code of the coding residual to be decoded belongs to an intra or non-intra macroblock. This can be uniquely determined by previously determining in what order the coding residuals are to be coded at the time of coding. Then, when it is determined to belong to the intra macroblock, decoding is performed using the occurrence probability for intra, and when it is determined to belong to the non-intra macroblock, decoding is performed using the occurrence probability for non-intra. I do. As a result, the arithmetic code of the encoded residual is decoded, and the encoded residual is obtained.

【０１４３】第１６の実施の形態では、上記第１５の実
施の形態によって得られるベースレイヤ符号列とエンハ
ンスメントレイヤ符号列とから、ロスのない復号画像を
得ることができる。In the sixteenth embodiment, a lossless decoded image can be obtained from the base layer code sequence and the enhancement layer code sequence obtained in the fifteenth embodiment.

【０１４４】〔第１７の実施の形態〕図２３は、第１７
の実施の形態による階層的画像符号化装置の回路図であ
る。第１７の実施の形態による画像符号化装置につい
て、図２３を参照して詳述する。装置の構成は、変換係
数の頻度分布算出部２１０、符号化残差の生起確率算出
部２１１以外は、図２１と同じである。[Seventeenth Embodiment] FIG.
1 is a circuit diagram of a hierarchical image encoding device according to an embodiment. An image encoding device according to a seventeenth embodiment will be described in detail with reference to FIG. The configuration of the apparatus is the same as that of FIG. 21 except for the frequency distribution calculation unit 210 of the transform coefficient and the occurrence probability calculation unit 211 of the coding residual.

【０１４５】変換係数の頻度分布算出部２１０は、可逆
な離散コサイン変換回路５１から出力される変換係数
を、動き推定および補償回路５０から出力されるマクロ
ブロック情報に基づいて集計し、変換係数の頻度分布を
求めて出力する。符号化残差の生起確率算出部２１１
は、量子化スケール値集計部１７０から出力される量子
化スケールの頻度分布と、量子化マトリクス値と、変換
係数の頻度分布算出部２１０から出力される変換係数の
頻度分布とに基づいて、符号化残差の生起確率を算出し
て出力する。The transform coefficient frequency distribution calculating section 210 counts the transform coefficients output from the reversible discrete cosine transform circuit 51 based on the macroblock information output from the motion estimation and compensation circuit 50, and calculates the transform coefficients. Obtain and output the frequency distribution. Encoding residual occurrence probability calculating section 211
Is based on the frequency distribution of the quantization scale output from the quantization scale value summation unit 170, the quantization matrix value, and the frequency distribution of the transform coefficient output from the frequency distribution calculation unit 210 of the transform coefficient. Calculate and output the probability of occurrence of the coded residual.

【０１４６】次に、動作について説明する。基本的な動
作は、図２１と同じであるが、ここでは、可逆離散コサ
イン変換回路５１から出力される変換係数を、変換係数
の頻度分布算出部２１０にも入力させている。Next, the operation will be described. The basic operation is the same as that of FIG. 21, but here, the transform coefficient output from the reversible discrete cosine transform circuit 51 is also input to the transform coefficient frequency distribution calculator 210.

【０１４７】変換係数の頻度分布算出部２１０では、変
換係数の各周波数インデックス(i,j) ごとに別々に、可
逆な離散コサイン変換の変換係数の値として、どの値が
どれだけ生起したかが、ある定められた符号化周期ごと
に集計される。この際、動き推定および補償回路５０か
ら入力されるマクロブロック情報に基づいて、入力され
る変換係数が、イントラ、ノンイントラマクロブロック
のどちらのものかを区別し、別々に集計する。そして、
イントラ、ノンイントラマクロブロックの両方に対して
変換係数の頻度分布を求めて出力する。The frequency distribution calculating section 210 of the transform coefficient separately calculates, for each frequency index (i, j) of the transform coefficient, what value and how many transform coefficients of the reversible discrete cosine transform have occurred. , For each predetermined coding cycle. At this time, based on the macroblock information input from the motion estimation and compensation circuit 50, whether the input transform coefficient is an intra or non-intra macroblock is discriminated and totaled separately. And
A frequency distribution of transform coefficients is obtained for both intra and non-intra macroblocks and output.

【０１４８】符号化残差の生起確率算出部２１１では、
符号化残差の生起確率が算出される。符号化残差の生起
確率算出部２１１の動作は、基本的には、図２１の符号
化残差の生起確率算出部１７２と同じである。しかし、
さらに、変換係数の頻度分布算出部２１０から出力され
る変換係数の頻度分布に基づいて、各変換係数の頻度分
布のデータを更新する。更新された頻度分布は、次の符
号化周期での符号化残差の生起確率算出に用いられる。
頻度分布を更新する方式としては、例えば、図１２の符
号化残差の生起確率算出部１１１の説明で述べた方式を
用いることができる。これ以外の部分の動作は、図２１
と同様である。In the encoding residual occurrence probability calculating section 211,
An occurrence probability of the coding residual is calculated. The operation of the coding residual occurrence probability calculation unit 211 is basically the same as the coding residual occurrence probability calculation unit 172 of FIG. But,
Further, based on the frequency distribution of the transform coefficients output from the frequency distribution calculator 210, the data of the frequency distribution of each transform coefficient is updated. The updated frequency distribution is used for calculating the occurrence probability of the coding residual in the next coding cycle.
As a method of updating the frequency distribution, for example, the method described in the description of the encoding residual occurrence probability calculation unit 111 in FIG. 12 can be used. The operation of the other parts is shown in FIG.
Is the same as

【０１４９】なお、図２３の装置は、図１８の装置を変
形して得られたものであるが、同様のことを、図１９の
装置に対しても行うことができる。Although the device shown in FIG. 23 is obtained by modifying the device shown in FIG. 18, the same can be applied to the device shown in FIG.

【０１５０】第１７の実施の形態では、変換係数の頻度
分布を入力画像によって適応的に更新するため、入力ビ
デオ信号の性質を符号化に反映させることができる上、
イントラとノンイントラと性質の異なる変換係数の符号
化残差を、それぞれに適した生起確率を用いて算術符号
化するため、さらに符号化効率を向上させることができ
る。In the seventeenth embodiment, since the frequency distribution of the transform coefficients is adaptively updated according to the input image, the characteristics of the input video signal can be reflected in the encoding.
Since the coding residuals of the transform coefficients having different properties between intra and non-intra are arithmetically coded by using the occurrence probabilities suitable for each, the coding efficiency can be further improved.

【０１５１】〔第１８の実施の形態〕図２４は、第１８
の実施の形態による階層的画像復号装置の回路図であ
る。第１８の実施の形態による画像復号装置について、
図２４を参照して詳述する。なお、この画像復号装置
は、上記第１７の実施の形態による符号化装置（図２３
参照）により符号化された画像信号を復号するものであ
る。[Eighteenth Embodiment] FIG.
FIG. 10 is a circuit diagram of a hierarchical image decoding device according to the embodiment. Regarding the image decoding device according to the eighteenth embodiment,
Details will be described with reference to FIG. This image decoding apparatus is an encoding apparatus according to the seventeenth embodiment (FIG. 23).
) Is decoded.

【０１５２】装置の構成は、変換係数の頻度分布算出部
２３０、符号化残差の生起確率算出部２３１以外は、図
２２と同じである。変換係数の頻度分布算出部２３０
は、多重分離器７２から出力されるマクロブロック情報
に基づいて、加算器３４から出力される変換係数を集計
し、変換係数の頻度分布を求めて出力する。符号化残差
の生起確率算出部２３１は、多重分離器１９２から出力
される量子化スケール値の頻度分布と、多重分離器７２
から出力される量子化マトリクス値と、変換係数の頻度
分布算出部２３０から出力される変換係数の頻度分布と
に基づいて、符号化残差の生起確率を算出して出力す
る。The configuration of the apparatus is the same as that of FIG. 22 except for the frequency distribution calculation unit 230 for transform coefficients and the occurrence probability calculation unit 231 for coding residuals. Conversion coefficient frequency distribution calculator 230
Collects the transform coefficients output from the adder 34 based on the macroblock information output from the demultiplexer 72, and calculates and outputs the frequency distribution of the transform coefficients. The encoding residual occurrence probability calculation unit 231 calculates the frequency distribution of the quantization scale value output from the demultiplexer 192 and the demultiplexer 72.
Based on the quantization matrix value output from, and the frequency distribution of the transform coefficients output from the frequency distribution calculation unit 230 of the transform coefficients, the occurrence probability of the coding residual is calculated and output.

【０１５３】次に、動作について説明する。基本的な動
作は、図２２と同じであるが、ここでは、加算器３４か
ら出力される変換係数を、変換係数の頻度分布算出部２
３０にも入力させている。変換係数の頻度分布算出部２
３０の動作は、図２３の変換係数の頻度分布算出部２１
０と同じで、変換係数の頻度分布を符号化残差の生起確
率算出部２３１に出力する。符号化残差の生起確率算出
部２３１の動作も、図２３の符号化残差の生起確率算出
部２１１と同じで、符号化残差の生起確率が出力され
る。これ以外の部分は、図２２と同様である。Next, the operation will be described. The basic operation is the same as that of FIG. 22, but here, the conversion coefficient output from the adder 34 is
30 is also input. Conversion coefficient frequency distribution calculation unit 2
The operation of 30 is performed by the frequency distribution calculating unit 21 of the conversion coefficient shown in FIG.
As in the case of 0, the frequency distribution of the transform coefficient is output to the coding residual occurrence probability calculation unit 231. The operation of the coding residual occurrence probability calculation unit 231 is the same as that of the coding residual occurrence probability calculation unit 211 in FIG. 23, and outputs the coding residual occurrence probability. The other parts are the same as in FIG.

【０１５４】第１８の実施の形態では、第１７の実施の
形態によって得られるベースレイヤ符号列とエンハンス
メントレイヤ符号列とから、ロスのない復号画像を得る
ことができる。In the eighteenth embodiment, a lossless decoded image can be obtained from the base layer code sequence and the enhancement layer code sequence obtained by the seventeenth embodiment.

【０１５５】[0155]

【発明の効果】以上説明したように、本発明の符号化方
式は、符号化残差（量子化残差）の生起確率を適応的に
求めてその符号化を行うため、エンハンスメントレイヤ
符号化の符号化効率を向上させることができる。それに
より、全体の発生符号量をより小さくさせることができ
る。また、本発明では、変換係数の量子化に用いた量子
化スケール値を集計し、その集計結果に基づいて生起確
率を適応的に算出している。そのため、ベースレイヤで
の量子化制御の内容に関わらす、エンハンスメントレイ
ヤの符号化効率を常に高く維持させることができる。ま
た、本発明は、ベースレイヤの符号化方式として、MPEG
-2に準拠した方式を用いることで、MPEG-2互換な階層的
可逆符号化方式を構築することも容易である。そのよう
にした場合には、可逆離散コサイン変換の変換係数は通
常の離散コサイン変換の変換係数に近い値が得られるた
め、通常のMPEG-2復号器を復号に用いることができる。
他方の本発明の復号方式は、本発明の符号化方式で符号
化された画像信号をロスレスに復号することができる。As described above, according to the coding method of the present invention, the occurrence probability of a coding residual (quantized residual) is adaptively obtained and coding is performed. Encoding efficiency can be improved. This makes it possible to further reduce the entire generated code amount. In the present invention, the quantization scale values used for the quantization of the transform coefficients are totalized, and the occurrence probability is adaptively calculated based on the totaled result. For this reason, the coding efficiency of the enhancement layer can always be kept high regardless of the content of the quantization control in the base layer. In addition, the present invention provides MPEG coding as a base layer coding method.
It is easy to construct a hierarchical lossless encoding method compatible with MPEG-2 by using a method compliant with -2. In such a case, since a transform coefficient of the reversible discrete cosine transform is close to a transform coefficient of the normal discrete cosine transform, a normal MPEG-2 decoder can be used for decoding.
The other decoding method of the present invention can losslessly decode an image signal encoded by the encoding method of the present invention.

【図面の簡単な説明】[Brief description of the drawings]

【図１】第１の実施の形態による階層的画像符号化装置
を示す回路図である。FIG. 1 is a circuit diagram illustrating a hierarchical image encoding device according to a first embodiment.

【図２】第２の実施の形態による階層的画像復号装置を
示す回路図である。FIG. 2 is a circuit diagram illustrating a hierarchical image decoding device according to a second embodiment.

【図３】第３の実施の形態による階層的画像符号化装置
を示す回路図である。FIG. 3 is a circuit diagram illustrating a hierarchical image encoding device according to a third embodiment.

【図４】図３の符号化残差の生起確率算出部９２の処理
例を示すフローチャートである。FIG. 4 is a flowchart illustrating a processing example of an encoding residual occurrence probability calculation unit 92 in FIG. 3;

【図５】図４中のステップ３０１での処理例の詳細を示
すフローチャートである。FIG. 5 is a flowchart showing details of a processing example in step 301 in FIG. 4;

【図６】図４中のステップ３０２での処理例の詳細を示
すフローチャートである。FIG. 6 is a flowchart illustrating details of a processing example in step 302 in FIG. 4;

【図７】図４の符号化残差の生起確率算出部９２の他の
処理例を示すフローチャートである。7 is a flowchart illustrating another example of the processing of the coding residual occurrence probability calculating unit 92 in FIG. 4;

【図８】図４または図７中のステップ３０１での他の処
理例の詳細を示すフローチャートである。FIG. 8 is a flowchart showing details of another processing example in step 301 in FIG. 4 or FIG.

【図９】第４の実施の形態による階層的画像符号化装置
を示す回路図である。FIG. 9 is a circuit diagram illustrating a hierarchical image encoding device according to a fourth embodiment.

【図１０】第５の実施の形態による階層的画像復号装置
を示す回路図である。FIG. 10 is a circuit diagram illustrating a hierarchical image decoding device according to a fifth embodiment.

【図１１】第６の実施の形態による階層的画像復号装置
を示す回路図である。FIG. 11 is a circuit diagram illustrating a hierarchical image decoding device according to a sixth embodiment.

【図１２】第７の実施の形態による階層的画像符号化装
置を示す回路図である。FIG. 12 is a circuit diagram illustrating a hierarchical image encoding device according to a seventh embodiment.

【図１３】第８の実施の形態による階層的画像復号装置
を示す回路図である。FIG. 13 is a circuit diagram illustrating a hierarchical image decoding device according to an eighth embodiment.

【図１４】第９の実施の形態による階層的画像符号化装
置を示す回路図である。FIG. 14 is a circuit diagram illustrating a hierarchical image encoding device according to a ninth embodiment.

【図１５】図１４中の多重化器から出力されるエンハン
スメントレイヤ符号列の構成例を示す図である。15 is a diagram illustrating a configuration example of an enhancement layer code string output from the multiplexer in FIG.

【図１６】第１０の実施の形態による階層的画像符号化
装置を示す回路図である。FIG. 16 is a circuit diagram illustrating a hierarchical image encoding device according to a tenth embodiment.

【図１７】第１１の実施の形態による階層的画像復号装
置を示す回路図である。FIG. 17 is a circuit diagram illustrating a hierarchical image decoding device according to an eleventh embodiment.

【図１８】第１２の実施の形態による階層的画像符号化
装置を示す回路図である。FIG. 18 is a circuit diagram illustrating a hierarchical image encoding device according to a twelfth embodiment.

【図１９】第１３の実施の形態による階層的画像符号化
装置を示す回路図である。FIG. 19 is a circuit diagram illustrating a hierarchical image encoding device according to a thirteenth embodiment.

【図２０】第１４の実施の形態による階層的画像復号装
置を示す回路図である。FIG. 20 is a circuit diagram illustrating a hierarchical image decoding device according to a fourteenth embodiment.

【図２１】第１５の実施の形態による階層的画像符号化
装置を示す回路図である。FIG. 21 is a circuit diagram illustrating a hierarchical image encoding device according to a fifteenth embodiment.

【図２２】第１６の実施の形態による階層的画像復号装
置を示す回路図である。FIG. 22 is a circuit diagram illustrating a hierarchical image decoding device according to a sixteenth embodiment.

【図２３】第１７の実施の形態による階層的画像符号化
装置を示す回路図である。FIG. 23 is a circuit diagram illustrating a hierarchical image encoding device according to a seventeenth embodiment.

【図２４】第１８の実施の形態による階層的画像復号装
置を示す回路図である。FIG. 24 is a circuit diagram illustrating a hierarchical image decoding device according to an eighteenth embodiment.

【図２５】可逆離散コサイン変換とMPEG-2のSNR スケー
ラビリティを組み合わせて実現した、従来の階層符号化
装置を示す回路図である。FIG. 25 is a circuit diagram showing a conventional hierarchical encoding device realized by combining reversible discrete cosine transform and SNR scalability of MPEG-2.

【図２６】可逆離散コサイン変換とMPEG-2のSNR スケー
ラビリティを組み合わせて実現した、従来の階層復号装
置を示す回路図である。FIG. 26 is a circuit diagram showing a conventional hierarchical decoding device realized by combining reversible discrete cosine transform and SNR scalability of MPEG-2.

【符号の説明】[Explanation of symbols]

１ 減算器 ３ 量子化制御部 ４ 量子化器 ５ 逆量子化器 １４ 符号変換部 ３０ 符号変換部 ３２ 逆量子化器 ３４ 加算器 ３６ 加算器 ３７ 動き補償回路 ５０ 動き推定および補償回路 ５１ 可逆離散コサイン変換回路 ５２ 符号変換部 ５３ 減算器 ５４ 多重化器 ５５ 多重化器 ６０ 動き推定および補償回路 ６１ 動き補償回路 ６２ 減算器 ６３ 可逆離散コサイン変換回路 ６４ 加算器 ６５ 可逆離散コサイン逆変換回路 ６６ 減算器 ６７ 減算器 ７０ 符号変換部 ７１ 可逆離散コサイン逆変換回路 ７２ 多重分離器 ７３ 多重分離器 ９０ 量子化スケール値集計部 ９１ 算術符号化器 ９２ 符号化残差の生起確率算出部 ９３ 多重化器 ９４ バッファ ９５ 多重化器 １１０ 変換係数の頻度分布算出部 １１１ 符号化残差の生起確率算出部 １３０ 算術復号器 １３１ 符号化残差の生起確率算出部 １３２ 多重分離器 １３３ バッファ １３４ 多重分離器 １３５ 符号化残差の生起確率算出部 １５０ 変換係数の頻度分布算出部 １５１ 符号化残差の生起確率算出部 １７０ 量子化スケール値集計部 １７１ 算術符号化器 １７２ 符号化残差の生起確率算出部 １７３ 多重化器 １９０ 算術復号器 １９１ 符号化残差の生起確率算出部 １９２ 多重分離器 ２１０ 変換係数の頻度分布算出部 ２１１ 符号化残差の生起確率算出部 ２３０ 変換係数の頻度分布算出部 ２３１ 符号化残差の生起確率算出部 ５００ ベースレイヤ符号化器 ５０１ 算術符号化器 ５０２ 生起確率算出部 ５０３ 多重化器 ５２０ ベースレイヤ符号化器 ５４０ ベースレイヤ符号化器 ６００ ベースレイヤ復号器 ６０１ 算術復号器 ６０２ 生起確率算出部 ６０３ 多重分離器 ６２０ ベースレイヤ復号器 ６２１ ベースレイヤ復号器 ６４０ ベースレイヤ復号器 DESCRIPTION OF SYMBOLS 1 Subtractor 3 Quantization control part 4 Quantizer 5 Dequantizer 14 Code conversion part 30 Code conversion part 32 Dequantizer 34 Adder 36 Adder 37 Motion compensation circuit 50 Motion estimation and compensation circuit 51 Reversible discrete cosine Conversion circuit 52 Code conversion unit 53 Subtractor 54 Multiplexer 55 Multiplexer 60 Motion estimation and compensation circuit 61 Motion compensation circuit 62 Subtractor 63 Reversible discrete cosine transform circuit 64 Adder 65 Reversible discrete cosine inverse transform circuit 66 Subtractor 67 Subtractor 70 Code conversion unit 71 Reversible discrete cosine inverse conversion circuit 72 Demultiplexer 73 Demultiplexer 90 Quantization scale value summation unit 91 Arithmetic encoder 92 Encoding residual occurrence probability calculation unit 93 Multiplexer 94 Buffer 95 Multiplexer 110 Transform coefficient frequency distribution calculation unit 111 Encoding residual occurrence probability calculation unit 130 Arithmetic recovery Coder 131 Encoding residual occurrence probability calculating unit 132 Demultiplexer 133 Buffer 134 Demultiplexer 135 Encoding residual occurrence probability calculating unit 150 Transform coefficient frequency distribution calculating unit 151 Encoding residual occurrence calculating unit 170 Quantization scale value totaling unit 171 Arithmetic encoder 172 Encoding residual occurrence probability calculating unit 173 Multiplexer 190 Arithmetic decoder 191 Encoding residual occurrence occurrence calculating unit 192 Demultiplexer 210 Frequency distribution of transform coefficient Calculation unit 211 Coding residual occurrence probability calculation unit 230 Transform coefficient frequency distribution calculation unit 231 Coding residual occurrence probability calculation unit 500 Base layer encoder 501 Arithmetic encoder 502 Occurrence probability calculation unit 503 Multiplexer 520 base layer encoder 540 base layer encoder 600 base layer decoder 601 arithmetic decoder 60 Occurrence probability calculating unit 603 demultiplexer 620 base layer decoder 621 base layer decoder 640 base layer decoder

Claims (19)

【特許請求の範囲】[Claims] 【請求項１】 符号化の対象とする原画像信号を階層的
に符号化する符号化方式であって、 前記原画像信号を符号化して、ベースレイヤ符号列を出
力するとともに、量子化情報、及び符号化残差を出力す
る第１の符号化手段と、 前記量子化情報から符号化残差の生起確率を算出する生
起確率算出手段と、 前記符号化残差の生起確率に基づいて、前記符号化残差
を符号化して符号化残差符号を出力する第２の符号化手
段と、 前記符号化残差符号と前記量子化情報とを多重化してエ
ンハンスメントレイヤ符号列として出力する多重化手段
とを有することを特徴とする階層的画像符号化方式。1. An encoding method for hierarchically encoding an original image signal to be encoded, comprising encoding the original image signal and outputting a base layer code sequence, And a first encoding unit that outputs an encoding residual; an occurrence probability calculating unit that calculates an occurrence probability of an encoding residual from the quantization information; and A second encoding unit that encodes an encoding residual to output an encoding residual code, and a multiplexing unit that multiplexes the encoding residual code and the quantization information and outputs the result as an enhancement layer code sequence. And a hierarchical image encoding method. 【請求項２】 前記符号化残差は、前記第１の符号化手
段が前記原画像信号に対して可逆変換符号化を行って得
られる変換係数を量子化した際に生じる符号化残差であ
り、 前記量子化情報は、量子化スケール値の頻度分布と量子
化マトリクスとを含み、 前記生起確率算出手段は、前記量子化スケール値の頻度
分布、前記量子化マトリクス、及び、予め用意された変
換係数の頻度分布に基づいて、前記符号化残差の生起確
率を算出し、 前記第２の符号化手段は、前記符号化残差を、前記符号
化残差の生起確率に基づいて周波数インデックスが同じ
変換係数ごとに可変長符号化することを特徴とする請求
項１記載の階層的画像符号化方式。2. The encoding residual is an encoding residual generated when the first encoding unit quantizes a transform coefficient obtained by performing lossless transform encoding on the original image signal. The quantization information includes a frequency distribution of a quantization scale value and a quantization matrix, and the occurrence probability calculation means includes a frequency distribution of the quantization scale value, the quantization matrix, and a Based on the frequency distribution of the transform coefficients, calculate the occurrence probability of the coding residual, the second encoding means, the coding residual, frequency index based on the occurrence probability of the coding residual 2. The hierarchical image encoding method according to claim 1, wherein the variable-length encoding is performed for each of the same transform coefficients. 【請求項３】 前記第１の符号化手段が前記原画像信号
に対して可逆変換符号化を行って得られる変換係数を集
計して、前記変換係数の頻度分布を求める第１の集計手
段を更に具備し、 前記生起確率算出手段は、前記変換係数の頻度分布に基
づいて、前記符号化残差の生起確率を更新させることを
特徴とする請求項１または２に記載の階層的画像符号化
方式。3. The first counting means for calculating the frequency distribution of the transform coefficients by summing up the transform coefficients obtained by performing the lossless transform coding on the original image signal by the first coding means. 3. The hierarchical image coding apparatus according to claim 1, further comprising: the occurrence probability calculation unit updating the occurrence probability of the coding residual based on a frequency distribution of the transform coefficient. method. 【請求項４】 前記第１の符号化手段は、 前記原画像信号に対して動き推定あるいは動き補償を行
って、動き補償予測画像信号を生成するとともに、マク
ロブロック情報を出力する第１の画像信号生成手段と、 前記原画像信号から前記動き補償予測画像信号を減じて
予測誤差画像信号を生成する第２の画像信号生成手段
と、 前記予測誤差画像信号に可逆変換を行って変換係数を求
める変換手段と、 前記予測誤差画像信号に基づいて、前記マクロブロック
ごとに量子化スケール値を決定する量子化スケール値決
定手段と、 前記量子化スケール値、量子化マトリクス、及び前記マ
クロブロック情報に基づいて、前記変換係数を量子化し
て量子化値を出力する量子化手段と、 前記マクロブロック情報および予め定められた符号表に
基づいて、前記量子化値を可変長符号化することによ
り、前記量子化値の可変長符号を出力する可変長符号化
手段と、 前記量子化値の可変長符号、前記量子化マトリクス、前
記量子化スケール値、及び前記マクロブロック情報を多
重化し、前記ベースレイヤ符号列として出力するベース
レイヤ多重化手段と、 前記量子化スケール値、前記量子化マトリクス、及び前
記マクロブロック情報に基づいて、前記量子化値を逆量
子化して逆量子化値を出力する逆量子化手段と、 前記変換係数から前記逆量子化値を減じて符号化残差を
算出する符号化残差算出手段と、 前記量子化スケール値を所定の符号化周期で集計し、前
記量子化スケール値の頻度分布を出力する第２の集計手
段とを有し、 前記生起確率算出手段は、前記量子化スケール値の頻度
分布に基づいて、前記符号化残差の生起確率を更新する
ことを特徴とする請求項１、２または３に記載の階層的
画像符号化方式。4. The first encoding unit performs motion estimation or motion compensation on the original image signal to generate a motion-compensated predicted image signal and outputs a macroblock information. Signal generation means; second image signal generation means for subtracting the motion compensated prediction image signal from the original image signal to generate a prediction error image signal; and performing lossless transformation on the prediction error image signal to obtain a conversion coefficient. Conversion means, quantization scale value determination means for determining a quantization scale value for each macroblock based on the prediction error image signal, and based on the quantization scale value, quantization matrix, and the macroblock information A quantizing unit that quantizes the transform coefficient and outputs a quantized value, based on the macroblock information and a predetermined code table, A variable-length encoding unit that outputs a variable-length code of the quantization value by performing variable-length encoding on the quantization value; a variable-length code of the quantization value, the quantization matrix, the quantization scale value, Base layer multiplexing means for multiplexing the macro block information and outputting the multiplexed macro block information as the base layer code sequence; and inverting the quantization value based on the quantization scale value, the quantization matrix, and the macro block information. Inverse quantization means for quantizing and outputting an inverse quantization value; encoding residual calculating means for subtracting the inverse quantization value from the transform coefficient to calculate an encoding residual; and setting the quantization scale value to a predetermined value. And a second summing unit that outputs the frequency distribution of the quantization scale value, wherein the occurrence probability calculation unit calculates the frequency distribution of the quantization scale value based on the frequency distribution of the quantization scale value. Hierarchical image coding method according to claim 1, 2 or 3, characterized in that updating the occurrence probability of the encoded residual. 【請求項５】 前記ベースレイヤ多重化手段は、前記ベ
ースレイヤ符号列の他に、該ベースレイヤ符号列の符号
量情報を出力し、 前記量子化スケール値決定手段は、前記予測誤差画像信
号、及び前記符号量情報に基づいて、前記マクロブロッ
クごとに量子化スケール値を決定することを特徴とする
請求項４に記載の階層的画像符号化方式。5. The base layer multiplexing unit outputs code amount information of the base layer code sequence in addition to the base layer code sequence, and the quantization scale value determining unit outputs the prediction error image signal, The hierarchical image encoding method according to claim 4, wherein a quantization scale value is determined for each macroblock based on the code amount information. 【請求項６】 前記第１の符号化手段は、 前記原画像信号と局所復号画像信号との間で動き推定を
行い、該推定結果を基に前記局所復号画像信号に動き補
償を行って第１の動き補償予測画像信号を生成するとと
もに、マクロブロック情報を出力する第１の画像信号生
成手段と、 前記原画像信号から、前記第１の動き補償予測画像信号
を減じて第１の予測誤差画像信号を生成する第２の画像
信号生成手段と、 前記第１の予測誤差画像信号に可逆変換を行って第１の
変換係数を求める第１の変換手段と、 前記第１の予測誤差画像信号に基づいて、マクロブロッ
クごとに量子化スケール値を決定する量子化スケール値
決定手段と、 量子化マトリクス、前記量子化スケール値、及び前記マ
クロブロック情報に基づいて、前記第１の変換係数を量
子化して量子化値を出力する量子化手段と、 前記マクロブロック情報および予め定められた符号表に
基づいて、前記量子化値を可変長符号化して該量子化値
の可変長符号を出力する可変長符号化手段と、 前記量子化値の可変長符号、前記量子化マトリクス、前
記量子化スケール値、及び前記マクロブロック情報を多
重化し、前記ベースレイヤ符号列として出力するベース
レイヤ多重化手段と、 前記量子化スケール値、前記量子化マトリクス、及び前
記マクロブロック情報に基づいて、前記量子化値を逆量
子化して逆量子化値を出力する逆量子化手段と、 前記逆量子化値に可逆変換の逆変換を行って、局所復号
予測誤差画像信号を生成する第３の画像信号生成手段
と、 前記局所復号予測誤差画像信号に前記第１の動き補償予
測画像信号を加えて前記局所復号画像を生成する第４の
画像信号生成手段と、 前記マクロブロック情報に基づいて前記原画像信号に対
して動き補償を行い、第２の動き補償予測画像信号を生
成する第５の画像信号生成手段と、 前記原画像信号から前記第２の動き補償予測画像信号を
減じて第２の予測誤差画像信号を生成する第６の画像信
号生成手段と、 前記第２の予測誤差画像信号に可逆変換を行って第２の
変換係数を求める第２の変換手段と、 前記第２の変換係数から前記逆量子化値を減じて、前記
符号化残差を求める符号化残差算出手段と、 前記量子化スケール値を所定の符号化周期で集計し、該
量子化スケール値の頻度分布を出力する第１の集計手段
とを有し、 前記生起確率算出手段は、前記量子化スケール値の頻度
分布に基づいて、前記符号化残差の生起確率を更新する
ことを特徴とする請求項１または２に記載の階層的画像
符号化方式。6. The first encoding unit performs motion estimation between the original image signal and the locally decoded image signal, and performs motion compensation on the locally decoded image signal based on the estimation result. A first image signal generating means for generating a motion-compensated predicted image signal and outputting macroblock information; and a first prediction error obtained by subtracting the first motion-compensated predicted image signal from the original image signal. Second image signal generating means for generating an image signal; first converting means for performing a reversible conversion on the first prediction error image signal to obtain a first conversion coefficient; and the first prediction error image signal And a quantization scale value determining means for determining a quantization scale value for each macroblock based on the macroblock information, a quantization matrix, the quantization scale value, and the first transform coefficient based on the macroblock information. Conversion A quantizing unit that outputs a quantized value, and a variable length that outputs a variable length code of the quantized value based on the macroblock information and a predetermined code table. Encoding means; base layer multiplexing means for multiplexing the variable length code of the quantization value, the quantization matrix, the quantization scale value, and the macroblock information, and outputting the multiplexed information as the base layer code sequence; A dequantization unit that dequantizes the quantized value and outputs a dequantized value based on the quantized scale value, the quantized matrix, and the macroblock information; Third image signal generating means for performing an inverse transformation to generate a local decoded prediction error image signal; and adding the first motion compensation predicted image signal to the local decoded prediction error image signal. A fourth image signal generating means for generating the local decoded image, a fifth image for performing motion compensation on the original image signal based on the macroblock information, and generating a second motion-compensated predicted image signal Signal generation means; sixth image signal generation means for subtracting the second motion-compensated prediction image signal from the original image signal to generate a second prediction error image signal; A second transform unit for performing a reversible transform to obtain a second transform coefficient; an encoding residual calculating unit for subtracting the inverse quantization value from the second transform coefficient to obtain the encoding residual; First counting means for counting the quantization scale value at a predetermined encoding cycle and outputting a frequency distribution of the quantization scale value; and Based on the distribution, the coding residual Hierarchical image coding method according to claim 1 or 2, characterized in that updating the electromotive probability. 【請求項７】 前記ベースレイヤ多重化手段は、前記ベ
ースレイヤ符号列の他に、該ベースレイヤ符号列の符号
量情報を出力し、 前記量子化スケール値決定手段は、前記第１の予測誤差
画像信号、及び前記符号量情報に基づいて、前記マクロ
ブロックごとに量子化スケール値を決定することを特徴
とする請求項６に記載の階層的画像符号化方式。7. The base layer multiplexing unit outputs code amount information of the base layer code sequence in addition to the base layer code sequence. The quantization scale value determining unit outputs the first prediction error The hierarchical image encoding method according to claim 6, wherein a quantization scale value is determined for each macroblock based on an image signal and the code amount information. 【請求項８】 前記第１の符号化手段が前記原画像信号
に対して可逆変換符号化を行って得られる変換係数を集
計して、前記変換係数の頻度分布を求める第２の集計手
段を更に具備し、 前記生起確率算出手段は、前記変換係数の頻度分布に基
づいて、前記符号化残差の生起確率を更新させることを
特徴とする請求項６または７に記載の階層的画像符号化
方式。8. The second counting means for calculating the frequency distribution of the transform coefficients by totalizing the transform coefficients obtained by the first encoding means performing the lossless transform coding on the original image signal. 8. The hierarchical image coding method according to claim 6, further comprising: the occurrence probability calculation unit updates the occurrence probability of the encoding residual based on a frequency distribution of the transform coefficient. method. 【請求項９】 前記第２の変換係数を集計して、該第２
の変換係数の頻度分布を出力する第２の集計手段を更に
有し、 前記生起確率算出手段は、前記第２の変換係数の頻度分
布に基づいて、前記符号化残差の生起確率を更新するこ
とを特徴とする請求項６または８に記載の階層的画像符
号化方式。9. The method according to claim 9, wherein the second conversion coefficients are totaled and the second conversion coefficient is calculated.
And a second totaling unit that outputs a frequency distribution of the transform coefficient, wherein the occurrence probability calculating unit updates the occurrence probability of the coding residual based on the frequency distribution of the second transform coefficient. 9. The hierarchical image coding method according to claim 6, wherein: 【請求項１０】 前記第１の集計手段は、前記マクロブ
ロック情報に基づいて、前記頻度分布の集計をブロック
の種類別に行い、 前記生起確率算出手段は、前記マクロブロック情報に基
づいて、前記符号化残差の生起確率の算出を前記ブロッ
クの種類別に行い、 前記第２の符号化手段は、前記符号化残差の生起確率を
ブロックの種類別に用いて符号化を行うことを特徴とす
る請求項３、４、５、６または７の何れか１項に記載の
階層的画像符号化方式。10. The first counting means calculates the frequency distribution for each type of block based on the macroblock information, and the occurrence probability calculation means calculates the code based on the macroblock information. The occurrence probability of the coded residual is calculated for each type of the block, and the second encoding unit performs the encoding using the occurrence probability of the coded residual for each type of the block. Item 8. The hierarchical image coding method according to any one of Items 3, 4, 5, 6, and 7. 【請求項１１】 前記第２の集計手段は、前記マクロブ
ロック情報に基づいて、前記頻度分布をブロックの種類
別に集計し、 前記生起確率算出手段は、前記ブロックの種類別に集計
された頻度分布に基づいて、前記符号化残差の生起確率
を前記ブロックの種類別に更新し、 前記第２の符号化手段は、前記符号化残差の生起確率を
ブロックの種類別に用いて符号化を行うことを特徴とす
る請求項４、５、６、８または９に記載の階層的画像符
号化方式。11. The second counting means counts the frequency distribution for each type of block based on the macroblock information, and the occurrence probability calculation means calculates a frequency distribution calculated for each type of block. Updating the probability of occurrence of the coding residual based on the type of the block, and performing the coding using the probability of occurrence of the coding residual for the type of block. 10. The hierarchical image encoding method according to claim 4, 5, 6, 8, or 9. 【請求項１２】 前記ブロックは、イントラブロックか
否かにより種類分けしていることを特徴とする請求項１
０または１１に記載の階層的画像符号化方式。12. The method according to claim 1, wherein the blocks are classified according to whether they are intra blocks or not.
12. The hierarchical image coding method according to 0 or 11. 【請求項１３】 請求項１記載の階層的画像符号化方式
によって符号化された原画像信号を復号する方式であっ
て、 前記エンハンスメントレイヤ符号列から、前記符号化残
差符号と前記量子化情報とを分離して出力する分離手段
と、 前記量子化情報から符号化残差の生起確率を算出する生
起確率算出手段と、 前記符号化残差の生起確率に基づいて、前記符号化残差
符号を復号して前記符号化残差を出力する第１の復号手
段と、 前記ベースレイヤ符号列を復号し、該復号によって得ら
れた信号に前記符号化残差を加算して前記原画像信号を
復号する第２の復号手段とを有することを特徴とする階
層的画像復号方式。13. A method for decoding an original image signal encoded by the hierarchical image encoding method according to claim 1, wherein the encoded residual code and the quantization information are obtained from the enhancement layer code sequence. Separating means for separating and outputting, the occurrence probability calculating means for calculating the occurrence probability of the coding residual from the quantization information, and the coding residual code based on the occurrence probability of the coding residual. And decoding means for decoding the base layer code sequence, and adding the coding residual to a signal obtained by the decoding to obtain the original image signal. And a second decoding means for decoding. 【請求項１４】 前記生起確率算出手段は、前記量子化
情報として入力した量子化スケール値の頻度分布、量子
化マトリクス、及び予め蓄えられている変換係数の頻度
分布に基づいて、前記符号化残差の生起確率を算出し、 前記第１の復号手段は、前記符号化残差の生起確率に基
づいて、同じ周波数インデックス毎に前記符号化残差符
号を復号することにより、前記符号化残差を出力するこ
とを特徴とする請求項１３に記載の階層的画像復号方
式。14. The occurrence probability calculation means, based on a frequency distribution of a quantization scale value input as the quantization information, a quantization matrix, and a frequency distribution of transform coefficients stored in advance, Calculating the probability of occurrence of the difference, wherein the first decoding means decodes the coded residual code for each same frequency index based on the probability of occurrence of the coded residual, thereby obtaining the coded residual 14. The hierarchical image decoding method according to claim 13, wherein? 【請求項１５】 前記第２の復号手段が前記ベースレイ
ヤ符号列を復号した際に得られる変換係数を集計して、
該変換係数の頻度分布を求める集計手段を有し、 前記生起確率算出手段は、前記変換係数の頻度分布に基
づいて、前記符号化残差の生起確率を更新することを特
徴とする請求項１３または１４に記載の階層的画像復号
方式。15. The conversion coefficient obtained when the second decoding means decodes the base layer code string,
14. An aggregation probability calculating means for calculating a frequency distribution of the transform coefficient, wherein the occurrence probability calculating means updates the occurrence probability of the encoded residual based on the frequency distribution of the transform coefficient. Or the hierarchical image decoding method according to 14. 【請求項１６】 前記第２の復号手段は、 前記ベースレイヤ符号列から、量子化スケール値と量子
化マトリクスとマクロブロック情報と量子化値の可変長
符号とを分離して出力する分離手段と、 前記量子化値の可変長符号を、前記マクロブロック情
報、及び予め定められた符号表に基づいて復号し、量子
化値を出力する量子化値復号手段と、 前記量子化値マトリクス、前記量子化スケール値、及び
前記マクロブロック情報に基づいて、前記量子化値を逆
量子化して逆量子化値を出力する逆量子化手段と、 前記第１の復号手段から出力される前記符号化残差を前
記逆量子化値に加えて変換係数を算出する変換係数算出
手段と、 前記変換係数に、前記階層的画像符号化方式で行われた
変換の逆変換を行って、予測誤差画像信号を生成する第
１の画像信号生成手段と、 前記予測誤差画像信号に動き補償予測画像信号を加算し
て、復号画像信号を生成する第２の画像信号生成手段
と、 前記マクロブロック情報に基づいて、前記復号画像信号
に動き補償を行って前記動き補償予測画像を生成する第
３の画像信号生成手段とを有することを特徴とする請求
項１３または１４に記載の階層的画像復号方式。16. A separating means for separating and outputting a quantization scale value, a quantization matrix, macroblock information, and a variable length code of a quantization value from the base layer code sequence, A quantization value decoding unit that decodes a variable length code of the quantization value based on the macroblock information and a predetermined code table and outputs a quantization value; Dequantizing means for dequantizing the quantized value based on the quantized scale value and the macroblock information to output a dequantized value; and the coding residual output from the first decoding means. Transform coefficient calculating means for calculating a transform coefficient by adding the inverse quantized value to the inverse quantized value, and performing an inverse transform of the transform performed by the hierarchical image coding method on the transform coefficient to generate a prediction error image signal The first An image signal generating unit, a second image signal generating unit that adds a motion compensated prediction image signal to the prediction error image signal to generate a decoded image signal, based on the macroblock information, 15. The hierarchical image decoding method according to claim 13, further comprising a third image signal generating unit configured to generate the motion-compensated predicted image by performing motion compensation. 【請求項１７】 前記変換係数を集計して、該変換係数
の頻度分布を求める集計手段を更に有し、 前記生起確率算出手段は、前記変換係数の頻度分布に基
づいて、前記符号化残差の生起確率を更新することを特
徴とする請求項１６に記載の階層的画像復号方式。17. A counting means for counting the transform coefficients to obtain a frequency distribution of the transform coefficients, wherein the occurrence probability calculating means calculates the coding residual based on the frequency distribution of the transform coefficients. The hierarchical image decoding method according to claim 16, wherein the occurrence probability of is updated. 【請求項１８】 前記集計手段は、前記マクロブロック
情報に基づいて、前記ブロックの種類別に前記変換係数
の頻度分布を集計し、 前記生起確率算出手段は、前記符号化残差の生起確率を
ブロックの種類別に算出し、 前記第１の復号手段は、前記マクロブロック情報に基づ
いて、復号すべき符号化残差符号が対応するブロックの
種類を特定し、該特定結果に応じて前記符号化残差の生
起確率を用いることを特徴とする請求項１５または１７
に記載の階層的画像復号方式。18. The counting means counts the frequency distribution of the transform coefficients for each type of the block based on the macroblock information, and the occurrence probability calculation means calculates the occurrence probability of the coding residual The first decoding means specifies the type of block corresponding to the coded residual code to be decoded based on the macroblock information, and determines the type of the coded residual according to the specified result. 18. The method according to claim 15, wherein a difference occurrence probability is used.
2. The hierarchical image decoding method according to 1. 【請求項１９】 前記ブロックは、イントラブロックか
否かにより種類分けしていることを特徴とする請求項１
８に記載の階層的画像復号方式。19. The method according to claim 1, wherein the blocks are classified according to whether they are intra blocks or not.
9. The hierarchical image decoding method according to 8.