JPH11252573A - Hierarchical image coding system and hierarchical image decoding system - Google Patents
Hierarchical image coding system and hierarchical image decoding systemInfo
- Publication number
- JPH11252573A JPH11252573A JP5402198A JP5402198A JPH11252573A JP H11252573 A JPH11252573 A JP H11252573A JP 5402198 A JP5402198 A JP 5402198A JP 5402198 A JP5402198 A JP 5402198A JP H11252573 A JPH11252573 A JP H11252573A
- Authority
- JP
- Japan
- Prior art keywords
- residual
- quantization
- image signal
- coding
- encoding
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
- H04N19/36—Scalability techniques involving formatting the layers as a function of picture distortion after decoding, e.g. signal-to-noise [SNR] scalability
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/13—Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/187—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scalable video layer
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Abstract
Description
【0001】[0001]
【発明の属する技術分野】本発明は、画像(画像信号)
の圧縮技術に関し、特に圧縮した画像をロスレスに復号
するための技術に関する。[0001] The present invention relates to an image (image signal).
More particularly, the present invention relates to a technique for losslessly decoding a compressed image.
【0002】[0002]
【従来の技術】可逆な画像符号化方式としては、例えば
特願平8−277312号「可逆変換を可能にするディ
ジタル信号の変換符号化方式」に記載されている技術が
ある。これは、離散コサイン変換にもとづく画像の可逆
符号化方式で、通常の離散コサイン変換を用いた符号化
方式を改良して可逆符号化を可能にしている。その技術
をMPEG-2(Moving Picture Experts Group- Phase 2) に
よる符号化方式に適用しても、可逆な画像符号化方式を
構築することができる。2. Description of the Related Art As a reversible image coding method, there is a technique described in Japanese Patent Application No. 8-27712 "Transform coding method of digital signal enabling lossless conversion". This is a reversible coding method for images based on discrete cosine transform, and improves a coding method using ordinary discrete cosine transform to enable lossless coding. Even if this technology is applied to an encoding method based on MPEG-2 (Moving Picture Experts Group-Phase 2), a reversible image encoding method can be constructed.
【0003】さらに、これをMPEG-2(Moving Picture Ex
perts Group- Phase 2) のSNR スケーラビリティと組み
合わせることで、大網,太田:「ロスレスDCT を用いた
階層符号化に関する一検討」(1997年10月,画像符号化
シンポジウム第12回シンポジウム資料,107 〜108 頁)
にあるように、可逆の階層的符号化方式を構築できる。
この方式では、ベースレイヤとエンハンスメントレイヤ
の2つの符号列ができるが、ベースレイヤ符号列は、通
常のMPEG-2復号器でも復号できる。そして、ベースレイ
ヤとエンハンスメントレイヤの各符号列を、特願平8−
277312号に記載の可逆離散コサイン変換の逆変換
を用いて復号すると、原画像と同一の、ロスのない復号
画像が得られる。[0003] Further, this is called MPEG-2 (Moving Picture Ex).
Combined with the perts Group-Phase 2) SNR scalability, Oami, Ota: "A Study on Hierarchical Coding Using Lossless DCT" (October 1997, 12th Symposium on Image Coding, 107- 108
, A reversible hierarchical coding scheme can be constructed.
In this method, two code strings of a base layer and an enhancement layer are formed, but the base layer code string can be decoded even by an ordinary MPEG-2 decoder. Then, the respective code strings of the base layer and the enhancement layer are referred to in Japanese Patent Application No.
When decoding is performed using the inverse transform of the reversible discrete cosine transform described in No. 277312, a decoded image without loss that is the same as the original image is obtained.
【0004】図25は、可逆の階層的符号化方式を採用
した従来の符号化装置の回路図である。図25におい
て、動き推定および補償回路50は、入力ビデオ信号
(原画像信号)に対して動き補償を行って、動き補償予
測画像信号を作成して出力する。これと同時に、マクロ
ブロック情報を出力する。減算器1は、動き推定および
補償回路50から出力される動き補償予測画像信号を入
力ビデオ信号から減じて予測誤差画像を出力する。可逆
離散コサイン変換回路51は、減算器1から出力される
予測誤差画像信号に対して可逆離散コサイン変換を行
い、可逆離散コサイン変換の変換係数を算出する。FIG. 25 is a circuit diagram of a conventional encoding apparatus employing a reversible hierarchical encoding method. In FIG. 25, a motion estimation and compensation circuit 50 performs motion compensation on an input video signal (original image signal) to create and output a motion-compensated predicted image signal. At the same time, macroblock information is output. The subtracter 1 subtracts the motion compensated prediction image signal output from the motion estimation and compensation circuit 50 from the input video signal, and outputs a prediction error image. The reversible discrete cosine transform circuit 51 performs a reversible discrete cosine transform on the prediction error image signal output from the subtracter 1, and calculates a transform coefficient of the reversible discrete cosine transform.
【0005】量子化制御部3は、減算器1から出力され
る予測誤差画像信号と多重化器54から出力されるベー
スレイヤ符号列の符号量情報とからマクロブロック毎に
量子化スケール値を決定し、出力する。量子化器4は量
子化マトリクス値と、量子化制御部3で決定する量子化
スケール値と、動き推定および補償回路50から出力さ
れるマクロブロック情報とに基づいて、可逆離散コサイ
ン変換回路51から出力される変換係数を量子化し、そ
の量子化値を出力する。The quantization control unit 3 determines a quantization scale value for each macroblock from the prediction error image signal output from the subtractor 1 and the code amount information of the base layer code string output from the multiplexer 54. And output. The quantizer 4 outputs a signal from the reversible discrete cosine transform circuit 51 based on the quantization matrix value, the quantization scale value determined by the quantization control unit 3, and the macroblock information output from the motion estimation and compensation circuit 50. The output transform coefficients are quantized, and the quantized value is output.
【0006】符号変換部14は、動き推定および補償回
路50から出力されるマクロブロック情報と予め定めら
れた符号化表に基づいて、量子化器4から出力される量
子化値を可変長符号化し、量子化値の可変長符号を出力
する。多重化器54は、量子化器4から出力される可変
長符号と、量子化制御部3から出力される量子化スケー
ル値と、動き推定および補償回路50から出力されるマ
クロブロック情報と、量子化マトリクス値と、その他の
付加情報を多重化して、ベースレイヤ符号列として出力
する。その他には、ベースレイヤ符号列の符号量情報を
量子化制御部3に出力する。The code converter 14 performs variable length coding of the quantized value output from the quantizer 4 based on the macroblock information output from the motion estimation and compensation circuit 50 and a predetermined coding table. , And outputs a variable-length code of the quantized value. The multiplexer 54 outputs the variable-length code output from the quantizer 4, the quantization scale value output from the quantization control unit 3, the macroblock information output from the motion estimation and compensation circuit 50, The multiplexed matrix value and other additional information are multiplexed and output as a base layer code sequence. In addition, the code amount information of the base layer code sequence is output to the quantization control unit 3.
【0007】逆量子化器5は量子化器4で用いた量子化
マトリクスと、量子化スケール値と同じ値を用いて、動
き推定および補償回路50から出力されるマクロブロッ
ク情報に基づき、量子化器4から出力される量子化値を
逆量子化する。減算器53は、可逆離散コサイン変換回
路51が出力する変換係数から、逆量子化器5が出力す
る逆量子化値を減じて、符号化残差を算出する。符号変
換部52は、減算器53から出力される符号化残差を、
予め定められた符号化表に基づいて可変長符号化し、符
号化残差の可変長符号を出力する。多重化器55は、符
号変換部52から出力される可変長符号とその他の付加
情報を多重化して、エンハンスメントレイヤ符号列とし
て出力する。The inverse quantizer 5 uses the quantization matrix used in the quantizer 4 and the same value as the quantization scale value to perform quantization based on the macroblock information output from the motion estimation and compensation circuit 50. The quantization value output from the unit 4 is inversely quantized. The subtracter 53 subtracts the inverse quantization value output by the inverse quantizer 5 from the transform coefficient output by the reversible discrete cosine transform circuit 51, and calculates an encoding residual. The code conversion unit 52 converts the coding residual output from the subtractor 53 into
Variable-length coding is performed based on a predetermined coding table, and a variable-length code of the coding residual is output. The multiplexer 55 multiplexes the variable length code output from the code conversion unit 52 and other additional information, and outputs the result as an enhancement layer code sequence.
【0008】なお、通常のMPEG-2の符号化器では、局所
復号した画像信号を用いて動き補償を行う構成となって
いるが、図25の符号化器にはこの部分がない。これ
は、通常の離散コサイン変換のかわりに可逆離散コサイ
ン変換を用いる場合には、復号画像(復号後の画像信
号)が原画像(符号化前の原画像信号)と一致し、局所
復号の必要がないためである。[0008] It should be noted that a normal MPEG-2 encoder has a configuration in which motion compensation is performed using a locally decoded image signal, but the encoder of FIG. 25 does not have this part. This is because, when reversible discrete cosine transform is used instead of ordinary discrete cosine transform, the decoded image (image signal after decoding) matches the original image (original image signal before encoding), and local decoding is required. Because there is no.
【0009】一方、図26は、図25の従来の符号化装
置により符号化されたビデオ信号(画像信号)を復号す
る従来の復号装置の回路図である。多重分離器72は、
ベースレイヤ符号列から量子化値の可変長符号と量子化
スケール値とマクロブロック情報とその他の付加情報を
分離する。そして、符号変換部30は、予め定められた
符号化表を用いて量子化値の可変長符号を復号し、その
量子化値を出力する。逆量子化器32は多重分離器72
から出力される量子化スケール値と量子化マトリクスと
マクロブロック情報によって定まる逆量子化を、符号変
換部30から出力される量子化値に対して行って、逆量
子化値を求める。FIG. 26 is a circuit diagram of a conventional decoding device for decoding a video signal (image signal) encoded by the conventional encoding device of FIG. The demultiplexer 72
The variable length code of the quantization value, the quantization scale value, the macroblock information, and other additional information are separated from the base layer code sequence. Then, the code conversion unit 30 decodes the variable-length code of the quantized value using a predetermined coding table, and outputs the quantized value. The dequantizer 32 is a demultiplexer 72
The inverse quantization determined by the quantization scale value, the quantization matrix, and the macroblock information output from is performed on the quantization value output from the code conversion unit 30 to obtain an inverse quantization value.
【0010】多重分離器73は、エンハンスメントレイ
ヤ符号列から符号化残差の可変長符号とその他の付加情
報を分離する。そして、符号変換部70は、予め定めら
れた符号化表を用いて符号化残差の可変長符号を復号
し、符号化残差を求める。加算器34は、逆量子化器3
2から出力される逆量子化値と、符号変換部70から出
力される符号化残差を加算して、その加算値を可逆離散
コサイン変換係数として出力する。可逆離散コサイン逆
変換回路71は、加算器34から出力される可逆離散コ
サイン変換係数に対して可逆離散コサイン変換の逆変換
を行い、予測誤差画像信号を出力する。加算器36は、
可逆離散コサイン逆変換回路71から出力される予測誤
差画像信号に動き補償回路37から出力される動き補償
予測画像信号を加算し、復号画像信号として出力する。
その動き補償回路37は、多重分離器72から出力され
るマクロブロック情報に基づいて、加算器36から出力
される復号画像信号に動き補償を行い、動き補償予測画
像信号を出力する。The demultiplexer 73 separates the variable-length code of the coding residual and other additional information from the enhancement layer code sequence. Then, the code conversion unit 70 decodes the variable-length code of the coding residual using the predetermined coding table, and obtains the coding residual. The adder 34 outputs the inverse quantizer 3
2 and the coding residual output from the code conversion unit 70, and outputs the added value as a lossless discrete cosine transform coefficient. The reversible discrete cosine inverse transform circuit 71 performs an inverse transform of the reversible discrete cosine transform on the reversible discrete cosine transform coefficient output from the adder 34, and outputs a prediction error image signal. The adder 36
The motion compensated prediction image signal output from the motion compensation circuit 37 is added to the prediction error image signal output from the reversible discrete cosine inverse transform circuit 71 and output as a decoded image signal.
The motion compensation circuit 37 performs motion compensation on the decoded image signal output from the adder 36 based on the macroblock information output from the demultiplexer 72, and outputs a motion-compensated predicted image signal.
【0011】一方、MPEG-2 SNRスケーラビリティのエン
ハンスメントレイヤを算術符号化して、符号化効率を向
上させる方式に、D. Wilson 他:"Efficient Coding Met
hodsfor Enhancement DCT Coefficients in SNR Scalab
le Coders" (1997年 9月、ピー・シー・エス97予稿
集、407 〜410 頁(Proceeding of PCS 97))に記載のも
のがある。この方式では、エンハンスメントレイヤ符号
列の作成に、MPEG-2の可変長符号化のかわりに算術符号
化を用いている。On the other hand, D. Wilson et al .: “Efficient Coding Met” describes a method of arithmetically encoding an MPEG-2 SNR scalability enhancement layer to improve encoding efficiency.
hodsfor Enhancement DCT Coefficients in SNR Scalab
le Coders "(September 1997, Proceeding of PCS 97, Proceeding of PCS 97). In this method, MPEG- Arithmetic coding is used instead of variable length coding of 2.
【0012】これ以外に、画像に直交変換を行って、得
られる変換係数を算術符号化する方式として、例えば、
特開平4−72870号に記載された「画像符号化方
式」がある。この方式では、画像をブロックごとに直交
変換符号化、量子化を行い、それによって得られた量子
化値を算術符号化している。このときに用いる量子化値
(シンボル)の生起確率密度関数を、ブロックの局所的
性質に応じて適応的に切り替えている。In addition to the above, as a method of performing orthogonal transform on an image and arithmetically coding the obtained transform coefficients, for example,
There is an "image coding method" described in JP-A-4-72870. In this method, an image is subjected to orthogonal transform coding and quantization for each block, and the resulting quantization value is arithmetically coded. The occurrence probability density function of the quantization value (symbol) used at this time is adaptively switched according to the local property of the block.
【0013】[0013]
【発明が解決しようとする課題】しかしながら、特願平
8−277312号に記載の可逆符号化方式とMPEG-2の
SNR スケーラビリティとを組み合わせた図25に示す従
来の符号化装置(符号化方式)では、エンハンスメント
レイヤの実際の符号量が、エントロピーに比べて、大幅
に増大するという問題がある。However, the lossless encoding method described in Japanese Patent Application No. 8-277312 and the MPEG-2
The conventional coding device (coding method) shown in FIG. 25 which combines SNR scalability has a problem that the actual code amount of the enhancement layer is significantly increased as compared with the entropy.
【0014】第1の理由は、可逆符号化で想定している
高レートでは、エンハンスメントレイヤにおける量子化
残差の生起確率分布が、MPEG-2の可変長符号化設計時に
仮定された生起確率分布と大きく異なるためである。The first reason is that at the high rate assumed in lossless coding, the probability distribution of the quantization residual in the enhancement layer is the probability probability distribution assumed at the time of the variable length coding design of MPEG-2. This is because it is significantly different.
【0015】第2の理由は、高レートになると、MPEG-2
の可変長符号化で採用されている、0ラン長とレベルを
組み合わせて符号化する方式は効率的でないためであ
る。0ラン長とレベルを組み合わせてエントロピー符号
化する方式と、周波数インデックス(ブロック内での変
換係数の位置)が同じ変換係数ごとにエントロピー符号
化する方式とでエントロピーを比較すると、後者の方が
エントロピーが小さくなる場合が多い。The second reason is that when the rate becomes high, MPEG-2
This is because the method of coding by combining the 0 run length and the level, which is adopted in the variable length coding, is not efficient. A comparison of entropy between the method of entropy coding by combining the 0 run length and the level and the method of entropy coding for each transform coefficient having the same frequency index (position of the transform coefficient in the block) shows that the latter is the entropy. Is often smaller.
【0016】前記D. Wilson 他の文献にあるように、エ
ンハンスメントレイヤで算術符号化を行えば、符号化効
率を向上できるが、この方式では、ベースレイヤの量子
化幅を固定にしている。このため、ベースレイヤの量子
化スケール値がブロック毎に適応的に変化した場合に対
処できないという問題がある。As described in D. Wilson et al., The coding efficiency can be improved by performing arithmetic coding in the enhancement layer. In this method, however, the quantization width of the base layer is fixed. For this reason, there is a problem that it is impossible to cope with a case where the quantization scale value of the base layer adaptively changes for each block.
【0017】また、特開平4−72870号公報に記載
されているように、ブロックの局所的性質に応じて生起
確率密度関数を切り替える方式では、符号化効率を向上
させるために、量子化の特性に応じて用いる生起確率を
適切に選択する必要がある。Further, as described in Japanese Patent Application Laid-Open No. 4-72870, in the system in which the occurrence probability density function is switched according to the local property of the block, in order to improve the coding efficiency, the characteristics of the quantization are reduced. It is necessary to appropriately select the occurrence probability to be used according to the situation.
【0018】しかしながら、エンハンスメントレイヤの
場合のように、生起確率密度関数がベースレイヤで行わ
れる量子化に依存して大きく変化する場合、必ずしも適
応的に対処することができないという問題がある。However, when the occurrence probability density function greatly changes depending on the quantization performed in the base layer as in the case of the enhancement layer, there is a problem that it is not always possible to cope adaptively.
【0019】従って、本発明の目的は、画像を階層適符
号化する際の符号化効率を向上させることができる階層
的画像符号化方式、及び階層的画像復号方式を提供する
ことにある。SUMMARY OF THE INVENTION Accordingly, an object of the present invention is to provide a hierarchical image encoding system and a hierarchical image decoding system that can improve the encoding efficiency when encoding an image hierarchically.
【0020】[0020]
【課題を解決するための手段】本発明は、上記の目的を
達成するため、符号化の対象とする原画像信号を階層的
に符号化する符号化方式であって、原画像信号を符号化
して、ベースレイヤ符号列を出力するとともに、量子化
情報、及び符号化残差を出力する第1の符号化手段と、
量子化情報から符号化残差の生起確率を算出する生起確
率算出手段と、符号化残差の生起確率に基づいて、符号
化残差を符号化して符号化残差符号を出力する第2の符
号化手段と、符号化残差符号と量子化情報とを多重化し
てエンハンスメントレイヤ符号列として出力する多重化
手段とを有することを特徴とする階層的画像符号化方式
を提供するものである。According to the present invention, there is provided an encoding method for hierarchically encoding an original image signal to be encoded, wherein the original image signal is encoded. And a first encoding unit that outputs a base layer code sequence, and outputs quantization information and an encoding residual.
An occurrence probability calculating means for calculating an occurrence probability of an encoding residual from the quantization information; and a second encoding the encoding residual to output an encoding residual code based on the occurrence probability of the encoding residual. It is an object of the present invention to provide a hierarchical image coding method, comprising: a coding means; and a multiplexing means for multiplexing a coded residual code and quantization information and outputting the multiplexed result as an enhancement layer code sequence.
【0021】以上の構成において、符号化残差は、第1
の符号化手段が原画像信号に対して可逆変換符号化を行
って得られる変換係数を量子化した際に生じる符号化残
差であり、量子化情報は、量子化スケール値の頻度分布
と量子化マトリクスとを含み、生起確率算出手段は、量
子化スケール値の頻度分布、量子化マトリクス、及び、
予め用意された変換係数の頻度分布に基づいて、符号化
残差の生起確率を算出し、第2の符号化手段は、符号化
残差を、符号化残差の生起確率に基づいて周波数インデ
ックスが同じ変換係数ごとに可変長符号化することが望
ましい。In the above configuration, the coding residual is the first
Is a coding residual generated when the coding means of the original image signal quantizes a transform coefficient obtained by performing a lossless transform coding on the original image signal, and the quantization information includes a frequency distribution of a quantization scale value and a quantization And the occurrence probability calculation means, the frequency distribution of the quantization scale value, the quantization matrix, and,
Based on the frequency distribution of the transform coefficients prepared in advance, the probability of occurrence of the coding residual is calculated, and the second coding unit calculates the coding residual as a frequency index based on the probability of occurrence of the coding residual. Is desirably subjected to variable-length coding for each of the same transform coefficients.
【0022】また、第1の符号化手段が原画像信号に対
して可逆変換符号化を行って得られる変換係数を集計し
て、変換係数の頻度分布を求める第1の集計手段を更に
具備し、生起確率算出手段は、変換係数の頻度分布に基
づいて、符号化残差の生起確率を更新させることが望ま
しい。The first encoding means further comprises first aggregation means for summing up conversion coefficients obtained by performing lossless transform coding on the original image signal and obtaining a frequency distribution of the conversion coefficients. It is desirable that the occurrence probability calculation means update the occurrence probability of the coding residual based on the frequency distribution of the transform coefficients.
【0023】更に、第1の符号化手段は、原画像信号に
対して動き推定あるいは動き補償を行って、動き補償予
測画像信号を生成するとともに、マクロブロック情報を
出力する第1の画像信号生成手段と、原画像信号から動
き補償予測画像信号を減じて予測誤差画像信号を生成す
る第2の画像信号生成手段と、予測誤差画像信号に可逆
変換を行って変換係数を求める変換手段と、予測誤差画
像信号に基づいて、マクロブロックごとに量子化スケー
ル値を決定する量子化スケール値決定手段と、量子化ス
ケール値、量子化マトリクス、及びマクロブロック情報
に基づいて、変換係数を量子化して量子化値を出力する
量子化手段と、マクロブロック情報および予め定められ
た符号表に基づいて、量子化値を可変長符号化すること
により、量子化値の可変長符号を出力する可変長符号化
手段と、量子化値の可変長符号、量子化マトリクス、量
子化スケール値、及びマクロブロック情報を多重化し、
ベースレイヤ符号列として出力するベースレイヤ多重化
手段と、量子化スケール値、量子化マトリクス、及びマ
クロブロック情報に基づいて、量子化値を逆量子化して
逆量子化値を出力する逆量子化手段と、変換係数から逆
量子化値を減じて符号化残差を算出する符号化残差算出
手段と、量子化スケール値を所定の符号化周期で集計
し、量子化スケール値の頻度分布を出力する第2の集計
手段とを有し、生起確率算出手段は、量子化スケール値
の頻度分布に基づいて、符号化残差の生起確率を更新す
ることが望ましい。Further, the first encoding means performs motion estimation or motion compensation on the original image signal to generate a motion-compensated predicted image signal and outputs the first image signal for outputting macroblock information. Means for generating a prediction error image signal by subtracting the motion compensated prediction image signal from the original image signal, conversion means for performing a reversible transform on the prediction error image signal to obtain a transform coefficient, Quantization scale value determination means for determining a quantization scale value for each macroblock based on the error image signal; and quantizing the transform coefficient based on the quantization scale value, the quantization matrix, and the macroblock information, and Quantizing means for outputting a quantized value, and performing variable-length encoding on the quantized value based on macroblock information and a predetermined code table, thereby obtaining a quantized value. And variable length coding means for outputting a variable length code, variable length code of the quantized values, the quantization matrix, a quantization scale value, and the macroblock information are multiplexed,
Base layer multiplexing means for outputting as a base layer code sequence, and inverse quantization means for inversely quantizing the quantized value based on the quantization scale value, the quantization matrix, and the macroblock information and outputting the inversely quantized value And an encoding residual calculating means for calculating an encoding residual by subtracting an inverse quantization value from a transform coefficient, and summing up a quantization scale value at a predetermined encoding cycle, and outputting a frequency distribution of the quantization scale value. It is preferable that the occurrence probability calculating means update the occurrence probability of the coding residual based on the frequency distribution of the quantization scale value.
【0024】この場合、ベースレイヤ多重化手段は、ベ
ースレイヤ符号列の他に、該ベースレイヤ符号列の符号
量情報を出力し、量子化スケール値決定手段は、予測誤
差画像信号、及び符号量情報に基づいて、マクロブロッ
クごとに量子化スケール値を決定することをが望まし
い。In this case, the base layer multiplexing means outputs the code amount information of the base layer code string in addition to the base layer code string, and the quantization scale value determining means outputs the prediction error image signal and the code amount. It is desirable to determine a quantization scale value for each macroblock based on the information.
【0025】また、第1の符号化手段は、原画像信号と
局所復号画像信号との間で動き推定を行い、該推定結果
を基に局所復号画像信号に動き補償を行って第1の動き
補償予測画像信号を生成するとともに、マクロブロック
情報を出力する第1の画像信号生成手段と、原画像信号
から、第1の動き補償予測画像信号を減じて第1の予測
誤差画像信号を生成する第2の画像信号生成手段と、第
1の予測誤差画像信号に可逆変換を行って第1の変換係
数を求める第1の変換手段と、第1の予測誤差画像信号
に基づいて、マクロブロックごとに量子化スケール値を
決定する量子化スケール値決定手段と、量子化マトリク
ス、量子化スケール値、及びマクロブロック情報に基づ
いて、第1の変換係数を量子化して量子化値を出力する
量子化手段と、マクロブロック情報および予め定められ
た符号表に基づいて、量子化値を可変長符号化して該量
子化値の可変長符号を出力する可変長符号化手段と、量
子化値の可変長符号、量子化マトリクス、量子化スケー
ル値、及びマクロブロック情報を多重化し、ベースレイ
ヤ符号列として出力するベースレイヤ多重化手段と、量
子化スケール値、量子化マトリクス、及びマクロブロッ
ク情報に基づいて、量子化値を逆量子化して逆量子化値
を出力する逆量子化手段と、逆量子化値に可逆変換の逆
変換を行って、局所復号予測誤差画像信号を生成する第
3の画像信号生成手段と、局所復号予測誤差画像信号に
第1の動き補償予測画像信号を加えて局所復号画像を生
成する第4の画像信号生成手段と、マクロブロック情報
に基づいて原画像信号に対して動き補償を行い、第2の
動き補償予測画像信号を生成する第5の画像信号生成手
段と、原画像信号から第2の動き補償予測画像信号を減
じて第2の予測誤差画像信号を生成する第6の画像信号
生成手段と、第2の予測誤差画像信号に可逆変換を行っ
て第2の変換係数を求める第2の変換手段と、第2の変
換係数から逆量子化値を減じて、符号化残差を求める符
号化残差算出手段と、量子化スケール値を所定の符号化
周期で集計し、該量子化スケール値の頻度分布を出力す
る第1の集計手段とを有し、生起確率算出手段は、量子
化スケール値の頻度分布に基づいて、符号化残差の生起
確率を更新することが望ましい。The first encoding means estimates the motion between the original image signal and the locally decoded image signal, and performs motion compensation on the locally decoded image signal based on the estimation result to perform the first motion estimation. First image signal generating means for generating a compensated predicted image signal and outputting macroblock information; and generating a first predicted error image signal by subtracting the first motion compensated predicted image signal from the original image signal. A second image signal generation unit, a first conversion unit for performing a reversible conversion on the first prediction error image signal to obtain a first conversion coefficient, and a macroblock based on the first prediction error image signal. A quantization scale value determining means for determining a quantization scale value, and a quantization for outputting a quantization value by quantizing a first transform coefficient based on a quantization matrix, a quantization scale value, and macroblock information. Means and ma Variable length coding means for performing variable length coding of the quantized value based on the block information and a predetermined code table and outputting a variable length code of the quantized value; a variable length code of the quantized value; Multiplexing means for multiplexing the quantization matrix, the quantization scale value, and the macroblock information and outputting the result as a baselayer code sequence, and the quantization value based on the quantization scale value, the quantization matrix, and the macroblock information. Inverse quantization means for inversely quantizing and outputting an inversely quantized value; third image signal generating means for performing an inverse transform of a reversible transform on the inversely quantized value to generate a locally decoded prediction error image signal; Fourth image signal generating means for generating a locally decoded image by adding the first motion compensated predicted image signal to the locally decoded prediction error image signal, and moving the original image signal based on the macroblock information. Fifth image signal generating means for performing compensation and generating a second motion compensated predicted image signal, and a fifth image signal generating means for subtracting the second motion compensated predicted image signal from the original image signal to generate a second predicted error image signal. 6, an image signal generation unit, a second conversion unit that performs a reversible conversion on the second prediction error image signal to obtain a second conversion coefficient, and subtracts an inverse quantization value from the second conversion coefficient to generate a code. Encoding means for calculating a quantized residual, and first counting means for summing up quantized scale values at a predetermined coding cycle and outputting a frequency distribution of the quantized scale values. It is desirable that the calculation unit updates the occurrence probability of the coding residual based on the frequency distribution of the quantization scale value.
【0026】この場合、ベースレイヤ多重化手段は、ベ
ースレイヤ符号列の他に、該ベースレイヤ符号列の符号
量情報を出力し、量子化スケール値決定手段は、第1の
予測誤差画像信号、及び符号量情報に基づいて、マクロ
ブロックごとに量子化スケール値を決定することが望ま
しい。In this case, the base layer multiplexing means outputs the code amount information of the base layer code string in addition to the base layer code string, and the quantization scale value determining means outputs the first prediction error image signal, It is desirable to determine the quantization scale value for each macroblock based on the information and the code amount information.
【0027】また、第1の符号化手段が原画像信号に対
して可逆変換符号化を行って得られる変換係数を集計し
て、変換係数の頻度分布を求める第2の集計手段を更に
具備し、生起確率算出手段は、変換係数の頻度分布に基
づいて、符号化残差の生起確率を更新させることが望ま
しい。Further, there is further provided a second counting means for counting the conversion coefficients obtained by the first coding means performing the reversible transform coding on the original image signal and obtaining a frequency distribution of the conversion coefficients. It is desirable that the occurrence probability calculation means update the occurrence probability of the coding residual based on the frequency distribution of the transform coefficients.
【0028】更に、第2の変換係数を集計して、該第2
の変換係数の頻度分布を出力する第2の集計手段を更に
有し、生起確率算出手段は、第2の変換係数の頻度分布
に基づいて、符号化残差の生起確率を更新することが望
ましい。Further, the second conversion coefficient is tabulated to obtain the second conversion coefficient.
It is preferable to further include a second totaling unit that outputs the frequency distribution of the transform coefficient, and that the occurrence probability calculating unit updates the occurrence probability of the coding residual based on the frequency distribution of the second transform coefficient. .
【0029】更に、また、第1の集計手段は、マクロブ
ロック情報に基づいて、頻度分布の集計をブロックの種
類別に行い、生起確率算出手段は、マクロブロック情報
に基づいて、符号化残差の生起確率の算出をブロックの
種類別に行い、第2の符号化手段は、符号化残差の生起
確率をブロックの種類別に用いて符号化を行うことが望
ましい。Further, the first counting means counts the frequency distribution for each block type based on the macroblock information, and the occurrence probability calculating means calculates the coding residual based on the macroblock information. It is desirable that the occurrence probability is calculated for each type of block, and the second encoding unit performs the encoding using the occurrence probability of the encoding residual for each type of block.
【0030】更に、また、第2の集計手段は、マクロブ
ロック情報に基づいて、頻度分布をブロックの種類別に
集計し、生起確率算出手段は、ブロックの種類別に集計
された頻度分布に基づいて、符号化残差の生起確率をブ
ロックの種類別に更新し、第2の符号化手段は、符号化
残差の生起確率をブロックの種類別に用いて符号化を行
うことが望ましい。Further, the second counting means counts the frequency distribution for each type of block based on the macroblock information, and the occurrence probability calculation means calculates the frequency distribution based on the frequency distribution counted for each type of block. It is preferable that the occurrence probability of the encoding residual is updated for each type of block, and the second encoding unit performs encoding using the occurrence probability of the encoding residual for each type of block.
【0031】更に、また、ブロックは、イントラブロッ
クか否かにより種類分けしていることが望ましい。Furthermore, it is desirable that the blocks are classified according to whether they are intra blocks or not.
【0032】また、本発明は、上記目的を達成するた
め、前述した階層的画像符号化方式によって符号化され
た原画像信号を復号する方式であって、エンハンスメン
トレイヤ符号列から、符号化残差符号と量子化情報とを
分離して出力する分離手段と、量子化情報から符号化残
差の生起確率を算出する生起確率算出手段と、符号化残
差の生起確率に基づいて、符号化残差符号を復号して符
号化残差を出力する第1の復号手段と、ベースレイヤ符
号列を復号し、該復号によって得られた信号に符号化残
差を加算して原画像信号を復号する第2の復号手段とを
有することを特徴とする階層的画像復号方式を提供する
ものである。In order to achieve the above object, the present invention is a method for decoding an original image signal encoded by the above-mentioned hierarchical image encoding method, wherein the method comprises the steps of: A separating unit that separates and outputs a code and quantization information, an occurrence probability calculation unit that calculates an occurrence probability of an encoding residual from the quantization information, and an encoding residual based on the occurrence probability of the encoding residual. First decoding means for decoding a difference code and outputting an encoded residual; decoding a base layer code sequence; adding an encoded residual to a signal obtained by the decoding to decode an original image signal; And a second decoding unit.
【0033】以上の構成において、生起確率算出手段
は、量子化情報として入力した量子化スケール値の頻度
分布、量子化マトリクス、及び予め蓄えられている変換
係数の頻度分布に基づいて、符号化残差の生起確率を算
出し、第1の復号手段は、符号化残差の生起確率に基づ
いて、同じ周波数インデックス毎に符号化残差符号を復
号することにより、符号化残差を出力することが望まし
い。In the above arrangement, the occurrence probability calculating means calculates the coding residual based on the frequency distribution of the quantization scale value input as the quantization information, the quantization matrix, and the frequency distribution of the transform coefficients stored in advance. Calculating an occurrence probability of the difference, and outputting the encoded residual by decoding the encoded residual code for each frequency index based on the occurrence probability of the encoded residual. Is desirable.
【0034】また、第2の復号手段がベースレイヤ符号
列を復号した際に得られる変換係数を集計して、該変換
係数の頻度分布を求める集計手段を有し、生起確率算出
手段は、変換係数の頻度分布に基づいて、符号化残差の
生起確率を更新することが望ましい。[0034] Further, there is provided a totaling means for totalizing transform coefficients obtained when the second decoding means decodes the base layer code string and obtaining a frequency distribution of the transform coefficients. It is desirable to update the occurrence probability of the coding residual based on the frequency distribution of the coefficients.
【0035】更に、第2の復号手段は、ベースレイヤ符
号列から、量子化スケール値と量子化マトリクスとマク
ロブロック情報と量子化値の可変長符号とを分離して出
力する分離手段と、量子化値の可変長符号を、マクロブ
ロック情報、及び予め定められた符号表に基づいて復号
し、量子化値を出力する量子化値復号手段と、量子化値
マトリクス、量子化スケール値、及びマクロブロック情
報に基づいて、量子化値を逆量子化して逆量子化値を出
力する逆量子化手段と、第1の復号手段から出力される
符号化残差を逆量子化値に加えて変換係数を算出する変
換係数算出手段と、変換係数に、階層的画像符号化方式
で行われた変換の逆変換を行って、予測誤差画像信号を
生成する第1の画像信号生成手段と、予測誤差画像信号
に動き補償予測画像信号を加算して、復号画像信号を生
成する第2の画像信号生成手段と、マクロブロック情報
に基づいて、復号画像信号に動き補償を行って動き補償
予測画像を生成する第3の画像信号生成手段とを有する
ことが望ましい。Further, the second decoding means separates the quantization scale value, the quantization matrix, the macroblock information, and the variable length code of the quantization value from the base layer code sequence, and outputs the result. Quantization value decoding means for decoding a variable-length code of a quantization value based on macroblock information and a predetermined code table and outputting a quantization value, a quantization value matrix, a quantization scale value, and a macro. A dequantizing means for dequantizing the quantized value based on the block information and outputting a dequantized value; and a transform coefficient obtained by adding a coding residual output from the first decoding means to the dequantized value. Transform coefficient calculating means for calculating a predictive error image signal, a first image signal generating means for performing a reverse transform of the transform performed by the hierarchical image coding method to generate a predictive error image signal, Motion compensation prediction image A second image signal generating unit that generates a decoded image signal by adding the signals, and a third image signal generation unit that performs motion compensation on the decoded image signal based on the macroblock information to generate a motion-compensated predicted image. It is desirable to have means.
【0036】この場合、変換係数を集計して、該変換係
数の頻度分布を求める集計手段を更に有し、生起確率算
出手段は、変換係数の頻度分布に基づいて、符号化残差
の生起確率を更新することが望ましい。In this case, there is further provided a totalizing means for totalizing the transform coefficients and obtaining a frequency distribution of the transform coefficients, wherein the occurrence probability calculating means calculates the occurrence probability of the coding residual based on the frequency distribution of the transform coefficients. It is desirable to update.
【0037】また、集計手段は、マクロブロック情報に
基づいて、ブロックの種類別に変換係数の頻度分布を集
計し、生起確率算出手段は、符号化残差の生起確率をブ
ロックの種類別に算出し、第1の復号手段は、マクロブ
ロック情報に基づいて、復号すべき符号化残差符号が対
応するブロックの種類を特定し、該特定結果に応じて符
号化残差の生起確率を用いることが望ましい。Further, the counting means totalizes the frequency distribution of the transform coefficients for each type of block based on the macroblock information, and the occurrence probability calculating means calculates the occurrence probability of the coding residual for each type of block. It is preferable that the first decoding means specifies the type of the block corresponding to the coded residual code to be decoded based on the macroblock information, and uses the occurrence probability of the coded residual according to the specification result. .
【0038】更に、また、ブロックは、イントラブロッ
クか否かにより種類分けしていることが望ましい。Furthermore, it is desirable that the blocks are classified according to whether they are intra blocks or not.
【0039】[0039]
【発明の実施の形態】以下、図面を参照しながら、本発
明の実施の形態につき詳細に説明する。 〔第1の実施の形態〕図1は、第1の実施の形態による
階層的画像符号化装置(以降、符号化装置と略す。他の
実施の形態においても同様))の回路図である。第1の
実施の形態による画像符号化装置について、図1を参照
して詳述する。Embodiments of the present invention will be described below in detail with reference to the drawings. [First Embodiment] FIG. 1 is a circuit diagram of a hierarchical image encoding device (hereinafter, abbreviated as an encoding device and the same in other embodiments) according to a first embodiment. An image encoding device according to the first embodiment will be described in detail with reference to FIG.
【0040】ベースレイヤ符号化器500は、入力ビデ
オ信号(原画像信号)を符号化して、ベースレイヤ符号
列を作成して出力する。これとともに、符号化残差と量
子化情報を出力する。符号化残差の生起確率算出部50
2は、ベースレイヤ符号化器500から出力される量子
化情報に基づいて、符号化残差の生起確率を算出し、出
力する。算術符号化器501は、符号化残差の生起確率
算出部502から出力される符号化残差の生起確率に基
づいて、ベースレイヤ符号化器500から入力される符
号化残差を算術符号化(可変長符号化)して、その結果
を符号化残差の算術符号として出力する。多重化器50
3は、算術符号化器501から出力される符号化残差の
算術符号とベースレイヤ符号化器500から出力される
量子化情報を多重化して、エンハンスメントレイヤ符号
列として出力する。The base layer encoder 500 encodes an input video signal (original image signal) to create and output a base layer code sequence. At the same time, the coding residual and the quantization information are output. Encoding residual occurrence probability calculating unit 50
2 calculates and outputs the occurrence probability of an encoding residual based on the quantization information output from the base layer encoder 500. Arithmetic encoder 501 arithmetically encodes the coding residual input from base layer encoder 500 based on the coding residual occurrence probability output from coding residual occurrence probability calculation section 502. (Variable length coding) and outputs the result as the arithmetic code of the coding residual. Multiplexer 50
3 multiplexes the arithmetic code of the encoded residual output from the arithmetic encoder 501 and the quantization information output from the base layer encoder 500, and outputs the result as an enhancement layer code sequence.
【0041】次に、動作について詳細に説明する。入力
ビデオ信号(ここでは、それを変換して得られる信号も
含む)は、ベースレイヤ符号化器500に入力され、非
可逆な画像符号化が行われる。その結果、ベースレイヤ
符号列が生成、出力される。非可逆な画像符号化では、
入力ビデオ信号に対して、量子化などの情報量を減少さ
せる処理が行われる。この処理によって情報量の損失が
発生する。符号化残差は、入力ビデオ信号の非可逆な符
号化を行った際に発生した損失を求めたものである。量
子化情報は、量子化などの情報量を減少させるために行
った処理の内容を表す情報である。それらは、ベースレ
イヤ符号化器500から出力される。Next, the operation will be described in detail. An input video signal (here, a signal obtained by converting the input video signal) is input to the base layer encoder 500, and lossy image encoding is performed. As a result, a base layer code sequence is generated and output. In lossy image coding,
Processing for reducing the amount of information such as quantization is performed on the input video signal. This process results in a loss of the information amount. The encoding residual is obtained by calculating a loss that occurs when irreversible encoding of the input video signal is performed. The quantization information is information indicating the content of processing performed to reduce the amount of information such as quantization. They are output from base layer encoder 500.
【0042】ベースレイヤ符号化器500から出力され
た量子化情報は、符号化残差の生起確率算出部502に
入力される。ここには、ビデオ信号の統計量に関するデ
ータが予め保持されている。そして、この統計量と量子
化情報とから、ベースレイヤ符号化器500から出力さ
れる符号化残差の生起確率を算出し、出力する。The quantization information output from base layer encoder 500 is input to encoding residual occurrence probability calculating section 502. Here, data relating to the statistics of the video signal is held in advance. Then, based on the statistics and the quantization information, the occurrence probability of the encoding residual output from the base layer encoder 500 is calculated and output.
【0043】ベースレイヤ符号化器500から出力され
る符号化残差は、算術符号化器501に入力され、ここ
で、符号化残差の生起確率算出部502から出力される
生起確率に基づいて、算術符号化(可変長符号化(エン
トロピー符号化))される。その結果は、符号化残差の
算術符号として出力される。The coding residual output from the base layer encoder 500 is input to the arithmetic encoder 501, where the coding residual is output based on the occurrence probability output from the coding residual occurrence probability calculating unit 502. And arithmetic coding (variable length coding (entropy coding)). The result is output as the arithmetic code of the encoded residual.
【0044】符号化残差の算術符号は、ベースレイヤ符
号化器500から出力された量子化情報とともに多重化
器503に入力される。多重化器503にはバッファが
あり、入力された各種データは一旦ここに蓄えられる。
そして、予め定められた順序で各種データを多重化し
て、エンハンスメントレイヤ符号列として出力する。The arithmetic code of the coding residual is input to the multiplexer 503 together with the quantization information output from the base layer encoder 500. The multiplexer 503 has a buffer, and various kinds of input data are temporarily stored here.
Then, various data are multiplexed in a predetermined order and output as an enhancement layer code sequence.
【0045】このように、第1の実施の形態では、ベー
スレイヤ符号化で得られる量子化情報に基づいて、符号
化残差の生起確率を求め、適応的に算術符号化してい
る。このため、従来よりもエンハンスメントレイヤ符号
列の符号化効率が向上し、全体の符号量を減少させるこ
とができる。As described above, in the first embodiment, the probability of occurrence of a coding residual is obtained based on the quantization information obtained by base layer coding, and adaptive arithmetic coding is performed. For this reason, the coding efficiency of the enhancement layer code string is improved as compared with the related art, and the entire code amount can be reduced.
【0046】〔第2の実施の形態〕図2は、第2の実施
の形態による階層的画像復号装置(以下、画像復号装置
と略す。他の実施の形態においても同様)の回路図であ
る。第2の実施の形態による画像復号装置について、図
2を参照して詳述する。なお、この画像復号装置は、上
記第1の実施の形態による符号化装置により符号化され
た原画像信号を復号するものである。[Second Embodiment] FIG. 2 is a circuit diagram of a hierarchical image decoding apparatus (hereinafter, abbreviated as an image decoding apparatus and the same applies to other embodiments) according to a second embodiment. . An image decoding device according to the second embodiment will be described in detail with reference to FIG. This image decoding apparatus decodes an original image signal encoded by the encoding apparatus according to the first embodiment.
【0047】多重分離器603は、エンハンスメントレ
イヤ符号列から符号化残差の算術符号と、量子化情報
と、その他の付加情報とに分離し、出力する。符号化残
差の生起確率算出部602は、多重分離器603から出
力される量子化情報に基づいて、符号化残差の生起確率
を算出し、出力する。算術復号器601は、符号化残差
の生起確率算出部602から出力される符号化残差の生
起確率に基づいて、多重分離器603から出力される符
号化残差の算術符号を算術復号して、復号結果(符号化
残差)を出力する。ベースレイヤ復号器600は、ベー
スレイヤ符号列と算術復号器601から出力される符号
化残差とから、原画像信号を復号し、それを復号画像信
号として出力する。The demultiplexer 603 separates the arithmetic code of the encoded residual, the quantization information, and other additional information from the enhancement layer code sequence and outputs the result. The coding residual occurrence probability calculation unit 602 calculates and outputs the coding residual occurrence probability based on the quantization information output from the demultiplexer 603. The arithmetic decoder 601 arithmetically decodes the arithmetic code of the encoded residual output from the demultiplexer 603 based on the occurrence probability of the encoded residual output from the encoding residual occurrence probability calculation unit 602. And outputs the decoding result (encoding residual). Base layer decoder 600 decodes the original image signal from the base layer code sequence and the encoding residual output from arithmetic decoder 601 and outputs the decoded image signal as a decoded image signal.
【0048】次に、動作について詳細に説明する。エン
ハンスメントレイヤ符号列は、多重分離器603に入力
される。多重分離器603にはバッファがあり、入力さ
れたエンハンスメントレイヤ符号列は、符号化残差の算
術符号と、量子化情報と、その他の付加情報とに分離さ
れてバッファに蓄えられる。ただし、多重分離器603
を後述する算術復号器601と組み合わせて、算術復号
しながら各種情報を分離するようになっていてもよい。
量子化情報は、符号化残差の生起確率算出部602に入
力され、符号化残差の生起確率の算出に用いられる。Next, the operation will be described in detail. The enhancement layer code sequence is input to the demultiplexer 603. The demultiplexer 603 has a buffer, and the input enhancement layer code string is separated into the arithmetic code of the coding residual, quantization information, and other additional information, and is stored in the buffer. However, the demultiplexer 603
May be combined with an arithmetic decoder 601 described later to separate various types of information while performing arithmetic decoding.
The quantization information is input to the coding residual occurrence probability calculation unit 602, and is used for calculating the coding residual occurrence probability.
【0049】符号化残差の生起確率算出部602には、
ビデオ信号の統計量を表すデータが予め保持されてい
る。これは、図1の符号化残差の生起確率算出部502
のものと同一である。また、符号化残差の生起確率算出
部602の動作は、図1の符号化残差の生起確率算出部
502の動作と同様である。The coding residual occurrence probability calculating unit 602 includes:
Data representing the statistics of the video signal is stored in advance. This is because the coding residual occurrence probability calculation unit 502 in FIG.
Is the same as The operation of the coding residual occurrence probability calculation unit 602 is the same as the operation of the coding residual occurrence probability calculation unit 502 in FIG.
【0050】算術復号器601は、符号化残差の算術符
号を多重分離器603から入力し、それを符号化残差生
起確率算出部602から入力される符号化残差の生起確
率分布にしたがって算術復号する。それによって得られ
た符号化残差は、ベースレイヤ復号器600に出力す
る。The arithmetic decoder 601 receives the arithmetic code of the coded residual from the demultiplexer 603 and converts the arithmetic code according to the distribution of occurrence probability of the coded residual input from the coded residual occurrence probability calculation unit 602. Perform arithmetic decoding. The obtained coding residual is output to base layer decoder 600.
【0051】他方のベースレイヤ符号列はベースレイヤ
復号器600に入力される。ここでは、図1のベースレ
イヤ符号化器500で行われた符号化に対応する復号
が、ベースレイヤ符号列に対して行われる。これによっ
て得られた信号と、算術復号器601から入力される符
号化残差とから復号画像信号が生成され、出力される。
このようにして、図1の符号化装置で符号化された原画
像信号が復号される。The other base layer code sequence is input to base layer decoder 600. Here, decoding corresponding to the encoding performed by the base layer encoder 500 in FIG. 1 is performed on the base layer code sequence. A decoded image signal is generated from the signal thus obtained and the coding residual input from the arithmetic decoder 601 and output.
Thus, the original image signal encoded by the encoding device of FIG. 1 is decoded.
【0052】〔第3の実施の形態〕図3は、第3の実施
の形態による階層的画像符号化装置(以下、画像符号化
装置と略す)の回路図である。第3の実施の形態による
画像符号化装置について、図3を参照して詳述する。ベ
ースレイヤ符号化器520は、入力ビデオ信号を符号化
して、ベースレイヤ符号列を作成して出力する。これと
ともに、符号化残差と、量子化情報である量子化マトリ
クスと量子化スケール値の頻度分布とを出力する。符号
化残差の生起確率算出部92は、ベースレイヤ符号化器
520から出力される量子化スケールの頻度分布と量子
化マトリクスとから、符号化残差の生起確率を算出して
出力する、算術符号化器91は、ベースレイヤ符号化器
520から出力される量子化残差(符号化残差)を、符
号化残差の生起確率算出部92から出力される符号化残
差の生起確率に基づいて算術符号化し、その結果を符号
化残差の算術符号として出力する。多重化器95は、算
術符号化器91から出力される符号化残差の算術符号
と、量子化情報、すなわち、量子化スケール値の頻度分
布と量子化マトリクスと、その他の付加情報とを多重化
して、エンハンスメントレイヤ符号列として出力する。[Third Embodiment] FIG. 3 is a circuit diagram of a hierarchical image encoding device (hereinafter abbreviated as an image encoding device) according to a third embodiment. An image encoding device according to the third embodiment will be described in detail with reference to FIG. The base layer encoder 520 encodes the input video signal to create and output a base layer code sequence. At the same time, it outputs an encoding residual, a quantization matrix which is quantization information, and a frequency distribution of quantization scale values. The coding residual occurrence probability calculating unit 92 calculates and outputs the coding residual occurrence probability from the quantization scale frequency distribution and the quantization matrix output from the base layer encoder 520. The encoder 91 converts the quantization residual (encoding residual) output from the base layer encoder 520 into the encoding residual occurrence probability output from the encoding residual occurrence probability calculation unit 92. Arithmetic coding on the basis of the result, and outputs the result as the arithmetic code of the coding residual. The multiplexer 95 multiplexes the arithmetic code of the encoding residual output from the arithmetic encoder 91, quantization information, that is, the frequency distribution and quantization matrix of the quantization scale value, and other additional information. And outputs it as an enhancement layer code sequence.
【0053】次に、動作について詳細に説明する。入力
ビデオ信号は、ベースレイヤ符号化器520に入力され
る。ここでは、入力ビデオ信号は、ブロックなどの小領
域に分割される。そしてそれぞれの小領域に対して、可
逆離散コサイン変換、可逆アダマール変換、あるいは可
逆ウェーブレット変換などの可逆変換符号化で用いられ
る変換が行われる。得られた変換係数は、周波数インデ
ックス(変換係数の小領域内での位置)ごとに定まる量
子化マトリクスと、小領域ごとの量子化の粗さを制御す
る量子化スケール値とによって定まる量子化に従って量
子化される。なお、ここでは量子化マトリクスと量子化
スケール値という用語を以後も用いるが、これと同等の
作用をもつパラメータであれば何でもよい。また、量子
化マトリクスを用いない場合は、量子化マトリクスを全
て等しい値にしたものとみなせばよい。上述の量子化値
は、さらにハフマン符号化、あるいは算術符号化などの
エントロピー符号化によって符号変換される。そして、
付加情報とともに多重化されてベースレイヤ符号列とし
て出力される。Next, the operation will be described in detail. The input video signal is input to base layer encoder 520. Here, the input video signal is divided into small areas such as blocks. Then, a transform used in a reversible transform coding such as a reversible discrete cosine transform, a reversible Hadamard transform, or a reversible wavelet transform is performed on each small region. The obtained transform coefficients are obtained according to the quantization matrix determined by the frequency index (the position of the transform coefficients in the small area) and the quantization scale value that controls the quantization roughness for each small area. Quantized. Here, the terms quantization matrix and quantization scale value will be used hereinafter, but any parameter having the same effect as this may be used. When the quantization matrix is not used, it may be considered that all the quantization matrices have the same value. The above-described quantization value is further code-transformed by entropy coding such as Huffman coding or arithmetic coding. And
It is multiplexed with the additional information and output as a base layer code sequence.
【0054】一方、前記量子化値は逆量子化され、逆量
子化値が求められる。逆量子化値は、量子化する前の値
から減じられ、その結果が符号化残差(量子化残差)と
して算術符号化器91に出力される。また、量子化スケ
ール値に関しては、ある定められた符号化周期で頻度分
布が集計される。そして、この頻度分布と量子化マトリ
クスとが、ベースレイヤ符号化器520から出力され
る。その出力された量子化スケール値の頻度分布と量子
化マトリクスとは、符号化残差の生起確率算出部92に
入力される。On the other hand, the quantized value is inversely quantized to obtain an inversely quantized value. The inverse quantization value is subtracted from the value before quantization, and the result is output to the arithmetic encoder 91 as a coding residual (quantized residual). As for the quantization scale value, the frequency distribution is tabulated at a predetermined coding cycle. Then, the frequency distribution and the quantization matrix are output from base layer encoder 520. The output frequency distribution and quantization matrix of the quantization scale value are input to the encoding residual occurrence probability calculation unit 92.
【0055】符号化残差の生起確率算出部92には、各
周波数インデックス(i,j) (変換係数の小領域(ブロッ
ク)内での位置)に対して、変換係数の頻度分布に関す
るデータが予め蓄えられている。この頻度分布データ
と、入力される量子化スケール値の頻度分布と量子化値
マトリクスとから各インデックス(i,j) に対して、符号
化残差の生起確率を算出する。この算出方式の詳細は後
述する。そして、各インデックス(i,j) に対して算出さ
れた生起確率は、算術符号化器91に出力される。ただ
し、ここで出力される値は、生起確率を定数倍したも
の、あるいはそれをさらに近似したものであってもよ
い。The coding residual occurrence probability calculation unit 92 stores data on the frequency distribution of the transform coefficient for each frequency index (i, j) (the position of the transform coefficient in a small area (block)). It is stored in advance. Based on the frequency distribution data, the frequency distribution of the input quantization scale value, and the quantization value matrix, the occurrence probability of the coding residual is calculated for each index (i, j). Details of this calculation method will be described later. Then, the occurrence probability calculated for each index (i, j) is output to the arithmetic encoder 91. However, the value output here may be a value obtained by multiplying the occurrence probability by a constant or a value obtained by further approximating the value.
【0056】算術符号化器91は、周波数インデックス
(i,j) に対する符号化残差を、その周波数インデックス
(i,j) に対応する符号化残差の生起確率に従って、順次
算術符号化する。これを、各インデックス(i,j) に対し
て行う。その結果が符号化残差の算術符号として出力さ
れる。The arithmetic encoder 91 calculates the frequency index
Let the coding residual for (i, j) be its frequency index
Arithmetic encoding is performed sequentially according to the occurrence probability of the encoding residual corresponding to (i, j). This is performed for each index (i, j). The result is output as the arithmetic code of the encoded residual.
【0057】符号化残差の算術符号と量子化スケール値
の頻度分布と量子化マトリクスとその他の付加情報は、
多重化器95に入力される。多重化器95にはバッファ
があり、入力された各種データは一旦ここに蓄えられ
る。そして、予め定められた順序で各種データは多重化
されて、エンハンスメントレイヤ符号列として出力され
る。The arithmetic code of the coding residual, the frequency distribution of the quantization scale value, the quantization matrix, and other additional information are
The signal is input to the multiplexer 95. The multiplexer 95 has a buffer, and various kinds of input data are temporarily stored therein. Various data are multiplexed in a predetermined order and output as an enhancement layer code sequence.
【0058】次に、符号化残差の生起確率算出部92に
おいて、周波数インデックス(i,j)毎に符号化残差の生
起確率を算出する方法について述べる。ここでは、量子
化スケール値がs となる割合(頻度分布)をr(s)で表
し、符号化残差がe となる確率をPij(e)で表すことにす
る。また、周波数インデックス(i,j) に対応する変換係
数の頻度分布をpij(x)、量子化マトリクス値をWij とす
る。さらに、量子化マトリクス値がw 、量子化スケール
値がs のときに、x の量子化値を返す関数をQ(x,w,s)、
x の逆量子化値を返す関数をIQ(x,w,s) で表すことにす
る。そして、関数f(x,w,s)を数1で定義される関数とす
る。これは、変換係数値x の符号化残差を表す。さら
に、周波数インデックスが(i,j) である変換係数として
考慮する値の最小値、最大値をそれぞれx0、x1とする。Next, a method of calculating the occurrence probability of the coding residual for each frequency index (i, j) in the coding residual occurrence probability calculating unit 92 will be described. Here, the ratio (frequency distribution) at which the quantization scale value becomes s is represented by r (s), and the probability that the coding residual becomes e is represented by Pij (e). Also, let pij (x) be the frequency distribution of the transform coefficient corresponding to the frequency index (i, j), and let Wij be the quantization matrix value. Furthermore, when the quantization matrix value is w and the quantization scale value is s, Q (x, w, s) is a function that returns the quantization value of x.
The function that returns the inverse quantization value of x is represented by IQ (x, w, s). Then, the function f (x, w, s) is a function defined by Expression 1. This represents the coding residual of the transform coefficient value x. Further, the minimum value and the maximum value of the value considered as the transform coefficient whose frequency index is (i, j) are x0 and x1, respectively.
【0059】[0059]
【数1】 (Equation 1)
【0060】このとき、量子化スケール値がs のときの
符号化残差e の頻度分布をp'ij(e,s) とすると、これ
は、数2で与えられる。ここに、δ(x) は、数3で与え
られる関数である。よって、量子化スケール値s の取り
得る値の最小値と最大値をそれぞれs0、s1とすると、符
号化残差e の生起確率Pij(e)は、数4で表される。At this time, assuming that the frequency distribution of the coding residual e when the quantization scale value is s is p'ij (e, s), this is given by Expression 2. Here, δ (x) is a function given by Expression 3. Therefore, assuming that the minimum value and the maximum value of the possible values of the quantization scale value s are s0 and s1, respectively, the occurrence probability Pij (e) of the encoding residual e is expressed by Expression 4.
【0061】[0061]
【数2】 (Equation 2)
【0062】[0062]
【数3】 (Equation 3)
【0063】[0063]
【数4】 (Equation 4)
【0064】このようにして、図示しない記憶装置に予
め蓄えられた変換係数の頻度分布pij(x)と、量子化スケ
ール値の頻度分布r(s)と、量子化マトリクス値Wij とか
ら、周波数インデックスが(i,j) である変換係数の符号
化残差の生起確率Pij(e)が求められる。In this way, the frequency distribution pij (x) of the transform coefficient, the frequency distribution r (s) of the quantization scale value, and the quantization matrix value Wij previously stored in the storage device (not shown) are used to calculate the frequency. The occurrence probability Pij (e) of the coding residual of the transform coefficient whose index is (i, j) is obtained.
【0065】次に、上述のことを実現するために符号化
残差の生起確率算出部92で行われる処理の例を、図4
を参照して説明する。まず、ステップ300では、量子
化スケール値s をs0にセットし、e0以上e1以下の全ての
整数e に対して、符号化残差の生起確率Pij(e)の値を0
にセットする。ここでe0は、符号化残差e として取り得
る値の最小値以下の整数であれば、任意の値で良い。ま
た、e1は、符号化残差e として取り得る値の最大値以上
の整数であれば、任意の値で良い。Next, an example of the processing performed by the encoding residual occurrence probability calculating unit 92 to realize the above will be described with reference to FIG.
This will be described with reference to FIG. First, in step 300, the quantization scale value s is set to s0, and the value of the coding residual occurrence probability Pij (e) is set to 0 for all integers e not less than e0 and not more than e1.
Set to. Here, e0 may be any value as long as it is an integer equal to or less than the minimum value of the value that can be taken as the encoding residual e. Further, e1 may be any value as long as it is an integer equal to or larger than the maximum value of the values that can be taken as the encoding residual e.
【0066】ステップ301では、量子化スケール値が
s の時の符号化残差の頻度分布p'ij(e,s) を計算する。
この詳細は後述する。そしてステップ302において
は、ステップ301で求まった頻度分布p'ij(e,s) と量
子化スケール値の頻度分布r(s)を用いて、生起確率Pij
(e)の値を更新する。この詳細についても後述する。そ
の後のステップ303では、量子化スケール値s の値を
1だけ増やす。そして、ステップ304において、量子
化スケール値s の値とs1とを比較し、s がs1以下(YE
S)と判定すれば、ふたたびステップ301に戻り、そ
うでなければ、即ちNOと判定すれば、この処理を終了
する。終了した時点で、各符号化残差e に対して数4に
示す確率Pij(e)の値が求まる。In step 301, the quantization scale value is
Calculate the frequency distribution p'ij (e, s) of the coding residual at the time of s.
The details will be described later. Then, in step 302, using the frequency distribution p′ij (e, s) obtained in step 301 and the frequency distribution r (s) of the quantization scale value, the occurrence probability Pij
Update the value of (e). This will be described later in detail. In the subsequent step 303, the value of the quantization scale value s is increased by one. Then, in step 304, the value of the quantization scale value s is compared with s1, and s is equal to or smaller than s1 (YE
If determined as S), the process returns to step 301 again, and if not, that is, if determined as NO, this process ends. At the end, the value of the probability Pij (e) shown in Equation 4 is obtained for each coding residual e.
【0067】次に、図5を参照して、図4のステップ3
01における頻度分布p'ij(e,s) の算出方法について説
明する。まず、ステップ350では、変換係数値x の値
をx0にセットし、e0以上e1以下の全ての整数e に対し
て、量子化スケール値がs のときの符号化残差の頻度分
布p'ij(e,s) の値を0 にセットする。次のステップ35
1では、量子化マトリクス値がWij 、量子化スケール値
がs 、変換係数値がx のときの符号化残差の値e を求め
る。続くステップ352において、頻度分布p'ij(e,s)
に頻度分布pij(x)を加算して、頻度分布p'ij(e,s) の値
を更新する。その後のステップ353では、係数値x の
値を1だけ増やす。そしてステップ354では、係数値
x の値をx1と比較して、x がx1以下(YES)と判定す
れば、再びステップ351に戻り、そうでなければ、即
ちNOと判定すれば、この処理を終了する。終了した時
点で、各整数e に対して数2に示す頻度分布p'ij(e,s)
が求まり、図4のステップ302に進む。Next, referring to FIG. 5, step 3 in FIG.
A method of calculating the frequency distribution p'ij (e, s) at 01 will be described. First, in step 350, the value of the transform coefficient value x is set to x0, and the frequency distribution p′ij of the encoding residual when the quantization scale value is s is set for all integers e not less than e0 and not more than e1. Set the value of (e, s) to 0. Next step 35
In step 1, the coding residual value e is obtained when the quantization matrix value is Wij, the quantization scale value is s, and the transform coefficient value is x. In the following step 352, the frequency distribution p'ij (e, s)
Is added to the frequency distribution pij (x) to update the value of the frequency distribution p'ij (e, s). In the subsequent step 353, the value of the coefficient value x is increased by one. Then, in step 354, the coefficient value
The value of x is compared with x1, and if it is determined that x is equal to or less than x1 (YES), the process returns to step 351 again, and if not, that is, if it is determined as NO, this process ends. At the end, the frequency distribution p'ij (e, s) shown in Equation 2 for each integer e
Is obtained, and the process proceeds to step 302 in FIG.
【0068】次に、図6を参照して、図4のステップ3
02において、生起確率Pij(e)の値を更新する過程につ
いて説明する。まず、ステップ400において、符号化
残差e の値をe0にセットする。次のステップ401で
は、確率Pij(e)の値に、割合r(s)と頻度分布p'ij(e,s)
の積を加算して、確率Pij(e)の値を更新する。続くステ
ップ402では、符号化残差e の値を1だけ増やす。そ
の後のステップ403では、符号化残差e の値をe1と比
較して、e がe1以下(YES)と判定すれば、再びステ
ップ401に戻り、そうでなければ、即ちNOと判定す
れば、この処理を終了する。終了した時点で、各符号化
残差e に対する確率Pij(e)の値の更新が終了したことに
なり、図4のステップ303に進む。Next, referring to FIG. 6, step 3 in FIG.
In 02, a process of updating the value of the occurrence probability Pij (e) will be described. First, in step 400, the value of the encoding residual e is set to e0. In the next step 401, the ratio r (s) and the frequency distribution p'ij (e, s) are added to the value of the probability Pij (e).
To update the value of the probability Pij (e). In the following step 402, the value of the encoding residual e is increased by one. In the subsequent step 403, the value of the encoding residual e is compared with e1, and if it is determined that e is equal to or less than e1 (YES), the process returns to step 401 again. This processing ends. At the end of the process, the update of the value of the probability Pij (e) for each encoding residual e has been completed, and the process proceeds to step 303 in FIG.
【0069】なお、図4に示す符号化残差の生起確率算
出部92で行われる処理は、図7に示す処理であっても
良い。ステップ300は、図4のものと同じであるが、
この後、ステップ305に進む。そのステップ305で
は、割合r(s)の値が0 かどうかを調べ、0 (YES)と
判定すればステップ301、ステップ302を飛ばし、
ステップ303に進む。そうでなければ、即ちNOと判
定すれば、ステップ301に進む。他のステップ301
からステップ304までの処理は図4のものと同じであ
るが、ステップ304において、量子化スケール値s が
s1以下(YES)と判定すればステップ305へ戻り、
そうでなければ、即ちNOと判定すれば、この処理を終
了する。割合r(s)が0 のときは、頻度分布p'ij(e,s) の
値にかかわらず、確率Pij(e)の値は更新されないため、
終了した時点で求まる確率Pij(e)の値は、図4の場合と
同じになる。The processing performed by the encoding residual occurrence probability calculating section 92 shown in FIG. 4 may be the processing shown in FIG. Step 300 is the same as that of FIG.
Thereafter, the process proceeds to step 305. In step 305, it is checked whether the value of the ratio r (s) is 0, and if it is determined to be 0 (YES), steps 301 and 302 are skipped.
Proceed to step 303. Otherwise, that is, if NO is determined, the process proceeds to step 301. Other steps 301
4 to step 304 are the same as those in FIG. 4, but in step 304, the quantization scale value s is
If it is determined to be s1 or less (YES), the process returns to step 305,
Otherwise, that is, if it is determined to be NO, this process ends. When the ratio r (s) is 0, the value of the probability Pij (e) is not updated regardless of the value of the frequency distribution p'ij (e, s).
The value of the probability Pij (e) obtained at the end of the process is the same as that in FIG.
【0070】また、図4または図7のステップ301に
おける頻度分布p'ij(e,s) の算出方法は、図5に示す方
法ではなく、図8に示す方法であっても良い。図8にお
いて、ステップ350は、図5と同じであるか、この
後、ステップ355に進む。ステップ355では、頻度
分布pij(x)が0 かどうかを調べ、0 (YES)と判定す
れば、ステップ351、ステップ352を飛ばし、ステ
ップ353に進む。そうでなければ、即ちNOと判定す
れば、ステップ351に進む。ステップ351からステ
ップ354までの処理は、図5と同じであるが、ステッ
プ354において、係数値x がx1以下(YES)と判定
すればステップ355へ戻り、そうでなければ、即ちN
Oと判定すれば、この処理を終了する。頻度分布pij(x)
が0 のときは、頻度分布p'ij(e,s) の値は更新されない
ため、終了した時点で求まる頻度分布p'ij(e,s) の値
は、図5の場合と同じになる。The method of calculating the frequency distribution p'ij (e, s) in step 301 in FIG. 4 or FIG. 7 may be the method shown in FIG. 8 instead of the method shown in FIG. In FIG. 8, step 350 is the same as in FIG. 5, or proceeds to step 355 thereafter. In step 355, it is checked whether or not the frequency distribution pij (x) is 0. If it is determined to be 0 (YES), steps 351 and 352 are skipped, and the process proceeds to step 353. Otherwise, that is, if NO is determined, the process proceeds to step 351. The processing from step 351 to step 354 is the same as that in FIG. 5, but if it is determined in step 354 that the coefficient value x is equal to or less than x1 (YES), the processing returns to step 355;
If it is determined to be O, this processing ends. Frequency distribution pij (x)
Is 0, the value of the frequency distribution p'ij (e, s) is not updated, so the value of the frequency distribution p'ij (e, s) obtained at the end is the same as in FIG. .
【0071】以上のような処理によって、符号化残差e
の生起確率Pij(e)を算出している。そのように、実際に
発生した頻度分布等から生起確率を算出することで、算
術符号化部91が出力する算術符号の符号量はより小さ
くなる。With the above processing, the coding residual e
Is calculated as Pij (e). By calculating the occurrence probability from the actually generated frequency distribution or the like, the code amount of the arithmetic code output by the arithmetic coding unit 91 becomes smaller.
【0072】〔第4の実施の形態〕図9は、第4の実施
の形態による階層的画像符号化装置の回路図である。こ
の符号化装置は、多重化器93以外は図3に示す符号化
装置と同じである。その多重化器93は、算術符号化器
91から出力される符号化残差の算術符号と、ベースレ
イヤ符号化器520から出力される量子化スケール値の
頻度分布と、その他の付加情報を多重化して、エンハン
スメントレイヤ符号列として出力させるようにしてい
る。即ち多重化器95とは異なり、量子化マトリクスの
情報をエンハンスメントレイヤ符号列として多重化させ
ないようにしている。それにより、発生符号量をより低
減させている。[Fourth Embodiment] FIG. 9 is a circuit diagram of a hierarchical image encoding apparatus according to a fourth embodiment. This encoding device is the same as the encoding device shown in FIG. The multiplexer 93 multiplexes the arithmetic code of the encoded residual output from the arithmetic encoder 91, the frequency distribution of the quantization scale value output from the base layer encoder 520, and other additional information. And output it as an enhancement layer code string. That is, unlike the multiplexer 95, the information of the quantization matrix is not multiplexed as an enhancement layer code sequence. Thereby, the generated code amount is further reduced.
【0073】〔第5の実施の形態〕図10は、第5の実
施の形態による階層的画像復号装置の回路図である。第
5の実施の形態による画像復号装置について、図10を
参照して詳述する。なお、この画像復号装置は、上記第
3の実施の形態による符号化装置(図3参照)により符
号化された画像信号を復号するものである。多重分離器
134は、エンハンスメントレイヤ符号列から符号化残
差の算術符号と、量子化値スケール値の頻度分布と、量
子化マトリクスと、その他の付加情報とを分離して出力
する。符号化残差の生起確率算出部135は、多重分離
器134から出力される量子化スケール値の頻度分布お
よび量子化マトリクスとから、符号化残差の生起確率を
算出して出力する。算術復号器130は、多重分離器1
34から出力される符号化残差の算術符号を、符号化残
差の生起確率算出部135から出力される生起確率に基
づいて算術復号して、復号結果(符号化残差)を出力す
る。ベースレイヤ復号器620は、ベースレイヤ符号列
と、算術復号器130から出力される符号化残差とから
復号画像を作成して出力する。[Fifth Embodiment] FIG. 10 is a circuit diagram of a hierarchical image decoding apparatus according to a fifth embodiment. An image decoding device according to the fifth embodiment will be described in detail with reference to FIG. This image decoding apparatus decodes an image signal encoded by the encoding apparatus according to the third embodiment (see FIG. 3). The demultiplexer 134 separates and outputs the arithmetic code of the coding residual, the frequency distribution of the quantization value scale value, the quantization matrix, and other additional information from the enhancement layer code sequence. The coding residual occurrence probability calculation unit 135 calculates and outputs the coding residual occurrence probability from the quantization scale value frequency distribution and the quantization matrix output from the demultiplexer 134. Arithmetic decoder 130 is a demultiplexer 1
The arithmetic code of the encoded residual output from 34 is arithmetically decoded based on the occurrence probability output from the encoded residual occurrence probability calculation unit 135, and a decoded result (encoded residual) is output. The base layer decoder 620 creates and outputs a decoded image from the base layer code sequence and the coding residual output from the arithmetic decoder 130.
【0074】次に、動作について詳細に説明する。エン
ハンスメントレイヤ符号列は、多重分離器134に入力
される。多重分離器134にはバッファがあり、入力さ
れたエンハンスメントレイヤ符号列は、符号化残差の算
術符号と、量子化値スケール値の頻度分布と、量子化マ
トリクス値と、その他の付加情報とに分離されてバッフ
ァに蓄えられる。ただし、多重分離器134は、後述す
る算術復号器130と一体となって、算術復号しながら
各種情報を分離するようになっていてもよい。量子化ス
ケール値の頻度分布は、量子化マトリクス値とともに、
符号化残差の生起確率算出部135に入力され、符号化
残差の生起確率の算出に用いられる。符号化残差の生起
確率算出部135には、各変換係数の頻度分布のデータ
が予め蓄えられている。これは、図3または図9の装置
で、符号化残差の生起確率算出部92に蓄えられている
データと同一のものである。また、符号化残差生起確率
算出部135の動作は、図3または図9の符号化残差生
起確率算出部92の動作と同様である。符号化残差の算
術符号は、多重分離器134から算術復号器130に読
み込まれる。そして、符号化残差生起確率算出部135
から出力される符号化残差の生起確率分布にしたがっ
て、算術復号される。得られた符号化残差は、ベースレ
イヤ復号器620に出力される。Next, the operation will be described in detail. The enhancement layer code sequence is input to the demultiplexer 134. The demultiplexer 134 has a buffer, and the input enhancement layer code string is used to store the arithmetic code of the coding residual, the frequency distribution of the quantization value scale value, the quantization matrix value, and other additional information. Separated and stored in the buffer. However, the demultiplexer 134 may be integrated with an arithmetic decoder 130 described later to separate various information while performing arithmetic decoding. The frequency distribution of the quantized scale values, along with the quantized matrix values,
It is input to the coding residual occurrence probability calculation unit 135 and is used for calculating the coding residual occurrence probability. In the encoding residual occurrence probability calculation unit 135, data of the frequency distribution of each transform coefficient is stored in advance. This is the same as the data stored in the coding residual occurrence probability calculation unit 92 in the apparatus of FIG. 3 or FIG. The operation of the coding residual occurrence probability calculation unit 135 is the same as the operation of the coding residual occurrence probability calculation unit 92 in FIG. 3 or FIG. The arithmetic code of the encoded residual is read from the demultiplexer 134 into the arithmetic decoder 130. Then, the encoding residual occurrence probability calculation unit 135
Are subjected to arithmetic decoding in accordance with the distribution of occurrence probabilities of the encoding residuals output from. The obtained coding residual is output to base layer decoder 620.
【0075】一方ベースレイヤ符号列はベースレイヤ復
号器620に入力される。ここでは、ベースレイヤ符号
列の中で、変換係数の符号に相当する部分に対して符号
変換が行われ、それによって量子化値が得られる。この
符号変換は、図3に示す符号化器のベースレイヤ符号化
器520で行われた変換の逆変換に相当するものであ
る。量子化値は逆量子化され、さらに算術復号器130
から入力される符号化残差と加算されることで、可逆変
換符号化の変換係数が得られる。この変換係数に対し
て、符号化時に、図3の装置で行われた可逆変換の逆変
換が行われ、それにより、図3の装置の入力ビデオ信号
と同一の復号信号が得られる。On the other hand, the base layer code string is input to base layer decoder 620. Here, code conversion is performed on a portion corresponding to the code of the transform coefficient in the base layer code sequence, and thereby a quantized value is obtained. This code conversion corresponds to the inverse conversion of the conversion performed by the base layer encoder 520 of the encoder shown in FIG. The quantized value is inversely quantized and further processed by the arithmetic decoder 130
Is added to the coding residual input from the, to obtain a transform coefficient of lossless transform coding. At the time of encoding, the inverse transform of the reversible transform performed by the apparatus in FIG. 3 is performed on the transform coefficients, and the same decoded signal as the input video signal of the apparatus in FIG. 3 is obtained.
【0076】〔第6の実施の形態〕図11は、第6の実
施の形態による階層的画像復号装置の回路図である。第
6の実施の形態による画像復号装置について、図11を
参照して詳述する。なお、この画像復号装置は、上記第
4の実施の形態による符号化装置(図9参照)により符
号化された画像信号を復号するものである。装置の構成
は、算術復号器130については、図10と同じであ
る。多重化器分離器132は、エンハンスメントレイヤ
符号列から符号化残差の算術符号と、量子化スケール値
の頻度分布と、その他の付加情報に分離し、出力する。
符号化残差の生起確率算出部131は、多重分離器13
2から出力される量子化スケール値の頻度分布と、ベー
スレイヤ復号器621から出力される量子化マトリクス
値とから符号化残差の生起確率を算出して出力する。ベ
ースレイヤ復号器621は、ベースレイヤ符号列から量
子化マトリクスを分離し出力する。また、ベースレイヤ
符号列と算術復号器130から出力される符号化残差と
からロスのない復号画像信号を作成して出力する。[Sixth Embodiment] FIG. 11 is a circuit diagram of a hierarchical image decoding apparatus according to a sixth embodiment. An image decoding device according to the sixth embodiment will be described in detail with reference to FIG. Note that this image decoding device decodes an image signal encoded by the encoding device according to the fourth embodiment (see FIG. 9). The configuration of the device is the same as that of FIG. The multiplexer / separator 132 separates and outputs the arithmetic code of the coding residual, the frequency distribution of the quantization scale value, and other additional information from the enhancement layer code sequence.
The encoding residual occurrence probability calculation unit 131 includes a demultiplexer 13
2 and the quantization matrix value output from the base layer decoder 621, and calculates and outputs the probability of occurrence of the coding residual. The base layer decoder 621 separates and outputs a quantization matrix from the base layer code sequence. Further, it generates and outputs a lossless decoded image signal from the base layer code sequence and the coding residual output from the arithmetic decoder 130.
【0077】この装置と、図10の装置の違いは、量子
化マトリクスの情報をベースレイヤ符号列から得る点で
ある。ベースレイヤ符号列には、ベースレイヤの量子化
に用いる量子化マトリクスの情報が含まれる。ベースレ
イヤ復号器621では、これをベースレイヤ符号列から
分離して出力する。なお、量子化マトリクスの情報が含
まれない場合もあるが、この場合は、ベースレイヤの逆
量子化では、予め定められた量子化マトリクスを用いる
ことになる。よって、符号化残差の生起確率算出部13
1は、ベースレイヤ復号器621から出力される量子化
マトリクスを用いる。その符号化残差の生起確率算出部
131は、この量子化マトリクスが入力されてから、生
起確率の算出を行う。The difference between this apparatus and the apparatus shown in FIG. 10 is that information of a quantization matrix is obtained from a base layer code string. The base layer code string includes information of a quantization matrix used for quantization of the base layer. The base layer decoder 621 separates this from the base layer code sequence and outputs it. In some cases, the information of the quantization matrix is not included. In this case, in the inverse quantization of the base layer, a predetermined quantization matrix is used. Therefore, the coding residual occurrence probability calculation unit 13
1 uses the quantization matrix output from the base layer decoder 621. The coding residual occurrence probability calculation unit 131 calculates the occurrence probability after the quantization matrix is input.
【0078】〔第7の実施の形態〕図12は、第7の実
施の形態による階層的画像符号化装置の回路図である。
第7の実施の形態による画像符号化装置について、図1
2を参照して詳述する。ベースレイヤ符号化器540
は、基本的には、図9のベースレイヤ符号化器520と
同じであるが、それに加えてさらに、可逆変換符号化の
変換係数も出力する。変換係数の頻度分布算出部110
は、ベースレイヤ符号化器540から出力される変換係
数を集計して、変換係数の頻度分布を求めて出力する。
符号化残差の生起確率算出部111は、ベースレイヤ符
号化器540から出力される量子化マトリクスと量子化
スケールの頻度分布と、変換係数の頻度分布算出部11
0から出力される変換係数の頻度分布とに基づいて、符
号化残差の生起確率を算出して出力する。算術符号化器
91は、ベースレイヤ符号化器540から出力される符
号化残差を、符号化残差の生起確率算出部111から出
力される符号化残差の生起確率に基づいて算術符号化
し、その結果を符号化残差の算術符号として出力する。
多重化器93は、算術符号化器91から出力される符号
化残差の算術符号と、ベースレイヤ符号化器540から
出力される量子化スケール値の頻度分布と、その他の付
加情報を多重化して、エンハンスメントレイヤ符号列と
して出力する。[Seventh Embodiment] FIG. 12 is a circuit diagram of a hierarchical image encoding apparatus according to a seventh embodiment.
FIG. 1 shows an image coding apparatus according to a seventh embodiment.
This will be described in detail with reference to FIG. Base layer encoder 540
Is basically the same as the base layer encoder 520 of FIG. 9, but additionally outputs a transform coefficient of lossless transform encoding. Conversion coefficient frequency distribution calculator 110
Collects the transform coefficients output from the base layer encoder 540, calculates the frequency distribution of the transform coefficients, and outputs the frequency distribution.
The encoding residual occurrence probability calculation unit 111 includes a quantization matrix output from the base layer encoder 540, a quantization scale frequency distribution, and a transform coefficient frequency distribution calculation unit 11.
Based on the frequency distribution of the transform coefficients output from 0, the occurrence probability of the coding residual is calculated and output. Arithmetic encoder 91 arithmetically encodes the encoding residual output from base layer encoder 540 based on the occurrence probability of the encoding residual output from encoding residual occurrence probability calculating section 111. , And outputs the result as the arithmetic code of the encoded residual.
The multiplexer 93 multiplexes the arithmetic code of the encoded residual output from the arithmetic encoder 91, the frequency distribution of the quantization scale value output from the base layer encoder 540, and other additional information. And outputs it as an enhancement layer code sequence.
【0079】次に、動作について詳細に説明する。入力
ビデオ信号は、ベースレイヤ符号化器540に入力され
る。ベースレイヤ符号化器540の動作は、図9のベー
スレイヤ符号化器520と同じであるが、可逆変換符号
化の変換係数も出力される。Next, the operation will be described in detail. The input video signal is input to base layer encoder 540. The operation of the base layer encoder 540 is the same as that of the base layer encoder 520 of FIG. 9, but also outputs the transform coefficients of the lossless transform encoding.
【0080】出力された変換係数は、変換係数の頻度分
布算出部110に入力される。変換係数の頻度分布算出
部110では、変換係数の値として、各周波数インデッ
クス(i,j) ごとに別々に、どの値がどれだけ生起したか
を、ある定まった符号化周期ごとに集計する。そして、
変換係数の頻度分布を算出し、出力する。The output transform coefficient is input to transform coefficient frequency distribution calculating section 110. The frequency distribution calculation unit 110 of the transform coefficient sums up, as a value of the transform coefficient, for each frequency index (i, j), which value has occurred and how much, for each predetermined coding cycle. And
The frequency distribution of the conversion coefficient is calculated and output.
【0081】符号化残差の生起確率算出部111は、符
号化残差の生起確率を算出する。この算出過程は図9の
符号化残差の生起確率算出部92と同じであるが、ここ
では、さらに、変換係数の頻度分布算出部110から出
力される変換係数の頻度分布に基づいて、各変換係数の
頻度分布のデータを更新する。更新した頻度分布は、次
の符号化周期での符号化残差の生起確率算出に用いる。
頻度分布を更新する方式としては、様々な方式が考えら
れる。変換係数の頻度分布算出部110から出力される
変換係数xの頻度分布をp''ij(x)とすると、例えば、パ
ラメータaを0以上1以下の値として、数5によって更
新する方式が考えられる。なお、これ以外の、算術符号
化器91、多重化器93の動作は、図9のものと同じで
ある。The coding residual occurrence probability calculation section 111 calculates the coding residual occurrence probability. This calculation process is the same as that of the encoding residual occurrence probability calculation unit 92 in FIG. 9, but here, furthermore, based on the frequency distribution of the transform coefficients output from the frequency distribution calculation unit 110 of the transform coefficients, Update the data of the frequency distribution of the conversion coefficient. The updated frequency distribution is used for calculating the occurrence probability of the encoding residual in the next encoding cycle.
Various methods can be considered as a method of updating the frequency distribution. Assuming that the frequency distribution of the transform coefficient x output from the transform coefficient frequency distribution calculator 110 is p ″ ij (x), for example, a method in which the parameter a is set to a value of 0 or more and 1 or less and updated by Equation 5 is considered. Can be The other operations of the arithmetic encoder 91 and the multiplexer 93 are the same as those in FIG.
【0082】[0082]
【数5】 (Equation 5)
【0083】この第7の実施の形態では、変換係数の頻
度分布が入力される画像信号(ビデオ信号)によって適
応的に更新されるため、入力ビデオ信号の性質を符号化
に反映させることができ、さらに符号化効率を向上させ
ることができる。In the seventh embodiment, since the frequency distribution of the transform coefficient is adaptively updated by the input image signal (video signal), the characteristics of the input video signal can be reflected in the encoding. , The coding efficiency can be further improved.
【0084】〔第8の実施の形態〕図13は、第8の実
施の形態による階層的画像復号装置の回路図である。第
8の実施の形態による画像復号装置について、図13を
参照して詳述する。なお、この画像復号装置は、第7の
実施の形態による符号化装置(図12参照)により符号
化された画像信号を復号するものである。[Eighth Embodiment] FIG. 13 is a circuit diagram of a hierarchical image decoding apparatus according to an eighth embodiment. An image decoding device according to the eighth embodiment will be described in detail with reference to FIG. This image decoding device decodes an image signal encoded by the encoding device according to the seventh embodiment (see FIG. 12).
【0085】ベースレイヤ復号器640は、基本的に
は、図11のベースレイヤ復号器621と同じである
が、それに加えてさらに、可逆変換符号化の変換係数も
出力する。変換係数の頻度分布算出部150は、ベース
レイヤ復号器640から出力される変換係数を集計し
て、変換係数の頻度分布を求めて出力する。多重分離器
132は、エンハンスメントレイヤ符号列から符号化残
差の算術符号と、量子化スケール値の頻度分布と、その
他の付加情報とを分離して出力する。符号化残差の生起
確率算出部151は、多重分離器132から出力される
量子化スケールの頻度分布と、ベースレイヤ復号器64
0から出力される量子化マトリクスと、変換係数の頻度
分布算出部150から出力される変換係数の頻度分布と
に基づいて、符号化残差の生起確率を算出して出力す
る。算術復号器130は、多重分離器132から出力さ
れる符号化残差の算術符号を、符号化残差の生起確率算
出部151から出力される生起確率に基づいて算術復号
し、復号結果を符号化残差として出力する。The base layer decoder 640 is basically the same as the base layer decoder 621 shown in FIG. 11, but also outputs a transform coefficient for lossless transform coding. Transform coefficient frequency distribution calculation section 150 counts the transform coefficients output from base layer decoder 640, obtains and outputs a frequency distribution of transform coefficients. The demultiplexer 132 separates and outputs the arithmetic code of the encoding residual, the frequency distribution of the quantization scale value, and other additional information from the enhancement layer code sequence. The coding residual occurrence probability calculation unit 151 calculates the frequency distribution of the quantization scale output from the demultiplexer 132 and the base layer decoder 64.
Based on the quantization matrix output from 0 and the frequency distribution of the transform coefficients output from the frequency distribution calculation unit 150 of the transform coefficients, the occurrence probability of the coding residual is calculated and output. The arithmetic decoder 130 arithmetically decodes the arithmetic code of the encoded residual output from the demultiplexer 132 based on the occurrence probability output from the encoded residual occurrence probability calculation unit 151, and encodes the decoded result. Output as the coded residual.
【0086】次に、動作についてより詳細に説明する。
多重分離器132、算術復号器130の動作は、図11
のものと同じである。符号化残差の生起確率算出部15
1は、図12の符号化残差の生起確率算出部111と同
様にして、符号化残差の生起確率を算出し、出力する。
なお、変換係数の頻度分布の初期値は、図12の符号化
残差の生起確率算出部111のものと同一にセットされ
ているものとする。それにより、算術復号器130で得
られる符号化残差の値は、図12のベースレイヤ符号化
器540から出力された値と同じになる。Next, the operation will be described in more detail.
The operations of the demultiplexer 132 and the arithmetic decoder 130 are shown in FIG.
Is the same as Encoding residual occurrence probability calculating unit 15
1 calculates and outputs the occurrence probability of the coding residual in the same manner as the coding residual occurrence probability calculating unit 111 of FIG.
It is assumed that the initial value of the frequency distribution of the transform coefficient is set to be the same as that of the encoding residual occurrence probability calculation unit 111 in FIG. Thus, the value of the coding residual obtained by arithmetic decoder 130 becomes the same as the value output from base layer coder 540 in FIG.
【0087】符号化残差は、ベースレイヤ復号器640
に入力される。ベースレイヤ復号器640の動作は、基
本的には、図11のベースレイヤ復号器621と同じで
ある。さらに、ベースレイヤ符号列から符号変換および
逆量子化して得られる逆量子化値と、この符号化残差と
を加えて得られる可逆変換符号化の変換係数が出力され
る。この変換係数は、図12のベースレイヤ符号化器5
40のものと同一になる。The coding residual is transmitted to the base layer decoder 640
Is input to The operation of the base layer decoder 640 is basically the same as that of the base layer decoder 621 in FIG. Further, a transform coefficient of lossless transform coding obtained by adding the inverse quantization value obtained by performing code conversion and inverse quantization from the base layer code sequence and this coding residual is output. This transform coefficient is used as the base layer encoder 5 in FIG.
It will be the same as 40.
【0088】出力された変換係数は、変換係数の頻度分
布算出部150に入力される。変換係数の頻度分布算出
部150の動作は、図12の変換係数の頻度分布算出部
110と同様である。前述の通り、変換係数は図12の
ベースレイヤ符号化器540から出力されるものと同じ
であるため、ここから出力される変換係数の頻度分布
も、図12の変換係数の頻度分布算出部110から出力
されるものと同じになる。The output transform coefficient is input to transform coefficient frequency distribution calculating section 150. The operation of the transform coefficient frequency distribution calculating section 150 is the same as that of the transform coefficient frequency distribution calculating section 110 in FIG. As described above, since the transform coefficients are the same as those output from the base layer encoder 540 in FIG. 12, the frequency distribution of the transform coefficients output therefrom is also the same as the frequency distribution calculator 110 of FIG. Will be the same as the one output from
【0089】この変換係数の頻度分布は、符号化残差の
生起確率算出部151に入力される。そして、ここに蓄
えられている変換係数の頻度分布のデータが、図12の
符号化残差の生起確率算出部111と同じ方法で更新さ
れる。この結果、更新後の変換係数の頻度分布のデータ
も、図12の符号化残差の生起確率算出部111の場合
と同じになる。The frequency distribution of the transform coefficients is input to the coding residual occurrence probability calculating section 151. Then, the data of the frequency distribution of the transform coefficients stored here is updated by the same method as the coding residual occurrence probability calculation unit 111 in FIG. As a result, the data of the frequency distribution of the transformed coefficients after the update becomes the same as the case of the encoding residual occurrence probability calculation unit 111 in FIG.
【0090】このようにして、符号化残差の生起確率算
出部151から出力される符号化残差の生起確率は、常
に図12の符号化残差の生起確率算出部111の場合と
同じになるため、図12の符号化器で生成されるエンハ
ンスメントレイヤ符号列を正しく復号することができ
る。その結果、ベースレイヤ復号器640からロスのな
い復号画像を(ビデオ信号、あるいはそれを変換して得
られる信号)が得られることになる。As described above, the occurrence probability of the encoding residual output from the encoding residual occurrence probability calculating unit 151 is always the same as that of the encoding residual occurrence probability calculating unit 111 in FIG. Therefore, the enhancement layer code sequence generated by the encoder in FIG. 12 can be correctly decoded. As a result, a decoded image (a video signal or a signal obtained by converting the video signal) without loss is obtained from the base layer decoder 640.
【0091】〔第9の実施の形態〕図14は、第9の実
施の形態による階層的画像符号化装置の回路図である。
第9の実施の形態による画像符号化装置について、図1
4を参照して詳述する。[Ninth Embodiment] FIG. 14 is a circuit diagram of a hierarchical image encoding apparatus according to a ninth embodiment.
FIG. 1 shows an image coding apparatus according to a ninth embodiment.
4 will be described in detail.
【0092】動き推定および補償回路50、減算器1、
可逆離散コサイン変換回路51、量子化制御部3、量子
化器4、符号変換部14、多重化器54、逆量子化器
5、減算器53は、図25に示す従来の符号化装置と同
じである。量子化スケール値集計部90は、量子化制御
部3からマクロブロック毎に出力される量子化スケール
値を定まった符号化周期(例えばピクチャ単位)で集計
し、量子化スケール値の頻度分布を出力する。符号化残
差の生起確率算出部92は、量子化スケール値集計部9
0から出力される量子化スケール値の頻度分布と、量子
化マトリクスと、予め求められ、蓄積された各変換係数
の頻度分布とから各変換係数の符号化残差の生起確率を
算出して出力する。バッファ94は、減算器53から出
力される符号化残差を一時的に蓄積する。算術符号化器
91は、符号化残差の生起確率算出部92から出力され
る生起確率に基づいて、バッファ94から出力される符
号化残差を算術符号化し、その結果を符号化残差の算術
符号として出力する。多重化器93は、算術符号化器9
1から出力される符号化残差の算術符号と、量子化スケ
ール値の頻度分布と、その他の付加情報とを多重化し
て、エンハンスメントレイヤ符号列として出力する。The motion estimation and compensation circuit 50, the subtractor 1,
A reversible discrete cosine transform circuit 51, a quantization control unit 3, a quantizer 4, a code conversion unit 14, a multiplexer 54, an inverse quantizer 5, and a subtractor 53 are the same as those in the conventional coding device shown in FIG. It is. The quantization scale value summation unit 90 counts the quantization scale values output from the quantization control unit 3 for each macroblock at a predetermined coding cycle (for example, in picture units), and outputs a frequency distribution of the quantization scale values. I do. The encoding residual occurrence probability calculating section 92 includes a quantization scale value totaling section 9.
Calculate and output the occurrence probability of the coding residual of each transform coefficient from the frequency distribution of the quantization scale value output from 0, the quantization matrix, and the frequency distribution of each transform coefficient obtained and stored in advance. I do. The buffer 94 temporarily stores the encoding residual output from the subtractor 53. The arithmetic coder 91 arithmetically codes the coded residual output from the buffer 94 based on the occurrence probability output from the coded residual occurrence probability calculation unit 92, and converts the result to the coded residual. Output as arithmetic code. The multiplexer 93 includes the arithmetic coder 9
The arithmetic code of the encoded residual output from 1 is multiplexed with the frequency distribution of the quantization scale value and other additional information, and output as an enhancement layer code sequence.
【0093】次に、動作について詳細に説明する。入力
ビデオ信号は、例えばピクチャ毎に分割され、符号化す
る順序で入力される。この入力ビデオ信号は、動き推定
および補償回路50と減算器1に入力される。動き推定
および補償回路50では、過去に符号化された動き推定
の参照画像のデータが蓄えられており、入力ビデオ信号
と参照画像データとの間で動き推定が行われる。そし
て、マクロブロック毎に、イントラ、ノンイントラなど
の予測モードおよび動きベクトルなどからなるマクロブ
ロック情報が求められる。さらに、これらの情報に従っ
て動き補償が行われ、動き補償予測画像信号が作成され
る。ここで求められたマクロブロック情報は、量子化器
4、逆量子化器5、及び符号変換部14に入力され、そ
れぞれの動作の制御にも用いられる。Next, the operation will be described in detail. The input video signal is divided for each picture, for example, and is input in an encoding order. This input video signal is input to the motion estimation and compensation circuit 50 and the subtracter 1. In the motion estimation and compensation circuit 50, data of a reference image for motion estimation encoded in the past is stored, and motion estimation is performed between the input video signal and the reference image data. Then, macroblock information including a prediction mode such as intra or non-intra, a motion vector, and the like is obtained for each macroblock. Further, motion compensation is performed in accordance with these pieces of information, and a motion-compensated predicted image signal is created. The macroblock information obtained here is input to the quantizer 4, the inverse quantizer 5, and the code conversion unit 14, and is also used to control each operation.
【0094】動き補償予測画像は、減算器1に出力され
る。減算器1は入力ビデオ信号から動き補償予測画像信
号を減算し、その減算結果である予測誤差画像信号を出
力する。予測誤差画像は、可逆離散コサイン変換回路5
1と量子化制御部3に入力される。可逆離散コサイン変
換回路51に入力された予測誤差画像信号に対して、ブ
ロック毎に可逆離散コサイン変換が行われる。変換結果
は可逆離散コサイン変換係数として、量子化器4、減算
器53に出力される。量子化制御部3では、予測誤差画
像信号と、多重化器54からフィードバックされる符号
量情報を用いて、マクロブロック単位に量子化スケール
値を算出する。この算出方式としては、例えば、MPEG-2
TM5{Test Mode I 5 }のものを用いることができる。
なお、TM5 については、特集“MPEG”の3-2-5 節レート
制御とバッファ制御「1995年 4月、テレビジョン学会
誌、第49巻、第 4号、455 〜458 頁」に述べられてい
る。The motion compensated prediction image is output to the subtracter 1. The subtracter 1 subtracts the motion compensated prediction image signal from the input video signal, and outputs a prediction error image signal as a result of the subtraction. The prediction error image is converted to a reversible discrete cosine transform circuit 5
1 is input to the quantization control unit 3. The prediction error image signal input to the reversible discrete cosine transform circuit 51 is subjected to reversible discrete cosine transform for each block. The transform result is output to the quantizer 4 and the subtractor 53 as a reversible discrete cosine transform coefficient. The quantization control unit 3 calculates a quantization scale value for each macroblock using the prediction error image signal and the code amount information fed back from the multiplexer 54. As the calculation method, for example, MPEG-2
TM5 {Test Mode I5} can be used.
For TM5, see Section 3-2-5 Rate control and buffer control in the special issue “MPEG” in “April 1995, Journal of the Institute of Television Engineers of Japan, Vol. 49, No. 4, pp. 455-458”. I have.
【0095】量子化器4では、量子化制御部でブロック
毎に決定された量子化スケール値と、マクロブロック情
報と、予め定められた、あるいはある一定の符号化周期
ごとに算出された量子化マトリクス値とに基づいて、可
逆離散コサイン変換係数を量子化する。そして、得られ
た量子化値は、符号変換部14に入力され、ジグザグス
キャンなどによって1次元に走査された後、可変長符号
化される。この可変長符号化の方法としては、例えば、
量子化値が連続して0 となる長さ(0ラン長) と次の量子
化値の絶対値(レベル)とを組み合わせて、予め定めら
れた符号化表に従ってハフマン符号化する方式がある。
また、ハフマン符号化のかわりに算術符号化を用いて符
号化することもできる。In the quantizer 4, the quantization scale value determined for each block by the quantization control unit, the macroblock information, and the quantization calculated in a predetermined or fixed coding cycle are calculated. The reversible discrete cosine transform coefficients are quantized based on the matrix values. Then, the obtained quantized value is input to the code conversion unit 14, where it is one-dimensionally scanned by zigzag scanning or the like, and then subjected to variable length coding. As a method of the variable length coding, for example,
There is a method of performing Huffman coding according to a predetermined coding table by combining a length (0 run length) in which a quantized value is continuously 0 and an absolute value (level) of the next quantized value.
Also, encoding can be performed using arithmetic coding instead of Huffman coding.
【0096】このようにして得られる量子化値の可変長
符号は、量子化スケール値と、量子化マトリクスと、マ
クロブロック情報と、その他付加情報とともに多重化器
54に入力される。多重化器54にはバッファがあり、
入力された各種データはここに一旦蓄えられる。そし
て、予め定まった順序で各種データは多重化され、ベー
スレイヤの符号列として出力される。ここではさらに実
際に発生した符号量がカウントされ、符号量情報として
量子化制御部3に出力される。もし、符号変換部14で
MPEG-2に従った可変長符号化を行い、多重化器54でMPEG
-2で規定されている通りに各種情報を多重化するなら
ば、ベースレイヤ符号列は、MPEG-2互換なものとなる。
また、MPEG-2以外にも、MPEG-1、MPEG-4、H.261 、H.26
3 などの方式を用いることもでき、それぞれに対して互
換なベースレイヤ符号列を作成することも可能である。The variable length code of the quantized value thus obtained is input to the multiplexer 54 together with the quantized scale value, the quantized matrix, the macroblock information, and other additional information. The multiplexer 54 has a buffer,
The various input data are temporarily stored here. Then, various data are multiplexed in a predetermined order, and are output as a base layer code sequence. Here, the actually generated code amount is further counted and output to the quantization control unit 3 as code amount information. If the code converter 14
Performs variable-length encoding according to MPEG-2, and outputs the MPEG
If various types of information are multiplexed as specified in -2, the base layer code string becomes MPEG-2 compatible.
In addition to MPEG-2, MPEG-1, MPEG-4, H.261, H.26
A method such as 3 can be used, and a compatible base layer code string can be created for each method.
【0097】一方、量子化器4から出力される量子化値
は、逆量子化器5にも入力される。逆量子化器5には、
量子化スケール値と量子化マトリクスとマクロブロック
情報も入力され、量子化値はこれらに基づいて逆量子化
される。得られた逆量子化値は減算器53に入力され、
量子化前の値である、対応する変換係数から減じられて
符号化残差が算出される。その符号化残差はバッファ9
4に入力される。そして、バッファ94に一時的に蓄え
られたデータは、予め定まった順序で算術符号化器91
に読み込まれる。算術符号化器91の動作は、図3の説
明で述べた通りである。On the other hand, the quantized value output from the quantizer 4 is also input to the inverse quantizer 5. In the inverse quantizer 5,
A quantization scale value, a quantization matrix, and macroblock information are also input, and the quantization value is inversely quantized based on these. The obtained inverse quantization value is input to the subtractor 53,
The coding residual is calculated by subtracting from the corresponding transform coefficient, which is the value before quantization. The encoded residual is stored in buffer 9
4 is input. The data temporarily stored in the buffer 94 is stored in the arithmetic encoder 91 in a predetermined order.
Is read in. The operation of the arithmetic encoder 91 is as described in the description of FIG.
【0098】また、量子化制御部3が出力した量子化ス
ケール値は、量子化スケール値集計部90にも入力され
る。量子化スケール値集計部90は、量子化スケール値
を集計する。この集計では、ある定められた符号化周期
(例えばピクチャ単位)内で、量子化スケール値とし
て、どの値がどれだけ生じたかがカウントされる。ただ
し、この符号化周期内では、量子化マトリクスの値は一
定とする。そして、一定の符号化周期ごとに、頻度分布
r(s)の値が算出され、出力される。ただし出力される値
は、頻度分布r(s)に定数倍したもの、あるいはさらにそ
れを近似したものであってよい。The quantization scale value output from the quantization control unit 3 is also input to the quantization scale value summation unit 90. The quantization scale value totalizing section 90 totalizes the quantization scale values. In this summation, how many and how many quantization scale values are generated in a predetermined coding cycle (for example, in picture units) is counted. However, the value of the quantization matrix is constant within this encoding cycle. Then, for each fixed encoding cycle, the frequency distribution
The value of r (s) is calculated and output. However, the output value may be a value obtained by multiplying the frequency distribution r (s) by a constant, or a value obtained by further approximating the value.
【0099】頻度分布r(s)は符号化残差の生起確率算出
部92に入力され、符号化残差の生起確率算出部92
は、変換係数の各周波数インデックス(i,j) (変換係数
のブロック内での位置)に対して、符号化残差の生起確
率が算出される。符号化残差の生起確率算出部92の動
作は、図3の説明で述べた通りである。The frequency distribution r (s) is input to the coding residual occurrence probability calculating section 92, and the coding residual occurrence probability calculating section 92
Is calculated for each frequency index (i, j) (the position of the transform coefficient in the block) of the transform coefficient. The operation of the encoding residual occurrence probability calculation unit 92 is as described in the description of FIG.
【0100】最後に算術符号化器91から出力される符
号化残差の算術符号と量子化スケール値の頻度分布が多
重化器93において多重化され、エンハンスメントレイ
ヤの符号列が生成、出力される。エンハンスメントレイ
ヤ符号列としては、量子化スケール値の集計をピクチャ
単位でとる場合には、例えば、図15に示す構成で出力
される。この第9の実施の形態においても、上記第3の
実施の形態と同様の効果を得ることができる。Finally, the arithmetic code of the encoding residual and the frequency distribution of the quantized scale value output from the arithmetic encoder 91 are multiplexed in the multiplexer 93, and a code string of the enhancement layer is generated and output. . When the sum of the quantization scale values is calculated in picture units, the enhancement layer code string is output, for example, in the configuration shown in FIG. In the ninth embodiment, the same effect as in the third embodiment can be obtained.
【0101】〔第10の実施の形態〕図16は、第10
の実施の形態による階層的画像符号化装置の回路図であ
る。第10の実施の形態による画像符号化装置につい
て、図16を参照して詳述する。動き推定および補償回
路60は、入力ビデオ信号と、加算器64から出力され
る局所復号画像信号との間で動き推定を行う。そして、
得られる動きベクトルに従って、参照局所復号画像信号
に対して動き補償を行い、第1の動き補償予測画像信号
を出力する。これと同時に、マクロブロック情報を出力
する。[Tenth Embodiment] FIG. 16 shows a tenth embodiment.
1 is a circuit diagram of a hierarchical image encoding device according to an embodiment. An image encoding device according to the tenth embodiment will be described in detail with reference to FIG. The motion estimation and compensation circuit 60 performs motion estimation between the input video signal and the locally decoded image signal output from the adder 64. And
According to the obtained motion vector, motion compensation is performed on the reference locally decoded image signal, and a first motion compensated prediction image signal is output. At the same time, macroblock information is output.
【0102】減算器67は、入力ビデオ信号から、動き
推定および補償回路60から出力される第1の動き補償
予測画像信号を減じて、第1の予測誤差画像を出力す
る。可逆離散コサイン変換回路51は、減算器67から
出力される第1の予測誤差画像信号に対して可逆離散コ
サイン変換を行い、第1の可逆離散コサイン変換係数を
出力する。量子化制御部3は、減算器67から出力され
る第1の予測誤差画像信号と、多重化器54から出力さ
れる符号量情報とに基づいて、量子化スケール値を算出
し、出力する。量子化器4は、量子化制御部3から出力
される量子化スケール値と、量子化マトリクスと、動き
推定および補償回路60から出力されるマクロブロック
情報とに基づいて、可逆離散コサイン変換回路51から
出力される第1の可逆離散コサイン変換係数を量子化し
て、量子化値を出力する。符号変換部14は、量子化器
4から出力される量子化値に対して可変長符号化を行っ
て、量子化値の可変長符号を出力する。多重化器54
は、量子化マトリクスと、量子化制御部3から出力され
る量子化スケール値と、動き推定および補償回路60か
ら出力されるマクロブロック情報と、符号変換部14か
ら出力される量子化値の可変長符号と、その他の付加情
報とから、ベースレイヤ符号列を生成、出力する。The subtracter 67 subtracts the first motion compensated prediction image signal output from the motion estimation and compensation circuit 60 from the input video signal, and outputs a first prediction error image. The reversible discrete cosine transform circuit 51 performs a reversible discrete cosine transform on the first prediction error image signal output from the subtracter 67, and outputs a first reversible discrete cosine transform coefficient. The quantization control unit 3 calculates and outputs a quantization scale value based on the first prediction error image signal output from the subtractor 67 and the code amount information output from the multiplexer 54. The quantizer 4 performs a reversible discrete cosine transform circuit 51 based on the quantization scale value output from the quantization control unit 3, the quantization matrix, and the macroblock information output from the motion estimation and compensation circuit 60. Quantizes the first reversible discrete cosine transform coefficient output from and outputs a quantized value. The code converter 14 performs variable-length coding on the quantized value output from the quantizer 4 and outputs a variable-length code of the quantized value. Multiplexer 54
Are variable values of the quantization matrix, the quantization scale value output from the quantization control unit 3, the macroblock information output from the motion estimation and compensation circuit 60, and the quantization value output from the code conversion unit 14. A base layer code sequence is generated and output from the long code and other additional information.
【0103】逆量子化器5は、量子化マトリクスと、量
子化制御部3から出力される量子化スケール値と、動き
推定および補償回路60から出力されるマクロブロック
情報とに基づいて、量子化器4から出力される量子化値
を逆量子化し、逆量子化値を出力する。可逆離散コサイ
ン逆変換回路65は、逆量子化器5から出力される逆量
子化値に可逆離散コサイン変換の逆変換を行って、局所
復号予測誤差画像信号を出力する。加算器64は、可逆
離散コサイン逆変換回路65から出力される局所復号予
測誤差画像信号に、動き推定および補償回路60から出
力される第1の動き補償予測画像信号を加算し、局所復
号画像信号として出力する。The inverse quantizer 5 performs quantization based on the quantization matrix, the quantization scale value output from the quantization control unit 3, and the macroblock information output from the motion estimation and compensation circuit 60. It dequantizes the quantized value output from the unit 4 and outputs a dequantized value. The reversible discrete cosine inverse transform circuit 65 performs an inverse transform of the reversible discrete cosine transform on the inversely quantized value output from the inverse quantizer 5 and outputs a local decoded prediction error image signal. The adder 64 adds the first motion compensated prediction image signal output from the motion estimation and compensation circuit 60 to the local decoded prediction error image signal output from the lossless discrete cosine inverse transform circuit 65, and Output as
【0104】また、動き補償回路61は、動き推定およ
び補償回路60から出力されるマクロブロック情報に基
づいて、入力ビデオ信号に動き補償を行って、第2の動
き補償予測画像信号を生成し、出力する。減算器62
は、入力ビデオ信号から、第2の動き補償予測画像信号
を減じ、第2の予測誤差画像信号を生成する。可逆離散
コサイン変換回路63は、減算器62から出力される第
2の予測誤差画像信号を可逆離散コサイン変換して、第
2の可逆離散コサイン変換係数を出力する。減算器66
は、可逆離散コサイン変換回路63から出力される可逆
離散コサイン変換係数から、逆量子化器5から出力され
る逆量子化値を減じて、符号化残差を算出し、出力す
る。バッファ94は、減算器66から出力される符号化
残差を蓄積する。その他の、量子化スケール値集計部9
0、符号化残差の生起確率算出部92、算術符号化器9
1、多重化器93については、図14と同じである。The motion compensation circuit 61 performs motion compensation on the input video signal based on the macroblock information output from the motion estimation and compensation circuit 60 to generate a second motion-compensated predicted image signal. Output. Subtractor 62
Subtracts the second motion compensated prediction image signal from the input video signal to generate a second prediction error image signal. The reversible discrete cosine transform circuit 63 performs a reversible discrete cosine transform on the second prediction error image signal output from the subtracter 62, and outputs a second reversible discrete cosine transform coefficient. Subtractor 66
Subtracts the inverse quantization value output from the inverse quantizer 5 from the reversible discrete cosine transform coefficient output from the reversible discrete cosine transform circuit 63, calculates an encoding residual, and outputs the result. The buffer 94 accumulates the encoding residual output from the subtractor 66. Other quantization scale value aggregation unit 9
0, coding residual occurrence probability calculating unit 92, arithmetic encoder 9
1. The multiplexer 93 is the same as that in FIG.
【0105】次に、動作について詳細に説明する。入力
ビデオ信号は、例えばピクチャ毎に分割され、符号化す
る順序で入力される。この入力ビデオ信号は、動き推定
および補償回路60、動き補償回路61、減算器67、
及び減算器62に入力される。動き推定および補償回路
60では、過去に符号化され、局所復号された動き推定
の参照画像データが蓄えられており、入力ビデオ信号と
参照画像データとの間で動き推定を行う。そして、マク
ロブロック毎に、イントラ、ノンイントラなどの予測モ
ードおよび動きベクトルなどからなるマクロブロック情
報を求める。さらに、これらの情報に従って動き補償を
行い、第1の動き補償予測画像信号を作成する。ここで
求められたマクロブロック情報は、動き補償回路61、
量子化器4、逆量子化器5、符号変換部14に入力さ
れ、それぞれの動作の制御にも用いられる。Next, the operation will be described in detail. The input video signal is divided for each picture, for example, and is input in an encoding order. This input video signal is supplied to a motion estimation and compensation circuit 60, a motion compensation circuit 61, a subtractor 67,
And input to the subtractor 62. The motion estimation and compensation circuit 60 stores reference image data of motion estimation that has been encoded and locally decoded in the past, and performs motion estimation between an input video signal and reference image data. Then, macro block information including a prediction mode such as intra or non-intra, a motion vector, or the like is obtained for each macro block. Further, motion compensation is performed in accordance with these pieces of information, and a first motion-compensated predicted image signal is created. The macro block information obtained here is used as the motion compensation circuit 61,
The signals are input to the quantizer 4, the inverse quantizer 5, and the code converter 14, and are also used to control the respective operations.
【0106】第1の動き補償予測画像信号は、減算器6
7で入力ビデオ信号から減じられて、第1の予測誤差画
像信号が作成される。第1の予測誤差画像信号は、可逆
離散コサイン変換回路51と量子化制御部3に入力され
る。可逆離散コサイン変換51、量子化器4、逆量子化
器5、符号変換部14、多重化器54、量子化制御部3
の動作は図14と同じである。The first motion-compensated predicted image signal is supplied to the subtractor 6
At 7, subtraction from the input video signal produces a first prediction error image signal. The first prediction error image signal is input to the reversible discrete cosine transform circuit 51 and the quantization control unit 3. Reversible discrete cosine transform 51, quantizer 4, inverse quantizer 5, code converter 14, multiplexer 54, quantization controller 3
Are the same as those in FIG.
【0107】一方、動き補償回路61には、過去に符号
化された動き補償の参照画像データが蓄えられており、
動き推定および補償回路60から出力されるマクロブロ
ック情報に基づいて動き補償が行われる。そして、第2
の動き補償予測画像信号が作成される。第2の動き補償
予測画像信号を、減算器62で入力ビデオ信号から減じ
ることで、第2の予測誤差画像信号が作成される。第2
の予測誤差画像信号は、可逆離散コサイン変換回路63
に入力され、ブロックごとに可逆離散コサイン変換が行
われる。この回路の動作は、可逆離散コサイン変換回路
51と同様であり、第2の可逆離散コサイン変換係数が
算出され、出力される。On the other hand, the motion compensation circuit 61 stores motion compensation reference image data encoded in the past.
Motion compensation is performed based on the macroblock information output from the motion estimation and compensation circuit 60. And the second
Is generated. By subtracting the second motion-compensated predicted image signal from the input video signal by the subtractor 62, a second predicted error image signal is created. Second
Is input to the reversible discrete cosine transform circuit 63
, And a reversible discrete cosine transform is performed for each block. The operation of this circuit is the same as that of the reversible discrete cosine transform circuit 51, and the second reversible discrete cosine transform coefficient is calculated and output.
【0108】第2の可逆離散コサイン変換係数は、減算
器66に入力される。また、逆量子化器5から出力され
る逆量子化値も減算器66に入力され、対応する変換係
数から逆量子化値が減じられ、符号化残差が算出され
る。その符号化残差はバッファ94に入力される。バッ
ファ94、量子化スケール値集計部90、算術符号化器
91、符号化残差の生起確率算出部92、多重化器93
の動作は、図14と同じである。The second reversible discrete cosine transform coefficient is input to the subtractor 66. Further, the inversely quantized value output from the inverse quantizer 5 is also input to the subtractor 66, and the inversely quantized value is subtracted from the corresponding transform coefficient, and the coding residual is calculated. The encoded residual is input to the buffer 94. Buffer 94, quantization scale value summation unit 90, arithmetic encoder 91, encoding residual occurrence probability calculation unit 92, multiplexer 93
Are the same as those in FIG.
【0109】逆量子化器5から出力される逆量子化値
は、可逆離散コサイン逆変換回路65にも入力される。
ここで、逆量子化値に対して、ブロックごとに可逆離散
コサイン変換の逆変換が行われ、局所復号予測誤差画像
信号が生成、出力される。局所復号予測誤差画像信号
は、加算器64に入力され、動き推定および補償回路6
0から出力される第1の動き補償予測画像信号に加算さ
れる。そして、局所復号画像信号が生成される。これ
は、動き推定および補償回路60に入力、蓄積され、後
の動き推定、動き補償の参照画像データとして用いられ
る。The inverse quantized value output from the inverse quantizer 5 is also input to the inverse reversible discrete cosine transform circuit 65.
Here, an inverse transform of a reversible discrete cosine transform is performed on the inverse quantized value for each block, and a locally decoded prediction error image signal is generated and output. The local decoded prediction error image signal is input to the adder 64, and the motion estimation and compensation circuit 6
0 is added to the first motion-compensated prediction image signal output from 0. Then, a locally decoded image signal is generated. This is input to and accumulated in the motion estimation and compensation circuit 60, and is used as reference image data for later motion estimation and motion compensation.
【0110】この第10の実施の形態では、発生符号量
が従来より小さくなるということに加えて、復号側がベ
ースレイヤ符号列のみを用いて復号しても、誤差累積が
復号画像に生じるのが回避されるという効果がある。In the tenth embodiment, in addition to the fact that the generated code amount is smaller than before, even if the decoding side decodes using only the base layer code string, error accumulation occurs in the decoded image. This has the effect of being avoided.
【0111】〔第11の実施の形態〕図17は、第11
の実施の形態による階層的画像復号装置の回路図であ
る。第11の実施の形態による画像復号装置について、
図17を参照して詳述する。なお、この画像復号装置
は、上記第9あるいは第10の実施の形態による符号化
装置により符号化された画像信号を復号するものであ
る。[Eleventh Embodiment] FIG.
FIG. 10 is a circuit diagram of a hierarchical image decoding device according to the embodiment. Regarding the image decoding device according to the eleventh embodiment,
This will be described in detail with reference to FIG. This image decoding device decodes an image signal encoded by the encoding device according to the ninth or tenth embodiment.
【0112】多重分離器72、符号変換部30、逆量子
化器32は図26に示す従来の復号器と同じである。多
重分離器132は、エンハンスメントレイヤ符号列から
符号化残差の算術符号と、量子化スケール値の頻度分布
と、その他の付加情報とを分離して出力する。符号化残
差の生起確率算出部131は、多重分離器132から出
力される量子化スケール値の頻度分布と、多重分離器7
2から出力される量子化マトリクス値とから、各変換係
数の符号化残差の生起確率を算出して、その生起確率を
出力する。算術復号器130は、符号化残差の生起確率
算出部131から出力される生起確率に基づいて、多重
分離器132から出力される符号化残差の算術符号を復
号し、それを符号化残差として出力する。バッファ13
3は、算術復号器130から出力される符号化残差を一
時的に蓄積する。加算器34は、逆量子化器32から出
力される逆量子化値にバッファ133から出力される符
号化残差を加算して、可逆離散コサイン変換係数として
出力する。可逆離散コサイン逆変換回路71、加算器3
6、動き補償回路37についても、図26に示す従来の
復号器と同じである。The demultiplexer 72, code converter 30, and inverse quantizer 32 are the same as the conventional decoder shown in FIG. The demultiplexer 132 separates and outputs the arithmetic code of the encoding residual, the frequency distribution of the quantization scale value, and other additional information from the enhancement layer code sequence. The encoding residual occurrence probability calculation unit 131 calculates the frequency distribution of the quantization scale value output from the demultiplexer 132 and the
From the quantization matrix value output from 2, the occurrence probability of the coding residual of each transform coefficient is calculated, and the occurrence probability is output. The arithmetic decoder 130 decodes the arithmetic code of the coded residual output from the demultiplexer 132 based on the occurrence probability output from the coding residual occurrence probability calculation unit 131, and decodes the arithmetic code. Output as difference. Buffer 13
3 temporarily stores the coding residual output from the arithmetic decoder 130. The adder 34 adds the coding residual output from the buffer 133 to the inverse quantization value output from the inverse quantizer 32, and outputs the result as a lossless discrete cosine transform coefficient. Reversible discrete cosine inverse transform circuit 71, adder 3
6. The motion compensation circuit 37 is the same as the conventional decoder shown in FIG.
【0113】次に、動作について詳細に説明する。ベー
スレイヤ符号列は、多重分離器72に入力される。多重
分離器72にはバッファがあり、入力されたベースレイ
ヤ符号列は、量子化値の可変長符号と、量子化マトリク
スと、量子化スケール値と、マクロブロック情報と、そ
の他の付加情報とに分離され、バッファに蓄えられる。
ただし、多重分離器72は、次に述べる符号変換部30
と一体になって、可変長復号しながら、各種情報を分離
するようになっていてもよい。Next, the operation will be described in detail. The base layer code sequence is input to the demultiplexer 72. The demultiplexer 72 has a buffer, and the input base layer code sequence stores the variable length code of the quantization value, the quantization matrix, the quantization scale value, the macroblock information, and other additional information. Separated and stored in a buffer.
However, the demultiplexer 72 includes a code conversion unit 30 described below.
And various information may be separated while performing variable-length decoding.
【0114】量子化値の可変長符号は、符号変換部30
において、予め定まった符号表を用いて可変長復号さ
れ、1次元量子化列に変換される。さらに逆走査変換が
行われて量子化値が求まる。符号化側でMPEG-2の可変長
符号化方式が用いられている場合には、量子化値の可変
長符号は、MPEG-2の符号表によって0 ラン長とレベルの
組に変換され、さらに1次元量子化列、量子化値へと変
換される。符号化側で算術符号が用いられている場合に
は、それに対応した算術復号を行う。そうして得られた
量子化値は、逆量子化器32により、量子化スケール
値、量子化マトリクス、マクロブロック情報に基づい
て、逆量子化される。The variable length code of the quantized value is converted by the code conversion unit 30.
In the above, variable-length decoding is performed using a predetermined code table, and converted into a one-dimensional quantized sequence. Further, inverse scan conversion is performed to obtain a quantized value. If the encoding side uses the MPEG-2 variable length encoding method, the variable length code of the quantized value is converted into a set of 0 run length and level by the MPEG-2 code table, It is converted into a one-dimensional quantization sequence and a quantization value. When an arithmetic code is used on the encoding side, arithmetic decoding corresponding to the arithmetic code is performed. The quantized value thus obtained is inversely quantized by the inverse quantizer 32 based on the quantization scale value, the quantization matrix, and the macroblock information.
【0115】一方、エンハンスメントレイヤ符号列は、
多重分離器132に入力され、符号化残差の算術符号
と、量子化スケール値の頻度分布と、その他の付加情報
とに分離される。多重分離器132の動作は、図11の
ものと同じである。量子化スケール値の頻度分布は、ベ
ースレイヤ符号列から得られた量子化マトリクス値とと
もに符号化残差の生起確率算出部131に入力され、符
号化残差の生起確率が算出される。符号化残差の生起確
率算出部131の動作も、図11のものと同じである。
なお、ここに予め蓄えられている各変換係数の頻度分布
のデータは、図14または図16の符号化残差の生起確
率算出部92のものと同一である。算術復号器130で
は、多重分離器132から符号化残差の算術符号が読み
込まれ、入力される符号化残差の生起確率分布にしたが
って、算術復号される。そして、得られた符号化残差は
バッファ133に出力される。On the other hand, the enhancement layer code sequence is
The signal is input to the demultiplexer 132, and is separated into the arithmetic code of the coded residual, the frequency distribution of the quantization scale value, and other additional information. The operation of the demultiplexer 132 is the same as that of FIG. The frequency distribution of the quantization scale value is input to the encoding residual occurrence probability calculation unit 131 together with the quantization matrix value obtained from the base layer code sequence, and the encoding residual occurrence probability is calculated. The operation of the encoding residual occurrence probability calculation unit 131 is the same as that of FIG.
The frequency distribution data of each transform coefficient stored in advance here is the same as that of the coding residual occurrence probability calculation unit 92 in FIG. 14 or FIG. In the arithmetic decoder 130, the arithmetic code of the encoded residual is read from the demultiplexer 132, and is arithmetically decoded according to the occurrence probability distribution of the input encoded residual. Then, the obtained encoding residual is output to the buffer 133.
【0116】逆量子化器32から出力された逆量子化値
は、加算器34に入力される。加算器34では、バッフ
ァ133から対応する符号化残差を読みだし、逆量子化
値に加算して、可逆離散コサイン変換係数を求める。可
逆離散コサイン変換係数は、可逆離散コサイン逆変換回
路71において、ブロックごとに可逆離散コサイン変換
の逆変換が行われ、予測誤差画像信号が生成される。動
き補償回路37では、動き補償の参照画像となる過去に
復号された画像信号が蓄えられており、多重分離器72
から出力されるマクロブロック情報にしたがって、この
参照画像信号に動き補償が行われる。そうして動き補償
予測画像信号が作成され、出力される。加算器36は、
可逆離散コサイン逆変換回路71から出力される予測画
像誤差画像信号に、動き補償予測画像を加算する。それ
により、復号画像信号が作成される。The inversely quantized value output from the inverse quantizer 32 is input to the adder 34. The adder 34 reads the corresponding coding residual from the buffer 133 and adds it to the dequantized value to obtain a reversible discrete cosine transform coefficient. The reversible discrete cosine transform coefficient is subjected to inverse transform of the reversible discrete cosine transform for each block in an inverse reversible discrete cosine transform circuit 71 to generate a prediction error image signal. In the motion compensation circuit 37, a previously decoded image signal serving as a reference image for motion compensation is stored.
The motion compensation is performed on this reference image signal according to the macroblock information output from. Thus, a motion-compensated predicted image signal is created and output. The adder 36
The motion compensated prediction image is added to the prediction image error image signal output from the reversible discrete cosine inverse transform circuit 71. Thereby, a decoded image signal is created.
【0117】このようにして、第11の実施の形態で
は、上記第9あるいは第10の実施の形態により得られ
るベースレイヤ符号列とエンハンスメントレイヤ符号列
とから、ロスのない復号画像を生成する。As described above, in the eleventh embodiment, a lossless decoded image is generated from the base layer code sequence and the enhancement layer code sequence obtained in the ninth or tenth embodiment.
【0118】〔第12の実施の形態〕図18は、第12
の実施の形態による階層的画像符号化装置の回路図であ
る。第12の実施の形態による画像符号化装置につい
て、図18を参照して詳述する。回路構成は、基本的に
は図14と同じである。異なるのは、変換係数の頻度分
布算出部110と符号化残差の生起確率算出部111で
ある。変換係数の頻度分布算出部110は、可逆離散コ
サイン変換回路51から出力される変換係数を集計し、
変換係数の頻度分布を求め、出力する。符号化残差の生
起確率算出部111は、量子化スケール値集計部90か
ら出力される量子化スケールの頻度分布と、量子化マト
リクス値と、変換係数の頻度分布算出部110から出力
される変換係数の頻度分布とに基づいて、符号化残差の
生起確率を算出して出力する。[Twelfth Embodiment] FIG.
1 is a circuit diagram of a hierarchical image encoding device according to an embodiment. An image encoding device according to the twelfth embodiment will be described in detail with reference to FIG. The circuit configuration is basically the same as that of FIG. The difference lies in the frequency distribution calculation unit 110 of the transform coefficient and the occurrence probability calculation unit 111 of the coding residual. The transform coefficient frequency distribution calculation unit 110 counts the transform coefficients output from the reversible discrete cosine transform circuit 51,
Obtain and output the frequency distribution of the transform coefficients. The encoding residual occurrence probability calculation unit 111 converts the frequency distribution of the quantization scale output from the quantization scale value aggregation unit 90, the quantization matrix value, and the conversion output from the frequency distribution calculation unit 110 of the transform coefficient. Based on the coefficient frequency distribution, the occurrence probability of the coding residual is calculated and output.
【0119】次に、動作について説明する。基本的な動
作は、図14と同じであるが、ここでは、可逆離散コサ
イン変換回路51から出力される変換係数は、変換係数
の頻度分布算出部110にも入力される。変換係数の頻
度分布算出部110の動作は、図12の説明で述べた通
りで、そこで算出された変換係数の頻度分布が符号化残
差の生起確率算出部111へ出力される。符号化残差の
生起確率算出部111の動作についても、図12の説明
で述べた通りであり、符号化残差の生起確率が出力され
る。これ以外の部分は、図14と同様である。Next, the operation will be described. The basic operation is the same as that of FIG. 14, but here, the transform coefficient output from the reversible discrete cosine transform circuit 51 is also input to the transform coefficient frequency distribution calculation unit 110. The operation of the transform coefficient frequency distribution calculating unit 110 is as described in the description of FIG. 12, and the calculated transform coefficient frequency distribution calculated there is output to the coding residual occurrence probability calculating unit 111. The operation of the coding residual occurrence probability calculation unit 111 is also as described in the description of FIG. 12, and the coding residual occurrence probability is output. The other parts are the same as in FIG.
【0120】この第12の実施の形態では、変換係数の
頻度分布が入力画像(入力ビデオ信号)によって適応的
に更新されるため、入力ビデオ信号の性質を符号化に反
映させることができ、さらに符号化効率を向上させるこ
とができる。In the twelfth embodiment, the frequency distribution of the transform coefficient is adaptively updated by the input image (input video signal), so that the properties of the input video signal can be reflected in the encoding. Encoding efficiency can be improved.
【0121】〔第13の実施の形態〕図19は、第13
の実施の形態による階層的画像符号化装置の回路図であ
る。第13の実施の形態による画像符号化装置につい
て、図19を参照して詳述する。回路構成は、基本的に
は図16と同じである。図16からは、変換係数の頻度
分布算出部110と符号化残差の生起確率算出部111
が異なる。[Thirteenth Embodiment] FIG. 19 shows a thirteenth embodiment.
1 is a circuit diagram of a hierarchical image encoding device according to an embodiment. The image coding apparatus according to the thirteenth embodiment will be described in detail with reference to FIG. The circuit configuration is basically the same as in FIG. From FIG. 16, the frequency distribution calculation unit 110 of the transform coefficient and the occurrence probability calculation unit 111 of the encoding residual
Are different.
【0122】変換係数の頻度分布算出部110は、可逆
離散コサイン変換回路63から出力される変換係数を集
計し、変換係数の頻度分布を求め、出力する。符号化残
差の生起確率算出部111は、量子化スケール値集計部
90から出力される量子化スケールの頻度分布と、量子
化マトリクス値と、変換係数の頻度分布算出部110か
ら出力される変換係数の頻度分布に基づいて、符号化残
差の生起確率を算出して出力する。The transform coefficient frequency distribution calculating section 110 counts the transform coefficients output from the reversible discrete cosine transform circuit 63, obtains the transform coefficient frequency distribution, and outputs it. The encoding residual occurrence probability calculation unit 111 converts the frequency distribution of the quantization scale output from the quantization scale value aggregation unit 90, the quantization matrix value, and the conversion output from the frequency distribution calculation unit 110 of the transform coefficient. Based on the frequency distribution of the coefficients, the probability of occurrence of the coding residual is calculated and output.
【0123】次に、動作について説明する。基本的な動
作は、図16と同じであるが、ここでは、可逆離散コサ
イン変換回路63から出力される変換係数は、変換係数
の頻度分布算出部110にも入力される。変換係数の頻
度分布算出部110の動作は、図12の説明で述べた通
りで、変換係数の頻度分布が符号化残差の生起確率算出
部111へ出力される。符号化残差の生起確率算出部1
11の動作についても、図12の説明で述べた通りであ
り、符号化残差の生起確率が出力される。これ以外の部
分は、図16と同様である。Next, the operation will be described. The basic operation is the same as that of FIG. 16, but here, the transform coefficients output from the reversible discrete cosine transform circuit 63 are also input to the transform coefficient frequency distribution calculator 110. The operation of the transform coefficient frequency distribution calculating unit 110 is as described in the description of FIG. 12, and the transform coefficient frequency distribution is output to the coding residual occurrence probability calculating unit 111. Coding residual occurrence probability calculation unit 1
The operation 11 is also as described in the description of FIG. 12, and the occurrence probability of the coding residual is output. Other parts are the same as those in FIG.
【0124】この第13の実施の形態では、変換係数の
頻度分布が入力画像によって適応的に更新されるため、
入力ビデオ信号の性質を符号化に反映させることがで
き、さらに符号化効率を向上させることができる。In the thirteenth embodiment, the frequency distribution of the transform coefficient is adaptively updated by the input image.
The properties of the input video signal can be reflected in the encoding, and the encoding efficiency can be further improved.
【0125】〔第14の実施の形態〕図20は、第14
の実施の形態による階層的画像復号装置の回路図であ
る。第14の実施の形態による画像復号装置について、
図14を参照して詳述する。なお、この画像復号装置
は、上記第12あるいは第13の実施の形態による符号
化装置により符号化された画像信号を復号するものであ
る。回路構成は、基本的には図17と同じである。図1
7からは、変換係数の頻度分布算出部150と符号化残
差の生起確率算出部151が異なる。[Fourteenth Embodiment] FIG. 20 shows a fourteenth embodiment.
FIG. 10 is a circuit diagram of a hierarchical image decoding device according to the embodiment. Regarding the image decoding device according to the fourteenth embodiment,
This will be described in detail with reference to FIG. This image decoding device decodes an image signal encoded by the encoding device according to the twelfth or thirteenth embodiment. The circuit configuration is basically the same as in FIG. FIG.
7, the transform coefficient frequency distribution calculation unit 150 and the coding residual occurrence probability calculation unit 151 are different.
【0126】変換係数の頻度分布算出部150は、加算
器34から出力される変換係数を集計し、変換係数の頻
度分布を求め、出力する。符号化残差の生起確率算出部
151は、多重分離器132から出力される量子化スケ
ール値の頻度分布と、多重分離器72から出力される量
子化マトリクスと、変換係数の頻度分布算出部150か
ら出力される変換係数の頻度分布とに基づいて、符号化
残差の生起確率を算出して出力する。The conversion coefficient frequency distribution calculating section 150 counts the conversion coefficients output from the adder 34, obtains the frequency distribution of the conversion coefficients, and outputs it. The encoding residual occurrence probability calculation unit 151 includes a quantization scale value frequency distribution output from the demultiplexer 132, a quantization matrix output from the demultiplexer 72, and a transform coefficient frequency distribution calculation unit 150. Based on the frequency distribution of the transform coefficients output from, the occurrence probability of the coding residual is calculated and output.
【0127】次に、動作について説明する。基本的な動
作は、図17と同じであるが、ここでは、加算器34か
ら出力される変換係数は、変換係数の頻度分布算出部1
50にも入力される。変換係数の頻度分布算出部150
の動作は、図13の説明で述べた通りで、変換係数の頻
度分布が符号化残差の生起確率算出部151へ出力され
る。符号化残差の生起確率算出部151の動作について
も、図13の説明で述べた通りであり、符号化残差の生
起確率が出力される。これ以外の部分は、図17と同様
である。Next, the operation will be described. The basic operation is the same as that of FIG. 17, except that the transform coefficient output from the adder 34 is the transform coefficient frequency distribution calculation unit 1.
50 is also input. Conversion coefficient frequency distribution calculation section 150
As described in the description of FIG. 13, the frequency distribution of the transform coefficient is output to the coding residual occurrence probability calculating unit 151. The operation of the coding residual occurrence probability calculation unit 151 is also as described in the description of FIG. 13, and the coding residual occurrence probability is output. The other parts are the same as in FIG.
【0128】この第14の実施の形態では、第12また
は第13の実施の形態によって得られるベースレイヤ符
号列とエンハンスメントレイヤ符号列とから、ロスのな
い復号画像を得ることができる。In the fourteenth embodiment, a lossless decoded image can be obtained from the base layer code sequence and the enhancement layer code sequence obtained by the twelfth or thirteenth embodiment.
【0129】〔第15の実施の形態〕図21は、第15
の実施の形態による階層的画像符号化装置の回路図であ
る。第15の実施の形態による画像符号化装置につい
て、図21を参照して詳述する。装置の構成は、量子化
スケール値集計部170、算術符号化器171、符号化
残差の生起確率算出部172、多重化器173以外は、
図14と同じである。[Fifteenth Embodiment] FIG.
1 is a circuit diagram of a hierarchical image encoding device according to an embodiment. An image encoding device according to a fifteenth embodiment will be described in detail with reference to FIG. The configuration of the device is the same as that of the quantization scale value summation unit 170, the arithmetic encoder 171, the encoding residual occurrence probability calculation unit 172, and the multiplexer 173.
It is the same as FIG.
【0130】量子化スケール値集計部170は、動き推
定および補償回路50から出力されるマクロブロック情
報と、量子化制御部3から出力される量子化スケール値
情報とから、量子化スケール値を集計して、その頻度分
布を出力する。符号化残差の生起確率算出部172は、
量子化スケール値集計部170から出力される量子化ス
ケール値の頻度分布と量子化マトリクス値とから、符号
化残差の生起確率を算出して出力する。The quantization scale value totalizing section 170 totalizes the quantized scale values from the macroblock information output from the motion estimation and compensation circuit 50 and the quantized scale value information output from the quantization control section 3. And outputs the frequency distribution. The coding residual occurrence probability calculation unit 172 calculates
From the frequency distribution of the quantization scale values output from the quantization scale value totaling unit 170 and the quantization matrix values, the occurrence probability of the coding residual is calculated and output.
【0131】算術符号化器171は、動き推定および補
償回路50から出力されるマクロブロック情報と、符号
化残差の生起確率算出部172から出力される符号化残
差の生起確率とに基づいて、バッファ94から符号化残
差を読みだして算術符号化し、その結果を符号化残差の
算術符号として出力する。多重化器173は、算術符号
化器171から出力される符号化残差の算術符号と量子
化スケール値集計部170から出力される量子化スケー
ル値の頻度分布とその他の付加情報を多重化して、エン
ハンスメントレイヤ符号列として出力する。Arithmetic encoder 171 is based on macroblock information output from motion estimation and compensation circuit 50 and the occurrence probability of the coding residual output from coding residue occurrence probability calculating section 172. , The coding residual is read from the buffer 94 and arithmetically coded, and the result is output as the arithmetic code of the coding residual. The multiplexer 173 multiplexes the arithmetic code of the encoded residual output from the arithmetic encoder 171, the frequency distribution of the quantized scale value output from the quantized scale value summation unit 170, and other additional information. , As an enhancement layer code sequence.
【0132】次に、動作について説明する。装置の動作
も、量子化値スケール値集計部170、算術符号化器1
71、符号化残差の生起確率算出部172、多重化器1
73以外は、図14と同じである。Next, the operation will be described. The operation of the apparatus also includes the quantization value scale value totaling unit 170, the arithmetic encoder 1
71, coding residual occurrence probability calculating section 172, multiplexer 1
Other than 73, it is the same as FIG.
【0133】量子化スケール値集計部170では、量子
化制御部3から出力される量子化スケール値が集計され
る。この集計では、ある定められた符号化周期内で、量
子化値スケール値として、どの値がどれだけ生じたかを
カウントする。この際、動き推定および補償回路50か
ら入力されるマクロブロック情報に基づいて、入力され
る量子化スケール値が、イントラ、ノンイントラマクロ
ブロックのどちらのものかを区別し、別々にカウントす
る。そして、イントラ、ノンイントラマクロブロックの
それぞれに対する集計結果を、両方とも量子化スケール
値の頻度分布として、符号化残差の生起確率算出部17
2に出力する。In the quantization scale totalizing section 170, the quantization scale values output from the quantization control section 3 are totalized. In this tabulation, what value and how much have occurred as a quantized value scale value within a predetermined coding cycle is counted. At this time, based on the macroblock information input from the motion estimation and compensation circuit 50, whether the input quantization scale value is an intra or non-intra macroblock is discriminated and counted separately. Then, the summation results for each of the intra and non-intra macroblocks are set as the frequency distribution of the quantization scale value, and the occurrence probability of the coding residual
Output to 2.
【0134】符号化残差の生起確率算出部172では、
入力されたイントラ、ノンイントラマクロブロックに対
する量子化スケール値の頻度分布と、予め蓄えられたイ
ントラ、ノンイントラ用の各変換係数の頻度分布とか
ら、各周波数インデックス(i,j) ごとに符号化残差の生
起確率が算出される。算出方式の詳細は、図3の符号化
残差の生起確率算出部92の説明で述べた通りである
が、ここでは、イントラ用、ノンイントラ用両方の生起
確率を算出する。そして、これらは算術符号化器171
に出力される。In the encoding residual occurrence probability calculating section 172,
Encode for each frequency index (i, j) from the frequency distribution of the quantized scale values for the input intra and non-intra macroblocks and the frequency distribution of each transform coefficient for intra and non-intra stored in advance. An occurrence probability of the residual is calculated. The details of the calculation method are as described in the description of the coding residual occurrence probability calculation unit 92 in FIG. 3. Here, both the intra and non-intra occurrence probabilities are calculated. And these are the arithmetic encoders 171
Is output to
【0135】算術符号化器171では、周波数インデッ
クス(i,j) に対応する符号化残差をバッファ94から読
みだして算術符号化する。このとき、別に入力されるマ
クロブロック情報に基づいて、符号化対象の符号化残差
がどちらに帰属するものかを判定する。そしてイントラ
マクロブロックに帰属する場合には、イントラ用の生起
確率を用いて符号化し、ノンイントラマクロブロックに
帰属する場合には、ノンイントラ用の生起確率を符号化
する。The arithmetic encoder 171 reads out the encoding residual corresponding to the frequency index (i, j) from the buffer 94 and performs arithmetic encoding. At this time, it is determined to which of the coding residuals to be coded belongs based on the separately input macroblock information. In the case of belonging to an intra macroblock, encoding is performed using the occurrence probability for intra, and in the case of belonging to a non-intra macroblock, the occurrence probability for non-intra is encoded.
【0136】最後に、符号化残差の算術符号と、イント
ラ、ノンイントラマクロブロックのそれぞれに対する量
子化スケール値の頻度分布と、その他の付加情報とが、
多重化器173で多重化され、エンハンスメントレイヤ
符号列として出力される。なお、図21の装置構成は、
図14の装置構成を変形して得られたものであるが、同
様のことを、図16の装置構成に対しても行うことがで
きる。Finally, the arithmetic code of the coding residual, the frequency distribution of the quantization scale value for each of the intra and non-intra macroblocks, and other additional information are
The signals are multiplexed by the multiplexer 173 and output as an enhancement layer code string. The device configuration in FIG.
Although this is obtained by modifying the device configuration of FIG. 14, the same can be applied to the device configuration of FIG.
【0137】第15の実施の形態では、イントラマクロ
ブロックとノンイントラマクロブロックとで性質の異な
る変換係数の符号化残差を、それぞれに適した生起確率
を用いて算術符号化するため、さらに符号化効率を向上
させることができる。In the fifteenth embodiment, coding residuals of transform coefficients having different properties between an intra macroblock and a non-intra macroblock are arithmetically coded using occurrence probabilities suitable for the respective macroblocks. Conversion efficiency can be improved.
【0138】〔第16の実施の形態〕図22は、第16
の実施の形態による階層的画像復号装置の回路図であ
る。第16の実施の形態による画像復号装置について、
図22を参照して詳述する。なお、この画像復号装置
は、上記第15の実施の形態による符号化装置(図21
参照)により符号化された画像信号を復号するものであ
る。装置の構成は、算術復号器190、符号化残差の生
起確率算出部191、多重分離器192以外は、図17
と同じである。[Sixteenth Embodiment] FIG. 22 shows a sixteenth embodiment.
FIG. 10 is a circuit diagram of a hierarchical image decoding device according to the embodiment. Regarding the image decoding device according to the sixteenth embodiment,
This will be described in detail with reference to FIG. This image decoding apparatus is an encoding apparatus according to the fifteenth embodiment (FIG. 21).
) Is decoded. The configuration of the apparatus is the same as that shown in FIG. 17 except for the arithmetic decoder 190, the encoding residual occurrence probability calculating unit 191 and the demultiplexer 192.
Is the same as
【0139】多重分離器192は、エンハンスメントレ
イヤ符号列から符号化残差の算術符号と、量子化スケー
ル値の頻度分布と、その他の付加情報とを分離する。符
号化残差の生起確率算出部191は、多重分離器192
から出力される量子化スケール値の頻度分布と、多重分
離器72から出力される量子化マトリクス値とから、各
変換係数の符号化残差の生起確率を算出して、その生起
確率を出力する。算術復号器190は、多重分離器72
から出力されるマクロブロック情報と、符号化残差の生
起確率算出部191から出力される生起確率とに基づい
て、多重分離器192から出力される符号化残差の算術
符号を復号し、符号化残差として出力する。The demultiplexer 192 separates the arithmetic code of the coded residual, the frequency distribution of the quantized scale value, and other additional information from the enhancement layer code sequence. The encoding residual occurrence probability calculation unit 191 includes a demultiplexer 192.
From the frequency distribution of the quantized scale value output from, and the quantized matrix value output from the demultiplexer 72, calculate the occurrence probability of the coding residual of each transform coefficient, and output the occurrence probability. . Arithmetic decoder 190 includes demultiplexer 72.
Decodes the arithmetic code of the coded residual output from the demultiplexer 192, based on the macroblock information output from, and the occurrence probability output from the coding residual occurrence probability calculation unit 191. Output as the coded residual.
【0140】次に、動作について説明する。構成要素の
動作も、算術復号器190、符号化残差の生起確率算出
部191、多重分離器192以外は、図17と同じであ
る。エンハンスメントレイヤ符号列は、多重分離器19
2に入力される。多重分離器192にはバッファがあ
り、エンハンスメントレイヤ符号列は、符号化残差の算
術符号と、イントラ、ノンイントラマクロブロックそれ
ぞれに対する量子化スケール値の頻度分布と、その他の
付加情報とに分離され、バッファに蓄積される。ただ
し、多重分離器192と、後述する算術復号器190と
が一体となって、算術復号しながら各種情報を分離する
ようになっていてもよい。Next, the operation will be described. The operation of the components is the same as that of FIG. 17 except for the arithmetic decoder 190, the coding error occurrence probability calculation unit 191 and the demultiplexer 192. The enhancement layer code sequence is output to the demultiplexer 19.
2 is input. The demultiplexer 192 has a buffer, and the enhancement layer code sequence is separated into an arithmetic code of a coding residual, a frequency distribution of quantization scale values for each of intra and non-intra macroblocks, and other additional information. Are stored in the buffer. However, the demultiplexer 192 and an arithmetic decoder 190 described later may be integrated to separate various information while performing arithmetic decoding.
【0141】多重分離器192が出力した量子化スケー
ル値の頻度分布は、ベースレイヤ符号列から得られた量
子化マトリクス値とともに、符号化残差の生起確率算出
部191に入力され、符号化残差の生起確率の算出に用
いられる。符号化残差生起確率算出部191の動作は、
図21の符号化差残差生起確率算出部172と同様であ
る。また、ここに保持されている、イントラ用、ノンイ
ントラ用の各変換係数の頻度分布は、図21の符号化残
差生起確率算出部172のものと同一である。The frequency distribution of the quantized scale value output from the demultiplexer 192 is input to the coding residual occurrence probability calculating unit 191 together with the quantization matrix value obtained from the base layer code string, Used to calculate the difference occurrence probability. The operation of the encoding residual occurrence probability calculation unit 191 is as follows.
This is the same as the coding difference residual occurrence probability calculation unit 172 in FIG. Further, the frequency distribution of the transform coefficients for intra and non-intra held here is the same as that of the coding residual occurrence probability calculation unit 172 in FIG.
【0142】算術復号器190は、符号化残差の生起確
率分布が入力された後、多重分離器192から符号化残
差の算術符号を読み込み算術復号する。この際、多重分
離器72から入力されるマクロブロック情報に基づい
て、復号対象となる符号化残差の算術符号が、イント
ラ、ノンイントラマクロブロックのどちらに帰属するも
のかを判定する。これは、符号化時に符号化残差をどの
ような順序で符号化するかを予め定めておけば、一意に
決定できる。そして、イントラマクロブロックに帰属す
ると判定した場合には、イントラ用の生起確率を用いて
復号し、反対にノンイントラマクロブロックに帰属する
と判定した場合には、ノンイントラ用の生起確率を用い
て復号する。これによって符号化残差の算術符号が復号
され、符号化残差が得られる。After receiving the occurrence probability distribution of the coding residual, the arithmetic decoder 190 reads the arithmetic code of the coding residual from the demultiplexer 192 and performs arithmetic decoding. At this time, based on the macroblock information input from the demultiplexer 72, it is determined whether the arithmetic code of the coding residual to be decoded belongs to an intra or non-intra macroblock. This can be uniquely determined by previously determining in what order the coding residuals are to be coded at the time of coding. Then, when it is determined to belong to the intra macroblock, decoding is performed using the occurrence probability for intra, and when it is determined to belong to the non-intra macroblock, decoding is performed using the occurrence probability for non-intra. I do. As a result, the arithmetic code of the encoded residual is decoded, and the encoded residual is obtained.
【0143】第16の実施の形態では、上記第15の実
施の形態によって得られるベースレイヤ符号列とエンハ
ンスメントレイヤ符号列とから、ロスのない復号画像を
得ることができる。In the sixteenth embodiment, a lossless decoded image can be obtained from the base layer code sequence and the enhancement layer code sequence obtained in the fifteenth embodiment.
【0144】〔第17の実施の形態〕図23は、第17
の実施の形態による階層的画像符号化装置の回路図であ
る。第17の実施の形態による画像符号化装置につい
て、図23を参照して詳述する。装置の構成は、変換係
数の頻度分布算出部210、符号化残差の生起確率算出
部211以外は、図21と同じである。[Seventeenth Embodiment] FIG.
1 is a circuit diagram of a hierarchical image encoding device according to an embodiment. An image encoding device according to a seventeenth embodiment will be described in detail with reference to FIG. The configuration of the apparatus is the same as that of FIG. 21 except for the frequency distribution calculation unit 210 of the transform coefficient and the occurrence probability calculation unit 211 of the coding residual.
【0145】変換係数の頻度分布算出部210は、可逆
な離散コサイン変換回路51から出力される変換係数
を、動き推定および補償回路50から出力されるマクロ
ブロック情報に基づいて集計し、変換係数の頻度分布を
求めて出力する。符号化残差の生起確率算出部211
は、量子化スケール値集計部170から出力される量子
化スケールの頻度分布と、量子化マトリクス値と、変換
係数の頻度分布算出部210から出力される変換係数の
頻度分布とに基づいて、符号化残差の生起確率を算出し
て出力する。The transform coefficient frequency distribution calculating section 210 counts the transform coefficients output from the reversible discrete cosine transform circuit 51 based on the macroblock information output from the motion estimation and compensation circuit 50, and calculates the transform coefficients. Obtain and output the frequency distribution. Encoding residual occurrence probability calculating section 211
Is based on the frequency distribution of the quantization scale output from the quantization scale value summation unit 170, the quantization matrix value, and the frequency distribution of the transform coefficient output from the frequency distribution calculation unit 210 of the transform coefficient. Calculate and output the probability of occurrence of the coded residual.
【0146】次に、動作について説明する。基本的な動
作は、図21と同じであるが、ここでは、可逆離散コサ
イン変換回路51から出力される変換係数を、変換係数
の頻度分布算出部210にも入力させている。Next, the operation will be described. The basic operation is the same as that of FIG. 21, but here, the transform coefficient output from the reversible discrete cosine transform circuit 51 is also input to the transform coefficient frequency distribution calculator 210.
【0147】変換係数の頻度分布算出部210では、変
換係数の各周波数インデックス(i,j) ごとに別々に、可
逆な離散コサイン変換の変換係数の値として、どの値が
どれだけ生起したかが、ある定められた符号化周期ごと
に集計される。この際、動き推定および補償回路50か
ら入力されるマクロブロック情報に基づいて、入力され
る変換係数が、イントラ、ノンイントラマクロブロック
のどちらのものかを区別し、別々に集計する。そして、
イントラ、ノンイントラマクロブロックの両方に対して
変換係数の頻度分布を求めて出力する。The frequency distribution calculating section 210 of the transform coefficient separately calculates, for each frequency index (i, j) of the transform coefficient, what value and how many transform coefficients of the reversible discrete cosine transform have occurred. , For each predetermined coding cycle. At this time, based on the macroblock information input from the motion estimation and compensation circuit 50, whether the input transform coefficient is an intra or non-intra macroblock is discriminated and totaled separately. And
A frequency distribution of transform coefficients is obtained for both intra and non-intra macroblocks and output.
【0148】符号化残差の生起確率算出部211では、
符号化残差の生起確率が算出される。符号化残差の生起
確率算出部211の動作は、基本的には、図21の符号
化残差の生起確率算出部172と同じである。しかし、
さらに、変換係数の頻度分布算出部210から出力され
る変換係数の頻度分布に基づいて、各変換係数の頻度分
布のデータを更新する。更新された頻度分布は、次の符
号化周期での符号化残差の生起確率算出に用いられる。
頻度分布を更新する方式としては、例えば、図12の符
号化残差の生起確率算出部111の説明で述べた方式を
用いることができる。これ以外の部分の動作は、図21
と同様である。In the encoding residual occurrence probability calculating section 211,
An occurrence probability of the coding residual is calculated. The operation of the coding residual occurrence probability calculation unit 211 is basically the same as the coding residual occurrence probability calculation unit 172 of FIG. But,
Further, based on the frequency distribution of the transform coefficients output from the frequency distribution calculator 210, the data of the frequency distribution of each transform coefficient is updated. The updated frequency distribution is used for calculating the occurrence probability of the coding residual in the next coding cycle.
As a method of updating the frequency distribution, for example, the method described in the description of the encoding residual occurrence probability calculation unit 111 in FIG. 12 can be used. The operation of the other parts is shown in FIG.
Is the same as
【0149】なお、図23の装置は、図18の装置を変
形して得られたものであるが、同様のことを、図19の
装置に対しても行うことができる。Although the device shown in FIG. 23 is obtained by modifying the device shown in FIG. 18, the same can be applied to the device shown in FIG.
【0150】第17の実施の形態では、変換係数の頻度
分布を入力画像によって適応的に更新するため、入力ビ
デオ信号の性質を符号化に反映させることができる上、
イントラとノンイントラと性質の異なる変換係数の符号
化残差を、それぞれに適した生起確率を用いて算術符号
化するため、さらに符号化効率を向上させることができ
る。In the seventeenth embodiment, since the frequency distribution of the transform coefficients is adaptively updated according to the input image, the characteristics of the input video signal can be reflected in the encoding.
Since the coding residuals of the transform coefficients having different properties between intra and non-intra are arithmetically coded by using the occurrence probabilities suitable for each, the coding efficiency can be further improved.
【0151】〔第18の実施の形態〕図24は、第18
の実施の形態による階層的画像復号装置の回路図であ
る。第18の実施の形態による画像復号装置について、
図24を参照して詳述する。なお、この画像復号装置
は、上記第17の実施の形態による符号化装置(図23
参照)により符号化された画像信号を復号するものであ
る。[Eighteenth Embodiment] FIG.
FIG. 10 is a circuit diagram of a hierarchical image decoding device according to the embodiment. Regarding the image decoding device according to the eighteenth embodiment,
Details will be described with reference to FIG. This image decoding apparatus is an encoding apparatus according to the seventeenth embodiment (FIG. 23).
) Is decoded.
【0152】装置の構成は、変換係数の頻度分布算出部
230、符号化残差の生起確率算出部231以外は、図
22と同じである。変換係数の頻度分布算出部230
は、多重分離器72から出力されるマクロブロック情報
に基づいて、加算器34から出力される変換係数を集計
し、変換係数の頻度分布を求めて出力する。符号化残差
の生起確率算出部231は、多重分離器192から出力
される量子化スケール値の頻度分布と、多重分離器72
から出力される量子化マトリクス値と、変換係数の頻度
分布算出部230から出力される変換係数の頻度分布と
に基づいて、符号化残差の生起確率を算出して出力す
る。The configuration of the apparatus is the same as that of FIG. 22 except for the frequency distribution calculation unit 230 for transform coefficients and the occurrence probability calculation unit 231 for coding residuals. Conversion coefficient frequency distribution calculator 230
Collects the transform coefficients output from the adder 34 based on the macroblock information output from the demultiplexer 72, and calculates and outputs the frequency distribution of the transform coefficients. The encoding residual occurrence probability calculation unit 231 calculates the frequency distribution of the quantization scale value output from the demultiplexer 192 and the demultiplexer 72.
Based on the quantization matrix value output from, and the frequency distribution of the transform coefficients output from the frequency distribution calculation unit 230 of the transform coefficients, the occurrence probability of the coding residual is calculated and output.
【0153】次に、動作について説明する。基本的な動
作は、図22と同じであるが、ここでは、加算器34か
ら出力される変換係数を、変換係数の頻度分布算出部2
30にも入力させている。変換係数の頻度分布算出部2
30の動作は、図23の変換係数の頻度分布算出部21
0と同じで、変換係数の頻度分布を符号化残差の生起確
率算出部231に出力する。符号化残差の生起確率算出
部231の動作も、図23の符号化残差の生起確率算出
部211と同じで、符号化残差の生起確率が出力され
る。これ以外の部分は、図22と同様である。Next, the operation will be described. The basic operation is the same as that of FIG. 22, but here, the conversion coefficient output from the adder 34 is
30 is also input. Conversion coefficient frequency distribution calculation unit 2
The operation of 30 is performed by the frequency distribution calculating unit 21 of the conversion coefficient shown in FIG.
As in the case of 0, the frequency distribution of the transform coefficient is output to the coding residual occurrence probability calculation unit 231. The operation of the coding residual occurrence probability calculation unit 231 is the same as that of the coding residual occurrence probability calculation unit 211 in FIG. 23, and outputs the coding residual occurrence probability. The other parts are the same as in FIG.
【0154】第18の実施の形態では、第17の実施の
形態によって得られるベースレイヤ符号列とエンハンス
メントレイヤ符号列とから、ロスのない復号画像を得る
ことができる。In the eighteenth embodiment, a lossless decoded image can be obtained from the base layer code sequence and the enhancement layer code sequence obtained by the seventeenth embodiment.
【0155】[0155]
【発明の効果】以上説明したように、本発明の符号化方
式は、符号化残差(量子化残差)の生起確率を適応的に
求めてその符号化を行うため、エンハンスメントレイヤ
符号化の符号化効率を向上させることができる。それに
より、全体の発生符号量をより小さくさせることができ
る。また、本発明では、変換係数の量子化に用いた量子
化スケール値を集計し、その集計結果に基づいて生起確
率を適応的に算出している。そのため、ベースレイヤで
の量子化制御の内容に関わらす、エンハンスメントレイ
ヤの符号化効率を常に高く維持させることができる。ま
た、本発明は、ベースレイヤの符号化方式として、MPEG
-2に準拠した方式を用いることで、MPEG-2互換な階層的
可逆符号化方式を構築することも容易である。そのよう
にした場合には、可逆離散コサイン変換の変換係数は通
常の離散コサイン変換の変換係数に近い値が得られるた
め、通常のMPEG-2復号器を復号に用いることができる。
他方の本発明の復号方式は、本発明の符号化方式で符号
化された画像信号をロスレスに復号することができる。As described above, according to the coding method of the present invention, the occurrence probability of a coding residual (quantized residual) is adaptively obtained and coding is performed. Encoding efficiency can be improved. This makes it possible to further reduce the entire generated code amount. In the present invention, the quantization scale values used for the quantization of the transform coefficients are totalized, and the occurrence probability is adaptively calculated based on the totaled result. For this reason, the coding efficiency of the enhancement layer can always be kept high regardless of the content of the quantization control in the base layer. In addition, the present invention provides MPEG coding as a base layer coding method.
It is easy to construct a hierarchical lossless encoding method compatible with MPEG-2 by using a method compliant with -2. In such a case, since a transform coefficient of the reversible discrete cosine transform is close to a transform coefficient of the normal discrete cosine transform, a normal MPEG-2 decoder can be used for decoding.
The other decoding method of the present invention can losslessly decode an image signal encoded by the encoding method of the present invention.
【図1】第1の実施の形態による階層的画像符号化装置
を示す回路図である。FIG. 1 is a circuit diagram illustrating a hierarchical image encoding device according to a first embodiment.
【図2】第2の実施の形態による階層的画像復号装置を
示す回路図である。FIG. 2 is a circuit diagram illustrating a hierarchical image decoding device according to a second embodiment.
【図3】第3の実施の形態による階層的画像符号化装置
を示す回路図である。FIG. 3 is a circuit diagram illustrating a hierarchical image encoding device according to a third embodiment.
【図4】図3の符号化残差の生起確率算出部92の処理
例を示すフローチャートである。FIG. 4 is a flowchart illustrating a processing example of an encoding residual occurrence probability calculation unit 92 in FIG. 3;
【図5】図4中のステップ301での処理例の詳細を示
すフローチャートである。FIG. 5 is a flowchart showing details of a processing example in step 301 in FIG. 4;
【図6】図4中のステップ302での処理例の詳細を示
すフローチャートである。FIG. 6 is a flowchart illustrating details of a processing example in step 302 in FIG. 4;
【図7】図4の符号化残差の生起確率算出部92の他の
処理例を示すフローチャートである。7 is a flowchart illustrating another example of the processing of the coding residual occurrence probability calculating unit 92 in FIG. 4;
【図8】図4または図7中のステップ301での他の処
理例の詳細を示すフローチャートである。FIG. 8 is a flowchart showing details of another processing example in step 301 in FIG. 4 or FIG.
【図9】第4の実施の形態による階層的画像符号化装置
を示す回路図である。FIG. 9 is a circuit diagram illustrating a hierarchical image encoding device according to a fourth embodiment.
【図10】第5の実施の形態による階層的画像復号装置
を示す回路図である。FIG. 10 is a circuit diagram illustrating a hierarchical image decoding device according to a fifth embodiment.
【図11】第6の実施の形態による階層的画像復号装置
を示す回路図である。FIG. 11 is a circuit diagram illustrating a hierarchical image decoding device according to a sixth embodiment.
【図12】第7の実施の形態による階層的画像符号化装
置を示す回路図である。FIG. 12 is a circuit diagram illustrating a hierarchical image encoding device according to a seventh embodiment.
【図13】第8の実施の形態による階層的画像復号装置
を示す回路図である。FIG. 13 is a circuit diagram illustrating a hierarchical image decoding device according to an eighth embodiment.
【図14】第9の実施の形態による階層的画像符号化装
置を示す回路図である。FIG. 14 is a circuit diagram illustrating a hierarchical image encoding device according to a ninth embodiment.
【図15】図14中の多重化器から出力されるエンハン
スメントレイヤ符号列の構成例を示す図である。15 is a diagram illustrating a configuration example of an enhancement layer code string output from the multiplexer in FIG.
【図16】第10の実施の形態による階層的画像符号化
装置を示す回路図である。FIG. 16 is a circuit diagram illustrating a hierarchical image encoding device according to a tenth embodiment.
【図17】第11の実施の形態による階層的画像復号装
置を示す回路図である。FIG. 17 is a circuit diagram illustrating a hierarchical image decoding device according to an eleventh embodiment.
【図18】第12の実施の形態による階層的画像符号化
装置を示す回路図である。FIG. 18 is a circuit diagram illustrating a hierarchical image encoding device according to a twelfth embodiment.
【図19】第13の実施の形態による階層的画像符号化
装置を示す回路図である。FIG. 19 is a circuit diagram illustrating a hierarchical image encoding device according to a thirteenth embodiment.
【図20】第14の実施の形態による階層的画像復号装
置を示す回路図である。FIG. 20 is a circuit diagram illustrating a hierarchical image decoding device according to a fourteenth embodiment.
【図21】第15の実施の形態による階層的画像符号化
装置を示す回路図である。FIG. 21 is a circuit diagram illustrating a hierarchical image encoding device according to a fifteenth embodiment.
【図22】第16の実施の形態による階層的画像復号装
置を示す回路図である。FIG. 22 is a circuit diagram illustrating a hierarchical image decoding device according to a sixteenth embodiment.
【図23】第17の実施の形態による階層的画像符号化
装置を示す回路図である。FIG. 23 is a circuit diagram illustrating a hierarchical image encoding device according to a seventeenth embodiment.
【図24】第18の実施の形態による階層的画像復号装
置を示す回路図である。FIG. 24 is a circuit diagram illustrating a hierarchical image decoding device according to an eighteenth embodiment.
【図25】可逆離散コサイン変換とMPEG-2のSNR スケー
ラビリティを組み合わせて実現した、従来の階層符号化
装置を示す回路図である。FIG. 25 is a circuit diagram showing a conventional hierarchical encoding device realized by combining reversible discrete cosine transform and SNR scalability of MPEG-2.
【図26】可逆離散コサイン変換とMPEG-2のSNR スケー
ラビリティを組み合わせて実現した、従来の階層復号装
置を示す回路図である。FIG. 26 is a circuit diagram showing a conventional hierarchical decoding device realized by combining reversible discrete cosine transform and SNR scalability of MPEG-2.
1 減算器 3 量子化制御部 4 量子化器 5 逆量子化器 14 符号変換部 30 符号変換部 32 逆量子化器 34 加算器 36 加算器 37 動き補償回路 50 動き推定および補償回路 51 可逆離散コサイン変換回路 52 符号変換部 53 減算器 54 多重化器 55 多重化器 60 動き推定および補償回路 61 動き補償回路 62 減算器 63 可逆離散コサイン変換回路 64 加算器 65 可逆離散コサイン逆変換回路 66 減算器 67 減算器 70 符号変換部 71 可逆離散コサイン逆変換回路 72 多重分離器 73 多重分離器 90 量子化スケール値集計部 91 算術符号化器 92 符号化残差の生起確率算出部 93 多重化器 94 バッファ 95 多重化器 110 変換係数の頻度分布算出部 111 符号化残差の生起確率算出部 130 算術復号器 131 符号化残差の生起確率算出部 132 多重分離器 133 バッファ 134 多重分離器 135 符号化残差の生起確率算出部 150 変換係数の頻度分布算出部 151 符号化残差の生起確率算出部 170 量子化スケール値集計部 171 算術符号化器 172 符号化残差の生起確率算出部 173 多重化器 190 算術復号器 191 符号化残差の生起確率算出部 192 多重分離器 210 変換係数の頻度分布算出部 211 符号化残差の生起確率算出部 230 変換係数の頻度分布算出部 231 符号化残差の生起確率算出部 500 ベースレイヤ符号化器 501 算術符号化器 502 生起確率算出部 503 多重化器 520 ベースレイヤ符号化器 540 ベースレイヤ符号化器 600 ベースレイヤ復号器 601 算術復号器 602 生起確率算出部 603 多重分離器 620 ベースレイヤ復号器 621 ベースレイヤ復号器 640 ベースレイヤ復号器 DESCRIPTION OF SYMBOLS 1 Subtractor 3 Quantization control part 4 Quantizer 5 Dequantizer 14 Code conversion part 30 Code conversion part 32 Dequantizer 34 Adder 36 Adder 37 Motion compensation circuit 50 Motion estimation and compensation circuit 51 Reversible discrete cosine Conversion circuit 52 Code conversion unit 53 Subtractor 54 Multiplexer 55 Multiplexer 60 Motion estimation and compensation circuit 61 Motion compensation circuit 62 Subtractor 63 Reversible discrete cosine transform circuit 64 Adder 65 Reversible discrete cosine inverse transform circuit 66 Subtractor 67 Subtractor 70 Code conversion unit 71 Reversible discrete cosine inverse conversion circuit 72 Demultiplexer 73 Demultiplexer 90 Quantization scale value summation unit 91 Arithmetic encoder 92 Encoding residual occurrence probability calculation unit 93 Multiplexer 94 Buffer 95 Multiplexer 110 Transform coefficient frequency distribution calculation unit 111 Encoding residual occurrence probability calculation unit 130 Arithmetic recovery Coder 131 Encoding residual occurrence probability calculating unit 132 Demultiplexer 133 Buffer 134 Demultiplexer 135 Encoding residual occurrence probability calculating unit 150 Transform coefficient frequency distribution calculating unit 151 Encoding residual occurrence calculating unit 170 Quantization scale value totaling unit 171 Arithmetic encoder 172 Encoding residual occurrence probability calculating unit 173 Multiplexer 190 Arithmetic decoder 191 Encoding residual occurrence occurrence calculating unit 192 Demultiplexer 210 Frequency distribution of transform coefficient Calculation unit 211 Coding residual occurrence probability calculation unit 230 Transform coefficient frequency distribution calculation unit 231 Coding residual occurrence probability calculation unit 500 Base layer encoder 501 Arithmetic encoder 502 Occurrence probability calculation unit 503 Multiplexer 520 base layer encoder 540 base layer encoder 600 base layer decoder 601 arithmetic decoder 60 Occurrence probability calculating unit 603 demultiplexer 620 base layer decoder 621 base layer decoder 640 base layer decoder
Claims (19)
に符号化する符号化方式であって、 前記原画像信号を符号化して、ベースレイヤ符号列を出
力するとともに、量子化情報、及び符号化残差を出力す
る第1の符号化手段と、 前記量子化情報から符号化残差の生起確率を算出する生
起確率算出手段と、 前記符号化残差の生起確率に基づいて、前記符号化残差
を符号化して符号化残差符号を出力する第2の符号化手
段と、 前記符号化残差符号と前記量子化情報とを多重化してエ
ンハンスメントレイヤ符号列として出力する多重化手段
とを有することを特徴とする階層的画像符号化方式。1. An encoding method for hierarchically encoding an original image signal to be encoded, comprising encoding the original image signal and outputting a base layer code sequence, And a first encoding unit that outputs an encoding residual; an occurrence probability calculating unit that calculates an occurrence probability of an encoding residual from the quantization information; and A second encoding unit that encodes an encoding residual to output an encoding residual code, and a multiplexing unit that multiplexes the encoding residual code and the quantization information and outputs the result as an enhancement layer code sequence. And a hierarchical image encoding method.
段が前記原画像信号に対して可逆変換符号化を行って得
られる変換係数を量子化した際に生じる符号化残差であ
り、 前記量子化情報は、量子化スケール値の頻度分布と量子
化マトリクスとを含み、 前記生起確率算出手段は、前記量子化スケール値の頻度
分布、前記量子化マトリクス、及び、予め用意された変
換係数の頻度分布に基づいて、前記符号化残差の生起確
率を算出し、 前記第2の符号化手段は、前記符号化残差を、前記符号
化残差の生起確率に基づいて周波数インデックスが同じ
変換係数ごとに可変長符号化することを特徴とする請求
項1記載の階層的画像符号化方式。2. The encoding residual is an encoding residual generated when the first encoding unit quantizes a transform coefficient obtained by performing lossless transform encoding on the original image signal. The quantization information includes a frequency distribution of a quantization scale value and a quantization matrix, and the occurrence probability calculation means includes a frequency distribution of the quantization scale value, the quantization matrix, and a Based on the frequency distribution of the transform coefficients, calculate the occurrence probability of the coding residual, the second encoding means, the coding residual, frequency index based on the occurrence probability of the coding residual 2. The hierarchical image encoding method according to claim 1, wherein the variable-length encoding is performed for each of the same transform coefficients.
に対して可逆変換符号化を行って得られる変換係数を集
計して、前記変換係数の頻度分布を求める第1の集計手
段を更に具備し、 前記生起確率算出手段は、前記変換係数の頻度分布に基
づいて、前記符号化残差の生起確率を更新させることを
特徴とする請求項1または2に記載の階層的画像符号化
方式。3. The first counting means for calculating the frequency distribution of the transform coefficients by summing up the transform coefficients obtained by performing the lossless transform coding on the original image signal by the first coding means. 3. The hierarchical image coding apparatus according to claim 1, further comprising: the occurrence probability calculation unit updating the occurrence probability of the coding residual based on a frequency distribution of the transform coefficient. method.
って、動き補償予測画像信号を生成するとともに、マク
ロブロック情報を出力する第1の画像信号生成手段と、 前記原画像信号から前記動き補償予測画像信号を減じて
予測誤差画像信号を生成する第2の画像信号生成手段
と、 前記予測誤差画像信号に可逆変換を行って変換係数を求
める変換手段と、 前記予測誤差画像信号に基づいて、前記マクロブロック
ごとに量子化スケール値を決定する量子化スケール値決
定手段と、 前記量子化スケール値、量子化マトリクス、及び前記マ
クロブロック情報に基づいて、前記変換係数を量子化し
て量子化値を出力する量子化手段と、 前記マクロブロック情報および予め定められた符号表に
基づいて、前記量子化値を可変長符号化することによ
り、前記量子化値の可変長符号を出力する可変長符号化
手段と、 前記量子化値の可変長符号、前記量子化マトリクス、前
記量子化スケール値、及び前記マクロブロック情報を多
重化し、前記ベースレイヤ符号列として出力するベース
レイヤ多重化手段と、 前記量子化スケール値、前記量子化マトリクス、及び前
記マクロブロック情報に基づいて、前記量子化値を逆量
子化して逆量子化値を出力する逆量子化手段と、 前記変換係数から前記逆量子化値を減じて符号化残差を
算出する符号化残差算出手段と、 前記量子化スケール値を所定の符号化周期で集計し、前
記量子化スケール値の頻度分布を出力する第2の集計手
段とを有し、 前記生起確率算出手段は、前記量子化スケール値の頻度
分布に基づいて、前記符号化残差の生起確率を更新する
ことを特徴とする請求項1、2または3に記載の階層的
画像符号化方式。4. The first encoding unit performs motion estimation or motion compensation on the original image signal to generate a motion-compensated predicted image signal and outputs a macroblock information. Signal generation means; second image signal generation means for subtracting the motion compensated prediction image signal from the original image signal to generate a prediction error image signal; and performing lossless transformation on the prediction error image signal to obtain a conversion coefficient. Conversion means, quantization scale value determination means for determining a quantization scale value for each macroblock based on the prediction error image signal, and based on the quantization scale value, quantization matrix, and the macroblock information A quantizing unit that quantizes the transform coefficient and outputs a quantized value, based on the macroblock information and a predetermined code table, A variable-length encoding unit that outputs a variable-length code of the quantization value by performing variable-length encoding on the quantization value; a variable-length code of the quantization value, the quantization matrix, the quantization scale value, Base layer multiplexing means for multiplexing the macro block information and outputting the multiplexed macro block information as the base layer code sequence; and inverting the quantization value based on the quantization scale value, the quantization matrix, and the macro block information. Inverse quantization means for quantizing and outputting an inverse quantization value; encoding residual calculating means for subtracting the inverse quantization value from the transform coefficient to calculate an encoding residual; and setting the quantization scale value to a predetermined value. And a second summing unit that outputs the frequency distribution of the quantization scale value, wherein the occurrence probability calculation unit calculates the frequency distribution of the quantization scale value based on the frequency distribution of the quantization scale value. Hierarchical image coding method according to claim 1, 2 or 3, characterized in that updating the occurrence probability of the encoded residual.
ースレイヤ符号列の他に、該ベースレイヤ符号列の符号
量情報を出力し、 前記量子化スケール値決定手段は、前記予測誤差画像信
号、及び前記符号量情報に基づいて、前記マクロブロッ
クごとに量子化スケール値を決定することを特徴とする
請求項4に記載の階層的画像符号化方式。5. The base layer multiplexing unit outputs code amount information of the base layer code sequence in addition to the base layer code sequence, and the quantization scale value determining unit outputs the prediction error image signal, The hierarchical image encoding method according to claim 4, wherein a quantization scale value is determined for each macroblock based on the code amount information.
行い、該推定結果を基に前記局所復号画像信号に動き補
償を行って第1の動き補償予測画像信号を生成するとと
もに、マクロブロック情報を出力する第1の画像信号生
成手段と、 前記原画像信号から、前記第1の動き補償予測画像信号
を減じて第1の予測誤差画像信号を生成する第2の画像
信号生成手段と、 前記第1の予測誤差画像信号に可逆変換を行って第1の
変換係数を求める第1の変換手段と、 前記第1の予測誤差画像信号に基づいて、マクロブロッ
クごとに量子化スケール値を決定する量子化スケール値
決定手段と、 量子化マトリクス、前記量子化スケール値、及び前記マ
クロブロック情報に基づいて、前記第1の変換係数を量
子化して量子化値を出力する量子化手段と、 前記マクロブロック情報および予め定められた符号表に
基づいて、前記量子化値を可変長符号化して該量子化値
の可変長符号を出力する可変長符号化手段と、 前記量子化値の可変長符号、前記量子化マトリクス、前
記量子化スケール値、及び前記マクロブロック情報を多
重化し、前記ベースレイヤ符号列として出力するベース
レイヤ多重化手段と、 前記量子化スケール値、前記量子化マトリクス、及び前
記マクロブロック情報に基づいて、前記量子化値を逆量
子化して逆量子化値を出力する逆量子化手段と、 前記逆量子化値に可逆変換の逆変換を行って、局所復号
予測誤差画像信号を生成する第3の画像信号生成手段
と、 前記局所復号予測誤差画像信号に前記第1の動き補償予
測画像信号を加えて前記局所復号画像を生成する第4の
画像信号生成手段と、 前記マクロブロック情報に基づいて前記原画像信号に対
して動き補償を行い、第2の動き補償予測画像信号を生
成する第5の画像信号生成手段と、 前記原画像信号から前記第2の動き補償予測画像信号を
減じて第2の予測誤差画像信号を生成する第6の画像信
号生成手段と、 前記第2の予測誤差画像信号に可逆変換を行って第2の
変換係数を求める第2の変換手段と、 前記第2の変換係数から前記逆量子化値を減じて、前記
符号化残差を求める符号化残差算出手段と、 前記量子化スケール値を所定の符号化周期で集計し、該
量子化スケール値の頻度分布を出力する第1の集計手段
とを有し、 前記生起確率算出手段は、前記量子化スケール値の頻度
分布に基づいて、前記符号化残差の生起確率を更新する
ことを特徴とする請求項1または2に記載の階層的画像
符号化方式。6. The first encoding unit performs motion estimation between the original image signal and the locally decoded image signal, and performs motion compensation on the locally decoded image signal based on the estimation result. A first image signal generating means for generating a motion-compensated predicted image signal and outputting macroblock information; and a first prediction error obtained by subtracting the first motion-compensated predicted image signal from the original image signal. Second image signal generating means for generating an image signal; first converting means for performing a reversible conversion on the first prediction error image signal to obtain a first conversion coefficient; and the first prediction error image signal And a quantization scale value determining means for determining a quantization scale value for each macroblock based on the macroblock information, a quantization matrix, the quantization scale value, and the first transform coefficient based on the macroblock information. Conversion A quantizing unit that outputs a quantized value, and a variable length that outputs a variable length code of the quantized value based on the macroblock information and a predetermined code table. Encoding means; base layer multiplexing means for multiplexing the variable length code of the quantization value, the quantization matrix, the quantization scale value, and the macroblock information, and outputting the multiplexed information as the base layer code sequence; A dequantization unit that dequantizes the quantized value and outputs a dequantized value based on the quantized scale value, the quantized matrix, and the macroblock information; Third image signal generating means for performing an inverse transformation to generate a local decoded prediction error image signal; and adding the first motion compensation predicted image signal to the local decoded prediction error image signal. A fourth image signal generating means for generating the local decoded image, a fifth image for performing motion compensation on the original image signal based on the macroblock information, and generating a second motion-compensated predicted image signal Signal generation means; sixth image signal generation means for subtracting the second motion-compensated prediction image signal from the original image signal to generate a second prediction error image signal; A second transform unit for performing a reversible transform to obtain a second transform coefficient; an encoding residual calculating unit for subtracting the inverse quantization value from the second transform coefficient to obtain the encoding residual; First counting means for counting the quantization scale value at a predetermined encoding cycle and outputting a frequency distribution of the quantization scale value; and Based on the distribution, the coding residual Hierarchical image coding method according to claim 1 or 2, characterized in that updating the electromotive probability.
ースレイヤ符号列の他に、該ベースレイヤ符号列の符号
量情報を出力し、 前記量子化スケール値決定手段は、前記第1の予測誤差
画像信号、及び前記符号量情報に基づいて、前記マクロ
ブロックごとに量子化スケール値を決定することを特徴
とする請求項6に記載の階層的画像符号化方式。7. The base layer multiplexing unit outputs code amount information of the base layer code sequence in addition to the base layer code sequence. The quantization scale value determining unit outputs the first prediction error The hierarchical image encoding method according to claim 6, wherein a quantization scale value is determined for each macroblock based on an image signal and the code amount information.
に対して可逆変換符号化を行って得られる変換係数を集
計して、前記変換係数の頻度分布を求める第2の集計手
段を更に具備し、 前記生起確率算出手段は、前記変換係数の頻度分布に基
づいて、前記符号化残差の生起確率を更新させることを
特徴とする請求項6または7に記載の階層的画像符号化
方式。8. The second counting means for calculating the frequency distribution of the transform coefficients by totalizing the transform coefficients obtained by the first encoding means performing the lossless transform coding on the original image signal. 8. The hierarchical image coding method according to claim 6, further comprising: the occurrence probability calculation unit updates the occurrence probability of the encoding residual based on a frequency distribution of the transform coefficient. method.
の変換係数の頻度分布を出力する第2の集計手段を更に
有し、 前記生起確率算出手段は、前記第2の変換係数の頻度分
布に基づいて、前記符号化残差の生起確率を更新するこ
とを特徴とする請求項6または8に記載の階層的画像符
号化方式。9. The method according to claim 9, wherein the second conversion coefficients are totaled and the second conversion coefficient is calculated.
And a second totaling unit that outputs a frequency distribution of the transform coefficient, wherein the occurrence probability calculating unit updates the occurrence probability of the coding residual based on the frequency distribution of the second transform coefficient. 9. The hierarchical image coding method according to claim 6, wherein:
ロック情報に基づいて、前記頻度分布の集計をブロック
の種類別に行い、 前記生起確率算出手段は、前記マクロブロック情報に基
づいて、前記符号化残差の生起確率の算出を前記ブロッ
クの種類別に行い、 前記第2の符号化手段は、前記符号化残差の生起確率を
ブロックの種類別に用いて符号化を行うことを特徴とす
る請求項3、4、5、6または7の何れか1項に記載の
階層的画像符号化方式。10. The first counting means calculates the frequency distribution for each type of block based on the macroblock information, and the occurrence probability calculation means calculates the code based on the macroblock information. The occurrence probability of the coded residual is calculated for each type of the block, and the second encoding unit performs the encoding using the occurrence probability of the coded residual for each type of the block. Item 8. The hierarchical image coding method according to any one of Items 3, 4, 5, 6, and 7.
ロック情報に基づいて、前記頻度分布をブロックの種類
別に集計し、 前記生起確率算出手段は、前記ブロックの種類別に集計
された頻度分布に基づいて、前記符号化残差の生起確率
を前記ブロックの種類別に更新し、 前記第2の符号化手段は、前記符号化残差の生起確率を
ブロックの種類別に用いて符号化を行うことを特徴とす
る請求項4、5、6、8または9に記載の階層的画像符
号化方式。11. The second counting means counts the frequency distribution for each type of block based on the macroblock information, and the occurrence probability calculation means calculates a frequency distribution calculated for each type of block. Updating the probability of occurrence of the coding residual based on the type of the block, and performing the coding using the probability of occurrence of the coding residual for the type of block. 10. The hierarchical image encoding method according to claim 4, 5, 6, 8, or 9.
否かにより種類分けしていることを特徴とする請求項1
0または11に記載の階層的画像符号化方式。12. The method according to claim 1, wherein the blocks are classified according to whether they are intra blocks or not.
12. The hierarchical image coding method according to 0 or 11.
によって符号化された原画像信号を復号する方式であっ
て、 前記エンハンスメントレイヤ符号列から、前記符号化残
差符号と前記量子化情報とを分離して出力する分離手段
と、 前記量子化情報から符号化残差の生起確率を算出する生
起確率算出手段と、 前記符号化残差の生起確率に基づいて、前記符号化残差
符号を復号して前記符号化残差を出力する第1の復号手
段と、 前記ベースレイヤ符号列を復号し、該復号によって得ら
れた信号に前記符号化残差を加算して前記原画像信号を
復号する第2の復号手段とを有することを特徴とする階
層的画像復号方式。13. A method for decoding an original image signal encoded by the hierarchical image encoding method according to claim 1, wherein the encoded residual code and the quantization information are obtained from the enhancement layer code sequence. Separating means for separating and outputting, the occurrence probability calculating means for calculating the occurrence probability of the coding residual from the quantization information, and the coding residual code based on the occurrence probability of the coding residual. And decoding means for decoding the base layer code sequence, and adding the coding residual to a signal obtained by the decoding to obtain the original image signal. And a second decoding means for decoding.
情報として入力した量子化スケール値の頻度分布、量子
化マトリクス、及び予め蓄えられている変換係数の頻度
分布に基づいて、前記符号化残差の生起確率を算出し、 前記第1の復号手段は、前記符号化残差の生起確率に基
づいて、同じ周波数インデックス毎に前記符号化残差符
号を復号することにより、前記符号化残差を出力するこ
とを特徴とする請求項13に記載の階層的画像復号方
式。14. The occurrence probability calculation means, based on a frequency distribution of a quantization scale value input as the quantization information, a quantization matrix, and a frequency distribution of transform coefficients stored in advance, Calculating the probability of occurrence of the difference, wherein the first decoding means decodes the coded residual code for each same frequency index based on the probability of occurrence of the coded residual, thereby obtaining the coded residual 14. The hierarchical image decoding method according to claim 13, wherein?
ヤ符号列を復号した際に得られる変換係数を集計して、
該変換係数の頻度分布を求める集計手段を有し、 前記生起確率算出手段は、前記変換係数の頻度分布に基
づいて、前記符号化残差の生起確率を更新することを特
徴とする請求項13または14に記載の階層的画像復号
方式。15. The conversion coefficient obtained when the second decoding means decodes the base layer code string,
14. An aggregation probability calculating means for calculating a frequency distribution of the transform coefficient, wherein the occurrence probability calculating means updates the occurrence probability of the encoded residual based on the frequency distribution of the transform coefficient. Or the hierarchical image decoding method according to 14.
化マトリクスとマクロブロック情報と量子化値の可変長
符号とを分離して出力する分離手段と、 前記量子化値の可変長符号を、前記マクロブロック情
報、及び予め定められた符号表に基づいて復号し、量子
化値を出力する量子化値復号手段と、 前記量子化値マトリクス、前記量子化スケール値、及び
前記マクロブロック情報に基づいて、前記量子化値を逆
量子化して逆量子化値を出力する逆量子化手段と、 前記第1の復号手段から出力される前記符号化残差を前
記逆量子化値に加えて変換係数を算出する変換係数算出
手段と、 前記変換係数に、前記階層的画像符号化方式で行われた
変換の逆変換を行って、予測誤差画像信号を生成する第
1の画像信号生成手段と、 前記予測誤差画像信号に動き補償予測画像信号を加算し
て、復号画像信号を生成する第2の画像信号生成手段
と、 前記マクロブロック情報に基づいて、前記復号画像信号
に動き補償を行って前記動き補償予測画像を生成する第
3の画像信号生成手段とを有することを特徴とする請求
項13または14に記載の階層的画像復号方式。16. A separating means for separating and outputting a quantization scale value, a quantization matrix, macroblock information, and a variable length code of a quantization value from the base layer code sequence, A quantization value decoding unit that decodes a variable length code of the quantization value based on the macroblock information and a predetermined code table and outputs a quantization value; Dequantizing means for dequantizing the quantized value based on the quantized scale value and the macroblock information to output a dequantized value; and the coding residual output from the first decoding means. Transform coefficient calculating means for calculating a transform coefficient by adding the inverse quantized value to the inverse quantized value, and performing an inverse transform of the transform performed by the hierarchical image coding method on the transform coefficient to generate a prediction error image signal The first An image signal generating unit, a second image signal generating unit that adds a motion compensated prediction image signal to the prediction error image signal to generate a decoded image signal, based on the macroblock information, 15. The hierarchical image decoding method according to claim 13, further comprising a third image signal generating unit configured to generate the motion-compensated predicted image by performing motion compensation.
の頻度分布を求める集計手段を更に有し、 前記生起確率算出手段は、前記変換係数の頻度分布に基
づいて、前記符号化残差の生起確率を更新することを特
徴とする請求項16に記載の階層的画像復号方式。17. A counting means for counting the transform coefficients to obtain a frequency distribution of the transform coefficients, wherein the occurrence probability calculating means calculates the coding residual based on the frequency distribution of the transform coefficients. The hierarchical image decoding method according to claim 16, wherein the occurrence probability of is updated.
情報に基づいて、前記ブロックの種類別に前記変換係数
の頻度分布を集計し、 前記生起確率算出手段は、前記符号化残差の生起確率を
ブロックの種類別に算出し、 前記第1の復号手段は、前記マクロブロック情報に基づ
いて、復号すべき符号化残差符号が対応するブロックの
種類を特定し、該特定結果に応じて前記符号化残差の生
起確率を用いることを特徴とする請求項15または17
に記載の階層的画像復号方式。18. The counting means counts the frequency distribution of the transform coefficients for each type of the block based on the macroblock information, and the occurrence probability calculation means calculates the occurrence probability of the coding residual The first decoding means specifies the type of block corresponding to the coded residual code to be decoded based on the macroblock information, and determines the type of the coded residual according to the specified result. 18. The method according to claim 15, wherein a difference occurrence probability is used.
2. The hierarchical image decoding method according to 1.
否かにより種類分けしていることを特徴とする請求項1
8に記載の階層的画像復号方式。19. The method according to claim 1, wherein the blocks are classified according to whether they are intra blocks or not.
9. The hierarchical image decoding method according to 8.
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP5402198A JP3132456B2 (en) | 1998-03-05 | 1998-03-05 | Hierarchical image coding method and hierarchical image decoding method |
US09/261,651 US6363119B1 (en) | 1998-03-05 | 1999-03-03 | Device and method for hierarchically coding/decoding images reversibly and with improved coding efficiency |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP5402198A JP3132456B2 (en) | 1998-03-05 | 1998-03-05 | Hierarchical image coding method and hierarchical image decoding method |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH11252573A true JPH11252573A (en) | 1999-09-17 |
JP3132456B2 JP3132456B2 (en) | 2001-02-05 |
Family
ID=12958943
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP5402198A Expired - Fee Related JP3132456B2 (en) | 1998-03-05 | 1998-03-05 | Hierarchical image coding method and hierarchical image decoding method |
Country Status (2)
Country | Link |
---|---|
US (1) | US6363119B1 (en) |
JP (1) | JP3132456B2 (en) |
Cited By (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
SG97869A1 (en) * | 1999-03-30 | 2003-08-20 | Canon Kk | Image processing apparatus and method, and storage medium |
JP2005128404A (en) * | 2003-10-27 | 2005-05-19 | Casio Comput Co Ltd | Speech processor and speech encoding method |
WO2006046334A1 (en) * | 2004-10-26 | 2006-05-04 | Matsushita Electric Industrial Co., Ltd. | Video encoder, video decoder, video encoding method, and video decoding method |
KR100746007B1 (en) | 2005-04-19 | 2007-08-06 | 삼성전자주식회사 | Method and apparatus for adaptively selecting context model of entrophy coding |
JP2009055623A (en) * | 2001-07-19 | 2009-03-12 | Qualcomm Inc | System and method for decoding digital image data and voice data without loss |
JP2009081860A (en) * | 2001-07-02 | 2009-04-16 | Qualcomm Inc | Apparatus and method for encoding digital image data in a lossless manner |
JP2009165141A (en) * | 2001-07-02 | 2009-07-23 | Qualcomm Inc | Lossless intraframe encoding using golomb-rice |
JP2010516116A (en) * | 2007-01-05 | 2010-05-13 | クゥアルコム・インコーポレイテッド | Selection of variable length coding table based on block type statistics for refinement coefficient coding |
US8325819B2 (en) | 2006-10-12 | 2012-12-04 | Qualcomm Incorporated | Variable length coding table selection based on video block type for refinement coefficient coding |
US8599926B2 (en) | 2006-10-12 | 2013-12-03 | Qualcomm Incorporated | Combined run-length coding of refinement and significant coefficients in scalable video coding enhancement layers |
KR101381602B1 (en) * | 2007-09-17 | 2014-04-04 | 삼성전자주식회사 | Method and apparatus for scalable encoding and decoding |
US9319700B2 (en) | 2006-10-12 | 2016-04-19 | Qualcomm Incorporated | Refinement coefficient coding based on history of corresponding transform coefficient values |
JP2016540457A (en) * | 2013-10-10 | 2016-12-22 | コリン,ジャン−クロード | A method of encoding a matrix, particularly a matrix for displaying still images or moving images, using wavelet transform. |
JP2017073598A (en) * | 2015-10-05 | 2017-04-13 | 富士通株式会社 | Moving image coding apparatus, moving image coding method, and computer program for moving image coding |
Families Citing this family (56)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6614936B1 (en) * | 1999-12-03 | 2003-09-02 | Microsoft Corporation | System and method for robust video coding using progressive fine-granularity scalable (PFGS) coding |
US6700933B1 (en) * | 2000-02-15 | 2004-03-02 | Microsoft Corporation | System and method with advance predicted bit-plane coding for progressive fine-granularity scalable (PFGS) video coding |
US6633725B2 (en) * | 2000-05-05 | 2003-10-14 | Microsoft Corporation | Layered coding of image data using separate data storage tracks on a storage medium |
DE10127348A1 (en) * | 2001-06-06 | 2002-12-19 | Infineon Technologies Ag | Viterbi sharpening filter for sequence of symbols transmitted on noisy channel, employs two distinct data paths for trellis diagram computation |
US6907070B2 (en) * | 2000-12-15 | 2005-06-14 | Microsoft Corporation | Drifting reduction and macroblock-based control in progressive fine granularity scalable video coding |
EP1404133A4 (en) * | 2001-06-29 | 2010-04-21 | Ntt Docomo Inc | Image encoder, image decoder, image encoding method, and image decoding method |
FR2830159A1 (en) * | 2001-09-24 | 2003-03-28 | Thomson Licensing Sa | CODING PROCEDURE ACCORDING TO THE MPEG STANDARD |
CN101448162B (en) | 2001-12-17 | 2013-01-02 | 微软公司 | Method for processing video image |
US10277656B2 (en) * | 2002-01-29 | 2019-04-30 | FiveOpenBooks, LLC | Method and system for delivering media data |
US7752052B2 (en) * | 2002-04-26 | 2010-07-06 | Panasonic Corporation | Scalable coder and decoder performing amplitude flattening for error spectrum estimation |
US20040005003A1 (en) * | 2002-07-02 | 2004-01-08 | Koninklijke Philips Electronics N.V. | Quality improvement for FGS BL coding with U/V coarse quantization |
US8204079B2 (en) * | 2002-10-28 | 2012-06-19 | Qualcomm Incorporated | Joint transmission of multiple multimedia streams |
US10554985B2 (en) | 2003-07-18 | 2020-02-04 | Microsoft Technology Licensing, Llc | DC coefficient signaling at small quantization step sizes |
US7463816B2 (en) * | 2003-09-18 | 2008-12-09 | Cyberlink Corp. | Method of encoding and decoding pictured data for enhancing image resolution |
US20050105612A1 (en) * | 2003-11-14 | 2005-05-19 | Sung Chih-Ta S. | Digital video stream decoding method and apparatus |
US20080002776A1 (en) * | 2004-04-30 | 2008-01-03 | British Broadcasting Corporation (Bbc) | Media Content and Enhancement Data Delivery |
KR20050112587A (en) * | 2004-05-27 | 2005-12-01 | 학교법인 대양학원 | Video encoding and decoding apparatus, and method thereof |
TWI285055B (en) * | 2004-09-30 | 2007-08-01 | Nippon Telegraph & Telephone | Method for progressive lossless video coding, method for progressive lossless video decoding, progressive lossless video coding apparatus, progressive lossless video decoding apparatus, and recording media of progressive lossless video coding program... |
KR100634531B1 (en) * | 2004-12-29 | 2006-10-16 | 삼성전자주식회사 | Apparatus and method for dynamic capacitance compensation of a liquid crystal display |
US7725799B2 (en) * | 2005-03-31 | 2010-05-25 | Qualcomm Incorporated | Power savings in hierarchically coded modulation |
KR20070038699A (en) * | 2005-10-06 | 2007-04-11 | 삼성전자주식회사 | Scalable bsac(bit sliced arithmetic coding) audio data arithmetic decoding method and apparatus |
US7702161B2 (en) * | 2005-10-28 | 2010-04-20 | Aspeed Technology Inc. | Progressive differential motion JPEG codec |
US7822223B2 (en) * | 2006-01-13 | 2010-10-26 | New Jersey Institute Of Technology | Method for identifying marked images using statistical moments based at least in part on a JPEG array |
KR100939917B1 (en) * | 2008-03-07 | 2010-02-03 | 에스케이 텔레콤주식회사 | Encoding system using motion estimation and encoding method using motion estimation |
JP2009290552A (en) * | 2008-05-29 | 2009-12-10 | Fujifilm Corp | Motion picture compressing apparatus and motion picture compression program |
EP2146343A1 (en) | 2008-07-16 | 2010-01-20 | Deutsche Thomson OHG | Method and apparatus for synchronizing highly compressed enhancement layer data |
US7932843B2 (en) * | 2008-10-17 | 2011-04-26 | Texas Instruments Incorporated | Parallel CABAC decoding for video decompression |
GB2466669B (en) * | 2009-01-06 | 2013-03-06 | Skype | Speech coding |
GB2466670B (en) * | 2009-01-06 | 2012-11-14 | Skype | Speech encoding |
GB2466675B (en) * | 2009-01-06 | 2013-03-06 | Skype | Speech coding |
GB2466674B (en) * | 2009-01-06 | 2013-11-13 | Skype | Speech coding |
GB2466673B (en) * | 2009-01-06 | 2012-11-07 | Skype | Quantization |
GB2466671B (en) * | 2009-01-06 | 2013-03-27 | Skype | Speech encoding |
GB2466672B (en) * | 2009-01-06 | 2013-03-13 | Skype | Speech coding |
WO2010146771A1 (en) * | 2009-06-19 | 2010-12-23 | 三菱電機株式会社 | Image encoding device, image decoding device, image encoding method, and image decoding method |
KR101474756B1 (en) | 2009-08-13 | 2014-12-19 | 삼성전자주식회사 | Method and apparatus for encoding and decoding image using large transform unit |
US8452606B2 (en) * | 2009-09-29 | 2013-05-28 | Skype | Speech encoding using multiple bit rates |
US8804819B1 (en) | 2011-04-19 | 2014-08-12 | Google Inc. | Method and apparatus for encoding video using data frequency |
US9749638B1 (en) | 2011-04-28 | 2017-08-29 | Google Inc. | Method and apparatus for encoding video with dynamic quality improvement |
US8705620B1 (en) | 2011-04-28 | 2014-04-22 | Google Inc. | Method and apparatus for encoding anchor frame by encoding features using layers |
US8762797B2 (en) | 2011-04-29 | 2014-06-24 | Google Inc. | Method and apparatus for detecting memory access faults |
US9143802B2 (en) | 2011-10-31 | 2015-09-22 | Qualcomm Incorporated | Fragmented parameter set for video coding |
US9113164B1 (en) | 2012-05-15 | 2015-08-18 | Google Inc. | Constant bit rate control using implicit quantization values |
KR102001415B1 (en) | 2012-06-01 | 2019-07-18 | 삼성전자주식회사 | Rate control Method for multi-layer video encoding, and video encoder and video signal processing system using method thereof |
US9510019B2 (en) | 2012-08-09 | 2016-11-29 | Google Inc. | Two-step quantization and coding method and apparatus |
US9253483B2 (en) | 2012-09-25 | 2016-02-02 | Google Technology Holdings LLC | Signaling of scaling list |
US9407915B2 (en) | 2012-10-08 | 2016-08-02 | Google Inc. | Lossless video coding with sub-frame level optimal quantization values |
US9210432B2 (en) * | 2012-10-08 | 2015-12-08 | Google Inc. | Lossless inter-frame video coding |
US9369732B2 (en) * | 2012-10-08 | 2016-06-14 | Google Inc. | Lossless intra-prediction video coding |
US9756346B2 (en) | 2012-10-08 | 2017-09-05 | Google Inc. | Edge-selective intra coding |
US9225979B1 (en) | 2013-01-30 | 2015-12-29 | Google Inc. | Remote access encoding |
TWI558369B (en) | 2013-04-03 | 2016-11-21 | 必有方投資股份有限公司 | Liquid ingesting management system |
KR102478994B1 (en) * | 2015-12-29 | 2022-12-19 | 코웨이 주식회사 | A juicer having an ability of the sugar content measurement |
CN108471531B (en) * | 2018-03-22 | 2020-02-07 | 南京邮电大学 | Quality gradable rapid coding method based on compressed sensing |
WO2020130577A1 (en) * | 2018-12-18 | 2020-06-25 | 엘지전자 주식회사 | Image coding method based on secondary transform, and device therefor |
KR20220036948A (en) * | 2019-07-05 | 2022-03-23 | 브이-노바 인터내셔널 리미티드 | Quantization of Residuals in Video Coding |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0472870A (en) | 1990-07-12 | 1992-03-06 | Toshiba Corp | Picture encoding system |
US5731840A (en) * | 1995-03-10 | 1998-03-24 | Kabushiki Kaisha Toshiba | Video coding/decoding apparatus which transmits different accuracy prediction levels |
JP3359214B2 (en) | 1995-12-28 | 2002-12-24 | 株式会社リコー | Multi-level image coding device |
DE69724672T2 (en) * | 1996-05-17 | 2004-07-15 | Matsushita Electric Industrial Co., Ltd., Kadoma | Video coding method for coding shape and texture signals using different modes |
US6292591B1 (en) * | 1996-07-17 | 2001-09-18 | Sony Coporation | Image coding and decoding using mapping coefficients corresponding to class information of pixel blocks |
JP2914326B2 (en) | 1996-09-27 | 1999-06-28 | 日本電気株式会社 | Transformation encoding of digital signal enabling reversible transformation |
US6173013B1 (en) * | 1996-11-08 | 2001-01-09 | Sony Corporation | Method and apparatus for encoding enhancement and base layer image signals using a predicted image signal |
DE69835388T2 (en) * | 1997-03-17 | 2007-07-19 | Sony Corp. | Image encoder and image decoder |
JP3407588B2 (en) | 1997-03-19 | 2003-05-19 | 株式会社日立製作所 | Encoding / decoding device |
-
1998
- 1998-03-05 JP JP5402198A patent/JP3132456B2/en not_active Expired - Fee Related
-
1999
- 1999-03-03 US US09/261,651 patent/US6363119B1/en not_active Expired - Fee Related
Cited By (22)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6750983B1 (en) | 1999-03-30 | 2004-06-15 | Canon Kabushiki Kaisha | Image processing apparatus and method, and storage medium |
SG97869A1 (en) * | 1999-03-30 | 2003-08-20 | Canon Kk | Image processing apparatus and method, and storage medium |
JP2009081860A (en) * | 2001-07-02 | 2009-04-16 | Qualcomm Inc | Apparatus and method for encoding digital image data in a lossless manner |
US8270738B2 (en) | 2001-07-02 | 2012-09-18 | Qualcomm Incorporated | Apparatus and method for encoding digital image data in a lossless manner |
US8098943B2 (en) | 2001-07-02 | 2012-01-17 | Qualcomm Incorporated | Apparatus and method for encoding digital image data in a lossless manner |
JP2009165141A (en) * | 2001-07-02 | 2009-07-23 | Qualcomm Inc | Lossless intraframe encoding using golomb-rice |
JP2009055623A (en) * | 2001-07-19 | 2009-03-12 | Qualcomm Inc | System and method for decoding digital image data and voice data without loss |
JP2012200005A (en) * | 2001-07-19 | 2012-10-18 | Qualcomm Inc | System and method for decoding digital image and audio data in lossless manner |
JP2015039176A (en) * | 2001-07-19 | 2015-02-26 | クゥアルコム・インコーポレイテッドQualcomm Incorporated | System and method for decoding digital image and audio data in lossless manner |
JP2005128404A (en) * | 2003-10-27 | 2005-05-19 | Casio Comput Co Ltd | Speech processor and speech encoding method |
WO2006046334A1 (en) * | 2004-10-26 | 2006-05-04 | Matsushita Electric Industrial Co., Ltd. | Video encoder, video decoder, video encoding method, and video decoding method |
US8351502B2 (en) | 2005-04-19 | 2013-01-08 | Samsung Electronics Co., Ltd. | Method and apparatus for adaptively selecting context model for entropy coding |
KR100746007B1 (en) | 2005-04-19 | 2007-08-06 | 삼성전자주식회사 | Method and apparatus for adaptively selecting context model of entrophy coding |
US8325819B2 (en) | 2006-10-12 | 2012-12-04 | Qualcomm Incorporated | Variable length coding table selection based on video block type for refinement coefficient coding |
US8565314B2 (en) | 2006-10-12 | 2013-10-22 | Qualcomm Incorporated | Variable length coding table selection based on block type statistics for refinement coefficient coding |
US8599926B2 (en) | 2006-10-12 | 2013-12-03 | Qualcomm Incorporated | Combined run-length coding of refinement and significant coefficients in scalable video coding enhancement layers |
US9319700B2 (en) | 2006-10-12 | 2016-04-19 | Qualcomm Incorporated | Refinement coefficient coding based on history of corresponding transform coefficient values |
TWI397320B (en) * | 2007-01-05 | 2013-05-21 | Qualcomm Inc | Variable length coding table selection based on block type statistics for refinement coefficient coding |
JP2010516116A (en) * | 2007-01-05 | 2010-05-13 | クゥアルコム・インコーポレイテッド | Selection of variable length coding table based on block type statistics for refinement coefficient coding |
KR101381602B1 (en) * | 2007-09-17 | 2014-04-04 | 삼성전자주식회사 | Method and apparatus for scalable encoding and decoding |
JP2016540457A (en) * | 2013-10-10 | 2016-12-22 | コリン,ジャン−クロード | A method of encoding a matrix, particularly a matrix for displaying still images or moving images, using wavelet transform. |
JP2017073598A (en) * | 2015-10-05 | 2017-04-13 | 富士通株式会社 | Moving image coding apparatus, moving image coding method, and computer program for moving image coding |
Also Published As
Publication number | Publication date |
---|---|
US6363119B1 (en) | 2002-03-26 |
JP3132456B2 (en) | 2001-02-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3132456B2 (en) | Hierarchical image coding method and hierarchical image decoding method | |
US11451793B2 (en) | Parameterization for fading compensation | |
US8005144B2 (en) | Bi-directional predicting method for video coding/decoding | |
JP3369573B2 (en) | Image prediction decoding method and apparatus | |
US6650707B2 (en) | Transcoding apparatus and method | |
EP1359770B1 (en) | Signaling for fading compensation in video encoding | |
US7463684B2 (en) | Fading estimation/compensation | |
JP2003250157A (en) | Optimal scanning method for transform coefficients in coding/decoding of still image and moving image | |
KR20040047977A (en) | Spatial scalable compression | |
WO2007043609A1 (en) | Image encoding method, device using the same, and computer program | |
JP2004215275A (en) | Motion compensation based improved noise prediction method and apparatus, and moving image encoding method and apparatus using the same | |
JP2006511164A (en) | Elastic memory | |
KR20050112587A (en) | Video encoding and decoding apparatus, and method thereof | |
US20070297517A1 (en) | Entropy encoding and decoding apparatuses, and entropy encoding and decoding methods | |
JP3800965B2 (en) | Data rate converter | |
JP4594561B2 (en) | Encoding device and encoding program | |
JP4361665B2 (en) | Transcoding method and transcoding apparatus for moving image encoded data | |
JP3884410B2 (en) | Quantization step size determination method and digital signal encoding apparatus for digital signal encoding | |
JPH09200747A (en) | Method and device for encoding image | |
EP1746840A2 (en) | Parameterization for fading compensation | |
GB2329544A (en) | Image comparison in transform-quantised space |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20001024 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20071124 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20081124 Year of fee payment: 8 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20081124 Year of fee payment: 8 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091124 Year of fee payment: 9 |
|
LAPS | Cancellation because of no payment of annual fees |