JPH08205158A - Method and device for adaptive coring - Google Patents
Method and device for adaptive coringInfo
- Publication number
- JPH08205158A JPH08205158A JP3014495A JP3014495A JPH08205158A JP H08205158 A JPH08205158 A JP H08205158A JP 3014495 A JP3014495 A JP 3014495A JP 3014495 A JP3014495 A JP 3014495A JP H08205158 A JPH08205158 A JP H08205158A
- Authority
- JP
- Japan
- Prior art keywords
- coring
- unit
- block
- predetermined
- frequency signal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000003044 adaptive effect Effects 0.000 title claims abstract description 62
- 238000000034 method Methods 0.000 title claims abstract description 45
- 238000013139 quantization Methods 0.000 claims abstract description 167
- 230000009466 transformation Effects 0.000 claims description 14
- 230000002194 synthesizing effect Effects 0.000 claims description 6
- 241000255925 Diptera Species 0.000 abstract description 13
- 238000001514 detection method Methods 0.000 abstract description 8
- 230000006835 compression Effects 0.000 description 24
- 238000007906 compression Methods 0.000 description 24
- 238000010586 diagram Methods 0.000 description 13
- 101000969688 Homo sapiens Macrophage-expressed gene 1 protein Proteins 0.000 description 10
- 102100021285 Macrophage-expressed gene 1 protein Human genes 0.000 description 10
- 230000006870 function Effects 0.000 description 6
- 230000005540 biological transmission Effects 0.000 description 3
- 238000005314 correlation function Methods 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 239000000470 constituent Substances 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 230000005236 sound signal Effects 0.000 description 2
- 230000002123 temporal effect Effects 0.000 description 2
- 238000000844 transformation Methods 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 238000010615 ring circuit Methods 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
Landscapes
- Image Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression Of Band Width Or Redundancy In Fax (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Abstract
Description
【0001】[0001]
【産業上の利用分野】本発明は所定のブロックサイズを
有する単位のブロック毎に分割された画像信号が、それ
ぞれの単位のブロック毎に直交変換された後に、少なく
とも前記した単位のブロックの1個を含む予め定められ
た大きさの領域毎に個別に設定されているブロック量子
化幅値を用いて量子化されるとともに、所定の符号化に
より変換符号化された画像データに対して復号化信号処
理を施して得た復号画像信号に対して施すコアリング方
法及び前記のコアリング方法を適用して構成したコアリ
ング装置に関する。BACKGROUND OF THE INVENTION The present invention relates to at least one of the above unit blocks after an image signal divided into unit blocks having a predetermined block size is orthogonally transformed into each unit block. Is decoded using a block quantization width value that is individually set for each area of a predetermined size including The present invention relates to a coring method applied to a decoded image signal obtained by processing and a coring device configured by applying the coring method.
【0002】[0002]
【従来の技術】画像信号、音響信号、その他の各種信号
をデジタル信号として、伝送,記録再生する場合には、
情報量の圧縮伸長技術が用いられている。すなわち、例
えば画像信号や音声信号等のデジタル化に当って、各サ
ンプル値を均等に分割した信号レベルの内の一つの代表
値で置き換える直線量子化(均等量子化)を行なっただけ
では、伝送,記録再生の対象とされる信号の情報量が、
非常に多い状態になるからである。それで、従来から放
送通信の技術分野、記録再生の技術分野においては、例
えば、信号の変化の少ない部分で人間の視覚や聴覚が敏
感であり、信号の変化の激しい部分ではある程度の誤差
があっても、それを検知し難いという人間の視覚や聴覚
の性質を、各サンプルあたりの情報量の低減のために利
用するということの他に、多くの情報圧縮技術の適用に
より、伝送,記録再生の対象にされている各種情報につ
いての高能率圧縮技術(情報の高能率符号化技術)の実
用化が進められて来ていることは周知のとおりである。2. Description of the Related Art In the case of transmitting, recording and reproducing image signals, audio signals, and other various signals as digital signals,
Information compression / expansion technology is used. That is, for example, when digitizing an image signal or an audio signal, linear quantization (equal quantization) in which each sample value is replaced with one of the representative values of the signal level that is equally divided is transmitted. , The amount of information of the signal to be recorded and reproduced is
This is because there will be very many. Therefore, in the technical field of broadcast communication and the technical field of recording / reproduction, for example, human vision and hearing are sensitive to a portion where the signal changes little, and there is some error in a portion where the signal changes drastically. In addition to utilizing the human visual and auditory properties, which are difficult to detect, to reduce the amount of information for each sample, many information compression techniques are applied to transmit, record, and reproduce. It is well known that a high-efficiency compression technique (high-efficiency information encoding technique) for various kinds of targeted information has been put into practical use.
【0003】さて、現在、実用化されているVHS(登
録商標)方式のVTRからの再生信号を用いて表示され
た再生画像程度の画質の動画像における1時間当りの情
報量は、おおよそ109Gビットであり、また、我国に
おける現行の標準方式のカラーテレビジョン方式の受信
画像程度の画質の動画像における1時間当りの情報量
は、おおよそ360Gビットであるが、前記のように大
きな情報量を有する画像情報を、実用化されている現行
の伝送路や記録媒体を用いて、伝送,記録再生させるた
めに必要とされる画像情報の高能率圧縮方式についての
実用化研究も盛んに行なわれている。Now, the amount of information per hour in a moving image having a quality similar to that of a reproduced image displayed using a reproduced signal from a VHS (registered trademark) VTR currently in practical use is about 109 G bits. In addition, the amount of information per hour in a moving image of a quality similar to the received image of the current standard color television system in Japan is about 360 G bits, but it has a large amount of information as described above. Practical studies have also been actively conducted on a high-efficiency compression method of image information required for transmitting and recording / reproducing image information using a current transmission line or recording medium that has been put to practical use. ..
【0004】ところで、現在、実用的な画像情報の高能
率圧縮方式として提唱されている画像情報の高能率圧縮
方式では、自然画における隣接画素間では相関が高い
という、画面内(フレーム内)相関々係を利用して行な
う情報量の圧縮(空間的相関々係を利用して行なう情報
量の圧縮)、時間軸上に並ぶ画面間(フレーム間)相関
々係を利用して行なう情報量の圧縮(時間的相関々係を
利用して行なう情報量の圧縮)、符号の出現確率の偏
りによる情報量の圧縮、との3種類の異なる圧縮手段を
組合わせて情報量の圧縮を行ない、高能率符号化が達成
されるようにしている。前記したの画面内(フレーム
内)相関々係を利用して行なう画像の情報量の圧縮手段
としては、従来から多くの手法が提案されて来ている
が、近年になって、K−L(カルーネン・レーベ)変
換、離散コサイン変換(DCT)、離散フーリエ変換、
ウオルシュ・アダマール変換、等を代表例とする直交変
換が採用されることが多くなった。By the way, in the high-efficiency compression method of image information, which is currently proposed as a practical high-efficiency compression method of image information, the correlation between the adjacent pixels in the natural image is high. Of the amount of information performed by using the correlation function (compression of the amount of information performed by using the spatial correlation function) and the amount of information performed by using the correlation function between screens (frames) arranged on the time axis. The amount of information is compressed by combining three different types of compression means: compression (compression of information amount using temporal correlation), compression of information amount due to deviation of code appearance probability, and compression of information amount. Efficient coding is achieved. As a means for compressing the information amount of an image using the above-mentioned intra-frame (intra-frame) correlation, many methods have been proposed in the past, but in recent years, K-L ( Karonen-Reeve) transform, discrete cosine transform (DCT), discrete Fourier transform,
Orthogonal transformations such as Walsh-Hadamard transformations have been adopted as typical examples.
【0005】例えば、ISO(国際標準化機構)の下に
設立されたMPEG(MovingPicture C
oding Expert Group)による国際標準
化作業の結果として提唱された画像情報の高能率符号化
方式(MPEG1方式,MPEG2方式と呼称されるこ
ともある)は、フレーム内符号化と、フレーム間符号化
とを組合わせて、動き補償予測やフレーム間予測を施し
た状態で、動画像情報の高能率符号化を行なうのである
が、前記の直交変換として2次元離散コサイン変換(2
次元DCT)を採用している。そして、前記の直交変換
は、高能率符号化の対象にされる各1枚毎の画面の画像
信号について、所定のブロックサイズ(N×M画素←横
N画素×縦Mラインのブロックサイズ)を有する「単位
のブロック」(前記のMPEG1方式,MPEG2方式
では、8×8画素←横8画素×縦8ラインのブロックサ
イズのブロックが「単位のブロック」とされている)毎
に分割された画像信号について行なわれる。[0005] For example, MPEG (Moving Picture C) established under ISO (International Organization for Standardization)
The high-efficiency coding method of image information (sometimes referred to as MPEG1 method or MPEG2 method) proposed as a result of international standardization work by the Odging Expert Group includes intra-frame coding and inter-frame coding. High-efficiency coding of moving image information is performed in combination with motion-compensated prediction and inter-frame prediction. As the orthogonal transformation, two-dimensional discrete cosine transformation (2
Dimensional DCT) is adopted. In the orthogonal transform, a predetermined block size (N × M pixels ← horizontal N pixels × vertical M line block size) is set for the image signal of each screen to be subjected to high efficiency encoding. An image divided for each “unit block” (in the MPEG1 system and the MPEG2 system, a block having a block size of 8 × 8 pixels ← horizontal 8 pixels × vertical 8 lines is a “unit block”) Performed on signals.
【0006】前記の単位のブロック毎に直交変換される
ことによって得られる(N×M)個の直交変換係数(前
記のMPEG1方式,MPEG2方式では、8×8=6
4個のDCT変換係数)は、少なくとも前記した単位の
ブロックの1個を含む予め定められた大きさの領域(前
記のMPEG1方式,MPEG2方式において、「マク
ロブロック」の用語で呼称されている領域、すなわち、
MPEG1方式,MPEG2方式で、輝度信号Yについ
ての16×16画素←横16画素×縦16ラインのブロ
ックサイズの大きさの領域と、2つの色差信号Cr,C
bのそれぞれについての8×8画素←横8画素×縦8ラ
インのブロックサイズの大きさの領域とからなる領域)
毎に設定されている「ブロック量子化幅値」によって量
子化される。例えば、MPEG1方式,MPEG2方式
において、前記した「ブロック量子化幅値」は、[{マ
クロブロック量子化特性値(またはマクロブロックの量
子化スケール)QS}×量子化マトリクス]として示さ
れる。[0006] (N × M) orthogonal transform coefficients (8 × 8 = 6 in the above-mentioned MPEG1 system and MPEG2 system) obtained by performing orthogonal transform for each block of the above unit.
The four DCT transform coefficients) are areas of a predetermined size including at least one of the blocks of the above-mentioned units (areas called “macroblock” in the above-mentioned MPEG1 system and MPEG2 system). , That is,
In the MPEG1 method and the MPEG2 method, an area having a block size of 16 × 16 pixels ← horizontal 16 pixels × vertical 16 lines for the luminance signal Y and two color difference signals Cr and C
(A region consisting of 8 × 8 pixels ← horizontal 8 pixels × vertical 8 line block size region for each b)
It is quantized by the "block quantization width value" set for each. For example, in the MPEG1 system and the MPEG2 system, the above-mentioned “block quantization width value” is represented as [{macroblock quantization characteristic value (or macroblock quantization scale) QS} × quantization matrix].
【0007】前記のブロック量子化幅値によって量子化
された直交変換係数(例えばDCT係数)は、それの直
流成分(DC成分)と、交流成分(AC成分)とに分離され
る。前記の直交変換係数(例えばDCT係数)の直流成分
は差分符号化され、また直交変換係数(例えばDCT係
数)の交流成分は、ジグザグ走査された後にエントロピ
ー符号化(符号の出現確率の偏りによる情報量圧縮…例
えばハフマン方式のような可変長符号化)される。前記
のように変換符号化された画像データはビットストリー
ム(ビット列)として出力される。次に前述のように変換
符号化された画像データに対する復号動作は、既述の符
号化動作とは逆の操作で行なわれて出力画像が得られる
のであるが、高能率符号化の過程において量子化が行な
われている場合には、避けることができない量子化誤差
の存在により、出力画像中に量子化ノイズを生じさせ
る。そして、符号化の対象にされた画像の複雑さが、伝
送レートに対して大きな場合に、前記の量子化ノイズが
画像の品質を大きく劣化させることになる。The orthogonal transform coefficient (for example, DCT coefficient) quantized by the block quantization width value is separated into its DC component (DC component) and AC component (AC component). The DC component of the orthogonal transform coefficient (for example, DCT coefficient) is differentially encoded, and the AC component of the orthogonal transform coefficient (for example, DCT coefficient) is entropy-encoded after zigzag scanning (information due to deviation of the appearance probability of the code). Quantity compression ... Variable length coding such as Huffman method). The image data converted and encoded as described above is output as a bit stream (bit string). Next, the decoding operation for the image data that has been transform-encoded as described above is performed in the reverse operation of the encoding operation described above to obtain the output image. When quantization is performed, the presence of a quantization error that cannot be avoided causes quantization noise in the output image. Then, when the complexity of the image to be encoded is large with respect to the transmission rate, the above-mentioned quantization noise will significantly deteriorate the quality of the image.
【0008】一般的に、前記した量子化ノイズを生じさ
せる量子化誤差の内で、低域成分の量子化誤差は、単位
のブロック間に相関が無い状態の出力画像歪、所謂ブロ
ック歪を画像中に生じさせ、また、量子化ノイズを生じ
させる量子化誤差の内で、高域成分の量子化誤差は、リ
ンギング状の出力画像歪、所謂モスキートノイズをエッ
ジの周辺に生じさせる。ところで、前記のように画像中
に生じる量子化ノイズは、画像の平坦部分では特に目立
つものである。すなわち、低域から高域にかけて大きな
映像信号レベルの変化がある場所に、小さなノイズが加
算されているような量子化ノイズの波形の場合には、視
覚特性上での感度差が小さいことからノイズは検知され
難い。しかし、低域だけに大きな映像信号レベルの変化
が存在している場合に、高域に小さなノイズが加算され
ているときは、前記のノイズが検知され易い。当然のこ
とながら、大きなノイズが加算された場合には、低域,
高域の如何に拘らずに致命的を符号化劣化として検知さ
れてしまうことは、いうまでもない。Generally, among the quantization errors that cause the above-mentioned quantization noise, the quantization error of the low-frequency component is the output image distortion in a state where there is no correlation between unit blocks, so-called block distortion. Among the quantization errors that occur inside and cause the quantization noise, the quantization error of the high frequency component causes ringing-like output image distortion, so-called mosquito noise, around the edges. By the way, the quantization noise generated in the image as described above is particularly noticeable in the flat portion of the image. That is, in the case of a quantization noise waveform in which a small noise is added to a place where there is a large change in the video signal level from the low frequency range to the high frequency range, the sensitivity difference in the visual characteristics is small and the noise Is hard to detect. However, when a large change in the video signal level exists only in the low frequency range and the small noise is added to the high frequency range, the noise is easily detected. Naturally, when a large amount of noise is added, the low range,
It goes without saying that fatalness is detected as coding deterioration regardless of high frequencies.
【0009】そして、前記したような量子化ノイズの対
策として、従来から採用されてきた方策の1つとして、
復号画像における高域成分が少ない部分は、画像信号の
ノイズまたは量子化ノイズであると仮定し、画像信号の
信号レベルが予め定められた信号レベル以下の部分の信
号を信号がゼロの部分とみなす、という、所謂、コアリ
ング技術があり、前記のコアリング技術は古くからアナ
ログ信号の微小なノイズの除去方法として使用されて来
ていることは周知のとおりである(例えば、1991年
2月「放送技術」第141頁〜第147頁参照)。As one of the measures conventionally adopted as a measure against the above-mentioned quantization noise,
It is assumed that the portion with few high frequency components in the decoded image is noise or quantization noise of the image signal, and the signal in the portion where the signal level of the image signal is equal to or lower than the predetermined signal level is regarded as the portion where the signal is zero. It is well known that there is a so-called coring technique, and the coring technique has been used for a long time as a method for removing a minute noise of an analog signal (for example, “February 1991”). Broadcasting Technology ", pp. 141-147).
【0010】[0010]
【発明が解決しようとする課題】ところが、伝送レート
に対して、高能率符号化しようとしている画像の複雑さ
の程度が大きな場合には、必らず画像の劣化が大きなも
のになる。ところで2次元の視覚特性を考慮したウエイ
ティングマトリクスは、基本的に高域成分に対応するブ
ロック量子化幅値の方が大きく設定されるので、高域の
方に量子化ノイズが出現し易い。それで、復号画像信号
を低周波信号成分と高周波信号成分とに分離し、前記し
た高周波信号成分にコアリング手段を施して、予め定め
られた信号レベル(コアリングレベル)以下をゼロに変
換した後に、前記の低周波信号成分と合成して出力させ
るようにすることが効果的である。しかし、粗い量子化
ステップによって画像圧縮が行なわれている場合には、
非常に大きな振幅の量子化ノイズが発生し、逆に、細か
い量子化ステップによって画像圧縮が行なわれている場
合には、量子化ノイズは殆ど発生しない。However, when the degree of complexity of the image to be encoded with high efficiency is large with respect to the transmission rate, the image is inevitably deteriorated. By the way, in the weighting matrix considering the two-dimensional visual characteristic, basically, the block quantization width value corresponding to the high frequency component is set to be larger, so that the quantization noise is likely to appear in the high frequency region. Therefore, after the decoded image signal is separated into a low-frequency signal component and a high-frequency signal component, the high-frequency signal component is subjected to coring means, and after conversion to zero below a predetermined signal level (coring level). It is effective to combine with the low frequency signal component and output the synthesized signal. However, if the image compression is done with a coarse quantization step,
Quantization noise with a very large amplitude is generated, and conversely, when image compression is performed by fine quantization steps, quantization noise is hardly generated.
【0011】それで、コアリングの実施に際して、粗い
量子化ステップで画像圧縮が行なわれている場合に発生
する量子化ノイズ成分の振幅に合わせて、前記のコアリ
ングレベルを設定した場合には、細かい量子化ステップ
により画像圧縮が行なわれた部分における前記したコア
リングレベル以下の画像データの全てが失なわれるため
に、のっぺりした画質の画像となり、また、コアリング
の実施に際して、細かい量子化ステップで画像圧縮が行
なわれている場合に発生する量子化ノイズ成分の振幅に
合わせて、前記のコアリングレベルを設定した場合に
は、粗い量子化ステップによって画像圧縮が行なわれた
部分に生じている大きな量子化ノイズが全く除去できな
い。したがって、量子化ノイズレベルが常に変化してい
る圧縮画像データに対して復号化信号処理を施して得た
復号画像信号を、低周波信号成分と高周波信号成分とに
分離し、前記の高周波信号成分について、予め定められ
た信号レベル以下をゼロに変換した後に、前記の低周波
信号成分と合成して出力させる際に、コアリングレベル
を固定的な値に設定してコアリングを行なったところ
で、量子化ノイズを効率的に低減できないので、それの
改善策が求められた。Therefore, when performing the coring, if the coring level is set in accordance with the amplitude of the quantization noise component generated when the image compression is performed in the coarse quantization step, the fine coring level is set. Since all the image data below the coring level in the part where the image compression is performed by the quantization step is lost, the image has a flat image quality, and when performing the coring, a fine quantization step is performed. When the coring level is set in accordance with the amplitude of the quantization noise component generated when the image compression is being performed, a large amount is generated in the portion where the image compression is performed by the coarse quantization step. Quantization noise cannot be removed at all. Therefore, the decoded image signal obtained by performing the decoding signal processing on the compressed image data whose quantization noise level is constantly changing is separated into the low frequency signal component and the high frequency signal component, and the high frequency signal component For, after converting a predetermined signal level or less to zero, when combining with the low-frequency signal component and outputting it, where the coring level is set to a fixed value and coring is performed, Since the quantization noise cannot be reduced efficiently, improvement measures for it have been required.
【0012】[0012]
【課題を解決するための手段】本発明は、所定のブロッ
クサイズを有する単位のブロック毎に分割された画像信
号が、それぞれの単位のブロック毎に直交変換された後
に、少なくとも前記した単位のブロックの1個を含む予
め定められた大きさの領域毎に個別に設定されているブ
ロック量子化幅値を用いて量子化されるとともに、所定
の符号化により変換符号化された画像データに対して復
号化信号処理を施して得た復号画像信号を、低周波信号
成分と高周波信号成分とに分離し、前記の高周波信号成
分について、予め定められた信号レベル以下をゼロに変
換した後に、前記の低周波信号成分と合成して出力させ
る際に、前記の予め定められた信号レベルを、前記した
各領域毎に個別に設定されているブロック量子化幅値の
大きさにより変更させるようにしたり、前記した各領域
毎に個別に設定されているブロック量子化幅値の大きさ
と復号画像の画素アドレスとにより変更させるようにし
た適応コアリング方法と、所定のブロックサイズを有す
る単位のブロック毎に分割された画像信号が、それぞれ
の単位のブロック毎に直交変換された後に、少なくとも
前記した単位のブロックの1個を含む予め定められた大
きさの領域毎に個別に設定されているブロック量子化幅
値を用いて量子化されるとともに、所定の符号化により
変換符号化された画像データを、少なくともバッファメ
モリと、可変長復号化部と、逆量子化部と、逆直交変換
部と、画像メモリとを含んで構成されている復号化装置
によって復号された復号画像信号に対して、前記の適応
コアリング方法を適用するために、所定の符号化により
変換符号化された画像データから、少なくとも前記した
単位のブロックの1個を含む予め定められた大きさの領
域毎に個別に設定されているブロック量子化幅値を検出
するブロック量子化幅値の検出手段と、復号化装置によ
って復号された復号画像信号を、低周波信号成分と高周
波信号成分とに分離する手段と、分離された前記の高周
波信号成分について、予め定められた信号レベル以下を
ゼロに変換させるコアリング手段と、前記したブロック
量子化幅値の検出手段によって得たブロック量子化幅値
により前記したコアリング手段における予め定められた
信号レベルを決定したり、あるいは前記したブロック量
子化幅値の検出手段によって得たブロック量子化幅値
と、復号装置から得た画素アドレスとを用いて、前記し
たコアリング手段における予め定められた信号レベルを
決定する手段と、前記したコアリング手段から出力され
た高周波信号成分と前記の低周波信号成分とを合成して
出力させる手段とを備えて構成した適応コアリング装
置、ならびに所定のブロックサイズを有する単位のブロ
ック毎に分割された画像信号が、それぞれの単位のブロ
ック毎に直交変換された後に、少なくとも前記した単位
のブロックの1個を含む予め定められた大きさの領域毎
に個別に設定されているブロック量子化幅値を用いて量
子化されるとともに、所定の符号化により変換符号化さ
れた画像データを、少なくともバッファメモリと、可変
長復号化部と、逆量子化部と、逆直交変換部と、画像メ
モリとを含んで構成されている復号化装置によって復号
された復号画像信号を、低周波信号成分と高周波信号成
分とに分離する手段と、分離された前記の高周波信号成
分について、予め定められた信号レベル以下をゼロに変
換させるコアリング手段と、前記した可変長復号化部か
ら順次に出力される各領域毎に個別に設定されているブ
ロック量子化幅値によって、前記したコアリング手段に
おける予め定められた信号レベルを決定したり、あるい
は前記した可変長復号化部から順次に出力される各領域
毎に個別に設定されているブロック量子化幅値と、復号
装置から得た画素アドレスとを用いて、前記したコアリ
ング手段における予め定められた信号レベルを決定する
手段と、前記したコアリング手段から出力された高周波
信号成分と前記の低周波信号成分とを合成して出力させ
る手段とを備えてなる適応コアリング装置とを提供す
る。According to the present invention, an image signal divided for each unit block having a predetermined block size is orthogonally transformed for each unit block, and then at least the above unit block is used. Image data that has been quantized using a block quantization width value that is individually set for each area of a predetermined size including one of The decoded image signal obtained by performing the decoding signal processing is separated into a low-frequency signal component and a high-frequency signal component, and the high-frequency signal component, after converting a predetermined signal level or less to zero, When combining and outputting the low-frequency signal component, the predetermined signal level is changed according to the size of the block quantization width value set individually for each area described above. And an adaptive coring method in which it is changed according to the size of the block quantization width value and the pixel address of the decoded image which are individually set for each area, and a unit having a predetermined block size. The image signal divided for each block is orthogonally transformed for each unit block, and then individually set for each area of a predetermined size including at least one of the unit blocks described above. Image data that has been quantized by using a block quantization width value that has been transformed by a predetermined encoding, and at least the buffer memory, a variable length decoding unit, an inverse quantization unit, and an inverse orthogonal transform. And a decoded image signal decoded by a decoding device including an image memory, the adaptive coring method, A block for detecting a block quantization width value that is individually set for each area of a predetermined size including at least one block of the unit described above, from image data that has been transform-coded by constant encoding. Quantization width value detecting means, means for separating the decoded image signal decoded by the decoding device into a low-frequency signal component and a high-frequency signal component, and the separated high-frequency signal component are predetermined. Coring means for converting the signal level below to zero, and determining a predetermined signal level in the coring means by the block quantization width value obtained by the block quantization width value detecting means, or Using the block quantization width value obtained by the block quantization width value detecting means and the pixel address obtained from the decoding device, An adaptation comprising means for determining a predetermined signal level in the coring means, and means for synthesizing and outputting the high-frequency signal component output from the coring means and the low-frequency signal component. The coring device, and the image signal divided into each unit block having a predetermined block size are orthogonally transformed into each unit block, and then are defined in advance including at least one of the unit blocks. Image data that has been quantized using the block quantization width value that is set individually for each region of different sizes and that has been converted and coded by predetermined coding is at least buffer memory and variable length decoded. Unit, an inverse quantization unit, an inverse orthogonal transform unit, and a decoded image signal decoded by a decoding device including an image memory. Means for separating the low-frequency signal component and the high-frequency signal component, coring means for converting the separated high-frequency signal component below a predetermined signal level into zero, and the variable-length decoding unit Depending on the block quantization width value set individually for each region that is sequentially output, the predetermined signal level in the coring means is determined, or the variable length decoding unit sequentially A block quantization width value that is individually set for each output region, and using the pixel address obtained from the decoding device, means for determining a predetermined signal level in the coring means, An adaptive coring device comprising means for synthesizing the high frequency signal component output from the coring means and the low frequency signal component for output. To provide the door.
【0013】[0013]
【作用】高能率符号化の対象にされている各1枚毎の画
面の画像信号について、所定のブロックサイズ(N×M
画素←横N画素×縦Mラインのブロックサイズ)を有す
る「単位のブロック」毎に、直交変換して得た(N×
M)個の直交変換係数が、少なくとも前記した単位のブ
ロックの1個を含む予め定められた大きさの領域毎に設
定されている「ブロック量子化幅値」によって量子化さ
れた後に、所定の符号化が施されてなる変換符号化され
た画像データと、前記の変換符号化された画像データの
復号時に必要とされる付加情報とによるビットストリー
ムがバッファメモリに記憶される。前記のバッファメモ
リから読出されたビットストリームが供給される可変長
復号部では、エントロピー符号化(可変長符号化)され
た画像データと、変換符号化された画像データの復号時
に必要とされる付加情報(例えばブロック量子化幅情
報、動きベクトル、予測モード情報等)とを復号する。A predetermined block size (N × M) is applied to an image signal of each screen which is a target of high efficiency encoding.
Pixels ← horizontal N pixels x vertical M line block size) are obtained by orthogonal transformation for each "unit block" (N x
M) orthogonal transform coefficients are quantized by a “block quantization width value” set for each area of a predetermined size including at least one block of the above-mentioned unit, and then, A bitstream consisting of the coded image data that has been subjected to transform coding and the additional information required when decoding the above-mentioned transform coded image data is stored in the buffer memory. In the variable length decoding unit to which the bit stream read from the buffer memory is supplied, the entropy-coded (variable-length coded) image data and the addition required when decoding the transform-coded image data are added. Information (for example, block quantization width information, motion vector, prediction mode information, etc.) is decoded.
【0014】復号された画像データと、復号された付加
情報中のブロック量子化幅情報とが逆量子化部に与えら
れることによって、逆量子化部で行なわれる画像データ
に対する逆量子化動作により、逆量子化部から逆直交変
換部に直交変換係数が供給される。逆直交変換部では、
単位のブロック毎に2次元の逆直交変換を行なって、周
波数領域の画像データを時間軸領域の画像データに逆変
換する。前記の逆直交変換部から出力された時間軸領域
の画像データは、フレーム内符号化、フレーム間符号
化、の違いを示すコーディングタイプに従って、動き補
償部で動き補償された状態の画像データと加算するか、
加算しないかして、出力画像データとされて画像メモリ
に格納される。Decoded image data and block quantization width information in the decoded additional information are given to the dequantization section, so that the dequantization operation performed on the image data by the dequantization section causes An orthogonal transform coefficient is supplied from the inverse quantization unit to the inverse orthogonal transform unit. In the inverse orthogonal transform unit,
The image data in the frequency domain is inversely transformed into the image data in the time domain by performing a two-dimensional inverse orthogonal transformation for each unit block. The image data in the time domain which is output from the inverse orthogonal transform unit is added to the image data in the motion compensated state by the motion compensation unit according to the coding type indicating the difference between intraframe coding and interframe coding. Or,
The output image data is stored in the image memory with or without addition.
【0015】前記のビットストリーム中に含まれていた
付加情報の内のブロック量子化幅情報を検出して、検出
された前記のブロック量子化幅情報、すなわち、少なく
とも単位のブロックの1個を含む予め定められた大きさ
の領域毎に個別に設定されているブロック量子化幅値を
含むブロック量子化幅情報が供給されたコアリングレベ
ルの決定部では、前記のブロック量子化幅情報によって
コアリングレベルを決定する信号を発生したり、あるい
は前記したブロック量子化幅情報と、画素アドレスとに
よってコアリングレベルを決定する信号を発生して、前
記のコアリングレベルを決定する信号をコアリング回路
に供給する。前記のコアリング回路では、それに画像メ
モリから供給されている復号画像データに対し、所定の
コアリングを施して出力端子に送出する。The block quantization width information in the additional information included in the bit stream is detected, and the detected block quantization width information, that is, at least one of the unit blocks is included. In the coring level determination unit supplied with the block quantization width information including the block quantization width value set individually for each area of a predetermined size, the coring is performed according to the block quantization width information. A signal for determining the level is generated, or a signal for determining the coring level is generated by the block quantization width information and the pixel address, and the signal for determining the coring level is sent to the coring circuit. Supply. In the coring circuit, the decoded image data supplied from the image memory is subjected to predetermined coring and is sent to the output terminal.
【0016】[0016]
【実施例】以下、添付図面を参照して本発明の適応コア
リング方法、及び適応コアリング装置の具体的な内容を
詳細に説明する。図1乃至図4は、本発明の適応コアリ
ング方法を適用した適応コアリング装置を備えている画
像データの復号化装置の構成例を示すブロック図、図5
及び図6はコアリング回路の構成例を示すブロック図、
図7は単位のブロックの境界におけるフィルタリングの
状態の説明に使用する図、図8はコアリング回路の制御
特性の説明に使用する図である。図1乃至図4に示す本
発明の適応コアリング方法を適用した適応コアリング装
置を備えている画像データの復号化装置において、1は
復号化の対象にされるビットストリーム(ビット列)の入
力端子であり、また各図において一点鎖線枠で包囲して
示してある部分(3,15,16,18…復号器集積回
路)は、集積回路化されている構成部分であるとされて
いる。図1に示されている画像データの復号化装置にお
いて、一点鎖線枠3で包囲して示してある構成部分とし
ては、少なくともバッファメモリ8と、可変長復号化部
9と、逆量子化部10と、逆直交変換部11と、加算部
12と、動き補償部13と、画像メモリ14とを含んで
集積回路化されている市販品を使用することができる。DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS The specific contents of the adaptive coring method and the adaptive coring apparatus of the present invention will be described in detail below with reference to the accompanying drawings. 1 to 4 are block diagrams showing a configuration example of an image data decoding apparatus equipped with an adaptive coring apparatus to which the adaptive coring method of the present invention is applied, FIG.
FIG. 6 is a block diagram showing a configuration example of a coring circuit,
FIG. 7 is a diagram used for explaining the filtering state at the boundary of the unit block, and FIG. 8 is a diagram used for explaining the control characteristic of the coring circuit. In an image data decoding apparatus equipped with an adaptive coring device to which the adaptive coring method of the present invention shown in FIGS. 1 to 4 is applied, 1 is an input terminal of a bit stream (bit string) to be decoded. In addition, the portions (3, 15, 16, 18 ... Decoder integrated circuit) enclosed and surrounded by the one-dot chain line frame in each drawing are said to be integrated circuit components. In the image data decoding apparatus shown in FIG. 1, the components surrounded by the dashed-dotted line frame 3 are at least a buffer memory 8, a variable length decoding unit 9, and an inverse quantization unit 10. It is possible to use a commercially available product that includes the inverse orthogonal transform unit 11, the addition unit 12, the motion compensation unit 13, and the image memory 14 and is integrated into an integrated circuit.
【0017】前記した入力端子1に供給されるビットス
トリームは、画面内(フレーム内)相関々係を利用する
直交変換により画像の情報量の圧縮(空間的相関々係を
利用して行なう情報量の圧縮)と、時間軸上に並ぶ画面
間(フレーム間)相関々係を利用して行なう情報量の圧
縮(時間的相関々係を利用して行なう情報量の圧縮)、及
び符号の出現確率の偏りによる情報量の圧縮との3種類
の異なる圧縮手段を組合わせて高能率変換符号化された
画像データ(例えばMPEG1方式,MPEG2方式に
よる画像データ)であるとされている。なお、本明細書
の以下の記述においては、復号の対象にされている画像
データが、MPEG1方式,MPEG2方式による画像
データであるとして説明が行なわれている。The bit stream supplied to the input terminal 1 is compressed by the orthogonal transformation using the intra-frame (intra-frame) correlation coefficient to compress the information quantity of the image (the information quantity performed by using the spatial correlation coefficient). Compression) and the amount of information performed by using the correlation correlation between screens (frames) arranged on the time axis (compression of the information amount performed by using the temporal correlation correlation), and the probability of appearance of the code. It is said that the image data is high-efficiency conversion-encoded image data (for example, image data according to the MPEG1 system or MPEG2 system) in combination with three different types of compression means including compression of the information amount due to the bias. In the following description of this specification, it is assumed that the image data to be decoded is image data based on the MPEG1 system and the MPEG2 system.
【0018】ところで、MPEG1方式,MPEG2方
式における動画像情報の高能率符号化は、2次元離散コ
サイン変換(2次元DCT)によるフレーム内符号化
と、フレーム間符号化とを組合わせ、動き補償予測やフ
レーム間予測を施した状態で行なわれる。そして、高能
率符号化の対象にされた各1枚毎の画面の画像信号は、
8×8画素(横8画素×縦8ライン)のブロックサイズ
の「単位のブロック」毎に分割され、前記の各単位のブ
ロック毎にDCTが行なわれる。そして、前記の各単位
のブロック毎のそれぞれ64個のDCT変換係数は「ブ
ロック量子化幅値」で量子化される。MPEG1方式,
MPEG2方式において、前記の「ブロック量子化幅
値」は、前記した単位のブロックの1個を含む予め定め
られた大きさの領域の「マクロブロック」の用語で呼称
されている領域、すなわち、輝度信号Yについての16
×16画素(横16画素×縦16ライン)のブロックサイ
ズの大きさの領域と、2つの色差信号Cr,Cbのそれ
ぞれについての8×8画素(横8画素×縦8ライン)のブ
ロックサイズの大きさの領域とからなる領域)毎に設定
されている{マクロブロック量子化特性値(またはマク
ロブロックの量子化スケール)QS}と、量子化マトリ
クスとの積によって示される値である。By the way, the high-efficiency coding of moving picture information in the MPEG1 system and the MPEG2 system is a combination of intra-frame coding by two-dimensional discrete cosine transform (two-dimensional DCT) and inter-frame coding, and motion compensation prediction is performed. Or with inter-frame prediction. Then, the image signal of the screen for each one that has been subjected to high efficiency encoding is
The image data is divided into “unit blocks” having a block size of 8 × 8 pixels (8 pixels in the horizontal direction × 8 lines in the vertical direction), and DCT is performed for each of the blocks in the above units. The 64 DCT transform coefficients for each block of each unit are quantized with the "block quantization width value". MPEG1 system,
In the MPEG2 system, the “block quantization width value” is a region called a “macroblock” of a region of a predetermined size including one of the blocks of the units described above, that is, a luminance. 16 for signal Y
A region having a block size of 16 pixels (horizontal 16 pixels x vertical 16 lines) and a block size of 8 x 8 pixels (horizontal 8 pixels x vertical 8 lines) for each of the two color difference signals Cr and Cb It is a value indicated by the product of {macroblock quantization characteristic value (or macroblock quantization scale) QS} set for each area (area of size) and the quantization matrix.
【0019】DCT変換係数を被除数とし、「ブロック
量子化幅値」を除数として量子化が行なわれたDCT係
数は、それの直流成分(DC成分)と、交流成分(AC
成分)とに分離される。前記のDCT係数の直流成分は
差分符号化され、またDCT係数の交流成分は、ジグザ
グ走査された後にエントロピー符号化(符号の出現確率
の偏りによる情報量圧縮…例えばハフマン方式のような
可変長符号化)されて変換符号化された画像データに
は、前記の変換符号化された画像データの復号時に必要
とされる付加情報[例えば、{ブロック量子化幅情報→
マクロブロック量子化特性値(またはマクロブロックの
量子化スケール)QS}と、動きベクトル、予測モード
情報等]が付加されてビットストリームとされている。
図1乃至図4にそれぞれ示されている本発明の適応コア
リング方法を適用した適応コアリング装置を備えている
画像データの復号化装置において、入力端子1に供給さ
れたビットストリームは、例えば先入れ先出しメモリ
(FIFO)を用いて構成されているバッファメモリ8
に格納される。The DCT coefficient which is quantized with the DCT transform coefficient as the dividend and the "block quantization width value" as the divisor, has its direct current component (DC component) and alternating current component (AC).
Component) and separated. The DC component of the DCT coefficient is differentially encoded, and the AC component of the DCT coefficient is zigzag-scanned and then entropy-encoded (information amount compression due to bias of appearance probability of code ... For example, variable length code such as Huffman method). Image data that has been converted into transform coded information is added to additional information [for example, {block quantization width information →
Macroblock quantization characteristic value (or macroblock quantization scale) QS} and motion vector, prediction mode information, etc.] are added to form a bitstream.
In the image data decoding device including the adaptive coring device to which the adaptive coring method of the present invention shown in each of FIGS. 1 to 4 is applied, the bit stream supplied to the input terminal 1 is, for example, first-in first-out. Buffer memory 8 configured using a memory (FIFO)
Stored in.
【0020】前記したバッファメモリ8から読出された
ビットストリームが供給される可変長復号部9では、エ
ントロピー符号化(可変長符号化)された画像データ
と、変換符号化された画像データの復号時に必要とされ
る付加情報、例えば{ブロック量子化幅情報→マクロブ
ロック量子化特性値(またはマクロブロックの量子化ス
ケール)QS}、動きベクトル、予測モード情報等)と
を復号する。そして、前記の可変長復号部9で復号され
た画像データと、ブロック量子化幅情報{マクロブロッ
ク量子化特性値(またはマクロブロックの量子化スケー
ル)QS}とは、逆量子化部10に供給され、また、動
きベクトル、予測モード情報等は、逆動き補償部13に
供給される。In the variable length decoding unit 9 to which the bit stream read from the buffer memory 8 is supplied, at the time of decoding the entropy coded (variable length coded) image data and the transform coded image data. Necessary additional information, for example, {block quantization width information → macroblock quantization characteristic value (or macroblock quantization scale) QS}, motion vector, prediction mode information, etc.) is decoded. Then, the image data decoded by the variable length decoding unit 9 and the block quantization width information {macroblock quantization characteristic value (or macroblock quantization scale) QS} are supplied to the inverse quantization unit 10. Further, the motion vector, the prediction mode information, and the like are supplied to the inverse motion compensation unit 13.
【0021】前記の可変長復号部9で復号された画像デ
ータと、復号された付加情報中のブロック量子化幅情報
{マクロブロック量子化特性値(またはマクロブロック
の量子化スケール)QS}とが与えられた逆量子化部1
0では、逆量子化動作を行なって得たDCT変換係数を
逆直交変換部(逆DCT)11に供給する。逆直交変換
部(逆DCT)11では、単位のブロック毎に2次元の
逆DCTを行なって、周波数領域の画像データを時間軸
領域の画像データに逆変換して、それを加算部12に供
給する。前記のようにして加算部12に供給された時間
軸領域の画像データは、フレーム内符号化、フレーム間
符号化、の違いを示すコーディングタイプに従って、動
き補償部13で動き補償された状態の画像データと加算
するか、加算しないかして、出力画像データとされて画
像メモリ14に格納する。The image data decoded by the variable length decoding unit 9 and the block quantization width information {macroblock quantization characteristic value (or macroblock quantization scale) QS} in the decoded additional information are Given inverse quantizer 1
At 0, the DCT transform coefficient obtained by performing the inverse quantization operation is supplied to the inverse orthogonal transform unit (inverse DCT) 11. The inverse orthogonal transform unit (inverse DCT) 11 performs a two-dimensional inverse DCT for each unit block, inversely transforms image data in the frequency domain into image data in the time domain, and supplies it to the addition unit 12. To do. The image data in the time domain supplied to the adding unit 12 as described above is an image in a state in which motion compensation is performed by the motion compensation unit 13 according to a coding type indicating a difference between intraframe coding and interframe coding. Output data is stored in the image memory 14 as output image data, with or without addition to the data.
【0022】バッファメモリ8と、可変長復号化部9
と、逆量子化部10と、逆直交変換部11と、加算部1
2と、動き補償部13と、画像メモリ14とからなる各
構成部分の動作に関するこれまでの記述は、図1乃至図
4に示す本発明の適応コアリング方法を適用した適応コ
アリング装置を備えている画像データの復号化装置にお
ける前記の各構成部分の動作について共通している。図
1乃至図4の各図に示す本発明の適応コアリング方法を
適用した適応コアリング装置を備えている画像データの
復号化装置において、復号器集積回路3(または15,
16,18)における画像メモリ14からの画像データ
は、コアリング回路7を介して出力端子2に出力されて
いる。Buffer memory 8 and variable length decoding unit 9
, Inverse quantizer 10, inverse orthogonal transformer 11, and adder 1
2 and the motion compensating unit 13 and the operation of each component including the image memory 14 have been described so far including the adaptive coring device to which the adaptive coring method of the present invention shown in FIGS. 1 to 4 is applied. The operation of each of the above-mentioned components in the image data decoding apparatus is common. In an image data decoding device including an adaptive coring device to which the adaptive coring method of the present invention shown in each of FIGS. 1 to 4 is applied, a decoder integrated circuit 3 (or 15,
The image data from the image memory 14 in (16, 18) is output to the output terminal 2 via the coring circuit 7.
【0023】そして、前記のコアリング回路7は、コア
リングレベル決定部(6,17)からコアリング回路7
に供給されるコアリングレベル制御信号によって、コア
リングレベルが変化する状態に制御される。前記したコ
アリング回路7の具体的な構成例を、図5及び図6に示
す。まず、図5に示すコアリング回路において点線枠7
hで示されている構成部分は、画像の水平方向について
コアリング回路として機能する構成部分であり、また図
5中で点線枠7vで示されている構成部分は、画像の垂
直方向についてコアリング回路として機能する構成部分
である。そして、図5に例示しているコアリング回路7
の具体的な構成において、点線枠7hで示されている画
像の水平方向についてコアリング回路として機能する構
成部分と、点線枠7vで示されている画像の垂直方向に
ついてコアリング回路として機能する構成部分とを直列
的に接続することにより、全体的に2次元的なコアリン
グ回路7として構成されるようにしている。The coring circuit 7 is operated by the coring level determining section (6, 17).
Is controlled by the coring level control signal supplied to. Specific examples of the configuration of the coring circuit 7 described above are shown in FIGS. 5 and 6. First, in the coring circuit shown in FIG.
The component indicated by h is a component that functions as a coring circuit in the horizontal direction of the image, and the component indicated by a dotted frame 7v in FIG. 5 is the coring in the vertical direction of the image. It is a component that functions as a circuit. Then, the coring circuit 7 illustrated in FIG.
In the specific configuration of the above, a configuration portion functioning as a coring circuit in the horizontal direction of the image shown by a dotted frame 7h, and a configuration functioning as a coring circuit in the vertical direction of the image shown by a dotted frame 7v. By connecting the parts in series, the two-dimensional coring circuit 7 is configured as a whole.
【0024】すなわち、図5に例示したコアリング回路
7において、前記した構成部分7hは、予め定められた
固定の遮断周波数を有するように構成された水平LPF
21と、減算器22と、乗算器23と、加算器24とに
よって構成されており、また、前記した構成部分7v
は、予め定められた固定の遮断周波数を有するように構
成された垂直LPF25と、減算器26と、乗算器27
と、加算器28とによって構成されている。また図6に
例示してあるコアリング回路7は、1個の2次元的LP
F(2次元LPF)30と、減算器31と、乗算器32
と、加算器33とにより、2次元的なコアリング回路7
として機能するような構成とされている。2次元でフィ
ルタを作用させた場合には、積和演算処理量は増加する
が、斜めの帯域を取扱えるという利点が得られる。That is, in the coring circuit 7 illustrated in FIG. 5, the above-mentioned component portion 7h is a horizontal LPF configured to have a predetermined fixed cutoff frequency.
21, a subtractor 22, a multiplier 23, and an adder 24, and the above-mentioned component 7v
Is a vertical LPF 25 configured to have a predetermined fixed cutoff frequency, a subtractor 26, and a multiplier 27.
And an adder 28. Further, the coring circuit 7 illustrated in FIG. 6 has one two-dimensional LP.
F (two-dimensional LPF) 30, subtractor 31, and multiplier 32
And the adder 33, the two-dimensional coring circuit 7
Is configured to function as. When the filter is applied in two dimensions, the product-sum calculation processing amount increases, but the advantage is that diagonal bands can be handled.
【0025】前記の図5に示されているコアリング回路
7における前記の2つの構成部分7h,7v中に設けら
れている各乗算器23(27)には、コアリングレベル
決定部(6,17)からコアリングレベル制御信号(図
8の縦軸に示されている0〜10の範囲の係数…コアリ
ングレベルの係数信号)が供給され、また図6に示され
ているコアリング回路7における乗算器32には、コア
リングレベル決定部(6,17)からコアリングレベル
制御信号(図8の縦軸に示されている0〜10の範囲の
係数…コアリングレベルの係数信号)が供給される。そ
れによりコアリング回路7からの出力画像データは、前
記した予め定められた固定の遮断周波数を有するLPF
における遮断域よりも高い周波数帯域の信号成分に対し
て、コアリングレベルの係数信号(係数0〜10)が乗
算されて、所定のコアリング行なわれる。図8に示す特
性曲線はコアリングレベル制御信号と量子化値との関係
の一例を示しているものである。Each of the multipliers 23 (27) provided in the two constituent parts 7h and 7v of the coring circuit 7 shown in FIG. 5 has a coring level determining section (6, 6). 17) supplies the coring level control signal (coefficients in the range of 0 to 10 shown on the vertical axis of FIG. 8 ... coring level coefficient signal), and the coring circuit 7 shown in FIG. In the multiplier 32 in, the coring level control signal (coefficient signal in the range of 0 to 10 shown on the ordinate of FIG. 8 ... coring level coefficient signal) is supplied from the coring level determination unit (6, 17). Supplied. As a result, the output image data from the coring circuit 7 is the LPF having the predetermined fixed cutoff frequency described above.
The signal component in the frequency band higher than the cutoff region in is multiplied by the coring level coefficient signal (coefficients 0 to 10) to perform predetermined coring. The characteristic curve shown in FIG. 8 shows an example of the relationship between the coring level control signal and the quantized value.
【0026】すなわち、図8の縦軸に示されている係数
0〜10は、DCT変換係数を量子化する際に用いられ
るブロック量子化幅と関連する個別の量子化スケール値
が設定されるべき領域、すなわち、DCTが行なわれる
所定のブロックサイズを有する単位のブロック(DCT
ブロック)の1個を含む予め定められた大きさの領域毎
に、個別に設定されているブロック量子化幅値の大きさ
と適応的に高域成分を削減させるような信号処理が、前
記したコアリング回路7によって行なわれるようにする
ための係数である。That is, for the coefficients 0 to 10 shown on the vertical axis of FIG. 8, individual quantization scale values associated with the block quantization width used when quantizing the DCT transform coefficient should be set. A region, that is, a unit block (DCT) having a predetermined block size in which DCT is performed.
The signal processing for reducing the high frequency component adaptively with the size of the block quantization width value set individually for each area having a predetermined size including one It is a coefficient for being performed by the ring circuit 7.
【0027】図1及び図2に示されている構成形態の画
像データの復号化装置中で使用されているコアリングレ
ベル決定部6としては、例えば、それに供給されるブロ
ック量子化幅情報、すなわち、DCTが行なわれる所定
のブロックサイズを有する単位のブロックの少なくとも
1個を含む予め定められた大きさの領域毎に、個別に設
定されているブロック量子化幅値が、アドレスとして与
えられるルック・アップ・テーブル(ROMテーブル)
を備えており、前記のROMテーブルでは、それに前記
のアドレスが与えられたときに、それぞれのアドレスに
応じて所定の係数と対応しているコアリングレベルの係
数信号(コアリングレベル制御信号)を出力させるよう
な構成態様のものとして構成されているものが使用でき
る。As the coring level determining unit 6 used in the image data decoding apparatus having the configuration shown in FIGS. 1 and 2, for example, the block quantization width information supplied to the coring level determining unit 6, that is, , A block quantization width value set individually for each area of a predetermined size including at least one block of a unit having a predetermined block size for which DCT is performed is provided as an address. Up table (ROM table)
In the ROM table, when the address is given to the ROM table, a coefficient signal of a coring level (coring level control signal) corresponding to a predetermined coefficient corresponding to each address is provided. A device configured as an output configuration can be used.
【0028】また、図3及び図4に示されている構成形
態の画像データの復号化装置中で使用されているコアリ
ングレベル決定部17としては、例えば、それに供給さ
れるブロック量子化幅情報、すなわち、DCTが行なわ
れる所定のブロックサイズを有する単位のブロックの少
なくとも1個を含む予め定められた大きさの領域毎に、
個別に設定されているブロック量子化幅値と、画素アド
レス値とがアドレスとしてROMテーブルに与えられる
ルック・アップ・テーブル(ROMテーブル)を備えて
おり、コアリングレベル決定部17では、それに供給さ
れるブロック量子化幅情報と、画素アドレスとがROM
テーブルに与えられたときに、前記のROMテーブル
が、前記したそれぞれのアドレスに応じて、所定の係数
と対応しているコアリングレベルの係数信号(コアリン
グレベル制御信号)を出力させるような構成態様のもの
として構成されているものが使用できる。Further, as the coring level determining unit 17 used in the image data decoding apparatus having the configuration shown in FIGS. 3 and 4, for example, the block quantization width information supplied thereto is used. That is, for each region of a predetermined size including at least one block of a unit having a predetermined block size for which DCT is performed,
The block quantization width value and the pixel address value which are individually set are provided as a look-up table (ROM table) which is given to the ROM table as an address. ROM for block quantization width information and pixel address
A configuration in which, when given to the table, the ROM table outputs a coring level coefficient signal (coring level control signal) corresponding to a predetermined coefficient in accordance with each of the addresses described above. Those configured as aspects can be used.
【0029】前記したコアリングレベル決定部17にお
いて、ブロック量子化幅値の他に、画素アドレス値によ
ってもコアリングレベルが変更されるようにしているの
は、単位のブロックの境界付近の画素に対するコアリン
グレベルを大きくするようにして、ブロック歪をも効果
的に軽減できるようにしているからである。すなわち、
ブロック量子化幅値によってコアリングレベルの変更を
行なって、モスキートノイズを効果的に軽減させる他
に、前記のように単位のブロックの境界付近の画素に対
する画素アドレス値によって、コアリングレベルが大き
くなるように変更されることにより、ブロック歪をも効
果的に軽減できるのである。In the coring level determination unit 17, the coring level is changed not only by the block quantization width value but also by the pixel address value. This is because the coring level is increased to effectively reduce the block distortion. That is,
In addition to effectively reducing the mosquito noise by changing the coring level according to the block quantization width value, the coring level is increased by the pixel address value for the pixels near the boundary of the unit block as described above. Thus, the block distortion can be effectively reduced.
【0030】図7は単位のブロックの境界付近の画素に
ついてコアリングレベルを大きく設定してブロック歪が
効果的に軽減できるようなコアリングレベル制御信号を
発生させるコアリングレベル決定部17において行なわ
れる画素配列に対するコアリングレベルの決定動作の説
明図であり、図7中におけるt1,t2,t3…は、それぞ
れ1クロック周期ずつずれた状態で異なる時刻を示して
いる。画像中における各特定な1行の画素配列における
単位のブロックの境界付近の順次の画素p-3,p-2,p
-1,p,p+1,p+2,p+3…に対して、それぞれ所定の
コアリングレベルが定められるのである。FIG. 7 is performed in the coring level determining unit 17 which generates a coring level control signal for effectively reducing the block distortion by setting a large coring level for pixels near the boundary of the unit block. 8A and 8B are explanatory diagrams of a coring level determination operation for a pixel array, and t1, t2, t3, ... In FIG. 7 indicate different times in a state of being shifted by one clock cycle. Sequential pixels p-3, p-2, p near the boundary of the unit block in each specific one-row pixel array in the image
Predetermined coring levels are defined for -1, p, p + 1, p + 2, p + 3, ...
【0031】コアリングレベル決定部6(17)から供
給されるコアリングレベル制御信号によりコアリング動
作を行なうコアリング回路7は、ブロック量子化幅値が
大きな領域ではコアリングレベルが大きくなるので、エ
ッジを保存しながらモスキートノイズの低減が容易に行
なわれる。すなわち、圧縮画像は量子化が粗いところは
大きな振幅のモスキートノイズ、量子化が細かいところ
は小さいモスキートノイズが発生し易かった性質を充分
に利用することができるので、コアリングレベル決定部
6(17)から供給されるコアリングレベル制御信号に
よって、ブロック量子化幅値が大きな領域でコアリング
レベルが大きくなるような適応コアリング動作を行なう
コアリング回路7により、必要な細かな絵柄までももス
キートノイズの除去動作によって失なわれてしまう、と
いうようなことも生じない。Since the coring circuit 7 which performs the coring operation by the coring level control signal supplied from the coring level determining unit 6 (17) has a large coring level in the region where the block quantization width value is large, It is easy to reduce mosquito noise while preserving edges. That is, since it is possible to sufficiently use the property that the compressed image is likely to generate large amplitude mosquito noise where the quantization is coarse and small mosquito noise where the quantization is fine, the coring level determination unit 6 (17) ), A coring circuit 7 that performs an adaptive coring operation such that the coring level becomes large in a region where the block quantization width value is large by a coring level control signal supplied from It will not be lost by the noise removal operation.
【0032】図1乃至図4に示す本発明の適応コアリン
グ方法を適用した適応コアリング装置を備えている画像
データの復号化装置において、入力端子1に供給された
復号化の対象にされるビットストリーム(ビット列)が、
少なくともバッファメモリ8と、可変長復号化部9と、
逆量子化部10と、逆直交変換部11と、加算部12
と、動き補償部13と、画像メモリ14とを含んで構成
されている構成部分によって復号された画像データが画
像メモリ14に格納され、画像メモリ14から復号され
た画像データを出力できることは既述のとおりである。
そして、前記した画像メモリ14から読出された画像デ
ータが与えられるコアリング回路7の動作によって、量
子化ノイズが低減された状態の画像データを、適応コア
リング方法を適用した適応コアリング装置を備えている
画像データの復号化装置の出力端子2から出力させるよ
うに構成させている。In the image data decoding apparatus equipped with the adaptive coring apparatus to which the adaptive coring method of the present invention shown in FIGS. 1 to 4 is applied, the image data is supplied to the input terminal 1 for decoding. Bitstream (bit string)
At least a buffer memory 8, a variable length decoding unit 9,
Inverse quantizer 10, inverse orthogonal transformer 11, adder 12
As described above, the image data decoded by the component including the motion compensation unit 13 and the image memory 14 is stored in the image memory 14, and the decoded image data can be output from the image memory 14. It is as follows.
Then, by the operation of the coring circuit 7 to which the image data read out from the image memory 14 is given, the image data in the state where the quantization noise is reduced is provided with an adaptive coring device to which an adaptive coring method is applied. The image data is decoded from the output terminal 2 of the decoding device.
【0033】まず、図1に示す本発明の適応コアリング
方法を適用した適応コアリング装置を備えている画像デ
ータの復号化装置において、入力端子1に供給された復
号化の対象にされたビットストリームは、復号器集積回
路3中に設けられているバッファメモリ8に供給される
とともに、バッファメモリ4にも供給されている。先入
れ先出しメモリが用いられているバッファメモリ4から
読出されたビットストリームは、ブロック量子化幅値検
出部5に供給される。前記のブロック量子化幅値検出部
5は、復号器集積回路3中に設けられている可変長復号
部9と同様の機能を備えている構成態様のものを使用す
ることができる。そして、前記したブロック量子化幅値
検出部5では、それに供給されたビットストリーム中か
ら、順次の領域毎のブロック量子化幅情報(例えば、マ
クロブロック量子化特性値→マクロブロックの量子化ス
ケール)を検出して、それをコアリングレベル決定部6
に与える。First, in the image data decoding apparatus equipped with the adaptive coring apparatus to which the adaptive coring method of the present invention shown in FIG. 1 is applied, the bits to be decoded which are supplied to the input terminal 1 are targeted. The stream is supplied to the buffer memory 8 provided in the decoder integrated circuit 3 and also to the buffer memory 4. The bit stream read from the buffer memory 4 using the first-in first-out memory is supplied to the block quantization width value detection unit 5. The block quantization width value detection unit 5 may be of a configuration having the same function as the variable length decoding unit 9 provided in the decoder integrated circuit 3. Then, in the block quantization width value detection unit 5 described above, block quantization width information for each sequential region from the bit stream supplied thereto (for example, macroblock quantization characteristic value → macroblock quantization scale). Is detected and the coring level determination unit 6 detects it.
Give to.
【0034】ところで、図1に示す画像データの復号化
装置では、入力端子1に供給された復号化の対象にされ
たビットストリームを、復号器集積回路3の外部に設け
たバッファメモリ4に供給し、前記のバッファメモリ4
から読出されたビットストリームをブロック量子化幅値
検出部5に与え、ブロック量子化幅値検出部5によっ
て、ビットストリーム中から検出した順次の領域毎のブ
ロック量子化幅情報(例えば、マクロブロック量子化特
性値→マクロブロックの量子化スケール)をコアリング
レベル決定部6に与えるようにしている(図3に示す画
像データの復号化装置でも同じ)が、図2に示す本発明
の適応コアリング方法を適用した適応コアリング装置を
備えている画像データの復号化装置では、復号器集積回
路15の内部に設けられている可変長復号部9の動作に
より、ビットストリーム中から検出された順次の領域毎
のブロック量子化幅情報(例えば、マクロブロック量子
化特性値→マクロブロックの量子化スケール)をコアリ
ングレベル決定部6に与えるようにしている(図4に示
す画像データの復号化装置でも同じ)。In the image data decoding apparatus shown in FIG. 1, the bit stream to be decoded supplied to the input terminal 1 is supplied to the buffer memory 4 provided outside the decoder integrated circuit 3. And the buffer memory 4
The bit stream read from the block quantization width value detection unit 5 is supplied to the block quantization width value detection unit 5, and the block quantization width value detection unit 5 detects block quantization width information for each sequential region detected from the bit stream (for example, macro block quantization). (The quantization characteristic value → the quantization scale of the macroblock) is given to the coring level determination unit 6 (the same applies to the image data decoding apparatus shown in FIG. 3), but the adaptive coring of the present invention shown in FIG. In the image data decoding device including the adaptive coring device to which the method is applied, the variable length decoding unit 9 provided inside the decoder integrated circuit 15 operates to sequentially detect the data detected in the bit stream. The block quantization width information for each area (for example, macroblock quantization characteristic value → macroblock quantization scale) is used as the coring level determination unit 6 And to provide (in the decoding device of the image data shown in FIG. 4 the same).
【0035】すなわち、図2(及び図4)に示す本発明
の適応コアリング方法を適用した適応コアリング装置を
備えている画像データの復号化装置は、図1に示す画像
データの復号化装置において、一点鎖線枠3で包囲し
て、少なくともバッファメモリ8と、可変長復号化部9
と、逆量子化部10と、逆直交変換部11と、加算部1
2と、動き補償部13と、画像メモリ14とを含んで集
積回路化してある復号器集積回路3に対して外付けされ
ていたバッファメモリ4と、ブロック量子化幅値検出部
5との動作を、復号器集積回路3の内部に設けられてい
るバッファメモリ8と可変長復号部9との機能を利用し
て行なわせるようにするとともに、可変長復号部9によ
ってビットストリーム中から検出された順次の領域毎の
ブロック量子化幅情報(例えば、マクロブロック量子化
特性値→マクロブロックの量子化スケール)が与えられ
るコアリングレベル決定部6(または17)や、前記し
たコアリングレベル決定部6(または17)から出力さ
れるコアリングレベル制御信号によって、画像メモリ1
4から供給される画像データの高域周波数成分の削減動
作を行なうコアリング回路7の構成部分をも、1つの復
号器集積回路15(または18)中に含むように集積回
路化して構成した構成態様のものである。That is, the image data decoding apparatus equipped with the adaptive coring apparatus to which the adaptive coring method of the present invention shown in FIG. 2 (and FIG. 4) is applied is the image data decoding apparatus shown in FIG. In FIG. 3, the frame is surrounded by the one-dot chain line frame 3, and at least the buffer memory 8 and the variable length decoding unit 9
, Inverse quantizer 10, inverse orthogonal transformer 11, and adder 1
2, the motion compensating unit 13, the buffer memory 4 externally attached to the decoder integrated circuit 3 which is integrated into a circuit including the image memory 14, and the block quantization width value detecting unit 5 Is performed using the functions of the buffer memory 8 and the variable length decoding unit 9 provided inside the decoder integrated circuit 3, and the variable length decoding unit 9 detects from the bit stream. The coring level determination unit 6 (or 17) to which block quantization width information (for example, macroblock quantization characteristic value → macroblock quantization scale) for each sequential region is given, or the coring level determination unit 6 described above. (Or 17) outputs the coring level control signal from the image memory 1
The configuration in which the constituent part of the coring circuit 7 that performs the operation of reducing the high frequency component of the image data supplied from 4 is also integrated into one decoder integrated circuit 15 (or 18) It is an aspect.
【0036】図1及び図2に示す本発明の適応コアリン
グ方法を適用した適応コアリング装置を備えている画像
データの復号化装置では、コアリングレベル決定部6で
発生されたコアリングレベル制御信号、すなわち、既述
のようにビットストリーム中に含まれていた付加情報の
内の各領域毎のブロック量子化幅情報値と対応して例え
ば図8に例示されているような関係のコアリングレベル
制御信号がコアリング回路7に供給されることにより、
コアリング回路7ではブロック量子化幅値の大きさに応
じたコアリングレベル以下の高周波信号成分を削減し
て、画像メモリ14から読出された復号画像データで発
生するモスキートノイズを低減させる。In the image data decoding apparatus equipped with the adaptive coring apparatus to which the adaptive coring method of the present invention shown in FIGS. 1 and 2 is applied, the coring level control generated by the coring level determination unit 6 is performed. Corresponding to the signal, that is, the correlation as illustrated in FIG. 8 corresponding to the block quantization width information value for each area in the additional information included in the bit stream as described above. By supplying the level control signal to the coring circuit 7,
The coring circuit 7 reduces high-frequency signal components below the coring level according to the magnitude of the block quantization width value to reduce mosquito noise generated in the decoded image data read from the image memory 14.
【0037】次に、図3に示す本発明の適応コアリング
方法を適用した適応コアリング装置を備えている画像デ
ータの復号化装置において、入力端子1に供給された復
号化の対象にされたビットストリームは、復号器集積回
路16中に設けられているバッファメモリ8に供給され
るとともに、バッファメモリ4にも供給されている。先
入れ先出しメモリが用いられているバッファメモリ4か
ら読出されたビットストリームはブロック量子化幅検出
部5に供給される。前記のブロック量子化幅検出部5
は、復号器集積回路16中に設けられている可変長復号
部9と同様の機能を備えている構成態様のものを使用す
ることができる。そして前記したブロック量子化幅検出
部5では、それに供給されたビットストリーム中から順
次の領域毎の符号化モード情報を検出し、それをコアリ
ングレベル決定部17に与える。Next, in the image data decoding apparatus equipped with the adaptive coring device to which the adaptive coring method of the present invention shown in FIG. 3 is applied, the image data is supplied to the input terminal 1 for decoding. The bit stream is supplied to the buffer memory 8 provided in the decoder integrated circuit 16 and also to the buffer memory 4. The bit stream read from the buffer memory 4 using the first-in first-out memory is supplied to the block quantization width detecting unit 5. The block quantization width detector 5
Can use a configuration having the same function as the variable length decoding unit 9 provided in the decoder integrated circuit 16. Then, the block quantization width detecting unit 5 detects the coding mode information for each region in the bit stream supplied thereto, and supplies it to the coring level determining unit 17.
【0038】また、前記したコアリングレベル決定部1
7には、画像メモリ14から画素アドレスも供給されて
いて、このコアリングレベル決定部17では、ブロック
量子化幅値検出部5からそれに供給されているブロック
量子化幅情報、すなわち、DCTが行なわれる所定のブ
ロックサイズを有する単位のブロックの少なくとも1個
を含む予め定められた大きさの領域毎に、個別に設定さ
れているブロック量子化幅値と、画像メモリ14から供
給されている画素アドレスとが、アドレスとしてROM
テーブルに与えられることにより、前記のROMテーブ
ルが、前記したそれぞれのアドレスに応じて、所定の係
数と対応しているコアリングレベルの係数信号(コアリ
ングレベル制御信号)を出力して、コアリング回路7に
与えて、コアリング回路7では、単位のブロックの境界
付近の画素に対するコアリングレベルが大きてコアリン
グ動作を行なって、モスキートノイズとともに、ブロッ
ク歪をも効果的に軽減させるような動作を行なう。Further, the coring level determination unit 1 described above
The pixel address is also supplied from 7 to the image memory 14, and the coring level determination unit 17 performs the block quantization width information supplied from the block quantization width value detection unit 5, that is, DCT. The block quantization width value set individually for each area of a predetermined size including at least one unit block having a predetermined block size and the pixel address supplied from the image memory 14. And ROM as address
When given to the table, the ROM table outputs a coring level coefficient signal (coring level control signal) corresponding to a predetermined coefficient in accordance with each of the addresses described above, and performs coring. Given to the circuit 7, the coring circuit 7 performs a coring operation with a large coring level for pixels near the boundary of a unit block, and effectively reduces block distortion as well as mosquito noise. Do.
【0039】図4に示す本発明の適応コアリング方法を
適用した適応コアリング装置を備えている画像データの
復号化装置は、復号器集積回路18の内部に設けられて
いる可変長復号部9の動作により、ビットストリーム中
から検出されたブロック量子化幅情報(例えば、マクロ
ブロック量子化特性値→マクロブロックの量子化スケー
ル)がコアリングレベル決定部17に与えられるような
構成にされている点を除いて、既述した図4に示す本発
明の適応コアリング方法を適用した適応コアリング装置
を備えている画像データの復号化装置の場合の動作と同
様であるので、それの詳細な説明についての記述は省略
する。An image data decoding apparatus equipped with an adaptive coring apparatus to which the adaptive coring method of the present invention shown in FIG. 4 is applied is a variable length decoding unit 9 provided inside a decoder integrated circuit 18. By the operation of, the block quantization width information (for example, macroblock quantization characteristic value → quantization scale of macroblock) detected from the bitstream is provided to the coring level determination unit 17. Except for the points, the operation is the same as that of the image data decoding apparatus provided with the adaptive coring apparatus to which the adaptive coring method of the present invention shown in FIG. 4 described above is applied. The description about the description is omitted.
【0040】[0040]
【発明の効果】以上、詳細に説明したところから明らか
なように本発明の適応コアリング方法、及び適応コアリ
ング装置は、高能率符号化の対象にされている各1枚毎
の画面の画像信号について、所定のブロックサイズ(N
×M画素←横N画素×縦Mラインのブロックサイズ)を
有する「単位のブロック」毎に、直交変換して得た(N
×M)個の直交変換係数が、少なくとも前記した単位の
ブロックの1個を含む予め定められた大きさの領域毎に
設定されている「ブロック量子化幅値」によって量子化
された後に、所定の符号化が施されてなる変換符号化さ
れた画像データと、前記の変換符号化された画像データ
の復号時に必要とされる付加情報とによるビットストリ
ームがバッファメモリに記憶させ、前記のバッファメモ
リから読出されたビットストリームが供給される可変長
復号部では、エントロピー符号化(可変長符号化)され
た画像データと、変換符号化された画像データの復号時
に必要とされる付加情報(例えば、ブロック量子化幅情
報、動きベクトル等)とを復号して得た復号画像データ
と、復号された付加情報中のブロック量子化幅情報とが
逆量子化部に与えられることによって、逆量子化部で行
なわれる画像データに対する逆量子化動作により、逆量
子化部から逆直交変換部に直交変換係数が供給され、逆
直交変換部で単位のブロック毎に2次元の逆直交変換を
行なって、周波数領域の画像データを時間軸領域の画像
データに逆変換し、前記の逆直交変換部から出力された
時間軸領域の画像データを、フレーム内符号化、フレー
ム間符号化、の違いを示すコーディングタイプに従っ
て、動き補償部で動き補償された状態の画像データと加
算するか、加算しないかして、出力画像データとされて
画像メモリに格納させ、前記のビットストリーム中に含
まれていた付加情報の内のブロック量子化幅情報を検出
して、検出された前記のブロック量子化幅情報が供給さ
れたコアリングレベルの決定部では、前記のブロック量
子化幅情報によってコアリングレベルを決定する信号を
発生したり、あるいは前記したブロック量子化幅情報
と、画素アドレスとによってコアリングレベルを決定す
る信号を発生して、前記のコアリングレベルを決定する
信号をコアリング回路に供給して、前記のコアリング回
路では、それに画像メモリから供給されている復号画像
データに対し、所定のコアリングを施して出力端子に送
出するようにしたものであるから、本発明では、ブロッ
ク量子化幅情報に応じて変化するコアリングレベルによ
りコアリング動作が行なわれるために、ブロック量子化
幅値が大きな領域ではコアリングレベルが大きくなるの
で、エッジを保存しながらモスキートノイズの低減が容
易に行なわれるのであり、圧縮画像は量子化が粗いとこ
ろは大きな振幅のモスキートノイズ、量子化が細かいと
ころは小さいモスキートノイズが発生し易かった性質を
充分に利用することができるので、コアリングレベル決
定部から供給されるコアリングレベル制御信号によっ
て、ブロック量子化幅値が大きな領域でコアリングレベ
ルが大きくなるような適応コアリング動作を行なうコア
リング回路7により、必要な細かな絵柄までももスキー
トノイズの除去動作によって失なわれてしまう、という
ようなことも生せず、また、単位のブロックの境界付近
の画素に対するコアリングレベルが大きなコアリング動
作を行なわせるようにすることにより、モスキートノイ
ズとともに、ブロック歪をも効果的に軽減させることも
できるのであり、本発明によれば既述した問題点は良好
に解決できる。As is apparent from the above detailed description, the adaptive coring method and the adaptive coring apparatus according to the present invention are capable of performing high-efficiency encoding on each screen image. Predetermined block size (N
× M pixels ← horizontal N pixels × vertical M line block size) is obtained by orthogonal transformation for each “unit block” (N
× M) orthogonal transform coefficients are quantized by a “block quantization width value” set for each area of a predetermined size including at least one block of the above-described unit, and then predetermined A bit stream composed of transform-encoded image data obtained by performing the above-mentioned encoding and additional information required when decoding the transform-encoded image data is stored in a buffer memory, and the bit stream is stored in the buffer memory. In the variable-length decoding unit to which the bit stream read from is supplied, the entropy-encoded (variable-length-encoded) image data and the additional information required when decoding the transform-encoded image data (for example, Decoded image data obtained by decoding (block quantization width information, motion vector, etc.) and block quantization width information in the decoded additional information are given to the dequantization unit. As a result, the inverse quantization operation is performed on the image data by the inverse quantization unit, the orthogonal transform coefficient is supplied from the inverse quantization unit to the inverse orthogonal transform unit, and the inverse orthogonal transform unit performs two-dimensional processing for each unit block. The image data in the frequency domain is inversely transformed into the image data in the time domain by performing the inverse orthogonal transformation, and the image data in the time domain output from the inverse orthogonal transformation unit is intraframe-coded and interframe coded. According to the coding type indicating the difference between the bit stream and the image stream, the image data is stored in the image memory as output image data by adding or not adding with the image data in the motion compensated state by the motion compensating unit. Of the additional information included in the block quantization width information, and the coring level determination unit supplied with the detected block quantization width information, A signal for determining the coring level is generated according to the block quantization width information described above, or a signal for determining the coring level is generated according to the block quantization width information and the pixel address, and the coring is performed. A signal for determining the level is supplied to the coring circuit, and in the coring circuit, the decoded image data supplied from the image memory is subjected to predetermined coring and sent to the output terminal. Therefore, in the present invention, since the coring operation is performed by the coring level that changes according to the block quantization width information, the coring level becomes large in the region where the block quantization width value is large, so that the edge It is easy to reduce mosquito noise while preserving Since the mosquito noise with a large amplitude and the small quantized mosquito noise can easily be used where the quantization is fine, the block quantum can be controlled by the coring level control signal supplied from the coring level determination unit. With the coring circuit 7 that performs the adaptive coring operation such that the coring level becomes large in the region where the conversion width value is large, even a necessary fine pattern is lost by the skeet noise removing operation. In addition, it is possible to effectively reduce the block distortion as well as the mosquito noise by performing the coring operation with a large coring level for the pixels near the boundary of the unit block. Therefore, according to the present invention, the above-mentioned problems can be solved well.
【図1】本発明の適応コアリング方法を適用した適応コ
アリング装置を備えている画像データの復号化装置の構
成例を示すブロック図である。FIG. 1 is a block diagram showing a configuration example of an image data decoding device including an adaptive coring device to which an adaptive coring method of the present invention is applied.
【図2】本発明の適応コアリング方法を適用した適応コ
アリング装置を備えている画像データの復号化装置の構
成例を示すブロック図である。FIG. 2 is a block diagram showing a configuration example of an image data decoding device including an adaptive coring device to which the adaptive coring method of the present invention is applied.
【図3】本発明の適応コアリング方法を適用した適応コ
アリング装置を備えている画像データの復号化装置の構
成例を示すブロック図である。FIG. 3 is a block diagram showing a configuration example of an image data decoding device including an adaptive coring device to which the adaptive coring method of the present invention is applied.
【図4】本発明の適応コアリング方法を適用した適応コ
アリング装置を備えている画像データの復号化装置の構
成例を示すブロック図である。FIG. 4 is a block diagram showing a configuration example of an image data decoding device including an adaptive coring device to which the adaptive coring method of the present invention is applied.
【図5】コアリング回路の構成例を示すブロック図であ
る。FIG. 5 is a block diagram showing a configuration example of a coring circuit.
【図6】コアリング回路の構成例を示すブロック図であ
る。FIG. 6 is a block diagram showing a configuration example of a coring circuit.
【図7】単位のブロックの境界におけるフィルタリング
の状態の説明に使用する図である。FIG. 7 is a diagram used for explaining a filtering state at a boundary of a unit block.
【図8】コアリング回路の制御特性の説明に使用する図
である。FIG. 8 is a diagram used for explaining control characteristics of a coring circuit.
1…復号化の対象にされるビットストリーム(ビット列)
の入力端子、2…出力端子、3,15,16,18…復
号器集積回路、6,17…コアリングレベル決定部、7
…コアリング回路、8…バッファメモリ、9…可変長復
号化部、10…逆量子化部、11…逆直交変換部、12
…加算部、13…動き補償部、14…画像メモリ、21
…水平LPF、22…減算器、23…乗算器、24…加
算器、25…垂直LPF、26…減算器、27…乗算
器、28…加算器、30…2次元的LPF(2次元LP
F)、31…減算器、32…乗算器、33…加算器、1 ... Bitstream to be decoded (bit string)
Input terminals, 2 ... Output terminals, 3, 15, 16, 18 ... Decoder integrated circuit, 6, 17 ... Coring level determination unit, 7
... coring circuit, 8 ... buffer memory, 9 ... variable length decoding unit, 10 ... inverse quantization unit, 11 ... inverse orthogonal transform unit, 12
... Addition unit, 13 ... Motion compensation unit, 14 ... Image memory, 21
... horizontal LPF, 22 ... subtractor, 23 ... multiplier, 24 ... adder, 25 ... vertical LPF, 26 ... subtractor, 27 ... multiplier, 28 ... adder, 30 ... two-dimensional LPF (two-dimensional LPF
F), 31 ... Subtractor, 32 ... Multiplier, 33 ... Adder,
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.6 識別記号 庁内整理番号 FI 技術表示箇所 H03H 17/00 8842−5J H03M 7/30 A 9382−5K 7/40 9382−5K H04N 1/41 B G06F 15/68 350 ─────────────────────────────────────────────────── ─── Continuation of the front page (51) Int.Cl. 6 Identification code Internal reference number FI Technical display location H03H 17/00 8842-5J H03M 7/30 A 9382-5K 7/40 9382-5K H04N 1/41 B G06F 15/68 350
Claims (6)
ロック毎に分割された画像信号が、それぞれの単位のブ
ロック毎に直交変換された後に、少なくとも前記した単
位のブロックの1個を含む予め定められた大きさの領域
毎に個別に設定されているブロック量子化幅値を用いて
量子化されるとともに、所定の符号化により変換符号化
された画像データに対して復号化信号処理を施して得た
復号画像信号を、低周波信号成分と高周波信号成分とに
分離し、前記の高周波信号成分について、予め定められ
た信号レベル以下をゼロに変換した後に、前記の低周波
信号成分と合成して出力させる際に、前記の予め定めら
れた信号レベルを、前記した各領域毎に個別に設定され
ているブロック量子化幅値の大きさにより変更させるよ
うにしたことを特徴とする適応コアリング方法。1. An image signal divided into blocks of a unit having a predetermined block size is orthogonally transformed for each block of each unit, and is then predetermined including at least one of the blocks of the unit. Image data that is quantized using the block quantization width value that is set individually for each area of different size and that is subjected to the decoding signal processing on the image data that has been transform-coded by the predetermined coding. The decoded image signal is separated into a low-frequency signal component and a high-frequency signal component, and the high-frequency signal component is converted to zero below a predetermined signal level and then combined with the low-frequency signal component. When outputting, the predetermined signal level is changed according to the size of the block quantization width value set individually for each area. And adaptive coring method.
ロック毎に分割された画像信号が、それぞれの単位のブ
ロック毎に直交変換された後に、少なくとも前記した単
位のブロックの1個を含む予め定められた大きさの領域
毎に個別に設定されているブロック量子化幅値を用いて
量子化されるとともに、所定の符号化により変換符号化
された画像データを、少なくともバッファメモリと、可
変長復号化部と、逆量子化部と、逆直交変換部と、画像
メモリとを含んで構成されている復号化装置によって復
号された復号画像信号に適応コアリングを施す適応コア
リング装置であって、所定の符号化により変換符号化さ
れた画像データから、少なくとも前記した単位のブロッ
クの1個を含む予め定められた大きさの領域毎に個別に
設定されているブロック量子化幅値を検出するブロック
量子化幅値の検出手段と、復号化装置によって復号され
た復号画像信号を、低周波信号成分と高周波信号成分と
に分離する手段と、分離された前記の高周波信号成分に
ついて、予め定められた信号レベル以下をゼロに変換さ
せるコアリング手段と、前記したブロック量子化幅値の
検出手段によって得たブロック量子化幅値によって、前
記したコアリング手段における予め定められた信号レベ
ルを決定する手段と、前記したコアリング手段から出力
された高周波信号成分と前記の低周波信号成分とを合成
して出力させる手段とを備えてなる適応コアリング装
置。2. An image signal divided into blocks of a unit having a predetermined block size is orthogonally transformed into blocks of each unit, and is then predetermined including at least one of the blocks of the unit. Image data that has been quantized using the block quantization width value that is set individually for each region of different sizes and that has been converted and coded by predetermined coding is at least buffer memory and variable length decoded. An adaptive coring device that applies adaptive coring to a decoded image signal decoded by a decoding device that includes a decoding unit, an inverse quantization unit, an inverse orthogonal transformation unit, and an image memory, From the image data that has been converted and encoded by the encoding of the above, the blocks individually set for each area of a predetermined size including at least one block of the unit described above. Block quantizing width value detecting means for detecting the quantizing width value, means for separating the decoded image signal decoded by the decoding device into a low frequency signal component and a high frequency signal component, and the separated For the high-frequency signal component of, the coring means for converting the signal level below a predetermined signal level to zero, and the block quantization width value obtained by the block quantization width value detecting means, An adaptive coring device comprising: means for determining a predetermined signal level; and means for synthesizing and outputting the high frequency signal component output from the coring means and the low frequency signal component.
ロック毎に分割された画像信号が、それぞれの単位のブ
ロック毎に直交変換された後に、少なくとも前記した単
位のブロックの1個を含む予め定められた大きさの領域
毎に個別に設定されているブロック量子化幅値を用いて
量子化されるとともに、所定の符号化により変換符号化
された画像データを、少なくともバッファメモリと、可
変長復号化部と、逆量子化部と、逆直交変換部と、画像
メモリとを含んで構成されている復号化装置によって復
号された復号画像信号に適応コアリングを施す適応コア
リング装置であって、復号化装置によって復号された復
号画像信号を、低周波信号成分と高周波信号成分とに分
離する手段と、分離された前記の高周波信号成分につい
て、予め定められた信号レベル以下をゼロに変換させる
コアリング手段と、前記した可変長復号化部から順次に
出力される各領域毎に個別に設定されているブロック量
子化幅値によって、前記したコアリング手段における予
め定められた信号レベルを決定する手段と、前記したコ
アリング手段から出力された高周波信号成分と前記の低
周波信号成分とを合成して出力させる手段とを備えてな
る適応コアリング装置。3. An image signal divided into blocks of a unit having a predetermined block size is orthogonally transformed for each block of each unit, and is then predetermined including at least one of the blocks of the unit. Image data that has been quantized using the block quantization width value that is set individually for each region of different sizes and that has been converted and coded by predetermined coding is at least buffer memory and variable length decoded. An adaptive coring device that applies adaptive coring to a decoded image signal decoded by a decoding device configured to include a decoding unit, an inverse quantization unit, an inverse orthogonal transformation unit, and an image memory. Means for separating the decoded image signal decoded by the digitizing device into a low-frequency signal component and a high-frequency signal component, and the separated high-frequency signal component is predetermined Coring means for converting the signal level or lower to zero, and the block quantization width value set individually for each region sequentially output from the variable length decoding unit are used in advance in the coring means. An adaptive coring device comprising: means for determining a predetermined signal level; and means for synthesizing and outputting the high frequency signal component output from the coring means and the low frequency signal component.
ロック毎に分割された画像信号が、それぞれの単位のブ
ロック毎に直交変換された後に、少なくとも前記した単
位のブロックの1個を含む予め定められた大きさの領域
毎に個別に設定されているブロック量子化幅値を用いて
量子化されるとともに、所定の符号化により変換符号化
された画像データに対して復号化信号処理を施して得た
復号画像信号を、低周波信号成分と高周波信号成分とに
分離し、前記の高周波信号成分について、予め定められ
た信号レベル以下をゼロに変換した後に、前記の低周波
信号成分と合成して出力させる際に、前記の予め定めら
れた信号レベルを、前記した各領域毎に個別に設定され
ているブロック量子化幅値の大きさと復号画像の画素ア
ドレスとにより変更させるようにしたことを特徴とする
適応コアリング方法。4. An image signal divided into blocks of a unit having a predetermined block size is orthogonally transformed for each block of each unit, and then, is predetermined including at least one of the blocks of the unit. Image data that is quantized using the block quantization width value that is set individually for each area of different size and that is subjected to the decoding signal processing on the image data that has been transform-coded by the predetermined coding. The decoded image signal is separated into a low-frequency signal component and a high-frequency signal component, and the high-frequency signal component is converted to zero below a predetermined signal level and then combined with the low-frequency signal component. When outputting, the predetermined signal level is changed according to the size of the block quantization width value and the pixel address of the decoded image which are individually set for each of the regions described above. An adaptive coring method characterized by the above.
ロック毎に分割された画像信号が、それぞれの単位のブ
ロック毎に直交変換された後に、少なくとも前記した単
位のブロックの1個を含む予め定められた大きさの領域
毎に個別に設定されているブロック量子化幅値を用いて
量子化されるとともに、所定の符号化により変換符号化
された画像データを、少なくともバッファメモリと、可
変長復号化部と、逆量子化部と、逆直交変換部と、画像
メモリとを含んで構成されている復号化装置によって復
号された復号画像信号に適応コアリングを施す適応コア
リング装置であって、所定の符号化により変換符号化さ
れた画像データから、少なくとも前記した単位のブロッ
クの1個を含む予め定められた大きさの領域毎に個別に
設定されているブロック量子化幅値を検出するブロック
量子化幅値の検出手段と、復号化装置によって復号され
た復号画像信号を、低周波信号成分と高周波信号成分と
に分離する手段と、分離された前記の高周波信号成分に
ついて、予め定められた信号レベル以下をゼロに変換さ
せるコアリング手段と、前記したブロック量子化幅値の
検出手段によって得たブロック量子化幅値と、復号装置
から得た画素アドレスとを用いて前記したコアリング手
段における予め定められた信号レベルを決定する手段
と、前記したコアリング手段から出力された高周波信号
成分と前記の低周波信号成分とを合成して出力させる手
段とを備えてなる適応コアリング装置。5. An image signal divided for each unit block having a predetermined block size is orthogonally transformed for each unit block, and is then predetermined to include at least one of the unit blocks. Image data that has been quantized using the block quantization width value that is set individually for each region of different sizes and that has been converted and coded by predetermined coding is at least buffer memory and variable length decoded. An adaptive coring device that applies adaptive coring to a decoded image signal decoded by a decoding device that includes a decoding unit, an inverse quantization unit, an inverse orthogonal transformation unit, and an image memory, From the image data that has been converted and encoded by the encoding of the above, the blocks individually set for each area of a predetermined size including at least one block of the unit described above. Block quantizing width value detecting means for detecting the quantizing width value, means for separating the decoded image signal decoded by the decoding device into a low frequency signal component and a high frequency signal component, and the separated The high-frequency signal component of, the coring means for converting a predetermined signal level or less to zero, the block quantization width value obtained by the block quantization width value detecting means, and the pixel address obtained from the decoding device. Means for determining a predetermined signal level in the coring means described above, and means for synthesizing and outputting the high frequency signal component and the low frequency signal component output from the coring means An adaptive coring device comprising:
ロック毎に分割された画像信号が、それぞれの単位のブ
ロック毎に直交変換された後に、少なくとも前記した単
位のブロックの1個を含む予め定められた大きさの領域
毎に個別に設定されているブロック量子化幅値を用いて
量子化されるとともに、所定の符号化により変換符号化
された画像データを、少なくともバッファメモリと、可
変長復号化部と、逆量子化部と、逆直交変換部と、画像
メモリとを含んで構成されている復号化装置によって復
号された復号画像信号に適応コアリングを施す適応コア
リング装置であって、復号化装置によって復号された復
号画像信号を、低周波信号成分と高周波信号成分とに分
離する手段と、分離された前記の高周波信号成分につい
て、予め定められた信号レベル以下をゼロに変換させる
コアリング手段と、前記した可変長復号化部から順次に
出力される各領域毎に個別に設定されているブロック量
子化幅値と、復号装置から得た画素アドレスとを用いて
前記したコアリング手段における予め定められた信号レ
ベルを決定する手段と、前記したコアリング手段から出
力された高周波信号成分と前記の低周波信号成分とを合
成して出力させる手段とを備えてなる適応コアリング装
置。6. An image signal divided for each unit block having a predetermined block size is orthogonally transformed for each unit block, and is then predetermined to include at least one of the unit blocks. Image data that has been quantized using the block quantization width value that is set individually for each region of different sizes and that has been converted and coded by predetermined coding is at least buffer memory and variable length decoded. An adaptive coring device that applies adaptive coring to a decoded image signal decoded by a decoding device configured to include a decoding unit, an inverse quantization unit, an inverse orthogonal transformation unit, and an image memory. Means for separating the decoded image signal decoded by the digitizing device into a low-frequency signal component and a high-frequency signal component, and the separated high-frequency signal component is predetermined Coring means for converting a signal level or lower to zero, a block quantization width value individually set for each region sequentially output from the variable length decoding unit, and a pixel address obtained from the decoding device Means for determining a predetermined signal level in the coring means described above, and means for synthesizing and outputting the high frequency signal component and the low frequency signal component output from the coring means An adaptive coring device comprising:
Priority Applications (7)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP3014495A JP2900815B2 (en) | 1995-01-26 | 1995-01-26 | Method and device for adaptive coring |
US08/561,447 US5754699A (en) | 1994-11-24 | 1995-11-21 | Method of reducing mosquito noise generated during decoding process of image data and device for decoding image data using the same |
TW084112432A TW279298B (en) | 1994-11-24 | 1995-11-22 | |
CN95118846A CN1085471C (en) | 1994-11-24 | 1995-11-23 | Method of reducing mosquito noise generated during decoding process of image data and device for decoding image data using the same |
DE69525313T DE69525313T2 (en) | 1994-11-24 | 1995-11-23 | Method for reducing mosquito noise generated during image data decoding and device for decoding image data using such a method |
EP95308401A EP0714210B1 (en) | 1994-11-24 | 1995-11-23 | Method of reducing mosquito noise generated during decoding process of image data and device for decoding image data using the same |
KR1019950043476A KR100217148B1 (en) | 1994-11-24 | 1995-11-24 | Method of reducing mosquito noise generated during decoding process of image data and device for decoding image data using the same |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP3014495A JP2900815B2 (en) | 1995-01-26 | 1995-01-26 | Method and device for adaptive coring |
US08/561,447 US5754699A (en) | 1994-11-24 | 1995-11-21 | Method of reducing mosquito noise generated during decoding process of image data and device for decoding image data using the same |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH08205158A true JPH08205158A (en) | 1996-08-09 |
JP2900815B2 JP2900815B2 (en) | 1999-06-02 |
Family
ID=26368431
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP3014495A Expired - Fee Related JP2900815B2 (en) | 1994-11-24 | 1995-01-26 | Method and device for adaptive coring |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2900815B2 (en) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007036738A (en) * | 2005-07-27 | 2007-02-08 | Matsushita Electric Ind Co Ltd | Motion picture encoding device, method, and program |
KR100869092B1 (en) * | 2007-10-24 | 2008-11-17 | 신한유화(주) | Outside releasing agent composition of green tire |
-
1995
- 1995-01-26 JP JP3014495A patent/JP2900815B2/en not_active Expired - Fee Related
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007036738A (en) * | 2005-07-27 | 2007-02-08 | Matsushita Electric Ind Co Ltd | Motion picture encoding device, method, and program |
JP4641892B2 (en) * | 2005-07-27 | 2011-03-02 | パナソニック株式会社 | Moving picture encoding apparatus, method, and program |
KR100869092B1 (en) * | 2007-10-24 | 2008-11-17 | 신한유화(주) | Outside releasing agent composition of green tire |
Also Published As
Publication number | Publication date |
---|---|
JP2900815B2 (en) | 1999-06-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US6167157A (en) | Method of reducing quantization noise generated during a decoding process of image data and device for decoding image data | |
US7483486B2 (en) | Method and apparatus for encoding high dynamic range video | |
US6301304B1 (en) | Architecture and method for inverse quantization of discrete cosine transform coefficients in MPEG decoders | |
JPH08237669A (en) | Picture signal processor, picture signal processing method and picture signal decoder | |
US5754699A (en) | Method of reducing mosquito noise generated during decoding process of image data and device for decoding image data using the same | |
US6865229B1 (en) | Method and apparatus for reducing the “blocky picture” effect in MPEG decoded images | |
EP1279295A1 (en) | Video compression | |
JP4144357B2 (en) | Image processing apparatus, image processing method, image processing program, and recording medium | |
JP2940422B2 (en) | Method for reducing block distortion generated when decoding transform-coded image data and decoding device for transform-coded image data | |
JP2004528791A (en) | Inter-frame encoding method and apparatus | |
US6195390B1 (en) | Picture signal encoding apparatus and picture signal decoding apparatus | |
JP2924691B2 (en) | Quantization noise reduction method and image data decoding device | |
JP2900808B2 (en) | Method for reducing mosquito noise generated when decoding image data and image data decoding apparatus | |
JP3271098B2 (en) | Digital image signal decoding apparatus and method | |
JP2900815B2 (en) | Method and device for adaptive coring | |
JP2900810B2 (en) | Method for reducing quantization noise generated when decoding transform-coded image data, and decoding device for transform-coded image data | |
JPH0389792A (en) | Picture encoding device | |
JP2891251B2 (en) | Image encoding device and image decoding device | |
KR100217148B1 (en) | Method of reducing mosquito noise generated during decoding process of image data and device for decoding image data using the same | |
JPH10117351A (en) | Method and device for compressing signal | |
Dhaou et al. | DVC decompression with denoising for picture quality improvement | |
KR100261109B1 (en) | Luminance signal compress & encoding apparatus possible to enhance picture quality | |
JPH09224246A (en) | Image compression coding and image compression decoding device | |
JP2004172944A (en) | Image processing method, image processor and program for image processing | |
JPH0685692A (en) | Encoder with high efficiency |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090319 Year of fee payment: 10 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090319 Year of fee payment: 10 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100319 Year of fee payment: 11 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110319 Year of fee payment: 12 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120319 Year of fee payment: 13 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120319 Year of fee payment: 13 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120319 Year of fee payment: 13 |
|
R360 | Written notification for declining of transfer of rights |
Free format text: JAPANESE INTERMEDIATE CODE: R360 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120319 Year of fee payment: 13 |
|
R360 | Written notification for declining of transfer of rights |
Free format text: JAPANESE INTERMEDIATE CODE: R360 |
|
R371 | Transfer withdrawn |
Free format text: JAPANESE INTERMEDIATE CODE: R371 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120319 Year of fee payment: 13 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130319 Year of fee payment: 14 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140319 Year of fee payment: 15 |
|
LAPS | Cancellation because of no payment of annual fees |