JPH05276499A - Coding device and coding method - Google Patents

Abstract

PURPOSE:To provide a quantizer and a multiplexer reducing the degradation of picture quality to a transforming coefficients obtained by performing discrete wavelet transformation to image signals. CONSTITUTION:A block forming part 31 extracts the corresponding transforming coefficients in a two-dimensional spatial region, and thus device is provided with a threshold value processing part 33 to adaptively select a threshold value and a step size corresponding to the frequency component of the transforming coefficient, coefficient quantizing part 35, and multiplexing processing part 3 to perform multiplexing for each frequency area.

Description

【発明の詳細な説明】Detailed Description of the Invention

【０００１】[0001]

【産業上の利用分野】この発明は、たとえば、入力信号
を離散ウェーブレット変換もしくはサブバンド分割し、
量子化、多重化を行う符号化装置に関するものである。The present invention relates to, for example, discrete wavelet transform or subband division of an input signal,
The present invention relates to a coding device that performs quantization and multiplexing.

【０００２】[0002]

【従来の技術】ディジタル化された動画像信号を所定の
空間領域に対し、すなわち、水平方向及び垂直方向のそ
れぞれに対し、人間の持つ視覚特性にあわせて直交変換
を行う方式として、「ＩＥＥＥ ＴＲＡＮＳＡＣＴＩＯ
ＮＳ ＯＮ ＰＡＴＴＥＲＮＡＮＡＬＹＳＩＳ ＡＮＤ
ＭＡＣＨＩＮＥ ＩＮＴＥＬＬＩＧＥＮＣＥ，ＶＯ
Ｌ．１１，ＮＯ．７，ＪＵＬＹ １９８９、 Ａ ＴＨ
ＥＯＲＹ ＦＯＲ ＭＵＬＴＩＲＥＳＯＬＵＴＩＯＮ
ＳＩＧＮＡＬ ＤＥＣＯＭＰＯＳＩＴＩＯＮ：ＴＨＥ
ＷＡＶＥＬＥＴ ＲＥＰＲＥＳＥＮＴＡＴＩＯＮ」に記
載のような離散ウェーブレット変換（以降ＤＷＴと記
す）が提案されている。その変換処理を行う方法を図９
を用いて説明する。図において、１００はディジタル化
された入力画像信号系列、１は画像信号系列１００を１
０個の周波数帯域に分割する変換部、２は量子化部、３
は多重化部、４はバッファメモリ、５は入力信号を４つ
の周波数帯域に分割する帯域分割フィルタである。2. Description of the Related Art "IEEE TRANSACTIO" is a method for performing orthogonal transformation of a digitized moving image signal in a predetermined spatial region, that is, in each of the horizontal direction and the vertical direction in accordance with human visual characteristics.
NS ON PATTERNANALYSIS AND
MACHINE INTELLIGENCE, VO
L. 11, NO. 7, JULY 1989, A TH
EORY FOR MULTIRESULTION
SIGNAL DECOMPOSITION: THE
Discrete wavelet transform (hereinafter referred to as DWT) as described in "WAVELET REPRESENTATION" has been proposed. FIG. 9 shows a method of performing the conversion process.
Will be explained. In the figure, 100 is a digitized input image signal sequence, 1 is an image signal sequence 100.
A conversion unit for dividing into 0 frequency bands, 2 is a quantization unit, 3 is a
Is a multiplexing unit, 4 is a buffer memory, and 5 is a band division filter for dividing an input signal into four frequency bands.

【０００３】次に動作について説明する。入力画像信号
１００は帯域分割フィルタ５により４つの帯域の信号１
０１（ＬＬ３）、１０２（ＬＨ３）、１０３（ＨＬ
３）、１０４（ＨＨ３）に分割される。そのうち最も低
域の信号１０１（ＬＬ３）は帯域分割フィルタ５により
さらに４つの帯域の信号１０５（ＬＬ２）、１０６（Ｌ
Ｈ２）、１０７（ＨＬ２）、１０８（ＨＨ２）に分割さ
れる。そのうち最も低域の信号１０５（ＬＬ２）は帯域
分割フィルタ５によりさらに４つの帯域の信号１０９
（ＬＬ１）、１１０（ＬＨ１）、１１１（ＨＬ１）、１
１２（ＨＨ１）に分割される。Next, the operation will be described. The input image signal 100 is a signal 1 of four bands by the band division filter 5.
01 (LL3), 102 (LH3), 103 (HL
3) and 104 (HH3). The lowest band signal 101 (LL3) among them is further divided into four band signals 105 (LL2) and 106 (L) by the band division filter 5.
H2), 107 (HL2), and 108 (HH2). The lowest band signal 105 (LL2) among them is further divided into four band signals 109 by the band division filter 5.
(LL1), 110 (LH1), 111 (HL1), 1
12 (HH1).

【０００４】図１０は、帯域分割フィルタ５の詳細なブ
ロック図の一例である。図において、１１〜１３は信号
を低域と高域の２つの帯域に分割する２帯域分割フィル
タ、２１は一次元の低域通過フィルタ、２２は一次元の
高域通過フィルタ、２３は低域通過フィルタ１１及び高
域通過フィルタ１２により帯域制限された信号を２：１
に間引くサブサンプラである。入力信号２００は２帯域
分割フィルタ１１により水平方向に２つの帯域に分割さ
れる。この２帯域に分割された信号はさらに２帯域分割
フィルタ１２、１３により垂直方向に各々２つの帯域に
分割される。従って帯域分割フィルタ５からは、水平方
向・垂直方向共に低域のＬＬ信号２０１、水平方向に低
域で垂直方向に高域のＬＨ信号２０２、水平方向に高域
で垂直方向に低域のＨＬ信号２０３、水平方向・垂直方
向ともに高域のＨＨ信号２０４の４つの信号が出力され
る。FIG. 10 is an example of a detailed block diagram of the band division filter 5. In the figure, 11 to 13 are two-band division filters for dividing a signal into two bands, a low band and a high band, 21 is a one-dimensional low-pass filter, 22 is a one-dimensional high-pass filter, and 23 is a low band. The signal band-limited by the pass filter 11 and the high pass filter 12 is 2: 1.
It is a subsampler thinned out to. The input signal 200 is horizontally divided into two bands by the two-band dividing filter 11. The signal divided into these two bands is further divided into two bands in the vertical direction by the two band dividing filters 12 and 13. Therefore, from the band-splitting filter 5, both the horizontal and vertical low-frequency LL signals 201, the horizontal low-frequency and vertical high-frequency LH signals 202, and the horizontal high-frequency and vertical low-frequency HL signals are output. Four signals, that is, the signal 203 and the HH signal 204 in the high frequency band in both the horizontal and vertical directions are output.

【０００５】一連の帯域分割処理の結果、入力画像信号
１００はＬＬ１，ＬＨ１，ＨＬ１，ＨＨ１，ＬＨ２，Ｈ
Ｌ２，ＨＨ２，ＬＨ３、ＨＬ３，ＨＨ３の１０の帯域の
信号に分割される。図１１はこれを二次元周波数領域に
表したものである。図において、縦軸は垂直方向の周波
数を、横軸は水平方向の周波数を表す。図における領域
の面積の比は各々の帯域信号のデータ数の比に一致す
る。すなわち、ＬＬ１，ＬＨ１，ＨＬ１，ＨＨ１のデー
タ数を１とおくとき、ＬＨ２，ＨＬ２，ＨＨ２のデータ
数は４、ＬＨ３，ＨＬ３，ＨＨ３のデータ数は１６とな
る。以上、ＤＷＴを施し変換係数を得る手段を述べた
が、サブバンド分割も帯域分割フィルタの特性は異なる
が、ほぼ同様な構成で実現することができる。As a result of a series of band division processing, the input image signal 100 is LL1, LH1, HL1, HH1, LH2, H.
It is divided into signals in 10 bands of L2, HH2, LH3, HL3, and HH3. FIG. 11 shows this in the two-dimensional frequency domain. In the figure, the vertical axis represents the frequency in the vertical direction and the horizontal axis represents the frequency in the horizontal direction. The area ratio of the regions in the figure corresponds to the data number ratio of each band signal. That is, when the number of data of LL1, LH1, HL1, and HH1 is set to 1, the number of data of LH2, HL2, HH2 is 4, and the number of data of LH3, HL3, HH3 is 16. The means for performing the DWT to obtain the transform coefficient has been described above, but subband division can be realized with substantially the same configuration although the characteristics of the band division filter are different.

【０００６】次に図１２、図１３、図１４を用いて帯域
分割処理の具体例について説明する。図１２、図１３、
図１４とも同心円上に配列された黒と白の円を周期的に
配置した二次元空間の図面を用いて、図９、図１０で説
明したような帯域分割処理を施した場合の実際の例を示
した図であり、図１２においては、最初の帯域分割フィ
ルタを通して二次元空間の画像が４つの周波数帯域に分
割された場合を示している。図１２において左上はＬＬ
３を示しており、最も周波数の低い部分を示している。
次に左下はＬＨ３を示しており、右上はＨＬ３を示して
いる。また、右下はＨＨ３を示しており、４分割された
周波数帯域において最も周波数の高い領域を示してい
る。この図１２を見てわかるように、周波数帯域が低い
信号、すなわち、ＬＬ３の部分は他の３つの周波数帯域
に比べて最も入力された画像の状態を正確に現わしてい
ることがわかる。Next, a specific example of the band division processing will be described with reference to FIGS. 12, 13 and 14. 12, FIG.
In both FIG. 14 and FIG. 14, using a drawing of a two-dimensional space in which black and white circles arranged on concentric circles are periodically arranged, an actual example in the case of performing the band division processing as described in FIG. 9 and FIG. FIG. 12 shows a case where the image of the two-dimensional space is divided into four frequency bands through the first band division filter in FIG. In FIG. 12, the upper left is LL.
3 shows the lowest frequency part.
Next, the lower left shows LH3, and the upper right shows HL3. The lower right part shows HH3, which shows the highest frequency region in the frequency band divided into four. As can be seen from FIG. 12, it can be seen that the signal having a low frequency band, that is, the portion LL3 accurately represents the state of the most input image as compared with the other three frequency bands.

【０００７】図１２の左下のＬＨ３の領域においては、
上記ＬＬ３の領域を補正するためのデータが示されてい
る領域であり、左上のＬＬ３に対して左下のＬＨ３のデ
ータを加えることにより、よりオリジナルな画像を復元
することが可能となる。同様に左上のＬＬ３と左下のＬ
Ｈ３の画像に合わせて右上のＨＬ３の画像を加えること
によりさらにオリジナルな画像を復元することが可能と
なる。同様に右下のＨＨ３を前記３つのデータに合わせ
ることによりさらによりオリジナルに近い画像を復元す
ることが可能となる。このように、低周波の成分は画像
に与える影響が大きく、高周波成分になるにつれ、画像
に与える影響が少なくなる。In the LH3 area at the lower left of FIG. 12,
This is an area in which data for correcting the area of LL3 is shown, and by adding the data of lower left LH3 to the upper left LL3, it is possible to restore a more original image. Similarly, the upper left LL3 and the lower left L
It is possible to restore the original image by adding the HL3 image on the upper right in accordance with the H3 image. Similarly, an image closer to the original can be restored by matching the lower right HH3 with the three data. As described above, the low-frequency component has a large influence on the image, and the higher-frequency component has a smaller influence on the image.

【０００８】なお、図１２において、テレビ信号が持つ
性質と、この図１２を出力したビデオプリンタの性能の
ためにモアレと呼ばれる目玉状のものが現われたり、色
ムラが出たりする場合があるが、このモアレというのは
オリジナルな画像には無かったにもかかわらず、テレビ
信号やプリンタの性能のために出力されてしまうもので
あり、この発明とは関係しないために、以後このモアレ
については説明を省略する。Note that, in FIG. 12, due to the nature of the television signal and the performance of the video printer outputting this FIG. 12, a moiré-shaped object may appear or color unevenness may occur. Although this moire is not in the original image, it is output due to the performance of the TV signal and the printer, and since it is not related to the present invention, this moire will be described below. Is omitted.

【０００９】次に、図１３に基づいて２番目の帯域分割
フィルタ５の動作について説明する。図１３における左
上の４つの領域に分割された部分は、図１２におけるＬ
Ｌ３の部分を第２の帯域分割フィルタ５によりさらに４
分割した場合の例を示したものである。先程述べたよう
に、この場合においても４分割された内の左上にあたり
低周波成分のデータＬＬ２は画像に与える影響が大き
く、そして、高周波成分になるにつれて画像に与える影
響が少なくなっている。Next, the operation of the second band division filter 5 will be described with reference to FIG. The part divided into the upper left four areas in FIG. 13 is L in FIG.
The L3 portion is further divided into 4 by the second band division filter 5.
This is an example of the case of division. As described above, even in this case, the data LL2 of the low frequency component, which corresponds to the upper left of the four divisions, has a large influence on the image, and the influence on the image decreases as the frequency component becomes higher.

【００１０】次に図１４は図１３における左上のＬＬ２
をさらに第３の帯域分割フィルタ５により４分割した場
合の例を示している。この場合には、同様に左上の部分
ＬＬ１が低周波成分であり、画像に与える影響が大き
く、次第に高周波成分になるにつれ、画像に与える影響
は少なくなってくる。ただし、この場合には前述したよ
うに、モアレが頻繁に見られるため、図１４において
は、低周波成分が画像に与える影響が大きく、高周波成
分になるにつれて画像に与える影響が少なくなるという
事実が視覚的にとらえにくくなっている。Next, FIG. 14 shows the upper left LL2 in FIG.
Is further divided into four by the third band division filter 5. In this case, similarly, the upper left portion LL1 is a low-frequency component and has a large influence on the image, and as it gradually becomes a high-frequency component, the influence on the image decreases. However, in this case, as described above, since moire is frequently seen, the fact that the low frequency component has a large influence on the image in FIG. 14 and the influence on the image decreases as the high frequency component increases. It is hard to see visually.

【００１１】[0011]

【発明が解決しようとする課題】上記文献においては、
実際に符号化装置・復号装置を実現するために必要な量
子化・多重化の方法について触れられていない。画質の
劣化は変換係数の量子化手法によるところが大きく、伝
送路等における誤りに対する耐性は多重化手法によると
ころが大きい。SUMMARY OF THE INVENTION In the above documents,
It does not mention the quantization / multiplexing method required to actually realize the encoding / decoding device. The deterioration of the image quality is largely due to the quantization method of the transform coefficient, and the tolerance against the error in the transmission line is largely due to the multiplexing method.

【００１２】この発明は、上記のような問題点を解消す
るためになされたもので、画質の劣化が少なく、また誤
りに対する耐性の強い量子化装置及び多重化装置を持っ
た符号化装置及びその方法を得ることを目的とする。The present invention has been made in order to solve the above-mentioned problems, and is a coding apparatus having a quantizing apparatus and a multiplexing apparatus with little deterioration in image quality and having high error resistance, and the same. Aim to get a way.

【００１３】[0013]

【課題を解決するための手段】第１の発明に係る符号化
装置は、以下の要素を有するものである。 （ａ）少なくとも離散ウェーブレット変換とサブバンド
分割とのいずれかを用いて所定の空間領域にわたる入力
信号を複数の周波数領域に対応する変換係数に変換する
変換手段、（ｂ）以下の要素を有するブロック量子化手
段 （ｂ１）上記変換手段により変換された複数の周波数領
域にわたり、上記空間領域内の任意の空間領域に対応す
る複数の変換係数を抽出するブロック化手段、（ｂ２）
上記ブロック手段により抽出された変換係数に対して量
子化を行なう量子化手段、（ｃ）上記量子化手段により
量子化されたデータを多重化する多重化手段、（ｄ）上
記多重化手段により多重化されたデータを記憶するバッ
ファメモリ。An encoding device according to a first invention has the following elements. (A) Transform means for transforming an input signal over a predetermined spatial domain into transform coefficients corresponding to a plurality of frequency domains using at least either discrete wavelet transform or subband division, and (b) a block having the following elements Quantizing means (b1) Blocking means for extracting a plurality of transform coefficients corresponding to an arbitrary spatial region in the spatial region over the plurality of frequency regions transformed by the transforming device, (b2)
Quantizing means for quantizing the transform coefficient extracted by the block means, (c) multiplexing means for multiplexing the data quantized by the quantizing means, (d) multiplexing by the multiplexing means A buffer memory that stores encrypted data.

【００１４】また、第２の発明に係る符号化装置はバッ
ファメモリの残量に基づいて閾値を変化させ、この閾値
によりブロック化手段により抽出された変換係数に対し
て、閾値処理を行なう閾値処理手段を有することを特徴
とするものである。Further, the encoding apparatus according to the second aspect of the present invention changes the threshold value based on the remaining amount of the buffer memory, and performs the threshold value process on the transform coefficient extracted by the blocking means by the threshold value. It is characterized by having means.

【００１５】また、第３の発明に係る符号化装置は、す
でに処理をした隣接する空間領域で使用した閾値を記憶
しておき、この記憶した閾値に基づいてこれから量子化
するための閾値を変化させ、この閾値によりブロック化
手段により抽出した空間領域の周波数領域の異なる変換
係数に対して閾値処理を行なう閾値処理手段を有するこ
とを特徴とするものである。Further, the encoding apparatus according to the third aspect of the invention stores the threshold value used in the adjacent spatial area which has already been processed, and changes the threshold value for quantization from now on based on the stored threshold value. In addition, the present invention is characterized by including threshold processing means for performing threshold processing on transform coefficients different in the frequency domain of the spatial domain extracted by the blocking means by this threshold.

【００１６】この発明の第４の発明に係る符号化装置
は、量子化手段がバッファメモリの残量に基づいて量子
化するようにしたものであり、重み付け関数やステップ
サイズ等の量子化基準を変化させることを特徴とするも
のである。In the encoding device according to the fourth aspect of the present invention, the quantizing means quantizes on the basis of the remaining capacity of the buffer memory, and the quantizing standard such as the weighting function and the step size is used. It is characterized by changing.

【００１７】第５の発明に係る符号化装置は、量子化手
段が先に処理をした隣接する空間領域で使用した重み付
け関数やステップサイズなどの量子化基準を記憶してお
き、この記憶した基準に基づいて量子化の基準を変化さ
せ、この量子化の基準により、ブロック化手段からの所
定の空間領域の周波数領域の異なる変換係数に対して量
子化処理を行なうことを特徴とするものである。In the encoding device according to the fifth aspect of the present invention, the quantization standard such as the weighting function and the step size used in the adjacent spatial area previously processed by the quantization means is stored, and the stored standard is stored. The quantization standard is changed based on the above, and the quantization process is performed on the transform coefficients different in the frequency domain of the predetermined spatial domain from the blocking means by this quantization standard. ..

【００１８】また、第６の発明に係る符号化装置は、多
重化手段が量子化手段において量子化された変換係数を
ブロック化される前の元の周波数帯域別のデータにまと
め直すデブロック化手段を備え、このデブロック化手段
により周波数帯域別にまとめられた変換係数を各々の周
波数帯域毎に多重化をする多重化処理手段を備えたこと
を特徴とするものである。Further, in the encoding device according to the sixth aspect of the invention, the deblocking is performed by the multiplexing means to reassemble the transform coefficients quantized by the quantizing means into the original data for each frequency band before being blocked. And a multiplexing processing means for multiplexing the transform coefficients grouped by the frequency band by the deblocking means for each frequency band.

【００１９】また、第７の発明に係る符号化装置は、以
前に処理をした画像信号と今回処理をしようとする画像
信号との差分を用いてその差分信号に対して符号化を行
なう場合の符号化装置を対象にしており、入力された信
号に対し、この入力信号を一度符号化し、この符号化し
たデータに基づいて復号化した画像信号を用いて動き補
償予測信号を得る動き補償予測手段を有しており、この
動き補償予測信号と新たに入力された入力信号との差分
信号を得てこの差分信号を変換手段への入力信号とする
フレーム間差分手段を備えたことを特徴とするものであ
る。The encoding apparatus according to the seventh aspect of the invention uses the difference between the image signal processed previously and the image signal to be processed this time, and encodes the difference signal. A motion-compensated prediction unit for a coding apparatus, which obtains a motion-compensated prediction signal by using an image signal obtained by once coding the input signal with respect to the input signal and decoding the input signal. And is provided with inter-frame difference means for obtaining a difference signal between this motion-compensated prediction signal and a newly input input signal and using this difference signal as an input signal to the conversion means. It is a thing.

【００２０】また、第８の発明に係る符号化方法は、以
下の工程を有するものである。 （ａ）所定の空間領域の信号を入力して、複数の周波数
領域の信号に変換する変換工程、（ｂ）上記変換工程に
より変換された異なる周波数領域の信号から、同一の空
間領域部分に対応する信号を抽出する抽出工程、（ｃ）
抽出した同一の空間領域部分に対応する異なる周波数領
域の信号に対して、量子化を行なう量子化工程。The encoding method according to the eighth aspect of the invention has the following steps. (A) A conversion step of inputting a signal in a predetermined spatial domain and converting it into a plurality of frequency domain signals; (b) Corresponding to the same spatial domain part from the signals of different frequency domains converted by the conversion step. An extraction step of extracting a signal to be processed, (c)
A quantization step of performing quantization on the signals of different frequency domains corresponding to the same extracted spatial domain part.

【００２１】[0021]

【作用】第１の発明における符号化装置は、変換手段が
画像信号などの所定の空間領域における入力信号を入力
し、これを低周波領域から高周波領域の複数の周波数帯
域に対応する変換係数に変換する。そして、この変換手
段により変換された変換係数を量子化するに当り、ブロ
ック化手段は、複数の周波数領域にまたがって変換され
た、たとえば、画像信号の左上の部分に対応する複数の
変換係数を抽出してひとつのブロックを構成する。ブロ
ック化手段は、この処理を画像信号の他の部分に対して
順次繰り返して行なう。このように、第１の発明は入力
された空間領域の一部分に対応する複数の変換係数をひ
とつのブロックとして抽出してくることに特徴があり、
量子化手段は、このブロック化手段により抽出された変
換係数に対して所定の量子化を行なうことにより、所定
の空間領域における最適な量子化を行うことが可能にな
る。すなわち、変換手段は入力信号を周波数領域に分割
し、ブロック化手段はこの周波数領域に分割された変換
係数を同一の部分空間のデータとして再び、一つの所に
抽出してくる。したがって、量子化手段は周波数領域と
空間領域の双方をパラメータとして、量子化することが
可能になり、この周波数領域と空間領域の双方を考慮す
ることにより、画像の劣化の少ない復号画像を得ること
が可能になる。In the coding apparatus according to the first aspect of the present invention, the converting means inputs the input signal in a predetermined spatial region such as an image signal and converts the input signal into transform coefficients corresponding to a plurality of frequency bands from a low frequency region to a high frequency region. Convert. Then, in quantizing the transform coefficient transformed by this transforming means, the blocking means transforms a plurality of transform coefficients corresponding to, for example, the upper left portion of the image signal, which is transformed over a plurality of frequency regions. Extract and configure one block. The blocking means sequentially repeats this process for the other part of the image signal. As described above, the first invention is characterized in that a plurality of transform coefficients corresponding to a part of the input spatial region are extracted as one block,
The quantizing means can perform the optimum quantization in the predetermined spatial region by performing the predetermined quantization on the transform coefficient extracted by the blocking means. That is, the transforming unit divides the input signal into the frequency domain, and the blocking unit again extracts the transform coefficient divided into the frequency domain into one place as the data of the same subspace. Therefore, the quantizing means can quantize using both the frequency domain and the spatial domain as parameters, and by considering both the frequency domain and the spatial domain, a decoded image with little deterioration of the image can be obtained. Will be possible.

【００２２】第２の発明における符号化装置は、閾値処
理手段がバッファメモリの残量に基づいて閾値を変化さ
せる所に特徴がある。たとえば、バッファメモリの残量
が少ない場合には符号化するデータ量を少なくしなけれ
ばならないために、この閾値処理手段はバッファメモリ
の残量が少ない場合には閾値を高めに設定する。反対に
バッファメモリの残量が大きい場合は、より正確な復号
画像を得るために符号化データの量が多くてもかまわな
い場合であるため、閾値を低く設定する。The encoding device in the second invention is characterized in that the threshold value processing means changes the threshold value based on the remaining amount of the buffer memory. For example, when the remaining amount of the buffer memory is small, the amount of data to be encoded must be reduced. Therefore, the threshold value processing unit sets the threshold value higher when the remaining amount of the buffer memory is small. On the other hand, when the remaining amount of the buffer memory is large, the amount of encoded data may be large in order to obtain a more accurate decoded image, so the threshold is set low.

【００２３】第３の発明における符号化装置は、閾値処
理手段が閾値を決定するために隣接する空間領域の閾値
処理で使用した閾値を参考にして、現在処理しようとし
ている空間領域の閾値を決定する所に特徴がある。すな
わち、隣接する空間において、画像が極端に変化するこ
とを避けるためには隣接する空間で用いた閾値と同様の
閾値を用いるようにすることが大切であり、過去におい
て使用した隣接する空間領域の閾値を記憶し、これを参
照するようにしたものである。特に、画像に与える影響
が大きい低周波成分に対する閾値はその変化を最小にと
どめ、画像に与える影響が小さい高周波成分に関して
は、その閾値を大胆に変更することにより、生成される
データ量の削減を図ることが可能になる。In the encoding device according to the third aspect of the present invention, the threshold value of the spatial area to be currently processed is determined with reference to the threshold value used in the threshold value processing of the adjacent spatial area to determine the threshold value. There is a feature in doing it. That is, it is important to use the same threshold value as that used in the adjacent space in order to prevent the image from changing extremely in the adjacent space. The threshold value is stored and referred to. In particular, the threshold for low-frequency components that have a large effect on the image minimizes its change, and for high-frequency components that have a small effect on the image, the threshold is boldly changed to reduce the amount of generated data. It becomes possible to plan.

【００２４】第４の発明における符号化装置は、量子化
手段がバッファメモリの残量に基づいて量子化の基準を
変化させるものであり、バッファメモリの現在の残量が
少ない場合には量子化の基準をアップさせることによ
り、量子化されたデータ量が少なくなる。また、バッフ
ァメモリの残量が大きい場合には量子化の基準を下げる
ことにより量子化されるデータの量を増やし、より画像
の劣化の少ない復号画像を得ることが可能になる。In the encoding device according to the fourth aspect of the present invention, the quantizing means changes the quantization standard based on the remaining amount of the buffer memory. When the present remaining amount of the buffer memory is small, the quantization is performed. The amount of quantized data is reduced by increasing the standard of. Also, when the remaining amount of the buffer memory is large, the amount of data to be quantized is increased by lowering the quantization standard, and a decoded image with less image deterioration can be obtained.

【００２５】第５の発明における符号化装置は、量子化
手段が先に使用した隣接する空間領域で使用した量子化
の基準を参照して現在処理しようとしているデータの量
子化の基準を決定するものである。この場合も第３の発
明で述べたように、隣接する空間領域での画像の極端な
変化を防ぐために隣接する空間領域での量子化の基準を
極端に変化させないようにするものである。また、同じ
く第３の発明で述べたように画像に与える影響が大きい
低周波成分に対する量子化の基準をなるべく変化させな
いようにし、画像に与える影響が小さい高周波成分に対
しては大胆にその量子化基準を変更することにより、量
子化されるデータ量を削減することが可能となる。In the encoding device according to the fifth aspect of the invention, the quantizing means determines the quantizing criterion of the data to be processed at present by referring to the quantizing criterion used in the adjacent spatial domain previously used. It is a thing. Also in this case, as described in the third aspect of the invention, in order to prevent the extreme change of the image in the adjacent spatial area, the quantization reference in the adjacent spatial area is not changed extremely. Also, as described in the third aspect of the invention, the quantization standard for low-frequency components that have a large influence on the image is kept as small as possible, and the quantization is boldly performed on the high-frequency components that have a small influence on the image. By changing the standard, it is possible to reduce the amount of quantized data.

【００２６】第６の発明における符号化装置は、第１の
発明においてブロック化された変換係数を再びデブロッ
クすることが特徴であり、第１の発明においてブロック
化され、量子化された変換係数はそのまま多重化されて
出力することが可能であるが、この第６の発明に示すよ
うに再び周波数領域別にまとめ直すことにより、出力す
べきデータは周波数領域別にまとめられる。したがっ
て、画像に与える影響が大きい低周波成分と画像に与え
る影響が小さい高周波成分それぞれに応じた出力形式、
あるいは、それぞれに応じた伝送形式をとることが可能
となり、各々の周波数領域毎に最適な多重化を行なうこ
とが可能となる。The encoding device in the sixth invention is characterized in that the transform coefficient blocked in the first invention is deblocked again, and the transform coefficient blocked and quantized in the first invention is characterized. Can be multiplexed and output as they are, but the data to be output can be grouped by frequency domain by grouping them again by frequency domain as shown in the sixth aspect of the invention. Therefore, the output format corresponding to each of the low-frequency component having a large influence on the image and the high-frequency component having a small influence on the image,
Alternatively, it is possible to adopt a transmission format corresponding to each, and it is possible to perform optimum multiplexing for each frequency region.

【００２７】第７の発明における符号化装置は、第１の
発明における符号化装置が差分信号に基づいて動作でき
るように動き補償予測手段とフレーム間差分手段を備え
たものであり、変換手段に入力される入力信号がこの動
き補償予測手段とフレーム間差分手段により生成された
入力画像信号との差分信号が入力される点に特徴があ
る。The encoding apparatus according to the seventh invention comprises a motion compensation prediction means and an inter-frame difference means so that the encoding apparatus according to the first invention can operate based on the difference signal, and the encoding means is the conversion means. A feature is that the input signal to be input is the differential signal between the motion compensation prediction means and the input image signal generated by the interframe difference means.

【００２８】第８の発明に係る符号化方法は、変換工程
により所定の空間領域の信号を入力して複数の周波数領
域の信号を出力する。この変換工程により変換された信
号は抽出工程により同一の部分空間に対応する信号だけ
が抽出される。そして、量子化工程においては、この抽
出工程により抽出された同一の部分空間に対応する異な
る周波数領域の信号に対してそれぞれの周波数領域に対
応した量子化を行なうことが可能となる。In the encoding method according to the eighth aspect of the invention, a signal in a predetermined spatial domain is input and a signal in a plurality of frequency domains is output in the transforming step. Of the signals converted by this conversion step, only the signals corresponding to the same subspace are extracted by the extraction step. Then, in the quantization step, it is possible to perform the quantization corresponding to each frequency domain on the signals of different frequency domains corresponding to the same subspace extracted by this extraction step.

【００２９】[0029]

【実施例】実施例１．以下、第１の発明の一実施例を図
を用いて説明する。図１は図９に示した画像符号化装置
の量子化部２の詳細を示すブロック図である。図におい
て、３１はブロック化部、３２は閾値特性選択部、３３
は閾値処理部、３４は量子化特性選択部、３５は係数量
子化部、３６は閾値記憶部、３７は量子化特性記憶部で
ある。閾値処理部３３、閾値特性選択部３２、閾値記憶
部３６によりこの発明の閾値処理手段の一例を構成して
いる。また、係数量子化部３５、量子化特性選択部３
４、量子化特性記憶部３７によりこの発明の量子化手段
の一例を構成している。EXAMPLES Example 1. An embodiment of the first invention will be described below with reference to the drawings. FIG. 1 is a block diagram showing details of the quantizing unit 2 of the image coding apparatus shown in FIG. In the figure, 31 is a blocking unit, 32 is a threshold characteristic selecting unit, 33
Is a threshold processing unit, 34 is a quantization characteristic selection unit, 35 is a coefficient quantization unit, 36 is a threshold storage unit, and 37 is a quantization characteristic storage unit. The threshold processing unit 33, the threshold characteristic selection unit 32, and the threshold storage unit 36 constitute an example of the threshold processing means of the present invention. Further, the coefficient quantization unit 35 and the quantization characteristic selection unit 3
4. The quantization characteristic storage unit 37 constitutes an example of the quantization means of the present invention.

【００３０】次に動作について説明する。図９のように
入力画像信号１００は１０個の帯域に分割される（変換
工程）。分割されたＤＷＴ係数３００（図９における１
０２、１０３、１０４、１０５、１０６、１０７、１０
８、１０９、１１０、１１１、１１２にあたる）は、ブ
ロック化部１において二次元空間上で対応する係数ごと
にブロッキング処理される（抽出工程）。Next, the operation will be described. As shown in FIG. 9, the input image signal 100 is divided into 10 bands (conversion process). Divided DWT coefficient 300 (1 in FIG. 9
02, 103, 104, 105, 106, 107, 10
8, 109, 110, 111, and 112) are subjected to blocking processing in the blocking unit 1 for each corresponding coefficient in the two-dimensional space (extraction step).

【００３１】これを図２を用いて説明する。例えば、一
つのブロックに対してＬＬ１に属する左上の最初のデー
タを１つ与えるとき、このＬＬ１の左上の最初のデータ
に対応する空間領域に対応してＬＨ１，ＨＬ１，ＨＨ１
もそれぞれ１つのデータが、ＬＨ２，ＨＬ２，ＨＨ２は
４つのデータが、ＬＨ３，ＨＬ３，ＨＨ３は１６個のデ
ータが同じブロックに属することになり、合計６４個の
データが割り当てられる。This will be described with reference to FIG. For example, when one upper left first data belonging to LL1 is given to one block, LH1, HL1, HH1 corresponding to the spatial area corresponding to the upper left first data of LL1.
Also, one piece of data belongs to each block, four pieces of data belong to LH2, HL2, and HH2, and 16 pieces of data belong to LH3, HL3, and HH3, so that a total of 64 pieces of data are allocated.

【００３２】図２において左上のＬＬ１は、たとえば、
１ビットのデータから構成されており、この１ビットの
データは、たとえば、図１１においてＬＬ１のデータが
全部で８ビットのデータから構成されている場合の最初
の１ビット目のデータをブロック化部１が抽出してき
て、１ビットのデータＬＬ１としてブロック内に配置し
た場合を示している。次に、ブロック化部１は、この図
１１のＬＨ１、ＨＬ１、ＨＨ１の８ビットで構成される
データの中から先程選択した最初のビットに対応するビ
ットを選択してきて、図２におけるＬＨ１、ＨＬ１、Ｈ
Ｈ１の場所にそれぞれ１ビットのデータとして配置する
ことになる。このようにして、まず４ビットのデータが
ブロック化部１により抽出される。In FIG. 2, LL1 at the upper left is, for example,
This 1-bit data is composed of, for example, the first 1-bit data in the case where the LL1 data is composed of 8-bit data in FIG. In this example, 1 is extracted and placed in the block as 1-bit data LL1. Next, the blocking unit 1 selects the bit corresponding to the first bit previously selected from the data composed of 8 bits LH1, HL1, and HH1 in FIG. 11 and selects LH1 and HL1 in FIG. , H
It is arranged as 1-bit data at the location of H1. In this way, the 4-bit data is first extracted by the blocking unit 1.

【００３３】次に、ブロック化部１は、これらの１ビッ
トに対応した空間を図１１におけるＬＨ２、ＨＬ２、Ｈ
Ｈ３より抽出し、これを図２のＬＨ２、ＨＬ２、ＨＨ２
に配置することになる。この場合には、１ビットのデー
タに対して、４ビットのデータが対応しているため、Ｌ
Ｈ２、ＨＬ２、ＨＨ２はそれぞれ２×２の４ビットデー
タが配置されることになる。同様にブロック化部１はＬ
Ｈ３、ＨＬ３、ＨＨ３からも最初のＬＬ１の１ビットデ
ータに対応する空間領域のデータを抽出し、図２のＬＨ
３、ＨＬ３、ＨＨ３に４×４の、すなわち、１６ビット
のデータとして配置することになる。このようにして、
最初のブロッキング処理が完成することになる。Next, the blocking unit 1 defines the space corresponding to these 1 bits as LH2, HL2, H in FIG.
Extracted from H3 and used as LH2, HL2, HH2 in FIG.
Will be placed in. In this case, since 1-bit data corresponds to 4-bit data, L
Each of H2, HL2, and HH2 has 2 × 2 4-bit data. Similarly, the blocking unit 1 is L
The data of the spatial area corresponding to the 1-bit data of the first LL1 is also extracted from H3, HL3, and HH3, and LH of FIG.
It is arranged as data of 4 × 4, that is, 16 bits in 3, HL3, and HH3. In this way
The first blocking process will be completed.

【００３４】このデータは各々のブロック単位に、あら
かじめ設定された順序に従ってブロック化部３から係数
３０１として出力される。一般に、ＬＬ１のような低周
波成分は画像に与える影響が大きく、ＨＨ３のような高
周波成分になるにつれ画像に与える影響が少ない。そこ
で、出力される順序として、画質に与える影響の大きい
係数から小さい方へと走査していく方法が考えられる。
出力する順序の一例を図３に示す。This data is output as a coefficient 301 from the blocking unit 3 in each block unit according to a preset order. In general, a low frequency component such as LL1 has a large influence on an image, and a high frequency component such as HH3 has a small influence on an image. Therefore, as an output order, a method of scanning from a coefficient having a great influence on the image quality to a smaller one can be considered.
An example of the output order is shown in FIG.

【００３５】図３は図２に示した１つのブロックをどの
ような順番で閾値処理部３３に出力するかを示した図で
あり、図３において、数字は出力する順番を示してい
る。たとえば、図２におけるＬＬ１は、図３において１
の値を持っているために、ブロック化部１から最初に出
力されるデータは図２におけるＬＬ１であることにな
る。同様にして、図２におけるＬＨ１のデータは、図３
において、２の値を持っているため、２番目に出力さ
れ、図２におけるＬＨ１は３番目に出力され、ＨＨ１は
４番目に出力されることになる。またて、図２におい
て、ＬＨ２にある４ビットのデータは図３にあるような
順番で５、６、７、８の順で出力されることになる。以
下、同様にして、図２の６４ビットのデータは図３に従
う１から６４の順番に従って、出力されることになる。FIG. 3 is a diagram showing in what order the one block shown in FIG. 2 is output to the threshold processing unit 33. In FIG. 3, the numbers indicate the output order. For example, LL1 in FIG. 2 is 1 in FIG.
Since it has the value of, the data first output from the blocking unit 1 is LL1 in FIG. Similarly, the data of LH1 in FIG.
2 has a value of 2, it is output second, LH1 in FIG. 2 is output third, and HH1 is output fourth. Further, in FIG. 2, 4-bit data in LH2 is output in the order of 5, 6, 7, 8 in the order as shown in FIG. Hereinafter, similarly, the 64-bit data of FIG. 2 will be output in the order of 1 to 64 according to FIG.

【００３６】以上は、第１のブロックについてブロッキ
ング処理およびその出力処理を図３を用いて説明したも
のであるが、ブロック化部はこの第１のブロックを処理
を第２のブロックについても同様の処理をすることにな
る。たとえば、前例では、ＬＬ１の左上の最初のデータ
１ビットを第１のブロックとして処理した訳であるか
ら、次にはＬＬ１の第２のビットを処理することにな
り、これが第２のブロックとなる。以下同様に図１１に
おけるＬＬ１が８ビットまで存在する場合には、第１か
ら第８のブロックまで処理し、第８のブロックを処理し
終わった時点で１画面の画像の処理が終了することにな
る。Although the blocking process and the output process for the first block have been described above with reference to FIG. 3, the blocking unit processes the first block for the second block as well. It will be processed. For example, in the previous example, since the first upper left data bit of LL1 is processed as the first block, the second bit of LL1 is processed next, which becomes the second block. .. Similarly, when LL1 in FIG. 11 has up to 8 bits, the first to eighth blocks are processed, and when the processing of the eighth block is completed, the processing of one screen image is terminated. Become.

【００３７】閾値処理部３３は係数３０１に対し、閾値
特性選択部３２で設定された閾値３０４を用いて閾値処
理を行う。閾値３０４より小さい係数３０１に対しては
０が出力され、閾値３０４より大きい係数３０１に対し
ては入力値と同じ値が出力される。The threshold processing unit 33 performs threshold processing on the coefficient 301 using the threshold 304 set by the threshold characteristic selecting unit 32. 0 is output for the coefficient 301 smaller than the threshold 304, and the same value as the input value is output for the coefficient 301 larger than the threshold 304.

【００３８】係数量子化部３５は、閾値処理を施された
係数３０２の量子化を行い量子化インデックス３０３を
出力する（量子化工程）。量子化は、量子化特性選択部
３４において決定されたステップサイズと重み付け関数
３０５を用いて量子化する。例えば、入力された係数を
図４に示すような重み付け関数でわり算した後、ステッ
プサイズでわり算し、その商を量子化インデックス３０
３として出力する。出力された量子化インデックス３０
３は、多重化部３において多重化され、バッファメモリ
４に一時的に蓄えられる。The coefficient quantizer 35 quantizes the coefficient 302 which has been subjected to threshold processing and outputs a quantization index 303 (quantization step). The quantization is performed using the step size determined by the quantization characteristic selection unit 34 and the weighting function 305. For example, after the input coefficient is divided by the weighting function as shown in FIG. 4, it is divided by the step size, and the quotient is quantized by the quantization index 30.
Output as 3. Output quantization index 30
3 are multiplexed in the multiplexing unit 3 and temporarily stored in the buffer memory 4.

【００３９】以上のように、この実施例では、ディジタ
ル化された画像信号を離散ウェーブレット変換もしくは
サブバンド分割を用いて符号化する画像符号化装置にお
いて、入力信号を離散ウェーブレット変換もしくはサブ
バンド分割する変換手段と、変換係数の量子化を行う量
子化手段と、量子化された変換係数の符号化データに対
し多重化を行う多重化手段と、多重化された符号化デー
タ系列を一時的に蓄えるバッファメモリとを備え、上記
量子化手段に、二次元空間上同じ空間領域に属する複数
の変換係数を一つのブロックにまとめるブロック化手段
を備えた場合を説明した。As described above, in this embodiment, in the image coding apparatus for coding the digitized image signal using the discrete wavelet transform or the subband division, the input signal is subjected to the discrete wavelet transform or the subband division. Transforming means, quantizing means for quantizing transforming coefficients, multiplexing means for multiplexing coded data of quantized transforming coefficients, and temporarily storing the multiplexed coded data sequence. A case has been described in which a buffer memory is provided, and the quantizing means is provided with a blocking means for collecting a plurality of transform coefficients belonging to the same spatial region in a two-dimensional space into one block.

【００４０】実施例２．以下、第２、第３の発明の一実
施例を、同じく図１を用いて説明する。閾値特性選択部
３２は、閾値記憶部３６に記憶されている閾値３１０
と、バッファメモリのバッファ残量を示す信号３０８を
参照して閾値を決定する。図５は閾値記憶部３６が値を
記憶する場合に用いる隣接する空間領域を説明するため
の図であり、たとえば、現在閾値処理をしようとしてい
るブロックがブロックＸである場合において、閾値記憶
部３６はその隣接する空間領域としてすでに処理を施し
たブロックＡ、Ｂ、Ｃ、Ｗの閾値を閾値記憶部に記憶し
ており、これらの閾値を参照してブロックＸの閾値を決
定することになる。そして、ブロックＸが終了し、次の
ブロックＹを処理する場合には、その隣接する空間領域
としては、Ｂ、Ｃ、Ｄ、Ｘがその空間領域に当たるた
め、これらのブロックＢ、Ｃ、Ｄ、Ｘに用いた閾値を参
照してブロックＹの閾値を決定することになる。したが
って、閾値記憶部３６には、１行分と１ブロックの閾値
を記憶しておく領域があれば良いことになる。たとえ
ば、１行分が１０ブロックからなる場合には、過去に処
理をした１１ブロック分の閾値を記憶しておけば、隣接
する空間領域の閾値を後で参照することが可能になる。
また、もし、隣接する空間の定義を上と左のみとしてし
まった場合には、たとえば、ブロックＸを処理する場合
の隣接する空間はＢとＷのみになるため、この場合の閾
値記憶部のサイズは、１行分のブロックを処理した閾値
を覚えておけば良いことになる。たとえば、１行が１０
ブロックからなる場合においては、１０ブロックの空間
領域を処理した１０個の閾値を覚えておけば良いことに
なる。Example 2. An embodiment of the second and third inventions will be described below with reference to FIG. The threshold characteristic selection unit 32 includes the threshold 310 stored in the threshold storage unit 36.
Then, the threshold value is determined with reference to the signal 308 indicating the buffer remaining capacity of the buffer memory. FIG. 5 is a diagram for explaining adjacent spatial regions used when the threshold storage unit 36 stores values. For example, when the block currently undergoing threshold processing is the block X, the threshold storage unit 36 is shown. Stores the thresholds of the blocks A, B, C, and W that have already been processed as the adjacent spatial areas in the threshold storage unit, and the threshold of the block X is determined with reference to these thresholds. Then, when the block X is finished and the next block Y is processed, B, C, D, and X as adjacent space areas thereof correspond to the space area. Therefore, these blocks B, C, D, and The threshold value of the block Y will be determined with reference to the threshold value used for X. Therefore, the threshold storage unit 36 only needs to have an area for storing thresholds for one row and one block. For example, when one row consists of 10 blocks, if the thresholds of 11 blocks processed in the past are stored, it becomes possible to refer to the thresholds of the adjacent spatial regions later.
If the adjacent spaces are defined only at the top and the left, for example, since the adjacent spaces when processing the block X are only B and W, the size of the threshold value storage unit in this case. Would need to remember the threshold value for processing the block for one row. For example, 1 line is 10
In the case of a block, it is sufficient to remember 10 threshold values obtained by processing a spatial area of 10 blocks.

【００４１】次に、この閾値特性選択部３２が、閾値記
憶部に記憶されている閾値を参照して現在処理をしよう
とするブロックの閾値を決定する理由について説明す
る。図５に示したように、現在処理しようとしているブ
ロックＸを閾値処理する場合に隣接するブロックＢやＷ
と極端に異なる復号を行う訳にはいかないために、隣接
するブロックＢやＷで用いた閾値と似た値を使用するこ
とが望ましい。このために、隣接する空間領域で使用し
た閾値を記憶しておき、現在処理するブロックＸが隣接
する空間領域で使用した閾値と大きく違わないようにす
るため閾値を記憶している。Next, the reason why the threshold value characteristic selecting unit 32 determines the threshold value of the block to be processed at present by referring to the threshold value stored in the threshold value storage unit will be described. As shown in FIG. 5, when the block X currently to be processed is subjected to threshold processing, the adjacent blocks B and W are processed.
Therefore, it is desirable to use a value similar to the threshold value used in the adjacent blocks B and W, because the decoding cannot be performed extremely differently. For this reason, the threshold value used in the adjacent space area is stored, and the threshold value is stored so that the block X currently processed does not differ greatly from the threshold value used in the adjacent space area.

【００４２】次にバッファメモリ４のバッファ残量を示
す信号３０８を参照して閾値を決定する理由について説
明する。バッファメモリ４は多重化部３により多重化さ
れたデータを一時蓄えるために使用するものであり、こ
のバッファメモリを介して、図示していない信号回線に
符号化されたデータが伝送されていくものである。した
がって、多重化部により処理された符号化データがバッ
ファメモリに逐次蓄えられていくと同時にバッファメモ
リからは先に蓄積されたデータが回線を通じて出力され
ていくことになる。従って、バッファメモリの残量が少
ない場合には多重化部により蓄積されるデータによって
バッファメモリのオーバーフローが生じる結果となる。
このオーバーフローをなくすためには、生成される符号
化データの量を少なくすることを考える必要がある。し
たがって、その１つの方法として、ブロック化部により
ブロック化されたデータを閾値処理する場合に、バッフ
ァメモリの残量が少ない場合には、閾値の値を大きくし
て、データ量を抑制する訳である。逆に、バッファメモ
リの残量が多い場合には、バッファメモリのオーバーフ
ローが生じるきけんが少なく符号化データの量を削減す
る必要がないために、この閾値の値を小さくして、符号
化データ量を抑圧することなく、その符号化データを復
号した時によりオリジナルな画像に近い画質が得れるよ
うな閾値設定をすることが可能になる。Next, the reason for determining the threshold value will be described with reference to the signal 308 indicating the buffer remaining capacity of the buffer memory 4. The buffer memory 4 is used to temporarily store the data multiplexed by the multiplexing unit 3, and the coded data is transmitted to a signal line (not shown) through this buffer memory. Is. Therefore, the encoded data processed by the multiplexing unit is sequentially stored in the buffer memory, and at the same time, the previously stored data is output from the buffer memory through the line. Therefore, when the remaining amount of the buffer memory is small, the data accumulated by the multiplexing unit causes the buffer memory to overflow.
In order to eliminate this overflow, it is necessary to consider reducing the amount of encoded data generated. Therefore, as one of the methods, when thresholding the data blocked by the blocking unit and the remaining amount of the buffer memory is small, the threshold value is increased to suppress the data amount. is there. On the other hand, when the remaining amount of the buffer memory is large, there is less risk of overflow of the buffer memory and it is not necessary to reduce the amount of encoded data. It becomes possible to set the threshold value so that the image quality closer to the original image can be obtained when the encoded data is decoded without suppressing

【００４３】また、この閾値特性選択部３２において決
定される閾値は各ブロック内に一定ではなく、低周波あ
るいは高周波によって閾値を変更する。すなわち、ブロ
ック化部３１から得られる係数列の順序番号により、処
理対象となる係数が低周波成分に属するものか高周波成
分に属するものであるかを判定し、それに応じて閾値を
決定する。また、隣接するブロックとの間で大きな隔た
りのないように調整する。すなわち低周波成分の係数は
画質に与える影響が大きいので、画質が損なわれないよ
うにするために、閾値は常に小さく、かつ隣接するブロ
ックとの閾値の差分も小さくとるようにする。一方、高
周波成分の係数は画質に与える影響はあまり大きくない
ので、バッファ残量が大きいときには、情報の発生量を
少なくするために閾値を大きくし、出力される係数の多
くが０になるようにする。Further, the threshold value determined by the threshold value characteristic selecting section 32 is not constant in each block, but the threshold value is changed by a low frequency or a high frequency. That is, it is determined whether the coefficient to be processed belongs to the low frequency component or the high frequency component based on the sequence number of the coefficient string obtained from the blocking unit 31, and the threshold value is determined accordingly. Also, make adjustments so that there is no large gap between adjacent blocks. That is, since the coefficient of the low frequency component has a great influence on the image quality, the threshold value is always small and the difference between the threshold values of adjacent blocks is also small in order to prevent the image quality from being deteriorated. On the other hand, since the coefficient of the high frequency component does not have a great influence on the image quality, when the buffer remaining amount is large, the threshold value is increased in order to reduce the amount of generated information so that many of the output coefficients become zero. To do.

【００４４】以上のように、この実施例では、上記ブロ
ック化された変換係数の絶対値が、選択された閾値より
小さいときには零に置き換える閾値処理手段と、上記閾
値を選択するに際し、隣接するブロックで採用された閾
値の値とバッファメモリのバッファ残量をもとに、低周
波数成分に対しては隣接するブロックで選択された閾値
との変化を常に小さくし、高周波数成分に対しては隣接
するブロックで選択された閾値との変化が大きくなるこ
とを可能とする閾値特性選択手段とを備えることを特徴
とする画像符号化装置を説明した。As described above, in this embodiment, when the absolute value of the block-shaped transform coefficient is smaller than the selected threshold value, the threshold value processing means for replacing it with zero, and in selecting the threshold value, the adjacent blocks are selected. Based on the threshold value and the buffer remaining capacity of the buffer memory, the change with the threshold value selected in the adjacent block is always small for low frequency components, and it is adjacent for high frequency components. The image coding apparatus has been described, which comprises a threshold characteristic selecting unit that enables a large change from the threshold selected in the block.

【００４５】このように、この実施例に係る画像符号化
装置は、量子化部において閾値処理を行う際に、変換係
数の周波数領域と空間領域の双方をパラメータにして閾
値を決定するように構成することを特徴とする。As described above, the image coding apparatus according to this embodiment is configured to determine the threshold value by using both the frequency domain and the spatial domain of the transform coefficient as parameters when performing the threshold processing in the quantization unit. It is characterized by doing.

【００４６】実施例３．以下、第４、第５の発明の一実
施例を同じく図１を用いて説明する。量子化特性選択部
３４は、量子化特性記憶部３７に記憶されている重み付
け関数３１２、バッファメモリのバッファ残量を示す信
号３０８を参照して、ステップサイズと重み付け関数３
０５を決定する。ステップサイズの変動が隣接するブロ
ック間で大きいと、ブロック歪の発生原因となる。そこ
で、ステップサイズの変動は小さく抑える。また、低周
波成分は画質に与える影響が大きいので、重み付け関数
の選択は低周波成分に属する係数の量子化は常に一定の
精度を保ち、高周波成分に属する係数の量子化の精度を
変化させて情報量の制御を行う。両者の組み合わせによ
り、バッファメモリのバッファ残量の変動が小さいうち
は重み付け関数の選択により情報量の制御を行い、バッ
ファ残量の変動が大きくなったときにステップサイズの
変更を行うようにする。Example 3. An embodiment of the fourth and fifth inventions will be described below with reference to FIG. The quantization characteristic selection unit 34 refers to the weighting function 312 stored in the quantization characteristic storage unit 37 and the signal 308 indicating the buffer remaining capacity of the buffer memory, and refers to the step size and the weighting function 3
05 is decided. If the fluctuation of the step size is large between adjacent blocks, it causes block distortion. Therefore, the fluctuation of the step size is kept small. Further, since the low-frequency component has a large influence on the image quality, the weighting function is selected so that the quantization of the coefficient belonging to the low-frequency component always maintains a certain precision, and the precision of the quantization of the coefficient belonging to the high-frequency component is changed. Controls the amount of information. With the combination of both, the amount of information is controlled by selecting the weighting function while the fluctuation of the buffer remaining amount of the buffer memory is small, and the step size is changed when the fluctuation of the buffer remaining amount becomes large.

【００４７】なお、図４は、重み付け関数の一例を示し
ているが、量子化特性記憶部３７は図４に示したような
重み付け関数の表を一つだけ記憶する場合ばかりでな
く、複数記憶しておく場合でもかまわない。また、図４
に示すように、表形式で記憶するばかりでなく、重み付
けを計算する関数式で重み付けを記憶しておいてもかま
わない。また、これらのこの関数式が複数ある場合でも
かまわない。重み付け関数が複数ある場合には前述した
ように低周波成分に用いる重み付け関数あるいは高周波
成分に用いる重み付け関数などのように使い分けをする
ことが可能になる。Although FIG. 4 shows an example of the weighting function, the quantization characteristic storage unit 37 is not limited to the case of storing only one weighting function table as shown in FIG. It doesn't matter if you keep it. Also, FIG.
As shown in, the weighting may be stored not only in a table format but also in a functional formula for calculating the weighting. Also, it does not matter even if there are a plurality of these functional expressions. When there are a plurality of weighting functions, it is possible to properly use them, such as the weighting function used for the low frequency component or the weighting function used for the high frequency component as described above.

【００４８】また、上記実施例では、ステップサイズと
重み付け関数の両方を用いることにより量子化する場合
を示しているが、ステップサイズを大きくするというこ
とと重み付けによる重み付けを大きくするということは
同じ意味であり、ステップサイズと重み付け関数の両方
を用いて量子化する場合に限らず、ステップサイズのみ
あるいは重み付け関数のみを用いて量子化するような場
合であってもかまわない。Further, in the above embodiment, the case where the quantization is performed by using both the step size and the weighting function is shown, but increasing the step size and increasing the weighting by weighting have the same meaning. However, the quantization is not limited to the case of using both the step size and the weighting function, and may be the case of performing the quantization using only the step size or the weighting function.

【００４９】以上のように、この実施例では、量子化手
段において、選択された重み付け関数とステップサイズ
を用いて、変換係数に各々の周波数領域に対応した重み
付け処理を行い、選択されたステップサイズに対応する
量子化器を用いて量子化を行う係数量子化手段と、上記
重み付け関数とステップサイズの選択に際し、隣接する
ブロックで採用された重み付け関数とステップサイズ、
及びバッファメモリのバッファ残量をもとに、低周波数
成分に対しては隣接するブロックの重み付け量との変化
を小さくし、高周波数成分に対しては隣接するブロック
の重み付け量との変化が大きくなることを可能とし、隣
接するブロックで選択されたステップサイズとの変化は
小さくする量子化特性選択手段とを備えたことを特徴と
する画像符号化装置を説明した。As described above, in this embodiment, the quantizing means uses the selected weighting function and step size to perform the weighting process on the transform coefficient corresponding to each frequency region, and to select the selected step size. A coefficient quantizing means for quantizing using a quantizer corresponding to, in selecting the weighting function and the step size, the weighting function and the step size adopted in adjacent blocks,
Based on the buffer remaining capacity of the buffer memory, the change with the weighting amount of the adjacent block is reduced for the low frequency component, and the change with the weighting amount of the adjacent block is large for the high frequency component. The image coding apparatus has been described which is characterized by including a quantization characteristic selection unit that makes it possible to reduce the change from the step size selected in the adjacent block.

【００５０】このように、この実施例に係る画像符号化
装置は、量子化部において量子化を行う際に、変換係数
の周波数領域と空間領域の双方をパラメータとしてステ
ップサイズと重み付け関数を決定するように構成するこ
とを特徴とする。As described above, the image coding apparatus according to this embodiment determines the step size and the weighting function using both the frequency domain and the spatial domain of the transform coefficient as parameters when performing the quantization in the quantization section. It is characterized in that it is configured as follows.

【００５１】実施例４．以下、第６の発明の一実施例を
説明する。この実施例に係る画像符号化装置は、多重化
部において多重化を行う際に、変換係数の周波数領域を
パラメータとして多重化を行うように構成することを特
徴とする。図６は図１、あるいは、図９に示した画像符
号化装置の多重化部３の詳細を示す図である。図におい
て、４１はデブロック化部、４２は多重化処理部であ
る。Example 4. An embodiment of the sixth invention will be described below. The image coding apparatus according to this embodiment is characterized in that when the multiplexing is performed in the multiplexing unit, the frequency domain of the transform coefficient is used as a parameter for performing the multiplexing. FIG. 6 is a diagram showing details of the multiplexing unit 3 of the image coding apparatus shown in FIG. 1 or FIG. In the figure, 41 is a deblocking unit, and 42 is a multiplexing processing unit.

【００５２】次に動作について説明する。量子化部２か
ら出力された量子化インデックス１１３（３０３）は、
デブロック化部４１において、同じ周波数領域に属する
係数ごとに係数の順序を並べかえる。すなわち量子化部
２におけるブロック化部３１と逆の操作を行う。たとえ
ば、図２に示したような一つのブロックを受け取る度に
デブロック化部４１は、図１１に示したような１０個の
周波数帯域にそれぞれのブロック毎に分割する。たとえ
ば、８個のブロックを入力することにより、元通り図１
１のような８ビットからなるＬＬ１、あるいは、３２ビ
ットからなるＬＨ２を再び構成することになる。ただ
し、量子化された値を用いて図１１のようなデータが再
び形成されることになる。Next, the operation will be described. The quantization index 113 (303) output from the quantization unit 2 is
The deblocking unit 41 rearranges the order of coefficients for each coefficient belonging to the same frequency domain. That is, the reverse operation of the blocking unit 31 in the quantizer 2 is performed. For example, every time one block as shown in FIG. 2 is received, the deblocking section 41 divides each block into 10 frequency bands as shown in FIG. For example, by inputting 8 blocks,
LL1 consisting of 8 bits such as 1 or LH2 consisting of 32 bits is reconfigured. However, the data as shown in FIG. 11 is formed again using the quantized value.

【００５３】多重化処理部４２はそれぞれの係数の周波
数領域ごとに多重化処理を行う。ＬＬ１のような低周波
数領域に属する係数は画像に及ぼす影響が大きいので、
伝送路上での誤りを受けないよう、品質の高い伝送路を
用いたり、強い誤り訂正符号化をかけておく等の処理を
加える。一方、ＨＨ３のような高周波数領域に属する係
数は、画像に及ぼす影響が比較的小さいので、特別強い
処理は施さない。このように、デブロック化部により、
ブロック化部３１と逆の操作を行うことにより、画像に
及ぼす影響が大きい低周波領域の符号化データを特に保
護して起こることが可能になり、また、画像に及ぼす影
響の小さい高周波領域に符号化データをそれ相応の保護
を与えて電送することができるために、効率の良い電送
が可能となる。The multiplexing processing section 42 performs the multiplexing processing for each frequency region of each coefficient. Coefficients belonging to the low frequency region such as LL1 have a large effect on the image, so
In order not to receive an error on the transmission line, processing such as using a high-quality transmission line or applying strong error correction coding is added. On the other hand, a coefficient such as HH3 that belongs to a high frequency region has a relatively small effect on the image, and thus is not subjected to a particularly strong process. In this way, the deblocking unit
By performing the operation reverse to that of the blocking unit 31, it is possible to particularly protect the encoded data in the low frequency region that has a large influence on the image, and to encode the high frequency region that has a small influence on the image. Since the encrypted data can be transmitted with appropriate protection, efficient transmission is possible.

【００５４】実施例５．以下、第７の発明の一実施例を
図７を用いて説明する。この実施例に係る画像符号化装
置は、入力画像信号と動き補償予測信号との差分信号に
対しＤＷＴを施し、前述した量子化部と多重化部を持つ
ことを特徴とする。図において、５１は逆量子化部、５
２は逆変換部、５３はフレームメモリ、５４は差分器、
５５は加算器、５６は動き補償予測部である。量子化部
以降の多重化部、バッファメモリ等は省略してある。Example 5. An embodiment of the seventh invention will be described below with reference to FIG. The image coding apparatus according to this embodiment is characterized by performing DWT on a differential signal between an input image signal and a motion-compensated prediction signal, and having the above-mentioned quantization unit and multiplexing unit. In the figure, 51 is an inverse quantizer, 5
2 is an inverse transformation unit, 53 is a frame memory, 54 is a difference unit,
55 is an adder, and 56 is a motion compensation prediction unit. A multiplexer, a buffer memory, etc. after the quantizer are omitted.

【００５５】次に動作について説明する。差分器５４に
おいて、入力画像信号１は後述する動き補償予測信号５
０１との差分がとられ、差分信号５０２が出力される。
差分信号５０２は変換部１においてＤＷＴを施され、さ
らに量子化部２において量子化される。量子化部２より
出力された量子化インデックス１１３は逆量子化部５１
において逆量子化され、逆変換部５２において変換部１
とは逆の手続きにより逆変換され復号信号５０４をえ
る。この復号信号５０４と動き補償予測信号５０１とを
加算し、復号画像信号５０５を得て、フレームメモリ５
３に記憶する。動き補償予測部５６はフレームメモリ５
３から復号画像信号５０６を読みだし、入力画像信号１
００と動き補償予測を行い、動き補償予測信号５０１を
得る。上記量子化部２において、実施例１記載の閾値処
理や、実施例２記載の量子化処理を行う。Next, the operation will be described. In the differentiator 54, the input image signal 1 is a motion compensated prediction signal 5 described later.
The difference with 01 is calculated, and the difference signal 502 is output.
The differential signal 502 is subjected to DWT in the conversion unit 1, and further quantized in the quantization unit 2. The quantization index 113 output from the quantization unit 2 is the inverse quantization unit 51.
Is inversely quantized in the conversion unit 52 in the inverse conversion unit 52.
The decoded signal 504 is obtained by being inversely transformed by the procedure reverse to. The decoded signal 504 and the motion compensation prediction signal 501 are added to obtain a decoded image signal 505, and the frame memory 5
Store in 3. The motion compensation prediction unit 56 uses the frame memory 5
The decoded image signal 506 is read from 3 and the input image signal 1
00 and motion compensation prediction is performed to obtain a motion compensation prediction signal 501. In the quantizer 2, the threshold processing described in the first embodiment and the quantization processing described in the second embodiment are performed.

【００５６】実施例６．上記実施例では１フレーム前の
復号画像信号５０５を用いて動き補償予測を行っている
が、数フレーム前の復号画像信号を用いたり、あるいは
符号化対象画像より数フレーム後の復号画像信号を用い
たり、あるいはこれらの複数フレームの信号を用いたり
してもよい。また、符号化対象の画像信号がインターレ
ース画像であれば、フレーム単位の処理のみではなく、
画像信号を構成するフィールド単位の処理を行っても良
い。Example 6. In the above embodiment, the motion-compensated prediction is performed using the decoded image signal 505 one frame before, but the decoded image signal several frames before is used, or the decoded image signal several frames after the image to be encoded is used. Alternatively, these plural frame signals may be used. Also, if the image signal to be encoded is an interlaced image, not only the processing in frame units, but
You may perform the process of the field unit which comprises an image signal.

【００５７】実施例７．以下この発明の他の実施例につ
いて図８を用いて説明する。この実施例に係る画像符号
化装置は、離散コサイン変換部においてＤＷＴ係数の低
周波数成分に対し離散コサイン変換を行い、上記実施例
による量子化部と多重化部を持つように構成することを
特徴とする。図において、６１は変換部、６２はＤＣＴ
部である。Example 7. Another embodiment of the present invention will be described below with reference to FIG. The image coding apparatus according to the present embodiment is characterized in that the discrete cosine transform unit performs the discrete cosine transform on the low frequency component of the DWT coefficient, and has the quantizing unit and the multiplexing unit according to the above embodiment. And In the figure, 61 is a conversion unit, and 62 is a DCT.
It is a department.

【００５８】次に動作について説明する。入力画像信号
１００は、帯域分割フィルタ５により帯域分割されるの
は従来例に述べたものと同じである。帯域分割された変
換係数１０５はＤＣＴ部６２において２×２のブロック
単位にＤＣＴされる。得られる４つのＤＣＴ係数６０１
は実施例１に述べた量子化部２の中のブロッキング部に
おいて、図２におけるＬＬ１，ＬＨ１，ＨＬ１，ＨＨ１
に相当する位置にブロッキングされ、以下実施例１記載
の閾値処理、実施例２記載の量子化処理、実施例３記載
の多重化処理を行う。Next, the operation will be described. The input image signal 100 is band-divided by the band-division filter 5 as in the conventional example. The band-divided transform coefficient 105 is subjected to DCT in the DCT unit 62 in units of 2 × 2 blocks. Obtained four DCT coefficients 601
Is a blocking unit in the quantizing unit 2 described in the first embodiment, and includes LL1, LH1, HL1, HH1 in FIG.
Blocking is performed at a position corresponding to, the threshold processing described in the first embodiment, the quantization processing described in the second embodiment, and the multiplexing processing described in the third embodiment are performed.

【００５９】以上のように、この実施例では、ディジタ
ル化された画像信号を離散ウェーブレット変換もしくは
サブバンド分割を用いて符号化する画像符号化装置にお
いて、入力信号を離散ウェーブレット変換もしくはサブ
バンド分割する変換手段と、変換係数の低周波数成分に
対し、離散コサイン変換を施す離散コサイン変換手段を
備えた場合を説明した。As described above, in this embodiment, in the image coding apparatus for coding the digitized image signal using the discrete wavelet transform or the subband division, the input signal is subjected to the discrete wavelet transform or the subband division. The case has been described in which the transform means and the discrete cosine transform means for performing the discrete cosine transform on the low frequency component of the transform coefficient are provided.

【００６０】このように、変換の最終段において、帯域
分割フィルタ処理の代わりにＤＣＴを行うことにより、
符号化効率がさらに高められる。また、従来のＤＣＴを
行う画像符号化装置との互換性が保たれる。As described above, by performing DCT instead of band division filter processing at the final stage of conversion,
The coding efficiency is further enhanced. In addition, compatibility with the conventional image encoding device that performs DCT is maintained.

【００６１】実施例８．上記実施例６においては２回の
帯域分割フィルタ処理と２×２のブロックサイズのＤＣ
Ｔを１回行ったが、帯域分割処理を１回にし、変換係数
１０１（ＬＬ３）に対して４×４のブロックサイズのＤ
ＣＴを行うことも可能である。Example 8. In the sixth embodiment, the band division filter processing is performed twice and the DC having the block size of 2 × 2 is used.
Although T is performed once, the band division processing is performed once, and D of the block size of 4 × 4 is applied to the transform coefficient 101 (LL3).
It is also possible to perform CT.

【００６２】実施例９．上記実施例においては、ブロッ
クの大きさを８×８として説明するために、変換部１に
おいては３回の帯域分割フィルタ処理によって１０個の
帯域に信号を分割したが、これとは異なるブロックサイ
ズを用いることももちろん可能である。変換部６２に対
しても同じことがいえる。Example 9. In the above embodiment, in order to explain the block size as 8 × 8, the conversion unit 1 divides the signal into 10 bands by three band division filter processes, but a block size different from this is used. Of course, it is also possible to use. The same applies to the conversion unit 62.

【００６３】[0063]

【発明の効果】この発明は、以上説明したように構成さ
れているので、以下に記載されるような効果を奏する。Since the present invention is constructed as described above, it has the following effects.

【００６４】第１の発明によれば、変換部において周波
数領域に変換された変換計数をブロック化部において、
同一空間部分における変換計数を抽出するようにしたの
でその後の量子化処理において、周波数領域と空間領域
の双方をパラメータにして量子化を決定することが可能
になる。According to the first aspect, the conversion count converted into the frequency domain in the conversion unit is converted into
Since the transform counts in the same space portion are extracted, it becomes possible to determine the quantization in the subsequent quantization process using both the frequency domain and the spatial domain as parameters.

【００６５】第２の発明によれば、バッファメモリのサ
イズにより閾値を決定しているので、バッファメモリの
オーバーフローのない符号化を実現することができる。According to the second invention, since the threshold value is determined by the size of the buffer memory, it is possible to realize coding without overflow of the buffer memory.

【００６６】第３の発明によれば、変換係数の周波数領
域と、隣接するブロック間での関係という空間領域の双
方をパラメータとして閾値を決定しているので、画質の
劣化なく高能率な符号化を実現できる。According to the third aspect of the invention, the threshold value is determined using both the frequency domain of the transform coefficient and the spatial domain of the relationship between adjacent blocks as parameters, so that highly efficient coding without deterioration of image quality. Can be realized.

【００６７】第４の発明によれば、バッファメモリの残
量により、量子化の基準を変更するようにしているの
で、バッファメモリのオーバーフローすることがない符
号化を実現することができる。According to the fourth aspect of the present invention, the quantization standard is changed according to the remaining amount of the buffer memory, so that the encoding without overflow of the buffer memory can be realized.

【００６８】第５の発明によれば、変換係数の周波数領
域と、隣あったブロック間での関係という空間領域の双
方をパラメータとしてステップサイズや重み付け関数等
の量子化の基準を決定しているので、画質の劣化なく高
能率な符号化を実現できる。According to the fifth aspect of the invention, the quantization standard such as the step size and the weighting function is determined by using both the frequency domain of the transform coefficient and the spatial domain of the relationship between adjacent blocks as parameters. Therefore, highly efficient encoding can be realized without deterioration of image quality.

【００６９】第６の発明によれば、変換係数の周波数領
域単位に多重化が行えるので、伝送路の誤りに対して耐
性を高めることができる。According to the sixth aspect of the present invention, since the transform coefficient can be multiplexed in units of frequency domain, it is possible to improve the tolerance against errors in the transmission path.

【００７０】第７の発明によれば、フレーム間符号化後
の信号を用いて変換処理を行い、上記量子化、多重化を
施すことにより符号化効率がさらに高められる。According to the seventh aspect of the present invention, the coding efficiency is further improved by performing the conversion process using the signal after the inter-frame coding and performing the above-mentioned quantization and multiplexing.

【００７１】第８の発明によれば、変換工程により周波
数領域に分割したデータを再び抽出工程により同一の空
間領域部分に対して抽出してくるため、周波数領域と空
間領域の双方をパラメータとして量子化することが可能
となる。According to the eighth aspect of the present invention, since the data divided into the frequency domain by the transforming step is extracted again for the same spatial domain part by the extracting step, both the frequency domain and the spatial domain are used as parameters. Can be converted.

【図面の簡単な説明】[Brief description of drawings]

【図１】この発明の実施例１、２、３を示す量子化部の
ブロック図である。FIG. 1 is a block diagram of a quantization unit showing first, second and third embodiments of the present invention.

【図２】この発明の変換係数のブロッキング処理を示す
図である。FIG. 2 is a diagram showing a transform coefficient blocking process of the present invention.

【図３】この発明の変換係数の出力の際の操作順序を示
す図である。FIG. 3 is a diagram showing an operation sequence when outputting transform coefficients according to the present invention.

【図４】この発明の重み付け関数の一例を示す図であ
る。FIG. 4 is a diagram showing an example of a weighting function of the present invention.

【図５】この発明の閾値記憶部を説明する図である。FIG. 5 is a diagram illustrating a threshold storage unit of the present invention.

【図６】この発明の実施例４を示す多重化部のブロック
図であるFIG. 6 is a block diagram of a multiplexing unit showing a fourth embodiment of the present invention.

【図７】この発明の実施例５を示すブロック図である。FIG. 7 is a block diagram showing a fifth embodiment of the present invention.

【図８】この発明の実施例６を示すブロック図である。FIG. 8 is a block diagram showing a sixth embodiment of the present invention.

【図９】従来の離散ウェーブレット変換を行う画像符号
化装置を示すブロック図である。FIG. 9 is a block diagram showing a conventional image coding apparatus that performs a discrete wavelet transform.

【図１０】従来の帯域分割フィルタ部の詳細を示すブロ
ック図である。FIG. 10 is a block diagram showing details of a conventional band division filter unit.

【図１１】帯域分割を施した画像信号の周波数分布を示
す図である。FIG. 11 is a diagram showing a frequency distribution of a band-divided image signal.

【図１２】離散ウェーブレット変換の一実施例を示す図
である。FIG. 12 is a diagram showing an example of a discrete wavelet transform.

【図１３】離散ウェーブレット変換の一実施例を示す図
である。FIG. 13 is a diagram showing an example of a discrete wavelet transform.

【図１４】離散ウェーブレット変換の一実施例を示す図
である。FIG. 14 is a diagram showing an example of a discrete wavelet transform.

【符号の説明】[Explanation of symbols]

１ 変換部 ２ 量子化部 ３ 多重化部 ４ バッファメモリ ５ 帯域分割フィルタ ３１ ブロック化部 ３２ 閾値特性選択部 ３３ 閾値処理部 ３４ 量子化特性選択部 ３５ 係数量子化部 DESCRIPTION OF SYMBOLS 1 Transform section 2 Quantization section 3 Multiplexing section 4 Buffer memory 5 Band division filter 31 Blocking section 32 Threshold characteristic selection section 33 Threshold processing section 34 Quantization characteristic selection section 35 Coefficient quantization section

【手続補正書】[Procedure amendment]

【提出日】平成４年６月２５日[Submission date] June 25, 1992

【手続補正１】[Procedure Amendment 1]

【補正対象書類名】明細書[Document name to be amended] Statement

【補正対象項目名】０００７[Correction target item name] 0007

【補正方法】変更[Correction method] Change

【補正内容】[Correction content]

【０００７】図１２の左下のＬＨ３の領域においては、
上記ＬＬ３の領域を補充するためのデータが示されてい
る領域であり、左上のＬＬ３に対して左下のＬＨ３のデ
ータを加えることにより、よりオリジナルな画像を復元
することが可能となる。同様に左上のＬＬ３と左下のＬ
Ｈ３の画像に合わせて右上のＨＬ３の画像を加えること
によりさらにオリジナルな画像を復元することが可能と
なる。同様に右下のＨＨ３を前記３つのデータに合わせ
ることによりさらによりオリジナルに近い画像を復元す
ることが可能となる。このように、低周波の成分は画像
に与える影響が大きく、高周波成分になるにつれ、画像
に与える影響が少なくなる。In the LH3 area at the lower left of FIG. 12,
This is an area in which data for supplementing the area of LL3 is shown. By adding the data of LH3 in the lower left to the LL3 in the upper left, a more original image can be restored. Similarly, the upper left LL3 and the lower left L
It is possible to restore the original image by adding the HL3 image on the upper right in accordance with the H3 image. Similarly, an image closer to the original can be restored by matching the lower right HH3 with the three data. As described above, the low-frequency component has a large influence on the image, and the higher-frequency component has a smaller influence on the image.

【手続補正２】[Procedure Amendment 2]

【補正対象書類名】明細書[Document name to be amended] Statement

【補正対象項目名】００３０[Name of item to be corrected] 0030

【補正方法】変更[Correction method] Change

【補正内容】[Correction content]

【００３０】次に動作について説明する。図９のように
入力画像信号１００は１０個の帯域に分割される（変換
工程）。分割されたＤＷＴ係数３００（図９における１
０２、１０３、１０４、１０６、１０７、１０８、１０
９、１１０、１１１、１１２にあたる）は、ブロック化
部１において二次元空間上で対応する係数ごとにブロッ
キング処理される（抽出工程）。Next, the operation will be described. As shown in FIG. 9, the input image signal 100 is divided into 10 bands (conversion process). Divided DWT coefficient 300 (1 in FIG. 9
02, 103, 104 , 106 , 107, 108, 10
(Corresponding to 9, 110, 111, 112) is subjected to blocking processing in the blocking unit 1 for each corresponding coefficient in the two-dimensional space (extraction step).

【手続補正３】[Procedure 3]

【補正対象書類名】明細書[Document name to be amended] Statement

【補正対象項目名】００３２[Name of item to be corrected] 0032

【補正方法】変更[Correction method] Change

【補正内容】[Correction content]

【００３２】図２において左上のＬＬ１は、たとえば、
１６ビットのデータから構成されており、この１６ビッ
トのデータは、たとえば、図１１においてＬＬ１のデー
タが全部で８０個のデータから構成されている場合の最
初の１６ビットのデータをブロック化部１が抽出してき
て、１６ビットのデータＬＬ１としてブロック内に配置
した場合を示している。次に、ブロック化部１は、この
図１１のＬＨ１、ＨＬ１、ＨＨ１の８０個で構成される
データの中から先程選択した最初のＬＬ１のデータに対
応するデータを選択してきて、図２におけるＬＨ１、Ｈ
Ｌ１、ＨＨ１の場所にそれぞれ１６ビットのデータとし
て配置することになる。このようにして、まず６４ビッ
トのデータがブロック化部１により抽出される。In FIG. 2, LL1 at the upper left is, for example,
Are composed of 16-bit data, the 16-bit
TMG data, for example, the first 16 bits of data when LL1 data is composed of 80 pieces of data in total come into blocking unit 1 is extracted at 11, blocked as 16-bit data LL1 The case where it is arranged inside is shown. Next, the blocking unit 1, been selected data corresponding to the first LL1 of data selected just from the data consisting of LH1, HL1, 80 pieces of HH1 in FIG. 11, in FIG. 2 LH1 , H
It will be arranged as 16-bit data at the locations of L1 and HH1, respectively. In this way, first 64 bits
DOO data is extracted by the blocking unit 1.

【手続補正４】[Procedure amendment 4]

【補正対象書類名】明細書[Document name to be amended] Statement

【補正対象項目名】００３３[Correction target item name] 0033

【補正方法】変更[Correction method] Change

【補正内容】[Correction content]

【００３３】次に、ブロック化部１は、これらの４個の
データに対応した空間を図１１におけるＬＨ２、ＨＬ
２、ＨＨ２より抽出し、これを図２のＬＨ２、ＨＬ２、
ＨＨ２に配置することになる。この場合には、１６ビッ
トのデータに対して、１６ビットのデータ４個が対応し
ているため、ＬＨ２、ＨＬ２、ＨＨ２はそれぞれ６４ビ
ットデータが配置されることになる。同様にブロック化
部１はＬＨ３、ＨＬ３、ＨＨ３からも最初のＬＬ１の１
６ビットデータに対応する空間領域のデータを抽出し、
図２のＬＨ３、ＨＬ３、ＨＨ３に２５６ビットのデータ
として配置することになる。このようにして、最初のブ
ロッキング処理が完成することになる。Next, the blocking unit 1 makes these four
The space corresponding to the data is LH2 and HL in FIG.
2, extracted from HH2 , and this is extracted from LH2, HL2,
It will be placed in HH2. In this case, 16 bits
Since 4 pieces of 16-bit data correspond to each of the 16-bit data , LH2, HL2 and HH2 are 64 bits each.
So that Tsu Doo data is arranged. Similarly, the blocking unit 1 selects the first 1 of LL1 from LH3, HL3, and HH3.
Data in the spatial domain corresponding to 6-bit data is extracted,
It is arranged as data of 256 bits in LH3, HL3, and HH3 of FIG. In this way, the first blocking process is completed.

【手続補正５】[Procedure Amendment 5]

【補正対象書類名】明細書[Document name to be amended] Statement

【補正対象項目名】００３５[Correction target item name] 0035

【補正方法】変更[Correction method] Change

【補正内容】[Correction content]

【００３５】図３は図２に示した１つのブロックをどの
ような順番で閾値処理部３３に出力するかを示した図で
あり、図３において、数字は出力する順番を示してい
る。たとえば、図２におけるＬＬ１は、図３において１
の値を持っているために、ブロック化部１から最初に出
力されるデータは図２におけるＬＬ１であることにな
る。同様にして、図２におけるＬＨ１のデータは、図３
において、２の値を持っているため、２番目に出力さ
れ、図２におけるＬＨ１は３番目に出力され、ＨＨ１は
４番目に出力されることになる。また、図２において、
ＬＨ２にある６４ビットのデータは図３にあるような順
番で５、６、７、８の順で出力されることになる。以
下、同様にして、図２の８９６ビットのデータは図３に
従う１から６４の順番に従って、出力されることにな
る。FIG. 3 is a diagram showing in what order the one block shown in FIG. 2 is output to the threshold processing unit 33. In FIG. 3, the numbers indicate the output order. For example, LL1 in FIG. 2 is 1 in FIG.
Since it has the value of, the data first output from the blocking unit 1 is LL1 in FIG. Similarly, the data of LH1 in FIG.
2 has a value of 2, it is output second, LH1 in FIG. 2 is output third, and HH1 is output fourth. In addition, in FIG.
The 64-bit data in LH2 is output in the order of 5, 6, 7, and 8 as shown in FIG. In the same manner, the 896-bit data of FIG. 2 will be output in the order of 1 to 64 according to FIG.

【手続補正６】[Procedure Amendment 6]

【補正対象書類名】明細書[Document name to be amended] Statement

【補正対象項目名】００３６[Correction target item name] 0036

【補正方法】変更[Correction method] Change

【補正内容】[Correction content]

【００３６】以上は、第１のブロックについてブロッキ
ング処理およびその出力処理を図３を用いて説明したも
のであるが、ブロック化部はこの第１のブロック処理を
第２のブロックについても同様の処理をすることにな
る。たとえば、前例では、ＬＬ１の左上の最初のデータ
１６ビットを第１のブロックとして処理した訳であるか
ら、次にはＬＬ１の第２のデータを処理することにな
り、これが第２のブロックとなる。以下同様に図１１に
おけるＬＬ１のデータが８０個存在する場合には、第１
から第８０のブロックまで処理し、第８０のブロックを
処理し終わった時点で１画面の画像の処理が終了するこ
とになる。Although the blocking process and the output process for the first block have been described above with reference to FIG. 3, the blocking unit performs the first block process for the second block in the same manner. Will be done. For example, in the previous example, the first data in the upper left of LL1
Since 16 bits are processed as the first block, the second data of LL1 is processed next, and this becomes the second block. Similarly, if 80 pieces of LL1 data in FIG. 11 exist, the first
To the 80th block are processed, and when the processing of the 80th block is completed, the processing of the image of one screen is completed.

【手続補正７】[Procedure Amendment 7]

【補正対象書類名】明細書[Document name to be amended] Statement

【補正対象項目名】００４２[Correction target item name] 0042

【補正方法】変更[Correction method] Change

【補正内容】[Correction content]

【００４２】次にバッファメモリ４のバッファ残量を示
す信号３０８を参照して閾値を決定する理由について説
明する。バッファメモリ４は多重化部３により多重化さ
れたデータを一時蓄えるために使用するものであり、こ
のバッファメモリを介して、図示していない信号回線に
符号化されたデータが伝送されていくものである。した
がって、多重化部により処理された符号化データがバッ
ファメモリに逐次蓄えられていくと同時にバッファメモ
リからは先に蓄積されたデータが回線を通じて出力され
ていくことになる。従って、バッファメモリの残量が少
ない場合には多重化部により蓄積されるデータによって
バッファメモリのオーバーフローが生じる結果となる。
このオーバーフローをなくすためには、生成される符号
化データの量を少なくすることを考える必要がある。し
たがって、その１つの方法として、ブロック化部により
ブロック化されたデータを閾値処理する場合に、バッフ
ァメモリの残量が少ない場合には、閾値の値を大きくし
て、データ量を抑制する訳である。逆に、バッファメモ
リの残量が多い場合には、バッファメモリのオーバーフ
ローが生じる危険が少なく符号化データの量を削減する
必要がないために、この閾値の値を小さくして、符号化
データ量を抑圧することなく、その符号化データを復号
した時によりオリジナルな画像に近い画質が得れるよう
な閾値設定をすることが可能になる。Next, the reason for determining the threshold value will be described with reference to the signal 308 indicating the buffer remaining capacity of the buffer memory 4. The buffer memory 4 is used to temporarily store the data multiplexed by the multiplexing unit 3, and the coded data is transmitted to a signal line (not shown) through this buffer memory. Is. Therefore, the encoded data processed by the multiplexing unit is sequentially stored in the buffer memory, and at the same time, the previously stored data is output from the buffer memory through the line. Therefore, when the remaining amount of the buffer memory is small, the data accumulated by the multiplexing unit causes the buffer memory to overflow.
In order to eliminate this overflow, it is necessary to consider reducing the amount of encoded data generated. Therefore, as one of the methods, when thresholding the data blocked by the blocking unit and the remaining amount of the buffer memory is small, the threshold value is increased to suppress the data amount. is there. On the other hand, when there is a large amount of remaining buffer memory, there is less risk of buffer memory overflow and there is no need to reduce the amount of encoded data. It is possible to set the threshold value so that the image quality closer to the original image can be obtained when the encoded data is decoded without suppressing

【手続補正８】[Procedure Amendment 8]

【補正対象書類名】明細書[Document name to be amended] Statement

【補正対象項目名】００４３[Correction target item name] 0043

【補正方法】変更[Correction method] Change

【補正内容】[Correction content]

【００４３】また、この閾値特性選択部３２において決
定される閾値は各ブロック内に一定ではなく、低周波あ
るいは高周波によって閾値を変更する。すなわち、ブロ
ック化部３１から得られる係数列の順序番号により、処
理対象となる係数が低周波成分に属するものか高周波成
分に属するものであるかを判定し、それに応じて閾値を
決定する。また、隣接するブロックとの間で大きな隔た
りのないように調整する。すなわち低周波成分の係数は
画質に与える影響が大きいので、画質が損なわれないよ
うにするために、閾値は常に小さく、かつ隣接するブロ
ックとの閾値の差分も小さくとるようにする。一方、高
周波成分の係数は画質に与える影響はあまり大きくない
ので、バッファ残量が少ないときには、情報の発生量を
少なくするために閾値を大きくし、出力される係数の多
くが０になるようにする。Further, the threshold value determined by the threshold value characteristic selecting section 32 is not constant in each block, but the threshold value is changed by a low frequency or a high frequency. That is, it is determined whether the coefficient to be processed belongs to the low frequency component or the high frequency component based on the sequence number of the coefficient string obtained from the blocking unit 31, and the threshold value is determined accordingly. Also, make adjustments so that there is no large gap between adjacent blocks. That is, since the coefficient of the low frequency component has a great influence on the image quality, the threshold value is always small and the difference between the threshold values of adjacent blocks is also small in order to prevent the image quality from being deteriorated. On the other hand, since the coefficient of the high frequency component does not have a great influence on the image quality, when the buffer remaining amount is small , the threshold value is increased to reduce the amount of information generated so that many of the output coefficients become zero. To do.

【手続補正９】[Procedure Amendment 9]

【補正対象書類名】明細書[Document name to be amended] Statement

【補正対象項目名】００５２[Correction target item name] 0052

【補正方法】変更[Correction method] Change

【補正内容】[Correction content]

【００５２】次に動作について説明する。量子化部２か
ら出力された量子化インデックス１１３（３０３）は、
デブロック化部４１において、同じ周波数領域に属する
係数ごとに係数の順序を並べかえる。すなわち量子化部
２におけるブロック化部３１と逆の操作を行う。たとえ
ば、図２に示したような一つのブロックを受け取る度に
デブロック化部４１は、図１１に示したような１０個の
周波数帯域にそれぞれのブロック毎に分割する。たとえ
ば、８０個のブロックを入力することにより、元通り図
１１のような８０個のデータからなるＬＬ１、あるい
は、３２０個のデータからなるＬＨ２を再び構成するこ
とになる。ただし、量子化された値を用いて図１１のよ
うなデータが再び形成されることになる。Next, the operation will be described. The quantization index 113 (303) output from the quantization unit 2 is
The deblocking unit 41 rearranges the order of coefficients for each coefficient belonging to the same frequency domain. That is, the reverse operation of the blocking unit 31 in the quantizer 2 is performed. For example, every time one block as shown in FIG. 2 is received, the deblocking section 41 divides each block into 10 frequency bands as shown in FIG. For example, by inputting 80 blocks, LL1 consisting of 80 data as shown in FIG. 11 or LH2 consisting of 320 data is reconstructed as before. However, the data as shown in FIG. 11 is formed again using the quantized value.

【手続補正１０】[Procedure Amendment 10]

【補正対象書類名】明細書[Document name to be amended] Statement

【補正対象項目名】００５３[Correction target item name] 0053

【補正方法】変更[Correction method] Change

【補正内容】[Correction content]

【００５３】多重化処理部４２はそれぞれの係数の周波
数領域ごとに多重化処理を行う。ＬＬ１のような低周波
数領域に属する係数は画像に及ぼす影響が大きいので、
伝送路上での誤りを受けないよう、品質の高い伝送路を
用いたり、強い誤り訂正符号化をかけておく等の処理を
加える。一方、ＨＨ３のような高周波数領域に属する係
数は、画像に及ぼす影響が比較的小さいので、特別強い
処理は施さない。このように、デブロック化部により、
ブロック化部３１と逆の操作を行うことにより、画像に
及ぼす影響が大きい低周波領域の符号化データを特に保
護して起こることが可能になり、また、画像に及ぼす影
響の小さい高周波領域に符号化データをそれ相応の保護
を与えて伝送することができるために、効率の良い伝送
が可能となる。The multiplexing processing section 42 performs the multiplexing processing for each frequency region of each coefficient. Coefficients belonging to the low frequency region such as LL1 have a large effect on the image, so
In order not to receive an error on the transmission line, processing such as using a high-quality transmission line or applying strong error correction coding is added. On the other hand, a coefficient such as HH3 that belongs to a high frequency region has a relatively small effect on the image, and thus is not subjected to a particularly strong process. In this way, the deblocking unit
By performing the operation reverse to that of the blocking unit 31, it is possible to particularly protect the encoded data in the low frequency region that has a large influence on the image, and to encode the high frequency region that has a small influence on the image. Since the encrypted data can be transmitted with appropriate protection, efficient transmission is possible.

【手続補正１１】[Procedure Amendment 11]

【補正対象書類名】明細書[Document name to be amended] Statement

【補正対象項目名】００６１[Correction target item name] 0061

【補正方法】変更[Correction method] Change

【補正内容】[Correction content]

【００６１】実施例８．上記実施例７においては２回の
帯域分割フィルタ処理と２×２のブロックサイズのＤＣ
Ｔを１回行ったが、帯域分割処理を１回にし、変換係数
１０１（ＬＬ３）に対して４×４のブロックサイズのＤ
ＣＴを行うことも可能である。Example 8. In the seventh embodiment, the band division filter processing is performed twice and the DC having the block size of 2 × 2 is used.
Although T is performed once, the band division processing is performed once, and D of the block size of 4 × 4 is applied to the transform coefficient 101 (LL3).
It is also possible to perform CT.

【手続補正１２】[Procedure Amendment 12]

【補正対象書類名】明細書[Document name to be amended] Statement

【補正対象項目名】００６４[Correction target item name] 0064

【補正方法】変更[Correction method] Change

【補正内容】[Correction content]

【００６４】第１の発明によれば、変換部において周波
数領域に変換された変換係数をブロック化部において、
同一空間部分における変換係数を抽出するようにしたの
でその後の量子化処理において、周波数領域と空間領域
の双方をパラメータにして量子化を決定することが可能
になる。According to the first aspect of the present invention, the transform coefficient transformed into the frequency domain in the transform unit is converted into
Since the transform coefficient in the same space portion is extracted, it becomes possible to determine the quantization in the subsequent quantization process using both the frequency domain and the spatial domain as parameters.

【手続補正１３】[Procedure Amendment 13]

【補正対象書類名】明細書[Document name to be amended] Statement

【補正対象項目名】図８[Correction target item name] Figure 8

【補正方法】変更[Correction method] Change

【補正内容】[Correction content]

【図８】この発明の実施例７を示すブロック図である。FIG. 8 is a block diagram showing a seventh embodiment of the present invention.

Claims (8)

【特許請求の範囲】[Claims] 【請求項１】 以下の要素を有する符号化装置 （ａ）少なくとも離散ウェーブレット変換とサブバンド
分割とのいずれかを用いて所定の空間領域にわたる入力
信号を複数の周波数領域に対応する変換係数に変換する
変換手段、 （ｂ）以下の要素を有するブロック量子化手段 （ｂ１）上記変換手段により変換された複数の周波数領
域にわたり、上記空間領域内の任意の空間領域に対応す
る複数の変換係数を抽出するブロック化手段、 （ｂ２）上記ブロック手段により抽出された変換係数に
対して量子化を行なう量子化手段、 （ｃ）上記量子化手段により量子化されたデータを多重
化する多重化手段、 （ｄ）上記多重化手段により多重化されたデータを記憶
するバッファメモリ。1. An encoding device having the following elements: (a) transforming an input signal over a predetermined spatial domain into transform coefficients corresponding to a plurality of frequency domains using at least either discrete wavelet transform or subband division. (B) Block quantizing means having the following elements: (b1) Extracting a plurality of transform coefficients corresponding to an arbitrary spatial region within the spatial region over a plurality of frequency regions transformed by the transforming device. (B2) quantizing means for quantizing the transform coefficient extracted by the blocking means, (c) multiplexing means for multiplexing the data quantized by the quantizing means, d) A buffer memory for storing the data multiplexed by the multiplexing means. 【請求項２】 上記符号化装置は、さらに、バッファメ
モリの残量に基づいて閾値を変化させ、この閾値によ
り、ブロック化手段により抽出された変換係数に対して
閾値処理を行なう閾値処理手段を有することを特徴とす
る請求項１記載の符号化装置。2. The encoding apparatus further comprises threshold processing means for changing the threshold value based on the remaining capacity of the buffer memory, and performing threshold processing on the transform coefficient extracted by the blocking means by the threshold value. The encoding device according to claim 1, further comprising: 【請求項３】 上記符号化装置は、さらに、隣接する空
間領域で使用した閾値を記憶しておき、この記憶した値
に基づいて閾値を変化させ、この閾値によりブロック化
手段により抽出した所定の空間領域の周波数領域の異な
る変換係数に対して閾値処理を行なう閾値処理手段を有
することを特徴とする請求項１記載の符号化装置。3. The encoding device further stores a threshold value used in adjacent space areas, changes the threshold value based on the stored value, and uses the threshold value to extract a predetermined value by the blocking means. The coding apparatus according to claim 1, further comprising threshold processing means for performing threshold processing on transform coefficients having different frequency domains in the spatial domain. 【請求項４】 上記量子化手段は、上記バッファメモリ
の残量に基づいて量子化の基準を変化させることを特徴
とする請求項１記載の符号化装置。4. The encoding device according to claim 1, wherein the quantizing means changes the quantization standard based on the remaining capacity of the buffer memory. 【請求項５】 上記量子化手段は、隣接する空間領域で
使用した量子化の基準を記憶しておき、この記憶した基
準に基づいて量子化の基準を変化させ、この量子化の基
準によりブロック化手段により抽出した変換係数に対し
て量子化を行なうことを特徴とする請求項１記載の符号
化装置。5. The quantizing means stores a quantization standard used in adjacent space areas, changes the quantization standard based on the stored standard, and blocks the quantization standard. The coding apparatus according to claim 1, wherein the transform coefficient extracted by the coding means is quantized. 【請求項６】 多重化手段は、量子化手段において量子
化された変換係数を、周波数領域別にまとめ直すデブロ
ック化手段と、上記デブロック化手段により周波数領域
別にまとめられた変換係数を、各々の周波数領域ごとに
多重化を施す多重化処理手段とを備えたことを特徴とす
る請求項１記載の符号化装置。6. The demultiplexing means regroups the transform coefficients quantized by the quantizing means by frequency domain, and the deblocking means reorganizes the transform coefficients grouped by frequency domain by the deblocking means, respectively. 2. The encoding apparatus according to claim 1, further comprising: a multiplexing processing unit that performs multiplexing for each frequency domain. 【請求項７】 上記符号化装置は、さらに、入力信号に
対し、符号化データから復号された前フレームもしくは
数フレーム前の復号画像信号を用いて動き補償予測信号
を得る動き補償予測手段と、入力信号と上記動き補償予
測信号との差分信号を得て変換手段への入力信号とする
フレーム間差分手段とを供えたことを特徴とする請求項
１記載の符号化装置。7. The motion compensation prediction means for obtaining a motion compensated prediction signal using the decoded image signal of the previous frame or several frames before, which is decoded from the coded data, for the input signal. 2. An encoding apparatus according to claim 1, further comprising inter-frame difference means for obtaining a difference signal between the input signal and the motion compensation prediction signal and using it as an input signal to the conversion means. 【請求項８】 以下の工程を有する符号化方法 （ａ）所定の空間領域の信号を入力して、複数の周波数
領域の信号に変換する変換工程、 （ｂ）上記変換工程により変換された異なる周波数領域
の信号から、同一の空間領域部分に対応する信号を抽出
する抽出工程、 （ｃ）抽出した同一の空間領域部分に対応する異なる周
波数領域の信号に対して、量子化を行なう量子化工程。8. An encoding method having the following steps: (a) a conversion step of inputting a signal in a predetermined spatial domain and converting the signal into a plurality of frequency domain signals; and (b) a different conversion performed by the conversion step. An extraction step of extracting signals corresponding to the same spatial domain portion from the frequency domain signal; and (c) a quantization step of performing quantization on different frequency domain signals corresponding to the extracted same spatial domain portion. ..