JPH0522709A - Image signal decoder - Google Patents
Image signal decoderInfo
- Publication number
- JPH0522709A JPH0522709A JP17372691A JP17372691A JPH0522709A JP H0522709 A JPH0522709 A JP H0522709A JP 17372691 A JP17372691 A JP 17372691A JP 17372691 A JP17372691 A JP 17372691A JP H0522709 A JPH0522709 A JP H0522709A
- Authority
- JP
- Japan
- Prior art keywords
- block
- circuit
- distortion
- sub
- coefficient
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression Of Band Width Or Redundancy In Fax (AREA)
Abstract
Description
【０００１】[0001]
【産業上の利用分野】本発明は、高圧縮符号化された後
に伝送もしくは記録された画像を復号する画像信号復号
化装置に係り、特に、ブロック歪除去処理の改良に関す
る。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to an image signal decoding apparatus for decoding an image transmitted or recorded after being highly compression coded, and more particularly to improvement of block distortion removal processing.
【０００２】[0002]
【従来の技術】ＣＣＤ（電荷結合素子）に代表される固
体撮像装置等により撮像された画像信号を、メモリカー
ド，磁気ディスク，あるいは磁気テープ，等の記憶装置
にディジタルデータとして記録する場合、そのデータ量
は膨大なものとなる。このため、限られた記憶容量の範
囲で記録しようとするには、得られた画像信号のデータ
に対し、何らかの高能率な圧縮を行なうことが必要とな
る。2. Description of the Related Art When an image signal picked up by a solid-state image pickup device typified by a CCD (charge coupled device) is recorded as digital data in a storage device such as a memory card, a magnetic disk, or a magnetic tape, The amount of data will be enormous. Therefore, in order to record in a limited storage capacity range, it is necessary to perform some high-efficiency compression on the obtained image signal data.
【０００３】そのような高能率な画像データの圧縮方式
として、所定の大きさのブロックに分割した画像データ
に対する直交変換符号化を利用した符号化方法が広く知
られている。As such a highly efficient image data compression method, an encoding method utilizing orthogonal transform encoding for image data divided into blocks of a predetermined size is widely known.
【０００４】しかしながら、この方法は、ブロック毎に
直交変換として２次元のＤＣＴ（離散コサイン変換）等
を行なって変換した係数を、各周波数成分に応じた線形
量子化し、可変長符号化を行ない、その結果を伝送また
は記録しているので、量子化誤差つまり画質劣化の度合
いがブロック毎に異なり、ブロック境界が目立ってしま
うという所謂ブロック歪みが発生してしまう。However, according to this method, a coefficient obtained by performing two-dimensional DCT (discrete cosine transform) or the like as orthogonal transformation for each block is linearly quantized according to each frequency component, and variable length coding is performed. Since the result is transmitted or recorded, so-called block distortion occurs in which the quantization error, that is, the degree of image quality deterioration differs for each block, and the block boundary becomes conspicuous.
【０００５】以下、この様子をもう少し詳しく説明す
る。上記ＤＣＴを行なうことにより、画像データは直流
成分ＤＣと交流成分ＡＣに変換される。この時、例えば
８×８の画素毎にブロック化したとすると、マトリック
ス上には原点位置（（０，０）位置）に直流成分ＤＣの
値を示すデータが格納され、（０，７）位置には横軸方
向の交流成分ＡＣの最大周波数値を示すデータが、
（７，０）位置には縦軸方向の交流成分ＡＣの最大周波
数値を示すデータが、さらに、（７，７）位置には斜方
向の交流成分ＡＣの最大周波数値を示すデータがそれぞ
れ格納される。そして、中間位置では、それぞれの座標
位置により関係付けられる方向に於ける周波数データ
が、原点側より順次高い周波数のものが出現する形で格
納されることになる。This situation will be described in more detail below. By performing the DCT, the image data is converted into a DC component DC and an AC component AC. At this time, for example, assuming that each pixel is divided into 8 × 8 pixels, data indicating the value of the DC component DC is stored at the origin position ((0,0) position) on the matrix, and the (0,7) position is stored. Is data showing the maximum frequency value of the AC component AC in the horizontal axis direction.
Data indicating the maximum frequency value of the AC component AC in the vertical axis direction is stored in the (7,0) position, and further data indicating the maximum frequency value of the AC component AC in the oblique direction is stored in the (7,7) position. To be done. Then, at the intermediate position, the frequency data in the direction associated with each coordinate position is stored in such a manner that the frequency data having a higher frequency sequentially from the origin side appears.
【０００６】次に、このマトリックスに於ける各座標位
置の格納データを、各周波数成分毎の量子化幅で割るこ
とにより、各周波数成分に応じた線形量子化を行ない、
この量子化された値に対し可変長符号化としてハフマン
符号化を行なう。この時、直流成分ＤＣに関しては、近
傍ブロックの直流成分との差分値をハフマン符号化す
る。また、交流成分ＡＣに関しては、ジグザグスキャン
と呼ばれる低い周波数成分から高い周波数成分へのスキ
ャンを行ない、無効（値が“０”）の成分の連続する個
数（零のラン数）と、それに続く有効な成分の値の２次
元のハフマン符号化を行なって、データとする。Next, the stored data at each coordinate position in this matrix is divided by the quantization width for each frequency component to perform linear quantization according to each frequency component,
Huffman coding is performed on this quantized value as variable-length coding. At this time, for the DC component DC, the difference value with the DC component of the neighboring block is Huffman-encoded. Regarding the AC component AC, a scan from a low frequency component called a zigzag scan to a high frequency component is performed, and the number of consecutive invalid components (value “0”) (zero run number) is followed by the effective number. Two-dimensional Huffman coding is performed on the values of various components to obtain data.
【０００７】この方法に於いて、圧縮率は、前記量子化
の量子化幅を変化させることによって制御されるのが一
般的で、圧縮率が高くなるほど、量子化幅は大きくな
り、従って量子化誤差が大きくなり、再生画像の画質劣
化が目立つようになる。In this method, the compression rate is generally controlled by changing the quantization width of the quantization. The higher the compression rate, the greater the quantization width, and thus the quantization. The error becomes large, and the deterioration of the image quality of the reproduced image becomes noticeable.
【０００８】この変換係数の量子化誤差は、再生画像に
於いてブロック境界部分に不連続が発生する所謂ブロッ
ク歪みとして現われ、このブロック歪みは、視覚的に目
立つために、たとえＳ／Ｎが良好であっても、主観的な
印象は悪くなってしまう。The quantization error of the transform coefficient appears as a so-called block distortion in which a discontinuity occurs at a block boundary portion in a reproduced image, and this block distortion is visually noticeable, so that S / N is good. Even so, the subjective impression gets worse.
【０００９】そこで、復号器によって再生された画像
に、歪除去処理として低域通過（ローパス）フィルタを
かける方法が考え出された。この後置フィルタは、比較
的良好に歪を除去することができるが、画像中にエッヂ
等が含まれている場合にそれらがボケてしまい、逆にボ
ケを減らすためにローパスの度合いをゆるくするとブロ
ック歪みが完全に除去できなくなるといった不具合があ
った。Therefore, a method of applying a low-pass filter to the image reproduced by the decoder as a distortion removal process has been devised. This post-filter can remove the distortion relatively well, but if the image contains edges etc., they will be blurred, and conversely if the degree of low pass is loosened to reduce the blur. There was a problem that the block distortion could not be completely removed.
【００１０】このような点に鑑みて、例えば特開平３−
４６４８２号公報に開示されているように、上述したよ
うなブロック歪みが発生しているかどうか判断し、歪み
の度合いに応じて歪み除去処理の程度を変化させる方法
が考え出されている。In view of such a point, for example, Japanese Unexamined Patent Publication No.
As disclosed in Japanese Patent No. 46482, there has been devised a method of determining whether the block distortion as described above has occurred and changing the degree of the distortion removal processing according to the degree of the distortion.
【００１１】また、特開平１−３１１７８２号公報に
は、変換係数をどの程度伝送するかを決めて、その範囲
内の係数を量子化，符号化して伝送し、それと同時に伝
送された範囲も情報として多重化して伝送し、復号器側
では、その情報を利用して後置フィルタの度合いを局所
的に変化させるようにした方法も開示されている。Further, in Japanese Laid-Open Patent Publication No. 1-311782, it is determined how much transform coefficients are to be transmitted, and the coefficients within the range are quantized and encoded and transmitted, and at the same time, the range transmitted is also information. There is also disclosed a method in which the degree of the post-filter is locally changed by utilizing the information on the decoder side by multiplexing and transmitting.
【００１２】[0012]
【発明が解決しようとする課題】しかしながら、上記特
開平３−４６４８２号公報に開示されている方法では、
ブロック歪みの度合いを求めるときに、画像情報と歪み
とを区別するのが難しく、歪みだけでなく画像のエッヂ
情報までも失ってしまうことがある。However, in the method disclosed in Japanese Patent Laid-Open No. 3-46482 mentioned above,
When obtaining the degree of block distortion, it is difficult to distinguish between image information and distortion, and not only distortion but also image edge information may be lost.
【００１３】また、後者の特開平１−３１１７８２号公
報に開示されている方法では、符号器側で変換係数の送
られた範囲を示す信号を送り、その信号に従ってフィル
タの度合いを変化させるようにしているので、変換係数
の送られた範囲を示す信号を伝送しなければならない分
だけ情報に無駄があり、従って圧縮率をあまり上げるこ
とができないといった不具合があった。Further, in the latter method disclosed in Japanese Patent Laid-Open No. 1-311782, a signal indicating the range to which the transform coefficient is sent is sent on the encoder side, and the degree of the filter is changed according to the signal. Therefore, there is a problem that the information is wasted because the signal indicating the range in which the conversion coefficient is sent must be transmitted, and therefore the compression rate cannot be increased so much.
【００１４】本発明は上記の点に鑑みてなされたもの
で、高圧縮された画像に対して簡単な回路により、適応
的にブロック歪除去処理を行なうことのできる画像信号
復号化装置を提供することを目的とする。The present invention has been made in view of the above points, and provides an image signal decoding apparatus capable of adaptively performing block distortion removal processing on a highly compressed image with a simple circuit. The purpose is to
【００１５】[0015]
【課題を解決するための手段】上記目的を達成するた
め、本発明による画像信号復号化装置は、画像データを
ブロックに分割し、この分割されたブロック毎に直交変
換を行なってからこの変換出力を量子化し、その後この
量子化出力を可変長符号化して圧縮した圧縮画像データ
を受けて、この圧縮画像データを復号化する可変長符号
デコード手段と、前記可変長符号デコード手段からの復
号化出力を逆量子化する逆量子化手段と、前記逆量子化
手段からの逆量子化出力を逆直交変換する逆直交変換手
段と、前記逆直交変換手段からの変換出力の復号された
画像データをサブブロックに分割するサブブロッキング
手段と、前記サブブロッキング手段の出力に歪み除去処
理を行なう歪み除去手段と、前記サブブロックキング毎
に評価値を求め、この評価値によって前記歪除去手段に
於ける歪み除去特性を変化させる歪除去特性決定手段と
を具備することを特徴としている。In order to achieve the above object, an image signal decoding apparatus according to the present invention divides image data into blocks, performs orthogonal transformation on each of the divided blocks, and then outputs the transformed output. Variable length code decoding means for receiving the compressed image data obtained by quantizing the compressed output and then compressing the quantized output by variable length coding, and the decoding output from the variable length code decoding means. Dequantizing means for inverse quantizing, inverse orthogonal transforming means for inverse orthogonal transforming the inverse quantized output from the inverse quantizing means, and the decoded image data of the transformed output from the inverse orthogonal transforming means Subblocking means for dividing into blocks, distortion removing means for performing distortion removal processing on the output of the subblocking means, and an evaluation value for each subblocking It is characterized by comprising a strain relief characterization means for changing the in distortion removal properties to said strain relief means the evaluation value.
【００１６】[0016]
【作用】即ち、一般に、ブロック歪みの目立ちやすさ
は、近傍の画像の持つ空間周波数によって変化する。つ
まり、細かな構造の有る高い空間周波数まで成分を持っ
ているような部分にブロック歪みが発生している場合に
は、あまりブロック歪みは目立たない。逆に、比較的に
変化の緩やかな低い空間周波数成分しか無い部分にブロ
ック歪みが発生している場合は、ブロック歪みが目立ち
やすくなる。Function: That is, in general, the degree of conspicuousness of block distortion varies depending on the spatial frequency of an image in the vicinity. That is, when the block distortion occurs in a portion having a fine structure and having a component up to a high spatial frequency, the block distortion is not so noticeable. On the contrary, when the block distortion is generated in the portion having only the low spatial frequency component that changes relatively gently, the block distortion becomes conspicuous.
【００１７】一方、ブロック歪みは、ブロック境界での
不連続性によるものなので、非常に高い空間周波数まで
成分を持っている。従って、歪みの近傍の画像の持つ空
間周波数よりも高い空間周波数成分を除いてやることに
よって、ブロック歪みは目立たなくすることができる。On the other hand, block distortion has a component up to a very high spatial frequency because it is caused by discontinuity at the block boundary. Therefore, the block distortion can be made inconspicuous by removing the spatial frequency component higher than the spatial frequency of the image near the distortion.
【００１８】そこで、本発明による画像信号復号化装置
では、復号された画像データをサブブロックに分割し、
サブブロック毎に評価値を求めている。ただし、このサ
ブブロック毎の評価値は、サブブロックがどの程度まで
周波数成分を含んでいたか、またそのサブブロックがど
の程度ブロック歪みに影響しているかという情報等に基
づいて求められる。そして、その評価値に基づいて、歪
み除去の特性を適応的に変化させる。つまり、ブロック
単位で記録されていた情報の帯域をほとんど失わないよ
うにフィルタリングするように、低い空間周波数成分し
か無いサブブロックには広い範囲に渡って平均化するよ
うな強いローパスフィルタリングを行ない、逆に比較的
高い空間周波数成分まで含んでいるサブブロックにはあ
まりぼかさないような弱いローパスフィルタリングを行
なうことで、画像にボケ等を生じさせずにブロック歪み
を除去することができる。Therefore, in the image signal decoding apparatus according to the present invention, the decoded image data is divided into sub-blocks,
The evaluation value is obtained for each sub-block. However, the evaluation value for each sub-block is obtained based on information such as to what extent the sub-block includes frequency components, and how much the sub-block affects the block distortion. Then, the characteristic of distortion removal is adaptively changed based on the evaluation value. In other words, strong low-pass filtering that averages over a wide range is performed for sub-blocks that have only low spatial frequency components, so that filtering is performed so that the band of information recorded in block units is hardly lost. By performing a weak low-pass filtering that does not blur the sub-block that includes a relatively high spatial frequency component, the block distortion can be removed without causing blurring in the image.
【００１９】[0019]
【実施例】以下、図面を参照して、本発明の実施例を説
明する。Embodiments of the present invention will be described below with reference to the drawings.
【００２０】図１は、本発明の第１の実施例に係る画像
信号復号化装置のブロック構成図である。画像データを
ブロックに分割し、この分割されたブロック毎に直交変
換を行なってからこの変換出力を量子化し、その後、こ
の量子化出力を可変長符号化して圧縮された後、伝送も
しくは記録された圧縮画像データは、可変長符号デコー
ド回路１１に与えられる。この可変長符号デコード回路
１１は、与えられた圧縮画像データの可変長符号をデコ
ードし、逆量子化回路１２に送って逆量子化する。この
逆量子化結果は、圧縮単位であるブロック毎の変換係数
であるので、ブロック内の空間周波数成分に相当してい
る。FIG. 1 is a block diagram of an image signal decoding apparatus according to the first embodiment of the present invention. Image data is divided into blocks, orthogonal transformation is performed for each divided block, the transformed output is quantized, and then the quantized output is variable length coded and compressed, and then transmitted or recorded. The compressed image data is given to the variable length code decoding circuit 11. The variable length code decoding circuit 11 decodes the given variable length code of the compressed image data and sends it to the inverse quantization circuit 12 for inverse quantization. This dequantization result is a transform coefficient for each block, which is a compression unit, and thus corresponds to a spatial frequency component in the block.
【００２１】逆量子化回路１２の出力データは、二分さ
れて、一方は逆直交変換回路１３に送られ、実空間での
画像信号を得る。残りの一方は、係数判定回路１４に送
られる。この係数判定回路１４では、各ブロック毎に空
間周波数成分の絶対値を閾値と比較し、閾値より大きい
係数を有意係数とし、歪除去特性決定回路１７にその情
報を送る。The output data of the inverse quantization circuit 12 is divided into two, and one of them is sent to the inverse orthogonal transformation circuit 13 to obtain an image signal in the real space. The other one is sent to the coefficient determination circuit 14. The coefficient determination circuit 14 compares the absolute value of the spatial frequency component with a threshold value for each block, sets a coefficient larger than the threshold value as a significant coefficient, and sends the information to the distortion removal characteristic determination circuit 17.
【００２２】一方、逆直交変換回路１３で得られた画像
信号は、サブブロッキング回路１５に送られてサブブロ
ックに分解された後、歪除去回路１６に送られてサブブ
ロック毎に最適な歪み除去処理を施される。この歪除去
回路１６に於ける歪み除去処理は、サブブロック単位で
歪み除去処理を行なったときに前記係数判定回路１４で
求めた圧縮単位のブロックの有意係数の帯域を保存する
ようなローパスの特性を歪除去特性決定回路１７にて決
定し、この特性で行なわれるようにしている。On the other hand, the image signal obtained by the inverse orthogonal transform circuit 13 is sent to the sub-blocking circuit 15 and decomposed into sub-blocks, and then sent to the distortion removing circuit 16 to optimally remove distortion for each sub-block. It is processed. The distortion removal processing in the distortion removal circuit 16 is a low-pass characteristic that preserves the band of significant coefficients of the block of the compression unit obtained by the coefficient determination circuit 14 when the distortion removal processing is performed in sub-block units. Is determined by the distortion removal characteristic determination circuit 17, and this characteristic is used.
【００２３】具体的には、今、逆直変換回路１３に与え
られる３つのブロックの直交変換係数を、図２の（Ａ）
のような８画素×８画素のＤＣＴ係数とし、左から順に
第１，第２，第３ブロックとし、それぞれ斜線のハッチ
ングを施して示す４×４の部分２１，３×３の部分２
２，１×１の部分２３の係数が零でなかったとする。係
数判定回路１４では、同図のハッチングを施して示す部
分２１，２２，２３が、非零であることから、それらを
有意係数と判定する（ちなみに、この有意係数の判定方
法については、本発明が適用されるような符号化に於い
て圧縮率を上げていくと量子化幅が大きくなっていき、
特に高周波成分は一般的にパワーが少ないためほとんど
が０に量子化され、有意な係数として残るものは少ない
ので、非零を有意係数と判定する方法は有効である）。More specifically, the orthogonal transform coefficients of the three blocks given to the inverse transform circuit 13 are shown in FIG.
8 × 8 pixel DCT coefficients, and the first, second, and third blocks are arranged in order from the left, and the 4 × 4 portion 21 and the 3 × 3 portion 2 are shown by hatching.
It is assumed that the coefficient of the 2, 1 × 1 portion 23 is not zero. In the coefficient determination circuit 14, since the hatched portions 21, 22, and 23 shown in the figure are non-zero, they are determined to be significant coefficients. (By the way, regarding the determination method of this significant coefficient, When the compression rate is increased in the encoding where is applied, the quantization width increases,
In particular, since high frequency components are generally low in power, most of them are quantized to 0, and few remain as significant coefficients, so the method of determining non-zero as a significant coefficient is effective).
【００２４】一方、サブブロッキング回路１５で、サブ
ブロックに分割した画像データに対して歪除去回路１６
でコンボリューションフィルタリングを行なう。ここで
今、単純のために、歪み除去処理として１次元の横方向
のフィルタリングだけを考えると、歪除去回路１６は、
図２の（Ｂ）に破線で示すようにサブブロックに分割し
た画像信号に対して前記各ブロックの有意係数の帯域を
保存するような歪み除去処理を行なう。つまり、Ａのサ
ブブロックは第１と第２ブロックに、Ｂのサブブロック
は第２と第３ブロックにそれぞれまたがっているので、
歪除去特性決定回路１７では、サブブロックのまたがっ
たブロックの帯域の広いほうを保存するようなフィルタ
を選択するようにしている。従って、Ａのサブブロック
の場合は第１ブロック、Ｂのサブロックの場合は第２ブ
ロックの帯域を保存するようなフィルタとなる。このよ
うにブロック歪みの存在するブロック境界と歪み除去処
理を行なうサブブロック境界とを異ならせるのは、以下
の理由による。On the other hand, in the sub-blocking circuit 15, the distortion removing circuit 16 is applied to the image data divided into sub-blocks.
To perform convolution filtering. Here, for simplicity, considering only one-dimensional horizontal filtering as the distortion removal processing, the distortion removal circuit 16
As shown by the broken line in FIG. 2B, distortion removal processing is performed on the image signal divided into sub-blocks so as to preserve the band of the significant coefficient of each block. That is, since the A sub-block spans the first and second blocks, and the B sub-block spans the second and third blocks, respectively,
The distortion removal characteristic determination circuit 17 selects a filter that preserves the wider band of the blocks straddling the sub-blocks. Therefore, the filter is such that the band of the first block is stored in the case of the A sub-block and the band of the second block is stored in the case of the B sub-block. The reason why the block boundary in which block distortion exists and the sub-block boundary in which the distortion removal processing is performed are different is as follows.
【００２５】図３の（Ａ）は、ブロック歪みの存在する
ブロック境界とサブブロック境界とを等しくした場合の
例である。左側のブロックＡには何もなく、周波数的に
はＤＣ成分のみのブロックである。右側のブロックＢの
斜線部２４は他の部分とコントラスト差の大きいシャド
ウ部で、強いエッヂの存在するブロックとなっており、
高い周波数成分まで含んでいる。FIG. 3A shows an example in which the block boundary where block distortion exists and the sub-block boundary are made equal. The block A on the left side has nothing, and is a block having only a DC component in terms of frequency. The shaded portion 24 of the block B on the right side is a shadow portion having a large contrast difference with other portions, and is a block having a strong edge.
It also includes high frequency components.
【００２６】従って、ブロックＡの全ての画素に対して
ブロックＡの周波数帯域を保存するようなフィルタリン
グを行なってしまうと、ブロックＢ近傍の画素にも強い
ローパスをかけることになるので、フィルタのタップが
ブロックＢの斜線部を含んだ場合にブロックＡ中にもシ
ャドウ部ができてくる。ところが、ブロックＢの画素に
対して殆どローパスはかけられないので、エッヂがその
まま残ることになる。従って、フィルタリング後は図３
の（Ｂ）のように、エッヂが二重になるような歪みが発
生してしまうことがある。Therefore, if filtering is performed on all the pixels of the block A so as to preserve the frequency band of the block A, the pixels in the vicinity of the block B are also subjected to a strong low pass, so that the tap of the filter is performed. When the block B includes a shaded portion, a shadow portion is also formed in the block A. However, since the low pass is hardly applied to the pixels of the block B, the edge remains as it is. Therefore, after filtering,
As shown in (B), the distortion may occur such that the edges are doubled.
【００２７】このような歪みは、本第１の実施例のよう
に、ブロック歪みの存在するブロック境界と歪み除去処
理を行なうサブブロック境界とを異ならせることによっ
て防ぐことが可能となる。Such distortion can be prevented by making the block boundary where block distortion exists and the sub-block boundary for which distortion removal processing is performed different, as in the first embodiment.
【００２８】図４は、本発明の第２の実施例に係る画像
信号復号化装置のブロック構成図である。本第２の実施
例は、変換係数に対する周波数領域でのフィルタリング
を可能とするものである。FIG. 4 is a block configuration diagram of an image signal decoding apparatus according to the second embodiment of the present invention. The second embodiment enables filtering of transform coefficients in the frequency domain.
【００２９】即ち、本第２の実施例の画像信号復号化装
置では、先ず可変長符号デコード回路４１は、伝送また
は記録された圧縮画像データを受けて、その圧縮画像デ
ータの可変長符号をデコードする。このデコード出力
は、逆量子化回路４２に与えられ、逆量子化される。こ
の逆量子化された結果は二分されて、一方は逆直交変換
回路４３に送られる。この逆直交変換回路１３は、与え
られた逆量子化出力を逆直交変換して実空間での画像信
号を得、これをサブブロッキング回路４５に送って、サ
ブブロックに分解する。この時、ブロック境界と歪み除
去処理を行なうサブブロック境界とは異ならせてある。That is, in the image signal decoding apparatus of the second embodiment, first, the variable length code decoding circuit 41 receives the transmitted or recorded compressed image data and decodes the variable length code of the compressed image data. To do. The decoded output is given to the dequantization circuit 42 and dequantized. The inversely quantized result is divided into two and one is sent to the inverse orthogonal transform circuit 43. The inverse orthogonal transform circuit 13 performs an inverse orthogonal transform on the supplied inverse quantized output to obtain an image signal in the real space, sends it to the subblocking circuit 45, and decomposes it into subblocks. At this time, the block boundary is different from the sub-block boundary on which the distortion removal processing is performed.
【００３０】サブブロッキング回路４５の出力は、直交
変換回路４６に送られて、直交変換係数にされる。この
直交変換係数にされた信号は、二分されて、一方は歪除
去回路４９に送られる。もう一方は、絶対値回路４７で
絶対値に変換された後、歪除去特性決定回路４８に送ら
れる。The output of the sub-blocking circuit 45 is sent to the orthogonal transform circuit 46 and converted into orthogonal transform coefficients. The signal converted into the orthogonal transform coefficient is divided into two and one is sent to the distortion removing circuit 49. The other is converted to an absolute value by the absolute value circuit 47 and then sent to the distortion removal characteristic determination circuit 48.
【００３１】この歪除去特性決定回路４８には、上記逆
量子化回路４２のもう一方の出力が同様に絶対値回路４
４によって絶対値に変換されて与えられている。従っ
て、この歪除去特性決定回路４８は、両方の直交変換係
数の絶対値を比較し、歪み除去特性を決定して、その情
報を歪除去回路４９に送る。The other output of the inverse quantization circuit 42 is similarly supplied to the absolute value circuit 4 in the distortion removal characteristic determining circuit 48.
It is converted into an absolute value by 4 and given. Therefore, the distortion removal characteristic determination circuit 48 compares the absolute values of both orthogonal transform coefficients, determines the distortion removal characteristic, and sends the information to the distortion removal circuit 49.
【００３２】歪除去回路４９では、前記情報に基づいて
サブブロック毎に最適な歪み除去処理を施す。この時の
歪み除去処理は、直交変換係数面での周波数フィルタリ
ングとなる。歪除去特性決定回路４８でのフィルタの特
性決定方法は、サブブロック毎の直交変換係数の絶対値
が、サブブロックのまたがるブロックのそれとほぼ等し
いエネルギーを持つようにするフィルタリングとしてい
る。The distortion removing circuit 49 performs optimum distortion removing processing for each sub-block based on the above information. The distortion removal processing at this time is frequency filtering in the orthogonal transform coefficient plane. The method of determining the characteristics of the filter in the distortion removal characteristic determining circuit 48 is filtering so that the absolute value of the orthogonal transform coefficient for each sub-block has an energy that is substantially equal to that of the blocks of the sub-blocks.
【００３３】このフィルタは、絶対値回路４４からの出
力からだけ、もしくは第１の実施例同様係数判定回路の
出力によって決定しても構わない。これらの場合には、
直交変換回路４６の出力は、歪除去回路４９にだけ送れ
ば良く、従って絶対値回路４７は必要なくなる。そし
て、フィルタリング後、再び逆直交変換回路５０で逆直
交変換されて出力回路５１によって出力される。This filter may be determined only by the output from the absolute value circuit 44 or by the output of the coefficient judging circuit as in the first embodiment. In these cases,
The output of the orthogonal transformation circuit 46 need only be sent to the distortion removal circuit 49, and the absolute value circuit 47 is therefore unnecessary. Then, after filtering, it is subjected to inverse orthogonal transform again by the inverse orthogonal transform circuit 50 and output by the output circuit 51.
【００３４】次に、本発明の第３の実施例につき説明す
る。本第３の実施例では、サブブロックは圧縮時のブロ
ックサイズよりも小さくして、それぞれの位置によって
フィルタ特性を変えるようにしているものである。Next, a third embodiment of the present invention will be described. In the third embodiment, the sub-block is made smaller than the block size at the time of compression, and the filter characteristic is changed depending on each position.
【００３５】図５に於いて、実線は圧縮時のブロック境
界で、破線は歪み除去処理のための４×４のサブブロッ
ク境界を示している。同図の斜線のハッチングを施して
示すサブブロックはブロック境界を含まないので、高周
波によるブロック歪みの除去には殆ど影響しない部分で
ある。従って、このようなサブブロックの歪み除去特性
を他のブロック境界を含むものと同じにするのは無駄な
場合がある。In FIG. 5, the solid line indicates a block boundary at the time of compression, and the broken line indicates a 4 × 4 sub-block boundary for distortion removal processing. Since the sub-blocks shown by hatching in the figure do not include block boundaries, they are portions that hardly affect the removal of block distortion due to high frequencies. Therefore, it may be wasteful to make the distortion removal characteristic of such a sub-block the same as that of other block boundaries.
【００３６】そこで、本第３の実施例では、ブロック境
界を含まないサブブロックに対して歪除去特性決定回路
に於いて非常に強いローパスをかけると判断された場合
以外はローパスの度合いを弱いものに変更するようにし
ている。従って、空のような低周波数成分しかないよう
な領域はこれまでと同様に強いローパスがかけられ、高
周波成分を含む領域ではブロック境界近傍とそうでない
部分とで異なるフィルタがかけられることになる。Therefore, in the third embodiment, the degree of low-pass is weak except when it is determined in the distortion removal characteristic determination circuit that a very strong low-pass is applied to a sub-block that does not include a block boundary. I am trying to change it. Therefore, a strong low-pass is applied to a region having only low frequency components such as the sky, and different filters are applied to the region including the high frequency component in the vicinity of the block boundary and the other region.
【００３７】具体的には、例えば第１の実施例のような
構成の場合には、サブブロッキング回路１５から歪除去
特性決定回路１７に、サブブロックがどのブロックに属
しているのかという情報と、ブロック境界を含むかどう
かという情報を送るようにすれば良い。Specifically, for example, in the case of the configuration of the first embodiment, the sub-blocking circuit 15 informs the distortion removal characteristic determining circuit 17 of information indicating which block the sub-block belongs to. It suffices to send information indicating whether the block boundary is included.
【００３８】以上、第１乃至第３の実施例により説明し
たように、本発明によれば、圧縮データを復号して得た
変換係数の有意データの持っている帯域を保存するよう
なローパスフィルタをサブブロック毎に適応的にかける
ことで、各ブロック内の構造をボケさせずに歪みを除去
することができるようになる。また、復号化処理の途中
結果であるデータのみを用いて歪み除去特性を決定する
ので、符号器側で歪み除去のための情報を付加する必要
はなく、画像中のエッヂの有無やブロック歪を検出する
ような処理も当然必要としないので、回路的に非常に簡
単な構成で実現できる。As described above with reference to the first to third embodiments, according to the present invention, a low-pass filter that preserves the band of significant data of transform coefficients obtained by decoding compressed data. By adaptively applying for each sub-block, it becomes possible to remove the distortion without blurring the structure in each block. Also, since the distortion removal characteristics are determined using only the data that is the intermediate result of the decoding process, it is not necessary to add information for distortion removal on the encoder side, and the presence or absence of edges in the image and block distortion can be determined. Naturally, no processing for detection is required, so that the circuit can be realized with a very simple configuration.
【００３９】なお、本発明をカラー画像に応用した場
合、輝度信号と色差信号とでそれぞれ別々に処理しても
良いし、輝度信号を先に処理して色差信号は輝度信号の
歪み除去特性の結果を利用して処理を決定するようにし
ても良い。さらに、両方の信号で決定した歪み除去特性
の好ましい方を選択して、両方の信号に同じ処理を施す
ようにしても良い。また、歪み除去処理の程度を決定す
る評価値として、各ブロックの符号量か、または各ブロ
ックの変換係数の有意な係数の個数、もしくは各ブロッ
クの変換係数の有意な係数のそれぞれのシーケンスによ
って予め定められている重みの和を用いるようにしても
構わない。When the present invention is applied to a color image, the luminance signal and the color difference signal may be separately processed, or the luminance signal may be processed first and the color difference signal may have the distortion removal characteristic of the luminance signal. The processing may be determined using the result. Further, a preferable one of the distortion removal characteristics determined by both signals may be selected and the same processing may be performed on both signals. In addition, as an evaluation value that determines the degree of distortion removal processing, the code amount of each block, the number of significant coefficients of transform coefficients of each block, or the sequence of each significant coefficient of transform coefficients of each block is preset. You may make it use the sum of the defined weight.
【００４０】また、上記実施例で詳述したような、コン
ボリューションフィルタのカーネルサイズは任意であっ
て、フィルタリングに先立ってフィルタ特性を決めるた
めのデータや各ブロックの再生データを全て求めてメモ
リに格納しておいてフィルタリングするようにしても良
い。Further, as described in detail in the above embodiment, the kernel size of the convolution filter is arbitrary, and all the data for determining the filter characteristics and the reproduction data of each block are obtained and stored in the memory prior to the filtering. It may be stored and filtered.
【００４１】なお、本発明は、前述した実施例で使用し
たブロックサイズ，直交変換の種類，可変長符号化の種
類，等に限定されるものではない。また、フィルタは周
波数面でのフィルタリングや、コンボリューションフィ
ルタ以外でも歪み除去効果のあるものであればどのよう
な物であっても構わない。The present invention is not limited to the block size, the type of orthogonal transform, the type of variable length coding, etc. used in the above-mentioned embodiment. Further, the filter may be any one other than the convolution filter as long as it has the effect of removing distortion, such as filtering in the frequency plane.
【００４２】[0042]
【発明の効果】以上詳述したように、本発明によれば、
高圧縮された画像に対して簡単な回路により、適応的に
ブロック歪除去処理を行なうことのできる画像信号復号
化装置を提供することができる。As described in detail above, according to the present invention,
It is possible to provide an image signal decoding device capable of adaptively performing block distortion removal processing on a highly compressed image with a simple circuit.
【００４３】即ち、本発明は、圧縮画像の復号化装置に
関するもので、伝送もしくは記録されていた画像情報だ
けを用いて適応的にブロック歪を除去することができ、
しかも回路的には簡単な構成なので、応用する装置のコ
ストダウンと小型化が図れ、静止画像のみならず、動画
像の再生機能付ディジタル電子カメラ等にも利用でき
る。That is, the present invention relates to a compressed image decoding apparatus, which can adaptively remove block distortion by using only image information transmitted or recorded.
Moreover, since the circuit has a simple structure, the cost and size of the applied device can be reduced, and the device can be used not only for still images but also for digital electronic cameras with a function of reproducing moving images.
【００４４】さらに、本発明によれば、符号化装置は従
来構成のままで良い。即ち、標準的な圧縮方式に対して
も復号化装置への工夫のみで効果が上げられ、もちろん
従来通りの再生もでき、また、歪み除去の程度を自由に
設定することができる。Further, according to the present invention, the encoding device may have the conventional configuration. That is, even with respect to the standard compression method, the effect can be improved only by devising the decoding device, the reproduction can be performed as usual, and the degree of distortion removal can be freely set.
【図１】本発明の第１の実施例に係る画像信号復号化装
置のブロック構成図である。FIG. 1 is a block configuration diagram of an image signal decoding apparatus according to a first embodiment of the present invention.
【図２】（Ａ）は係数判定回路の動作を説明するための
図であり、（Ｂ）は歪除去特性決定回路の動作を説明す
るための図である。FIG. 2A is a diagram for explaining the operation of a coefficient determination circuit, and FIG. 2B is a diagram for explaining the operation of a distortion removal characteristic determination circuit.
【図３】（Ａ）及び（Ｂ）はそれぞれブロック歪みの存
在するブロック境界とサブブロック境界とを等しくした
場合の歪除去回路に於けるフィルタリング前後のブロッ
クの状態を示す図である。FIGS. 3A and 3B are diagrams showing states of blocks before and after filtering in a distortion removing circuit when a block boundary in which block distortion exists and a sub-block boundary are equal to each other.
【図４】本発明の第２の実施例に係る画像信号復号化装
置のブロック構成図である。FIG. 4 is a block configuration diagram of an image signal decoding apparatus according to a second embodiment of the present invention.
【図５】本発明の第３の実施例に係る画像信号復号化装
置の動作を説明するための圧縮時のブロック境界と歪み
除去処理のためのサブブロックとの関係を示す図であ
る。[Fig. 5] Fig. 5 is a diagram illustrating a relationship between block boundaries at the time of compression and sub-blocks for distortion removal processing for explaining the operation of the image signal decoding apparatus according to the third embodiment of the present invention.
１１，４１…可変長符号デコード回路、１２，４２…逆
量子化回路、１３，４３，５０…逆直交変換回路、１４
…係数判定回路、１５，４５…サブブロッキング回路、
１６，４９…歪除去回路、１７，４８…歪除去特性決定
回路、１８，５１…出力回路、４４，４７…絶対値回
路、４６…直交変換回路。11, 41 ... Variable length code decoding circuit, 12, 42 ... Inverse quantization circuit, 13, 43, 50 ... Inverse orthogonal transform circuit, 14
... coefficient determination circuit, 15, 45 ... sub-blocking circuit,
16, 49 ... Distortion removal circuit, 17, 48 ... Distortion removal characteristic determination circuit, 18, 51 ... Output circuit, 44, 47 ... Absolute value circuit, 46 ... Orthogonal transformation circuit.
Claims (1)
割されたブロック毎に直交変換を行なってからこの変換
出力を量子化し、その後この量子化出力を可変長符号化
して圧縮した圧縮画像データを受けて、この圧縮画像デ
ータを復号化する可変長符号デコード手段と、 前記可変長符号デコード手段からの復号化出力を逆量子
化する逆量子化手段と、 前記逆量子化手段からの逆量子化出力を逆直交変換する
逆直交変換手段と、 前記逆直交変換手段からの変換出力の復号された画像デ
ータをサブブロックに分割するサブブロッキング手段
と、 前記サブブロッキング手段の出力に歪み除去処理を行な
う歪み除去手段と、 前記サブブロックキング毎に評価値を求め、この評価値
によって前記歪除去手段に於ける歪み除去特性を変化さ
せる歪除去特性決定手段と、 を具備することを特徴とする画像信号復号化装置。Claim: What is claimed is: 1. Image data is divided into blocks, orthogonal transformation is performed for each divided block, the transformed output is quantized, and then the quantized output is variable-length coded. Variable-length code decoding means for receiving the compressed compressed image data and decoding the compressed image data; dequantizing means for dequantizing the decoded output from the variable-length code decoding means; and dequantizing Inverse orthogonal transform means for inverse orthogonal transforming the inverse quantized output from the means, subblocking means for dividing the decoded image data of the transformed output from the inverse orthogonal transform means into subblocks, output of the subblocking means Distortion removing means for performing the distortion removing process, and an evaluation value for each of the sub-blocking, and the distortion removing characteristic of the distortion removing means is determined by the evaluation value. An image signal decoding apparatus comprising: a distortion removal characteristic determining unit that changes.
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP17372691A JP3317982B2 (en) | 1991-07-15 | 1991-07-15 | Image signal decoding device |
| US08/238,983 US5625714A (en) | 1991-01-10 | 1994-05-06 | Image signal decoding device capable of removing block distortion with simple structure |
| US08/796,534 US5787204A (en) | 1991-01-10 | 1997-02-06 | Image signal decoding device capable of removing block distortion with simple structure |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP17372691A JP3317982B2 (en) | 1991-07-15 | 1991-07-15 | Image signal decoding device |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH0522709A true JPH0522709A (en) | 1993-01-29 |
| JP3317982B2 JP3317982B2 (en) | 2002-08-26 |
Family
ID=15966008
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP17372691A Expired - Fee Related JP3317982B2 (en) | 1991-01-10 | 1991-07-15 | Image signal decoding device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3317982B2 (en) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP0962092A2 (en) * | 1997-02-18 | 1999-12-08 | Mediatek Inc. | Method and apparatus for recovering quantized coefficients |
| US6370279B1 (en) | 1997-04-10 | 2002-04-09 | Samsung Electronics Co., Ltd. | Block-based image processing method and apparatus therefor |
| JP2010515362A (en) * | 2006-12-28 | 2010-05-06 | トムソン ライセンシング | Block artifact detection in coded images and video |
| US8472709B2 (en) | 2007-06-29 | 2013-06-25 | Thomson Licensing | Apparatus and method for reducing artifacts in images |
| CN103547163A (en) * | 2011-05-23 | 2014-01-29 | J-制油株式会社 | Oil or fat composition |
-
1991
- 1991-07-15 JP JP17372691A patent/JP3317982B2/en not_active Expired - Fee Related
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP0962092A2 (en) * | 1997-02-18 | 1999-12-08 | Mediatek Inc. | Method and apparatus for recovering quantized coefficients |
| US6370279B1 (en) | 1997-04-10 | 2002-04-09 | Samsung Electronics Co., Ltd. | Block-based image processing method and apparatus therefor |
| JP2010515362A (en) * | 2006-12-28 | 2010-05-06 | トムソン ライセンシング | Block artifact detection in coded images and video |
| US8472709B2 (en) | 2007-06-29 | 2013-06-25 | Thomson Licensing | Apparatus and method for reducing artifacts in images |
| CN103547163A (en) * | 2011-05-23 | 2014-01-29 | J-制油株式会社 | Oil or fat composition |
Also Published As
| Publication number | Publication date |
|---|---|
| JP3317982B2 (en) | 2002-08-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US5787204A (en) | Image signal decoding device capable of removing block distortion with simple structure | |
| US5479211A (en) | Image-signal decoding apparatus | |
| US5850294A (en) | Method and apparatus for post-processing images | |
| JP2005166021A (en) | Method for classifying pixel in image | |
| KR20010102155A (en) | Reducing 'Blocky picture' effects | |
| EP0714210A2 (en) | Method of reducing mosquito noise generated during decoding process of image data and device for decoding image data using the same | |
| JP3365784B2 (en) | Image signal decoding device | |
| JP2919986B2 (en) | Image signal decoding device | |
| JP3317982B2 (en) | Image signal decoding device | |
| JP3081658B2 (en) | Image signal encoding device and image signal decoding device | |
| JP2831139B2 (en) | Image signal decoding device | |
| JP2813548B2 (en) | Automatic threshold setting method for conditional filter and decoding method thereof | |
| JP2901656B2 (en) | Image coding device | |
| JP3176227B2 (en) | Image signal decoding device | |
| JP3485192B2 (en) | Image signal decoding device | |
| JPH11298898A (en) | Block distortion reduction circuit | |
| JP3211989B2 (en) | Orthogonal transform encoding device and decoding device | |
| JP3034887B2 (en) | Image processing method and apparatus | |
| JPH06311499A (en) | Picture signal decoding device | |
| JP3194041B2 (en) | Image processing method | |
| JP2900815B2 (en) | Method and device for adaptive coring | |
| JP3620661B2 (en) | Image signal encoding method and image signal encoding apparatus | |
| JPH08191444A (en) | Video signal decoder | |
| JP2859274B2 (en) | Image denoising method | |
| JPH02202287A (en) | Movement adaptive filter |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20011030 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20020528 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080614 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090614 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090614 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100614 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110614 Year of fee payment: 9 |
|
| LAPS | Cancellation because of no payment of annual fees |