JP4789020B2

JP4789020B2 - Image processing system and image processing program

Info

Publication number: JP4789020B2
Application number: JP2008262544A
Authority: JP
Inventors: 一樹客野
Original assignee: Axell Corp
Current assignee: Axell Corp
Priority date: 2008-10-09
Filing date: 2008-10-09
Publication date: 2011-10-05
Anticipated expiration: 2028-10-09
Also published as: JP2010093608A

Description

本発明は、画像処理システムおよび画像処理プログラムに係り、特に、ブロック分割符号化に適した補正付フィルタ処理に関する。 The present invention relates to an image processing system and an image processing program, and more particularly to a filter processing with correction suitable for block division coding.

従来より、ブロック分割符号化、すなわち、画像を複数のブロックに分割し、ブロックを処理単位とした処理によって、画像データを圧縮／伸張する手法が知られている。その典型であるＪＰＥＧ（Joint Photographic Experts Group）では、画像を固定サイズ（８×８画素）のブロックに分割し、ブロック単位の離散コサイン変換（ＤＣＴ：Discrete Cosine Transform）によって、画像データが空間領域から周波数領域へ変換される。そして、ＤＣＴによって得られた周波数成分に対して、量子化後に、エントロピー符号化が施される。この符号化の他の例としては、特許文献１，２に開示された再帰的交流成分予測符号化（ＲＡＣＰ：Recursive ＡＣＰ）が挙げられる。ＲＡＣＰ符号化は、処理対象となるブロックを順次細分化し、交流成分予測（ＡＣＰ：ＡＣ Componet Prediction）を用いて、画像データを階層的に圧縮／伸張する手法である。また、特許文献３には、ブロック分割符号化に起因したブロックノイズ等を緩和するために、ローパスフィルタを併用したＲＡＣＰ符号化が開示されている。 Conventionally, there has been known a method of compressing / decompressing image data by block division coding, that is, an image is divided into a plurality of blocks, and processing is performed using blocks as processing units. In the typical JPEG (Joint Photographic Experts Group), an image is divided into blocks of a fixed size (8 × 8 pixels), and image data is separated from the spatial domain by DCT (Discrete Cosine Transform) in units of blocks. Converted to the frequency domain. Then, entropy coding is performed on the frequency component obtained by DCT after quantization. Another example of this encoding is recursive AC component predictive encoding (RACP: Recursive ACP) disclosed in Patent Documents 1 and 2. The RACP encoding is a technique for hierarchically compressing / decompressing image data by sequentially subdividing blocks to be processed and using AC component prediction (ACP: AC Componet Prediction). Patent Document 3 discloses RACP encoding using a low-pass filter in order to mitigate block noise and the like caused by block division encoding.

ところで、例えば、特許文献４にも指摘されているように、ローパスフィルタを用いる場合には、符号化の過程で重畳したノイズ成分のみならず、原画像が本来的に有する高周波成分も除去されてしまう。そのため、フィルタリング後の画像が全体的にぼやけてしまうという問題がある。この問題を解消すべく、特許文献４には、ブロック分割符号化において、ローパスフィルタの代わりに、デリンギングフィルタを用いる点が開示されている。デリンギングフィルタは、判定しきい値との比較によってノイズを検出し、ノイズが生じている領域の画素値を、その周辺領域の情報を用いて演算された値に置き換えるフィルタであり、ブロックノイズやリンギングノイズの緩和といった用途で用いられる。ここで、ブロックノイズは、原画像には存在しないブロックの境目が出現するブロック状の歪みであり、リンギングノイズは、画像の輪郭、すなわちエッジ周辺に生じるもや状の歪みである。 By the way, as pointed out in Patent Document 4, for example, when using a low-pass filter, not only the noise component superimposed in the encoding process but also the high-frequency component inherent in the original image is removed. End up. Therefore, there is a problem that the image after filtering is blurred as a whole. In order to solve this problem, Patent Document 4 discloses that a deringing filter is used instead of a low-pass filter in block division coding. The deringing filter is a filter that detects noise by comparison with a determination threshold value and replaces the pixel value of the area where the noise is generated with a value calculated using information of the surrounding area. Used for applications such as ringing noise mitigation. Here, the block noise is a block-like distortion in which a boundary between blocks that does not exist in the original image appears, and the ringing noise is a haze-like distortion generated around the contour of the image, that is, the edge.

特許第４０００１５７号公報Japanese Patent No. 4000157 特許第３７７４２０１号公報Japanese Patent No. 3774201 特許第３７００９７６号公報Japanese Patent No. 3700976 特開２０００−１０２０２０号公報Japanese Patent Laid-Open No. 2000-102020

上述した従来のデリンギングフィルタでは、フィルタリングの前後でブロックの平均画素値、すなわちＤＣ値（直流成分）が変化してしまうという欠点がある。例えば、ＪＰＥＧでは、８×８画素のブロック単位でＤＣＴを行うが、ＤＣＴはＫＬ変換の良好な近似となるため、低周波成分に情報が集中する。ＤＣＴの第一成分であるＤＣ値は、これを量子化したとしても、他成分であるＡＣ値（交流成分）よりも真値により近い。したがって、ＡＣ値を含んで生成される出力画素値を用いたフィルタ処理（フィルタリング）によって、ブロックのＤＣ値自体が変化してしまうと、ＰＳＮＲ（Peak signal-to-noise ratio）の低下を招く。ここで、ＰＳＮＲとは、画像の信号と混入したノイズとの比率（通常はｄＢ）をいい、この値が低いほど、画像信号に多くのノイズが混入していることを意味する。同様のことは、ＲＡＣＰ符号化についてもいえる。ＲＡＣＰ符号化では、上位階層からＤＣ値が供給され、ＡＣ値とともに出力画素値を生成する。上位階層ほど量子化係数が小さくなっているため、ＤＣ値の方がＡＣ値よりも真値に近い。したがって、ＡＣ値を含んで生成される出力画素値を用いたフィルタ処理によって、ブロックのＤＣ値自体が変化してしまうと、ＰＳＮＲの低下を招く。 The conventional deringing filter described above has a drawback that the average pixel value of the block, that is, the DC value (DC component) changes before and after filtering. For example, in JPEG, DCT is performed in units of 8 × 8 pixel blocks, but since DCT is a good approximation of KL conversion, information is concentrated on low-frequency components. The DC value, which is the first component of DCT, is closer to the true value than the AC value (alternating current component), which is another component, even if it is quantized. Therefore, if the DC value of the block itself changes due to the filtering process (filtering) using the output pixel value generated including the AC value, the PSNR (Peak signal-to-noise ratio) is lowered. Here, PSNR refers to a ratio (usually dB) between an image signal and mixed noise. The lower this value, the more noise is mixed in the image signal. The same is true for RACP encoding. In the RACP encoding, a DC value is supplied from an upper layer, and an output pixel value is generated together with an AC value. Since the quantization coefficient is smaller in the upper layer, the DC value is closer to the true value than the AC value. Therefore, if the DC value of the block itself is changed by the filtering process using the output pixel value generated including the AC value, the PSNR is lowered.

本発明は、このような点に鑑みなされたもので、その目的は、フィルタ処理を施しても、フィルタ処理前のブロックのＤＣ値を有効に保持することである。 The present invention has been made in view of such a point, and an object thereof is to effectively hold a DC value of a block before the filtering process even when the filtering process is performed.

かかる課題を解決すべく、第１の発明は、フィルタリング部と、減算器と、ブロック補正部とを有する画像処理システムを提供する。フィルタリング部は、フィルタ処理の対象となる領域のそれぞれに対して、この領域の周辺に位置する周辺領域の情報を用いたフィルタ処理を施す。減算器は、互いに隣接した複数の領域の集合であるブロックに関して、フィルタ処理前のブロックの平均画素値である第１のＤＣ値を、フィルタ処理後のブロックの平均画素値である第２のＤＣ値から減じた差分値を算出する。ブロック補正部は、差分値をブロック内の領域数で除算してブロック内の各領域に均等に割り当て、当該除算した値を、フィルタ処理後のブロック内の各領域の平均画素値からそれぞれ減じて補正後の各領域の平均画素値を算出することによって、フィルタ処理後の各領域からなるブロックを補正する。あるいは、ブロック補正部は、フィルタ処理後のブロック内における各領域の平均画素値の比率に応じて差分値を按分してブロック内の各領域に可変に割り当て、当該按分した値を、フィルタ処理後の領域の平均画素値からそれぞれ減じて補正後の各領域の平均画素値を算出することによって、フィルタ処理後の各領域からなるブロックを補正する。 In order to solve such a problem, the first invention provides an image processing system including a filtering unit, a subtracter, and a block correction unit. The filtering unit performs a filtering process using information on a peripheral area located around the area for each area to be filtered. For a block that is a set of a plurality of regions adjacent to each other, the subtracter uses a first DC value that is an average pixel value of the block before the filtering process and a second DC value that is an average pixel value of the block after the filtering process. The difference value subtracted from the value is calculated. The block correction unit divides the difference value by the number of areas in the block and assigns the divided values equally to each area in the block, and subtracts the divided value from the average pixel value in each area in the block after the filter processing. By calculating the average pixel value of each area after correction, the block composed of each area after the filter processing is corrected. Alternatively, the block correction unit apportions the difference value according to the ratio of the average pixel value of each area in the block after the filtering process and variably assigns the difference value to each area in the block. By calculating the average pixel value of each area after correction by subtracting from the average pixel value of each area, the block consisting of each area after the filter processing is corrected.

ここで、第１の発明において、フィルタリング部は、上記フィルタ処理として、デリンギングフィルタ、エッジ強調フィルタおよび平滑化フィルタのいずれかの処理を行うことが好ましい。 Here, in the first invention, the filtering unit preferably performs any one of a deringing filter, an edge enhancement filter, and a smoothing filter as the filter processing.

第１の発明において、上記ブロックは、画像を複数のブロックに分割し、それぞれのブロックを処理単位とした処理によって、画像データを圧縮または伸張するブロック分割符号化の処理単位となるブロックであることが好ましい。第１の発明は、階層が下位になるにしたがって、上記ブロックのサイズが段階的に小さくなり、上記ブロック分割符号化が階層間で再帰的に行われる複数の階層構造に適用してもよい。この場合、少なくとも一つの階層は、上記フィルタリング部と、上記減算器と、上記ブロック補正部とを有する。そして、上位階層側で補正されたフィル処理後の平均画素値を下位階層側に供給することが好ましい。ここで、上記ブロック分割符号化は、交流成分予測を用いて画像を圧縮するエンコード処理、または、交流成分予測を用いて画像を伸張するデコード処理であってもよい。 In the first invention, the block is a block that is a block division coding processing unit that divides an image into a plurality of blocks and compresses or decompresses image data by processing each block as a processing unit. Is preferred. The first invention may be applied to a plurality of hierarchical structures in which the size of the block gradually decreases as the hierarchy becomes lower, and the block division coding is recursively performed between the hierarchies. In this case, at least one layer includes the filtering unit, the subtractor, and the block correction unit. Then, it is preferable to supply the average pixel value after the fill process corrected on the upper layer side to the lower layer side. Here, the block division encoding may be an encoding process for compressing an image using AC component prediction, or a decoding process for expanding an image using AC component prediction.

第２の発明は、以下の画像処理をコンピュータに実行させるための画像処理プログラムを提供する。この画像処理は、フィルタ処理の対象となる領域のそれぞれに対して、この領域の周辺に位置する周辺領域の情報を用いたフィルタ処理を施す第１のステップと、互いに隣接した複数の領域の集合であるブロックに関するフィルタ処理前のブロックの平均画素値を第１のＤＣ値として算出する第２のステップと、ブロックのフィルタ処理後の平均画素値を第２のＤＣ値として算出する第３のステップと、第１のＤＣ値を第２のＤＣ値から減じた差分値を算出する第４のステップと、差分値をブロック内の領域数で除算してブロック内の各領域に均等に割り当て、当該除算した値を、フィルタ処理後のブロック内の各領域の平均画素値からそれぞれ減じて補正後の各領域の平均画素値を算出することによって、フィルタ処理後の各領域からなるブロックを補正する第５のステップとを有する。
あるいは、上記第５のステップにおいて、フィルタ処理後のブロック内における各領域の平均画素値の比率に応じて差分値を按分してブロック内の各領域に可変に割り当て、当該按分した値を、フィルタ処理後の領域の平均画素値からそれぞれ減じて補正後の各領域の平均画素値を算出することによって、フィルタ処理後の各領域からなるブロックを補正する。 The second invention provides an image processing program for causing a computer to execute the following image processing. This image processing includes a first step of performing filtering processing using information on a peripheral region located in the periphery of each region to be filtered, and a set of a plurality of regions adjacent to each other. A second step of calculating an average pixel value of the block before the filtering process relating to the block as the first DC value, and a third step of calculating an average pixel value of the block after the filtering process as the second DC value And a fourth step of calculating a difference value obtained by subtracting the first DC value from the second DC value , and dividing the difference value by the number of areas in the block and equally assigning to each area in the block, the division value by calculating an average pixel value of each region corrected by subtracting from each of the average pixel values of the respective regions in the block after filtering consists of the region after the filtering And a fifth step of correcting the lock.
Alternatively, in the fifth step, the difference value is apportioned in accordance with the ratio of the average pixel value of each region in the block after the filter process, and is variably assigned to each region in the block. A block composed of each area after the filter processing is corrected by calculating the average pixel value of each area after correction by subtracting from the average pixel value of the area after processing.

ここで、第２の発明において、上記第１のステップは、フィルタ処理として、デリンギングフィルタ、エッジ強調フィルタおよび平滑化フィルタのいずれかの処理を行うことが好ましい。 Here, in the second invention, the first step preferably performs any one of a deringing filter, an edge enhancement filter, and a smoothing filter as the filter processing.

第２の発明において、上記ブロックは、画像を複数のブロックに分割し、それぞれのブロックを処理単位とした処理によって、画像データを圧縮または伸張するブロック分割符号化の処理単位となるブロックであることが好ましい。第２の発明は、階層が下位になるにしたがって、上記ブロックのサイズが段階的に小さくなり、上記ブロック分割符号化が階層間で再帰的に行われる階層構造に適用してもよい。この場合、上記画像処理は、少なくとも一つの階層において行われる。そして、上位階層側の上記画像処理によって補正されたフィルタ処理後の平均画素値が、下位階層側に供給される。ここで、上記各階層の処理は、交流成分予測を用いて画像を圧縮するエンコード処理、または、交流成分予測を用いて画像を伸張するデコード処理であってもよい。 In the second invention, the block is a block that is a block division coding processing unit that divides an image into a plurality of blocks and compresses or decompresses image data by processing each block as a processing unit. Is preferred. The second invention may be applied to a hierarchical structure in which the size of the block decreases stepwise as the hierarchy becomes lower, and the block division coding is recursively performed between the hierarchies. In this case, the image processing is performed in at least one hierarchy. Then, the average pixel value after the filter processing corrected by the image processing on the upper layer side is supplied to the lower layer side. Here, the processing of each layer may be an encoding process for compressing an image using AC component prediction or a decoding process for expanding an image using AC component prediction.

本発明によれば、フィルタ処理後のブロックの平均画素値が第１のＤＣ値に近づくように、フィルタ処理後のブロック内の各値を補正する。この補正は、フィルタ処理の前後におけるＤＣ値の差分を、それぞれの領域に分配することによって行われる。これにより、補正が施されたブロックは、フィルタ処理後の特性を良好に維持しつつ、フィルタ処理前のＤＣ値を有効に保持することが可能になる。特に、ブロック分割符号化に適用した場合には、フィルタリングの効果を損なうことなく、フィルタリングに起因したＰＳＮＲの低下を抑制できる。 According to the present invention, each value in the block after the filter process is corrected so that the average pixel value of the block after the filter process approaches the first DC value. This correction is performed by distributing the difference between the DC values before and after the filtering process to each region. As a result, the corrected block can effectively maintain the DC value before the filter processing while maintaining the good characteristics after the filter processing. In particular, when applied to block division coding, a decrease in PSNR due to filtering can be suppressed without impairing the filtering effect.

本実施形態では、ブロック分割符号化の一例として、ＲＡＣＰ符号化を例に説明する。図１は、ＲＡＣＰエンコーダの全体構成図である。このエンコーダは、ＤＣ算出部１と、ＤＣ符号化部２と、階層処理部３ａ〜３ｃと、フィルタ処理部４ａ，４ｂとを主体に構成されており、４つの階層よりなる階層構造を有する。これらのユニット１，２，３ａ〜３ｃ，４ａ，４ｂより出力されたデータＴＤＣn，ＤＣn，ＤＣ''n（n=0,1,2,3）は、図示しないバッファ（記憶部）に一時的に格納され、このバッファを介して、ユニット間のデータ転送が行われる。 In the present embodiment, RACP encoding will be described as an example of block division encoding. FIG. 1 is an overall configuration diagram of a RACP encoder. This encoder is mainly composed of a DC calculation unit 1, a DC encoding unit 2, hierarchical processing units 3a to 3c, and filter processing units 4a and 4b, and has a hierarchical structure including four layers. Data TDCn, DCn, DC ″ n (n = 0, 1, 2, 3) output from these units 1, 2, 3a to 3c, 4a, 4b are temporarily stored in a buffer (storage unit) (not shown). And data transfer between units is performed through this buffer.

ＤＣ算出部１は、圧縮対象となる入力画像を予め設定されたサイズのブロックに分割し、それぞれのブロックの平均画素値（ＤＣ値）、すなわち、ブロック内に含まれる画素の平均値をＴＤＣ0〜ＴＤＣ3として出力する。ここで、ＴＤＣ0は８×８画素のブロック（８×８ブロック）の平均画素値、ＴＤＣ1は４×４画素のブロック（４×４ブロック）の平均画素値、ＴＤＣ2は２×２画素のブロック（２×２ブロック）の平均画素値である。また、ＴＤＣ3は１×１画素のブロック（１×１ブロック）の平均画素値、すなわち、画像の最小単位である画素の画素値そのもののである。なお、入力画像から直接算出される平均画素値ＴＤＣ0〜ＴＤＣ3（真の値）は、ユニット２，３ａ〜３ｃ内での処理を経て復元される平均画素値ＤＣ0〜ＤＣ3（復元値）とは区別される。両者の値は、符号化の過程で非可逆変換（量子化を含む）をともなうので、厳密には一致しない。なお、本明細書において、「画素値」とは、画像の最小単位である画素そのものの値のみならず、隣接した複数の画素集合である画素ブロックの特性を表す代表値も含むものとする。 The DC calculation unit 1 divides the input image to be compressed into blocks of a preset size, and calculates the average pixel value (DC value) of each block, that is, the average value of the pixels included in the block, from TDC0 to Output as TDC3. Here, TDC0 is an average pixel value of an 8 × 8 pixel block (8 × 8 block), TDC1 is an average pixel value of a 4 × 4 pixel block (4 × 4 block), and TDC2 is a 2 × 2 pixel block ( 2 × 2 block) average pixel value. TDC3 is an average pixel value of a 1 × 1 pixel block (1 × 1 block), that is, a pixel value itself of a pixel which is a minimum unit of an image. The average pixel values TDC0 to TDC3 (true values) calculated directly from the input image are distinguished from the average pixel values DC0 to DC3 (restored values) restored through the processing in the units 2 and 3a to 3c. Is done. Both values are accompanied by irreversible transformation (including quantization) in the process of encoding, so they do not exactly match. Note that in this specification, the “pixel value” includes not only the value of the pixel itself, which is the minimum unit of the image, but also a representative value representing the characteristics of a pixel block that is a set of a plurality of adjacent pixels.

ＤＣ符号化部２および階層処理部３ａ〜３ｃは、８×８ブロック（最上位階層）、４×４ブロック（第２位階層）、２×２ブロック（第３位階層）および１×１ブロック（最下位階層）よりなる４階層構造において、自己に割り当てられた階層処理を行う。 The DC encoding unit 2 and the hierarchical processing units 3a to 3c include 8 × 8 blocks (top layer), 4 × 4 blocks (second layer), 2 × 2 blocks (third layer), and 1 × 1 blocks. In the four-layer structure composed of (the lowest layer), the layer processing assigned to itself is performed.

最上位階層は、ＤＣ符号化部２によって構成される。このＤＣ符号化部２は、バッファから読み出された８×８ブロック毎の平均画素値ＴＤＣ0に対して、差分パルス符号変調（ＤＰＣＭ：Differential Pulse Code Modulation）およびエントロピー符号化を施す。差分パルス符号変調によって、画像平面上において互いに隣接したブロックに関する平均画素値ＴＤＣ0の差分が符号化される。そして、この符号化された差分に対して、量子化後、ハフマン符号化や算術符号化といったエントロピー符号化が施される。このような処理を経たデータは、圧縮データの一部となる画像の直流成分ＤＣ0として出力されるとともに、直下位の階層の階層処理部３ａに供給すべく、８×８ブロックの平均画素値を復元（逆量子化）した値ＤＣ0として出力される。 The highest layer is configured by the DC encoding unit 2. The D C marks Goka unit 2, to the average pixel value TDC0 for each 8 × 8 block is read from the buffer, differential pulse code modulation (DPCM: Differential Pulse Code Modulation) and subjected to entropy coding. Difference pulse code modulation encodes the difference between the average pixel values TDC0 for blocks adjacent to each other on the image plane. Then, entropy coding such as Huffman coding or arithmetic coding is performed on the coded difference after quantization. The data that has undergone such processing is output as a DC component DC0 of an image that is a part of the compressed data, and an average pixel value of 8 × 8 blocks is supplied to the hierarchical processing unit 3a of the immediately lower hierarchy. A restored (inverse quantized) value DC0 is output.

３つの階層処理部３ａ〜３ｃは、ＤＣ算出部１によって生成された平均画素値ＴＤＣn（n=1,2,3、以下同様）と、直上位の階層によって生成された平均画素値ＤＣn-1（またはＤＣ''n-1）とを入力とし、交流成分予測符号化によって、圧縮データの一部としての画像の交流成分ＡＣnを出力する。周知のように、交流成分予測符号化の大まかな処理の流れは、予測画素値の算出、予測残差の算出、予測残差の非可逆変換（アダマール変換および量子化等）、およびエントロピー符号化（ハフマン符号化等）といった順序となり、量子化係数は上位階層ほど小さくなっている。また、階層処理部３ａ〜３ｃ（ただし、３ｃは必要な場合のみ）は、非可逆変換の逆変換を行って予測残差を復元し、これを予測画素値に加算することで、平均画素値ＤＣnを復元する。復元された平均画素値ＤＣnは、直下位の階層に供給するために出力される。なお、ある階層の交流成分予測において、その階層のサブブロックを周辺領域として参照する場合、復元された平均画素値ＤＣnは、同一階層にもフィードバックされる。 The three hierarchical processing units 3a to 3c include an average pixel value TDCn (n = 1, 2, 3, and so on) generated by the DC calculation unit 1 and an average pixel value DCn−1 generated by the immediately higher hierarchy. (Or DC ″ n−1) as an input, and an AC component ACn of the image as a part of the compressed data is output by AC component predictive coding. As is well known, the general process flow of AC component predictive coding includes prediction pixel value calculation, prediction residual calculation, lossy conversion of prediction residuals (Hadamard transform, quantization, etc.), and entropy coding. (Huffman coding or the like), and the quantization coefficient is smaller in the upper layer. In addition, the hierarchical processing units 3a to 3c (3c is only when necessary) performs inverse transformation of irreversible transformation to restore a prediction residual, and adds this to the prediction pixel value, thereby obtaining an average pixel value. Restore DCn. The restored average pixel value DCn is output for supply to the immediately lower hierarchy. Note that in the AC component prediction of a certain hierarchy, when the sub-block of that hierarchy is referred to as a peripheral region, the restored average pixel value DCn is fed back to the same hierarchy.

第２位階層は、階層処理部３ａおよびフィルタ処理部４ａによって構成される。この階層では、８×８ブロックを処理対象とした処理によって、４×４ブロックの交流成分ＡＣ1と、４×４ブロックの平均画素値ＤＣ1，ＤＣ''1とが出力される。階層処理部３ａは、交流成分予測で参照すべき周辺領域として、最上位階層で生成された８×８ブロックの平均画素値ＤＣ0を用いるとともに、サブブロックを併せて参照する場合には、同一階層でフィードバックされた４×４ブロックの平均画素値ＤＣ1も用いる。また、予測残差の算出には、ＤＣ算出部１によって算出された４×４ブロックの平均画素値ＴＤＣ1が用いられる。フィルタ処理部４ａは、ブロックノイズやリンギングノイズを緩和するために、平均画素値ＤＣ1に補正付フィルタ処理を施し、平均画素値ＤＣ''1を出力する。 The second hierarchy is composed of a hierarchy processing unit 3a and a filter processing unit 4a. In this hierarchy, the AC component AC1 of 4 × 4 blocks and the average pixel values DC1 and DC ″ 1 of 4 × 4 blocks are output by processing for 8 × 8 blocks. The hierarchy processing unit 3a uses the average pixel value DC0 of the 8 × 8 block generated in the highest hierarchy as a peripheral area to be referred to in the AC component prediction, and when referring to the sub-blocks together, the same hierarchy The average pixel value DC1 of the 4 × 4 block fed back in step 1 is also used. Further, the average pixel value TDC1 of 4 × 4 blocks calculated by the DC calculation unit 1 is used for calculating the prediction residual. The filter processing unit 4a performs a filter process with correction on the average pixel value DC1 in order to reduce block noise and ringing noise, and outputs an average pixel value DC ″ 1.

第３位階層は、階層処理部３ｂおよびフィルタ処理部４ｂによって構成される。この階層では、４×４ブロックを処理対象とした処理によって、２×２ブロックの交流成分ＡＣ2と、２×２ブロックの平均画素値ＤＣ2，ＤＣ''2とが出力される。階層処理部３ｂは、交流成分予測で参照すべき周辺領域として、第２位階層で生成された４×４ブロックの平均画素値ＤＣ''1（フィルタリング後）を用いるとともに、サブブロックを併せて参照する場合には、同一階層でフィードバックされた２×２ブロックの平均画素値ＤＣ2も用いる。また、予測残差の算出には、ＤＣ算出部１によって算出された２×２ブロックの平均画素値ＴＤＣ2が用いられる。フィルタ処理部４ｂは、ブロックノイズ等を緩和するために、平均画素値ＤＣに補正付フィルタ処理を施し、平均画素値ＤＣ''2を出力する。 The third hierarchy is composed of a hierarchy processing unit 3b and a filter processing unit 4b. In this hierarchy, the 2 × 2 block AC component AC2 and the 2 × 2 block average pixel values DC2 and DC ″ 2 are output by the processing targeted for the 4 × 4 block. The hierarchical processing unit 3b uses the average pixel value DC ″ 1 (after filtering) of the 4 × 4 block generated in the second hierarchical level as a peripheral region to be referred to in the AC component prediction, and combines the sub blocks. For reference, an average pixel value DC2 of 2 × 2 blocks fed back in the same hierarchy is also used. Further, the average pixel value TDC2 of 2 × 2 blocks calculated by the DC calculation unit 1 is used for calculating the prediction residual. The filter processing unit 4b performs a filter process with correction on the average pixel value DC to reduce block noise and the like, and outputs an average pixel value DC ″ 2.

最下位階層は、階層処理部３ｃによって構成される。この階層では、２×２ブロックを処理対象とした処理によって、１×１ブロックの交流成分ＡＣ3が出力される。階層処理部３ｃは、交流成分予測で参照すべき情報として、第３位階層で生成された２×２ブロックの平均画素値ＤＣ''2（フィルタリング後）を用いるとともに、サブブロックを併せて参照する場合には、同一階層でフィードバックされた１×１ブロックの平均画素値ＤＣ3も用いる。また、予測残差の算出には、ＤＣ算出部１によって算出された１×１ブロックの平均画素値ＴＤＣ3が用いられる。 The lowest hierarchy is configured by the hierarchy processing unit 3c. In this hierarchy, the AC component AC3 of 1 × 1 block is output by the processing targeted for 2 × 2 blocks. The hierarchy processing unit 3c uses the average pixel value DC ″ 2 (after filtering) of the 2 × 2 block generated in the third hierarchy as information to be referred to in the AC component prediction, and also refers to the sub blocks. In this case, the average pixel value DC3 of 1 × 1 block fed back in the same hierarchy is also used. Further, the average pixel value TDC3 of the 1 × 1 block calculated by the DC calculation unit 1 is used for calculating the prediction residual.

このような階層構造において、ＤＣ符号化部２および階層処理部３ａ〜３ｃが互いに連係し、パイプライン的な並行処理を行うことによって、一連の処理が階層間で再帰的に実行される。これによって、圧縮データとして、画像の直流成分ＤＣ0と、その交流成分ＡＣ1〜ＡＣ3とが出力される。この圧縮データには、これら以外にもハフマンテーブル等の付随情報も含まれる。なお、フィルタ処理部４ａ，４ｂは、複数の階層に設ける必要はなく、少なくとも一つの階層に設けられていれば足りる。 In such a hierarchical structure, the DC encoding unit 2 and the hierarchical processing units 3a to 3c are linked to each other and perform pipeline parallel processing, whereby a series of processing is recursively executed between the hierarchical levels. As a result, the DC component DC0 of the image and the AC components AC1 to AC3 are output as compressed data. In addition to these, the compressed data includes accompanying information such as a Huffman table. Note that the filter processing units 4a and 4b do not need to be provided in a plurality of layers, but may be provided in at least one layer.

図２は、画像平面上に設定されるブロックの説明図である。ブロックは、画像（１フレームの画像全体またはその一部）を縦横に分割することで、画像平面上に複数設定される。それぞれの階層におけるブロック分割符号化（交流成分予測符号化）は、ブロック単位で行われる。ブロックのサイズは、階層が下位になるにしたがって段階的に小さくなるように設定されており、ある階層で処理対象となるブロックのサイズは、その直上位の階層で細分化されたサブブロックのサイズと一致する。 FIG. 2 is an explanatory diagram of blocks set on the image plane. A plurality of blocks are set on the image plane by dividing an image (the whole image of one frame or a part thereof) vertically and horizontally. Block division coding (AC component predictive coding) in each layer is performed in units of blocks. The block size is set to decrease step by step as the hierarchy becomes lower, and the size of the block to be processed in a certain hierarchy is the size of the sub-block subdivided in the immediately higher hierarchy Matches.

ある階層における画像全体の処理は、処理対象となるブロックを画面上で順次シフトさせながら処理を繰り返し、画像中の全ブロックを処理することによって達成される。このシフトの方向は、図示したように、水平方向に沿った線順次走査的なものであってもよいが、垂直方向に沿ったものも含めて任意に設定してよい。また、それぞれの階層におけるシフトの方向は、必ずしも同一である必要もない。ここで、処理対象の周辺に位置する領域を「周辺領域」といい、この周辺領域の情報が処理対象の交流成分予測を行う際に参照される。周辺領域は、順次シフトによる処理が未だ行われていない領域、すなわち「未処理周辺領域」と、順次シフトによる処理が既に行われた領域、すなわち「処理済周辺領域」とに分類される。同図の場合、処理対象をブロックＳとすると、その上下左右に隣接したブロックＴ，Ｂ，Ｌ，Ｒが周辺領域となる。そして、下右に隣接したブロックＢ，Ｒが未処理周辺領域となり、上左に隣接したブロックＴ，Ｌが処理済周辺領域となる。未処理周辺領域（ブロックＢ，Ｒ）では、ブロックを４つに分割したサブブロックの個々の平均画素値ＤＣnが未だ算出されておらず、直上位の階層で算出されたブロック全体の平均画素値ＤＣn-1のみが既知となっている。また、処理周済辺領域（ブロックＴ，Ｌ）では、同一階層での従前処理によって、ブロックを細分化した個々のサブブロックの平均画素値ＤＣnが算出済みである。以下、あるブロックを細分化した４つのサブブロックに関して、ブロックの左上を”00”，右上を”01”，右下を”11”，左下を”10”とした添字を以て識別するものとする。また、本実施形態では、処理対象の周辺領域として、上下左右のブロックＴ，Ｂ，Ｌ，Ｒを設定しているが、これは一例であって、その一部（例えば上左右）であってもよいし、それ以外（例えば斜め方向、１つ飛び等）を含めてもよい。 Processing of the entire image in a certain hierarchy is achieved by repeating the processing while sequentially shifting the blocks to be processed on the screen and processing all the blocks in the image. As shown in the figure, the direction of this shift may be a line-sequential scanning along the horizontal direction, but may be arbitrarily set including that along the vertical direction. Further, the shift directions in the respective hierarchies are not necessarily the same. Here, a region located around the processing target is referred to as a “peripheral region”, and information on the peripheral region is referred to when the AC component prediction of the processing target is performed. Peripheral areas are classified into areas that have not yet undergone sequential shift processing, ie, “unprocessed peripheral areas”, and areas that have already undergone sequential shift processing, ie, “processed peripheral areas”. In the case of the figure, if the processing target is a block S, adjacent blocks T, B, L, and R on the top, bottom, left and right are peripheral regions. The blocks B and R adjacent to the lower right are unprocessed peripheral areas, and the blocks T and L adjacent to the upper left are processed peripheral areas. In the unprocessed peripheral area (blocks B and R), the individual average pixel values DCn of the sub-blocks obtained by dividing the block into four have not yet been calculated, and the average pixel values of the entire block calculated in the immediately higher hierarchy Only DCn-1 is known. Further, in the processing-periphered side areas (blocks T and L), the average pixel value DCn of each sub-block obtained by subdividing the block has been calculated by the previous process in the same hierarchy. Hereinafter, regarding four sub-blocks obtained by subdividing a block, the upper left of the block is identified by subscripts “00”, the upper right is “01”, the lower right is “11”, and the lower left is “10”. In the present embodiment, the upper, lower, left, and right blocks T, B, L, and R are set as the peripheral area to be processed, but this is an example, and a part thereof (for example, upper and left and right) It may also be included other than that (for example, diagonal direction, one jump, etc.).

つぎに、階層処理部３ａ〜３ｃで実行される交流成分予測符号化について、図３を参照しつつ概略的に説明する。本予測符号化では、（１）周辺領域Ｔ，Ｂ，Ｌ，Ｒの情報を参照することによって、処理対象Ｓの予測画像Ｓ’を生成し、（２）予測画像Ｓ’と本来の画像との差分を予測残差ＰＲとして算出し、（３）予測残差ＰＲの非可逆変換（アダマール変換および量子化等）を施した後に、エントロピー符号化（ハフマン符号化等）を行う。この符号化において、圧縮率を高める上でのポイントは、予測残差ＰＲの低減、換言すれば、予測画像Ｓ’の精度向上である。交流成分予測によって生成された予測画像Ｓ’（隣接した予測画素値の集合）が本来の画像（隣接した真の画素値の集合）に近いほど、予測残差ＰＲが小さくなる。予測残差ＰＲが小さくなるほど、統計的に見た予測残差ＰＲの出現頻度が０近傍に偏る傾向が高まるので、エントロピー符号化を施す上で有利になる。 Next, the AC component predictive encoding executed by the hierarchical processing units 3a to 3c will be schematically described with reference to FIG. In the present predictive coding, (1) a predicted image S ′ of the processing target S is generated by referring to information on the peripheral regions T, B, L, and R, and (2) the predicted image S ′, the original image, Is calculated as a prediction residual PR, and (3) irreversible transformation (Hadamard transform, quantization, etc.) of the prediction residual PR is performed, and then entropy coding (Huffman coding, etc.) is performed. In this encoding, the point in increasing the compression rate is to reduce the prediction residual PR, in other words, to improve the accuracy of the predicted image S ′. The closer the predicted image S ′ (a set of adjacent predicted pixel values) generated by the AC component prediction is to the original image (a set of adjacent true pixel values), the smaller the prediction residual PR. The smaller the prediction residual PR, the more likely the appearance frequency of the prediction residual PR statistically tends to be close to 0, which is advantageous in performing entropy coding.

交流成分予測は、処理対象Ｓと周辺領域Ｔ，Ｂ，Ｌ，Ｒとの空間的な相関性を利用して、予測画像Ｓ’、すなわち、処理対象Ｓを細分化した各領域s00〜ｓ11の予測画素値（領域内の平均画素値）を算出するものである。その具体的な算出手法には様々なものが存在するが、以下の例示を含めて、どの手法を採用してもよい。 The AC component prediction uses the spatial correlation between the processing target S and the surrounding regions T, B, L, and R to predict the predicted image S ′, that is, the regions s00 to s11 obtained by subdividing the processing target S. The predicted pixel value (average pixel value in the region) is calculated. There are various specific calculation methods, and any method including the following examples may be adopted.

（算出手法１）
交流成分予測で参照すべき周辺領域として、ブロックＴ，Ｂ，Ｌ，Ｒの平均画素値ＤＣn-1（直上位の階層にて算出済）を用いて、以下の数式１より予測画素値ｓ00〜ｓ11を算出する。なお、数式１に関して、Ｓ，Ｔ，Ｂ，Ｌ，Ｒの表記は、ブロックそのものを指すのではなく、これらの平均画素値ＤＣn-1を示すものとする（後述する数式２についても同様）。なお、本手法の詳細については、特許文献２として挙げた特許第３７７４２０１号公報に開示されているので、必要ならば参照されたい。 (Calculation method 1)
Using the average pixel value DCn-1 of the blocks T, B, L, and R (calculated at the immediately higher hierarchy) as a peripheral region to be referred to in the AC component prediction, the predicted pixel value s00 to s00 to s11 is calculated. In addition, regarding Expression 1, the notation of S, T, B, L, and R does not indicate the block itself but indicates the average pixel value DCn-1 (the same applies to Expression 2 described later). The details of this method are disclosed in Japanese Patent No. 3774201 cited as Patent Document 2, and should be referred to if necessary.

（数式１）
ｓ00＝Ｓ＋（Ｔ−Ｂ＋ＬーＲ）／８
ｓ01＝Ｓ＋（Ｔ−Ｂ−Ｌ＋Ｒ）／８
ｓ10＝Ｓ＋（−Ｔ＋Ｂ＋Ｌ−Ｒ）／８
ｓ11＝Ｓ＋（−Ｔ＋Ｂ−Ｌ＋Ｒ）／８ (Formula 1)
s00 = S + (T−B + LR) / 8
s01 = S + (T−B−L + R) / 8
s10 = S + (-T + B + LR) / 8
s11 = S + (− T + B−L + R) / 8

（算出手法２）
交流成分予測で参照すべき周辺領域として、ブロックＢ，Ｒの平均画素値ＤＣn-1（直上位の階層にて算出済）と、処理対象Ｓと隣接したサブブロックｔ10，ｔ11，ｌ01，ｌ11の平均画素値ＤＣn（同一階層の従前処理にて算出済）とを用いて、以下の数式２により予測画素値ｓ00〜ｓ11を算出する。なお、数式２に関して、ｔ10，ｔ11，ｌ01，ｌ11の表記は、サブブロックそのものを指すのではなく、これらの平均画素値ＤＣnを示すものとする。一般に、処理対象Ｓと直接隣接しているサブブロックｔ10，ｔ11は、処理対象Ｓと直接隣接していないサブブロックｔ00，ｔ01をも含むブロックＴと比較して、処理対象ｓとの空間的な相関性がより高いといえる。したがって、冗長なサブブロックｔ00，ｔ01を除いたサブブロックｔ10，ｔ11のみを用いることで、予測精度の一層の向上が期待できる。なお、本手法の詳細については、特許文献１として挙げた特許第４０００１５７号公報に開示されているので、必要ならば参照されたい。 (Calculation method 2)
As peripheral regions to be referred to in the AC component prediction, the average pixel value DCn-1 of blocks B and R (calculated in the immediately higher hierarchy) and sub-blocks t10, t11, l01, and l11 adjacent to the processing target S The predicted pixel values s00 to s11 are calculated by the following formula 2 using the average pixel value DCn (calculated in the previous process of the same hierarchy). In addition, regarding Expression 2, the notation of t10, t11, l01, and l11 does not indicate the sub-block itself, but indicates the average pixel value DCn thereof. In general, the sub-blocks t10 and t11 that are directly adjacent to the processing target S are spatially separated from the processing target s compared to the block T that also includes the sub-blocks t00 and t01 that are not directly adjacent to the processing target S. It can be said that the correlation is higher. Therefore, by using only the sub-blocks t10 and t11 excluding the redundant sub-blocks t00 and t01, further improvement in prediction accuracy can be expected. Note that details of this method are disclosed in Japanese Patent No. 4000157 cited as Patent Document 1, and should be referred to if necessary.

（数式２）
ｓ00＝Ｓ＋（（ｔ10＋ｔ11）／２−Ｂ＋（ｌ01＋ｌ11）／２−Ｒ）／８
ｓ01＝Ｓ＋（（ｔ10＋ｔ11）／２−Ｂ−（ｌ01＋ｌ11）／２＋Ｒ）／８
ｓ10＝Ｓ＋（−（ｔ10＋ｔ11）／２＋Ｂ＋（ｌ01＋ｌ11）／２−Ｒ）／８
ｓ11＝Ｓ＋（−（ｔ10＋ｔ11）／２＋Ｂ−（ｌ01＋ｌ11）／２＋Ｒ）／８ (Formula 2)
s00 = S + ((t10 + t11) / 2-B + (l01 + l11) / 2-R) / 8
s01 = S + ((t10 + t11) / 2-B- (l01 + l11) / 2 + R) / 8
s10 = S + (-(t10 + t11) / 2 + B + (l01 + l11) / 2-R) / 8
s11 = S + (-(t10 + t11) / 2 + B- (l01 + l11) / 2 + R) / 8

なお、直下位の階層に供給する平均画素値ＤＣnは、予測画像Ｓ’に予測残差を加算することによって算出されるが、この予測残差の値としては、上述した予測残差ＰＲそのものではなく、これを非可逆変換後に逆変換した復元値ＰＲ’（ＰＲとは僅かに相違）が用いられる。復元値ＰＲ’を用いる理由は、デコード時の繰り返し処理による誤差Δ（Δ＝ＰＲ−ＰＲ’）の累積を防止して、デコード処理との整合性を担保するためである。 Note that the average pixel value DCn supplied to the immediately lower hierarchy is calculated by adding a prediction residual to the predicted image S ′. As the value of the prediction residual, the above-described prediction residual PR itself is used. Rather, a restored value PR ′ (slightly different from PR) obtained by performing inverse conversion after irreversible conversion is used. The reason for using the restoration value PR ′ is to prevent the accumulation of error Δ (Δ = PR−PR ′) due to repetitive processing at the time of decoding and to ensure consistency with the decoding processing.

図４は、フィルタ処理部４ａ，４ｂの構成図である。各階層のフィルタ処理部４ａ，４ｂは、取り扱うブロックサイズが異なる点を除けば、その基本構成および処理の流れは同一である。以下、第２位階層のフィルタ処理部４ａを例に説明する。フィルタ処理部４ａは、処理前ＤＣ値算出部４１と、フィルタリング部４２と、処理後ＤＣ値算出部４３と、減算器４４と、ブロック補正部４５とを有する。 FIG. 4 is a configuration diagram of the filter processing units 4a and 4b. The filter processing units 4a and 4b in the respective layers have the same basic configuration and the same process flow except that they handle different block sizes. Hereinafter, the filter processing unit 4a in the second hierarchy will be described as an example. The filter processing unit 4a includes a pre-processing DC value calculation unit 41, a filtering unit 42, a post-processing DC value calculation unit 43, a subtractor 44, and a block correction unit 45.

処理前ＤＣ値算出部４１は、ブロック分割符号化で処理されるブロックのフィルタ処理前の平均画素値（ＤＣ値）をＤＣ0として算出する。第２位階層では、８×８ブロック単位の平均画素値ＤＣ0から４×４ブロック単位の平均画素値ＤＣ1が算出される。入力ブロックは、位置的に隣接した４つの領域の集合であり、これら領域のＤＣ1（４値）の平均がＤＣ0となる。なお、図２の構成との関係でいえば、このＤＣ0は、直上位の階層（ＤＣ符号化部２）にて算出された平均画素値ＤＣ0（８×８ブロック）と等価である。したがって、ここでの演算を行う代わりに、直上位の階層にて算出された平均画素値ＤＣ0をバッファから読み出し、これを用いてもよい。 The pre-processing DC value calculation unit 41 calculates an average pixel value (DC value) before filtering of blocks processed by block division coding as DC0. In the second hierarchy, an average pixel value DC1 in units of 4 × 4 blocks is calculated from an average pixel value DC0 in units of 8 × 8 blocks. The input block is a set of four regions that are adjacent in position, and the average of DC1 (four values) of these regions is DC0. Note that DC0 is equivalent to the average pixel value DC0 (8 × 8 blocks) calculated in the immediately higher layer (DC encoding unit 2) in relation to the configuration of FIG. Therefore, instead of performing the calculation here, the average pixel value DC0 calculated in the immediately higher hierarchy may be read from the buffer and used.

フィルタリング部４２は、フィルタ処理の対象となる領域のそれぞれ、具体的には、入力ブロックを４つに細分化したそれぞれの領域（個々の領域の値はＤＣ1）に対して、その周辺に位置する周辺領域の情報を用いたフィルタ処理を個別に施す。本実施形態では、フィルタ処理として、判定しきい値との比較によってノイズを検出し、ノイズが生じている領域の画素値を、その周辺領域の情報を用いた演算値に置き換えるデリンギングフィルタを用いる。 The filtering unit 42 is located in the vicinity of each region to be filtered, specifically, each region obtained by subdividing the input block into four (the value of each region is DC1). Filter processing using information on the peripheral area is performed individually. In this embodiment, as the filtering process, a deringing filter is used in which noise is detected by comparison with a determination threshold value, and a pixel value in a region where the noise is generated is replaced with a calculated value using information on the surrounding region. .

図５は、デリンギングフィルタの動作説明図である。入力ブロック内の１つのＤＣ値ｇ０（＝ＤＣ1）を処理するために、その周辺に位置する８つのＤＣ値ｇ１〜ｇ８（＝ＤＣ1）が周辺領域として用いられる。減算器４２ａは、周辺領域の情報である各ＤＣ値ｇ１〜ｇ８と、処理対象Ｓの情報であるＤＣ値ｇ０との差分を個別に算出し、差分値Δ１〜Δ８（絶対値）を出力する。しきい値判定部４２ｂは、ノイズの有無を判断すべく、差分値Δ１〜Δ８のそれぞれを所定のしきい値Ｔｈと比較する。しきい値Ｔｈよりも小さい差分値Δ１，Δ２，Δ５，Δ７，Δ８は、その差が符号化の過程で重畳したノイズによるものとみなす一方、しきい値Ｔｈ以上のものは、その差が原画像に本来的に存在する輪郭成分によるものとみなす。加算器４２ｃは、ノイズに起因した差分値Δ１，Δ２，Δ５，Δ７，Δ８と、処理対象となる領域のＤＣ値ｇ０に係数λを乗じた値とを加算する。そして、この加算結果を係数（λ＋ｎ）で除算した値ｇ’５がフィルタリング後の値ＤＣ'1として出力される。ここで、ｎは、しきい値判定部４２ｂの出力数、すなわち、しきい値Ｔｈよりも小さいＤＣ値ｇの個数であり、同図の場合にはｎ＝５となる。以上の処理は、入力ブロックを構成する４つの領域のすべてに対して行われ、これによって、４つの値ＤＣ'1によりなる処理済ブロックが得られる。 FIG. 5 is an explanatory diagram of the operation of the deringing filter. In order to process one DC value g0 (= DC1) in the input block, eight DC values g1 to g8 (= DC1) located in the vicinity thereof are used as a peripheral region. The subtractor 42a individually calculates a difference between each DC value g1 to g8 that is information on the peripheral region and a DC value g0 that is information on the processing target S, and outputs a difference value Δ1 to Δ8 (absolute value). . The threshold value determination unit 42b compares each of the difference values Δ1 to Δ8 with a predetermined threshold value Th to determine the presence or absence of noise. Difference values Δ1, Δ2, Δ5, Δ7, and Δ8 that are smaller than the threshold value Th are considered to be due to noise superimposed in the encoding process, while those that are equal to or greater than the threshold value Th are the differences. This is considered to be due to contour components that are inherently present in the image. The adder 42c adds the difference values Δ1, Δ2, Δ5, Δ7, Δ8 caused by noise and the value obtained by multiplying the DC value g0 of the region to be processed by the coefficient λ. Then, a value g′5 obtained by dividing the addition result by the coefficient (λ + n) is output as a filtered value DC′1. Here, n is the number of outputs of the threshold value determination unit 42b, that is, the number of DC values g smaller than the threshold value Th. In the case of FIG. The above processing is performed on all four areas constituting the input block, and thereby a processed block consisting of four values DC′1 is obtained.

図６は、フィルタの処理の前後におけるスキャンライン上の各値の変化を示す図である。同図の黒丸はスキャンライン上の領域を示し、縦方向はそれぞれの領域におけるＤＣ値ｇの変化を示す。同図（ａ）に示すように、差分値｜Δ｜がしきい値Ｔｈ以上の場合には、フィルタリングの前後でＤＣ値ｇは変化せず、原画像の輪郭がそのまま保持される。これに対して、同図（ｂ）に示すように、差分値｜Δ｜がしきい値Ｔｈよりも小さい場合には、フィルタリングによって段差が取り除かれた出力となり、ブロックノイズやリンギングノイズを効果的に除去できる。 FIG. 6 is a diagram illustrating changes in values on the scan line before and after the filter processing. Black circles in the figure indicate regions on the scan line, and the vertical direction indicates changes in the DC value g in each region. As shown in FIG. 5A, when the difference value | Δ | is equal to or greater than the threshold value Th, the DC value g does not change before and after filtering, and the outline of the original image is maintained as it is. On the other hand, as shown in FIG. 6B, when the difference value | Δ | is smaller than the threshold value Th, the output is obtained by removing the step by filtering, and block noise and ringing noise are effectively obtained. Can be removed.

処理後ＤＣ値算出部４３は、処理済ブロックの平均画素値をＤＣ'0として算出する。そして、減算器４４は、フィルタリング前の平均画素値ＤＣ0と、フィルタリング後の平均画素値ＤＣ'0との差分値α（＝ＤＣ'0−ＤＣ0）を算出する。ＤＣ'0（フィルタリング後）がＤＣ0（フィルタリング前）よりも大きい場合、すなわち、フィルタ処理によってＤＣ値が増加している場合、差分値αの符号は正になる。一方、ＤＣ'0（フィルタリング後）がＤＣ0（フィルタリング前）よりも小さい場合、すなわち、フィルタ処理によってＤＣ値が低下している場合、差分値αの符号は負になる。
The post-processing DC value calculation unit 43 calculates the average pixel value of the processed block as DC′0. Then, the subtractor 44 calculates a difference value α (= DC′0−DC0) between the average pixel value DC0 before filtering and the average pixel value DC′0 after filtering. When DC′0 (after filtering) is larger than D C0 (before filtering), that is, when the DC value is increased by filtering, the sign of the difference value α becomes positive. On the other hand, when DC′0 (after filtering) is smaller than D C0 (before filtering), that is, when the DC value is reduced by the filtering process, the sign of the difference value α is negative.

ブロック補正部４５は、処理済ブロックの平均画素値がＤＣ0（フィルタリング前）に近づくように、差分値αをブロック内の各領域に分配することによって、処理済ブロックを補正する。例えば、差分値αをブロック内の領域数４で除算する。この除算値は、１つの領域あたりの補正量に相当する。そして、以下の数式３にしたがって、除算値（α／４）をブロック内の各領域に均等に割り当て、それぞれの領域の値ＤＣ'1から除算値（α／４）を引いた値を補正後の値ＤＣ''1とする。 The block correction unit 45 corrects the processed block by distributing the difference value α to each region in the block so that the average pixel value of the processed block approaches DC0 (before filtering). For example, the difference value α is divided by the number of areas 4 in the block. This division value corresponds to a correction amount per area. Then, the division value (α / 4) is evenly assigned to each area in the block according to the following formula 3, and the value obtained by subtracting the division value (α / 4) from the value DC′1 of each area is corrected. The value of DC ″ 1.

（数式３）
ＤＣ''1＝ＤＣ'1−α／４ (Formula 3)
DC ″ 1 = DC′1−α / 4

フィルタ処理によってＤＣ値が増加している場合には、差分値αの符号が正なので、補正前の値ＤＣ'1から（α／４）が減算される。これによって、出力ブロック全体では、差分値α相当が減算されることになるので、その平均画素値は、ＤＣ0（フィルタリング前）相当になる。これに対して、フィルタ処理によってＤＣ値が低下している場合には、差分値αの符号が負なので、補正前の値ＤＣ'1から（α／４）が加算される。これによって、出力ブロック全体では、差分値α相当が加算されることになるので、その平均画素値は、ＤＣ0（フィルタリング前）相当になる。その結果、４つの値ＤＣ''1よりなる出力ブロックは、その領域内の値が個別的には変化するものの、ブロック全体でみると、フィルタリング後の特性を良好に保持しているといえる。 When the DC value is increased by the filtering process, since the sign of the difference value α is positive, (α / 4) is subtracted from the value DC′1 before correction. As a result, the difference value α corresponding to the entire output block is subtracted, and the average pixel value is equivalent to DC0 (before filtering). On the other hand, when the DC value is reduced by the filtering process, since the sign of the difference value α is negative, (α / 4) is added from the value DC′1 before correction. As a result, the difference value α is added to the entire output block, and the average pixel value is equivalent to DC0 (before filtering). As a result, the output block consisting of the four values DC ″ 1 can be said to maintain good characteristics after filtering, although the values in the region individually change, when viewed as a whole block.

また、差分値αの別の分配手法として、処理済ブロック内の各領域の値ＤＣ'1の比率に応じて、差分値αを各領域に可変に割り当ててもよい。この場合、フィルタリング後の値ＤＣ'1のｌｏｇ２の比率に応じて差分値αを按分する。例えば、ブロック内の画素値が１００，１００，１５０，２００の場合、差分値αを２：２：３：４で按分するといった如くである。そして、按分された各値をブロック内の各領域に割り当て、それぞれのＤＣ'1から引く。 As another distribution method of the difference value α, the difference value α may be variably assigned to each region according to the ratio of the value DC′1 of each region in the processed block. In this case, the difference value α is apportioned according to the ratio of log 2 of the value DC′1 after filtering. For example, when the pixel values in the block are 100, 100, 150, and 200, the difference value α is apportioned by 2: 2: 3: 4. Then, each apportioned value is assigned to each area in the block and subtracted from each DC′1.

上述した２つの例では、補正によって出力ブロックの平均画素値をＤＣ0相当に設定している（ただし、除算による丸め誤差があるので、厳密にはＤＣ0にはならない）。ＤＣ0と一致させることは最も好ましい実施形態ではあるものの、本発明はこれに限定されるものではなく、少なくともＤＣ0に近づくようにすれば足りる。なぜなら、ＤＣ0に近づれば、その分だけＰＳＮＲの低下の抑制に貢献するからである。以上のような処理を経て、上位階層側のブロック補正部４５によって補正されたフィルタリング後の値ＤＣ''1が下位階層側に供給される。 In the two examples described above, the average pixel value of the output block is set to DC0 by correction (however, there is a rounding error due to division, so it is not strictly DC0). Although matching with DC0 is the most preferred embodiment, the present invention is not limited to this, and it is sufficient that at least DC0 is approached. This is because as it approaches DC0, it contributes to the suppression of the decrease in PSNR. Through the above processing, the filtered value DC ″ 1 corrected by the block correction unit 45 on the upper layer side is supplied to the lower layer side.

なお、図４に示したフィルタ処理部４と等価な機能は、コンピュータによるソフトウェア処理によっても実現することができる。図７は、上述した補正付フィルタ処理を実現するコンピュータプログラムのフローチャートである。なお、ハードウェア処理とソフトウェア処理との間には本質的な相違はないので、ここでは概略的な説明に留め、その詳細は上述した記載を参照するものとする。まず、ステップ１において、ブロックのフィルタ処理前の平均画素値がＤＣ0として算出される。ステップ２において、フィルタ処理の対象領域に対して、その周辺に位置する周辺領域の情報を用いたフィルタ処理（デリンギングフィルタ）が施される。ステップ３において、ブロックのフィルタ処理後の平均画素値がＤＣ'0として算出される。そして、ステップ４において、ステップ１で算出された値ＤＣ0と、ステップ３で算出された値ＤＣ'0との差分値αが算出される。最後に、ステップ５において、ブロックのフィルタ処理後の平均画素値がＤＣ0に近づくように、ブロック内の各領域に対して差分値αが分配され、これによって、フィルタ処理後のブロックが補正される。 The function equivalent to the filter processing unit 4 shown in FIG. 4 can also be realized by software processing by a computer. FIG. 7 is a flowchart of a computer program that realizes the above-described filter processing with correction. Since there is no essential difference between hardware processing and software processing, only a brief description will be given here, and the details will be referred to the above description. First, in step 1, the average pixel value before filtering the block is calculated as DC0. In step 2, a filtering process (deringing filter) using information on a peripheral area located in the vicinity of the target area to be filtered is performed. In step 3, the average pixel value after the filter processing of the block is calculated as DC′0. In step 4, a difference value α between the value DC 0 calculated in step 1 and the value DC ′ 0 calculated in step 3 is calculated. Finally, in step 5, the difference value α is distributed to each area in the block so that the average pixel value after filtering of the block approaches DC0, thereby correcting the block after filtering. .

このように、本実施形態によれば、従来のＲＡＣＰエンコーダにフィルタ処理部４ａ，４ｂを追加し、各階層におけるブロック分割符号化で処理されるブロックに対して、フィルタ処理を施す。そして、フィルタ処理後のブロックに関して、そのＤＣ値がフィルタ処理前の値ＤＣ0に近づくように、ブロック内の各領域の値を補正する。この補正は、フィルタ処理の前後におけるＤＣ値の差分αを、それぞれの領域に分配することによって行われる。これにより、補正が施されたブロックは、フィルタ処理後の特性を良好に維持する。また、ＲＡＣＰ符号化では、上位階層からＤＣ値が供給されＡＣ値とともに出力画素値を生成する。上位階層ほど量子化係数が小さくなっているため、ＤＣ値の方がＡＣ値よりも真値に近い。本実施形態によれば、フィルタ処理後のブロックを補正することで、フィルタ処理前のＤＣ0を有効に保持できる。その結果、フィルタリングの効果を損なうことなく、フィルタリングに起因したＰＳＮＲの低下を有効に抑制できる。 As described above, according to this embodiment, the filter processing units 4a and 4b are added to the conventional RACP encoder, and the filter processing is performed on the blocks processed by the block division coding in each layer. Then, the value of each area in the block is corrected so that the DC value of the block after the filtering process approaches the value DC0 before the filtering process. This correction is performed by distributing the DC value difference α before and after the filtering process to each region. As a result, the corrected block maintains good characteristics after filtering. In RACP encoding, a DC value is supplied from an upper layer and an output pixel value is generated together with an AC value. Since the quantization coefficient is smaller in the upper layer, the DC value is closer to the true value than the AC value. According to the present embodiment, DC0 before the filter process can be effectively held by correcting the block after the filter process. As a result, it is possible to effectively suppress a decrease in PSNR caused by filtering without impairing the filtering effect.

なお、上述した実施形態では、フィルタ処理の一例として、デリンギングフィルタを挙げているが、エッジ強調フィルタや平滑化フィルタ等を含めて、対象領域の周辺に位置する周辺領域の情報を用いるフィルタを使用してもよい。エッジ強調フィルタとしては、例えば、図８に示すようなラプラシアンフィルタを用いることができる。また、平滑化フィルタとしては、例えば、図９に示すような単純平均フィルタ、或いは、図１０に示すようなガウシアンフィルタを用いることができる。これらのフィルタを適用するにあたっては、フィルタの中心が処理対象となる領域に位置するように被せ、位置的に対応する画素値とフィルタの要素とを個別に乗算し、これらの総和を対象領域の値とする。 In the above-described embodiment, a deringing filter is cited as an example of the filtering process. However, a filter that uses information on a peripheral region located around the target region, including an edge enhancement filter and a smoothing filter, is used. May be used. As the edge enhancement filter, for example, a Laplacian filter as shown in FIG. 8 can be used. As the smoothing filter, for example, a simple average filter as shown in FIG. 9 or a Gaussian filter as shown in FIG. 10 can be used. In applying these filters, the center of the filter is placed so as to be located in the region to be processed, the pixel value corresponding to the position is multiplied by the filter element individually, and the sum of these is multiplied by the target region. Value.

また、上述した実施形態では、交流成分予測を用いて画像を圧縮するエンコーダにフィルタ処理部４を追加する例について説明したが、交流成分予測を用いて画像を伸張するデコーダにこれを追加してもよい。 In the above-described embodiment, an example in which the filter processing unit 4 is added to an encoder that compresses an image using AC component prediction has been described. However, this is added to a decoder that expands an image using AC component prediction. Also good.

また、本発明は、交流成分予測符号化に限らず、ＪＰＥＧ等を含めて、ブロック単位の処理を基本としたブロック分割符号化に広く適用可能である。さらに、ブロックを細分化しながら、解像度の高い画像（高精細画像）を生成するといった画像処理にも適用可能である。 The present invention is not limited to AC component predictive coding, but can be widely applied to block division coding based on block unit processing, including JPEG and the like. Furthermore, the present invention can also be applied to image processing such as generating a high-resolution image (high-definition image) while subdividing blocks.

ＲＡＣＰエンコーダの全体構成図Overall configuration of RACP encoder 画像平面上に設定されるブロックの説明図Illustration of blocks set on the image plane 交流成分予測符号化の説明図Illustration of AC component predictive coding フィルタ処理部の構成図Configuration diagram of the filter processing unit デリンギングフィルタの動作説明図Operation diagram of deringing filter フィルタの処理の前後におけるスキャンライン上の各値の変化を示す図The figure which shows the change of each value on the scan line before and after the processing of the filter 補正付フィルタ処理を実現するコンピュータプログラムのフローチャートFlowchart of computer program that realizes filter processing with correction ラプラシアンフィルタの説明図Illustration of Laplacian filter 単純平均フィルタの説明図Illustration of simple average filter ガウシアンフィルタの説明図Illustration of Gaussian filter

符号の説明Explanation of symbols

１ＤＣ算出部
２ＤＣ符号化部
３ａ〜３ｃ階層処理部
４ａ，４ｂフィルタ処理部
４１処理前ＤＣ値算出部
４２フィルタリング部
４２ａ減算器
４２ｂしきい値判定部
４２ｃ加算器
４３処理後ＤＣ値算出部
４４減算器
４５ブロック補正部 DESCRIPTION OF SYMBOLS 1 DC calculation part 2 DC encoding part 3a-3c Hierarchical process part 4a, 4b Filter process part 41 Pre-process DC value calculation part 42 Filtering part 42a Subtractor 42b Threshold value determination part 42c Adder 43 Post-process DC value calculation part 44 Subtractor 45 Block correction unit

Claims

画像処理システムにおいて、
フィルタ処理の対象となる領域のそれぞれに対して、当該領域の周辺に位置する周辺領域の情報を用いたフィルタ処理を施すフィルタリング部と、
互いに隣接した複数の前記領域の集合であるブロックに関して、フィルタ処理前の前記ブロックの平均画素値である第１のＤＣ値を、フィルタ処理後の前記ブロックの平均画素値である第２のＤＣ値から減じた差分値を算出する減算器と、
前記差分値を前記ブロック内の領域数で除算して前記ブロック内の各前記領域に均等に割り当て、当該除算した値を、フィルタ処理後の前記ブロック内の各前記領域の平均画素値からそれぞれ減じて補正後の各前記領域の平均画素値を算出することによって、フィルタ処理後の各前記領域からなる前記ブロックを補正するブロック補正部と
を有することを特徴とする画像処理システム。 In an image processing system,
A filtering unit that performs a filtering process using information on a peripheral area located around the area for each of the areas to be filtered;
For a block that is a set of a plurality of regions adjacent to each other, a first DC value that is an average pixel value of the block before the filtering process is used as a second DC value that is an average pixel value of the block after the filtering process. A subtractor for calculating a difference value subtracted from
The difference value is divided by the number of areas in the block and assigned to each area in the block equally, and the divided value is subtracted from the average pixel value of each area in the block after filtering. An image processing system comprising: a block correction unit that corrects the block including each of the regions after the filter processing by calculating an average pixel value of each of the regions after correction.

画像処理システムにおいて、In an image processing system,
フィルタ処理の対象となる領域のそれぞれに対して、当該領域の周辺に位置する周辺領域の情報を用いたフィルタ処理を施すフィルタリング部と、A filtering unit that performs a filtering process using information on a peripheral area located around the area for each of the areas to be filtered;
互いに隣接した複数の前記領域の集合であるブロックに関して、フィルタ処理前の前記ブロックの平均画素値である第１のＤＣ値を、フィルタ処理後の前記ブロックの平均画素値である第２のＤＣ値から減じた差分値を算出する減算器と、For a block that is a set of a plurality of regions adjacent to each other, a first DC value that is an average pixel value of the block before the filtering process is used as a second DC value that is an average pixel value of the block after the filtering process. A subtractor for calculating a difference value subtracted from
フィルタ処理後の前記ブロック内における各前記領域の平均画素値の比率に応じて前記差分値を按分して前記ブロック内の各前記領域に可変に割り当て、当該按分した値を、フィルタ処理後の前記領域の平均画素値からそれぞれ減じて補正後の各前記領域の平均画素値を算出することによって、フィルタ処理後の各前記領域からなる前記ブロックを補正するブロック補正部とThe difference value is apportioned in accordance with the ratio of the average pixel value of each region in the block after the filtering process and is variably assigned to each region in the block. A block correction unit that corrects the block composed of each of the regions after filter processing by calculating an average pixel value of each of the regions after correction by subtracting from the average pixel value of the region;
を有することを特徴とする画像処理システム。An image processing system comprising:

前記フィルタリング部は、前記フィルタ処理として、デリンギングフィルタ、エッジ強調フィルタおよび平滑化フィルタのいずれかの処理を行うことを特徴とする請求項１または２に記載された画像処理システム。 The filtering unit, wherein the filtering, de-ringing filtering, image processing system according to claim 1 or 2, characterized in that to do any of the edge emphasis filter and smoothing filter.

前記ブロックは、画像を複数のブロックに分割し、それぞれのブロックを処理単位とした処理によって、画像データを圧縮または伸張するブロック分割符号化の処理単位となるブロックであることを特徴とする請求項１から３のいずれかに記載された画像処理システム。 The block is a block which is a block division coding processing unit for compressing or expanding image data by dividing an image into a plurality of blocks and processing each block as a processing unit. The image processing system described in any one of 1 to 3 .

階層が下位になるにしたがって、前記ブロックのサイズが段階的に小さくなり、前記ブロック分割符号化が階層間で再帰的に行われる階層構造において、
少なくとも一つの階層は、前記フィルタリング部と、前記減算器と、前記ブロック補正部とを有し、
上位階層側で補正されたフィルタ処理後の平均画素値が、下位階層側に供給されることを特徴とする請求項４に記載された画像処理システム。 In the hierarchical structure in which the size of the block is gradually reduced as the hierarchy becomes lower, and the block division coding is performed recursively between the hierarchies.
At least one layer includes the filtering unit, the subtracter, and the block correction unit,
5. The image processing system according to claim 4 , wherein the average pixel value after filter processing corrected on the upper layer side is supplied to the lower layer side.

前記ブロック分割符号化は、交流成分予測を用いて画像を圧縮するエンコード処理、または、交流成分予測を用いて画像を伸張するデコード処理であることを特徴とする請求項５に記載された画像処理システム。 6. The image processing according to claim 5 , wherein the block division encoding is an encoding process for compressing an image using AC component prediction or a decoding process for expanding an image using AC component prediction. system.

画像処理プログラムにおいて、
フィルタ処理の対象となる領域のそれぞれに対して、当該領域の周辺に位置する周辺領域の情報を用いたフィルタ処理を施す第１のステップと、
互いに隣接した複数の前記領域の集合であるブロックに関するフィルタ処理前の前記ブロックの平均画素値を第１のＤＣ値として算出する第２のステップと、
前記ブロックに関するフィルタ処理後の平均画素値を第２のＤＣ値として算出する第３のステップと、
前記第１のＤＣ値を前記第２のＤＣ値から減じた差分値を算出する第４のステップと、
前記差分値を前記ブロック内の領域数で除算して前記ブロック内の各前記領域に均等に割り当て、当該除算した値を、フィルタ処理後の前記ブロック内の各前記領域の平均画素値からそれぞれ減じて補正後の各前記領域の平均画素値を算出することによって、フィルタ処理後の各前記領域からなる前記ブロックを補正する第５のステップと
を有する画像処理をコンピュータに実行させるための画像処理プログラム。 In an image processing program,
A first step of applying a filtering process using information on a peripheral area located around the area to each of the areas to be filtered;
A second step of calculating, as a first DC value, an average pixel value of the block before the filtering process related to a block that is a set of a plurality of regions adjacent to each other;
A third step of calculating an average pixel value after filtering related to the block as a second DC value;
A fourth step of calculating a difference value by subtracting said first DC value from said second DC values,
The difference value is divided by the number of areas in the block and assigned to each area in the block equally, and the divided value is subtracted from the average pixel value of each area in the block after filtering. An image processing program for causing a computer to perform image processing including calculating a mean pixel value of each of the regions after correction and correcting the block including the regions after filter processing. .

画像処理プログラムにおいて、In an image processing program,
フィルタ処理の対象となる領域のそれぞれに対して、当該領域の周辺に位置する周辺領域の情報を用いたフィルタ処理を施す第１のステップと、A first step of applying a filtering process using information on a peripheral area located around the area to each of the areas to be filtered;
互いに隣接した複数の前記領域の集合であるブロックに関するフィルタ処理前の前記ブロックの平均画素値を第１のＤＣ値として算出する第２のステップと、A second step of calculating, as a first DC value, an average pixel value of the block before the filtering process related to a block that is a set of a plurality of regions adjacent to each other;
前記ブロックに関するフィルタ処理後の平均画素値を第２のＤＣ値として算出する第３のステップと、A third step of calculating an average pixel value after filtering related to the block as a second DC value;
前記第１のＤＣ値を前記第２のＤＣ値から減じた差分値を算出する第４のステップと、A fourth step of calculating a difference value obtained by subtracting the first DC value from the second DC value;
フィルタ処理後の前記ブロック内における各前記領域の平均画素値の比率に応じて前記差分値を按分して前記ブロック内の各前記領域に可変に割り当て、当該按分した値を、フィルタ処理後の前記領域の平均画素値からそれぞれ減じて補正後の各前記領域の平均画素値を算出することによって、フィルタ処理後の各前記領域からなる前記ブロックを補正する第５のステップとThe difference value is apportioned in accordance with the ratio of the average pixel value of each region in the block after the filtering process and is variably assigned to each region in the block. A fifth step of correcting the block consisting of each of the areas after filtering by calculating an average pixel value of each of the areas after correction by subtracting from the average pixel value of each area;
を有する画像処理をコンピュータに実行させるための画像処理プログラム。An image processing program for causing a computer to execute image processing having

前記第１のステップは、前記フィルタ処理として、デリンギングフィルタ、エッジ強調フィルタおよび平滑化フィルタのいずれかの処理を行うことを特徴とする請求項７または８に記載された画像処理プログラム。 The image processing program according to claim 7, wherein the first step performs any one of a deringing filter, an edge enhancement filter, and a smoothing filter as the filter processing.

前記ブロックは、画像を複数のブロックに分割し、それぞれのブロックを処理単位とした処理によって、画像データを圧縮または伸張するブロック分割符号化の処理単位となるブロックであることを特徴とする請求項７から９のいずれかに記載された画像処理プログラム。 The block is a block which is a block division coding processing unit for compressing or expanding image data by dividing an image into a plurality of blocks and processing each block as a processing unit. The image processing program according to any one of 7 to 9 .

階層が下位になるにしたがって、前記ブロックのサイズが段階的に小さくなり、前記ブロック分割符号化が階層間で再帰的に行われる階層構造において、
前記画像処理は、少なくとも一つの階層において行われ、
上位階層側で補正されたフィルタ処理後の平均画素値が、下位階層側に供給されることを特徴とする請求項１０に記載された画像処理プログラム。 In the hierarchical structure in which the size of the block is gradually reduced as the hierarchy becomes lower, and the block division coding is performed recursively between the hierarchies.
The image processing is performed in at least one hierarchy,
11. The image processing program according to claim 10 , wherein the average pixel value after the filter processing corrected on the upper layer side is supplied to the lower layer side.

前記ブロック分割符号化は、交流成分予測を用いて画像を圧縮するエンコード処理、または、交流成分予測を用いて画像を伸張するデコード処理であることを特徴とする請求項１１に記載された画像処理プログラム。 12. The image processing according to claim 11 , wherein the block division coding is an encoding process for compressing an image using AC component prediction or a decoding process for expanding an image using AC component prediction. program.