JP4789020B2 - Image processing system and image processing program - Google Patents
Image processing system and image processing program Download PDFInfo
- Publication number
- JP4789020B2 JP4789020B2 JP2008262544A JP2008262544A JP4789020B2 JP 4789020 B2 JP4789020 B2 JP 4789020B2 JP 2008262544 A JP2008262544 A JP 2008262544A JP 2008262544 A JP2008262544 A JP 2008262544A JP 4789020 B2 JP4789020 B2 JP 4789020B2
- Authority
- JP
- Japan
- Prior art keywords
- block
- value
- average pixel
- pixel value
- filtering
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 title claims description 117
- 238000001914 filtration Methods 0.000 claims description 81
- 238000000034 method Methods 0.000 claims description 65
- 230000008569 process Effects 0.000 claims description 57
- 238000012937 correction Methods 0.000 claims description 29
- 230000002093 peripheral effect Effects 0.000 claims description 27
- 238000009499 grossing Methods 0.000 claims description 6
- 238000004364 calculation method Methods 0.000 description 19
- 238000013139 quantization Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 7
- 230000007423 decrease Effects 0.000 description 6
- 101150079125 DCN1 gene Proteins 0.000 description 5
- 238000013459 approach Methods 0.000 description 5
- 238000006243 chemical reaction Methods 0.000 description 4
- 230000002427 irreversible effect Effects 0.000 description 4
- 230000009466 transformation Effects 0.000 description 4
- 101100428617 Homo sapiens VMP1 gene Proteins 0.000 description 2
- 101150074162 TDC1 gene Proteins 0.000 description 2
- 101150010135 TDC2 gene Proteins 0.000 description 2
- 102100038001 Vacuole membrane protein 1 Human genes 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000012805 post-processing Methods 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 238000009825 accumulation Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 230000008570 general process Effects 0.000 description 1
- 230000000116 mitigating effect Effects 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 238000010977 unit operation Methods 0.000 description 1
Images
Landscapes
- Compression Of Band Width Or Redundancy In Fax (AREA)
- Image Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Description
本発明は、画像処理システムおよび画像処理プログラムに係り、特に、ブロック分割符号化に適した補正付フィルタ処理に関する。 The present invention relates to an image processing system and an image processing program, and more particularly to a filter processing with correction suitable for block division coding.
従来より、ブロック分割符号化、すなわち、画像を複数のブロックに分割し、ブロックを処理単位とした処理によって、画像データを圧縮/伸張する手法が知られている。その典型であるJPEG(Joint Photographic Experts Group)では、画像を固定サイズ(8×8画素)のブロックに分割し、ブロック単位の離散コサイン変換(DCT:Discrete Cosine Transform)によって、画像データが空間領域から周波数領域へ変換される。そして、DCTによって得られた周波数成分に対して、量子化後に、エントロピー符号化が施される。この符号化の他の例としては、特許文献1,2に開示された再帰的交流成分予測符号化(RACP:Recursive ACP)が挙げられる。RACP符号化は、処理対象となるブロックを順次細分化し、交流成分予測(ACP:AC Componet Prediction)を用いて、画像データを階層的に圧縮/伸張する手法である。また、特許文献3には、ブロック分割符号化に起因したブロックノイズ等を緩和するために、ローパスフィルタを併用したRACP符号化が開示されている。
Conventionally, there has been known a method of compressing / decompressing image data by block division coding, that is, an image is divided into a plurality of blocks, and processing is performed using blocks as processing units. In the typical JPEG (Joint Photographic Experts Group), an image is divided into blocks of a fixed size (8 × 8 pixels), and image data is separated from the spatial domain by DCT (Discrete Cosine Transform) in units of blocks. Converted to the frequency domain. Then, entropy coding is performed on the frequency component obtained by DCT after quantization. Another example of this encoding is recursive AC component predictive encoding (RACP: Recursive ACP) disclosed in
ところで、例えば、特許文献4にも指摘されているように、ローパスフィルタを用いる場合には、符号化の過程で重畳したノイズ成分のみならず、原画像が本来的に有する高周波成分も除去されてしまう。そのため、フィルタリング後の画像が全体的にぼやけてしまうという問題がある。この問題を解消すべく、特許文献4には、ブロック分割符号化において、ローパスフィルタの代わりに、デリンギングフィルタを用いる点が開示されている。デリンギングフィルタは、判定しきい値との比較によってノイズを検出し、ノイズが生じている領域の画素値を、その周辺領域の情報を用いて演算された値に置き換えるフィルタであり、ブロックノイズやリンギングノイズの緩和といった用途で用いられる。ここで、ブロックノイズは、原画像には存在しないブロックの境目が出現するブロック状の歪みであり、リンギングノイズは、画像の輪郭、すなわちエッジ周辺に生じるもや状の歪みである。 By the way, as pointed out in Patent Document 4, for example, when using a low-pass filter, not only the noise component superimposed in the encoding process but also the high-frequency component inherent in the original image is removed. End up. Therefore, there is a problem that the image after filtering is blurred as a whole. In order to solve this problem, Patent Document 4 discloses that a deringing filter is used instead of a low-pass filter in block division coding. The deringing filter is a filter that detects noise by comparison with a determination threshold value and replaces the pixel value of the area where the noise is generated with a value calculated using information of the surrounding area. Used for applications such as ringing noise mitigation. Here, the block noise is a block-like distortion in which a boundary between blocks that does not exist in the original image appears, and the ringing noise is a haze-like distortion generated around the contour of the image, that is, the edge.
上述した従来のデリンギングフィルタでは、フィルタリングの前後でブロックの平均画素値、すなわちDC値(直流成分)が変化してしまうという欠点がある。例えば、JPEGでは、8×8画素のブロック単位でDCTを行うが、DCTはKL変換の良好な近似となるため、低周波成分に情報が集中する。DCTの第一成分であるDC値は、これを量子化したとしても、他成分であるAC値(交流成分)よりも真値により近い。したがって、AC値を含んで生成される出力画素値を用いたフィルタ処理(フィルタリング)によって、ブロックのDC値自体が変化してしまうと、PSNR(Peak signal-to-noise ratio)の低下を招く。ここで、PSNRとは、画像の信号と混入したノイズとの比率(通常はdB)をいい、この値が低いほど、画像信号に多くのノイズが混入していることを意味する。同様のことは、RACP符号化についてもいえる。RACP符号化では、上位階層からDC値が供給され、AC値とともに出力画素値を生成する。上位階層ほど量子化係数が小さくなっているため、DC値の方がAC値よりも真値に近い。したがって、AC値を含んで生成される出力画素値を用いたフィルタ処理によって、ブロックのDC値自体が変化してしまうと、PSNRの低下を招く。 The conventional deringing filter described above has a drawback that the average pixel value of the block, that is, the DC value (DC component) changes before and after filtering. For example, in JPEG, DCT is performed in units of 8 × 8 pixel blocks, but since DCT is a good approximation of KL conversion, information is concentrated on low-frequency components. The DC value, which is the first component of DCT, is closer to the true value than the AC value (alternating current component), which is another component, even if it is quantized. Therefore, if the DC value of the block itself changes due to the filtering process (filtering) using the output pixel value generated including the AC value, the PSNR (Peak signal-to-noise ratio) is lowered. Here, PSNR refers to a ratio (usually dB) between an image signal and mixed noise. The lower this value, the more noise is mixed in the image signal. The same is true for RACP encoding. In the RACP encoding, a DC value is supplied from an upper layer, and an output pixel value is generated together with an AC value. Since the quantization coefficient is smaller in the upper layer, the DC value is closer to the true value than the AC value. Therefore, if the DC value of the block itself is changed by the filtering process using the output pixel value generated including the AC value, the PSNR is lowered.
本発明は、このような点に鑑みなされたもので、その目的は、フィルタ処理を施しても、フィルタ処理前のブロックのDC値を有効に保持することである。 The present invention has been made in view of such a point, and an object thereof is to effectively hold a DC value of a block before the filtering process even when the filtering process is performed.
かかる課題を解決すべく、第1の発明は、フィルタリング部と、減算器と、ブロック補正部とを有する画像処理システムを提供する。フィルタリング部は、フィルタ処理の対象となる領域のそれぞれに対して、この領域の周辺に位置する周辺領域の情報を用いたフィルタ処理を施す。減算器は、互いに隣接した複数の領域の集合であるブロックに関して、フィルタ処理前のブロックの平均画素値である第1のDC値を、フィルタ処理後のブロックの平均画素値である第2のDC値から減じた差分値を算出する。ブロック補正部は、差分値をブロック内の領域数で除算してブロック内の各領域に均等に割り当て、当該除算した値を、フィルタ処理後のブロック内の各領域の平均画素値からそれぞれ減じて補正後の各領域の平均画素値を算出することによって、フィルタ処理後の各領域からなるブロックを補正する。あるいは、ブロック補正部は、フィルタ処理後のブロック内における各領域の平均画素値の比率に応じて差分値を按分してブロック内の各領域に可変に割り当て、当該按分した値を、フィルタ処理後の領域の平均画素値からそれぞれ減じて補正後の各領域の平均画素値を算出することによって、フィルタ処理後の各領域からなるブロックを補正する。 In order to solve such a problem, the first invention provides an image processing system including a filtering unit, a subtracter, and a block correction unit. The filtering unit performs a filtering process using information on a peripheral area located around the area for each area to be filtered. For a block that is a set of a plurality of regions adjacent to each other, the subtracter uses a first DC value that is an average pixel value of the block before the filtering process and a second DC value that is an average pixel value of the block after the filtering process. The difference value subtracted from the value is calculated. The block correction unit divides the difference value by the number of areas in the block and assigns the divided values equally to each area in the block, and subtracts the divided value from the average pixel value in each area in the block after the filter processing. By calculating the average pixel value of each area after correction, the block composed of each area after the filter processing is corrected. Alternatively, the block correction unit apportions the difference value according to the ratio of the average pixel value of each area in the block after the filtering process and variably assigns the difference value to each area in the block. By calculating the average pixel value of each area after correction by subtracting from the average pixel value of each area, the block consisting of each area after the filter processing is corrected.
ここで、第1の発明において、フィルタリング部は、上記フィルタ処理として、デリンギングフィルタ、エッジ強調フィルタおよび平滑化フィルタのいずれかの処理を行うことが好ましい。 Here, in the first invention, the filtering unit preferably performs any one of a deringing filter, an edge enhancement filter, and a smoothing filter as the filter processing.
第1の発明において、上記ブロックは、画像を複数のブロックに分割し、それぞれのブロックを処理単位とした処理によって、画像データを圧縮または伸張するブロック分割符号化の処理単位となるブロックであることが好ましい。第1の発明は、階層が下位になるにしたがって、上記ブロックのサイズが段階的に小さくなり、上記ブロック分割符号化が階層間で再帰的に行われる複数の階層構造に適用してもよい。この場合、少なくとも一つの階層は、上記フィルタリング部と、上記減算器と、上記ブロック補正部とを有する。そして、上位階層側で補正されたフィル処理後の平均画素値を下位階層側に供給することが好ましい。ここで、上記ブロック分割符号化は、交流成分予測を用いて画像を圧縮するエンコード処理、または、交流成分予測を用いて画像を伸張するデコード処理であってもよい。 In the first invention, the block is a block that is a block division coding processing unit that divides an image into a plurality of blocks and compresses or decompresses image data by processing each block as a processing unit. Is preferred. The first invention may be applied to a plurality of hierarchical structures in which the size of the block gradually decreases as the hierarchy becomes lower, and the block division coding is recursively performed between the hierarchies. In this case, at least one layer includes the filtering unit, the subtractor, and the block correction unit. Then, it is preferable to supply the average pixel value after the fill process corrected on the upper layer side to the lower layer side. Here, the block division encoding may be an encoding process for compressing an image using AC component prediction, or a decoding process for expanding an image using AC component prediction.
第2の発明は、以下の画像処理をコンピュータに実行させるための画像処理プログラムを提供する。この画像処理は、フィルタ処理の対象となる領域のそれぞれに対して、この領域の周辺に位置する周辺領域の情報を用いたフィルタ処理を施す第1のステップと、互いに隣接した複数の領域の集合であるブロックに関するフィルタ処理前のブロックの平均画素値を第1のDC値として算出する第2のステップと、ブロックのフィルタ処理後の平均画素値を第2のDC値として算出する第3のステップと、第1のDC値を第2のDC値から減じた差分値を算出する第4のステップと、差分値をブロック内の領域数で除算してブロック内の各領域に均等に割り当て、当該除算した値を、フィルタ処理後のブロック内の各領域の平均画素値からそれぞれ減じて補正後の各領域の平均画素値を算出することによって、フィルタ処理後の各領域からなるブロックを補正する第5のステップとを有する。
あるいは、上記第5のステップにおいて、フィルタ処理後のブロック内における各領域の平均画素値の比率に応じて差分値を按分してブロック内の各領域に可変に割り当て、当該按分した値を、フィルタ処理後の領域の平均画素値からそれぞれ減じて補正後の各領域の平均画素値を算出することによって、フィルタ処理後の各領域からなるブロックを補正する。
The second invention provides an image processing program for causing a computer to execute the following image processing. This image processing includes a first step of performing filtering processing using information on a peripheral region located in the periphery of each region to be filtered, and a set of a plurality of regions adjacent to each other. A second step of calculating an average pixel value of the block before the filtering process relating to the block as the first DC value, and a third step of calculating an average pixel value of the block after the filtering process as the second DC value And a fourth step of calculating a difference value obtained by subtracting the first DC value from the second DC value , and dividing the difference value by the number of areas in the block and equally assigning to each area in the block, the division value by calculating an average pixel value of each region corrected by subtracting from each of the average pixel values of the respective regions in the block after filtering consists of the region after the filtering And a fifth step of correcting the lock.
Alternatively, in the fifth step, the difference value is apportioned in accordance with the ratio of the average pixel value of each region in the block after the filter process, and is variably assigned to each region in the block. A block composed of each area after the filter processing is corrected by calculating the average pixel value of each area after correction by subtracting from the average pixel value of the area after processing.
ここで、第2の発明において、上記第1のステップは、フィルタ処理として、デリンギングフィルタ、エッジ強調フィルタおよび平滑化フィルタのいずれかの処理を行うことが好ましい。 Here, in the second invention, the first step preferably performs any one of a deringing filter, an edge enhancement filter, and a smoothing filter as the filter processing.
第2の発明において、上記ブロックは、画像を複数のブロックに分割し、それぞれのブロックを処理単位とした処理によって、画像データを圧縮または伸張するブロック分割符号化の処理単位となるブロックであることが好ましい。第2の発明は、階層が下位になるにしたがって、上記ブロックのサイズが段階的に小さくなり、上記ブロック分割符号化が階層間で再帰的に行われる階層構造に適用してもよい。この場合、上記画像処理は、少なくとも一つの階層において行われる。そして、上位階層側の上記画像処理によって補正されたフィルタ処理後の平均画素値が、下位階層側に供給される。ここで、上記各階層の処理は、交流成分予測を用いて画像を圧縮するエンコード処理、または、交流成分予測を用いて画像を伸張するデコード処理であってもよい。 In the second invention, the block is a block that is a block division coding processing unit that divides an image into a plurality of blocks and compresses or decompresses image data by processing each block as a processing unit. Is preferred. The second invention may be applied to a hierarchical structure in which the size of the block decreases stepwise as the hierarchy becomes lower, and the block division coding is recursively performed between the hierarchies. In this case, the image processing is performed in at least one hierarchy. Then, the average pixel value after the filter processing corrected by the image processing on the upper layer side is supplied to the lower layer side. Here, the processing of each layer may be an encoding process for compressing an image using AC component prediction or a decoding process for expanding an image using AC component prediction.
本発明によれば、フィルタ処理後のブロックの平均画素値が第1のDC値に近づくように、フィルタ処理後のブロック内の各値を補正する。この補正は、フィルタ処理の前後におけるDC値の差分を、それぞれの領域に分配することによって行われる。これにより、補正が施されたブロックは、フィルタ処理後の特性を良好に維持しつつ、フィルタ処理前のDC値を有効に保持することが可能になる。特に、ブロック分割符号化に適用した場合には、フィルタリングの効果を損なうことなく、フィルタリングに起因したPSNRの低下を抑制できる。 According to the present invention, each value in the block after the filter process is corrected so that the average pixel value of the block after the filter process approaches the first DC value. This correction is performed by distributing the difference between the DC values before and after the filtering process to each region. As a result, the corrected block can effectively maintain the DC value before the filter processing while maintaining the good characteristics after the filter processing. In particular, when applied to block division coding, a decrease in PSNR due to filtering can be suppressed without impairing the filtering effect.
本実施形態では、ブロック分割符号化の一例として、RACP符号化を例に説明する。図1は、RACPエンコーダの全体構成図である。このエンコーダは、DC算出部1と、DC符号化部2と、階層処理部3a〜3cと、フィルタ処理部4a,4bとを主体に構成されており、4つの階層よりなる階層構造を有する。これらのユニット1,2,3a〜3c,4a,4bより出力されたデータTDCn,DCn,DC''n(n=0,1,2,3)は、図示しないバッファ(記憶部)に一時的に格納され、このバッファを介して、ユニット間のデータ転送が行われる。
In the present embodiment, RACP encoding will be described as an example of block division encoding. FIG. 1 is an overall configuration diagram of a RACP encoder. This encoder is mainly composed of a
DC算出部1は、圧縮対象となる入力画像を予め設定されたサイズのブロックに分割し、それぞれのブロックの平均画素値(DC値)、すなわち、ブロック内に含まれる画素の平均値をTDC0〜TDC3として出力する。ここで、TDC0は8×8画素のブロック(8×8ブロック)の平均画素値、TDC1は4×4画素のブロック(4×4ブロック)の平均画素値、TDC2は2×2画素のブロック(2×2ブロック)の平均画素値である。また、TDC3は1×1画素のブロック(1×1ブロック)の平均画素値、すなわち、画像の最小単位である画素の画素値そのもののである。なお、入力画像から直接算出される平均画素値TDC0〜TDC3(真の値)は、ユニット2,3a〜3c内での処理を経て復元される平均画素値DC0〜DC3(復元値)とは区別される。両者の値は、符号化の過程で非可逆変換(量子化を含む)をともなうので、厳密には一致しない。なお、本明細書において、「画素値」とは、画像の最小単位である画素そのものの値のみならず、隣接した複数の画素集合である画素ブロックの特性を表す代表値も含むものとする。
The
DC符号化部2および階層処理部3a〜3cは、8×8ブロック(最上位階層)、4×4ブロック(第2位階層)、2×2ブロック(第3位階層)および1×1ブロック(最下位階層)よりなる4階層構造において、自己に割り当てられた階層処理を行う。
The
最上位階層は、DC符号化部2によって構成される。このDC符号化部2は、バッファから読み出された8×8ブロック毎の平均画素値TDC0に対して、差分パルス符号変調(DPCM:Differential Pulse Code Modulation)およびエントロピー符号化を施す。差分パルス符号変調によって、画像平面上において互いに隣接したブロックに関する平均画素値TDC0の差分が符号化される。そして、この符号化された差分に対して、量子化後、ハフマン符号化や算術符号化といったエントロピー符号化が施される。このような処理を経たデータは、圧縮データの一部となる画像の直流成分DC0として出力されるとともに、直下位の階層の階層処理部3aに供給すべく、8×8ブロックの平均画素値を復元(逆量子化)した値DC0として出力される。
The highest layer is configured by the
3つの階層処理部3a〜3cは、DC算出部1によって生成された平均画素値TDCn(n=1,2,3、以下同様)と、直上位の階層によって生成された平均画素値DCn-1(またはDC''n-1)とを入力とし、交流成分予測符号化によって、圧縮データの一部としての画像の交流成分ACnを出力する。周知のように、交流成分予測符号化の大まかな処理の流れは、予測画素値の算出、予測残差の算出、予測残差の非可逆変換(アダマール変換および量子化等)、およびエントロピー符号化(ハフマン符号化等)といった順序となり、量子化係数は上位階層ほど小さくなっている。また、階層処理部3a〜3c(ただし、3cは必要な場合のみ)は、非可逆変換の逆変換を行って予測残差を復元し、これを予測画素値に加算することで、平均画素値DCnを復元する。復元された平均画素値DCnは、直下位の階層に供給するために出力される。なお、ある階層の交流成分予測において、その階層のサブブロックを周辺領域として参照する場合、復元された平均画素値DCnは、同一階層にもフィードバックされる。
The three hierarchical processing units 3a to 3c include an average pixel value TDCn (n = 1, 2, 3, and so on) generated by the
第2位階層は、階層処理部3aおよびフィルタ処理部4aによって構成される。この階層では、8×8ブロックを処理対象とした処理によって、4×4ブロックの交流成分AC1と、4×4ブロックの平均画素値DC1,DC''1とが出力される。階層処理部3aは、交流成分予測で参照すべき周辺領域として、最上位階層で生成された8×8ブロックの平均画素値DC0を用いるとともに、サブブロックを併せて参照する場合には、同一階層でフィードバックされた4×4ブロックの平均画素値DC1も用いる。また、予測残差の算出には、DC算出部1によって算出された4×4ブロックの平均画素値TDC1が用いられる。フィルタ処理部4aは、ブロックノイズやリンギングノイズを緩和するために、平均画素値DC1に補正付フィルタ処理を施し、平均画素値DC''1を出力する。
The second hierarchy is composed of a hierarchy processing unit 3a and a
第3位階層は、階層処理部3bおよびフィルタ処理部4bによって構成される。この階層では、4×4ブロックを処理対象とした処理によって、2×2ブロックの交流成分AC2と、2×2ブロックの平均画素値DC2,DC''2とが出力される。階層処理部3bは、交流成分予測で参照すべき周辺領域として、第2位階層で生成された4×4ブロックの平均画素値DC''1(フィルタリング後)を用いるとともに、サブブロックを併せて参照する場合には、同一階層でフィードバックされた2×2ブロックの平均画素値DC2も用いる。また、予測残差の算出には、DC算出部1によって算出された2×2ブロックの平均画素値TDC2が用いられる。フィルタ処理部4bは、ブロックノイズ等を緩和するために、平均画素値DCに補正付フィルタ処理を施し、平均画素値DC''2を出力する。
The third hierarchy is composed of a hierarchy processing unit 3b and a
最下位階層は、階層処理部3cによって構成される。この階層では、2×2ブロックを処理対象とした処理によって、1×1ブロックの交流成分AC3が出力される。階層処理部3cは、交流成分予測で参照すべき情報として、第3位階層で生成された2×2ブロックの平均画素値DC''2(フィルタリング後)を用いるとともに、サブブロックを併せて参照する場合には、同一階層でフィードバックされた1×1ブロックの平均画素値DC3も用いる。また、予測残差の算出には、DC算出部1によって算出された1×1ブロックの平均画素値TDC3が用いられる。
The lowest hierarchy is configured by the hierarchy processing unit 3c. In this hierarchy, the AC component AC3 of 1 × 1 block is output by the processing targeted for 2 × 2 blocks. The hierarchy processing unit 3c uses the average pixel value DC ″ 2 (after filtering) of the 2 × 2 block generated in the third hierarchy as information to be referred to in the AC component prediction, and also refers to the sub blocks. In this case, the average pixel value DC3 of 1 × 1 block fed back in the same hierarchy is also used. Further, the average pixel value TDC3 of the 1 × 1 block calculated by the
このような階層構造において、DC符号化部2および階層処理部3a〜3cが互いに連係し、パイプライン的な並行処理を行うことによって、一連の処理が階層間で再帰的に実行される。これによって、圧縮データとして、画像の直流成分DC0と、その交流成分AC1〜AC3とが出力される。この圧縮データには、これら以外にもハフマンテーブル等の付随情報も含まれる。なお、フィルタ処理部4a,4bは、複数の階層に設ける必要はなく、少なくとも一つの階層に設けられていれば足りる。
In such a hierarchical structure, the
図2は、画像平面上に設定されるブロックの説明図である。ブロックは、画像(1フレームの画像全体またはその一部)を縦横に分割することで、画像平面上に複数設定される。それぞれの階層におけるブロック分割符号化(交流成分予測符号化)は、ブロック単位で行われる。ブロックのサイズは、階層が下位になるにしたがって段階的に小さくなるように設定されており、ある階層で処理対象となるブロックのサイズは、その直上位の階層で細分化されたサブブロックのサイズと一致する。 FIG. 2 is an explanatory diagram of blocks set on the image plane. A plurality of blocks are set on the image plane by dividing an image (the whole image of one frame or a part thereof) vertically and horizontally. Block division coding (AC component predictive coding) in each layer is performed in units of blocks. The block size is set to decrease step by step as the hierarchy becomes lower, and the size of the block to be processed in a certain hierarchy is the size of the sub-block subdivided in the immediately higher hierarchy Matches.
ある階層における画像全体の処理は、処理対象となるブロックを画面上で順次シフトさせながら処理を繰り返し、画像中の全ブロックを処理することによって達成される。このシフトの方向は、図示したように、水平方向に沿った線順次走査的なものであってもよいが、垂直方向に沿ったものも含めて任意に設定してよい。また、それぞれの階層におけるシフトの方向は、必ずしも同一である必要もない。ここで、処理対象の周辺に位置する領域を「周辺領域」といい、この周辺領域の情報が処理対象の交流成分予測を行う際に参照される。周辺領域は、順次シフトによる処理が未だ行われていない領域、すなわち「未処理周辺領域」と、順次シフトによる処理が既に行われた領域、すなわち「処理済周辺領域」とに分類される。同図の場合、処理対象をブロックSとすると、その上下左右に隣接したブロックT,B,L,Rが周辺領域となる。そして、下右に隣接したブロックB,Rが未処理周辺領域となり、上左に隣接したブロックT,Lが処理済周辺領域となる。未処理周辺領域(ブロックB,R)では、ブロックを4つに分割したサブブロックの個々の平均画素値DCnが未だ算出されておらず、直上位の階層で算出されたブロック全体の平均画素値DCn-1のみが既知となっている。また、処理周済辺領域(ブロックT,L)では、同一階層での従前処理によって、ブロックを細分化した個々のサブブロックの平均画素値DCnが算出済みである。以下、あるブロックを細分化した4つのサブブロックに関して、ブロックの左上を”00”,右上を”01”,右下を”11”,左下を”10”とした添字を以て識別するものとする。また、本実施形態では、処理対象の周辺領域として、上下左右のブロックT,B,L,Rを設定しているが、これは一例であって、その一部(例えば上左右)であってもよいし、それ以外(例えば斜め方向、1つ飛び等)を含めてもよい。 Processing of the entire image in a certain hierarchy is achieved by repeating the processing while sequentially shifting the blocks to be processed on the screen and processing all the blocks in the image. As shown in the figure, the direction of this shift may be a line-sequential scanning along the horizontal direction, but may be arbitrarily set including that along the vertical direction. Further, the shift directions in the respective hierarchies are not necessarily the same. Here, a region located around the processing target is referred to as a “peripheral region”, and information on the peripheral region is referred to when the AC component prediction of the processing target is performed. Peripheral areas are classified into areas that have not yet undergone sequential shift processing, ie, “unprocessed peripheral areas”, and areas that have already undergone sequential shift processing, ie, “processed peripheral areas”. In the case of the figure, if the processing target is a block S, adjacent blocks T, B, L, and R on the top, bottom, left and right are peripheral regions. The blocks B and R adjacent to the lower right are unprocessed peripheral areas, and the blocks T and L adjacent to the upper left are processed peripheral areas. In the unprocessed peripheral area (blocks B and R), the individual average pixel values DCn of the sub-blocks obtained by dividing the block into four have not yet been calculated, and the average pixel values of the entire block calculated in the immediately higher hierarchy Only DCn-1 is known. Further, in the processing-periphered side areas (blocks T and L), the average pixel value DCn of each sub-block obtained by subdividing the block has been calculated by the previous process in the same hierarchy. Hereinafter, regarding four sub-blocks obtained by subdividing a block, the upper left of the block is identified by subscripts “00”, the upper right is “01”, the lower right is “11”, and the lower left is “10”. In the present embodiment, the upper, lower, left, and right blocks T, B, L, and R are set as the peripheral area to be processed, but this is an example, and a part thereof (for example, upper and left and right) It may also be included other than that (for example, diagonal direction, one jump, etc.).
つぎに、階層処理部3a〜3cで実行される交流成分予測符号化について、図3を参照しつつ概略的に説明する。本予測符号化では、(1)周辺領域T,B,L,Rの情報を参照することによって、処理対象Sの予測画像S’を生成し、(2)予測画像S’と本来の画像との差分を予測残差PRとして算出し、(3)予測残差PRの非可逆変換(アダマール変換および量子化等)を施した後に、エントロピー符号化(ハフマン符号化等)を行う。この符号化において、圧縮率を高める上でのポイントは、予測残差PRの低減、換言すれば、予測画像S’の精度向上である。交流成分予測によって生成された予測画像S’(隣接した予測画素値の集合)が本来の画像(隣接した真の画素値の集合)に近いほど、予測残差PRが小さくなる。予測残差PRが小さくなるほど、統計的に見た予測残差PRの出現頻度が0近傍に偏る傾向が高まるので、エントロピー符号化を施す上で有利になる。 Next, the AC component predictive encoding executed by the hierarchical processing units 3a to 3c will be schematically described with reference to FIG. In the present predictive coding, (1) a predicted image S ′ of the processing target S is generated by referring to information on the peripheral regions T, B, L, and R, and (2) the predicted image S ′, the original image, Is calculated as a prediction residual PR, and (3) irreversible transformation (Hadamard transform, quantization, etc.) of the prediction residual PR is performed, and then entropy coding (Huffman coding, etc.) is performed. In this encoding, the point in increasing the compression rate is to reduce the prediction residual PR, in other words, to improve the accuracy of the predicted image S ′. The closer the predicted image S ′ (a set of adjacent predicted pixel values) generated by the AC component prediction is to the original image (a set of adjacent true pixel values), the smaller the prediction residual PR. The smaller the prediction residual PR, the more likely the appearance frequency of the prediction residual PR statistically tends to be close to 0, which is advantageous in performing entropy coding.
交流成分予測は、処理対象Sと周辺領域T,B,L,Rとの空間的な相関性を利用して、予測画像S’、すなわち、処理対象Sを細分化した各領域s00〜s11の予測画素値(領域内の平均画素値)を算出するものである。その具体的な算出手法には様々なものが存在するが、以下の例示を含めて、どの手法を採用してもよい。 The AC component prediction uses the spatial correlation between the processing target S and the surrounding regions T, B, L, and R to predict the predicted image S ′, that is, the regions s00 to s11 obtained by subdividing the processing target S. The predicted pixel value (average pixel value in the region) is calculated. There are various specific calculation methods, and any method including the following examples may be adopted.
(算出手法1)
交流成分予測で参照すべき周辺領域として、ブロックT,B,L,Rの平均画素値DCn-1(直上位の階層にて算出済)を用いて、以下の数式1より予測画素値s00〜s11を算出する。なお、数式1に関して、S,T,B,L,Rの表記は、ブロックそのものを指すのではなく、これらの平均画素値DCn-1を示すものとする(後述する数式2についても同様)。なお、本手法の詳細については、特許文献2として挙げた特許第3774201号公報に開示されているので、必要ならば参照されたい。
(Calculation method 1)
Using the average pixel value DCn-1 of the blocks T, B, L, and R (calculated at the immediately higher hierarchy) as a peripheral region to be referred to in the AC component prediction, the predicted pixel value s00 to s00 to s11 is calculated. In addition, regarding
(数式1)
s00=S+(T−B+LーR)/8
s01=S+(T−B−L+R)/8
s10=S+(−T+B+L−R)/8
s11=S+(−T+B−L+R)/8
(Formula 1)
s00 = S + (T−B + LR) / 8
s01 = S + (T−B−L + R) / 8
s10 = S + (-T + B + LR) / 8
s11 = S + (− T + B−L + R) / 8
(算出手法2)
交流成分予測で参照すべき周辺領域として、ブロックB,Rの平均画素値DCn-1(直上位の階層にて算出済)と、処理対象Sと隣接したサブブロックt10,t11,l01,l11の平均画素値DCn(同一階層の従前処理にて算出済)とを用いて、以下の数式2により予測画素値s00〜s11を算出する。なお、数式2に関して、t10,t11,l01,l11の表記は、サブブロックそのものを指すのではなく、これらの平均画素値DCnを示すものとする。一般に、処理対象Sと直接隣接しているサブブロックt10,t11は、処理対象Sと直接隣接していないサブブロックt00,t01をも含むブロックTと比較して、処理対象sとの空間的な相関性がより高いといえる。したがって、冗長なサブブロックt00,t01を除いたサブブロックt10,t11のみを用いることで、予測精度の一層の向上が期待できる。なお、本手法の詳細については、特許文献1として挙げた特許第4000157号公報に開示されているので、必要ならば参照されたい。
(Calculation method 2)
As peripheral regions to be referred to in the AC component prediction, the average pixel value DCn-1 of blocks B and R (calculated in the immediately higher hierarchy) and sub-blocks t10, t11, l01, and l11 adjacent to the processing target S The predicted pixel values s00 to s11 are calculated by the following
(数式2)
s00=S+((t10+t11)/2−B+(l01+l11)/2−R)/8
s01=S+((t10+t11)/2−B−(l01+l11)/2+R)/8
s10=S+(−(t10+t11)/2+B+(l01+l11)/2−R)/8
s11=S+(−(t10+t11)/2+B−(l01+l11)/2+R)/8
(Formula 2)
s00 = S + ((t10 + t11) / 2-B + (l01 + l11) / 2-R) / 8
s01 = S + ((t10 + t11) / 2-B- (l01 + l11) / 2 + R) / 8
s10 = S + (-(t10 + t11) / 2 + B + (l01 + l11) / 2-R) / 8
s11 = S + (-(t10 + t11) / 2 + B- (l01 + l11) / 2 + R) / 8
なお、直下位の階層に供給する平均画素値DCnは、予測画像S’に予測残差を加算することによって算出されるが、この予測残差の値としては、上述した予測残差PRそのものではなく、これを非可逆変換後に逆変換した復元値PR’(PRとは僅かに相違)が用いられる。復元値PR’を用いる理由は、デコード時の繰り返し処理による誤差Δ(Δ=PR−PR’)の累積を防止して、デコード処理との整合性を担保するためである。 Note that the average pixel value DCn supplied to the immediately lower hierarchy is calculated by adding a prediction residual to the predicted image S ′. As the value of the prediction residual, the above-described prediction residual PR itself is used. Rather, a restored value PR ′ (slightly different from PR) obtained by performing inverse conversion after irreversible conversion is used. The reason for using the restoration value PR ′ is to prevent the accumulation of error Δ (Δ = PR−PR ′) due to repetitive processing at the time of decoding and to ensure consistency with the decoding processing.
図4は、フィルタ処理部4a,4bの構成図である。各階層のフィルタ処理部4a,4bは、取り扱うブロックサイズが異なる点を除けば、その基本構成および処理の流れは同一である。以下、第2位階層のフィルタ処理部4aを例に説明する。フィルタ処理部4aは、処理前DC値算出部41と、フィルタリング部42と、処理後DC値算出部43と、減算器44と、ブロック補正部45とを有する。
FIG. 4 is a configuration diagram of the
処理前DC値算出部41は、ブロック分割符号化で処理されるブロックのフィルタ処理前の平均画素値(DC値)をDC0として算出する。第2位階層では、8×8ブロック単位の平均画素値DC0から4×4ブロック単位の平均画素値DC1が算出される。入力ブロックは、位置的に隣接した4つの領域の集合であり、これら領域のDC1(4値)の平均がDC0となる。なお、図2の構成との関係でいえば、このDC0は、直上位の階層(DC符号化部2)にて算出された平均画素値DC0(8×8ブロック)と等価である。したがって、ここでの演算を行う代わりに、直上位の階層にて算出された平均画素値DC0をバッファから読み出し、これを用いてもよい。
The pre-processing DC
フィルタリング部42は、フィルタ処理の対象となる領域のそれぞれ、具体的には、入力ブロックを4つに細分化したそれぞれの領域(個々の領域の値はDC1)に対して、その周辺に位置する周辺領域の情報を用いたフィルタ処理を個別に施す。本実施形態では、フィルタ処理として、判定しきい値との比較によってノイズを検出し、ノイズが生じている領域の画素値を、その周辺領域の情報を用いた演算値に置き換えるデリンギングフィルタを用いる。
The
図5は、デリンギングフィルタの動作説明図である。入力ブロック内の1つのDC値g0(=DC1)を処理するために、その周辺に位置する8つのDC値g1〜g8(=DC1)が周辺領域として用いられる。減算器42aは、周辺領域の情報である各DC値g1〜g8と、処理対象Sの情報であるDC値g0との差分を個別に算出し、差分値Δ1〜Δ8(絶対値)を出力する。しきい値判定部42bは、ノイズの有無を判断すべく、差分値Δ1〜Δ8のそれぞれを所定のしきい値Thと比較する。しきい値Thよりも小さい差分値Δ1,Δ2,Δ5,Δ7,Δ8は、その差が符号化の過程で重畳したノイズによるものとみなす一方、しきい値Th以上のものは、その差が原画像に本来的に存在する輪郭成分によるものとみなす。加算器42cは、ノイズに起因した差分値Δ1,Δ2,Δ5,Δ7,Δ8と、処理対象となる領域のDC値g0に係数λを乗じた値とを加算する。そして、この加算結果を係数(λ+n)で除算した値g’5がフィルタリング後の値DC'1として出力される。ここで、nは、しきい値判定部42bの出力数、すなわち、しきい値Thよりも小さいDC値gの個数であり、同図の場合にはn=5となる。以上の処理は、入力ブロックを構成する4つの領域のすべてに対して行われ、これによって、4つの値DC'1によりなる処理済ブロックが得られる。
FIG. 5 is an explanatory diagram of the operation of the deringing filter. In order to process one DC value g0 (= DC1) in the input block, eight DC values g1 to g8 (= DC1) located in the vicinity thereof are used as a peripheral region. The
図6は、フィルタの処理の前後におけるスキャンライン上の各値の変化を示す図である。同図の黒丸はスキャンライン上の領域を示し、縦方向はそれぞれの領域におけるDC値gの変化を示す。同図(a)に示すように、差分値|Δ|がしきい値Th以上の場合には、フィルタリングの前後でDC値gは変化せず、原画像の輪郭がそのまま保持される。これに対して、同図(b)に示すように、差分値|Δ|がしきい値Thよりも小さい場合には、フィルタリングによって段差が取り除かれた出力となり、ブロックノイズやリンギングノイズを効果的に除去できる。 FIG. 6 is a diagram illustrating changes in values on the scan line before and after the filter processing. Black circles in the figure indicate regions on the scan line, and the vertical direction indicates changes in the DC value g in each region. As shown in FIG. 5A, when the difference value | Δ | is equal to or greater than the threshold value Th, the DC value g does not change before and after filtering, and the outline of the original image is maintained as it is. On the other hand, as shown in FIG. 6B, when the difference value | Δ | is smaller than the threshold value Th, the output is obtained by removing the step by filtering, and block noise and ringing noise are effectively obtained. Can be removed.
処理後DC値算出部43は、処理済ブロックの平均画素値をDC'0として算出する。そして、減算器44は、フィルタリング前の平均画素値DC0と、フィルタリング後の平均画素値DC'0との差分値α(=DC'0−DC0)を算出する。DC'0(フィルタリング後)がDC0(フィルタリング前)よりも大きい場合、すなわち、フィルタ処理によってDC値が増加している場合、差分値αの符号は正になる。一方、DC'0(フィルタリング後)がDC0(フィルタリング前)よりも小さい場合、すなわち、フィルタ処理によってDC値が低下している場合、差分値αの符号は負になる。
The post-processing DC
ブロック補正部45は、処理済ブロックの平均画素値がDC0(フィルタリング前)に近づくように、差分値αをブロック内の各領域に分配することによって、処理済ブロックを補正する。例えば、差分値αをブロック内の領域数4で除算する。この除算値は、1つの領域あたりの補正量に相当する。そして、以下の数式3にしたがって、除算値(α/4)をブロック内の各領域に均等に割り当て、それぞれの領域の値DC'1から除算値(α/4)を引いた値を補正後の値DC''1とする。
The
(数式3)
DC''1=DC'1−α/4
(Formula 3)
DC ″ 1 = DC′1−α / 4
フィルタ処理によってDC値が増加している場合には、差分値αの符号が正なので、補正前の値DC'1から(α/4)が減算される。これによって、出力ブロック全体では、差分値α相当が減算されることになるので、その平均画素値は、DC0(フィルタリング前)相当になる。これに対して、フィルタ処理によってDC値が低下している場合には、差分値αの符号が負なので、補正前の値DC'1から(α/4)が加算される。これによって、出力ブロック全体では、差分値α相当が加算されることになるので、その平均画素値は、DC0(フィルタリング前)相当になる。その結果、4つの値DC''1よりなる出力ブロックは、その領域内の値が個別的には変化するものの、ブロック全体でみると、フィルタリング後の特性を良好に保持しているといえる。 When the DC value is increased by the filtering process, since the sign of the difference value α is positive, (α / 4) is subtracted from the value DC′1 before correction. As a result, the difference value α corresponding to the entire output block is subtracted, and the average pixel value is equivalent to DC0 (before filtering). On the other hand, when the DC value is reduced by the filtering process, since the sign of the difference value α is negative, (α / 4) is added from the value DC′1 before correction. As a result, the difference value α is added to the entire output block, and the average pixel value is equivalent to DC0 (before filtering). As a result, the output block consisting of the four values DC ″ 1 can be said to maintain good characteristics after filtering, although the values in the region individually change, when viewed as a whole block.
また、差分値αの別の分配手法として、処理済ブロック内の各領域の値DC'1の比率に応じて、差分値αを各領域に可変に割り当ててもよい。この場合、フィルタリング後の値DC'1のlog2の比率に応じて差分値αを按分する。例えば、ブロック内の画素値が100,100,150,200の場合、差分値αを2:2:3:4で按分するといった如くである。そして、按分された各値をブロック内の各領域に割り当て、それぞれのDC'1から引く。
As another distribution method of the difference value α, the difference value α may be variably assigned to each region according to the ratio of the value DC′1 of each region in the processed block. In this case, the difference value α is apportioned according to the ratio of
上述した2つの例では、補正によって出力ブロックの平均画素値をDC0相当に設定している(ただし、除算による丸め誤差があるので、厳密にはDC0にはならない)。DC0と一致させることは最も好ましい実施形態ではあるものの、本発明はこれに限定されるものではなく、少なくともDC0に近づくようにすれば足りる。なぜなら、DC0に近づれば、その分だけPSNRの低下の抑制に貢献するからである。以上のような処理を経て、上位階層側のブロック補正部45によって補正されたフィルタリング後の値DC''1が下位階層側に供給される。
In the two examples described above, the average pixel value of the output block is set to DC0 by correction (however, there is a rounding error due to division, so it is not strictly DC0). Although matching with DC0 is the most preferred embodiment, the present invention is not limited to this, and it is sufficient that at least DC0 is approached. This is because as it approaches DC0, it contributes to the suppression of the decrease in PSNR. Through the above processing, the filtered value DC ″ 1 corrected by the
なお、図4に示したフィルタ処理部4と等価な機能は、コンピュータによるソフトウェア処理によっても実現することができる。図7は、上述した補正付フィルタ処理を実現するコンピュータプログラムのフローチャートである。なお、ハードウェア処理とソフトウェア処理との間には本質的な相違はないので、ここでは概略的な説明に留め、その詳細は上述した記載を参照するものとする。まず、ステップ1において、ブロックのフィルタ処理前の平均画素値がDC0として算出される。ステップ2において、フィルタ処理の対象領域に対して、その周辺に位置する周辺領域の情報を用いたフィルタ処理(デリンギングフィルタ)が施される。ステップ3において、ブロックのフィルタ処理後の平均画素値がDC'0として算出される。そして、ステップ4において、ステップ1で算出された値DC0と、ステップ3で算出された値DC'0との差分値αが算出される。最後に、ステップ5において、ブロックのフィルタ処理後の平均画素値がDC0に近づくように、ブロック内の各領域に対して差分値αが分配され、これによって、フィルタ処理後のブロックが補正される。
The function equivalent to the filter processing unit 4 shown in FIG. 4 can also be realized by software processing by a computer. FIG. 7 is a flowchart of a computer program that realizes the above-described filter processing with correction. Since there is no essential difference between hardware processing and software processing, only a brief description will be given here, and the details will be referred to the above description. First, in
このように、本実施形態によれば、従来のRACPエンコーダにフィルタ処理部4a,4bを追加し、各階層におけるブロック分割符号化で処理されるブロックに対して、フィルタ処理を施す。そして、フィルタ処理後のブロックに関して、そのDC値がフィルタ処理前の値DC0に近づくように、ブロック内の各領域の値を補正する。この補正は、フィルタ処理の前後におけるDC値の差分αを、それぞれの領域に分配することによって行われる。これにより、補正が施されたブロックは、フィルタ処理後の特性を良好に維持する。また、RACP符号化では、上位階層からDC値が供給されAC値とともに出力画素値を生成する。上位階層ほど量子化係数が小さくなっているため、DC値の方がAC値よりも真値に近い。本実施形態によれば、フィルタ処理後のブロックを補正することで、フィルタ処理前のDC0を有効に保持できる。その結果、フィルタリングの効果を損なうことなく、フィルタリングに起因したPSNRの低下を有効に抑制できる。
As described above, according to this embodiment, the
なお、上述した実施形態では、フィルタ処理の一例として、デリンギングフィルタを挙げているが、エッジ強調フィルタや平滑化フィルタ等を含めて、対象領域の周辺に位置する周辺領域の情報を用いるフィルタを使用してもよい。エッジ強調フィルタとしては、例えば、図8に示すようなラプラシアンフィルタを用いることができる。また、平滑化フィルタとしては、例えば、図9に示すような単純平均フィルタ、或いは、図10に示すようなガウシアンフィルタを用いることができる。これらのフィルタを適用するにあたっては、フィルタの中心が処理対象となる領域に位置するように被せ、位置的に対応する画素値とフィルタの要素とを個別に乗算し、これらの総和を対象領域の値とする。 In the above-described embodiment, a deringing filter is cited as an example of the filtering process. However, a filter that uses information on a peripheral region located around the target region, including an edge enhancement filter and a smoothing filter, is used. May be used. As the edge enhancement filter, for example, a Laplacian filter as shown in FIG. 8 can be used. As the smoothing filter, for example, a simple average filter as shown in FIG. 9 or a Gaussian filter as shown in FIG. 10 can be used. In applying these filters, the center of the filter is placed so as to be located in the region to be processed, the pixel value corresponding to the position is multiplied by the filter element individually, and the sum of these is multiplied by the target region. Value.
また、上述した実施形態では、交流成分予測を用いて画像を圧縮するエンコーダにフィルタ処理部4を追加する例について説明したが、交流成分予測を用いて画像を伸張するデコーダにこれを追加してもよい。 In the above-described embodiment, an example in which the filter processing unit 4 is added to an encoder that compresses an image using AC component prediction has been described. However, this is added to a decoder that expands an image using AC component prediction. Also good.
また、本発明は、交流成分予測符号化に限らず、JPEG等を含めて、ブロック単位の処理を基本としたブロック分割符号化に広く適用可能である。さらに、ブロックを細分化しながら、解像度の高い画像(高精細画像)を生成するといった画像処理にも適用可能である。 The present invention is not limited to AC component predictive coding, but can be widely applied to block division coding based on block unit processing, including JPEG and the like. Furthermore, the present invention can also be applied to image processing such as generating a high-resolution image (high-definition image) while subdividing blocks.
1 DC算出部
2 DC符号化部
3a〜3c 階層処理部
4a,4b フィルタ処理部
41 処理前DC値算出部
42 フィルタリング部
42a 減算器
42b しきい値判定部
42c 加算器
43 処理後DC値算出部
44 減算器
45 ブロック補正部
DESCRIPTION OF
Claims (12)
フィルタ処理の対象となる領域のそれぞれに対して、当該領域の周辺に位置する周辺領域の情報を用いたフィルタ処理を施すフィルタリング部と、
互いに隣接した複数の前記領域の集合であるブロックに関して、フィルタ処理前の前記ブロックの平均画素値である第1のDC値を、フィルタ処理後の前記ブロックの平均画素値である第2のDC値から減じた差分値を算出する減算器と、
前記差分値を前記ブロック内の領域数で除算して前記ブロック内の各前記領域に均等に割り当て、当該除算した値を、フィルタ処理後の前記ブロック内の各前記領域の平均画素値からそれぞれ減じて補正後の各前記領域の平均画素値を算出することによって、フィルタ処理後の各前記領域からなる前記ブロックを補正するブロック補正部と
を有することを特徴とする画像処理システム。 In an image processing system,
A filtering unit that performs a filtering process using information on a peripheral area located around the area for each of the areas to be filtered;
For a block that is a set of a plurality of regions adjacent to each other, a first DC value that is an average pixel value of the block before the filtering process is used as a second DC value that is an average pixel value of the block after the filtering process. A subtractor for calculating a difference value subtracted from
The difference value is divided by the number of areas in the block and assigned to each area in the block equally, and the divided value is subtracted from the average pixel value of each area in the block after filtering. An image processing system comprising: a block correction unit that corrects the block including each of the regions after the filter processing by calculating an average pixel value of each of the regions after correction.
フィルタ処理の対象となる領域のそれぞれに対して、当該領域の周辺に位置する周辺領域の情報を用いたフィルタ処理を施すフィルタリング部と、A filtering unit that performs a filtering process using information on a peripheral area located around the area for each of the areas to be filtered;
互いに隣接した複数の前記領域の集合であるブロックに関して、フィルタ処理前の前記ブロックの平均画素値である第1のDC値を、フィルタ処理後の前記ブロックの平均画素値である第2のDC値から減じた差分値を算出する減算器と、For a block that is a set of a plurality of regions adjacent to each other, a first DC value that is an average pixel value of the block before the filtering process is used as a second DC value that is an average pixel value of the block after the filtering process. A subtractor for calculating a difference value subtracted from
フィルタ処理後の前記ブロック内における各前記領域の平均画素値の比率に応じて前記差分値を按分して前記ブロック内の各前記領域に可変に割り当て、当該按分した値を、フィルタ処理後の前記領域の平均画素値からそれぞれ減じて補正後の各前記領域の平均画素値を算出することによって、フィルタ処理後の各前記領域からなる前記ブロックを補正するブロック補正部とThe difference value is apportioned in accordance with the ratio of the average pixel value of each region in the block after the filtering process and is variably assigned to each region in the block. A block correction unit that corrects the block composed of each of the regions after filter processing by calculating an average pixel value of each of the regions after correction by subtracting from the average pixel value of the region;
を有することを特徴とする画像処理システム。An image processing system comprising:
少なくとも一つの階層は、前記フィルタリング部と、前記減算器と、前記ブロック補正部とを有し、
上位階層側で補正されたフィルタ処理後の平均画素値が、下位階層側に供給されることを特徴とする請求項4に記載された画像処理システム。 In the hierarchical structure in which the size of the block is gradually reduced as the hierarchy becomes lower, and the block division coding is performed recursively between the hierarchies.
At least one layer includes the filtering unit, the subtracter, and the block correction unit,
5. The image processing system according to claim 4 , wherein the average pixel value after filter processing corrected on the upper layer side is supplied to the lower layer side.
フィルタ処理の対象となる領域のそれぞれに対して、当該領域の周辺に位置する周辺領域の情報を用いたフィルタ処理を施す第1のステップと、
互いに隣接した複数の前記領域の集合であるブロックに関するフィルタ処理前の前記ブロックの平均画素値を第1のDC値として算出する第2のステップと、
前記ブロックに関するフィルタ処理後の平均画素値を第2のDC値として算出する第3のステップと、
前記第1のDC値を前記第2のDC値から減じた差分値を算出する第4のステップと、
前記差分値を前記ブロック内の領域数で除算して前記ブロック内の各前記領域に均等に割り当て、当該除算した値を、フィルタ処理後の前記ブロック内の各前記領域の平均画素値からそれぞれ減じて補正後の各前記領域の平均画素値を算出することによって、フィルタ処理後の各前記領域からなる前記ブロックを補正する第5のステップと
を有する画像処理をコンピュータに実行させるための画像処理プログラム。 In an image processing program,
A first step of applying a filtering process using information on a peripheral area located around the area to each of the areas to be filtered;
A second step of calculating, as a first DC value, an average pixel value of the block before the filtering process related to a block that is a set of a plurality of regions adjacent to each other;
A third step of calculating an average pixel value after filtering related to the block as a second DC value;
A fourth step of calculating a difference value by subtracting said first DC value from said second DC values,
The difference value is divided by the number of areas in the block and assigned to each area in the block equally, and the divided value is subtracted from the average pixel value of each area in the block after filtering. An image processing program for causing a computer to perform image processing including calculating a mean pixel value of each of the regions after correction and correcting the block including the regions after filter processing. .
フィルタ処理の対象となる領域のそれぞれに対して、当該領域の周辺に位置する周辺領域の情報を用いたフィルタ処理を施す第1のステップと、A first step of applying a filtering process using information on a peripheral area located around the area to each of the areas to be filtered;
互いに隣接した複数の前記領域の集合であるブロックに関するフィルタ処理前の前記ブロックの平均画素値を第1のDC値として算出する第2のステップと、A second step of calculating, as a first DC value, an average pixel value of the block before the filtering process related to a block that is a set of a plurality of regions adjacent to each other;
前記ブロックに関するフィルタ処理後の平均画素値を第2のDC値として算出する第3のステップと、A third step of calculating an average pixel value after filtering related to the block as a second DC value;
前記第1のDC値を前記第2のDC値から減じた差分値を算出する第4のステップと、A fourth step of calculating a difference value obtained by subtracting the first DC value from the second DC value;
フィルタ処理後の前記ブロック内における各前記領域の平均画素値の比率に応じて前記差分値を按分して前記ブロック内の各前記領域に可変に割り当て、当該按分した値を、フィルタ処理後の前記領域の平均画素値からそれぞれ減じて補正後の各前記領域の平均画素値を算出することによって、フィルタ処理後の各前記領域からなる前記ブロックを補正する第5のステップとThe difference value is apportioned in accordance with the ratio of the average pixel value of each region in the block after the filtering process and is variably assigned to each region in the block. A fifth step of correcting the block consisting of each of the areas after filtering by calculating an average pixel value of each of the areas after correction by subtracting from the average pixel value of each area;
を有する画像処理をコンピュータに実行させるための画像処理プログラム。An image processing program for causing a computer to execute image processing having
前記画像処理は、少なくとも一つの階層において行われ、
上位階層側で補正されたフィルタ処理後の平均画素値が、下位階層側に供給されることを特徴とする請求項10に記載された画像処理プログラム。 In the hierarchical structure in which the size of the block is gradually reduced as the hierarchy becomes lower, and the block division coding is performed recursively between the hierarchies.
The image processing is performed in at least one hierarchy,
11. The image processing program according to claim 10 , wherein the average pixel value after the filter processing corrected on the upper layer side is supplied to the lower layer side.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008262544A JP4789020B2 (en) | 2008-10-09 | 2008-10-09 | Image processing system and image processing program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008262544A JP4789020B2 (en) | 2008-10-09 | 2008-10-09 | Image processing system and image processing program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2010093608A JP2010093608A (en) | 2010-04-22 |
JP4789020B2 true JP4789020B2 (en) | 2011-10-05 |
Family
ID=42255897
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008262544A Active JP4789020B2 (en) | 2008-10-09 | 2008-10-09 | Image processing system and image processing program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4789020B2 (en) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7393819B2 (en) * | 2021-11-19 | 2023-12-07 | 株式会社アクセル | Image processing system, encoding device, decoding device, image processing method, image processing program, encoding method, encoding program, decoding method, and decoding program |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3700976B2 (en) * | 2002-08-14 | 2005-09-28 | 株式会社アクセル | Image processing apparatus and image processing method |
WO2008007717A1 (en) * | 2006-07-11 | 2008-01-17 | Sharp Kabushiki Kaisha | Dynamic image decoding device and dynamic image encoding device |
-
2008
- 2008-10-09 JP JP2008262544A patent/JP4789020B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP2010093608A (en) | 2010-04-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR100234316B1 (en) | Signal adaptive filter for reducing ringing noise and signal adaptive filering method thereof | |
KR100242636B1 (en) | Signal adaptive post processing system for reducing blocking effect and ringing noise | |
KR0165497B1 (en) | Post processing apparatus and method for removing blocking artifact | |
JPH07154604A (en) | Method for expanding document image compressed with standardadct | |
JP2009533902A (en) | Quantization adjustment for DC shift artifacts | |
JP7092920B2 (en) | Image decoder and program | |
KR20080110171A (en) | Method and apparatus for encoding and decoding based on intra prediction using image inpainting | |
JP2005167520A (en) | Method and apparatus for reducing mosquito noise in uncompressed image | |
JP7522270B2 (en) | Image decoding device and image decoding method | |
JP4789020B2 (en) | Image processing system and image processing program | |
JP5913929B2 (en) | Moving picture coding apparatus, control method therefor, and computer program | |
JP2006295804A (en) | Image compression method and image decompression method | |
JPH10229559A (en) | Method and filter for reducing effect due to block processing | |
JP6564315B2 (en) | Encoding device, decoding device, and program | |
JP6174966B2 (en) | Image coding apparatus, image coding method, and program | |
JP4449430B2 (en) | Image processing apparatus, image processing method, program, and recording medium | |
JP4660698B2 (en) | Image processing system and image processing program | |
JP4737663B2 (en) | Image processing apparatus, image processing method, program, and information recording medium | |
Takagi et al. | Image restoration of JPEG encoded images via block matching and wiener filtering | |
JPH07307942A (en) | Image noise removing device | |
JP2001346208A (en) | Image signal decoder and method | |
JP5007432B2 (en) | Image processing system and image processing program | |
JP3934687B2 (en) | Image data decoding method and apparatus | |
JPH03167962A (en) | Block distortion improving system | |
JP7393819B2 (en) | Image processing system, encoding device, decoding device, image processing method, image processing program, encoding method, encoding program, decoding method, and decoding program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20100927 |
|
RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20101001 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20110310 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110315 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110516 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20110607 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20110707 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140729 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4789020 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140729 Year of fee payment: 3 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |