JP3392307B2 - Image signal smoothing apparatus and image signal smoothing method - Google Patents

Description

【発明の詳細な説明】Detailed Description of the Invention

【０００１】[0001]

【発明の属する技術分野】本発明は、ブロック単位で符
号化・復号化処理された画像に対して、画素位置別に量
子化パラメータと復号画像のブロック活性度に従って強
さの異なる平滑化フィルタ処理を行うことで、不自然な
雑音を除去した高品質な画像を得ることを特徴とする画
像信号の平滑化処理装置（画像フィルタ），平滑化処理
方法および前記フィルタをポストフィルタあるいはルー
プフィルタとする画像符号化装置，画像符号化方法，画
像復号化装置および画像復号化方法に関するものであ
る。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention performs smoothing filter processing on an image coded / decoded on a block-by-block basis and having different intensities according to a quantization parameter for each pixel position and the block activity of the decoded image. An image signal smoothing apparatus (image filter), a smoothing processing method, and an image using the filter as a post filter or a loop filter, characterized by obtaining a high-quality image from which unnatural noise is removed. The present invention relates to an encoding device, an image encoding method, an image decoding device and an image decoding method.

【０００２】[0002]

【従来の技術】画像信号を高い能率で符号化するため、
主にブロック単位で適応的に符号化する動画像符号化・
復号化方式およびその装置が従来から多く使われてい
る。代表的なものとして国際電信電話規格（ＩＴＵ−Ｔ
Ｈ．２６１規格）準拠のテレビ会議システムが一般に
使用されている。しかしながら、これらの符号化方式に
よると、復号画像に量子化誤差によるブロック状の段差
（ブロック雑音）が知覚される。また、平坦なバックに
文字のように急峻な画素変化があると、その周辺にモス
キートノイズと呼ばれる疑似エッジを生じることが知ら
れている。ブロック状の雑音は、ブロックの境界上で不
自然な輝度、色等の段差が発生することにより観察され
るもので、従来は、この段差を減少させるようなスムー
ジングフィルタを復号画像全体あるいはブロック境界に
位置する画素に対して使用し、ブロック状雑音を軽減す
るようにしている。2. Description of the Related Art In order to encode an image signal with high efficiency,
Video coding that adaptively codes mainly in blocks
The decoding method and its apparatus have been widely used. As a typical example, the International Telegraph and Telephone Standard (ITU-T
H. A video conference system conforming to the H.261 standard) is generally used. However, according to these encoding methods, a block-like step (block noise) due to a quantization error is perceived in a decoded image. It is also known that when a flat background has a sharp pixel change like a character, a pseudo edge called mosquito noise is generated around the pixel. Block-shaped noise is observed due to the occurrence of unnatural steps such as brightness and color on the block boundaries. Conventionally, smoothing filters that reduce these steps are used for the entire decoded image or block boundaries. It is used for the pixels located at, to reduce block noise.

【０００３】図２４に前記ＩＴＵ−Ｔ Ｈ．２６１規格
のフレーム間符号化・復号化方式のブロック構成図を示
す。この図２４はブロック状雑音軽減を施す位置も示し
ている。図２４において、１１は入力された画像信号１
０と符号化され復号化されて再構成された１つ前のフレ
ームの画像信号２４との差分を生成する減算器であり、
その差分は符号化部１２（ＤＣＴ＋量子化＋ハフマン符
号）で符号化される。符号化された誤差信号１３は復号
部２５に伝送されるとともに、局部復号部１４（逆ハフ
マン符号＋逆量子化＋逆ＤＣＴ）で再度差分信号に戻さ
れる。この差分信号１５は符号化部１２、局部復号部１
４での演算誤差を含み、減算器１１からの差分とは異な
る値となる。In FIG. 24, the ITU-T H. The block block diagram of the 261 standard inter-frame encoding / decoding system is shown. FIG. 24 also shows the position where block noise reduction is applied. In FIG. 24, 11 is the input image signal 1
A subtracter that generates a difference between 0 and the image signal 24 of the immediately preceding frame that has been encoded, decoded, and reconstructed,
The difference is encoded by the encoding unit 12 (DCT + quantization + Huffman code). The encoded error signal 13 is transmitted to the decoding unit 25 and is converted back to a difference signal again by the local decoding unit 14 (inverse Huffman code + inverse quantization + inverse DCT). The difference signal 15 is generated by the encoding unit 12 and the local decoding unit 1.
It includes a calculation error in 4 and has a value different from the difference from the subtractor 11.

【０００４】そして、この差分信号１５と１つ前のフレ
ームの画像信号２４を加算器１６において加算し、画像
信号を生成する。この加算結果の画像信号１７をフレー
ムメモリ１８に記憶し、次の画像信号の入力に備える。
これらの動作においては、画像を８×８ドットの大きさ
に分割したブロック単位で処理が行われる。Then, the difference signal 15 and the image signal 24 of the immediately preceding frame are added in the adder 16 to generate an image signal. The image signal 17 as the result of this addition is stored in the frame memory 18 to prepare for the input of the next image signal.
In these operations, processing is performed in block units in which the image is divided into the size of 8 × 8 dots.

【０００５】減算器１１において入力画像信号１０とフ
レームメモリ１８からの１フレーム前の画像信号２４と
の差分をとるとき、一般に動き探索・補償と呼ばれる技
術が用いられる。これは動きベクトル検出部１９で実行
するもので、フレームメモリ１８に記憶された信号と入
力画像信号の差分をとるとき、フレームメモリ１８から
１フレーム前の画像信号２１を取り出し上下左右にスラ
イドさせて差分をとり、その差分が最も小さくなるスラ
イド量を動きベクトル２２として選択し、マルチプレク
サ２９ａにより符号化された誤差信号１３と多重化して
復号器側に伝送する。この動きベクトルをフレームメモ
リ１８にアドレス信号として返して動き補償予測信号２
０を得る。以上が符号化器側の構成である。When the subtractor 11 takes the difference between the input image signal 10 and the image signal 24 from the frame memory 18 one frame before, a technique generally called motion search / compensation is used. This is executed by the motion vector detection unit 19, and when the difference between the signal stored in the frame memory 18 and the input image signal is calculated, the image signal 21 one frame before is taken out from the frame memory 18 and slid vertically and horizontally. The difference is calculated, and the slide amount with the smallest difference is selected as the motion vector 22, multiplexed with the error signal 13 encoded by the multiplexer 29a and transmitted to the decoder side. This motion vector is returned to the frame memory 18 as an address signal and the motion compensation prediction signal 2
Get 0. The above is the configuration on the encoder side.

【０００６】復号器側においては、デマルチプレクサ２
９ｂにより伝送されてきた信号のなかから差分の信号１
３を分離して復号部２５（逆ハフマン符号＋逆量子化＋
逆ＤＣＴおよび動きベクトル抽出）で復号し、動き補償
フレームメモリ１８に、デマルチプレクサ２９により分
離した動きベクトル２２を与えてスライドさせて得た動
き補償予測信号２０をフレームメモリ１８より読み出
す。復号部２５で復号された差分信号１５とフレームメ
モリ１８から読み出された信号２０を加算器１６で加算
し、画像信号（局部復号信号）１７を生成する。このよ
うにして符号化され復号化されて再構成された画像信号
１７に対してポストフィルタ２６によりフィルタリング
を施す。あるいは、フレームメモリ１８からの出力に対
してループ内フィルタ２３によりフィルタリングを施す
ことにより、ブロック状雑音を軽減する。このフィルタ
リングに用いられている従来の手法を以下に列挙する。On the decoder side, the demultiplexer 2
Signal 1 of the difference among the signals transmitted by 9b
3 and the decoding unit 25 (inverse Huffman code + inverse quantization +
Inverse DCT and motion vector extraction) are performed, and the motion compensation prediction signal 20 obtained by sliding the motion vector 22 separated by the demultiplexer 29 to the motion compensation frame memory 18 is read from the frame memory 18. The difference signal 15 decoded by the decoding unit 25 and the signal 20 read from the frame memory 18 are added by the adder 16 to generate an image signal (locally decoded signal) 17. The post filter 26 filters the image signal 17 encoded and decoded and reconstructed in this way. Alternatively, the output from the frame memory 18 is filtered by the in-loop filter 23 to reduce block noise. The conventional methods used for this filtering are listed below.

【０００７】まず、従来例１について説明する。図２２
に三ツ矢らによる「後置フィルタ処理によるブロック符
号化画像の画質改善法の検討」（信学技報ＩＥ８４−４
６）の手法を示す。この手法は、得られた復号画像の輝
度変化の少ないブロック、言い換えるとブロック境界に
おいてブロック歪が顕在化しやすいブロックに対しての
みフィルタリングを行うものであり、ブロック境界にあ
る画素５０に対してのみ強い平滑フィルタリングを行
う。このフィルタリングは、図２１で示す着目画素４０
とその周辺８画素４１〜４８との９画素による重みの等
しい単純平均を取るローパスフィルタ（ＬＰＦ）により
これを行うものである。５１はブロック内にある画素を
示し、５２はブロック境界を示す。First, the conventional example 1 will be described. FIG. 22
Mitsuya et al., "Study on image quality improvement method of block coded image by post-filtering" (Technical Report IE84-4).
The method 6) is shown. This method filters only the blocks of the obtained decoded image in which the luminance change is small, in other words, the blocks in which the block distortion is likely to appear at the block boundaries, and is strong only for the pixels 50 at the block boundaries. Performs smooth filtering. This filtering is performed by the pixel of interest 40 shown in FIG.
This is performed by a low-pass filter (LPF) that takes a simple average of the nine pixels of the eight pixels 41 to 48 around it. Reference numeral 51 indicates a pixel in the block, and reference numeral 52 indicates a block boundary.

【０００８】次に、従来例２について説明する。中島に
よる「ＭＰＥＧ符号化における雑音除去のための後処理
方式」（信学技報ＩＥ９４−７、ＤＳＰ９４−７、１９
９４−０４）の手法（以下、中島の手法という）は、復
号画素値とその周辺画素値の単純平均との混合割合を、
画像の局所活性度、量子化パラメータ、ブロック活性
度、ブロック境界との位置関係で適応的に変化させるも
のである。以下、図を参照しながら解説する。着目画素
周辺の局所領域を図２１に示す３×３画素の画像領域
（以下、局所領域という）とし、σ_b ² （ブロック活性
度）を算出する領域を図２０に示すＤＣＴ演算を実施す
る８×８画素の領域（以下、画像ブロックという）と
し、復号における量子化パラメータは画像ブロックごと
に記憶する。Next, Conventional Example 2 will be described. Nakashima's "Post-processing method for noise removal in MPEG encoding" (Technical Report IE94-7, DSP94-7, 19)
The method of 94-04) (hereinafter referred to as Nakajima's method) calculates the mixing ratio of the decoded pixel value and the simple average of the surrounding pixel values as
It is adaptively changed according to the local activity of the image, the quantization parameter, the block activity, and the positional relationship with the block boundary. The following is a description with reference to the figure. The local area around the pixel of interest is defined as an image area of 3 × 3 pixels (hereinafter referred to as local area) shown in FIG. 21, and the area for calculating σ _b ² (block activity) is subjected to the DCT calculation shown in FIG. 20 8 A region of x8 pixels (hereinafter referred to as an image block) is set, and the quantization parameter in decoding is stored for each image block.

【０００９】復号画像の全画素個々に対して図２０に示
す局所領域で、局所平均値＜ｄ（ｘ，ｙ）＞を式（１）
で定義する。その総和Σをとるとき、ｉ，ｊの値により
画素が画像領域の範囲外に出る場合はこれに代えて着目
画素の値を用いる。なお、ｄ（ｘ，ｙ）は座標（ｘ，
ｙ）の復号画素値である。The local average value <d (x, y)> is expressed by the equation (1) in the local region shown in FIG. 20 for all the pixels of the decoded image.
Define in. When taking the sum Σ, if the pixel goes out of the range of the image region due to the values of i and j, the value of the pixel of interest is used instead. Note that d (x, y) is the coordinate (x,
It is the decoded pixel value of y).

【００１０】[0010]

【数１】 [Equation 1]

【００１１】次に、式（２）で定義するような各画素ご
との分散（以下、局所活性度という）を局所領域で求め
る。ここでは、分散の定義として局所領域と式（１）の
局所平均の差分の自乗和をとる。これも式（１）と同様
に全画素個々に対して定義する。Next, the variance (hereinafter referred to as local activity) for each pixel as defined by the equation (2) is obtained in the local area. Here, as the definition of the variance, the sum of squares of the difference between the local region and the local mean of Expression (1) is taken. This is also defined for all pixels individually as in the equation (1).

【００１２】[0012]

【数２】 [Equation 2]

【００１３】画像ブロック分散（以下、ブロック活性度
という）を式（３）で定義する。このブロック活性度は
図２０に示すような各画像ブロックＢ₀₀〜Ｂ₂₂ごとに定
義する。The image block dispersion (hereinafter referred to as block activity) is defined by the equation (3). This block activity is defined for each of the image blocks B _{00 to} B ₂₂ as shown in FIG.

【００１４】[0014]

【数３】 [Equation 3]

【００１５】ｍ（ｘ，ｙ）、ｄ（ｘ，ｙ）、＜ｄ（ｘ，
ｙ）＞は、それぞれ（ｘ，ｙ）座標における修正された
画素値、復号された画素値、局所領域の単純平均画素値
である。M (x, y), d (x, y), <d (x,
y)> is the corrected pixel value, the decoded pixel value, and the simple average pixel value of the local area at the (x, y) coordinates, respectively.

【００１６】[0016]

【数４】 [Equation 4]

【００１７】ここで、βは復号された値と局所領域で平
滑化された値の混合割合で、以下の式で定義される。Here, β is a mixing ratio of the decoded value and the value smoothed in the local area, and is defined by the following equation.

【００１８】[0018]

【数５】 [Equation 5]

【００１９】画像ブロック内部の画素ではFor pixels inside an image block

【００２０】[0020]

【数６】 [Equation 6]

【００２１】画像ブロック境界の画素ではFor pixels at the image block boundary

【００２２】[0022]

【数７】 [Equation 7]

【００２３】このとき、σ_bn ² は、量子化パラメータと
ブロック活性度を変数とする関数値であり、文献中でグ
ラフで示された実験値である。中島の文献によれば、各
種画像ノイズが発生しやすい以下の条件のとき、式
（４）のβを変化させ、単純平均の割合を大きくしよう
とするものである。At this time, σ _bn ² is a function value having the quantization parameter and the block activity as variables, and is an experimental value shown in the graph in the literature. According to Nakajima's document, under the following conditions where various image noises are likely to occur, β in equation (4) is changed to increase the simple average ratio.

【００２４】（ア）量子化パラメータが粗いとき、
（イ）ブロック活性度が高いとき、（ウ）画像の一定領
域にノイズがあるとき、（エ）画像ブロック内部にシャ
ープなエッジが存在するとき。(A) When the quantization parameter is coarse,
(A) When the block activity is high, (c) when there is noise in a certain area of the image, and (d) when there are sharp edges inside the image block.

【００２５】さらに、従来例３について説明する。D.C.
C.WANG,A.H.VAGNUCCI,AND C.C.LI「Gradient Inverse W
eighted Smoothing and the Evalution of its Perform
ance」（Comp.Graphics Image Processing,Vol.15,pp.1
67-181,1981 ）の手法（以下、ＷＡＮＧの手法という）
は、着目画素と周辺画素との重み付き平均をとるもので
ある。その重み係数は着目画素と周辺画素の差分の絶対
値の逆数である。式（８）から式（１１）にその定義を
行う。なお、ｄ（ｘ，ｙ）は座標（ｘ，ｙ）の復号画素
値、ｍ（ｘ，ｙ）は（ｘ，ｙ）座標における重み付き平
均された画素値である。Further, Conventional Example 3 will be described. DC
C.WANG, AHVAGNUCCI, AND CCLI `` Gradient Inverse W
eighted Smoothing and the Evalution of its Perform
ance ”(Comp.Graphics Image Processing, Vol.15, pp.1
67-181,1981) method (hereinafter referred to as WANG method)
Is a weighted average of the pixel of interest and peripheral pixels. The weighting factor is the reciprocal of the absolute value of the difference between the pixel of interest and the peripheral pixels. The definition is performed from Expression (8) to Expression (11). Note that d (x, y) is the decoded pixel value at the coordinates (x, y), and m (x, y) is the weighted average pixel value at the (x, y) coordinates.

【００２６】[0026]

【数８】 [Equation 8]

【００２７】ここで、Here,

【００２８】[0028]

【数９】 [Equation 9]

【００２９】として、As

【００３０】[0030]

【数１０】 [Equation 10]

【００３１】ここで、Here,

【００３２】[0032]

【数１１】 [Equation 11]

【００３３】この手法は、周辺画素との差分値が小さい
と重み係数は大きくなり、着目画素のフィルタ後の値が
周辺に均一化される。逆に、差分が大きい（エッジが存
在する）と重み係数は小さくなり、エッジを保存するフ
ィルタリングになる。In this method, the weighting coefficient increases when the difference value with the peripheral pixels is small, and the filtered value of the pixel of interest is equalized to the periphery. On the contrary, if the difference is large (there are edges), the weighting coefficient becomes small, and the filtering is to preserve the edges.

【００３４】最後に、従来例４を説明する。この従来例
４として、世界電気通信標準化会議において承認された
ＩＴＵ−Ｔ勧告Ｈ．２６１（以下、Ｈ．２６１規格とい
う）に用いられているフィルタの手法を記述する。この
フィルタが用いられる場所は１フレーム前の画像信号が
記憶されたフレームメモリの出力に対してであり、入力
された画像信号との差分をとる前である（図２４のルー
プ内フィルタ２３を参照）。このフレームメモリの出力
は、８×８の画像ブロックごとにフィルタリングされ
る。Finally, Conventional Example 4 will be described. As the conventional example 4, ITU-T recommendation H.264 approved by the World Telecommunications Standardization Conference. H.261 (hereinafter, referred to as H.261 standard) will be described. The place where this filter is used is with respect to the output of the frame memory in which the image signal of the previous frame is stored, and before the difference with the input image signal is obtained (see the in-loop filter 23 of FIG. 24). ). The output of this frame memory is filtered for each 8 × 8 image block.

【００３５】このフィルタは１次元フィルタを水平、垂
直方向に作用させるもので、画像ブロック内部の画素に
対しては１／４，１／２，１／４の係数をもつ非再帰型
フィルタである。フィルタ演算に用いる画素が画像ブロ
ックの外に出てしまう場合は、０，１，０の係数をもつ
ｌ次元フィルタとして作用させる。図２３に８×８の画
像ブロックの各点の位置におけるフィルタ係数を示す。
６１は四隅におけるフィルタ係数、６２は上下端におけ
るフィルタ係数、６３は左右端におけるフィルタ係数、
６４は内部領域におけるフィルタ係数である。上下端、
左右端にはそれぞれ６個の画素があり、内部領域には３
６個の画素があるが、フィルタ係数はずらせて適用する
ものとする。This filter is a non-recursive filter that operates a one-dimensional filter in the horizontal and vertical directions and has coefficients of 1/4, 1/2, and 1/4 for pixels inside an image block. . When the pixel used for the filter calculation goes out of the image block, it is operated as an l-dimensional filter having coefficients of 0, 1, 0. FIG. 23 shows the filter coefficient at each point position of the 8 × 8 image block.
61 is the filter coefficient at the four corners, 62 is the filter coefficient at the upper and lower ends, 63 is the filter coefficient at the left and right ends,
64 is a filter coefficient in the internal region. Top and bottom,
There are 6 pixels on the left and right edges, and 3 pixels in the inner area.
Although there are 6 pixels, it is assumed that the filter coefficients are shifted and applied.

【００３６】[0036]

【発明が解決しようとする課題】上記の従来構成の基本
的なフィルタは、復号画像全体に一様なフィルタをかけ
るために、ブロック雑音以外の画像が本来もっているエ
ッジ情報を削減することになる。また、三ツ矢らの手法
でブロック境界にのみフィルタをかける場合、もともと
ブロック境界上に連続した線分が横切っていると、連続
した線分がブロック境界上でのみぼけることになる。そ
のためブロック境界上で観察者に不自然な印象を与え
る。Since the basic filter of the above-mentioned conventional configuration applies a uniform filter to the entire decoded image, the edge information originally possessed by the image other than block noise is reduced. . Further, when filtering only block boundaries by the method of Mitsuya et al., If continuous line segments originally cross on the block boundaries, continuous line segments will be blurred only on the block boundaries. Therefore, it gives an unnatural impression to the observer on the block boundary.

【００３７】また、中島の手法は復号画素値とその周辺
の画素値の単純平均の混合であるので、画像ブロック内
部のエッジ情報をぼかすフィルタリングとなる。さら
に、式（４）で定義されているように、ブロック境界で
エッジ保存性の無いフィルタ割合を強くするので三ツ矢
らと同様な問題が生じる。Further, since Nakajima's method is a mixture of a simple average of the decoded pixel value and the pixel values in the vicinity thereof, it becomes filtering for blurring the edge information inside the image block. Further, as defined by the equation (4), the filter ratio having no edge preserving property is increased at the block boundary, so that the same problem as Mitsuya et al.

【００３８】また、エッジ保存性のあるＷＡＮＧの手法
は着目画素の重み係数が１／２に固定されており同一画
像に対して複数回の処理が必要となる。また、式（９）
の画素差分値ΔＤ_ijが０となる場合の重み係数の置き換
えは、その重み係数を小さく評価することになる。本手
法はブロックに分割されるときに発生する、ブロック境
界でのブロック雑音現象を考慮していないので、ブロッ
ク境界の段差をエッジと誤認識して処理する可能性があ
る。In the WANG method with edge preservation, the weighting coefficient of the pixel of interest is fixed to 1/2, and the same image needs to be processed a plurality of times. Also, equation (9)
The replacement of the weighting coefficient when the pixel difference value ΔD _ij of 0 becomes 0 means that the weighting coefficient is evaluated small. Since this method does not consider the block noise phenomenon at the block boundary, which occurs when the block is divided into blocks, the step at the block boundary may be erroneously recognized as an edge and processed.

【００３９】さらに、Ｈ．２６１規格のフィルタもやは
りエッジ保存性の無いフィルタであるため、復号画像が
ぼけていく欠点を有している。Furthermore, H.264. Since the H.261 standard filter is also a filter having no edge preserving property, it has a defect that a decoded image is blurred.

【００４０】本発明は上記の課題を解決するもので、画
面全体の解像度の低下を抑えながら、復号画像品質の劣
化を軽減することができる画像信号平滑化装置，画像信
号平滑化方法，画像符号化装置，画像復号化装置，画像
符号化方法，および画像復号化方法を提供することを目
的としている。The present invention is intended to solve the above problems, and it is possible to reduce the deterioration of the decoded image quality while suppressing the deterioration of the resolution of the entire screen, an image signal smoothing apparatus, an image signal smoothing method, and an image code. It is an object of the present invention to provide an encoding device, an image decoding device, an image encoding method, and an image decoding method.

【００４１】[0041]

【課題を解決するための手段】本発明の請求項１の画像
信号平滑化装置は、サンプリングされデジタル化された
画像信号に対し、着目画素とその周辺画素の重み付け平
均でフィルタリング処理を行う平滑化フィルタを適用し
て平滑化処理を行う画像信号平滑化装置において、着目
画素値とその周辺画素値の差分を検出する手段と、その
差分の絶対値をとる手段と、フィルタリングすべき画像
をブロック分割する手段と、前記着目画素とその周辺画
素の差分値に加える非負の値を、画像信号の各ブロック
を符号化または復号化するときに用いられた量子化特性
に代表される各ブロックごとの量子化パラメータの粗さ
に応じて適応的に変化させる手段と、前記差分検出絶対
値に前記非負の値（ｍ）を加算する手段と、その加算後
の値の逆数（重み係数）を取る手段と、その逆数を取っ
た後の値に周辺画素値を乗算する手段と、その乗算した
後の値の総和（Ａ）を取る手段と、前記逆数（重み係
数）のみの総和（Ｂ）を取る手段と、前記重み係数の総
和（Ｂ）で前記総和（Ａ）を除算して正規化（Ａ／Ｂ）
する手段とを備えたことを特徴とするものである。An image signal smoothing apparatus according to claim 1 of the present invention is a smoothing apparatus which performs a filtering process on a sampled and digitized image signal by a weighted average of a pixel of interest and its peripheral pixels. In an image signal smoothing device that applies a smoothing process by applying a filter, means for detecting a difference between a pixel value of interest and peripheral pixel values thereof, means for obtaining an absolute value of the difference, and an image to be filtered
Means for dividing into blocks, the pixel of interest and its peripheral image
A non-negative value added to the prime difference value is added to each block of the image signal.
The quantization properties used when encoding or decoding the
Roughness of quantization parameter for each block represented by
Taking means for adaptively changed according, means for adding the non-negative values (m) said difference detecting absolute value, and means for taking the reciprocal (weight coefficient) of the value after the addition, the reciprocal Means for multiplying the value after the multiplication by the peripheral pixel value, means for obtaining the total sum (A) of the multiplied values, means for obtaining the total sum (B) of only the reciprocal (weighting coefficient), and the weighting coefficient. Normalization (A / B) by dividing the total sum (A) by the total sum (B)
And means for doing so.

【００４２】また、本発明の請求項２の画像信号平滑化
装置は、サンプリングされデジタル化された画像信号に
対し、着目画素とその周辺画素の重み付け平均でフィル
タリング処理を行う平滑化フィルタを適用して平滑化処
理を行う画像信号平滑化装置において、着目画素値とそ
の周辺画素値の差分を検出する手段と、その差分の絶対
値をとる手段と、フィルタリングすべき画像をブロック
分割する手段と、ブロックごとに画素の変化の度合いを
表すブロック活性度を算出する手段と、そのブロック活
性度に応じて前記着目画素とその周辺画素の差分値に加
える非負の値を適応的に変化させる手段と、前記差分検
出絶対値に前記非負の値（ｍ）を加算する手段と、その
加算後の値の逆数（重み係数）を取る手段と、その逆数
を取った後の値に周辺画素値を乗算する手段と、その乗
算した後の値の総和（Ａ）を取る手段と、前記逆数（重
み係数）のみの総和（Ｂ）を取る手段と、前記重み係数
の総和（Ｂ）で前記総和（Ａ）を除算して正規化（Ａ／
Ｂ）する手段とを備えたことを特徴とするものである。 The image signal smoothing apparatus according to claim 2 of the present invention converts the sampled and digitized image signal.
In contrast, the weighted average of the pixel of interest and its surrounding pixels
Smoothing processing by applying a smoothing filter
In the image signal smoothing device that performs
Means for detecting the difference between the peripheral pixel values of the
Means to take values and block images to be filtered
The means of dividing and the degree of pixel change for each block
The means for calculating the block activity represented and the block activity
The difference value between the pixel of interest and its surrounding pixels
Means for adaptively changing the non-negative value
Means for adding the non-negative value (m) to the output absolute value, and
Means for taking the reciprocal (weighting factor) of the value after addition and its reciprocal
Means for multiplying the value after taking
Means for taking the sum (A) of the calculated values and the reciprocal (multiplication)
Means for obtaining only the sum (B) of only the weighting coefficient, and the weighting coefficient
The total sum (A) is divided by the total sum (B) to normalize (A /
B) is provided.

【００４３】また、本発明の請求項３の画像信号平滑化
装置は、サンプリングされデジタル化された画像信号に
対し、着目画素とその周辺画素の重み付け平均でフィル
タリング処理を行う平滑化フィルタを適用して平滑化処
理を行う画像信号平滑化装置において、着目画素値とそ
の周辺画素値の差分を検出する手段と、その差分の絶対
値をとる手段と、フィルタリングすべき画像をブロック
分割する手段と、前記着目画素がブロック境界の位置に
あるか否かを検出する手段と、前記着目画素がブロック
境界に位置する際にその点に接する隣接ブロックのブロ
ック活性度（隣接ブロック活性度）を検出する手段と、
前記隣接ブロック活性度に応じて前記着目画素とその周
辺画素の差分値に加える非負の値を適応的に変化させる
手段と、前記差分検出絶対値に前記非負の値（ｍ）を加
算する手段と、その加算後の値の逆数（重み係数）を取
る手段と、その逆数を取った後の値に周辺画素値を乗算
する手段と、その乗算した後の値の総和（Ａ）を取る手
段と、前記逆数（重み係数）のみの総和（Ｂ）を取る手
段と、前記重み係数の総和（Ｂ）で前記総和（Ａ）を除
算して正規化（Ａ／Ｂ）する手段とを備えたことを特徴
とするものである。 Further, the image signal smoothing apparatus according to claim 3 of the present invention converts the sampled and digitized image signal.
In contrast, the weighted average of the pixel of interest and its surrounding pixels
Smoothing processing by applying a smoothing filter
In the image signal smoothing device that performs
Means for detecting the difference between the peripheral pixel values of the
Means to take values and block images to be filtered
The dividing means and the pixel of interest are at the position of the block boundary.
Means for detecting whether or not there is a block
The block of the adjacent block that touches the point when located at the boundary
Means for detecting the block activity (adjacent block activity),
Depending on the activity of the adjacent block, the pixel of interest and its surroundings
Adaptively change the non-negative value added to the difference value of side pixels
Means for adding the non-negative value (m) to the difference detection absolute value.
The means for calculating and the reciprocal (weighting coefficient) of the value after addition are calculated.
And the value after taking the reciprocal of the method and the peripheral pixel value
Means to do, and hand to take the sum (A) of the values after multiplication
And the step of taking the sum (B) of only the reciprocal (weighting factor).
And the total sum (B) of the weighting factors, the total sum (A) is divided.
And a means for calculating and normalizing (A / B)
It is what

【００４４】また、本発明の請求項４の画像信号平滑化
装置は、請求項１記載の画像信号平滑化装置において、
画像信号の各ブロック毎に前記平滑化処理された信号値
と平滑化処理する前の信号値を混合する手段と、画像信
号の各ブロックを符号化・復号化するときに用いられた
量子化特性に代表される各ブロックごとの量子化パラメ
ータの粗さに応じて前記混合の割合を適応的に変化させ
る手段とを備えたことを特徴とするものである。 [0044] Also, the image signal smoothing device according to claim 4 of the present invention is the image signal smoothing device according to claim 1,
The smoothed signal value for each block of the image signal
And a means for mixing the signal values before smoothing, and image signal
Used when encoding / decoding each block of the No.
Quantization parameters for each block represented by quantization characteristics
The ratio of the mixture is adaptively changed according to the roughness of the data.
It is characterized by having means for

【００４５】また、本発明の請求項５の画像信号平滑化
装置は、請求項２記載の画像信号平滑化装置において、
画像信号の各ブロック毎に前記平滑化処理された信号値
と平滑化処理する前の信号値を混合する手段と、画像信
号の各ブロックの活性度に応じて前記混合の割合を適応
的に変化させる手段とを備えたことを特徴とするもので
ある。 An image signal smoothing apparatus according to a fifth aspect of the present invention is the image signal smoothing apparatus according to the second aspect .
The smoothed signal value for each block of the image signal
And a means for mixing the signal values before smoothing, and image signal
Adapt the mixing ratio according to the activity of each block of the No.
It is characterized by having means for dynamically changing
is there.

【００４６】また、本発明の請求項６の画像信号平滑化
装置は、請求項３記載の画像信号平滑化装置において、
画像信号の各ブロック毎に前記平滑化処理された信号値
と平滑化処理する前の信号値を混合する手段と、着目画
素がブロック境界の位置にあるか否かを検出する手段
と、着目画素がブロック境界に接する位置にあるときそ
の画素に接する隣接ブロックの隣接ブロック活性度に応
じて前記混合の割合を適応的に変化させる手段とを備え
たことを特徴とするものである。 An image signal smoothing apparatus according to claim 6 of the present invention is the image signal smoothing apparatus according to claim 3 ,
The smoothed signal value for each block of the image signal
And a means for mixing the signal values before smoothing processing,
A means to detect whether or not the element is at the block boundary position
When the pixel of interest is in the position where it touches the block boundary,
According to the activity of the adjacent block of the adjacent block in contact with
And means for adaptively changing the mixing ratio.
It is characterized by that.

【００４７】また、本発明の請求項７の画像信号平滑化
方法は、サンプリングされデジタル化された画像信号に
対し、着目画素とその周辺画素の重み付け平均でフィル
タリング処理を行う平滑化フィルタを適用して平滑化処
理を行う画像信号平滑化方法において、着目画素値とそ
の周辺画素値の差分を検出するステップと、その差分の
絶対値をとるステップと、フィルタリングすべき画像を
ブロック分割するステップと、前記着目画素とその周辺
画素の差分値に加える非負の値を、画像信号の各ブロッ
クを符号化・復号化するときに用いられた量子化特性に
代表される各ブロック毎の量子化パラメータの粗さに応
じて適応的に変化させるステップと、前記差分検出絶対
値に前記非負の値（ｍ）を加算するステップと、その加
算後の値の逆数（重み係数）を取るステップと、その逆
数を取った後の値に周辺画素値を乗算するステップと、
その乗算した後の値の総和（Ａ）を取るステップと、前
記逆数（重み係数）のみの総和（Ｂ）を取るステップ
と、前記重み係数の総和（Ｂ）で前記総和（Ａ）を除算
して正規化（Ａ／Ｂ）するステップとを含むことを特徴
とするものである。 Further, image signal smoothing according to claim 7 of the present invention
The method is based on sampling and digitizing the image signal.
In contrast, the weighted average of the pixel of interest and its surrounding pixels
Smoothing processing by applying a smoothing filter
In the image signal smoothing method that
Of the difference between the peripheral pixel values of the
The steps to take the absolute value and the image to be filtered
Block dividing step, the pixel of interest and its periphery
The non-negative value added to the pixel difference value is set to each block of the image signal.
The quantization characteristics used when encoding / decoding
Representing the coarseness of the quantization parameter for each block
And adaptively changing the difference detection absolute
The step of adding the non-negative value (m) to the value, and the addition
The step of taking the reciprocal (weighting coefficient) of the value after calculation and its inverse
Multiplying the value after taking the number by the surrounding pixel value,
The step of taking the sum (A) of the multiplied values, and
Step of taking the summation (B) of only reciprocal numbers (weighting factors)
And dividing the summation (A) by the summation (B) of the weighting factors
And normalizing (A / B).
It is what

【００４８】また、本発明の請求項８の画像信号平滑化
方法は、サンプリングされデジタル化された画像信号に
対し、着目画素とその周辺画素の重み付け平均でフィル
タリング処理を行う平滑化フィルタを適用して平滑化処
理を行う画像信号平滑化方法において、着目画素値とそ
の周辺画素値の差分を検出するステップと、その差分の
絶対値をとるステップと、フィルタリングすべき画像を
ブロック分割するステップと、ブロックごとに画素の変
化の度合いを表すブロック活性度を算出するステップ
と、そのブロック活性度に応じて前記着目画素とその周
辺画素の差分値に加える非負の値を適応的に変化させる
ステップと、前記差分検出絶対値に前記非負の値（ｍ）
を加算するステップと、その加算後の値の逆数（重み係
数）を取るステップと、その逆数を取った後の値に周辺
画素値を乗算するステップと、その乗算した後の値の総
和（Ａ）を取るステップと、前記逆数（重み係数）のみ
の総和（Ｂ）を取るステップと、前記重み係数の総和
（Ｂ）で前記総和（Ａ）を除算して正規化（Ａ／Ｂ）す
るステップとを含むことを特徴とするものである。 Further, image signal smoothing according to claim 8 of the present invention
The method is to fill the sampled and digitized image signal with the weighted average of the pixel of interest and its surrounding pixels.
Smoothing processing by applying a smoothing filter
In the image signal smoothing method that
Of the difference between the peripheral pixel values of the
The steps to take the absolute value and the image to be filtered
The block division step and the pixel change
Step of calculating block activity that represents the degree of activation
And the target pixel and its surroundings according to the block activity.
Adaptively change the non-negative value added to the difference value of side pixels
Step, and the non-negative value (m) for the difference detection absolute value
And the reciprocal of the value after the addition (weighting factor)
Number) and the value after taking the reciprocal
The step of multiplying the pixel value and the sum of the values after the multiplication
Only the step of taking the sum (A) and the reciprocal (weighting coefficient)
And summing the weighting factors.
Normalize (A / B) by dividing the total sum (A) by (B)
It is characterized by including a step.

【００４９】また、本発明の請求項９の画像信号平滑化
方法は、サンプリングされデジタル化された画像信号に
対し、着目画素とその周辺画素の重み付け平均でフィル
タリング処理を行う平滑化フィルタを適用して平滑化処
理を行う画像信号平滑化方法において、着目画素値とそ
の周辺画素値の差分を検出するステップと、その差分の
絶対値をとるステップと、フィルタリングすべき画像を
ブロック分割するステップと、前記着目画素がブロック
境界の位置にあるか否かを検出するステップと、前記着
目画素がブロック境界に位置する際にその点に接する隣
接ブロックのブロック活性度（隣接ブロック活性度）を
検出するステップと、前記隣接ブロック活性度に応じて
前記着目画素とその周辺画素の差分値に加える非負の値
を適応的に変化させるステップと、前記差分検出絶対値
に前記非負の値（ｍ）を加算するステップと、その加算
後の値の逆数（重み係数）を取るステップと、その逆数
を取った後の値に周辺画素値を乗算するステップと、そ
の乗算した後の値の総和（Ａ）を取るステップと、前記
逆数（重み係数）のみの総和（Ｂ）を取るステップと、
前記重み係数の総和（Ｂ）で前記総和（Ａ）を除算して
正規化（Ａ／Ｂ）するステップとを含むことを特徴とす
るものである。 Further, image signal smoothing according to claim 9 of the present invention
The method is based on sampling and digitizing the image signal.
In contrast, the weighted average of the pixel of interest and its surrounding pixels
Smoothing processing by applying a smoothing filter
In the image signal smoothing method that
Of the difference between the peripheral pixel values of the
The steps to take the absolute value and the image to be filtered
Step of dividing into blocks, and the target pixel is a block
The step of detecting whether or not the position is at the boundary,
The neighbor that touches the point when the eye pixel is located at the block boundary
The block activity of adjacent blocks (activity of adjacent blocks)
Depending on the step of detecting and the activity of the adjacent block
Non-negative value added to the difference value between the pixel of interest and its surrounding pixels
To adaptively change the difference detection absolute value
And adding the non-negative value (m) to
The step of taking the reciprocal (weighting factor) of the latter value and its reciprocal
And multiplying the value after taking
Taking the sum (A) of the values after multiplication of
A step of taking a total sum (B) of only reciprocal numbers (weighting factors),
Divide the summation (A) by the summation (B) of the weighting factors
A step of normalizing (A / B).
It is something.

【００５０】また、本発明の請求項１０の画像信号平滑
化方法は、請求項７に記載の画像信号平滑化方法におい
て、画像信号の各ブロック毎に前記平滑化処理された信
号値と平滑化処理する前の信号値を混合するステップ
と、画像信号の各ブロックを符号化・復号化するときに
用いられた量子化特性に代表される各ブロックごとの量
子化パラメータの粗さに応じて前記混合割合を適応的に
変化させるステップとを含むことを特徴とするものであ
る。 An image signal smoothing method according to a tenth aspect of the present invention is the image signal smoothing method according to the seventh aspect.
For each block of the image signal, the smoothed signal
Signal value and signal value before smoothing processing
And when encoding / decoding each block of the image signal
Amount for each block represented by the used quantization characteristics
The mixing ratio is adaptively adjusted according to the roughness of the child parameter.
And a changing step.
It

【００５１】また、本発明の請求項１１の画像信号平滑
化方法は、請求項８に記載の画像信号平滑化方法におい
て、画像信号の各ブロック毎に前記平滑化処理された信
号値と平滑化処理する前の信号値を混合するステップ
と、画像信号の各ブロックの活性度に応じて前記混合割
合を適応的に変化させるステップとを含むことを特徴と
するものである。 The image signal smoothing method according to claim 11 of the present invention is the image signal smoothing method according to claim 8.
For each block of the image signal, the smoothed signal
Signal value and signal value before smoothing processing
And the mixing ratio according to the activity of each block of the image signal.
And the step of adaptively changing the
To do.

【００５２】また、本発明の請求項１２の画像信号平滑
化方法は、請求項９に記載の画像信号平滑化方法におい
て、画像信号の各ブロック毎に前記平滑化処理された信
号値と平滑化処理する前の信号値を混合するステップ
と、着目画素がブロック境界の位置にあるか否かを検出
するステップと、着目画素がブロック境界に接する位置
にあるときその画素に接する隣接ブロックの隣接ブロッ
ク活性度に応じて前記混合割合を適応的に変化させるス
テップとを含むことを特徴とするものである。 The image signal smoothing method according to claim 12 of the present invention is the image signal smoothing method according to claim 9.
For each block of the image signal, the smoothed signal
Signal value and signal value before smoothing processing
And whether or not the pixel of interest is at the block boundary position
Step and the position where the pixel of interest touches the block boundary
Adjacent block of the adjacent block that touches the pixel when
The adaptive ratio of the mixing ratio is changed according to the activity.
It is characterized by including a step.

【００５３】[0053]

【００５４】[0054]

【００５５】[0055]

【００５６】[0056]

【００５７】[0057]

【００５８】[0058]

【００５９】[0059]

【００６０】[0060]

【００６１】[0061]

【００６２】[0062]

【００６３】[0063]

【００６４】[0064]

【００６５】[0065]

【００６６】[0066]

【００６７】[0067]

【００６８】[0068]

【００６９】[0069]

【００７０】[0070]

【００７１】[0071]

【００７２】[0072]

【００７３】[0073]

【発明の実施の形態】DETAILED DESCRIPTION OF THE INVENTION

（実施の形態１）以下、本発明の実施の形態１について
図１ないし図２０を参照しながら説明する。(Embodiment 1) Hereinafter, Embodiment 1 of the present invention will be described with reference to FIGS.

【００７４】本実施の形態１は画面全体の解像度の低下
を抑えながら、復号画像品質の劣化を軽減することを実
現するために、復号された着目画素と周辺画素との差分
値にある非負の値を加えた上で、逆数をとり、その逆数
を重みとするようなエッジ保存性のある平滑化フィルタ
を用いるようにしたものであり、この平滑化フィルタに
よれば、差分値の逆数で平滑化するので、着目画素が孤
立点ならば周辺画素全てと差分値が大きく、周辺全てが
同じような重みとなる。着目画素の隣にエッジが存在す
る場合は、着目画素とエッジの差分は大きくなるが、エ
ッジ以外の周辺画素との差分は小さい。したがって、エ
ッジ側の重みが小さい重み平均をとる構成になり、連続
したエッジはこの構成で保存でき、孤立点は平滑するこ
とができる。重み係数算出において逆数をとる前の非負
の加える値を制御することで、量子化誤差のみでなくあ
る値以下の雑音も消去することができる。また、この平
滑化フィルタを用いたことによりブロック境界に生じる
歪を大幅に軽減でき、視覚上大きな画質改善効果を得る
ことができる。また、復号化パラメータの粗さと画像信
号の活性度に応じて平滑フィルタの特性を変えて平滑処
理するので、復号画像全体の解像度の低下を少なくで
き、視覚的に見やすい高品質な復号画像を得ることがで
きる。In the first embodiment, in order to reduce the deterioration of the decoded image quality while suppressing the deterioration of the resolution of the entire screen, there is a non-negative difference value between the decoded target pixel and the peripheral pixels. After adding a value, the inverse number is taken, and a smoothing filter with edge preservation that uses the inverse number as a weight is used.This smoothing filter smooths the inverse number of the difference value. Therefore, if the pixel of interest is an isolated point, the difference value is large with respect to all the peripheral pixels, and the weight is the same for all the peripheral pixels. When an edge exists next to the pixel of interest, the difference between the pixel of interest and the edge becomes large, but the difference between the peripheral pixel other than the edge is small. Therefore, the weighting on the edge side is small, and a weighted average is taken, continuous edges can be stored by this construction, and isolated points can be smoothed. By controlling the non-negative addition value before taking the reciprocal in the weighting factor calculation, not only the quantization error but also noise below a certain value can be eliminated. Further, by using this smoothing filter, the distortion generated at the block boundary can be significantly reduced, and a large visual quality improvement effect can be obtained. Also, since the smoothing process is performed by changing the characteristics of the smoothing filter according to the coarseness of the decoding parameters and the activity of the image signal, it is possible to reduce the deterioration of the resolution of the entire decoded image and obtain a high quality decoded image that is easy to see visually. be able to.

【００７５】図１は本発明に係る画像符号化・復号化装
置のブロック図であり、従来技術で説明した構成に加え
てループ内フィルタ２３およびポストフィルタ２６の位
置を示している。FIG. 1 is a block diagram of an image encoding / decoding device according to the present invention, showing the positions of the in-loop filter 23 and the post filter 26 in addition to the configuration described in the prior art.

【００７６】また、図２は図１のループ内フィルタ２３
またはポストフィルタ２６に内蔵する平滑フィルタのブ
ロック構成を示す。図２において、２３１は着目画素値
と周辺画素値の差分を検出する差分器であり、その差分
は絶対値器２３２で絶対値がとられる。その絶対値は加
算器２３３で非負の値ｍと加算され、その加算値は逆数
器２３４で逆数がとられて重み係数となる。その重み係
数は乗算器２３５で周辺画素値と乗算され、その乗算値
は総和器２３６で総和がとられる。また重み係数は総和
器２３７で総和がとられ、総和器２３６でとられた総和
は除算器２３８で総和器２３７でとられた総和により除
算されてスムージングされた画素値が得られる。Further, FIG. 2 shows the in-loop filter 23 of FIG.
Alternatively, the block configuration of the smoothing filter incorporated in the post filter 26 is shown. In FIG. 2, reference numeral 231 is a difference device that detects the difference between the pixel value of interest and the peripheral pixel value, and the absolute value is taken by the absolute value device 232. The absolute value is added to the non-negative value m by the adder 233, and the added value is reciprocally taken by the reciprocal calculator 234 to be a weighting coefficient. The weighting coefficient is multiplied by the peripheral pixel value in the multiplier 235, and the summed value is summed by the summing device 236. Further, the weighting factors are summed by the summing device 237, and the summation obtained by the summing device 236 is divided by the summation performed by the summing device 237 in the divider 238 to obtain a smoothed pixel value.

【００７７】また、図３は図２の平滑フィルタに付加さ
れる構成を示す。図３において、２３３１はフィルタリ
ングすべき画像をブロック分割する画像ブロック分割器
であり、そのブロック分割された画像毎の量子化パラメ
ータが量子化パラメータ算出器２３３２で算出され、そ
の量子化パラメータの粗さに応じて非負加算値可変器２
３３３は図２の加算器２３３で加算すべき非負の値ｍを
可変する。FIG. 3 shows a configuration added to the smoothing filter shown in FIG. In FIG. 3, reference numeral 2331 denotes an image block divider that divides an image to be filtered into blocks. A quantization parameter calculator 2332 calculates a quantization parameter for each block-divided image, and the roughness of the quantization parameter is calculated. Non-negative addition value changer 2
333 changes the non-negative value m to be added by the adder 233 of FIG.

【００７８】また、図４は図２の平滑フィルタに付加さ
れる構成を示す。図４において、２３３４はブロック分
割された画像毎の活性度を算出するブロック活性度算出
器であり、そのブロック活性度に応じて非負加算値可変
器２３３３は図２の加算器２３３で加算すべき非負の値
ｍを可変する。FIG. 4 shows a configuration added to the smoothing filter shown in FIG. In FIG. 4, 2334 is a block activity calculator for calculating the activity for each image divided into blocks, and the non-negative addition value variable 2333 should be added by the adder 233 of FIG. 2 according to the block activity. The non-negative value m is changed.

【００７９】また、図５は図２の平滑フィルタに付加さ
れる構成を示す。図５において、２３３５は着目画素が
ブロック境界の位置にあることを検出する画素位置検出
器であり、その着目画素がブロック境界の位置にあれ
ば、ブロック活性度算出器２３３４はその点に隣接する
ブロック活性度を検出し、そのブロック活性度に応じて
非負加算値可変器２３３３は図２の加算器２３３で加算
すべき非負の値ｍを可変する。FIG. 5 shows a configuration added to the smoothing filter shown in FIG. In FIG. 5, reference numeral 2335 denotes a pixel position detector that detects that the pixel of interest is at the position of the block boundary, and if the pixel of interest is at the position of the block boundary, the block activity calculator 2334 is adjacent to that point. The block activity level is detected, and the non-negative addition value variable unit 2333 changes the non-negative value m to be added by the adder 233 of FIG. 2 according to the block activity level.

【００８０】また、図６は図２の平滑フィルタに付加さ
れる構成を示す。図６において、２３３２は画像信号の
各ブロック毎の量子化パラメータを算出する量子化パラ
メータ算出器であり、その各ブロック毎の量子化パラメ
ータの粗さに応じて信号混合器２３３６は画像信号の各
ブロック毎に平滑化された信号値と平滑化処理する前の
信号値を混合する割合を適応的に変化させる。FIG. 6 shows a configuration added to the smoothing filter shown in FIG. In FIG. 6, reference numeral 2332 is a quantization parameter calculator that calculates the quantization parameter for each block of the image signal, and the signal mixer 2336 determines the quantization parameter for each block of the image signal according to the coarseness of the quantization parameter for each block. The ratio of mixing the smoothed signal value and the signal value before the smoothing process is adaptively changed for each block.

【００８１】また、図７は図２の平滑フィルタに付加さ
れる構成を示す。図７において、２３３４は画像信号の
各ブロック毎の活性度を算出するブロック活性度算出器
であり、その各ブロック毎の活性度に応じて信号混合器
２３３６は画像信号の各ブロック毎に平滑化された信号
値と平滑化処理する前の信号値を混合する割合を適応的
に変化させる。FIG. 7 shows a configuration added to the smoothing filter shown in FIG. In FIG. 7, 2334 is a block activity calculator for calculating the activity of each block of the image signal, and the signal mixer 2336 smoothes each block of the image signal according to the activity of each block. The ratio of mixing the obtained signal value and the signal value before the smoothing process is adaptively changed.

【００８２】また、図８は図２の平滑フィルタに付加さ
れる構成を示す。図８において、２３３５は着目画素が
ブロック境界の位置にあるか否かを検出する画素位置検
出器であり、その着目画素がブロック境界に接する位置
にあるときに信号混合器２３３６は画像信号の各ブロッ
ク毎に平滑化された信号値と平滑化処理する前の信号値
を混合する割合を適応的に変化させる。FIG. 8 shows a configuration added to the smoothing filter shown in FIG. In FIG. 8, reference numeral 2335 denotes a pixel position detector that detects whether or not the pixel of interest is at the position of the block boundary. When the pixel of interest is at the position of contacting the block boundary, the signal mixer 2336 causes the signal mixer 2336 to detect each of the image signals. The ratio of mixing the smoothed signal value and the signal value before the smoothing process is adaptively changed for each block.

【００８３】また、図９は図２の平滑フィルタの構成を
示す。図９において、２３３５は着目画素がブロック境
界の位置にあるか否かを検出する画素位置検出器であ
り、その着目画素がブロック境界の位置にある場合、エ
ッジ保存性を弱めた平滑フィルタリングを行うフィルタ
回路２３３７を選択し、その着目画素がブロックの内部
に存在する場合エッジ保存性のある平滑フィルタリング
を行うフィルタ回路２３３８を選択する。FIG. 9 shows the configuration of the smoothing filter shown in FIG. In FIG. 9, reference numeral 2335 denotes a pixel position detector that detects whether or not the pixel of interest is at the position of the block boundary. When the pixel of interest is at the position of the block boundary, smoothing filtering with weakened edge preservation is performed. The filter circuit 2337 is selected, and when the pixel of interest exists inside the block, the filter circuit 2338 that performs smoothing filtering with edge preservation is selected.

【００８４】また、図１０は図２の平滑フィルタの構成
を示す。図１０において、２３３５は着目画素がブロッ
ク境界の位置にあるか否かを検出する画素位置検出器で
あり、その着目画素がブロック境界の位置にある場合、
活性度算出器２３４０は着目画素とその周辺の画素値よ
り着目点の活性度を算出し、その活性度に応じてエッジ
保存性を弱めた平滑フィルタリングを行うフィルタ回路
２３３７を選択するかあるいはエッジ保存性のある平滑
フィルタリングを行うフィルタ回路２３３８を選択す
る。FIG. 10 shows the configuration of the smoothing filter shown in FIG. In FIG. 10, reference numeral 2335 denotes a pixel position detector that detects whether or not the pixel of interest is at the position of the block boundary, and when the pixel of interest is at the position of the block boundary,
The activity calculator 2340 calculates the activity of the point of interest from the pixel of interest and the pixel values of its surroundings, and selects the filter circuit 2337 that performs smoothing filtering with weak edge preservation according to the activity or stores the edge. A filter circuit 2338 that performs smoothing filtering with a certain property is selected.

【００８５】また、図１１は図２の平滑フィルタの構成
を示す。図１１において、２３３５は着目画素がブロッ
ク境界の位置にあるか否かを検出する画素位置検出器で
あり、その着目画素がブロック境界の位置にある場合、
境界連続方向検出器２３４１は着目画素が属するブロッ
ク境界が水平，垂直のどちらに連続しているかを検出
し、着目画素が属するブロックの方向に応じてエッジ保
存性を弱めた平滑フィルタリングを行うフィルタ回路２
３３７を選択するかあるいはエッジ保存性のある平滑フ
ィルタリングを行うフィルタ回路２３３８を選択する。FIG. 11 shows the structure of the smoothing filter shown in FIG. In FIG. 11, reference numeral 2335 denotes a pixel position detector that detects whether or not the pixel of interest is at the position of the block boundary. When the pixel of interest is at the position of the block boundary,
The boundary continuous direction detector 2341 detects whether the block boundary to which the pixel of interest belongs is continuous horizontally or vertically, and performs smoothing filtering with weak edge preservation depending on the direction of the block to which the pixel of interest belongs. Two
337 is selected, or a filter circuit 2338 that performs edge-preserving smoothing filtering is selected.

【００８６】また、図１２は図１の画像符号化・復号化
装置あるいは図２ないし図１１の平滑フィルタをソフト
ウエアで実現する場合の構成を示す。図１２において、
３００は画像データを入力する画像入力部であり、その
画像データはバス１５０を介して直接ＣＰＵ１００に入
力されるか、あるいは画像メモリ２００に一旦記憶され
た後、画像メモリ２００から読み出されてＣＰＵ１００
に入力される。このＣＰＵ１００に入力された画像デー
タはソフトウエアによって処理され、バス１５０を介し
て直接画像出力部４００に入力されるか、あるいは画像
メモリ２００に一旦記憶された後、画像メモリ２００か
ら読み出されて画像出力部４００に入力される。FIG. 12 shows a configuration in which the image coding / decoding device of FIG. 1 or the smoothing filter of FIGS. 2 to 11 is realized by software. In FIG.
An image input unit 300 inputs image data, and the image data is directly input to the CPU 100 via the bus 150 or is temporarily stored in the image memory 200 and then read from the image memory 200 to be read by the CPU 100.
Entered in. The image data input to the CPU 100 is processed by software and directly input to the image output unit 400 via the bus 150, or once stored in the image memory 200 and then read from the image memory 200. It is input to the image output unit 400.

【００８７】以下では、従来技術の説明で定義された類
似式も本実施の形態１の手法の定義を明確にするために
再度定義する。着目画素周辺の局所領域を図２１に示す
３×３画素の画像領域（以下、局所領域という）とし、
σ_b ² （ブロック活性度）を算出する領域は図２０に示
すＤＣＴ演算を実施する８×８画素の領域（以下、画像
ブロックという）とし、復号における量子化パラメータ
は画像ブロックごとに記憶する。In the following, similar equations defined in the description of the prior art will be defined again in order to clarify the definition of the method of the first embodiment. A local area around the pixel of interest is an image area of 3 × 3 pixels (hereinafter, referred to as local area) shown in FIG.
An area for calculating σ _b ² (block activity) is an area of 8 × 8 pixels (hereinafter referred to as an image block) in which the DCT calculation shown in FIG. 20 is performed, and the quantization parameter in decoding is stored for each image block.

【００８８】復号画像の全画素個々に対して図２１に示
す局所領域で、局所平均値＜ｄ（ｘ，ｙ）＞を式（１
２）で定義する。その総和Σをとるとき、ｉ，ｊの値に
より画像領域の範囲外に出る場合は着目画素の値をと
る。ｄ（ｘ，ｙ）は座標（ｘ，ｙ）の復号画素値であ
る。The local average value <d (x, y)> is expressed by the formula (1) in the local region shown in FIG. 21 for all the pixels of the decoded image.
Defined in 2). When taking the sum Σ, if the value of i and j goes outside the range of the image area, the value of the pixel of interest is taken. d (x, y) is the decoded pixel value at the coordinate (x, y).

【００８９】[0089]

【数１２】 [Equation 12]

【００９０】次に、式（１３）で定義するような各画素
ごとの分散（以下、局所活性度という）を局所領域で求
める。ここでは、分散の定義に局所領域と式（１２）の
局所平均の差分の自乗和をとる。これも式（１２）と同
様に全画素個々に対して定義する（請求項９で使用）。Next, the variance (hereinafter referred to as local activity) for each pixel as defined by the equation (13) is obtained in the local area. Here, the sum of squares of the difference between the local area and the local mean of Expression (12) is taken as the definition of the variance. This is also defined for all pixels individually as in the equation (12) (used in claim 9).

【００９１】[0091]

【数１３】 [Equation 13]

【００９２】画像ブロック分散（以下、ブロック活性度
という）を式（１４）で定義する。ブロック活性度は図
２０に示すような各ブロックごとに定義する（請求項
３，１３，４，１４，６，１６，７，１７で使用）。The image block dispersion (hereinafter referred to as block activity) is defined by the equation (14). The block activity is defined for each block as shown in FIG. 20 (used in claims 3, 13, 4, 14, 6, 16, 7, and 17).

【００９３】[0093]

【数１４】 [Equation 14]

【００９４】ｍ（ｘ，ｙ）、ｄ（ｘ，ｙ）、ｓ（ｘ，
ｙ）は、それぞれ（ｘ，ｙ）座標における修正された画
素値、復号された画素値、局所領域でスムージングされ
た画素値である。M (x, y), d (x, y), s (x,
y) is the corrected pixel value, the decoded pixel value, and the pixel value smoothed in the local region at the (x, y) coordinates, respectively.

【００９５】[0095]

【数１５】 [Equation 15]

【００９６】ここで、λは復号された値と局所領域で平
滑化された値の混合割合で、以下の式（１６）〜（１
８）で定義される。ＱＰは復号における量子化パラメー
タ、σ_b ² は式（１４）で算出されるブロック活性度で
ある。量子化パラメータが大きいと量子化誤差が生じや
すく、また復号画像のブロック活性度が大きいと画素値
の段差が数多く存在するので平滑化特性を強くする構成
としている（請求項５，１５，６，１６に該当）。Here, λ is the mixing ratio of the decoded value and the value smoothed in the local area, and is expressed by the following equations (16) to (1).
It is defined in 8). QP is the quantization parameter in decoding, and σ _b ² is the block activity calculated by equation (14). When the quantization parameter is large, a quantization error is likely to occur, and when the block activity of the decoded image is large, there are many steps of pixel values, so the smoothing characteristic is strengthened (claims 5, 15, 6). 16).

【００９７】これにより、画像ブロック毎に、画素毎の
性質によりフィルタリング特性を変化させることができ
る。また、量子化パラメータが１の場合、量子化誤差が
生じないので、最終的なフィルタリングの後の値は平滑
化処理する前の信号そのままでよく、混合割合を量子化
パラメータで制御する構成を有することにより、平滑化
された信号値をフィルタリングに使用しないようにする
ことができる。これにより、フィルタリング処理をスキ
ップすることができ、装置をＣＰＵやＤＳＰにより構成
した場合、その処理時間を短縮することができる。As a result, the filtering characteristic can be changed for each image block depending on the characteristics of each pixel. Further, when the quantization parameter is 1, no quantization error occurs, so the value after the final filtering may be the signal before the smoothing process, and the mixing ratio is controlled by the quantization parameter. Thus, the smoothed signal value can be prevented from being used for filtering. As a result, the filtering process can be skipped and the processing time can be shortened when the device is configured by the CPU or DSP.

【００９８】また、ブロック活性度の低い平坦なブロッ
クの場合、平滑化された平坦な信号をより多く最終的な
フィルタリング値に含ませることで、平坦なブロックで
目につきやすい雑音を除去できる。In the case of a flat block having a low block activity, more smoothed flat signals are included in the final filtering value, so that the noise noticeable by the flat block can be removed.

【００９９】[0099]

【数１６】 [Equation 16]

【０１００】式（１５）で定義される右辺第２項ｓ
（ｘ，ｙ）のスムージングには座標（ｘ，ｙ）における
復号値ｄ（ｘ，ｙ）を含んでいない。式（１８）、式
（２１）の定義よりスムージング後の画素値ｓ（ｘ，
ｙ）に着目点ｄ（ｘ，ｙ）の画素値は含まれない。そこ
で、λのとる値の範囲を以下の範囲とする。The second term s on the right side defined by equation (15)
The smoothing of (x, y) does not include the decoded value d (x, y) at the coordinate (x, y). From the definitions of the equations (18) and (21), the smoothed pixel value s (x,
The pixel value of the target point d (x, y) is not included in y). Therefore, the range of the value of λ is set as follows.

【０１０１】[0101]

【数１７】 [Equation 17]

【０１０２】式（１６）のλが式（１７）で定義する範
囲の値でアンダーフロー／オーバーフローした場合はそ
れぞれ最小／最大値で固定する。When λ in equation (16) underflows / overflows within the range defined by equation (17), it is fixed at the minimum / maximum value.

【０１０３】次に、式（１５）で用いた右辺第２項スム
ージングの画素値算出の定義を行う。スムージングは、
式（２１）で定義される重みに従って、周辺画素の重み
平均をとることである。この重みは画素値の差分の逆数
で定義するので、画素値の差分が大きいエッジのような
ところは平滑化に影響を与えない。すなわち、エッジが
保存されるような平滑化を行う。Next, the pixel value calculation of the second term smoothing on the right side used in the equation (15) will be defined. Smoothing is
That is, the weighted average of peripheral pixels is calculated according to the weight defined by the equation (21). Since this weight is defined by the reciprocal of the difference between the pixel values, an edge where the difference between the pixel values is large does not affect smoothing. That is, smoothing is performed so that edges are preserved.

【０１０４】[0104]

【数１８】 [Equation 18]

【０１０５】また、座標（ｘ，ｙ）の周辺画素との差分
を局所領域でとり、各画素との差分の絶対値に正則化の
ための非負の数ｍの項を加える。この項の作用によりｄ
（ｘ，ｙ）−ｄ（ｘ＋ｉ，ｙ＋ｊ）＝０であっても式
（２１）が無限大になることはない。Further, the difference between the pixel at the coordinates (x, y) and the surrounding pixels is taken in the local region, and the non-negative number m for regularization is added to the absolute value of the difference with each pixel. D due to the action of this term
Even if (x, y) -d (x + i, y + j) = 0, the expression (21) does not become infinite.

【０１０６】しかも、この項の作用で周辺画素との差分
値がｍ以下の場合、周辺画素の単純平均に近い値を算出
することになる（請求項１，１１に該当）。Moreover, when the difference value from the surrounding pixels is m or less by the action of this item, a value close to the simple average of the surrounding pixels is calculated (corresponding to claims 1 and 11).

【０１０７】これにより、上述のように、差分値の逆数
で平滑化を行うので、連続したエッジはこの構成で保存
でき、孤立点は平滑化することができる。また、非負の
値を加えることで、逆数をとったときの演算結果が無限
大になるのを避けることができる。As a result, as described above, since smoothing is performed by the reciprocal of the difference value, continuous edges can be stored with this configuration, and isolated points can be smoothed. In addition, by adding a non-negative value, it is possible to avoid that the calculation result when the reciprocal is taken becomes infinite.

【０１０８】[0108]

【数１９】 [Formula 19]

【０１０９】右辺第２項のｍの値が大きいとエッジ保存
効果の画素値差分（右辺第１項）をマスクするように作
用する。このマスク値は固定値でも可能であるが、量子
化誤差の変動を反映できるように、式（２０）のような
量子化パラメータで制御する（請求項２，１２に該
当）。これにより、量子化誤差が拡大することに伴い拡
大する雑音を消去することができる。When the value of m in the second term on the right side is large, the pixel value difference of the edge preservation effect (first term on the right side) is masked. This mask value can be a fixed value, but it is controlled by a quantization parameter such as equation (20) so as to reflect a variation in quantization error (corresponding to claims 2 and 12). This makes it possible to eliminate noise that expands as the quantization error expands.

【０１１０】[0110]

【数２０】 [Equation 20]

【０１１１】[0111]

【数２１】 [Equation 21]

【０１１２】ブロック歪を生じている場合には、ブロッ
ク内部は局所活性度σ_d ² ＝０であるが、ブロック境界
上の画素は、周辺画素が隣接ブロックに接し段差が生じ
ているので局所活性度σ_d ² が大きい。しかし、ブロッ
クで平均化されるので、このような状況ではブロック活
性度σ_b ² がある閾値δ₂ より小さくなっている。ブロ
ック歪を強く消去するために式（１６），（１７）で算
出されたλに、追加の制限事項を定める（請求項３，１
３，６，１６に該当）。これにより、雑音と認識する幅
を拡大し、平坦な平滑化特性を強くし、雑音が認識され
ないようにすることができる。When the block distortion is generated, the local activity is σ _d ² = 0 inside the block, but the pixels on the block boundary are locally active because the peripheral pixels are in contact with the adjacent blocks and a step is generated. The degree σ _d ² is large. However, since the blocks are averaged, the block activity σ _b ² is smaller than a certain threshold δ ₂ in this situation. In order to strongly eliminate the block distortion, λ calculated by the equations (16) and (17) has additional restrictions (claims 3, 1).
Applies to 3, 6, 16). This makes it possible to increase the width of recognition as noise, enhance the flat smoothing characteristic, and prevent noise from being recognized.

【０１１３】[0113]

【数２２】 [Equation 22]

【０１１４】また、着目画素がブロック境界に位置し、
下記（ア），（イ）の条件ならば同様に平滑特性を強く
する。本条件によりブロック内部ではエッジ保存性の強
いフィルタリングとなり、ブロック境界ではエッジ保存
性の弱いフィルタリングとなる（（ア）は請求項４，１
４，７，１７に、（イ）は請求項９，１９に該当）。Further, the pixel of interest is located at the block boundary,
Under the following conditions (a) and (a), the smoothing characteristics are similarly strengthened. According to this condition, filtering with strong edge preservation is performed inside the block, and filtering with weak edge preservation is performed at the block boundary.
4, 7, and 17 and (a) corresponds to claims 9 and 19).

【０１１５】これにより、画像が平坦なブロックに隣接
する場合、隣接ブロックがブロック活性度の低い平坦な
ことを検出して、平坦なブロックに接する点の平滑化特
性の平坦度を高め、生じるべき境界段差をぼかすことが
できる。また、画像がブロック活性度の低い平坦なブロ
ックに隣接する場合、その隣接ブロックが平坦なことを
検出して、平坦なブロックに接する点のフィルタリング
特性の平坦度を強め、生じるべき境界をぼかすことがで
きる。また、着目点がブロック境界に位置しかつ着目点
の活性度が高い場合、平滑特性の平坦度を高めるととも
に、フィルタリング特性における平滑特性の割合を大き
くすることで、生じるべき段差を消去できる。Accordingly, when an image is adjacent to a flat block, it should be generated by detecting that the adjacent block is flat with low block activity and enhancing the flatness of the smoothing characteristic of the point in contact with the flat block. It is possible to blur the boundary step. Also, when the image is adjacent to a flat block with low block activity, it detects that the adjacent block is flat and enhances the flatness of the filtering characteristic of the points touching the flat block to blur the boundary that should occur. You can When the point of interest is located on the block boundary and the degree of activity of the point of interest is high, the flatness of the smoothing characteristic is increased and the ratio of the smoothing characteristic in the filtering characteristic is increased, so that the step difference that should occur can be erased.

【０１１６】[0116]

【数２３】 [Equation 23]

【０１１７】（ア）着目画素が接する画像ブロックの隣
接ブロックのブロック活性度が、ある閾値δ₂ より低い
場合。式（２２）の判定では、着目画素の属するブロッ
クの活性度のみを判定しており、本条件は隣接するブロ
ックの活性度を判定している。(A) When the block activity of an adjacent block of an image block with which the pixel of interest is in contact is lower than a certain threshold δ ₂ . In the determination of Expression (22), only the activity of the block to which the pixel of interest belongs is determined, and this condition determines the activity of the adjacent block.

【０１１８】図２０の３０が着目画素ならば隣接ブロッ
クは３１である。 （イ）着目画素の局所活性度がある閾値δ₃ より高い場
合。これは、直交変換（ＤＣＴ変換）の高い周波数成分
で生成された波形が、ブロック境界において寸断され
て、隣のブロックとの間で段差が生じている場合に相当
する。If 30 in FIG. 20 is the pixel of interest, the adjacent block is 31. (A) When the local activity of the pixel of interest is higher than a certain threshold δ ₃ . This corresponds to the case where the waveform generated by the high frequency component of the orthogonal transform (DCT transform) is cut off at the block boundary and a step is generated between the adjacent blocks.

【０１１９】閾値λ_max 、δ₁ ，δ₂ ，δ₃ の一例を示
す。An example of the thresholds λ _max , δ ₁ , δ ₂ , and δ ₃ will be shown.

【０１２０】[0120]

【数２４】 [Equation 24]

【０１２１】[0121]

【数２５】 [Equation 25]

【０１２２】[0122]

【数２６】 [Equation 26]

【０１２３】[0123]

【数２７】 [Equation 27]

【０１２４】[0124]

【数２８】 [Equation 28]

【０１２５】ここで、σ_pic はブロック活性度を画像全
体で平均したものである。Ｍは水平方向のブロック数、
Ｎは垂直方向のブロック数である。Here, σ _pic is the block activity averaged over the entire image. M is the number of blocks in the horizontal direction,
N is the number of blocks in the vertical direction.

【０１２６】画像が８×８でブロック分割されていると
き、座標（ｘ，ｙ）のｘが８の倍数、またはｘの８の剰
余が７ならば垂直方向に連続したブロック境界が存在す
る。When the image is divided into 8 × 8 blocks, if x of coordinate (x, y) is a multiple of 8, or if the remainder of 8 of x is 7, there are continuous block boundaries in the vertical direction.

【０１２７】同様にｙが８の倍数、またはｙの８の剰余
が７ならば水平方向に連続したブロック境界が存在す
る。条件 （ウ）着目画素がブロック境界に属し、局所活性度がδ
₃ より高い場合、ブロック境界にブロック雑音が発生し
ていると判定されるので、式（１９），（２０）を以下
の式に再定義する（請求項１０，２０に該当）。Similarly, if y is a multiple of 8 or the remainder of 8 of y is 7, there is a horizontal block boundary. Condition (c) The pixel of interest belongs to the block boundary, and the local activity is δ
_When it is higher than _3, it is determined that block noise is generated at the block boundary, and therefore the formulas (19) and (20) are redefined as the following formulas (corresponding to claims 10 and 20).

【０１２８】[0128]

【数２９】 [Equation 29]

【０１２９】[0129]

【数３０】 [Equation 30]

【０１３０】水平方向に連続するブロック境界が存在す
る座標で、（ウ）の条件ならば水平方向のブロック雑音
が存在するので、着目画素と水平方向に隣接する画素か
らの平滑特性を弱くする。At the coordinates where there are continuous block boundaries in the horizontal direction, and in the condition of (c), since block noise in the horizontal direction exists, the smoothing characteristic from the pixel adjacent to the pixel of interest in the horizontal direction is weakened.

【０１３１】[0131]

【数３１】 [Equation 31]

【０１３２】同様に、垂直方向のブロック雑音ならば、Similarly, if block noise in the vertical direction,

【０１３３】[0133]

【数３２】 [Equation 32]

【０１３４】この構成で、ブロック雑音に平行する着目
画素の両隣の画素の重み係数は小さく評価されるので、
ブロック雑音の方向に対して垂直方向のフィルタ特性が
強く作用することになり、ブロック境界の方向に垂直な
エッジを強く保存しながらブロック雑音を消去すること
ができる。これにより、画像信号の重要要素であるエッ
ジをより多く残しながら、フィルタリングを実行するこ
とが可能となる。With this configuration, since the weighting factors of the pixels on both sides of the pixel of interest parallel to the block noise are evaluated small,
The filter characteristic in the vertical direction strongly acts on the block noise direction, and the block noise can be erased while strongly preserving the edge vertical to the block boundary direction. This makes it possible to perform filtering while leaving more edges, which are important elements of the image signal.

【０１３５】以上の，図１のフィルタ２３または２６の
動作を、図１２の装置の実際の計算手順である図１３な
いし図１８のフローチャートに従って説明する。The above-described operation of the filter 23 or 26 of FIG. 1 will be described with reference to the flowcharts of FIGS. 13 to 18, which are the actual calculation procedure of the apparatus of FIG.

【０１３６】ステップＳ１：画像信号の全画素に対して
式（１２）に基づいて復号画像の全画素個々に局所平均
値＜ｄ（ｘ，ｙ）＞を算出する。Step S1: For all pixels of the image signal, a local average value <d (x, y)> is calculated for all pixels of the decoded image based on the equation (12).

【０１３７】ステップＳ２：同様に式（１３）に基づい
て局所活性度σ_d ² （ｘ，ｙ）を算出する。Step S2: Similarly, the local activity σ _d ² (x, y) is calculated based on the equation (13).

【０１３８】ステップＳ３：各８×８ドットの画像ブロ
ックごとに式（１４）に基づいてブロック活性度σ_b ²
［bn］を算出するとともに、量子化パラメータＱＰ［b
n］の読み込みを行う。Step S3: For each image block of 8 × 8 dots, the block activity σ _b ^{2 is} calculated based on the equation (14).
[Bn] is calculated and the quantization parameter QP [b
n] is read.

【０１３９】ステップＳ４，Ｓ５，Ｓ２５：画像ブロッ
クすべてについてループを回す。各ループにおいて、個
々のブロックに対して以下の計算を実施する。Steps S4, S5, S25: The loop is rotated for all the image blocks. In each loop, perform the following calculations for individual blocks.

【０１４０】ステップＳ６：混合割合λを式（１６）に
基づいて算出する。このとき、δ₁はある一定の値であ
る。Step S6: The mixing ratio λ is calculated based on the equation (16). At this time, δ ₁ is a constant value.

【０１４１】ステップＳ７：非負の値ｍを式（２０）に
基づいて定める。Step S7: A non-negative value m is determined based on the equation (20).

【０１４２】ステップＳ８，Ｓ９：混合割合λが制限範
囲を超える場合は、λをλ_max に制限する（式（１
７））。Steps S8 and S9: When the mixing ratio λ exceeds the limit range, λ is limited to λ _max (equation (1
7)).

【０１４３】ステップＳ１０，Ｓ１１：ステップＳ３で
計算した画像ブロックのブロック活性度σ_b ² ［bn］が
ある閾値δ₂ 以下の場合、式（２２）のとおり、λ＝λ
_max、ｍ＝ＱＰ［bn］に置き換える。Steps S10 and S11: When the block activity σ _b ² [bn] of the image block calculated in step S3 is less than or equal to a certain threshold δ ₂ , λ = λ as shown in equation (22).
_{Replace max} , m = QP [bn].

【０１４４】ステップＳ１２，Ｓ１３，Ｓ１４，Ｓ２
１，Ｓ２２，Ｓ２３，Ｓ２４：画像ブロック内のすべて
の画素についてループを回す。変数ｋ，ｌはそれぞれ
ｘ，ｙ方向の増分で、画像ブロックの大きさが８×８で
あるので、０から７の範囲で増加する。ｘ_b ，ｙ_b は着
目画像ブロックの左上隅座標である。Steps S12, S13, S14, S2
1, S22, S23, S24: The loop is rotated for all the pixels in the image block. The variables k and l are increments in the x and y directions, respectively, and increase in the range of 0 to 7 because the size of the image block is 8 × 8. x _b, y _b is the upper-left corner coordinates of the target image block.

【０１４５】ステップＳ１６：変数ｋ，ｌが０あるいは
７であるとき、着目画素は図２０の丸点のようにブロッ
ク境界に存在する。この判断を行う。Step S16: When the variables k and l are 0 or 7, the pixel of interest exists at the block boundary like the round dots in FIG. This judgment is made.

【０１４６】ステップＳ２６，Ｓ２７，Ｓ２８：変数ｌ
＝０のとき、図２０の着目ブロックＢ₁₁の上辺であるの
で、着目ブロックの上に接するブロックＢ₀₁がσ
_b ² ［bn−Ｍ］≦δ₂ であれば、λ＝λ_max 、ｍ＝ＱＰ
［bn］に置き換える（式（２３）、（ア））。Steps S26, S27, S28: Variable l
= 0, it is the upper side of the block of interest B ₁₁ in FIG. 20, and therefore the block B ₀₁ that touches the block of _interest is σ
_{If b} ² [bn−M] ≦ δ ₂ , then λ = λ _max , m = QP
Replace with [bn] (equations (23), (a)).

【０１４７】ステップＳ２９，Ｓ３０，Ｓ３１：変数ｋ
＝７のとき、着目ブロックＢ₁₁の右辺であるので、着目
ブロックの右に接するブロックＢ₁₂がσ_b ² ［ bn ＋
１］≦δ₂ であれば、λ＝λ_max 、ｍ＝ＱＰ［bn］に置
き換える。Steps S29, S30, S31: Variable k
= 7 when, since the right side of the target block B _11, the block B ₁₂ is sigma _b ² in contact with the right of the target block [bn +
1] ≦ δ ₂ , replace λ = λ _max and m = QP [bn].

【０１４８】ステップＳ３２，Ｓ３３，Ｓ３４：変数ｌ
＝７のとき、着目ブロックＢ₁₁の下辺であるので、着目
ブロックの下に接するブロックＢ₂₁がσ_b ² ［ bn ＋
Ｍ］≦δ₂ であれば、λ＝λ_max 、ｍ＝ＱＰ［bn］に置
き換える。Steps S32, S33, S34: Variable l
= 7, since it is the lower side of the block of interest B ₁₁ , the block B ₂₁ contacting under the block of interest is σ _b ² [bn +
If M] ≦ δ ₂ , replace λ = λ _max and m = QP [bn].

【０１４９】ステップＳ３５，Ｓ３６，Ｓ３７：変数ｋ
＝０のとき、着目ブロックＢ₁₁の左辺であるので、着目
ブロックの左に接するブロックＢ₁₀がσ_b ² ［ bn −
１］≦δ₂ であれば、λ＝λ_max 、ｍ＝ＱＰ［bn］に置
き換える。Steps S35, S36, S37: Variable k
= 0, the block B _{11 is on} the left side of the block of interest B, so that the block B ₁₀ in contact with the block of interest on the left is σ _b ² [bn −
1] ≦ δ ₂ , replace λ = λ _max and m = QP [bn].

【０１５０】ステップＳ３８，Ｓ３９：着目画素の局所
活性度σ_d ² （ｘ，ｙ）が閾値δ₃以上のとき、λ＝λ
_max 、ｍ＝ＱＰ［bn］に置き換える（式（２３）、
（イ））。Steps S38 and S39: When the local activity σ _d ² (x, y) of the pixel of interest is the threshold δ ₃ or more, λ = λ
_{Replace max} , m = QP [bn] (Equation (23),
(I)).

【０１５１】ステップＳ１７：変数ｉ，ｊは±１で着目
画素と周辺画素で差分を算出し、その差分の絶対値に非
負の値ｍを加算する（式（１９））。この式（１９）の
逆数を着目画素の重みｗ（ｉ，ｊ）とする（式（２
１））。Step S17: Variables i and j are ± 1 and the difference between the pixel of interest and the surrounding pixels is calculated, and the non-negative value m is added to the absolute value of the difference (equation (19)). The reciprocal of this equation (19) is used as the weight w (i, j) of the pixel of interest (equation (2
1)).

【０１５２】ステップＳ１８，Ｓ１９：ステップＳ１７
で算出された重みと対応画素の画素値の積の総和Ａを算
出する。また、重みの総和Ｂを算出する。次に、Ａ／Ｂ
を算出し、スムージング値ｓとする。Steps S18 and S19: Step S17
The sum A of the products of the weight calculated in step 1 and the pixel value of the corresponding pixel is calculated. Also, the total sum B of weights is calculated. Next, A / B
Is calculated and set as a smoothing value s.

【０１５３】ステップＳ２０：式（１５）のように、着
目画素の値とスムージング値を混合割合λに従って混合
し、着目画素のフィルタリング後の画素値とする。Step S20: As in equation (15), the value of the pixel of interest and the smoothing value are mixed according to the mixing ratio λ to obtain the pixel value of the pixel of interest after filtering.

【０１５４】なお、図１９は図１３ないし図１８の処理
の概略を示したフローチャートであるので、これらの対
応関係のみを示す。Since FIG. 19 is a flow chart showing the outline of the processing of FIGS. 13 to 18, only the correspondence between these is shown.

【０１５５】[0155]

【表１】 [Table 1]

【０１５６】（実施の形態２）請求項２１，２４，２
７，３０に対応する実施の形態２を説明する。この実施
の形態２は図１の実線１７の代わりに破線２８で示した
構成とする。このときポストフィルタ２６として用いる
エッジ保存性のあるフィルタは実施の形態１で記載した
ものと同じフィルタを用いる。この構成をとることで、
画像を符号化・復号化するときに生じたランダムノイズ
が抑制され、かつエッジを保存しながら画像信号が平滑
化されるので、次フレームの入力画像信号との予測誤差
を小さくでき、符号化・復号化の際の伝送ビット量を削
減できる。(Second Embodiment) Claims 21, 24 and 2
The second embodiment corresponding to Nos. 7 and 30 will be described. The second embodiment has a configuration shown by a broken line 28 instead of the solid line 17 in FIG. At this time, the same filter as that described in the first embodiment is used as the filter having the edge preserving property used as the post filter 26. By taking this configuration,
Random noise generated when encoding / decoding an image is suppressed, and the image signal is smoothed while preserving edges, so the prediction error with the input image signal of the next frame can be reduced, and The amount of transmission bits at the time of decoding can be reduced.

【０１５７】請求項２２，２５，２８，３１は図１の減
算器１１で算出された残差がある閾値より小さい場合の
処理を行う装置，方法であり、図１の符号化部１２で残
差を符号化しない（Ｈ．２６１規格の無為ブロックに相
当）場合に相当する。したがって、この該当画像ブロッ
クが図１のフレームメモリ１８から読み出された画像そ
のままのときである。この場合、フレームメモリに記憶
された画像は、すでに１つ前のフレームでフィルタリン
グされているので、フレームメモリそのものの画像デー
タに対しては、再度フィルタリングする必要がない。こ
のため、残差が符号化された有意ブロックに対してのみ
エッジ保存性のあるフィルタリングを行うため、再度同
一画像に対してフィルタリングを行わないことにより、
画像のぼけを防止できる。Claims 22, 25, 28, and 31 are an apparatus and method for performing processing when the residual calculated by the subtractor 11 in FIG. 1 is smaller than a certain threshold, and the residual in the encoder 12 in FIG. This corresponds to the case where the difference is not coded (corresponding to a random block of the H.261 standard). Therefore, it is the time when the corresponding image block is the image as it is read from the frame memory 18 of FIG. In this case, since the image stored in the frame memory has already been filtered in the previous frame, it is not necessary to filter the image data in the frame memory itself again. Therefore, since filtering with edge preservation is performed only on the significant block in which the residuals are coded, by not performing filtering on the same image again,
Image blur can be prevented.

【０１５８】請求項２３，２９は本発明の平滑化方法を
符号化部と復号化部の内部のループ内フィルタ（図１の
２３）に用いた場合である。以下に一つの実施の形態を
示す。図１の２０は動き補償された後の画像信号なの
で、記憶したブロックごとの量子化パラメータやブロッ
ク活性度が、ＤＣＴブロック分割に一致しない。そこ
で、式（１６）のλを固定値にし、動き補償された画像
ブロックに対して式（１２）から（１４）を算出する。
このとき、動き補償はフィルタリングする前のフレーム
メモリの記憶画素値と入力信号で算出する。Claims 23 and 29 are cases in which the smoothing method of the present invention is used for the in-loop filter (23 in FIG. 1) inside the encoding section and the decoding section. One embodiment will be shown below. Since 20 in FIG. 1 is an image signal after motion compensation, the stored quantization parameter and block activity for each block do not match the DCT block division. Therefore, λ in Expression (16) is set to a fixed value, and Expressions (12) to (14) are calculated for the motion-compensated image block.
At this time, the motion compensation is calculated by the pixel value stored in the frame memory before filtering and the input signal.

【０１５９】[0159]

【数３３】 [Expression 33]

【０１６０】このブロック活性度がある閾値δ₂ より小
さいとき、When this block activity is smaller than a certain threshold δ ₂ ,

【０１６１】[0161]

【数３４】 [Equation 34]

【０１６２】とし、入力画像とフレームメモリの平均自
乗誤差〔式（３５）〕が、入力画像とフレームメモリの
フィルタ後の平均自乗誤差〔式（３６）〕より大きい場
合、復号ループのループ内フィルタを式（１５），（１
８），（２１）で構成する。If the mean squared error between the input image and the frame memory [equation (35)] is larger than the mean squared error after the filtering of the input image and the frame memory [equation (36)], the filter in the loop of the decoding loop Equation (15), (1
8) and (21).

【０１６３】[0163]

【数３５】 [Equation 35]

【０１６４】[0164]

【数３６】 [Equation 36]

【０１６５】ここで、ｄ（ｘ，ｙ）はフレームメモリに
記憶され動き補償された画像値、ｉ（ｘ，ｙ）は入力画
像信号、ｍ（ｘ，ｙ）は動き補償された画像ブロックに
対して、本フィルタを適用した後の画像値である。Here, d (x, y) is a motion-compensated image value stored in the frame memory, i (x, y) is an input image signal, and m (x, y) is a motion-compensated image block. On the other hand, it is the image value after applying this filter.

【０１６６】このように、符号化ループおよび復号化ル
ープ内部のループ内フィルタをエッジ保存性のあるフィ
ルタで構成することにより、次のフレームの入力画像信
号との予測誤差を小さくでき、伝送ビット量を削減でき
る。As described above, by constructing the in-loop filter inside the coding loop and the decoding loop by the filter having the edge preserving property, the prediction error with the input image signal of the next frame can be reduced and the transmission bit amount can be reduced. Can be reduced.

【０１６７】式（３３）、（３４）の一例を示す。An example of equations (33) and (34) is shown.

【０１６８】[0168]

【数３７】 [Equation 37]

【０１６９】このように、本実施の形態２によれば、平
滑化フィルタによりブロック境界に生じる歪を大幅に軽
減でき、視覚上大きな画質改善効果を得ることができ
る。また、復号化パラメータの粗さと画像信号の活性度
に応じて平滑フィルタの特性を変えて平滑処理するの
で、復号画像全体の解像度の低下を少なくでき、視覚的
に見やすい高品質な復号画像を得ることができる。さら
に、復号ループ内部にこの平滑フィルタを用いること
で、予測誤差信号が小さくなり伝送ビット量を削減する
ことができる。As described above, according to the second embodiment, the distortion generated at the block boundary can be significantly reduced by the smoothing filter, and a visually large image quality improving effect can be obtained. Also, since the smoothing process is performed by changing the characteristics of the smoothing filter according to the coarseness of the decoding parameters and the activity of the image signal, it is possible to reduce the deterioration of the resolution of the entire decoded image and obtain a high quality decoded image that is easy to see visually. be able to. Furthermore, by using this smoothing filter inside the decoding loop, the prediction error signal becomes smaller and the transmission bit amount can be reduced.

【０１７０】[0170]

【発明の効果】以上のように、本発明の請求項１の画像
信号平滑化装置によれば、サンプリングされデジタル化
された画像信号に対し、着目画素とその周辺画素の重み
付け平均でフィルタリング処理を行う平滑化フィルタを
適用して平滑化処理を行う画像信号平滑化装置におい
て、着目画素値とその周辺画素値の差分を検出する手段
と、その差分の絶対値をとる手段と、フィルタリングす
べき画像をブロック分割する手段と、前記着目画素とそ
の周辺画素の差分値に加える非負の値を、画像信号の各
ブロックを符号化または復号化するときに用いられた量
子化特性に代表される各ブロックごとの量子化パラメー
タの粗さに応じて適応的に変化させる手段と、前記差分
検出絶対値に前記非負の値（ｍ）を加算する手段と、そ
の加算後の値の逆数（重み係数）を取る手段と、その逆
数を取った後の値に周辺画素値を乗算する手段と、その
乗算した後の値の総和（Ａ）を取る手段と、前記逆数
（重み係数）のみの総和（Ｂ）を取る手段と、前記重み
係数の総和（Ｂ）で前記総和（Ａ）を除算して正規化
（Ａ／Ｂ）する手段とを備えるようにしており、差分値
の逆数で平滑化するので、着目画素が孤立点ならば周辺
画素すべてと差分値が大きく、周辺すべてが同じような
重みとなる。着目画素の隣にエッジが存在する場合は、
着目画素とエッジの差分は大きくなるが、エッジ以外の
周辺画素との差分は小さい。したがって、エッジ側の重
みが小さい重み平均をとる構成になる。連続したエッジ
はこの構成で保存でき、孤立点は平滑することができ
る。また、非負の値を加えることで、雑音の影響度合い
を演算の中で制御できるとともに、逆数をとったときの
演算結果が無限大になることを避けることができる。ま
た、重み係数算出において逆数をとる前の加える非負の
値を量子化パラメータの粗さで制御することにより、量
子化誤差が拡大することに伴い拡大する雑音を消去する
ことができる。 As described above, according to the image signal smoothing apparatus of the first aspect of the present invention, the filtering processing is performed on the sampled and digitized image signal by the weighted average of the pixel of interest and its peripheral pixels. In an image signal smoothing apparatus that performs a smoothing process by applying a smoothing filter, a means for detecting a difference between a pixel value of interest and a peripheral pixel value thereof, a means for obtaining an absolute value of the difference, and a filtering operation.
Means for dividing the image to be divided into blocks and the target pixel
The non-negative value added to the difference value of the peripheral pixels of
Amount used when encoding or decoding the block
Quantization parameters for each block represented by the sub-characteristics
And means for adaptively changed according to the roughness of the motor, and means for adding the non-negative values (m) said difference detecting absolute value, and means for taking the reciprocal (weight coefficient) of the value after the addition, Means for multiplying the value after taking the reciprocal by the peripheral pixel value, means for taking the sum (A) of the values after the multiplication, and means for taking the sum (B) of only the reciprocal (weighting coefficient). , Means for dividing the total sum (A) by the total sum (B) of the weighting factors and normalizing (A / B), and smoothing by the reciprocal of the difference value, the target pixel is isolated. If it is a point, the difference value is large with respect to all the peripheral pixels, and the same weight is applied to all the peripheral pixels. If there is an edge next to the pixel of interest,
The difference between the pixel of interest and the edge is large, but the difference with the peripheral pixels other than the edge is small. Therefore, the weighted average on the edge side is small. Consecutive edges can be preserved with this configuration and isolated points can be smoothed. Further, by adding a non-negative value, the degree of influence of noise can be controlled in the calculation, and the calculation result when the reciprocal is taken can be prevented from becoming infinite. Well
In addition, the non-negative
By controlling the value with the coarseness of the quantization parameter,
Eliminates noise that expands as the sub-error increases
be able to.

【０１７１】また、本発明の請求項２の画像信号平滑化
装置によれば、サンプリングされデジタル化された画像
信号に対し、着目画素とその周辺画素の重み付け平均で
フィルタリング処理を行う平滑化フィルタを適用して平
滑化処理を行う画像信号平滑化装置において、着目画素
値とその周辺画素値の差分を検出する手段と、その差分
の絶対値をとる手段と、フィルタリングすべき画像をブ
ロック分割する手段と、ブロックごとに画素の変化の度
合いを表すブロック活性度を算出する手段と、そのブロ
ック活性度に応じて前記着目画素とその周辺画素の差分
値に加える非負の値を適応的に変化させる手段と、前記
差分検出絶対値に前記非負の値（ｍ）を加算する手段
と、その加算後の値の逆数（重み係数）を取る手段と、
その逆数を取った後の値に周辺画素値を乗算する手段
と、その乗算した後の値の総和（Ａ）を取る手段と、前
記逆数（重み係数）のみの総和（Ｂ）を取る手段と、前
記重み係数の総和（Ｂ）で前記総和（Ａ）を除算して正
規化（Ａ／Ｂ）する手段とを備えるようにしており、差
分値の逆数で平滑化するので、着目画素が孤立点ならば
周辺画素すべてと差分値が大きく、周辺すべてが同じよ
うな重みとなる。着目画素の隣にエッジが存在する場合
は、着目画素とエッジの差分は大きくなるが、エッジ以
外の周辺画素との差分は小さい。したがって、エッジ側
の重みが小さい重み平均をとる構成になる。連続したエ
ッジはこの構成で保存でき、孤立点は平滑することがで
きる。また、非負の値を加えることで、雑音の影響度合
いを演算の中で制御できるとともに、逆数をとったとき
の演算結果が無限大になることを避けることができる。
また、画像がブロック活性度の低い平坦な場合、雑音が
目につきやすいが、雑音と認識する幅を拡大し、平坦な
平滑化特性を強くし、雑音が認識されないようにするこ
とができる。 According to the image signal smoothing apparatus of claim 2 of the present invention, the sampled and digitized image is obtained.
For the signal, the weighted average of the pixel of interest and its surrounding pixels
Applying a smoothing filter that performs filtering processing
In the image signal smoothing device that performs smoothing processing, the pixel of interest
Method for detecting the difference between a pixel value and its surrounding pixel value, and the difference
Means to take the absolute value of
Lock division method and degree of pixel change for each block
A method of calculating the block activity expressing the
Difference between the pixel of interest and its surrounding pixels
Means for adaptively changing a non-negative value added to the value;
Means for adding the non-negative value (m) to the difference detection absolute value
And means for taking the reciprocal (weighting coefficient) of the value after the addition,
Means for multiplying the value after taking the reciprocal thereof by the peripheral pixel value
And means for taking the sum (A) of the values after multiplication, and
Means for taking the sum (B) of only the reciprocal (weighting factor), and
The total sum (A) is divided by the total sum (B) of the weighting factors to obtain a positive value.
It is equipped with means for normalizing (A / B),
Since it is smoothed by the reciprocal of the fractional value, if the pixel of interest is an isolated point
The difference value is large with all the surrounding pixels, and all the surroundings are the same.
It becomes a weight. When an edge exists next to the pixel of interest
Has a large difference between the pixel of interest and the edge, but
The difference from the outer peripheral pixels is small. Therefore, the edge side
The weighted average of the weights is small. Consecutive d
Edge can be stored in this configuration and isolated points can be smoothed.
Wear. Also, by adding a non-negative value, the degree of influence of noise
I can be controlled in the calculation, and when the reciprocal is taken
It is possible to avoid that the result of the calculation of becomes infinite.
Also, if the image is flat with low block activity, noise will
It is easy to see, but the width of recognition as noise is expanded and
Enhance the smoothing characteristics so that noise is not recognized.
You can

【０１７２】また、本発明の請求項３の画像信号平滑化
装置によれば、請求項１の画像信号平滑化装置におい
て、サンプリングされデジタル化された画像信号に対
し、着目画素とその周辺画素の重み付け平均でフィルタ
リング処理を行う平滑化フィルタを適用して平滑化処理
を行う画像信号平滑化装置において、着目画素値とその
周辺画素値の差分を検出する手段と、その差分の絶対値
をとる手段と、フィルタリングすべき画像をブロック分
割する手段と、前記着目画素がブロック境界の位置にあ
るか否かを検出する手段と、前記着目画素がブロック境
界に位置する際にその点に接する隣接ブロックのブロッ
ク活性度（隣接ブロック活性度）を検出する手段と、前
記隣接ブロック活性度に応じて前記着目画素とその周辺
画素の差分値に加える非負の値を適応的に変化させる手
段と、前記差分検出絶対値に前記非負の値（ｍ）を加算
する手段と、その加算後の値の逆数（重み係数）を取る
手段と、その逆数を取った後の値に周辺画素値を乗算す
る手段と、その乗算した後の値の総和（Ａ）を取る手段
と、前記逆数（重み係数）のみの総和（Ｂ）を取る手段
と、前記重み係数の総和（Ｂ）で前記総和（Ａ）を除算
して正規化（Ａ／Ｂ）する手段とを備えるようにしてお
り、差分値の逆数で平滑化するので、着目画素が孤立点
ならば周辺画素すべてと差分値が大きく、周辺すべてが
同じような重みとなる。着目画素の隣にエッジが存在す
る場合は、着目画素とエッジの差分は大きくなるが、エ
ッジ以外の周辺画素との差分は小さい。したがって、エ
ッジ側の重みが小さい重み平均をとる構成になる。連続
したエッジはこの構成で保存でき、孤立点は平滑するこ
とができる。また、非負の値を加えることで、雑音の影
響度合いを演算の中で制御できるとともに、逆数をとっ
たときの演算結果が無限大になることを避けることがで
きる。また、画像が平坦なブロックに隣接する場合、そ
の境界において連続した輝度（色相）の段差を生じる可
能性が高いので、隣接ブロックがブロック活性度の低い
平坦なことを検出して、平坦なブロックに接する点の平
滑化特性の平坦度を強め、この境界段差をぼかすことが
できる。 According to the image signal smoothing apparatus of claim 3 of the present invention, in the image signal smoothing apparatus of claim 1, the image signal smoothed by the sampled and digitized image signal is processed.
Then, filter by the weighted average of the pixel of interest and its surrounding pixels.
Applying a smoothing filter that performs ring processing to smoothing
In the image signal smoothing device that performs the
Means for detecting the difference between peripheral pixel values and the absolute value of the difference
And a block of the image to be filtered.
And the pixel of interest at the position of the block boundary.
Means for detecting whether or not there is a block boundary
Blocks of adjacent blocks that touch the point when located in the field
And a means for detecting the activity (adjacent block activity)
The pixel of interest and its surroundings according to the activity of adjacent blocks
A method to adaptively change the non-negative value added to the pixel difference value
And the non-negative value (m) is added to the difference detection absolute value
And the reciprocal of the added value (weighting coefficient)
Multiply the value after taking the means and its reciprocal by the peripheral pixel value
Means for obtaining the sum (A) of the values after multiplication
And means for obtaining the sum (B) of only the reciprocal (weighting coefficient)
And dividing the summation (A) by the summation (B) of the weighting factors
And means for normalizing (A / B)
Since it is smoothed by the reciprocal of the difference value, the pixel of interest is an isolated point.
If so, the difference value with all the surrounding pixels is large, and all the surrounding pixels
It has the same weight. There is an edge next to the pixel of interest
In this case, the difference between the pixel of interest and the edge becomes large, but
The difference with the peripheral pixels other than the pixel is small. Therefore,
The weight on the edge side is small, and the weighted average is taken. Continuous
Edges can be stored with this configuration and isolated points can be smoothed.
You can Also, by adding a non-negative value, the noise shadow
The degree of resonance can be controlled by calculation, and the reciprocal
It is possible to avoid the calculation result when the
Wear. Also, if the image is adjacent to a flat block,
Continuous brightness (hue) steps may occur at the boundary of
High activity, adjacent blocks have low block activity
The flatness is detected, and the flatness of the points touching the flat block
It is possible to increase the flatness of the sliding property and blur this boundary step.
it can.

【０１７３】また、本発明の請求項４の画像信号平滑化
装置によれば、請求項１記載の画像信号平滑化装置にお
いて、画像信号の各ブロック毎に前記平滑化処理された
信号値と平滑化処理する前の信号値を混合する手段と、
画像信号の各ブロックを符号化・復号化するときに用い
られた量子化特性に代表される各ブロックごとの量子化
パラメータの粗さに応じて前記混合の割合を適応的に変
化させる手段とを備えるようにしたので、着目画素のフ
ィルタリングの最終的な値を前記の平滑化処理された信
号値と平滑化処理する前の信号値を混合する前記構成に
より、画像ブロックごとに、画素ごとの性質によりフィ
ルタリング特性を変化させることができる。そして、量
子化パラメータが１の場合、量子化誤差は生じないの
で、最終的なフィルタリング後の値は平滑化処理する前
の信号そのままでよく、混合割合を量子化パラメータで
制御する構成を有することにより、平滑化された信号値
をフィルタリングに使用しないようにすることができ
る。 [0173] Further, according to the image signal smoothing device according to claim 4 of the present invention, in the image signal smoothing device according to claim 1, which is the smoothing process for each block of an image signal
Means for mixing the signal value and the signal value before the smoothing process,
Used when encoding / decoding each block of image signal
For each block represented by the specified quantization characteristics
The mixing ratio is adaptively changed according to the roughness of the parameters.
Means for converting the pixel of interest to the pixel of interest.
The final value of the filtering is the smoothed signal
In the above configuration for mixing the signal value with the signal value before the smoothing process
Therefore, for each image block,
The filtering characteristics can be changed. And quantity
If the child parameter is 1, no quantization error will occur
And the final filtered value is before smoothing
The signal of can be used as it is, and the mixing ratio can be
Smoothed signal value by having a controllable structure
Can be not used for filtering
It

【０１７４】また、本発明の請求項５の画像信号平滑化
装置によれば、請求項２記載の画像信号平滑化装置にお
いて、画像信号の各ブロック毎に前記平滑化処理された
信号値と平滑化処理する前の信号値を混合する手段と、
画像信号の各ブロックの活性度に応じて前記混合の割合
を適応的に変化させる手段とを備えるようにしたので、
ブロック活性度の低い平坦なブロックの場合、平滑化さ
れた平坦な信号値をより多く最終的なフィルタリング値
に含ませることで、平坦なブロックで目につきやすい雑
音を除去できる。 According to the image signal smoothing apparatus of claim 5 of the present invention, in the image signal smoothing apparatus of claim 2 , the smoothing processing is performed for each block of the image signal.
Means for mixing the signal value and the signal value before the smoothing process,
Ratio of the mixture according to the activity of each block of the image signal
And a means for adaptively changing
For flat blocks with low block activity, smoothing
More filtered flat signal values final filtered value
By including it in the
The sound can be removed.

【０１７５】また、本発明の請求項６の画像信号平滑化
装置によれば、請求項３記載の画像信号平滑化装置にお
いて、画像信号の各ブロック毎に前記平滑化処理された
信号値と平滑化処理する前の信号値を混合する手段と、
着目画素がブロック境界の位置にあるか否かを検出する
手段と、着目画素がブロック境界に接する位置にあると
きその画素に接する隣接ブロックの隣接ブロック活性度
に応じて前記混合の割合を適応的に変化させる手段とを
備えるようにしており、画像がブロック活性度の低い平
坦なブロックに隣接する場合、その境界において連続し
た輝度（色相）の段差を生じる可能性が高いので、隣接
ブロックが平坦なことを検出して、平坦なブロックに接
する点のフィルタリング特性の平坦度を強め、この境界
をぼかすことができる。 Further, according to the image signal smoothing apparatus of claim 6 of the present invention, in the image signal smoothing apparatus of claim 3 , the smoothing processing is performed for each block of the image signal.
Means for mixing the signal value and the signal value before the smoothing process,
Detects whether the pixel of interest is at the block boundary position
If the means and the pixel of interest are in contact with the block boundary,
Neighbor block activity of the adjacent block in contact with the pixel
And means for adaptively changing the mixing ratio according to
To ensure that the image is flat with low block activity.
When adjacent to a flat block, it is continuous at the boundary
Since there is a high possibility that a difference in brightness (hue) will occur,
Detects that the block is flat and touches the flat block.
The flatness of the filtering characteristics of the points
Can be blurred.

【０１７６】また、本発明の請求項７の画像信号平滑化
方法によれば、サンプリングされデジタル化された画像
信号に対し、着目画素とその周辺画素の重み付け平均で
フィルタリング処理を行う平滑化フィルタを適用して平
滑化処理を行う画像信号平滑化方法において、着目画素
値とその周辺画素値の差分を検出するステップと、その
差分の絶対値をとるステップと、フィルタリングすべき
画像をブロック分割するステップと、前記着目画素とそ
の周辺画素の差分値に加える非負の値を、画像信号の各
ブロックを符号化・復号化するときに用いられた量子化
特性に代表される各ブロック毎の量子化パラメータの粗
さに応じて適応的に変化させるステップと、前記差分検
出絶対値に前記非負の値（ｍ）を加算するステップと、
その加算後の値の逆数（重み係数）を取るステップと、
その逆数を取った後の値に周辺画素値を乗算するステッ
プと、その乗算した後の値の総和（Ａ）を取るステップ
と、前記逆数（重み係数）のみの総和（Ｂ）を取るステ
ップと、前記重み係数の総和（Ｂ）で前記総和（Ａ）を
除算して正規化（Ａ／Ｂ）するステップとを含むように
しており、差分値の逆数で平滑化するので、着目画素が
孤立点ならば周辺画素すべてと差分値が大きく、周辺す
べてが同じような重みとなる。着目画素の隣にエッジが
存在する場合は、着目画素とエッジの差分は大きくなる
が、エッジ以外の周辺画素との差分は小さい。したがっ
て、エッジ側の重みが小さい重み平均をとる構成にな
る。連続したエッジはこの構成で保存でき、孤立点は平
滑することができる。非負の値を加えることで、雑音の
影響度合いを演算の中で制御できる。また、逆数をとっ
たときの演算結果が無限大になることを避けることがで
きる。また、重み係数算出において逆数をとる前の加え
る非負の値を量子化パラメータの粗さで制御することに
より、量子化誤差が拡大することに伴い拡大する雑音も
消去することができる。 According to the image signal smoothing method of claim 7 of the present invention, the sampled and digitized image is obtained.
For the signal, the weighted average of the pixel of interest and its surrounding pixels
Applying a smoothing filter that performs filtering processing
In the image signal smoothing method that performs smoothing processing, the pixel of interest
The step of detecting the difference between the value and its surrounding pixel value, and
Take the absolute value of the difference and filter it
The step of dividing the image into blocks, the pixel of interest and its
The non-negative value added to the difference value of the peripheral pixels of
Quantization used when encoding / decoding a block
The coarseness of the quantization parameter for each block represented by the characteristics
The step of adaptively changing the
Adding the non-negative value (m) to the output absolute value,
A step of taking the reciprocal (weighting coefficient) of the value after the addition,
The step after multiplying the value after taking the reciprocal by the peripheral pixel value
And the sum (A) of the multiplied values
And the sum (B) of only the reciprocal (weighting coefficient).
And the sum (B) of the weighting factors,
A step of dividing and normalizing (A / B)
Since it is smoothed by the reciprocal of the difference value,
If it is an isolated point, the difference value with all surrounding pixels is large,
All have similar weights. An edge next to the pixel of interest
If it exists, the difference between the pixel of interest and the edge becomes large.
However, the difference from the peripheral pixels other than the edge is small. According to
The weighted average on the edge side is small.
It Consecutive edges can be stored with this configuration and isolated points can be flattened.
You can slide. By adding a non-negative value,
The degree of influence can be controlled in the calculation. Also take the reciprocal
It is possible to avoid the calculation result when the
Wear. Also, the addition before taking the reciprocal in the calculation of the weighting factor
To control the non-negative value by the coarseness of the quantization parameter.
Therefore, the noise that expands as the quantization error expands
Can be erased.

【０１７７】また、本発明の請求項８の画像信号平滑化
方法によれば、サンプリングされデジタル化された画像
信号に対し、着目画素とその周辺画素の重み付け平均で
フィルタリング処理を行う平滑化フィルタを適用して平
滑化処理を行う画像信号平滑化方法において、着目画素
値とその周辺画素値の差分を検出するステップと、その
差分の絶対値をとるステップと、フィルタリングすべき
画像をブロック分割するステップと、ブロックごとに画
素の変化の度合いを表すブロック活性度を算出するステ
ップと、そのブロック活性度に応じて前記着目画素とそ
の周辺画素の差分値に加える非負の値を適応的に変化さ
せるステップと、前記差分検出絶対値に前記非負の値
（ｍ）を加算するステップと、その加算後の値の逆数
（重み係数）を取るステップと、その逆数を取った後の
値に周辺画素値を乗算するステップと、その乗算した後
の値の総和（Ａ）を取るステップと、前記逆数（重み係
数）のみの総和（Ｂ）を取るステップと、前記重み係数
の総和（Ｂ）で前記総和（Ａ）を除算して正規化（Ａ／
Ｂ）するステップとを含むようにしており、差分値の逆
数で平滑化するので、着目画素が孤立点ならば周辺画素
すべてと差分値が大きく、周辺すべてが同じような重み
となる。着目画素の隣にエッジが存在する場合は、着目
画素とエッジの差分は大きくなるが、エッジ以外の周辺
画素との差分は小さい。したがって、エッジ側の重みが
小さい重み平均をとる構成になる。連続したエッジはこ
の構成で保存でき、孤立点は平滑することができる。非
負の値を加えることで、雑音の影響度合いを演算の中で
制御できる。また、逆数をとったときの演算結果が無限
大になることを避けることができる。また、画像がブロ
ック活性度の低い平坦な場合、雑音が目につきやすい
が、雑音と認識する幅を拡大し、平坦な平滑化特性を強
くし、雑音が認識されないようにすることができる。 Also, the image signal smoothing according to claim 8 of the present invention.
According to the method , the weighted average of the pixel of interest and its surrounding pixels is applied to the sampled and digitized image signal.
Applying a smoothing filter that performs filtering processing
In the image signal smoothing method that performs smoothing processing, the pixel of interest
The step of detecting the difference between the value and its surrounding pixel value, and
Take the absolute value of the difference and filter it
The step of dividing the image into blocks and the image for each block.
A step for calculating the block activity, which indicates the degree of change of the element.
And the pixel of interest according to its block activity.
The non-negative value added to the difference value of the surrounding pixels of
And the non-negative value for the difference detection absolute value
The step of adding (m) and the reciprocal of the value after the addition
(Weighting factor) and after taking the reciprocal
The step of multiplying the value by the surrounding pixel value and after that multiplication
The sum (A) of the values of
A summation (B) of only the number) and the weighting factor
The total sum (A) is divided by the total sum (B) to normalize (A /
B) and the step of
Since it is smoothed by the number, if the pixel of interest is an isolated point, peripheral pixels
Weights that have a large difference value with all of them and have the same weight around all
Becomes If there is an edge next to the pixel of interest,
The difference between the pixel and the edge is large, but the periphery other than the edge
The difference from the pixel is small. Therefore, the weight on the edge side is
It is configured to take a small weighted average. Continuous edge
Can be saved with the configuration of and isolated points can be smoothed. Non
By adding a negative value, the degree of noise influence is calculated.
You can control. In addition, the calculation result when taking the reciprocal is infinite.
You can avoid getting big. Also, the image is
When the flatness is low and the activity is low, noise is easily noticeable.
However, the width of recognition as noise is expanded and the flat smoothing characteristic is enhanced.
Combs can be made so that no noise is recognized.

【０１７８】また、本発明の請求項９の画像信号平滑化
方法によれば、サンプリングされデジタル化された画像
信号に対し、着目画素とその周辺画素の重み付け平均で
フィルタリング処理を行う平滑化フィルタを適用して平
滑化処理を行う画像信号平滑化方法において、着目画素
値とその周辺画素値の差分を検出するステップと、その
差分の絶対値をとるステップと、フィルタリングすべき
画像をブロック分割するステップと、前記着目画素がブ
ロック境界の位置にあるか否かを検出するステップと、
前記着目画素がブロック境界に位置する際にその点に接
する隣接ブロックのブロック活性度（隣接ブロック活性
度）を検出するステップと、前記隣接ブロック活性度に
応じて前記着目画素とその周辺画素の差分値に加える非
負の値を適応的に変化させるステップと、前記差分検出
絶対値に前記非負の値（ｍ）を加算するステップと、そ
の加算後の値の逆数（重み係数）を取るステップと、そ
の逆数を取った後の値に周辺画素値を乗算するステップ
と、その乗算した後の値の総和（Ａ）を取るステップ
と、前記逆数（重み係数）のみの総和（Ｂ）を取るステ
ップと、前記重み係数の総和（Ｂ）で前記総和（Ａ）を
除算して正規化（Ａ／Ｂ）するステップとを含むように
しており、差分値の逆数で平滑化するので、着目画素が
孤立点ならば周辺画素すべてと差分値が大きく、周辺す
べてが同じような重みとなる。着目画素の隣にエッジが
存在する場合は、着目画素とエッジの差分は大きくなる
が、エッジ以外の周辺画素との差分は小さい。したがっ
て、エッジ側の重みが小さい重み平均をとる構成にな
る。連続したエッジはこの構成で保存でき、孤立点は平
滑することができる。非負の値を加えることで、雑音の
影響度合いを演算の中で制御できる。また、逆数をとっ
たときの演算結果が無限大になることを避けることがで
きる。また、画像が平坦なブロックに隣接する場合、そ
の境界において連続した輝度（色相）の段差を生じる可
能性が高いので、隣接ブロックがブロック活性度の低い
平坦なことを検出して、平坦なブロックに接する点の平
滑化特性の平坦度を強め、この境界段差をぼかすことが
できる。 According to the image signal smoothing method of claim 9 of the present invention, the sampled and digitized image is obtained.
For the signal, the weighted average of the pixel of interest and its surrounding pixels
Applying a smoothing filter that performs filtering processing
In the image signal smoothing method that performs smoothing processing, the pixel of interest
The step of detecting the difference between the value and its surrounding pixel value, and
Take the absolute value of the difference and filter it
The step of dividing the image into blocks and the pixel of interest
Detecting whether or not the position is at the lock boundary,
When the pixel of interest is located on the block boundary, it touches that point.
Block activity of adjacent blocks (adjacent block activity
Step) to the adjacent block activity
Accordingly, the difference value between the pixel of interest and its peripheral pixels
Adaptively changing a negative value, and the difference detection
Adding the non-negative value (m) to the absolute value;
The step of taking the reciprocal (weighting coefficient) of the value after addition of
Multiplying the value after taking the reciprocal of by the surrounding pixel value
And the step of taking the total sum (A) of the multiplied values
And the sum (B) of only the reciprocal (weighting coefficient).
And the sum (B) of the weighting factors,
A step of dividing and normalizing (A / B)
Since it is smoothed by the reciprocal of the difference value,
If it is an isolated point, the difference value with all surrounding pixels is large,
All have similar weights. An edge next to the pixel of interest
If it exists, the difference between the pixel of interest and the edge becomes large.
However, the difference from the peripheral pixels other than the edge is small. According to
The weighted average on the edge side is small.
It Consecutive edges can be stored with this configuration and isolated points can be flattened.
You can slide. By adding a non-negative value,
The degree of influence can be controlled in the calculation. Also take the reciprocal
It is possible to avoid the calculation result when the
Wear. Also, if the image is adjacent to a flat block,
Continuous brightness (hue) steps may occur at the boundary of
High activity, adjacent blocks have low block activity
The flatness is detected, and the flatness of the points touching the flat block
It is possible to increase the flatness of the sliding property and blur this boundary step.
it can.

【０１７９】また、本発明の請求項１０の画像信号平滑
化方法によれば、請求項７に記載の画像信号平滑化方法
において、画像信号の各ブロック毎に前記平滑化処理さ
れた信号値と平滑化処理する前の信号値を混合するステ
ップと、画像信号の各ブロックを符号化・復号化すると
きに用いられた量子化特性に代表される各ブロックごと
の量子化パラメータの粗さに応じて前記混合割合を適応
的に変化させるステップとを含むようにしており、着目
画素のフィルタリングの最終的な値を前記の平滑化処理
された信号値と平滑化処理する前の信号値を混合する前
記構成により、画像ブロックごとに、画素ごとの性質に
よりフィルタリング特性を変化させることができる。量
子化パラメータが１の場合、量子化誤差は生じないの
で、最終的なフィルタリング後の値は平滑化処理する前
の信号そのままでよい。混合割合を量子化パラメータで
制御する構成により、平滑化された信号値をフィルタリ
ングに使用しないことができる。 According to the image signal smoothing method of claim 10 of the present invention, the image signal smoothing method of claim 7
In the above, the smoothing processing is performed for each block of the image signal.
The mixed signal value and the signal value before smoothing.
And encoding / decoding each block of the image signal
For each block represented by the quantization characteristics used in
Adapt the mixing ratio according to the coarseness of the quantization parameter of
To change the
The final value of pixel filtering is smoothed as described above.
Before mixing the smoothed signal value with the signal value before smoothing
Due to the above configuration, each image block has different characteristics for each pixel.
The filtering characteristic can be changed more. amount
If the child parameter is 1, no quantization error will occur
And the final filtered value is before smoothing
The signal of can be used as it is. Mixing ratio by quantization parameter
The controlled configuration filters the smoothed signal values.
Can not be used for

【０１８０】また、本発明の請求項１１の画像信号平滑
化方法によれば、請求項８に記載の画像信号平滑化方法
において、画像信号の各ブロック毎に前記平滑化処理さ
れた信号値と平滑化処理する前の信号値を混合するステ
ップと、画像信号の各ブロックの活性度に応じて前記混
合割合を適応的に変化させるステップとを含むようにし
ており、ブロック活性度の低い平坦なブロックの場合、
平滑化された平坦な信号値をより多く最終的なフィルタ
リング値に含ませることで、平坦なブロックで目につき
やすい雑音を除去できる。 According to the image signal smoothing method of claim 11 of the present invention, the image signal smoothing method of claim 8
In the above, the smoothing processing is performed for each block of the image signal.
The mixed signal value and the signal value before smoothing.
And the mix depending on the activity of each block of the image signal.
And the step of adaptively changing the combined ratio.
Therefore, in the case of a flat block with low block activity,
Final filter with more smoothed flat signal values
By including it in the ring value, it will be noticeable with a flat block
Easy noise can be removed.

【０１８１】また、本発明の請求項１２の画像信号平滑
化方法によれば、請求項９に記載の画像信号平滑化方法
において、画像信号の各ブロック毎に前記平滑化処理さ
れた信号値と平滑化処理する前の信号値を混合するステ
ップと、着目画素がブロック境界の位置にあるか否かを
検出するステップと、着目画素がブロック境界に接する
位置にあるときその画素に接する隣接ブロックの隣接ブ
ロック活性度に応じて前記混合割合を適応的に変化させ
るステップとを含むようにしており、画像がブロック活
性度の低い平坦なブロックに隣接する場合、その境界に
おいて連続した輝度（色相）の段差を生じる可能性が高
いので、隣接ブロックが平坦なことを検出して、平坦な
ブロックに接する点のフィルタリング特性の平坦度を強
め、この境界をぼかすことができる。 According to the image signal smoothing method of claim 12 of the present invention, in the image signal smoothing method of claim 9, the smoothing processing is performed for each block of the image signal.
The mixed signal value and the signal value before smoothing.
And whether or not the pixel of interest is at the block boundary position.
The step of detecting and the pixel of interest touches the block boundary
The adjacent block of the adjacent block that touches the pixel when
The mixing ratio is adaptively changed according to the lock activity.
The image is displayed in block
If it is adjacent to a flat block with a low degree of activity,
There is a high possibility that continuous luminance (hue) steps will occur
Therefore, it detects that the adjacent block is flat and
Increases the flatness of the filtering characteristics of points that touch the block.
Therefore, this boundary can be blurred.

【０１８２】[0182]

【０１８３】[0183]

【０１８４】[0184]

【０１８５】[0185]

【０１８６】[0186]

【０１８７】[0187]

【０１８８】[0188]

【０１８９】[0189]

【０１９０】[0190]

【０１９１】[0191]

【０１９２】[0192]

【０１９３】[0193]

【０１９４】[0194]

【０１９５】[0195]

【０１９６】[0196]

【０１９７】[0197]

【０１９８】[0198]

【０１９９】[0199]

【０２００】[0200]

【０２０１】[0201]

【図面の簡単な説明】[Brief description of drawings]

【図１】本発明が適用されるフレーム間符号化方式のブ
ロック図である。FIG. 1 is a block diagram of an interframe coding system to which the present invention is applied.

【図２】本発明の平滑フィルタの構成を示すブロック図
である。FIG. 2 is a block diagram showing a configuration of a smoothing filter of the present invention.

【図３】図２の平滑フィルタに付加される構成を示すブ
ロック図である。FIG. 3 is a block diagram showing a configuration added to the smoothing filter of FIG.

【図４】図２の平滑フィルタに付加される構成を示すブ
ロック図である。FIG. 4 is a block diagram showing a configuration added to the smoothing filter of FIG.

【図５】図２の平滑フィルタに付加される構成を示すブ
ロック図である。5 is a block diagram showing a configuration added to the smoothing filter of FIG.

【図６】図２の平滑フィルタに付加される構成を示すブ
ロック図である。FIG. 6 is a block diagram showing a configuration added to the smoothing filter of FIG.

【図７】図２の平滑フィルタに付加される構成を示すブ
ロック図である。FIG. 7 is a block diagram showing a configuration added to the smoothing filter of FIG.

【図８】図２の平滑フィルタに付加される構成を示すブ
ロック図である。FIG. 8 is a block diagram showing a configuration added to the smoothing filter of FIG.

【図９】本発明の平滑フィルタの構成を示すブロック図
である。FIG. 9 is a block diagram showing a configuration of a smoothing filter of the present invention.

【図１０】本発明の平滑フィルタの構成を示すブロック
図である。FIG. 10 is a block diagram showing a configuration of a smoothing filter of the present invention.

【図１１】本発明の平滑フィルタの構成を示すブロック
図である。FIG. 11 is a block diagram showing a configuration of a smoothing filter of the present invention.

【図１２】本発明の平滑フィルタの構成を示すブロック
図である。FIG. 12 is a block diagram showing a configuration of a smoothing filter of the present invention.

【図１３】本発明のフィルタ制御の詳細フローチャート
図である。FIG. 13 is a detailed flowchart of the filter control of the present invention.

【図１４】本発明のフィルタ制御の詳細フローチャート
図である。FIG. 14 is a detailed flowchart of the filter control of the present invention.

【図１５】本発明のフィルタ制御の詳細フローチャート
図である。FIG. 15 is a detailed flowchart of the filter control of the present invention.

【図１６】本発明のフィルタ制御の詳細フローチャート
図である。FIG. 16 is a detailed flowchart of the filter control of the present invention.

【図１７】本発明のフィルタ制御の詳細フローチャート
図である。FIG. 17 is a detailed flowchart of the filter control of the present invention.

【図１８】本発明のフィルタ制御の詳細フローチャート
図である。FIG. 18 is a detailed flowchart of the filter control of the present invention.

【図１９】本発明のフィルタ制御の概略フローチャート
図である。FIG. 19 is a schematic flowchart of the filter control of the present invention.

【図２０】ブロック分割と着目画素の接する隣接ブロッ
クを示す図である。FIG. 20 is a diagram showing an adjacent block where a block division and a pixel of interest are in contact with each other.

【図２１】式（ｌ），（２），（７）の局所領域を示す
図である。FIG. 21 is a diagram showing local regions of equations (l), (2), and (7).

【図２２】信学技報ＩＥ８４−４６の一例の説明図であ
る。FIG. 22 is an explanatory diagram of an example of IEICE Technical Report IE84-46.

【図２３】Ｈ．２６１規格のフィルタ係数の説明図であ
る。FIG. 23. It is explanatory drawing of the filter coefficient of 261 standard.

【図２４】従来のフィルタ方式が適用されるフレーム間
符号化方式のブロック図である。FIG. 24 is a block diagram of an interframe coding method to which a conventional filter method is applied.

【符号の説明】[Explanation of symbols]

１０……入力画像信号 １１……減算器 １２……符号化部 １３……符号化された誤差信号 １４……局部復号化部 １５……局部復号誤差信号 １６……加算器 １７……局部復号信号 １８……フレームメモリ １９……動きベクトル検出部 ２０……動き補償予測信号 ２１……１フレーム前の画像信号 ２２……動きベクトル ２３……ループ内フィルタ（適応フィルタ部） ２４……予測信号 ２５……復号部 ２６……ポストフィルタ ２７……出力画像信号 ２８……請求項１０実現時の構成 ２９ａ……マルチプレクサ ２９ｂ……デマルチプレクサ ３０……着目画素 ３１……着目画素が接する隣接画像ブロック ３２……着目画素が属する画像ブロック ３３……ブロック境界 ４０……着目画素 ４１〜４８……周辺画素 ５０……ブロック境界にある画素 ５１……ブロック内部にある画素 ５２……ブロック境界 ６０……８×８画像ブロックの分割 ６１……四隅におけるフィルタ係数 ６２……上下端におけるフィルタ係数 ６３……左右端におけるフィルタ係数 ６４……内部領域におけるフィルタ係数 １００……ＣＰＵ １５０……バス ２００……画像メモリ ２３１……差分器 ２３２……絶対値器 ２３３……加算器 ２３４……逆数器 ２３５……乗算器 ２３６……総和器 ２３７……総和器 ２３８……除算器 ３００……画像入力部 ４００……画像出力部 ２３３１……画像ブロック分割器 ２３３２……量子化パラメータ算出器 ２３３３……非負加算値可変器 ２３３４……ブロック活性度算出器 ２３３５……画素位置検出器 ２３３６……信号混合器 ２３３７……フィルタ回路 ２３３８……フィルタ回路 ２３４０……活性度算出器 ２３４１……境界連続方向検出器 10: Input image signal 11 ... Subtractor 12 ... Encoding unit 13 ... Encoded error signal 14 ... Local decryption unit 15: Local decoding error signal 16 ... Adder 17 ... Locally decoded signal 18: Frame memory 19 ... Motion vector detection unit 20 ... Motion compensation prediction signal 21 ... Image signal one frame before 22 ... Motion vector 23 ... In-loop filter (adaptive filter section) 24 ... Prediction signal 25 ... Decoding section 26: Post filter 27: Output image signal 28: Configuration when claim 10 is realized 29a ... multiplexer 29b ... demultiplexer 30 ... Pixel of interest 31 ... Adjacent image block where the pixel of interest contacts 32 ... Image block to which the pixel of interest belongs 33 ... Block boundary 40 ... Pixel of interest 41 to 48 ... peripheral pixels 50: Pixels on the block boundary 51 ... Pixels inside the block 52 ... Block boundary 60 …… 8 × 8 image block division 61: Filter coefficient at four corners 62: filter coefficients at upper and lower ends 63: Filter coefficients at the left and right ends 64: Filter coefficient in the internal area 100 ... CPU 150 ... bus 200 ... Image memory 231: Difference device 232 ... Absolute price instrument 233 ... Adder 234 ... Inverse calculator 235 ... Multiplier 236 ...... summer 237 ... summator 238 ... Divider 300 ... Image input section 400: Image output section 2331 ... Image block divider 2332 ... Quantization parameter calculator 2333 ...... Non-negative addition value changer 2334 ... Block activity calculator 2335 ... Pixel position detector 2336 ... Signal mixer 2337 ... Filter circuit 2338 ... Filter circuit 2340 ... Activity calculator 2341 ...... Boundary continuous direction detector

Claims (12)

(57)【特許請求の範囲】(57) [Claims] 【請求項１】 サンプリングされデジタル化された画像
信号に対し、着目画素とその周辺画素の重み付け平均で
フィルタリング処理を行う平滑化フィルタを適用して平
滑化処理を行う画像信号平滑化装置において、 着目画素値とその周辺画素値の差分を検出する手段と、 その差分の絶対値をとる手段と、フィルタリングすべき画像をブロック分割する手段と、 前記着目画素とその周辺画素の差分値に加える非負の値
を、画像信号の各ブロックを符号化または復号化すると
きに用いられた量子化特性に代表される各ブロックごと
の量子化パラメータの粗さに応じて適応的に変化させる
手段と、 前記差分検出絶対値に前記非負の値（ｍ）を加算する手
段と、 その加算後の値の逆数（重み係数）を取る手段と、 その逆数を取った後の値に周辺画素値を乗算する手段
と、 その乗算した後の値の総和（Ａ）を取る手段と、 前記逆数（重み係数）のみの総和（Ｂ）を取る手段と、 前記重み係数の総和（Ｂ）で前記総和（Ａ）を除算して
正規化（Ａ／Ｂ）する手段とを備えたことを特徴とする
画像信号平滑化装置。1. An image signal smoothing apparatus that performs a smoothing process on a sampled and digitized image signal by applying a smoothing filter that performs a filtering process with a weighted average of a pixel of interest and its peripheral pixels, Means for detecting the difference between the pixel value and its peripheral pixel value, means for obtaining the absolute value of the difference, means for dividing the image to be filtered into blocks, and a non-negative value added to the difference value between the pixel of interest and its peripheral pixels. value
When each block of the image signal is encoded or decoded
For each block represented by the quantization characteristics used in
Adaptively changes according to the coarseness of the quantization parameter of
Means and includes means for adding the non-negative values (m) said difference detecting absolute value, and means for taking the reciprocal (weight coefficient) of the value after the addition, neighboring pixel value to a value after taking its inverse Means, a means for obtaining a summation (A) of the values after the multiplication, a means for obtaining a summation (B) of only the reciprocal (weighting coefficient), and a summation (B) of the weighting coefficients. An image signal smoothing apparatus comprising: means for dividing (A) to normalize (A / B). 【請求項２】 サンプリングされデジタル化された画像
信号に対し、着目画素とその周辺画素の重み付け平均で
フィルタリング処理を行う平滑化フィルタを適用して平
滑化処理を行う画像信号平滑化装置において、 着目画素値とその周辺画素値の差分を検出する手段と、 その差分の絶対値をとる手段と、 フィルタリングすべき画像をブロック分割する手段と、 ブロックごとに画素の変化の度合いを表すブロック活性
度を算出する手段と、 そのブロック活性度に応じて前記着目画素とその周辺画
素の差分値に加える非負の値を適応的に変化させる手段
と、 前記差分検出絶対値に前記非負の値（ｍ）を加算する手
段と、 その加算後の値の逆数（重み係数）を取る手段と、 その逆数を取った後の値に周辺画素値を乗算する手段
と、 その乗算した後の値の総和（Ａ）を取る手段と、 前記逆数（重み係数）のみの総和（Ｂ）を取る手段と、 前記重み係数の総和（Ｂ）で前記総和（Ａ）を除算して
正規化（Ａ／Ｂ）する 手段とを備えたことを特徴とする
画像信号平滑化装置。2. A sampled and digitized image.
For the signal, the weighted average of the pixel of interest and its surrounding pixels
Applying a smoothing filter that performs filtering processing
In an image signal smoothing device for performing a smoothing process, a means for detecting a difference between a pixel value of interest and a peripheral pixel value thereof, a means for obtaining an absolute value of the difference, a means for dividing an image to be filtered into blocks, and a block Block activity that indicates the degree of pixel change for each
Of the pixel of interest and its surrounding image according to the block activity.
Means for adaptively changing the non-negative value added to the prime difference value
And adding the non-negative value (m) to the difference detection absolute value
Stage, means for taking the reciprocal (weighting coefficient) of the value after addition , and means for multiplying the value after taking the reciprocal by the peripheral pixel value
And a means for obtaining the sum (A) of the multiplied values, a means for obtaining the sum (B) of only the reciprocal (weight coefficient) , and a sum (A) of the sum (B) of the weight coefficients. Divide
An image signal smoothing device comprising means for normalizing (A / B) . 【請求項３】 サンプリングされデジタル化された画像
信号に対し、着目画素とその周辺画素の重み付け平均で
フィルタリング処理を行う平滑化フィルタを適用して平
滑化処理を行う画像信号平滑化装置において、 着目画素値とその周辺画素値の差分を検出する手段と、 その差分の絶対値をとる手段と、 フィルタリングすべき画像をブロック分割する手段と、 前記着目画素がブロック境界の位置にあるか否かを検出
する手段と、 前記着目画素がブロック境界に位置する際にその点に接
する隣接ブロックのブロック活性度（隣接ブロック活性
度）を検出する手段と、 前記隣接ブロック活性度に応じて前記着目画素とその周
辺画素の差分値に加える非負の値を適応的に変化させる
手段と、 前記差分検出絶対値に前記非負の値（ｍ）を加算する手
段と、 その加算後の値の逆数（重み係数）を取る手段と、 その逆数を取った後の値に周辺画素値を乗算する手段
と、 その乗算した後の値の総和（Ａ）を取る手段と、 前記逆数（重み係数）のみの総和（Ｂ）を取る手段と、 前記重み係数の総和（Ｂ）で前記総和（Ａ）を除算して
正規化（Ａ／Ｂ）する手段とを 備えたことを特徴とする
画像信号平滑化装置。3. A sampled and digitized image.
For the signal, the weighted average of the pixel of interest and its surrounding pixels
Applying a smoothing filter that performs filtering processing
In the image signal smoothing device that performs smoothing processing means for detecting a difference between the target pixel value and its neighboring pixel values, and means for taking the absolute value of the difference, means for block dividing an image to be filtered, the Detects whether the pixel of interest is at the block boundary position
Means for touching the point when the pixel of interest is located at the block boundary.
Block activity of adjacent blocks (adjacent block activity
Of the target pixel and its circumference according to the activity of the adjacent block.
Adaptively change the non-negative value added to the difference value of side pixels
Means for adding the non-negative value (m) to the difference detection absolute value
Stage, means for taking the reciprocal (weighting coefficient) of the value after addition , and means for multiplying the value after taking the reciprocal by the peripheral pixel value
And a means for obtaining the sum (A) of the multiplied values, a means for obtaining the sum (B) of only the reciprocal (weight coefficient) , and a sum (A) of the sum (B) of the weight coefficients. Divide
An image signal smoothing device, comprising: means for normalizing (A / B) . 【請求項４】 請求項１記載の画像信号平滑化装置にお
いて、画像信号の各ブロック毎に前記平滑化処理された信号値
と平滑化処理する前の信号値を混合する手段と、 画像信
号の各ブロックを符号化・復号化するときに用いられた
量子化特性に代 表される各ブロックごとの量子化パラメータの粗さに応
じて前記混合の割合を 適応的に変化させる手段とを備え
たことを特徴とする画像信号平滑化装置。4. The image signal smoothing device according to claim 1 , wherein the smoothed signal value is obtained for each block of the image signal.
And a means for mixing the signal values before smoothing, and image signal
Used when encoding / decoding each block of the No.
Respond to the roughness of the quantization parameter for each block represented cash to the quantization characteristics
And a means for adaptively changing the mixing ratio . 【請求項５】 請求項２記載の画像信号平滑化装置にお
いて、 画 像信号の各ブロック毎に前記平滑化処理された信号値
と平滑化処理する前の信号値を混合する手段と、画像信号の各ブロックの活性度に 応じて前記混合の割合
を適応的に変化させる手段とを備えたことを特徴とする
画像信号平滑化装置。5. An image signal smoothing apparatus according to claim 2, means for mixing the signal value prior to the processing smoothed signal value and the smoothed for each block of images signals, image signals And a means for adaptively changing the mixing ratio according to the activity of each block . 【請求項６】 請求項３記載の画像信号平滑化装置にお
いて、 画 像信号の各ブロック毎に前記平滑化処理された信号値
と平滑化処理する前の信号値を混合する手段と、着目画素がブロック境界の位置にあるか否かを検出する
手段と、 着目画素がブロック境界に接する位置にあるときその画
素に接する隣接ブロックの隣接ブロック 活性度に応じて
前記混合の割合を適応的に変化させる手段とを備えたこ
とを特徴とする画像信号平滑化装置。6. An image signal smoothing device according to claim 3, and means for mixing the signal value prior to the processing smoothed signal value and the smoothed for each block of images signals, the target pixel Detect whether is at a block boundary
Means and the pixel when the pixel of interest is in the position of contacting the block boundary.
An image signal smoothing apparatus, comprising: an adjoining block of an adjoining block that is in contact with the element; and means for adaptively changing the mixing ratio according to the activity level. 【請求項７】 サンプリングされデジタル化された画像
信号に対し、着目画素とその周辺画素の重み付け平均で
フィルタリング処理を行う平滑化フィルタを適用して平
滑化処理を行う画像信号平滑化方法において、 着目画素値とその周辺画素値の差分を検出するステップ
と 、その差分の絶対値をとるステップと、 フィルタリングすべき画像をブロック分割するステップ
と、 前記着目画素とその周辺画素の差分値に加える非負の値
を、画像信号の各ブロックを符号化・復号化するときに
用いられた量子化特性に代表される各ブロックごとの量
子化パラメータの粗さに応じて適応的に変化させるステ
ップと、 前記差分検出絶対値に前記非負の値（ｍ）を加算するス
テップと、 その加算後の値の逆数（重み係数）を取るステップと、 その逆数を取った後の値に周辺画素値を乗算するステッ
プと、 その乗算した後の値の総和（Ａ）を取るステップと、 前記逆数（重み係数）のみの総和（Ｂ）を取るステップ
と、 前記重み係数の総和（Ｂ）で前記総和（Ａ）を除算して
正規化（Ａ／Ｂ）するステップとを含むことを特徴とす
る画像信号平滑化方法。 7. A sampled and digitized image.
For the signal, the weighted average of the pixel of interest and its surrounding pixels
Applying a smoothing filter that performs filtering processing
In the image signal smoothing method that performs the smoothing process, a step of detecting the difference between the pixel value of interest and the peripheral pixel values
And the step of taking the absolute value of the difference and the step of dividing the image to be filtered into blocks
And a non-negative value added to the difference value between the pixel of interest and its surrounding pixels
When encoding / decoding each block of the image signal
Amount for each block represented by the used quantization characteristics
A system that adaptively changes according to the roughness of the sub-parameterization
And a step of adding the non-negative value (m) to the difference detection absolute value.
Step and the step of taking the reciprocal (weighting coefficient) of the value after addition , and the step of multiplying the value after taking the reciprocal by the peripheral pixel value.
And the sum (A) of the multiplied values, and the step (B) of only the reciprocal (weighting factor)
And dividing the summation (A) by the summation (B) of the weighting factors
A step of normalizing (A / B).
Image signal smoothing method. 【請求項８】 サンプリングされデジタル化された画像
信号に対し、着目画素とその周辺画素の重み付け平均で
フィルタリング処理を行う平滑化フィルタを 適用して平
滑化処理を行う画像信号平滑化方法において、 着目画素値とその周辺画素値の差分を検出するステップ
と、 その差分の絶対値をとるステップと、 フィルタリングすべき画像をブロック分割するステップ
と、 ブロックごとに画素の変化の度合いを表すブロック活性
度を算出するステップと、 そのブロック活性度に応じて前記着目画素とその周辺画
素の差分値に加える非負の値を適応的に変化させるステ
ップと、 前記差分検出絶対値に前記非負の値（ｍ）を加算するス
テップと、 その加算後の値の逆数（重み係数）を取るステップと、 その逆数を取った後の値に周辺画素値を乗算するステッ
プと、 その乗算した後の値の総和（Ａ）を取るステップと、 前記逆数（重み係数）のみの総和（Ｂ）を取るステップ
と、 前記重み係数の総和（Ｂ）で前記総和（Ａ）を除算して
正規化（Ａ／Ｂ）するステップとを含むことを特徴とす
る画像信号平滑化方法。 8. A weighted average of a pixel of interest and its peripheral pixels for a sampled and digitized image signal.
Applying a smoothing filter that performs filtering processing
In the image signal smoothing method that performs the smoothing process, a step of detecting the difference between the pixel value of interest and the peripheral pixel values
And the step of taking the absolute value of the difference and the step of dividing the image to be filtered into blocks
And block activity that indicates the degree of pixel change for each block
Of the target pixel and its peripheral image according to the block activity
A step for adaptively changing the non-negative value added to the prime difference value.
And a step of adding the non-negative value (m) to the difference detection absolute value.
Step and the step of taking the reciprocal (weighting coefficient) of the value after addition , and the step of multiplying the value after taking the reciprocal by the peripheral pixel value.
And the sum (A) of the multiplied values, and the step (B) of only the reciprocal (weighting factor)
And dividing the summation (A) by the summation (B) of the weighting factors
A step of normalizing (A / B).
Image signal smoothing method. 【請求項９】 サンプリングされデジタル化された画像
信号に対し、着目画素とその周辺画素の重み付け平均で
フィルタリング処理を行う平滑化フィルタを適用して平
滑化処理を行う画像信号平滑化方法において、 着目画素値とその周辺画素値の差分を検出するステップ
と、 その差分の絶対値をとるステップと、 フィルタリングすべき画像をブロック分割するステップ
と、 前記着目画素がブロック境界の位置にあるか否かを検出
するステップと、 前記着目画素がブロック境界に位置する際にその点に接
する隣接ブロックのブロック活性度（隣接ブロック活性
度）を検出するステップと、 前記隣接ブロック活性度に応じて前記着目画素とその周
辺画素の差分値に加える非負の値を適応的に変化させる
ステップと、 前記差分検出絶対値に前記非負の値（ｍ）を加算するス
テップと、 その加算後の値の逆数（重み係数）を取るステップと、 その逆数を取った後の値に周辺画素値を乗算するステッ
プと 、その乗算した後の値の総和（Ａ）を取るステップと、 前記逆数（重み係数）のみの総和（Ｂ）を取るステップ
と、 前記重み係数の総和（Ｂ）で前記総和（Ａ）を除算して
正規化（Ａ／Ｂ）するステップとを含むことを特徴とす
る画像信号平滑化方法。 9. A sampled and digitized image.
For the signal, the weighted average of the pixel of interest and its surrounding pixels
Applying a smoothing filter that performs filtering processing
In the image signal smoothing method that performs the smoothing process, a step of detecting the difference between the pixel value of interest and the peripheral pixel values
And the step of taking the absolute value of the difference and the step of dividing the image to be filtered into blocks
And whether or not the pixel of interest is at the block boundary position
And when the pixel of interest is located at the block boundary, touch that point.
Block activity of adjacent blocks (adjacent block activity
) Of the target pixel and its periphery according to the activity of the adjacent block.
Adaptively change the non-negative value added to the difference value of side pixels
And a step of adding the non-negative value (m) to the difference detection absolute value.
Step and the step of taking the reciprocal (weighting coefficient) of the value after addition , and the step of multiplying the value after taking the reciprocal by the peripheral pixel value.
And the sum (A) of the multiplied values, and the step (B) of only the reciprocal (weighting factor)
And dividing the summation (A) by the summation (B) of the weighting factors
A step of normalizing (A / B).
Image signal smoothing method. 【請求項１０】 請求項７に記載の画像信号平滑化方法
において、 画像信号の各ブロック毎に前記平滑化処理された信号値
と平滑化処理する前の信号値を混合するステップと、 画像信号の各ブロックを符号化・復号化するときに用い
られた量子化特性に代表される各ブロックごとの量子化
パラメータの粗さに応じて前記混合割合を適応的に変化
させるステップとを含むことを特徴とする画像信号平滑
化方法。 10. The image signal smoothing method according to claim 7.
In, the smoothed signal value for each block of the image signal
And the step of mixing the signal values before smoothing, and when encoding / decoding each block of the image signal
For each block represented by the specified quantization characteristics
Adaptively change the mixing ratio according to the roughness of the parameters
Image signal smoothing, characterized in that
Method. 【請求項１１】 請求項８に記載の画像信号平滑化方法
において、 画像信号の各ブロック毎に前記平滑化処理された信号値
と平滑化処理する前の信号値を混合するステップと、 画像信号の各ブロックの活性度に応じて前記混合割合を
適応的に変化させる ステップとを含むことを特徴とする
画像信号平滑化方法。11. The image signal smoothing method according to claim 8.
In, the smoothed signal value for each block of the image signal
And a step of mixing the signal values before the smoothing process, and the mixing ratio according to the activity of each block of the image signal.
And a step of adaptively changing the image signal smoothing method. 【請求項１２】 請求項９に記載の画像信号平滑化方法
において、画像信号の各ブロック毎に前記平滑化処理された信号値
と平滑化処理する前の信号値を混合するステップと、 着目画素がブロック境界の位置にあるか否かを検出する
ステップと、 着目画素がブロック境界に接する位置にあるときその画
素に接する隣接ブロックの隣接ブロック活性度に応じて
前記混合割合を 適応的に変化させるステップとを含むこ
とを特徴とする画像信号平滑化方法。12. The image signal smoothing method according to claim 9 , wherein the smoothed signal value is obtained for each block of the image signal.
And the step of mixing the signal values before the smoothing process and detecting whether the pixel of interest is at the position of the block boundary
Steps and the image when the pixel of interest is in the position of contacting the block boundary
Depending on the adjacent block activity of the adjacent block that touches the element
And a step of adaptively changing the mixing ratio .