JP5561611B2

JP5561611B2 - Image coding method, image coding apparatus, and image coding program

Info

Publication number: JP5561611B2
Application number: JP2010233229A
Authority: JP
Inventors: 幸浩坂東; 誠之高村; 裕尚如澤; 孝明石川; 裕渡辺
Original assignee: Waseda University; Nippon Telegraph and Telephone Corp
Current assignee: Waseda University; Nippon Telegraph and Telephone Corp
Priority date: 2010-10-18
Filing date: 2010-10-18
Publication date: 2014-07-30
Anticipated expiration: 2030-10-18
Also published as: JP2012089963A

Description

本発明は，高能率画像信号符号化方法に関し，特にノイズ・シェイピングにおけるエネルギーコンパクションを向上させて符号化効率を向上させるための画像符号化方法に関する。 The present invention relates to a high-efficiency image signal coding method, and more particularly to an image coding method for improving energy compaction in noise shaping and improving coding efficiency.

画像符号化における重要な要素技術の一つに，離散コサイン変換（ＤＣＴ：Discrete Cosine Transform ）に代表される変換符号化がある。画像符号化における変換符号化の役割は，空間的な画素間相関の除去を行うことにある。符号化器の全体の位置づけとしては，変換符号化により少数の変換係数に情報を集中させ，変換係数に対する量子化により情報の集中度の低い変換係数を切り捨てることで，符号化対象信号に対する情報量の削減に寄与する。 One of the important elemental techniques in image coding is transform coding represented by Discrete Cosine Transform (DCT). The role of transform coding in image coding is to remove spatial correlation between pixels. The overall position of the encoder is as follows: information is concentrated on a small number of transform coefficients by transform coding, and the transform coefficients with low information concentration are rounded down by quantizing the transform coefficients, thereby reducing the amount of information for the signal to be encoded. Contributes to the reduction of

図７に，映像信号を符号化する一般的な符号化装置１００の例を示す。符号化装置１００は映像信号を入力すると，予測部１０６により予測された予測信号との差分から予測残差信号を求め，変換部１０１により予測残差信号を直交変換する。その出力である変換係数を量子化部１０２にて量子化し，その量子化値をエントロピ符号化部１０７にて可変長符号化し，符号化ストリームとして出力する。一方，量子化部１０２の出力は，逆量子化部１０３で逆量子化され，さらに逆変換部１０４で逆直交変換される。その変換結果に予測信号を加えることにより復号信号が生成される。復号信号は，歪除去フィルタ１０５によりノイズ除去処理がなされ，参照復号信号として予測部１０６に入力される。予測部１０６では，動き探索などにより次の映像信号の符号化のための予測信号を生成する。 FIG. 7 shows an example of a general encoding apparatus 100 that encodes a video signal. When the video signal is input, the encoding apparatus 100 obtains a prediction residual signal from the difference from the prediction signal predicted by the prediction unit 106, and the transform unit 101 performs orthogonal transform on the prediction residual signal. The output transform coefficient is quantized by the quantization unit 102, and the quantized value is variable-length encoded by the entropy encoding unit 107 and output as an encoded stream. On the other hand, the output of the quantization unit 102 is inversely quantized by the inverse quantization unit 103 and further inversely orthogonally transformed by the inverse transform unit 104. A decoded signal is generated by adding a prediction signal to the conversion result. The decoded signal is subjected to noise removal processing by the distortion removal filter 105 and input to the prediction unit 106 as a reference decoded signal. The prediction unit 106 generates a prediction signal for encoding the next video signal by motion search or the like.

これまで，画像符号化への応用では，離散コサイン変換（ＤＣＴ）を始めとして，重複直交変換離散ウェーブレット変換（ＤＷＴ：Discrete Wavelet Transform）といった多くの変換符号化方式が検討されてきた。例えば，変換符号化として，ＪＰＥＧでは，離散コサイン変換（ＤＣＴ），ＪＰＥＧ２０００では，離散ウェーブレット変換（ＤＷＴ）が採用されている。また，直交変換は完備な基底（complete basis）を用いるため，変換前後のデータ数が不変である。このため，直交変換は非冗長変換（non-redundant transform ）である。動画像符号化装置においては，図７における変換部１０１が上記の技術に該当する。 Up to now, in application to image coding, many transform coding schemes such as discrete cosine transform (DCT) and overlapping orthogonal transform discrete wavelet transform (DWT) have been studied. For example, as transform coding, JPEG employs discrete cosine transform (DCT), and JPEG 2000 employs discrete wavelet transform (DWT). In addition, since orthogonal transformation uses a complete basis, the number of data before and after the transformation is unchanged. For this reason, the orthogonal transform is a non-redundant transform. In the moving image encoding apparatus, the conversion unit 101 in FIG. 7 corresponds to the above technique.

一方で，基底数が原信号のサンプル数よりも多い過完備な基底（overcomplete basis）を用いた冗長変換（redudant transform）と呼ばれる変換がある。このため，冗長変換は直交変換になり得ないが，変換後のデータに冗長性を持たせることで非冗長変換では実現できない特性をもつことができる。例えば，ダウンサンプリング処理を行わないＤＷＴである離散定常ウェーブレット変換（ＳＷＴ：Stationary Wavelet Transform）は，変換後の冗長性によりＤＷＴで失われるシフト不変性を成立させることができる。 On the other hand, there is a transform called a redundant transform using an overcomplete basis in which the number of bases is larger than the number of samples of the original signal. For this reason, the redundant transform cannot be an orthogonal transform, but by giving redundancy to the converted data, it is possible to have characteristics that cannot be realized by the non-redundant transform. For example, a discrete stationary wavelet transform (SWT) that is a DWT that does not perform downsampling processing can establish shift invariance that is lost in the DWT due to redundancy after the transformation.

また，画像処理分野では，“方向分離特性をもつ変換”が注目されている。このような変換は，一般的に冗長変換であり，代表例としてＣｕｒｖｅｌｅｔ変換がある。並列木複素ウェーブレット変換（ＤＴＣＷＴ：Dual Tree Complex Wavelet Transform ）も同様の特性をもつ変換である。方向分離特性をもつ変換は，画像信号中に含まれるエッジ等の曲線を２次元で定義される方向基底を用いて表現する変換である。方向基底を用いて２次元構造を高い精度で近似するため，ＤＷＴのような方向分離特性の乏しい変換と比較し，雑音除去や特徴抽出に対して，有効である。 In the field of image processing, “conversion with direction separation characteristics” has attracted attention. Such conversion is generally redundant conversion, and a typical example is Curvelet conversion. A parallel tree complex wavelet transform (DTCWT) is a transform having similar characteristics. The conversion having the direction separation characteristic is a conversion in which a curve such as an edge included in the image signal is expressed using a direction base defined in two dimensions. Since the two-dimensional structure is approximated with high accuracy using the direction base, it is more effective for noise removal and feature extraction than a transformation with poor direction separation characteristics such as DWT.

しかし，方向分離特性をもつ変換は，変換後のデータ数が増加するという問題がある。ｘを変換符号化への入力信号，Ψを変換行列とすると，変換により得られる変換係数ｙは，次式のように表わされる。 However, conversion with direction separation characteristics has a problem that the number of data after conversion increases. When x is an input signal to transform coding and Ψ is a transform matrix, a transform coefficient y obtained by the transform is expressed as follows.

ｙ＝Ψｘ (1)
一方，変換係数から信号領域での値を復号する処理は，過完備な基底系からなる変換の逆変換を表す行列をΦとすると，次式のように表わされる。 y = Ψx (1)
On the other hand, the process of decoding the value in the signal domain from the transform coefficient is represented by the following equation, where Φ is a matrix representing the inverse transform of the overcomplete basis set.

ｘ＝Φｙ (2)
ＤＴＣＷＴの場合，ｘがｎ次元ベクトルであるとすると，変換により得られる変換係数ｙは２ｎ次元ベクトルとなる。このため，同変換を画像符号化へ応用する場合，データ数の削減の観点から，変換係数を適切に選択する必要がある。この変換係数の選択は，以下の制約条件付き最小化問題として定式化できる。 x = Φy (2)
In the case of DTCWT, if x is an n-dimensional vector, the conversion coefficient y obtained by the conversion is a 2n-dimensional vector. For this reason, when the transformation is applied to image coding, it is necessary to appropriately select a transformation coefficient from the viewpoint of reducing the number of data. This selection of transform coefficients can be formulated as the following constrained minimization problem.

ｍｉｎ_y‖ｙ‖₀ ｓｕｂｊｅｃｔｔｏ Φｙ＝ｘ (3)
ここで，‖・‖₀は，Ｌ⁰ノルムであり，非ゼロ係数の個数を表している。上記の制約条件付きの最小化問題は，ラグランジュの未定乗数法により以下の最小化問題に帰着される。 min _y ‖y‖ ₀ subject to Φy = x (3)
Here, ‖ · ‖ ₀ is the L ⁰ norm and represents the number of non-zero coefficients. The above minimization problem with constraints is reduced to the following minimization problem by Lagrange's undetermined multiplier method.

ｍｉｎ_y ‖ｙ‖₀ ＋λ‖Φｙ−ｘ‖₂ ² (4)
ここでλは，外部から与えられる重みパラメータである。第一項は，選択された変換係数の個数であり，変換係数の情報量を近似した値である。第二項は変換係数の選択に伴う再構成誤差を表しており，符号化歪みを表している。‖・‖₂ ²は，Ｌ² ノルムの二乗値であり，二乗和を表す。しかし，上記の最小化問題はＮＰ困難であるため，従来，以下のようなＬ ¹ ノルムに最小化問題として近似する方法がとられてきた。 min _y ‖y‖ ₀ + λ‖Φy−x‖ ₂ ² (4)
Here, λ is a weight parameter given from the outside. The first term is the number of selected transform coefficients, which is an approximate value of the information amount of transform coefficients. The second term represents the reconstruction error associated with the selection of the transform coefficient and represents the coding distortion. ‖ · ‖ ₂ ² is the square value of the L ² norm and represents the sum of squares. However, since the above minimization problem is difficult to NP, conventionally, the following L ^{1 is used.} A method of approximating the norm as a minimization problem has been taken.

ｍｉｎ_y ‖ｙ‖₁ ＋λ‖Φｙ−ｘ‖₂ ²(5)
ここで，‖・‖₁ は，Ｌ ¹ ノルムであり，ベクトルの要素の絶対値和を表している。 min _y ‖y‖ ₁ + λ‖Φy−x‖ ₂ ² (5)
Where ‖ ・ ‖ ₁ is L ¹ Norm, which represents the sum of absolute values of vector elements.

式(5) の最小化問題の準最適解を与える手法として，図８に示すノイズ・シェイピング(noise shaping) 処理と呼ばれる手法が提案されている（非特許文献１参照）。 As a technique for giving a sub-optimal solution of the minimization problem of Equation (5), a technique called noise shaping processing shown in FIG. 8 has been proposed (see Non-Patent Document 1).

使用する記号を整理する。入力信号ｘ（Ｎ画素）に対する順変換後の変換係数を以下のように定義する。 Organize the symbols used. The conversion coefficient after forward conversion for the input signal x (N pixels) is defined as follows.

ｙ₀＝Ψｘ
Ｉを単位行列として，Ｐ^s≡ΨΦ，Ｐ⊥≡Ｉ−ΨΦなる２種類の射影を定義する。なお，“Ｐ⊥”における“⊥”は，Ｐの右肩に付く上添字である。前者の射影により得られる出力を有効成分，後者の射影により得られる出力を無効成分と呼ぶ。 y ₀ = Ψx
Two types of projections P ^s ≡ΨΦ and P⊥≡I−ΨΦ are defined with I as a unit matrix. Note that “⊥” in “P⊥” is a superscript attached to the right shoulder of P. The output obtained by the former projection is called the effective component, and the output obtained by the latter projection is called the invalid component.

ノイズ・シェイピング処理における繰り返し回数を表すインデックスをｉで表し，ノイズ・シェイピング処理における第ｉ回目の出力をｙ_iとする。ｙ_iに対して，絶対値が閾値θ_i以下となる係数を零値に切り捨てるクリッピング処理を行う。ｙ_iに対するクリッピング処理後の出力を＾ｙ_i（＾はｙの上に付く記号）として，次式のように表す。 An index representing the number of repetitions in the noise shaping process is represented by i, and the i-th output in the noise shaping process is represented by y _i . For y _i , a clipping process is performed in which the coefficient whose absolute value is equal to or smaller than the threshold θ _i is rounded down to zero. The output after clipping processing for y _i is represented as ｙy _i (＾ is a symbol on y) as follows:

＾ｙ_i（θ_i）＝ｙ_i＋ε_i（θ_i）
ここで，ε_i（θ_i）は，クリッピング処理に伴い重畳する誤差である。ｋ＝１の場合，ノイズ・シェイピング処理における補正信号であるｗ_i（θ_i）（図８に示すｗ_i）は，次式となる。 ^ Y _i (θ _i ) = y _i + ε _i (θ _i )
Here, ε _i (θ _i ) is an error to be superimposed with clipping processing. When k = 1, w _i (θ _i ) (w _i shown in FIG. 8), which is a correction signal in the noise shaping process, is expressed by the following equation.

ｗ_i（θ_i）＝ｙ₀−ΨΦ＾ｙ_i（θ_i）
この＾ｙ_i（θ_i），ｗ_i（θ_i）を用いて，ｙ_i+1は，次式のように表せる。 w _i (θ _i ) = y ₀ −ΨΦ ^ y _i (θ _i )
Using this ^ y _i (θ _i ) and w _i (θ _i ), y _{i + 1} can be expressed as follows.

ｙ_i+1（θ_i，＾ｙ_i（θ_i））＝＾ｙ_i（θ_i）＋ｗ_i（θ_i）
クリッピングの閾値θ_iは，Δ_i（＞０）を用いて，次のように定められ，
θ_i+1＝θ_i−Δ_i (6)
繰り返し回数の増加とともに，小さく設定される。 y _{i + 1} (θ _i , ^ y _i (θ _i )) = ^ y _i (θ _i ) + w _i (θ _i )
The clipping threshold θ _i is determined as follows using Δ _i (> 0):
θ _{i + 1} = θ _i −Δ _i (6)
As the number of repetitions increases, it is set smaller.

図８に示すノイズ・シェイピング処理装置２００の動作について簡単に説明する。変換部２０１では，入力信号ｘに対して冗長系の変換基底を用いた変換を行い，変換係数ｙ₀を算出する。クリッピング処理部２０２では，変換係数ｙ_i（初期値はｉ＝０）と予め定められた閾値θ_iとの大小比較を行い，ｙ_iがθ_iより小さければ，ｙ_iを０に置き換える。このクリッピング処理後の出力を＾ｙ_iとする。逆変換部２０３では，＾ｙ_iを逆変換して逆変換結果の＾ｘ_iを求める。入力信号ｘと＾ｘ_iとの差が，画素領域での誤差ｅ_iとなる。 The operation of the noise shaping processing apparatus 200 shown in FIG. 8 will be briefly described. The conversion unit 201 performs conversion using a redundant conversion basis on the input signal x to calculate a conversion coefficient y ₀ . The clipping processing unit 202, transform coefficients y _i (initial value i = 0) performs a comparison between a predetermined threshold theta _i, if y _i is less than theta _i, replacing y _i to zero. Assume that the output after this clipping process is y _i . The inverse transform unit 203, ^ inversely convert y _i seek ^ x _i of the inverse transform results. The difference between the input signal x and ^ x _i is the error e _i in the pixel region.

重み係数乗算部２０４では，ｅ_iに所定の重み係数ｋを乗算し，乗算結果に対して，変換部２０５において順変換することにより，誤差の帰還信号ｗ_iを算出する。クリッピング処理部２０２の出力＾ｙ_iに誤差の帰還信号ｗ_iを加算することにより，更新変換係数ｙ_i+1を算出する。遅延部２０６にて一定時間遅延させた後，更新変換係数ｙ_i+1をクリッピング処理部２０２の入力として，更新変換係数ｙ_i+1に対して同様に処理を繰り返す。終了条件判定部２０７では，ｅ_i+1とｅ_iとの差がある一定の微小値より小さくなったかどうかをチェックし，その差が微小値より小さい値になったときに，そのときの＾ｙ_iを変換結果として出力する。 The weight coefficient multiplication unit 204 multiplies e _i by a predetermined weight coefficient k, and forward-converts the multiplication result in the conversion unit 205, thereby calculating an error feedback signal w _i . An update conversion coefficient y _{i + 1} is calculated by adding an error feedback signal w _i to the output ^ y _i of the clipping processing unit 202. After being delayed for a certain time by the delay unit 206, the update conversion coefficient y _{i + 1} is input to the clipping processing unit 202 and the process is repeated in the same manner for the update conversion coefficient y _{i + 1} . The end condition judging unit 207 checks whether or not the difference between e _{i + 1} and e _i is smaller than a certain minute value, and when the difference becomes smaller than the minute value, the ^ y _i is output as a conversion result.

このような過完備系を用いた変換は，画像信号にｓｐａｒｓｅｎｅｓｓを仮定し，少数の変換係数で画像を表現するｓｐａｒｓｅｒｅｐｒｅｓｅｎｔａｔｉｏｎの一種である。 Such conversion using an overcomplete system is a kind of sparse representation in which an image signal is assumed to be sparseness and an image is expressed with a small number of conversion coefficients.

T. Reeves and N. Kingsbury, “Overcomplete image coding using iterative projection-based noise shaping”, Proc. IEEE Conf. on Image Processing, vol.3, pp. 597- 600, 2002T. Reeves and N. Kingsbury, “Overcomplete image coding using iterative projection-based noise shaping”, Proc. IEEE Conf. On Image Processing, vol.3, pp. 597-600, 2002

画像信号は，空間的な局所性を有しており，その性質は一様ではない。つまり，画像信号を一定の精度で表現するために必要な変換係数の個数，あるいは，一定の個数の変換係数で表現可能な画像信号の表現精度は，画像内の領域の性質に応じて変動する。しかし，上述したノイズ・シェイピング法は，画像全体に対して適用されている。このため，画像内の局所性を考慮できておらず，符号化効率の向上に改善の余地を残す。 Image signals have spatial locality, and their properties are not uniform. In other words, the number of transform coefficients necessary to represent an image signal with a certain accuracy, or the representation accuracy of an image signal that can be represented with a certain number of transform coefficients varies depending on the nature of the region in the image. . However, the above-described noise shaping method is applied to the entire image. For this reason, locality in the image cannot be considered, and there is room for improvement in improving the coding efficiency.

本発明はかかる事情に鑑みてなされたものであって，過完備な基底を用いた冗長変換において，変換係数間の冗長性を除去するノイズ・シェイピング法において，符号化効率の向上を実現する画像分割手法に基づく画像符号化方法を確立することを目的とする。 The present invention has been made in view of such circumstances, and in a redundant transform using an overcomplete basis, an image that realizes an improvement in coding efficiency in a noise shaping method that removes redundancy between transform coefficients. An object is to establish an image coding method based on the division method.

本発明は，上記課題を解決するため，入力された画像信号に対して，冗長系の変換基底を用いた変換を行い，得られた変換係数に対して，符号化に用いる係数の絞り込みを行う画像符号化において，画像の局所的な性質に応じて，閾値一定の条件下で，同閾値以下の係数を切り捨て，全領域の有意係数の個数を最小化するための領域分割，および，各分割領域に対する変換係数の選択を行うことを特徴とする。 In order to solve the above-described problems, the present invention performs a conversion using a redundant conversion base on an input image signal, and narrows down the coefficients used for encoding with respect to the obtained conversion coefficients. In image coding, depending on the local nature of the image, under the condition that the threshold value is constant, the coefficients below the threshold value are rounded down, and the region division for minimizing the number of significant coefficients in all regions, and each division The conversion coefficient for the region is selected.

また，本発明は，入力された画像信号に対して，冗長系の変換基底を用いた変換を行い，得られた変換係数に対して，符号化に用いる係数の絞り込みを行う画像符号化において，画像の局所的な性質に応じて，閾値の変動を一定範囲内許容するという条件下で，同閾値以下の係数を切り捨て，全領域の有意係数の個数を最小化するための領域分割，および，各分割領域に対する変換係数の選択を行うことを特徴とする。 In addition, the present invention performs image conversion using a redundant conversion basis on an input image signal, and narrows down the coefficients used for encoding on the obtained conversion coefficients. Depending on the local nature of the image, under the condition that the variation of the threshold value is allowed within a certain range, the coefficients below the threshold value are rounded down, the region division to minimize the number of significant coefficients in the whole region, and The conversion coefficient for each divided region is selected.

また，本発明は，入力された画像信号に対して，冗長系の変換基底を用いた変換を行い，得られた変換係数に対して，符号化に用いる係数の絞り込みを行う画像符号化において，画像の局所的な性質に応じて，閾値一定の条件下で，同閾値以下の係数を切り捨て，全領域の有意係数の個数および分割領域の境界部の不連続性を最小化するための領域分割，および，各分割領域に対する変換係数の選択を行うことを特徴とする。 In addition, the present invention performs image conversion using a redundant conversion basis on an input image signal, and narrows down the coefficients used for encoding on the obtained conversion coefficients. Segmentation to minimize the number of significant coefficients in all regions and the discontinuity at the boundary of the segmented area by truncating the coefficients below the threshold value according to the local properties of the image , And selection of transform coefficients for each divided region.

また，本発明は，入力された画像信号に対して，冗長系の変換基底を用いた変換を行い，得られた変換係数に対して，符号化に用いる係数の絞り込みを行う画像符号化において，画像の局所的な性質に応じて，閾値の変動を一定範囲内許容するという条件下で，同閾値以下の係数を切り捨て，全領域の有意係数の個数および分割領域の境界部の不連続性を最小化するための領域分割，および，各分割領域に対する変換係数の選択を行うことを特徴とする。 In addition, the present invention performs image conversion using a redundant conversion basis on an input image signal, and narrows down the coefficients used for encoding on the obtained conversion coefficients. Depending on the local nature of the image, under the condition that the fluctuation of the threshold is allowed within a certain range, the coefficient below the threshold is rounded down, and the number of significant coefficients in the whole area and the discontinuity at the boundary of the divided area are determined. It is characterized in that region division for minimization and conversion coefficient selection for each divided region are performed.

また，本発明は，上記発明においてさらに，選択された領域分割における各分割領域に対して，所定の分割の終了条件が満たされるまで，領域分割および有意変換係数を選択する処理を再帰的に繰り返すことを特徴とする。分割の終了条件は，例えば一方の分割領域の画素数が所定の閾値以下となること，または一方の分割領域の有意変換係数の個数が所定の閾値以下となることである。また，さらに分割を行わないほうが最適である場合も分割の終了条件となる。 Furthermore, the present invention further recursively repeats the process of selecting the region division and the significant conversion coefficient for each divided region in the selected region division until a predetermined division termination condition is satisfied. It is characterized by that. The condition for terminating the division is, for example, that the number of pixels in one divided region is equal to or smaller than a predetermined threshold value, or that the number of significant conversion coefficients in one divided region is equal to or smaller than the predetermined threshold value. In addition, when it is optimal not to perform further division, the division termination condition is also satisfied.

本発明は，画像の局所性を考慮して，係数選択を行うことで，ノイズ・シェイピングにおけるエネルギーコンパクションを向上させ，特定成分への情報の集約を図ることで，符号化効率の向上を実現することができる。 The present invention realizes an improvement in coding efficiency by improving the energy compaction in noise shaping by performing coefficient selection in consideration of the locality of the image and consolidating information into specific components. be able to.

本発明の実施形態に係る画像符号化装置の構成例を示す図である。It is a figure which shows the structural example of the image coding apparatus which concerns on embodiment of this invention. 係数選択処理部が実行する係数選択処理フローを示す図である。It is a figure which shows the coefficient selection process flow which a coefficient selection process part performs. 最適分割処理部が実行する最適分割処理フローを示す図である。It is a figure which shows the optimal division process flow which an optimal division process part performs. 最適分割処理部が実行する最適分割処理フローを示す図である。It is a figure which shows the optimal division process flow which an optimal division process part performs. コスト算出部が実行するコスト関数算出処理フローを示す図である。It is a figure which shows the cost function calculation process flow which a cost calculation part performs. ソフトウェアプログラムより実現するときのシステム構成図である。It is a system block diagram when implement | achieving from a software program. 一般的な符号化装置の構成図である。It is a block diagram of a general encoding apparatus. 従来のノイズ・シェイピング処理装置の例を示す図である。It is a figure which shows the example of the conventional noise shaping processing apparatus.

以下，本発明の実施の形態について，図面を用いて説明する。 Hereinafter, embodiments of the present invention will be described with reference to the drawings.

本発明の基本方針は，画面内を性質の類似した領域に分割し，分割領域毎にｓｐａｒｓｅｒｅｐｒｅｓｅｎｔａｔｉｏｎを適用することである。以下，領域分割法の４種類の処理を示す。 The basic policy of the present invention is to divide the screen into areas having similar properties and apply sparse representation to each divided area. Hereinafter, four types of processing of the region division method are shown.

「領域分割方法１」は，画面内において，閾値一定の条件下で，同閾値以下の係数を切り捨て（零値とし），全領域の有意係数の個数を最小化するための分割，およびパラメータ選択方法を示す。 “Region segmentation method 1” is a method for rounding down the coefficients below the threshold value (with a zero value) under the condition that the threshold value is constant on the screen, dividing to minimize the number of significant coefficients in all regions, and parameter selection. The method is shown.

「領域分割方法２」は，分割領域間における閾値の変動を一定範囲内許容するという条件下で，同閾値以下の係数を切り捨て（零値とし），各領域の有意係数（非零値の係数）の個数を最小化するための分割，およびパラメータ選択方法を示す。 “Region segmentation method 2” is a condition in which the variation of the threshold value between the segmented regions is allowed within a certain range, the coefficient below the threshold value is rounded down (zero value), and the significant coefficient of each region (non-zero coefficient) The method of dividing and parameter selection to minimize the number of

「領域分割方法３」は，「領域分割方法１」におけるコスト関数に対して領域境界の不連続性の影響を加味した修正を行ったものである。 “Area division method 3” is a modification in which the cost function in “Area division method 1” is corrected in consideration of the discontinuity of the area boundary.

同様に，「領域分割方法４」は，「領域分割方法２」におけるコスト関数に対して領域境界の不連続性の影響を加味した修正を行ったものである。 Similarly, “area division method 4” is a modification in which the cost function in “area division method 2” is modified in consideration of the influence of discontinuity of area boundaries.

画像信号の存在領域を０≦ｓ≦Ｗ，０≦ｔ≦Ｈとし，同領域内の画素値を一次元ベクトルとして並べ替えたものをｘとする。さらに，同領域内から，左上角の座標値を（ｓ₀，ｔ₀），水平方向・垂直方向の辺長をｗ，ｈとする矩形領域内の画素値を抽出し，一次元ベクトルとして並べ替えたベクトルをｘ（ｓ₀，ｔ₀，ｗ，ｈ）とする。 Assume that an image signal existence area is 0 ≦ s ≦ W and 0 ≦ t ≦ H, and pixel values in the area are rearranged as a one-dimensional vector. Further, from the same area, the pixel values in the rectangular area having the upper left corner coordinate value (s ₀ , t ₀ ) and the horizontal and vertical side lengths w and h are extracted and arranged as a one-dimensional vector. Let the changed vector be x (s ₀ , t ₀ , w, h).

ｘ（ｓ₀ ，ｔ₀ ，ｗ，ｈ）に対して，ノイズ・シェイピング法を用いて閾値δ以上の変換係数を選択する。このとき選択された変換係数の個数を，Ｒ［ｘ，ｓ₀，ｔ₀ ，ｗ，ｈ，δ］とおく。さらに，ｋ＝Ｒ［ｘ，ｓ₀ ，ｔ₀，ｗ，ｈ，δ］と略記し，変換係数として，｛ｃ₀，…，c _k-1｝が選択されたものとする。選択された基底信号を用いてｘ（ｓ₀ ，ｔ₀ ，ｗ，ｈ）を表現した場合の近似誤差を，Ｅ［ｘ，ｓ₀ ，ｔ₀ ，ｗ，ｈ，ｋ，Ｃ（δ）］とおく。ここで，Ｃ（δ）は，閾値δ以上の変換係数Ｃ（δ）＝｛ｃ₀ ，…，c _k-1｝を表す。例えば，ＤＴＣＷＴの場合，総数２ｎ個の係数の中からｋ個の係数を選択したことになる。 For x (s ₀ , t ₀ , w, h), a transform coefficient greater than or equal to the threshold value δ is selected using a noise shaping method. The number of transform coefficients selected at this time is R [x, s ₀ , t ₀ , w, h, δ]. Further, it is abbreviated as k = R [x, s ₀ , t ₀ , w, h, δ], and it is assumed that {c ₀ ,..., C _k−1 } is selected as a conversion coefficient. The approximation error when x (s ₀ , t ₀ , w, h) is expressed using the selected basis signal is represented by E [x, s ₀ , t ₀ , w, h, k, C (δ)]. far. Here, C (δ) represents a conversion coefficient C (δ) = {c ₀ ,..., C _k−1 } equal to or greater than the threshold value δ. For example, in the case of DTCWT, k coefficients are selected from a total of 2n coefficients.

［領域分割方法１］
画面内において，閾値一定の条件下で，同閾値以下の係数を切り捨て（零値とし），全領域の有意係数の個数を最小化するための分割を考える。さらに，垂直に２分割する場合と水平に２分割する場合の結果を比較し，上記有意係数の個数最小化の規範に基づき，垂直分割・水平分割のいずれかを選択する。 [Area Division Method 1]
Consider a division in the screen to minimize the number of significant coefficients in the entire region by rounding down the coefficients below the threshold value (with a zero value) under the condition that the threshold value is constant. Further, the results of the vertical division and the horizontal division are compared, and either vertical division or horizontal division is selected based on the above-mentioned norm of minimizing the number of significant coefficients.

領域分割の尺度として，次の有意係数の個数を用いる。 The following number of significant coefficients is used as a measure of region division.

Ξ_hor ［ｘ，０，ｈ，Ｗ，Ｈ，δ _u，δ _d ］
＝Ｒ［ｘ，０，０，Ｗ，ｈ，δ _u ］＋Ｒ［ｘ，０，ｈ，Ｗ，Ｈ−ｈ，δ _d ］
上式は，領域０≦ｓ≦Ｗ，０≦ｔ≦Ｈを，上側領域０≦ｓ≦Ｗ，０≦ｔ≦ｈ−１と，下側領域０≦ｓ≦Ｗ，ｈ≦ｔ≦Ｈに分割し，上側領域・下側領域を各々，閾値δ_u 以上の振幅値の係数，閾値δ_d 以上の振幅値の係数で表現した場合の変換係数の個数の和を表している。
Ξ _hor [x, 0, h, W, H, δ _u , δ _d ]
= R [x, 0, 0, W, h, [ delta ] _u ] + R [x, 0, h, W, H-h, [ delta ] _d ]
The above expression changes the region 0 ≦ s ≦ W, 0 ≦ t ≦ H to the upper region 0 ≦ s ≦ W, 0 ≦ t ≦ h−1, and the lower region 0 ≦ s ≦ W, h ≦ t ≦ H. The sum of the number of transform coefficients when the upper region and the lower region are each expressed by a coefficient of an amplitude value greater than or equal to a threshold value δ _{u and} a coefficient of an amplitude value greater than or equal to the threshold value δ _d is represented.

Ξ_ver［ｘ，ｗ，０，Ｗ，Ｈ，δ_l，δ_r］
＝Ｒ［ｘ，０，０，ｗ，Ｈ，δ_l］＋Ｒ［ｘ，ｗ，０，Ｗ−ｗ，Ｈ，δ_r］
上式は，領域０≦ｓ≦Ｗ，０≦ｔ≦Ｈを，左側領域０≦ｓ≦ｗ−１，０≦ｔ≦Ｈと，右側領域ｗ≦ｓ≦Ｗ，０≦ｔ≦Ｈに分割し，左側領域・右側領域を各々，閾値δ_l以上の振幅値の係数，閾値δ_r以上の振幅値の係数で表現した場合の変換係数の個数の和を表している。 Ξ _ver [x, w, 0, W, H, δ _l , δ _r ]
= R [x, 0, 0, w, H, δ _l ] + R [x, w, 0, W−w, H, δ _r ]
The above expression divides the region 0 ≦ s ≦ W and 0 ≦ t ≦ H into the left region 0 ≦ s ≦ w−1, 0 ≦ t ≦ H and the right region w ≦ s ≦ W, 0 ≦ t ≦ H. and, respectively left area and right area, represents the sum of the number of transform coefficients in the case of representation by a factor of threshold [delta] _l or more of the coefficients of the amplitude values, the threshold value [delta] _r more amplitude values.

閾値としてδが与えられるものとして，垂直方向に２分割する場合，次式に基づき分割位置を決定する。垂直方向に２分割する場合の分割位置ｈ₀は，次式で与えられる。 Assuming that δ is given as a threshold value, when dividing into two in the vertical direction, the division position is determined based on the following equation. The division position h _{0 in the} case of dividing into two in the vertical direction is given by the following equation.

同様に，閾値としてδが与えられるものとして，水平方向に２分割する場合，次式に基づき分割位置を決定する。水平方向に２分割する場合の分割位置ｗ₀は，次式で与えられる。 Similarly, assuming that δ is given as a threshold value, when dividing horizontally into two, the division position is determined based on the following equation. The division position w ₀ when dividing into two in the horizontal direction is given by the following equation.

上記式において，Ｍ_h，Ｍ_wは，分割位置を指定する粒度を決定するパラメータであり，予め与えられるものとする。このとき，
Ξ_hor［ｘ，０，ｈ₀，Ｗ，Ｈ，δ，δ］
≦ Ξ_ver［ｘ，ｗ₀，０，Ｗ，Ｈ，δ，δ］
となる場合には，ｔ＝ｈ₀の位置で垂直方向に分割を行うこととし，それ以外の場合には，ｓ＝ｗ₀の位置で水平方向に分割を行うこととする。なお，ｈ₀＝０あるいはｗ₀＝０となる場合，分割を行わないほうが最適であるので分割は行われない。 In the above formula, M _h and M _w are parameters for determining the granularity for designating the division position, and are given in advance. At this time,
Hor _hor [x, 0, h ₀ , W, H, δ, δ]
≦ Ξ _ver [x, w ₀ , 0, W, H, δ, δ]
In such a case, division is performed in the vertical direction at the position t = h ₀ , and in other cases, division is performed in the horizontal direction at the position s = w ₀ . Note that when h ₀ = 0 or w ₀ = 0, it is more optimal not to perform the division, so the division is not performed.

分割により得られた矩形領域の中で変換係数の個数が最大の領域（分割対象領域）に対して，上記と同様の分割処理を施す。選択した領域に対して分割が行われなかった場合には，先に選択された領域の次に変換係数の個数が最大の領域に対して，上記と同様の分割処理を施す。この繰り返しは，全ての分割領域に対して分割が行われなくなるまで続ける。または，分割領域内の画素数の下限値を設定しておき，分割の結果，この下限値を下回るような領域は生成されないように制限を設けることも可能である。 The same division processing as described above is performed on the region (division target region) having the largest number of transform coefficients in the rectangular region obtained by the division. If the selected area has not been divided, the same dividing process as described above is performed on the area having the largest number of transform coefficients after the previously selected area. This repetition is continued until all the divided areas are not divided. Alternatively, it is possible to set a lower limit value for the number of pixels in the divided area and to limit generation so that an area below the lower limit value is not generated as a result of the division.

［領域分割方法２］
画面内において，画面内の領域毎に閾値を設定し，かつ，領域間の閾値の差分値が一定範囲内であるという条件下で，閾値以下の係数を切り捨て（零値とし），全領域の有意係数の個数を最小化するための分割を考える。さらに，垂直に２分割する場合と水平に２分割する場合の結果を比較し，上記有意係数の個数最小化の規範に基づき，垂直分割・水平分割のいずれかを選択する。領域分割の尺度として，前述の有意係数の個数を用いる。 [Area division method 2]
In the screen, a threshold value is set for each area in the screen, and the coefficient below the threshold value is rounded down (set to zero) under the condition that the threshold difference value between the areas is within a certain range. Consider a partition to minimize the number of significant coefficients. Further, the results of the vertical division and the horizontal division are compared, and either vertical division or horizontal division is selected based on the above-mentioned norm of minimizing the number of significant coefficients. The number of significant coefficients described above is used as a measure of region division.

閾値としてδが与えられるものとして，分割後の２つの領域での閾値の差を閾値ζ以内に保つ条件下で，垂直方向に２分割する場合，次式に基づき分割位置を決定する。垂直方向に２分割する場合の分割位置ｈ₀は，次式で与えられる。 Assuming that δ is given as the threshold value, when dividing into two in the vertical direction under the condition that the difference between the threshold values in the two regions after division is within the threshold value ζ, the division position is determined based on the following equation. The division position h _{0 in the} case of dividing into two in the vertical direction is given by the following equation.

分割後の２つの領域での閾値の差を閾値ζ以内に保つ条件下で，水平方向に２分割する場合，次式に基づき分割位置を決定する。水平方向に２分割する場合の分割位置ｗ₀は，次式で与えられる。 When dividing into two in the horizontal direction under the condition that the difference between the threshold values in the two regions after division is kept within the threshold value ζ, the division position is determined based on the following equation. The division position w ₀ when dividing into two in the horizontal direction is given by the following equation.

ここで，βは，係数選択の閾値を指定する粒度を決定するパラメータであり，予め与えられるものとする。このとき，
Ξ_hor［ｘ，０，ｈ₀，Ｗ，Ｈ，δ，δ＋βｊ_d,0］
≦ Ξ_ver［ｘ，ｗ₀，０，Ｗ，Ｈ，δ，δ＋βｊ_r,0］
となる場合には，ｔ＝ｈ₀の位置で垂直方向に分割を行うこととし，それ以外の場合には，ｓ＝ｗ₀の位置で水平方向に分割を行うこととする。なお，ｈ₀＝０あるいはｗ₀＝０となる場合，分割を行わないほうが最適であるので分割は行われない。 Here, β is a parameter for determining the granularity for specifying the coefficient selection threshold, and is given in advance. At this time,
Hor _hor [x, 0, h ₀ , W, H, δ, δ + βj _{d, 0} ]
≤ Ξ _ver [x, w ₀ , 0, W, H, δ, δ + βj _{r, 0} ]
In such a case, division is performed in the vertical direction at the position t = h ₀ , and in other cases, division is performed in the horizontal direction at the position s = w ₀ . Note that when h ₀ = 0 or w ₀ = 0, it is more optimal not to perform the division, so the division is not performed.

［領域分割方法３］
画面内において，閾値一定の条件下で，同閾値以下の係数を切り捨て（零値とし），全領域の有意係数の個数を最小化するための分割を考える。さらに，垂直に２分割する場合と水平に２分割する場合の結果を比較し，上記有意係数の個数最小化の規範に基づき，垂直分割・水平分割のいずれかを選択する。 [Region division method 3]
Consider a division in the screen to minimize the number of significant coefficients in the entire region by rounding down the coefficients below the threshold value (with a zero value) under the condition that the threshold value is constant. Further, the results of the vertical division and the horizontal division are compared, and either vertical division or horizontal division is selected based on the above-mentioned norm of minimizing the number of significant coefficients.

領域分割の尺度として，前述の有意係数の個数および分割境界の不連続性の評価尺度（不連続尺度）を用いる。不連続尺度は，以下の境界領域に対して定義する。垂直分割の場合，上側領域（ｋ_h個の係数Ｃ_uで表現）内の下部０≦ｓ≦Ｗ，ｈ−Ｌ≦ｔ≦ｈ−１と下側領域（ｋ−ｋ_h個の係数Ｃ_dで表現）内の上部０≦ｓ≦Ｗ，ｈ≦ｔ≦ｈ＋Ｌからなる矩形領域０≦ｓ≦Ｗ，ｈ−Ｌ≦ｔ≦ｈ＋Ｌを対象とし，同矩形領域に対する不連続尺度を次のように表す。 As the scale of area division, the above-mentioned number of significant coefficients and the evaluation scale (discontinuity scale) of the discontinuity of the division boundary are used. The discontinuity scale is defined for the following boundary regions: In the case of vertical division, the lower 0 ≦ s ≦ W, h−L ≦ t ≦ h−1 and the lower region (k− _{h h} coefficients C _d ) in the upper region (represented by k _h coefficients C _u ). In the following, the discontinuity scale for the rectangular region is defined as follows: 0 ≦ s ≦ W, h ≦ t ≦ h + L, and rectangular region 0 ≦ s ≦ W and h−L ≦ t ≦ h + L. Represent.

Θ_hor［ｘ，０，Ｗ，ｈ−Ｌ，２Ｌ＋１，δ_u，δ_d，Ｃ_u，Ｃ_d］
ここで，第２，３引数は，分割前後の領域に対する水平方向の存在領域０≦ｓ≦Ｗの下限・上限を示している。第４，５引数は，境界領域に対する垂直方向の存在領域の下限ｈ−Ｌおよび同領域の垂直方向の幅２Ｌ＋１を示している。第６，７引数δ_u，δ_dは，上側領域および下側領域における係数の切り捨てに用いる閾値である。同閾値以下の係数は切り捨て，零値とする。第８，９引数Ｃ_u，Ｃ_dは，閾値以下の係数を切り捨てた後に得られる上側領域および下側領域における係数である。 Θ _hor [x, 0, W, h−L, 2L + 1, δ _u , δ _d , C _u , C _d ]
Here, the second and third arguments indicate the lower and upper limits of the horizontal existence area 0 ≦ s ≦ W with respect to the areas before and after the division. The fourth and fifth arguments indicate the lower limit h−L of the existence region in the vertical direction with respect to the boundary region and the vertical width 2L + 1 of the region. The sixth and seventh arguments δ _u and δ _d are threshold values used for rounding down coefficients in the upper region and the lower region. Coefficients below the threshold are rounded down to zero. The eighth and ninth arguments C _u and C _d are coefficients in the upper region and the lower region obtained after truncating the coefficient equal to or less than the threshold value.

水平分割の場合，左側領域（ｋ_w個の係数Ｃ_lで表現）内の右端部ｗ−Ｌ≦ｓ≦ｗ−１，０≦ｔ≦Ｈと右側領域（ｋ−ｋ_w個の係数Ｃ_rで表現）内の左端部ｗ≦ｓ≦ｗ＋Ｌ，０≦ｔ≦Ｈからなる矩形領域ｗ−Ｌ≦ｓ≦ｗ＋Ｌ，０≦ｔ≦Ｈを対象とし，同矩形領域に対する不連続尺度を次のように表す。 In the case of horizontal division, the right end w−L ≦ s ≦ w−1, 0 ≦ t ≦ H and the right region (k−k _w coefficients C _r ) in the left region (represented by k _w coefficients C _l ). The discontinuity scale for the rectangular region is expressed as follows with respect to the rectangular region w−L ≦ s ≦ w + L, 0 ≦ t ≦ H consisting of the left end portion w ≦ s ≦ w + L and 0 ≦ t ≦ H. Expressed in

Θ_ver［ｘ，０，Ｈ，ｗ−Ｌ，２Ｌ＋１，δ_l，δ_r，Ｃ_l，Ｃ_r］
ここで，第２，３引数は，分割前後の領域に対する垂直方向の存在領域０≦ｔ≦Ｈの下限・上限を示している。第４，５引数は，境界領域に対する水平方向の存在領域の下限ｗ−Ｌおよび同領域の水平方向の幅２Ｌ＋１を示している。第６，７引数δ_l，δ_rは，左側領域および右側領域における係数の切り捨てに用いる閾値である。同閾値以下の係数は切り捨て，零値とする。第８，９引数Ｃ_l，Ｃ_rは，閾値以下の係数を切り捨てた後に得られる左側領域および右側領域における係数である。 Θ _ver [x, 0, H, w−L, 2L + 1, δ _l , δ _r , C _l , C _r ]
Here, the second and third arguments indicate the lower and upper limits of the existence area 0 ≦ t ≦ H in the vertical direction with respect to the areas before and after the division. The fourth and fifth arguments indicate the lower limit w−L of the horizontal existence area with respect to the boundary area and the horizontal width 2L + 1 of the same area. The sixth and seventh arguments δ _l and δ _r are threshold values used for truncation of coefficients in the left region and the right region. Coefficients below the threshold are rounded down to zero. The eighth and ninth arguments C _l and C _r are coefficients in the left region and the right region obtained after truncating the coefficient equal to or less than the threshold value.

不連続尺度としては，例えば，近似誤差の乖離度を用いる。これは，垂直分割の場合，上側領域（ｋ_h個の係数Ｃ_uで表現）内の下部０≦ｓ≦Ｗ，ｈ−Ｌ≦ｔ≦ｈ−１における近似誤差と下側領域（ｋ−ｋ_h個の係数Ｃ_dで表現）内の上部０≦ｓ≦Ｗ，ｈ≦ｔ≦ｈ＋Ｌにおける近似誤差の差分値であり，水平分割の場合，左側領域（ｋ_w個の係数Ｃ_lで表現）内の右端部ｗ−Ｌ≦ｓ≦ｗ−１，０≦ｔ≦Ｈにおける近似誤差と右側領域（ｋ−ｋ_w個の係数Ｃ_rで表現）内の左端部ｗ≦ｓ≦ｗ＋Ｌ，０≦ｔ≦Ｈにおける近似誤差との差分値である。あるいは，上記の近似誤差の差分値に対して，一定の重みを乗じた値を用いることも可能である。 As the discontinuity scale, for example, the deviation degree of the approximation error is used. This is because, in the case of vertical division, the upper region bottom 0 ≦ s ≦ W in (k _h pieces of coefficient C _u expressed in), h-L ≦ t ≦ approximation error and the lower region of h-1 (k-k top 0 ≦ s ≦ W of _{the h} representations by the coefficient C _d) in a difference value of the approximation error in h ≦ t ≦ h + L, for horizontal split, represented in the left region (k _w pieces of coefficient C _l) Approximation error at right end portion w−L ≦ s ≦ w−1, 0 ≦ t ≦ H and left end portion w ≦ s ≦ w + L, 0 ≦ within right region (represented by k−k _w coefficients C _r ) It is a difference value from the approximation error at t ≦ H. Alternatively, it is possible to use a value obtained by multiplying the difference value of the approximation error by a constant weight.

また，分割境界領域におけるＳＳＩＭ（下記の参考文献１参照）の符号を反転した値を用いることも可能である。
〔参考文献１〕：Z. Wang and E. P. Simoncelli，“Translation insensitive image similarity in complex wavelet domain”，IEEE International Conference on Acoustics, Speech and Signal Processing, vol. II, pp. 573-576, Philadelphia, PA, Mar. 2005 ．
閾値としてδが与えられるものとして，垂直方向に２分割する場合，次式に基づき分割位置を決定する。垂直方向に２分割する場合の分割位置ｈ₀は，次式で与えられる。 It is also possible to use a value obtained by inverting the sign of SSIM (see Reference Document 1 below) in the divided boundary region.
[Reference 1]: Z. Wang and EP Simoncelli, “Translation insensitive image similarity in complex wavelet domain”, IEEE International Conference on Acoustics, Speech and Signal Processing, vol. II, pp. 573-576, Philadelphia, PA, Mar 2005.
Assuming that δ is given as a threshold value, when dividing into two in the vertical direction, the division position is determined based on the following equation. The division position h _{0 in the} case of dividing into two in the vertical direction is given by the following equation.

上記式において，Ｍ_h，Ｍ_wは，分割位置を指定する粒度を決定するパラメータであり，予め与えられるものとする。このとき，
Ξ_hor［ｘ，０，ｈ₀，Ｗ，Ｈ，δ，δ］＋λΘ_hor［ｘ，０，Ｗ，ｈ₀−Ｌ，２Ｌ＋１，δ，δ，Ｃ_u，Ｃ_d］
≦ Ξ_ver［ｘ，ｗ₀，０，Ｗ，Ｈ，δ，δ］＋λΘ_ver［ｘ，０，Ｈ，ｗ₀−Ｌ，２Ｌ＋１，δ，δ，Ｃ_l，Ｃ_r］
となる場合には，ｔ＝ｈ₀の位置で垂直方向に分割を行うこととし，それ以外の場合には，ｓ＝ｗ₀の位置で水平方向に分割を行うこととする。なお，ｈ₀＝０あるいはｗ₀＝０となる場合，分割を行わないほうが最適であるので分割は行われない。 In the above formula, M _h and M _w are parameters for determining the granularity for designating the division position, and are given in advance. At this time,
Hor _hor [x, 0, h ₀ , W, H, δ, δ] + λΘ _hor [x, 0, W, h ₀ −L, 2L + 1, δ, δ, C _u , C _d ]
≦ Ξ _ver [x, w ₀ , 0, W, H, δ, δ] + λΘ _ver [x, 0, H, w ₀ −L, 2L + 1, δ, δ, C _l , C _r ]
In such a case, division is performed in the vertical direction at the position t = h ₀ , and in other cases, division is performed in the horizontal direction at the position s = w ₀ . Note that when h ₀ = 0 or w ₀ = 0, it is more optimal not to perform the division, so the division is not performed.

［領域分割方法４］
画面内において，画面内の領域毎に閾値を設定し，かつ，領域間の閾値の差分値が一定範囲内であるという条件下で，閾値以下の係数を切り捨て（零値とし），全領域の有意係数の個数を最小化するための分割を考える。さらに，垂直に２分割する場合と水平に２分割する場合の結果を比較し，上記有意係数の個数最小化の規範に基づき，垂直分割・水平分割のいずれかを選択する。 [Area Division Method 4]
In the screen, a threshold value is set for each area in the screen, and the coefficient below the threshold value is rounded down (set to zero) under the condition that the threshold difference value between the areas is within a certain range. Consider a partition to minimize the number of significant coefficients. Further, the results of the vertical division and the horizontal division are compared, and either vertical division or horizontal division is selected based on the above-mentioned norm of minimizing the number of significant coefficients.

領域分割の尺度として前述の有意係数の個数および分割境界の不連続性の評価尺度（不連続尺度）を用いる。 The number of significant coefficients and the evaluation measure (discontinuity measure) of the discontinuity of the dividing boundary are used as a measure of region division.

ここで，βは，係数選択の閾値を指定する粒度を決定するパラメータであり，予め与えられるものとする。このとき，
Ξ_hor［ｘ，０，ｈ₀，Ｗ，Ｈ，δ，δ＋βｊ_d,0］＋λΘ_hor［ｘ，０，Ｗ，ｈ₀−Ｌ，２Ｌ＋１，δ，δ＋βｊ_d,0，Ｃ_u，Ｃ_d］
≦ Ξ_ver［ｘ，ｗ₀，０，Ｗ，Ｈ，δ，δ＋βｊ_r,0］＋λΘ_ver［ｘ，０，Ｈ，ｗ₀−Ｌ，２Ｌ＋１，δ，δ＋βｊ_r,0，Ｃ_l，Ｃ_r］
となる場合には，ｔ＝ｈ₀の位置で垂直方向に分割を行うこととし，それ以外の場合には，ｓ＝ｗ₀の位置で水平方向に分割を行うこととする。なお，ｈ₀＝０あるいはｗ₀＝０となる場合，分割を行わないほうが最適であるので分割は行われない。 Here, β is a parameter for determining the granularity for specifying the coefficient selection threshold, and is given in advance. At this time,
Hor _hor [x, 0, h ₀ , W, H, δ, δ + βj _{d, 0} ] + λΘ _hor [x, 0, W, h ₀ −L, 2L + 1, δ, δ + βj _{d, 0} , C _u , C _d ]
≦ Ξ _ver [x, w ₀ , 0, W, H, δ, δ + βj _{r, 0} ] + λΘ _ver [x, 0, H, w ₀ −L, 2L + 1, δ, δ + βj _{r, 0} , C _l , C _r ]
In such a case, division is performed in the vertical direction at the position t = h ₀ , and in other cases, division is performed in the horizontal direction at the position s = w ₀ . Note that when h ₀ = 0 or w ₀ = 0, it is more optimal not to perform the division, so the division is not performed.

次に，以上説明した領域分割方法を用いて最適な領域分割を行い，変換係数の絞り込みを行って有意変換係数を符号化する画像符号化装置と，その処理フローの例について説明する。 Next, an image encoding apparatus that performs optimal region division using the above-described region division method, narrows down transform coefficients, and encodes significant transform coefficients, and an example of a processing flow thereof will be described.

［画像符号化装置の構成例］
図１は，本発明の実施形態に係る画像符号化装置の構成例を示す。画像符号化装置１０は映像信号を入力すると，予測部１４により予測された予測信号との差分から予測残差信号を求め，その予測残差信号を変換部１１により冗長系の変換基底を用いて変換する。係数選択処理部２０は，変換部１１の出力である変換係数の絞り込みを行い，符号化に用いる有意変換係数を選択する。エントロピ符号化部１５は，選択された有意変換係数を可変長符号化し，符号化ストリームとして出力する。 [Configuration Example of Image Encoding Device]
FIG. 1 shows a configuration example of an image coding apparatus according to an embodiment of the present invention. When the image encoding device 10 receives the video signal, the image encoding device 10 obtains a prediction residual signal from the difference from the prediction signal predicted by the prediction unit 14, and the prediction residual signal is converted by the conversion unit 11 using the conversion base of the redundant system. Convert. The coefficient selection processing unit 20 narrows down the transform coefficients that are output from the transform unit 11 and selects significant transform coefficients used for encoding. The entropy encoding unit 15 performs variable length encoding on the selected significant transform coefficient and outputs it as an encoded stream.

一方，係数選択処理部２０の出力は，逆変換部１２で逆変換され，その変換結果に予測信号が加えられて復号信号が生成される。復号信号は，歪除去フィルタ１３によりノイズ除去処理がなされ，参照復号信号として予測部１４に入力される。予測部１４では，次の映像信号の符号化のための予測信号の生成を行う。 On the other hand, the output of the coefficient selection processing unit 20 is inversely transformed by the inverse transformation unit 12, and a prediction signal is added to the transformation result to generate a decoded signal. The decoded signal is subjected to noise removal processing by the distortion removal filter 13 and input to the prediction unit 14 as a reference decoded signal. The prediction unit 14 generates a prediction signal for encoding the next video signal.

係数選択処理部２０における有意変換係数の選択は，次のように行われる。まず，最適分割処理部２２は，画像の領域を分割する複数の分割候補となる位置のそれぞれについて分割位置を設定し，領域分割を行い，係数選択部２２１により，各分割領域で閾値以下の変換係数を切り捨てることにより有意変換係数を選択する。また，コスト算出部２２２により，領域分割に応じた符号化のコスト，例えば全領域の有意変換係数の個数，変換係数の切り捨てにより生じる誤差の和，または，分割領域の境界部における不連続性をコストとして考慮する場合には，その不連続性のコストを算出する。その結果をもとに，最適分割処理部２２は，コストが最も小さくなる領域分割を最適分割として選択する。 Selection of the significant conversion coefficient in the coefficient selection processing unit 20 is performed as follows. First, the optimum division processing unit 22 sets a division position for each of a plurality of division candidate positions for dividing an image region, performs region division, and the coefficient selection unit 221 performs conversion below a threshold value in each division region. Select significant conversion coefficients by truncating the coefficients. Further, the cost calculation unit 222 calculates the coding cost according to the region division, for example, the number of significant transform coefficients in all regions, the sum of errors caused by truncation of transform coefficients, or the discontinuity at the boundary of the segmented regions. When considering it as a cost, the cost of the discontinuity is calculated. Based on the result, the optimum division processing unit 22 selects the area division with the smallest cost as the optimum division.

領域分割形状設定部２１は，最適分割処理部２２によって決定された領域分割を示す情報と，その領域分割に対して係数選択部２２１によって選択された有意変換係数とを符号化対象情報として，エントロピ符号化部１５に出力する。 The area division shape setting unit 21 uses the information indicating the area division determined by the optimum division processing unit 22 and the significant transform coefficient selected by the coefficient selection unit 221 for the area division as the encoding target information, and entropy. The data is output to the encoding unit 15.

［係数選択処理フロー］
図２は，係数選択処理部２０が実行する係数選択処理フローを示す図である。ここでは，主に［領域分割方法４］により領域分割を行う場合の実施例を説明するが，この方法は，［領域分割方法１］〜［領域分割方法３］の方法を包含しており，以下の説明から［領域分割方法１］〜［領域分割方法３］の領域分割による係数選択処理についても同様に実施することができることは明らかである。 [Coefficient selection process flow]
FIG. 2 is a diagram illustrating a coefficient selection processing flow executed by the coefficient selection processing unit 20. Here, an embodiment in the case of performing region division mainly by [region division method 4] will be described, but this method includes the methods of [region division method 1] to [region division method 3] From the following description, it is clear that the coefficient selection processing by area division of [area division method 1] to [area division method 3] can be similarly performed.

この例では，係数選択処理部２０は，閾値δと，閾値の変動を一定範囲内許容する場合の変動範囲の閾値ζと，係数選択の閾値を指定する粒度を決定するパラメータであるβと，処理対象画像の領域（最初は入力画像信号の全領域）とを引数とするＳｅｇｍｅｎｔ関数によって呼び出され，以下の処理を行う。
［ステップＳ１］：領域を領域１と領域２とに分割するとした場合の領域２の係数選択の閾値δ２をループインデックスとして，初期値をδ２＝δ−ζβとし，増分をβとし，δ２≦δ＋βζの間，ステップＳ１〜Ｓ５の処理を繰り返す。
［ステップＳ２］：領域１の係数選択の閾値δ１をループインデックスとして，初期値をδ１＝δ−ζβとし，増分をβとし，δ１≦δ＋βζの間，ステップＳ２〜Ｓ４の処理を繰り返す。
［ステップＳ３］：δ１，δ２および入力領域を引数として，Ｏｐｔ＿ｓｕｂ＿ｄｉｖ関数を呼び出す。この関数によって，最適分割処理部２２により，図３，図４に示す最適分割処理が実行される。
［ステップＳ４］：ループインデックスδ１にζβを加算し，ステップＳ２以降の処理を繰り返す。δ１がδ＋ζβ以上になったならばループを終了する。
［ステップＳ５］：ループインデックスδ２にζβを加算し，ステップＳ１以降の処理を繰り返す。δ２がδ＋ζβ以上になったならばループを終了する。
［ステップＳ６］：ステップＳ３の処理結果から最適な係数個数を算出する。
［ステップＳ７］：分割無しラベルを持たない領域の有無を判定し，分割無しラベルを持たない領域がある場合には，ステップＳ８を実行する。すべての領域が分割無しラベルを持つ領域になった場合には，処理を終了する。
［ステップＳ８］：分割無しラベルを持つ領域の中でコスト関数が最大となる領域を選択し，δと，ζと，βと，コスト関数が最大となる領域とを引数とするＳｅｇｍｅｎｔ関数を呼び出し，係数選択処理部２０による処理を，分割無しラベルを持つ領域が無くなるまで，再帰的に繰り返す。 In this example, the coefficient selection processing unit 20 includes a threshold δ, a threshold ζ of a variation range when the variation of the threshold is allowed within a certain range, β that is a parameter for determining a granularity for specifying a threshold for coefficient selection, It is called by the Segment function that takes the region of the processing target image (initially the entire region of the input image signal) as an argument, and performs the following processing.
[Step S1]: When the region is divided into the region 1 and the region 2, the threshold δ2 for selecting the coefficient of the region 2 is a loop index, the initial value is δ2 = δ−ζβ, the increment is β, and δ2 ≦ δ + βζ In the meantime, the processes of steps S1 to S5 are repeated.
[Step S2]: The coefficient selection threshold δ1 of the region 1 is set as a loop index, the initial value is set as δ1 = δ−ζβ, the increment is set as β, and the processing of steps S2 to S4 is repeated while δ1 ≦ δ + βζ.
[Step S3]: The Opt_sub_div function is called with δ1, δ2 and the input area as arguments. With this function, the optimum division processing unit 22 executes the optimum division processing shown in FIGS.
[Step S4]: ζβ is added to the loop index δ1, and the processing after step S2 is repeated. When δ1 becomes δ + ζβ or more, the loop is terminated.
[Step S5]: ζβ is added to the loop index δ2, and the processing after step S1 is repeated. When δ2 becomes δ + ζβ or more, the loop is terminated.
[Step S6]: The optimum number of coefficients is calculated from the processing result of Step S3.
[Step S7]: It is determined whether or not there is an area having no undivided label. If there is an area having no undivided label, step S8 is executed. If all the areas have an undivided label, the process ends.
[Step S8]: A region having the maximum cost function is selected from among regions having no division labels, and a Segment function is called with δ, ζ, β, and a region having the maximum cost function as arguments. , The processing by the coefficient selection processing unit 20 is recursively repeated until there is no area having a label without division.

［最適分割処理フロー］
図３および図４に，最適分割処理部２２が実行する最適分割処理フローを示す。最適分割処理部２２は，図２に示すステップＳ３におけるＯｐｔ＿ｓｕｂ＿ｄｉｖ関数（最適分割処理関数）によって呼び出される。入力は，領域１の係数選択の閾値δ１，領域２の係数選択の閾値δ２，最適分割対象の領域である。
［ステップＳ１０］：縦分割位置（領域を垂直方向に２分割する位置）をループインデックスとして，初期値を０，増分をＭとし，縦分割位置＜画面縦幅の間，ステップＳ１０〜Ｓ１２の処理を繰り返す。
［ステップＳ１１］：δ１，δ２および縦分割位置を引数として，コスト関数算出関数を呼び出す。この関数によって，コスト算出部２２２により，図５に示すコスト関数算出処理が実行される。
［ステップＳ１２］：ループインデックスの縦分割位置にＭを加算し，ステップＳ１０以降の処理を繰り返す。縦分割位置が画面縦幅以上になったならばループを終了する。
［ステップＳ１３］：コスト関数算出の処理結果から最適縦分割位置を算出し，図４のステップＳ２０へ進む。
［ステップＳ１４］：横分割位置（領域を水平方向に２分割する位置）をループインデックスとして，初期値を０，増分をＭとし，横分割位置＜画面横幅の間，ステップＳ１４〜Ｓ１６の処理を繰り返す。
［ステップＳ１５］：δ１，δ２および横分割位置を引数として，コスト関数算出関数を呼び出す。この関数によって，コスト算出部２２２により，図５に示すコスト関数算出処理が実行される。
［ステップＳ１６］：ループインデックスの横分割位置にＭを加算し，ステップＳ１４以降の処理を繰り返す。横分割位置が画面横幅以上になったならばループを終了する。
［ステップＳ１７］：コスト関数算出の処理結果から最適横分割位置を算出し，図４のステップＳ２０へ進む。なお，ステップＳ１０〜Ｓ１３とステップＳ１４〜Ｓ１７の処理は，パラレルに実行してもシリアルに実行してもどちらでもよい。
［ステップＳ２０］：最適縦分割位置を用いたコストと最適横分割位置を用いたコストとの大小を比較し，最適縦分割位置を用いたコストのほうが小さい場合には，ステップＳ２１へ進み，そうでない場合には，ステップＳ２５へ進む。
［ステップＳ２１］：一方の分割領域の画素数が０か，または一方の分割領域の変換係数の個数が０の場合，ステップＳ２２へ進み，そうでない場合には，ステップＳ２４へ進む。
［ステップＳ２２］：入力された領域に対して，領域の分割は行わないことを示す分割無しラベルを付与する。
［ステップＳ２３］：Ｏｐｔ＿ｓｕｂ＿ｄｉｖ関数の呼び出し元へ分割無しラベルを返し，処理を終了する。
［ステップＳ２４］：最適縦分割位置の情報，各分割領域の変換係数，各分割領域の近似誤差，コスト関数値を，Ｏｐｔ＿ｓｕｂ＿ｄｉｖ関数の呼び出し元へ返し，処理を終了する。
［ステップＳ２５］：一方の分割領域の画素数が０か，または一方の分割領域の変換係数の個数が０の場合，ステップＳ２６へ進み，そうでない場合には，ステップＳ２８へ進む。
［ステップＳ２６］：入力された領域に対して，領域の分割は行わないことを示す分割無しラベルを付与する。
［ステップＳ２７］：Ｏｐｔ＿ｓｕｂ＿ｄｉｖ関数の呼び出し元へ分割無しラベルを返し，処理を終了する。
［ステップＳ２８］：最適横分割位置の情報，各分割領域の変換係数，各分割領域の近似誤差，コスト関数値を，Ｏｐｔ＿ｓｕｂ＿ｄｉｖ関数の呼び出し元へ返し，処理を終了する。 [Optimal split processing flow]
FIG. 3 and FIG. 4 show the optimum division processing flow executed by the optimum division processing unit 22. The optimum division processing unit 22 is called by the Opt_sub_div function (optimum division processing function) in step S3 shown in FIG. The input is the coefficient selection threshold value δ1 of the region 1, the coefficient selection threshold value δ2 of the region 2, and the optimal division target region.
[Step S10]: The vertical division position (position at which the region is divided into two in the vertical direction) is set as a loop index, the initial value is 0, the increment is M, and the processing of steps S10 to S12 is performed while the vertical division position <the screen vertical width. repeat.
[Step S11]: The cost function calculation function is called with δ1, δ2 and the vertical division position as arguments. With this function, the cost calculation unit 222 executes the cost function calculation process shown in FIG.
[Step S12]: M is added to the vertical division position of the loop index, and the processing after step S10 is repeated. If the vertical division position exceeds the screen vertical width, the loop is terminated.
[Step S13]: The optimum vertical division position is calculated from the processing result of the cost function calculation, and the process proceeds to step S20 in FIG.
[Step S14]: The horizontal division position (position at which the region is divided into two in the horizontal direction) is set as a loop index, the initial value is 0, the increment is M, and the processing of steps S14 to S16 is performed while the horizontal division position <the horizontal width of the screen. repeat.
[Step S15]: The cost function calculation function is called with δ1, δ2 and the horizontal division position as arguments. With this function, the cost calculation unit 222 executes the cost function calculation process shown in FIG.
[Step S16]: M is added to the horizontal division position of the loop index, and the processes in and after step S14 are repeated. If the horizontal division position exceeds the screen horizontal width, the loop is terminated.
[Step S17]: The optimum horizontal division position is calculated from the processing result of the cost function calculation, and the process proceeds to Step S20 in FIG. Note that the processes of steps S10 to S13 and steps S14 to S17 may be executed in parallel or serially.
[Step S20]: The cost using the optimum vertical division position is compared with the cost using the optimum horizontal division position. If the cost using the optimum vertical division position is smaller, the process proceeds to step S21. If not, the process proceeds to step S25.
[Step S21]: If the number of pixels in one divided area is 0 or the number of transform coefficients in one divided area is 0, the process proceeds to step S22, and if not, the process proceeds to step S24.
[Step S22]: A non-division label indicating that the area is not divided is assigned to the input area.
[Step S23]: A non-divided label is returned to the caller of the Opt_sub_div function, and the process ends.
[Step S24]: The information of the optimal vertical division position, the conversion coefficient of each divided area, the approximate error of each divided area, and the cost function value are returned to the caller of the Opt_sub_div function, and the process is terminated.
[Step S25]: If the number of pixels in one divided area is 0 or the number of transform coefficients in one divided area is 0, the process proceeds to step S26, and if not, the process proceeds to step S28.
[Step S26]: A non-division label indicating that the area is not divided is assigned to the input area.
[Step S27]: A label without division is returned to the caller of the Opt_sub_div function, and the process is terminated.
[Step S28]: The information of the optimal horizontal division position, the conversion coefficient of each divided area, the approximate error of each divided area, and the cost function value are returned to the caller of the Opt_sub_div function, and the process is terminated.

［コスト関数算出処理フロー］
図５に，コスト算出部２２２が実行するコスト関数算出処理フローを示す。コスト算出部２２２は，図３に示すステップＳ１１およびＳ１５におけるコスト関数算出関数によって呼び出される。入力は，領域１の係数選択の閾値δ１，領域２の係数選択の閾値δ２，縦分割位置または横分割位置である。
［ステップＳ３０］：領域１に対して，閾値δ１未満の係数を零値にする係数選択処理を行う。
［ステップＳ３１］：領域１に対して，上記の係数選択処理により選択された係数で近似した場合の近似誤差を算出する。
［ステップＳ３２］：領域１に対して，上記の係数選択処理により選択された係数で近似した場合の復号信号を得る。その後，ステップＳ３６へ進む。
［ステップＳ３３］：領域２に対して，閾値δ２未満の係数を零値にする係数選択処理を行う。
［ステップＳ３４］：領域２に対して，上記の係数選択処理により選択された係数で近似した場合の近似誤差を算出する。
［ステップＳ３５］：領域２に対して，上記の係数選択処理により選択された係数で近似した場合の復号信号を得る。なお，ステップＳ３０〜Ｓ３２とステップＳ３３〜Ｓ３５とは，パラレルに実行してもシリアルに実行してもどちらでもよい。
［ステップＳ３６］：領域１，２の復号信号の境界領域に対して，不連続尺度を算出する。
［ステップＳ３７］：領域１，２の近似誤差和にλ×不連続尺度を加算して，コスト関数値を算出する。算出したコスト関数値を，関数の呼び出し元へ返し，処理を終了する。 [Cost function calculation processing flow]
FIG. 5 shows a cost function calculation process flow executed by the cost calculation unit 222. The cost calculation unit 222 is called by the cost function calculation function in steps S11 and S15 shown in FIG. The input is a coefficient selection threshold value δ1 for the region 1, a coefficient selection threshold value δ2 for the region 2, and a vertical division position or a horizontal division position.
[Step S30]: A coefficient selection process is performed for the region 1 so that a coefficient less than the threshold value δ1 is zero.
[Step S31]: An approximation error is approximated when the region 1 is approximated by the coefficient selected by the coefficient selection process described above.
[Step S32]: A decoded signal is obtained when the region 1 is approximated by the coefficient selected by the coefficient selection process described above. Thereafter, the process proceeds to step S36.
[Step S33]: A coefficient selection process is performed for the area 2 so that a coefficient less than the threshold value δ2 is zero.
[Step S34]: An approximation error is approximated when the region 2 is approximated by the coefficient selected by the coefficient selection process.
[Step S35]: A decoded signal is obtained when the region 2 is approximated by the coefficient selected by the coefficient selection process. Note that steps S30 to S32 and steps S33 to S35 may be executed in parallel or serially.
[Step S36]: A discontinuity measure is calculated for the boundary region of the decoded signals in regions 1 and 2.
[Step S37]: λ × discontinuity scale is added to the approximate error sum of regions 1 and 2 to calculate a cost function value. The calculated cost function value is returned to the function caller, and the process ends.

以上の画像符号化の処理は，コンピュータとソフトウェアプログラムとによっても実現することができ，そのプログラムをコンピュータ読み取り可能な記録媒体に記録することも，ネットワークを通して提供することも可能である。 The above-described image encoding processing can be realized by a computer and a software program, and the program can be recorded on a computer-readable recording medium or provided through a network.

図６は，本発明をソフトウェアプログラムを用いて実現する場合のシステムの構成例を示している。メモリ５２には，本発明の画像符号化処理を行うための画像符号化プログラム５３が格納される。ＣＰＵ５０は，メモリ５２に格納された画像符号化プログラム５３の命令を逐次フェッチして実行する。映像記憶装置５１は，符号化対象の映像信号を記憶する装置である。映像信号は，図示省略したカメラ等から入力するようにしてもよい。画像符号化プログラム５３によって生成された符号化ストリームは，符号化ストリーム記憶装置５４に格納される。または，ネットワークアダプタ等のインタフェースを介して，符号化ストリームを外部装置に出力してもよい。システムバス５５は，ＣＰＵ５０，映像記憶装置５１，メモリ５２，符号化ストリーム記憶装置５４を接続するバスである。 FIG. 6 shows an example of the system configuration when the present invention is implemented using a software program. The memory 52 stores an image encoding program 53 for performing the image encoding process of the present invention. The CPU 50 sequentially fetches and executes the instructions of the image encoding program 53 stored in the memory 52. The video storage device 51 is a device that stores a video signal to be encoded. The video signal may be input from a camera or the like (not shown). The encoded stream generated by the image encoding program 53 is stored in the encoded stream storage device 54. Alternatively, the encoded stream may be output to an external device via an interface such as a network adapter. The system bus 55 is a bus that connects the CPU 50, the video storage device 51, the memory 52, and the encoded stream storage device 54.

１０画像符号化装置
１１変換部
１２逆変換部
１３歪除去フィルタ
１４予測部
１５エントロピ符号化部
２０係数選択処理部
２１領域分割形状設定部
２２最適分割処理部
２２１係数選択部
２２２コスト算出部 DESCRIPTION OF SYMBOLS 10 Image coding apparatus 11 Conversion part 12 Inverse conversion part 13 Distortion removal filter 14 Prediction part 15 Entropy encoding part 20 Coefficient selection process part 21 Area division shape setting part 22 Optimal division process part 221 Coefficient selection part 222 Cost calculation part

Claims

入力された画像信号に対して冗長系の変換基底を用いた変換を行い，得られた変換係数を絞り込み，絞り込んだ結果の有意変換係数を符号化する画像符号化方法において，
画像の領域を分割する複数の分割候補となる位置のそれぞれについて，分割位置を設定する過程と，
前記設定された分割位置で画像の領域を分割し，閾値一定の条件下で，各分割領域における前記閾値以下の変換係数を切り捨てる過程と，
前記複数の分割候補となる位置でそれぞれ分割したすべての領域分割の中で，全領域の有意変換係数の個数または変換係数の切り捨てによる誤差の和が最小となる領域分割を選択するとともに，各分割領域における符号化に用いる有意変換係数を選択する過程とを有する
ことを特徴とする画像符号化方法。 In an image encoding method for performing conversion using a redundant conversion basis on an input image signal, narrowing down the obtained conversion coefficients, and encoding significant conversion coefficients as a result of the narrowing down,
A process of setting a division position for each of a plurality of division candidate positions for dividing an image region;
Dividing a region of the image at the set division position, and truncating a transform coefficient equal to or less than the threshold value in each divided region under a constant threshold condition;
Among all the area divisions respectively divided at the positions to be the plurality of division candidates, the area division that minimizes the number of significant conversion coefficients in all areas or the sum of errors due to conversion coefficient truncation is selected, and each division is selected. And a step of selecting a significant transform coefficient used for encoding in the region.

入力された画像信号に対して冗長系の変換基底を用いた変換を行い，得られた変換係数を絞り込み，絞り込んだ結果の有意変換係数を符号化する画像符号化方法において，
画像の領域を分割する複数の分割候補となる位置のそれぞれについて，分割位置を設定する過程と，
前記設定された分割位置で画像の領域を分割し，閾値の変動を一定範囲内許容するという条件下で，各分割領域における前記閾値以下の変換係数を切り捨てる過程と，
前記複数の分割候補となる位置でそれぞれ分割したすべての領域分割の中で，全領域の有意変換係数の個数または変換係数の切り捨てによる誤差の和が最小となる領域分割を選択するとともに，各分割領域における符号化に用いる有意変換係数を選択する過程とを有する
ことを特徴とする画像符号化方法。 In an image encoding method for performing conversion using a redundant conversion basis on an input image signal, narrowing down the obtained conversion coefficients, and encoding significant conversion coefficients as a result of the narrowing down,
A process of setting a division position for each of a plurality of division candidate positions for dividing an image region;
Dividing a region of the image at the set division position and truncating a conversion coefficient equal to or less than the threshold value in each division region under a condition that variation of the threshold value is allowed within a certain range;
Among all the area divisions respectively divided at the positions to be the plurality of division candidates, the area division that minimizes the number of significant conversion coefficients in all areas or the sum of errors due to conversion coefficient truncation is selected, and each division is selected. And a step of selecting a significant transform coefficient used for encoding in the region.

入力された画像信号に対して冗長系の変換基底を用いた変換を行い，得られた変換係数を絞り込み，絞り込んだ結果の有意変換係数を符号化する画像符号化方法において，
画像の領域を分割する複数の分割候補となる位置のそれぞれについて，分割位置を設定する過程と，
前記設定された分割位置で画像の領域を分割し，閾値一定の条件下で，各分割領域における前記閾値以下の変換係数を切り捨てる過程と，
前記複数の分割候補となる位置でそれぞれ分割したすべての領域分割の中で，全領域の有意変換係数の個数または変換係数の切り捨てによる誤差の和と，分割領域の境界部に接する所定幅の二つの境界領域における変換係数の絞り込みに基づく近似誤差の乖離度との重み付き和を最小化する領域分割を選択するとともに，各分割領域における符号化に用いる有意変換係数を選択する過程とを有する
ことを特徴とする画像符号化方法。 In an image encoding method for performing conversion using a redundant conversion basis on an input image signal, narrowing down the obtained conversion coefficients, and encoding significant conversion coefficients as a result of the narrowing down,
A process of setting a division position for each of a plurality of division candidate positions for dividing an image region;
Dividing a region of the image at the set division position, and truncating a transform coefficient equal to or less than the threshold value in each divided region under a constant threshold condition;
Among all the area divisions divided at the positions to be the plurality of division candidates, the number of significant conversion coefficients in all areas or the sum of errors due to the truncation of the conversion coefficients, and a predetermined width in contact with the boundary of the division area. Selecting a region division that minimizes the weighted sum of the divergences of approximation errors based on the conversion coefficient narrowing down in the two boundary regions, and selecting a significant transformation coefficient used for encoding in each divided region. An image encoding method characterized by the above.

入力された画像信号に対して冗長系の変換基底を用いた変換を行い，得られた変換係数を絞り込み，絞り込んだ結果の有意変換係数を符号化する画像符号化方法において，
画像の領域を分割する複数の分割候補となる位置のそれぞれについて，分割位置を設定する過程と，
前記設定された分割位置で画像の領域を分割し，閾値の変動を一定範囲内許容するという条件下で，各分割領域における前記閾値以下の変換係数を切り捨てる過程と，
前記複数の分割候補となる位置でそれぞれ分割したすべての領域分割の中で，全領域の有意変換係数の個数または変換係数の切り捨てによる誤差の和と，分割領域の境界部に接する所定幅の二つの境界領域における変換係数の絞り込みに基づく近似誤差の乖離度との重み付き和を最小化する領域分割を選択するとともに，各分割領域における符号化に用いる有意変換係数を選択する過程とを有する
ことを特徴とする画像符号化方法。 In an image encoding method for performing conversion using a redundant conversion basis on an input image signal, narrowing down the obtained conversion coefficients, and encoding significant conversion coefficients as a result of the narrowing down,
A process of setting a division position for each of a plurality of division candidate positions for dividing an image region;
Dividing a region of the image at the set division position and truncating a conversion coefficient equal to or less than the threshold value in each division region under a condition that variation of the threshold value is allowed within a certain range;
Among all the area divisions divided at the positions to be the plurality of division candidates, the number of significant conversion coefficients in all areas or the sum of errors due to the truncation of the conversion coefficients, and a predetermined width in contact with the boundary of the division area. Selecting a region division that minimizes the weighted sum of the divergences of approximation errors based on the conversion coefficient narrowing down in the two boundary regions, and selecting a significant transformation coefficient used for encoding in each divided region. An image encoding method characterized by the above.

請求項１から請求項４までのいずれか１項に記載の画像符号化方法において，
前記選択された領域分割における各分割領域に対して，所定の分割の終了条件が満たされるまで，前記領域分割および有意変換係数を選択する処理を再帰的に繰り返す
ことを特徴とする画像符号化方法。 In the image coding method according to any one of claims 1 to 4,
An image coding method characterized by recursively repeating the process of selecting the area division and the significant transform coefficient until a predetermined division termination condition is satisfied for each divided area in the selected area division .

入力された画像信号に対して冗長系の変換基底を用いた変換を行い，得られた変換係数を絞り込み，絞り込んだ結果の有意変換係数を符号化する画像符号化装置において，
画像の領域を分割する複数の分割候補となる位置のそれぞれについて，分割位置を設定する手段と，
前記設定された分割位置で画像の領域を分割し，閾値一定の条件下で，各分割領域における前記閾値以下の変換係数を切り捨てる手段と，
前記複数の分割候補となる位置でそれぞれ分割したすべての領域分割の中で，全領域の有意変換係数の個数または変換係数の切り捨てによる誤差の和が最小となる領域分割を選択するとともに，各分割領域における符号化に用いる有意変換係数を選択する手段とを備える
ことを特徴とする画像符号化装置。 In an image encoding apparatus that performs conversion using a redundant conversion basis on an input image signal, narrows down the obtained conversion coefficients, and encodes significant conversion coefficients as a result of the reduction,
Means for setting a division position for each of a plurality of division candidate positions for dividing an image area;
Means for dividing an image area at the set division position and truncating a transform coefficient equal to or less than the threshold value in each divided area under a constant threshold condition;
Among all the area divisions respectively divided at the positions to be the plurality of division candidates, the area division that minimizes the number of significant conversion coefficients in all areas or the sum of errors due to conversion coefficient truncation is selected, and each division is selected. An image encoding apparatus comprising: means for selecting a significant transform coefficient used for encoding in a region.

入力された画像信号に対して冗長系の変換基底を用いた変換を行い，得られた変換係数を絞り込み，絞り込んだ結果の有意変換係数を符号化する画像符号化装置において，
画像の領域を分割する複数の分割候補となる位置のそれぞれについて，分割位置を設定する手段と，
前記設定された分割位置で画像の領域を分割し，閾値の変動を一定範囲内許容するという条件下で，各分割領域における前記閾値以下の変換係数を切り捨てる手段と，
前記複数の分割候補となる位置でそれぞれ分割したすべての領域分割の中で，全領域の有意変換係数の個数または変換係数の切り捨てによる誤差の和が最小となる領域分割を選択するとともに，各分割領域における符号化に用いる有意変換係数を選択する手段とを備える
ことを特徴とする画像符号化装置。 In an image encoding apparatus that performs conversion using a redundant conversion basis on an input image signal, narrows down the obtained conversion coefficients, and encodes significant conversion coefficients as a result of the reduction,
Means for setting a division position for each of a plurality of division candidate positions for dividing an image area;
Means for dividing a region of the image at the set division position and truncating a conversion coefficient equal to or less than the threshold value in each division region under a condition that variation of the threshold value is allowed within a certain range;
Among all the area divisions respectively divided at the positions to be the plurality of division candidates, the area division that minimizes the number of significant conversion coefficients in all areas or the sum of errors due to conversion coefficient truncation is selected, and each division is selected. An image encoding apparatus comprising: means for selecting a significant transform coefficient used for encoding in a region.

入力された画像信号に対して冗長系の変換基底を用いた変換を行い，得られた変換係数を絞り込み，絞り込んだ結果の有意変換係数を符号化する画像符号化装置において，
画像の領域を分割する複数の分割候補となる位置のそれぞれについて，分割位置を設定する手段と，
前記設定された分割位置で画像の領域を分割し，閾値一定の条件下で，各分割領域における前記閾値以下の変換係数を切り捨てる手段と，
前記複数の分割候補となる位置でそれぞれ分割したすべての領域分割の中で，全領域の有意変換係数の個数または変換係数の切り捨てによる誤差の和と，分割領域の境界部に接する所定幅の二つの境界領域における変換係数の絞り込みに基づく近似誤差の乖離度との重み付き和を最小化する領域分割を選択するとともに，各分割領域における符号化に用いる有意変換係数を選択する手段とを備える
ことを特徴とする画像符号化装置。 In an image encoding apparatus that performs conversion using a redundant conversion basis on an input image signal, narrows down the obtained conversion coefficients, and encodes significant conversion coefficients as a result of the reduction,
Means for setting a division position for each of a plurality of division candidate positions for dividing an image area;
Means for dividing an image area at the set division position and truncating a transform coefficient equal to or less than the threshold value in each divided area under a constant threshold condition;
Among all the area divisions divided at the positions to be the plurality of division candidates, the number of significant conversion coefficients in all areas or the sum of errors due to the truncation of the conversion coefficients, and a predetermined width in contact with the boundary of the division area. Selecting a region division that minimizes the weighted sum of the deviations of approximation errors based on the narrowing down of the transform coefficients in two boundary regions, and means for selecting a significant transform coefficient to be used for encoding in each divided region An image encoding device characterized by the above.

入力された画像信号に対して冗長系の変換基底を用いた変換を行い，得られた変換係数を絞り込み，絞り込んだ結果の有意変換係数を符号化する画像符号化装置において，
画像の領域を分割する複数の分割候補となる位置のそれぞれについて，分割位置を設定する手段と，
前記設定された分割位置で画像の領域を分割し，閾値の変動を一定範囲内許容するという条件下で，各分割領域における前記閾値以下の変換係数を切り捨てる手段と，
前記複数の分割候補となる位置でそれぞれ分割したすべての領域分割の中で，全領域の有意変換係数の個数または変換係数の切り捨てによる誤差の和と，分割領域の境界部に接する所定幅の二つの境界領域における変換係数の絞り込みに基づく近似誤差の乖離度との重み付き和を最小化する領域分割を選択するとともに，各分割領域における符号化に用いる有意変換係数を選択する手段とを備える
ことを特徴とする画像符号化装置。 In an image encoding apparatus that performs conversion using a redundant conversion basis on an input image signal, narrows down the obtained conversion coefficients, and encodes significant conversion coefficients as a result of the reduction,
Means for setting a division position for each of a plurality of division candidate positions for dividing an image area;
Means for dividing a region of the image at the set division position and truncating a conversion coefficient equal to or less than the threshold value in each division region under a condition that variation of the threshold value is allowed within a certain range;
Among all the area divisions divided at the positions to be the plurality of division candidates, the number of significant conversion coefficients in all areas or the sum of errors due to the truncation of the conversion coefficients, and a predetermined width in contact with the boundary of the division area. Selecting a region division that minimizes the weighted sum of the deviations of approximation errors based on the narrowing down of the transform coefficients in two boundary regions, and means for selecting a significant transform coefficient to be used for encoding in each divided region An image encoding device characterized by the above.

請求項１から請求項５までのいずれか１項に記載の画像符号化方法を，コンピュータに実行させるための画像符号化プログラム。 An image encoding program for causing a computer to execute the image encoding method according to any one of claims 1 to 5.