JP5561611B2 - Image coding method, image coding apparatus, and image coding program - Google Patents
Image coding method, image coding apparatus, and image coding program Download PDFInfo
- Publication number
- JP5561611B2 JP5561611B2 JP2010233229A JP2010233229A JP5561611B2 JP 5561611 B2 JP5561611 B2 JP 5561611B2 JP 2010233229 A JP2010233229 A JP 2010233229A JP 2010233229 A JP2010233229 A JP 2010233229A JP 5561611 B2 JP5561611 B2 JP 5561611B2
- Authority
- JP
- Japan
- Prior art keywords
- division
- conversion
- region
- area
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Compression, Expansion, Code Conversion, And Decoders (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Description
本発明は,高能率画像信号符号化方法に関し,特にノイズ・シェイピングにおけるエネルギーコンパクションを向上させて符号化効率を向上させるための画像符号化方法に関する。 The present invention relates to a high-efficiency image signal coding method, and more particularly to an image coding method for improving energy compaction in noise shaping and improving coding efficiency.
画像符号化における重要な要素技術の一つに,離散コサイン変換(DCT:Discrete Cosine Transform )に代表される変換符号化がある。画像符号化における変換符号化の役割は,空間的な画素間相関の除去を行うことにある。符号化器の全体の位置づけとしては,変換符号化により少数の変換係数に情報を集中させ,変換係数に対する量子化により情報の集中度の低い変換係数を切り捨てることで,符号化対象信号に対する情報量の削減に寄与する。 One of the important elemental techniques in image coding is transform coding represented by Discrete Cosine Transform (DCT). The role of transform coding in image coding is to remove spatial correlation between pixels. The overall position of the encoder is as follows: information is concentrated on a small number of transform coefficients by transform coding, and the transform coefficients with low information concentration are rounded down by quantizing the transform coefficients, thereby reducing the amount of information for the signal to be encoded. Contributes to the reduction of
図7に,映像信号を符号化する一般的な符号化装置100の例を示す。符号化装置100は映像信号を入力すると,予測部106により予測された予測信号との差分から予測残差信号を求め,変換部101により予測残差信号を直交変換する。その出力である変換係数を量子化部102にて量子化し,その量子化値をエントロピ符号化部107にて可変長符号化し,符号化ストリームとして出力する。一方,量子化部102の出力は,逆量子化部103で逆量子化され,さらに逆変換部104で逆直交変換される。その変換結果に予測信号を加えることにより復号信号が生成される。復号信号は,歪除去フィルタ105によりノイズ除去処理がなされ,参照復号信号として予測部106に入力される。予測部106では,動き探索などにより次の映像信号の符号化のための予測信号を生成する。
FIG. 7 shows an example of a
これまで,画像符号化への応用では,離散コサイン変換(DCT)を始めとして,重複直交変換離散ウェーブレット変換(DWT:Discrete Wavelet Transform)といった多くの変換符号化方式が検討されてきた。例えば,変換符号化として,JPEGでは,離散コサイン変換(DCT),JPEG 2000では,離散ウェーブレット変換(DWT)が採用されている。また,直交変換は完備な基底(complete basis)を用いるため,変換前後のデータ数が不変である。このため,直交変換は非冗長変換(non-redundant transform )である。動画像符号化装置においては,図7における変換部101が上記の技術に該当する。
Up to now, in application to image coding, many transform coding schemes such as discrete cosine transform (DCT) and overlapping orthogonal transform discrete wavelet transform (DWT) have been studied. For example, as transform coding, JPEG employs discrete cosine transform (DCT), and JPEG 2000 employs discrete wavelet transform (DWT). In addition, since orthogonal transformation uses a complete basis, the number of data before and after the transformation is unchanged. For this reason, the orthogonal transform is a non-redundant transform. In the moving image encoding apparatus, the
一方で,基底数が原信号のサンプル数よりも多い過完備な基底(overcomplete basis)を用いた冗長変換(redudant transform)と呼ばれる変換がある。このため,冗長変換は直交変換になり得ないが,変換後のデータに冗長性を持たせることで非冗長変換では実現できない特性をもつことができる。例えば,ダウンサンプリング処理を行わないDWTである離散定常ウェーブレット変換(SWT:Stationary Wavelet Transform)は,変換後の冗長性によりDWTで失われるシフト不変性を成立させることができる。 On the other hand, there is a transform called a redundant transform using an overcomplete basis in which the number of bases is larger than the number of samples of the original signal. For this reason, the redundant transform cannot be an orthogonal transform, but by giving redundancy to the converted data, it is possible to have characteristics that cannot be realized by the non-redundant transform. For example, a discrete stationary wavelet transform (SWT) that is a DWT that does not perform downsampling processing can establish shift invariance that is lost in the DWT due to redundancy after the transformation.
また,画像処理分野では,“方向分離特性をもつ変換”が注目されている。このような変換は,一般的に冗長変換であり,代表例としてCurvelet変換がある。並列木複素ウェーブレット変換(DTCWT:Dual Tree Complex Wavelet Transform )も同様の特性をもつ変換である。方向分離特性をもつ変換は,画像信号中に含まれるエッジ等の曲線を2次元で定義される方向基底を用いて表現する変換である。方向基底を用いて2次元構造を高い精度で近似するため,DWTのような方向分離特性の乏しい変換と比較し,雑音除去や特徴抽出に対して,有効である。 In the field of image processing, “conversion with direction separation characteristics” has attracted attention. Such conversion is generally redundant conversion, and a typical example is Curvelet conversion. A parallel tree complex wavelet transform (DTCWT) is a transform having similar characteristics. The conversion having the direction separation characteristic is a conversion in which a curve such as an edge included in the image signal is expressed using a direction base defined in two dimensions. Since the two-dimensional structure is approximated with high accuracy using the direction base, it is more effective for noise removal and feature extraction than a transformation with poor direction separation characteristics such as DWT.
しかし,方向分離特性をもつ変換は,変換後のデータ数が増加するという問題がある。xを変換符号化への入力信号,Ψを変換行列とすると,変換により得られる変換係数yは,次式のように表わされる。 However, conversion with direction separation characteristics has a problem that the number of data after conversion increases. When x is an input signal to transform coding and Ψ is a transform matrix, a transform coefficient y obtained by the transform is expressed as follows.
y=Ψx (1)
一方,変換係数から信号領域での値を復号する処理は,過完備な基底系からなる変換の逆変換を表す行列をΦとすると,次式のように表わされる。
y = Ψx (1)
On the other hand, the process of decoding the value in the signal domain from the transform coefficient is represented by the following equation, where Φ is a matrix representing the inverse transform of the overcomplete basis set.
x=Φy (2)
DTCWTの場合,xがn次元ベクトルであるとすると,変換により得られる変換係数yは2n次元ベクトルとなる。このため,同変換を画像符号化へ応用する場合,データ数の削減の観点から,変換係数を適切に選択する必要がある。この変換係数の選択は,以下の制約条件付き最小化問題として定式化できる。
x = Φy (2)
In the case of DTCWT, if x is an n-dimensional vector, the conversion coefficient y obtained by the conversion is a 2n-dimensional vector. For this reason, when the transformation is applied to image coding, it is necessary to appropriately select a transformation coefficient from the viewpoint of reducing the number of data. This selection of transform coefficients can be formulated as the following constrained minimization problem.
miny ‖y‖0 subject to Φy=x (3)
ここで,‖・‖0 は,L0 ノルムであり,非ゼロ係数の個数を表している。上記の制約条件付きの最小化問題は,ラグランジュの未定乗数法により以下の最小化問題に帰着される。
min y ‖y‖ 0 subject to Φy = x (3)
Here, ‖ · ‖ 0 is the L 0 norm and represents the number of non-zero coefficients. The above minimization problem with constraints is reduced to the following minimization problem by Lagrange's undetermined multiplier method.
miny ‖y‖0 +λ‖Φy−x‖2 2 (4)
ここでλは,外部から与えられる重みパラメータである。第一項は,選択された変換係数の個数であり,変換係数の情報量を近似した値である。第二項は変換係数の選択に伴う再構成誤差を表しており,符号化歪みを表している。‖・‖2 2 は,L2 ノルムの二乗値であり,二乗和を表す。しかし,上記の最小化問題はNP困難であるため,従来,以下のようなL 1 ノルムに最小化問題として近似する方法がとられてきた。
min y ‖y‖ 0 + λ‖Φy−x‖ 2 2 (4)
Here, λ is a weight parameter given from the outside. The first term is the number of selected transform coefficients, which is an approximate value of the information amount of transform coefficients. The second term represents the reconstruction error associated with the selection of the transform coefficient and represents the coding distortion. ‖ · ‖ 2 2 is the square value of the L 2 norm and represents the sum of squares. However, since the above minimization problem is difficult to NP, conventionally, the following L 1 is used. A method of approximating the norm as a minimization problem has been taken.
miny ‖y‖1 +λ‖Φy−x‖2 2 (5)
ここで,‖・‖1 は,L 1 ノルムであり,ベクトルの要素の絶対値和を表している。
min y ‖y‖ 1 + λ‖Φy−x‖ 2 2 (5)
Where ‖ ・ ‖ 1 is L 1 Norm, which represents the sum of absolute values of vector elements.
式(5) の最小化問題の準最適解を与える手法として,図8に示すノイズ・シェイピング(noise shaping) 処理と呼ばれる手法が提案されている(非特許文献1参照)。 As a technique for giving a sub-optimal solution of the minimization problem of Equation (5), a technique called noise shaping processing shown in FIG. 8 has been proposed (see Non-Patent Document 1).
使用する記号を整理する。入力信号x(N画素)に対する順変換後の変換係数を以下のように定義する。 Organize the symbols used. The conversion coefficient after forward conversion for the input signal x (N pixels) is defined as follows.
y0 =Ψx
Iを単位行列として,Ps ≡ΨΦ,P⊥≡I−ΨΦなる2種類の射影を定義する。なお,“P⊥”における“⊥”は,Pの右肩に付く上添字である。前者の射影により得られる出力を有効成分,後者の射影により得られる出力を無効成分と呼ぶ。
y 0 = Ψx
Two types of projections P s ≡ΨΦ and P⊥≡I−ΨΦ are defined with I as a unit matrix. Note that “⊥” in “P⊥” is a superscript attached to the right shoulder of P. The output obtained by the former projection is called the effective component, and the output obtained by the latter projection is called the invalid component.
ノイズ・シェイピング処理における繰り返し回数を表すインデックスをiで表し,ノイズ・シェイピング処理における第i回目の出力をyi とする。yi に対して,絶対値が閾値θi 以下となる係数を零値に切り捨てるクリッピング処理を行う。yi に対するクリッピング処理後の出力を^yi (^はyの上に付く記号)として,次式のように表す。 An index representing the number of repetitions in the noise shaping process is represented by i, and the i-th output in the noise shaping process is represented by y i . For y i , a clipping process is performed in which the coefficient whose absolute value is equal to or smaller than the threshold θ i is rounded down to zero. The output after clipping processing for y i is represented as yy i (^ is a symbol on y) as follows:
^yi (θi )=yi +εi (θi )
ここで,εi (θi )は,クリッピング処理に伴い重畳する誤差である。k=1の場合,ノイズ・シェイピング処理における補正信号であるwi (θi )(図8に示すwi )は,次式となる。
^ Y i (θ i ) = y i + ε i (θ i )
Here, ε i (θ i ) is an error to be superimposed with clipping processing. When k = 1, w i (θ i ) (w i shown in FIG. 8), which is a correction signal in the noise shaping process, is expressed by the following equation.
wi (θi )=y0 −ΨΦ^yi (θi )
この^yi (θi ),wi (θi )を用いて,yi+1 は,次式のように表せる。
w i (θ i ) = y 0 −ΨΦ ^ y i (θ i )
Using this ^ y i (θ i ) and w i (θ i ), y i + 1 can be expressed as follows.
yi+1 (θi ,^yi (θi ))=^yi (θi )+wi (θi )
クリッピングの閾値θi は,Δi (>0)を用いて,次のように定められ,
θi+1 =θi −Δi (6)
繰り返し回数の増加とともに,小さく設定される。
y i + 1 (θ i , ^ y i (θ i )) = ^ y i (θ i ) + w i (θ i )
The clipping threshold θ i is determined as follows using Δ i (> 0):
θ i + 1 = θ i −Δ i (6)
As the number of repetitions increases, it is set smaller.
図8に示すノイズ・シェイピング処理装置200の動作について簡単に説明する。変換部201では,入力信号xに対して冗長系の変換基底を用いた変換を行い,変換係数y0 を算出する。クリッピング処理部202では,変換係数yi (初期値はi=0)と予め定められた閾値θi との大小比較を行い,yi がθi より小さければ,yi を0に置き換える。このクリッピング処理後の出力を^yi とする。逆変換部203では,^yi を逆変換して逆変換結果の^xi を求める。入力信号xと^xi との差が,画素領域での誤差ei となる。
The operation of the noise shaping
重み係数乗算部204では,ei に所定の重み係数kを乗算し,乗算結果に対して,変換部205において順変換することにより,誤差の帰還信号wi を算出する。クリッピング処理部202の出力^yi に誤差の帰還信号wi を加算することにより,更新変換係数yi+1 を算出する。遅延部206にて一定時間遅延させた後,更新変換係数yi+1 をクリッピング処理部202の入力として,更新変換係数yi+1 に対して同様に処理を繰り返す。終了条件判定部207では,ei+1 とei との差がある一定の微小値より小さくなったかどうかをチェックし,その差が微小値より小さい値になったときに,そのときの^yi を変換結果として出力する。
The weight
このような過完備系を用いた変換は,画像信号にsparsenessを仮定し,少数の変換係数で画像を表現するsparse representationの一種である。 Such conversion using an overcomplete system is a kind of sparse representation in which an image signal is assumed to be sparseness and an image is expressed with a small number of conversion coefficients.
画像信号は,空間的な局所性を有しており,その性質は一様ではない。つまり,画像信号を一定の精度で表現するために必要な変換係数の個数,あるいは,一定の個数の変換係数で表現可能な画像信号の表現精度は,画像内の領域の性質に応じて変動する。しかし,上述したノイズ・シェイピング法は,画像全体に対して適用されている。このため,画像内の局所性を考慮できておらず,符号化効率の向上に改善の余地を残す。 Image signals have spatial locality, and their properties are not uniform. In other words, the number of transform coefficients necessary to represent an image signal with a certain accuracy, or the representation accuracy of an image signal that can be represented with a certain number of transform coefficients varies depending on the nature of the region in the image. . However, the above-described noise shaping method is applied to the entire image. For this reason, locality in the image cannot be considered, and there is room for improvement in improving the coding efficiency.
本発明はかかる事情に鑑みてなされたものであって,過完備な基底を用いた冗長変換において,変換係数間の冗長性を除去するノイズ・シェイピング法において,符号化効率の向上を実現する画像分割手法に基づく画像符号化方法を確立することを目的とする。 The present invention has been made in view of such circumstances, and in a redundant transform using an overcomplete basis, an image that realizes an improvement in coding efficiency in a noise shaping method that removes redundancy between transform coefficients. An object is to establish an image coding method based on the division method.
本発明は,上記課題を解決するため,入力された画像信号に対して,冗長系の変換基底を用いた変換を行い,得られた変換係数に対して,符号化に用いる係数の絞り込みを行う画像符号化において,画像の局所的な性質に応じて,閾値一定の条件下で,同閾値以下の係数を切り捨て,全領域の有意係数の個数を最小化するための領域分割,および,各分割領域に対する変換係数の選択を行うことを特徴とする。 In order to solve the above-described problems, the present invention performs a conversion using a redundant conversion base on an input image signal, and narrows down the coefficients used for encoding with respect to the obtained conversion coefficients. In image coding, depending on the local nature of the image, under the condition that the threshold value is constant, the coefficients below the threshold value are rounded down, and the region division for minimizing the number of significant coefficients in all regions, and each division The conversion coefficient for the region is selected.
また,本発明は,入力された画像信号に対して,冗長系の変換基底を用いた変換を行い,得られた変換係数に対して,符号化に用いる係数の絞り込みを行う画像符号化において,画像の局所的な性質に応じて,閾値の変動を一定範囲内許容するという条件下で,同閾値以下の係数を切り捨て,全領域の有意係数の個数を最小化するための領域分割,および,各分割領域に対する変換係数の選択を行うことを特徴とする。 In addition, the present invention performs image conversion using a redundant conversion basis on an input image signal, and narrows down the coefficients used for encoding on the obtained conversion coefficients. Depending on the local nature of the image, under the condition that the variation of the threshold value is allowed within a certain range, the coefficients below the threshold value are rounded down, the region division to minimize the number of significant coefficients in the whole region, and The conversion coefficient for each divided region is selected.
また,本発明は,入力された画像信号に対して,冗長系の変換基底を用いた変換を行い,得られた変換係数に対して,符号化に用いる係数の絞り込みを行う画像符号化において,画像の局所的な性質に応じて,閾値一定の条件下で,同閾値以下の係数を切り捨て,全領域の有意係数の個数および分割領域の境界部の不連続性を最小化するための領域分割,および,各分割領域に対する変換係数の選択を行うことを特徴とする。 In addition, the present invention performs image conversion using a redundant conversion basis on an input image signal, and narrows down the coefficients used for encoding on the obtained conversion coefficients. Segmentation to minimize the number of significant coefficients in all regions and the discontinuity at the boundary of the segmented area by truncating the coefficients below the threshold value according to the local properties of the image , And selection of transform coefficients for each divided region.
また,本発明は,入力された画像信号に対して,冗長系の変換基底を用いた変換を行い,得られた変換係数に対して,符号化に用いる係数の絞り込みを行う画像符号化において,画像の局所的な性質に応じて,閾値の変動を一定範囲内許容するという条件下で,同閾値以下の係数を切り捨て,全領域の有意係数の個数および分割領域の境界部の不連続性を最小化するための領域分割,および,各分割領域に対する変換係数の選択を行うことを特徴とする。 In addition, the present invention performs image conversion using a redundant conversion basis on an input image signal, and narrows down the coefficients used for encoding on the obtained conversion coefficients. Depending on the local nature of the image, under the condition that the fluctuation of the threshold is allowed within a certain range, the coefficient below the threshold is rounded down, and the number of significant coefficients in the whole area and the discontinuity at the boundary of the divided area are determined. It is characterized in that region division for minimization and conversion coefficient selection for each divided region are performed.
また,本発明は,上記発明においてさらに,選択された領域分割における各分割領域に対して,所定の分割の終了条件が満たされるまで,領域分割および有意変換係数を選択する処理を再帰的に繰り返すことを特徴とする。分割の終了条件は,例えば一方の分割領域の画素数が所定の閾値以下となること,または一方の分割領域の有意変換係数の個数が所定の閾値以下となることである。また,さらに分割を行わないほうが最適である場合も分割の終了条件となる。 Furthermore, the present invention further recursively repeats the process of selecting the region division and the significant conversion coefficient for each divided region in the selected region division until a predetermined division termination condition is satisfied. It is characterized by that. The condition for terminating the division is, for example, that the number of pixels in one divided region is equal to or smaller than a predetermined threshold value, or that the number of significant conversion coefficients in one divided region is equal to or smaller than the predetermined threshold value. In addition, when it is optimal not to perform further division, the division termination condition is also satisfied.
本発明は,画像の局所性を考慮して,係数選択を行うことで,ノイズ・シェイピングにおけるエネルギーコンパクションを向上させ,特定成分への情報の集約を図ることで,符号化効率の向上を実現することができる。 The present invention realizes an improvement in coding efficiency by improving the energy compaction in noise shaping by performing coefficient selection in consideration of the locality of the image and consolidating information into specific components. be able to.
以下,本発明の実施の形態について,図面を用いて説明する。 Hereinafter, embodiments of the present invention will be described with reference to the drawings.
本発明の基本方針は,画面内を性質の類似した領域に分割し,分割領域毎にsparse representationを適用することである。以下,領域分割法の4種類の処理を示す。 The basic policy of the present invention is to divide the screen into areas having similar properties and apply sparse representation to each divided area. Hereinafter, four types of processing of the region division method are shown.
「領域分割方法1」は,画面内において,閾値一定の条件下で,同閾値以下の係数を切り捨て(零値とし),全領域の有意係数の個数を最小化するための分割,およびパラメータ選択方法を示す。
“
「領域分割方法2」は,分割領域間における閾値の変動を一定範囲内許容するという条件下で,同閾値以下の係数を切り捨て(零値とし),各領域の有意係数(非零値の係数)の個数を最小化するための分割,およびパラメータ選択方法を示す。 “Region segmentation method 2” is a condition in which the variation of the threshold value between the segmented regions is allowed within a certain range, the coefficient below the threshold value is rounded down (zero value), and the significant coefficient of each region (non-zero coefficient) The method of dividing and parameter selection to minimize the number of
「領域分割方法3」は,「領域分割方法1」におけるコスト関数に対して領域境界の不連続性の影響を加味した修正を行ったものである。
“Area division method 3” is a modification in which the cost function in “
同様に,「領域分割方法4」は,「領域分割方法2」におけるコスト関数に対して領域境界の不連続性の影響を加味した修正を行ったものである。 Similarly, “area division method 4” is a modification in which the cost function in “area division method 2” is modified in consideration of the influence of discontinuity of area boundaries.
画像信号の存在領域を0≦s≦W,0≦t≦Hとし,同領域内の画素値を一次元ベクトルとして並べ替えたものをxとする。さらに,同領域内から,左上角の座標値を(s0 ,t0 ),水平方向・垂直方向の辺長をw,hとする矩形領域内の画素値を抽出し,一次元ベクトルとして並べ替えたベクトルをx(s0 ,t0 ,w,h)とする。 Assume that an image signal existence area is 0 ≦ s ≦ W and 0 ≦ t ≦ H, and pixel values in the area are rearranged as a one-dimensional vector. Further, from the same area, the pixel values in the rectangular area having the upper left corner coordinate value (s 0 , t 0 ) and the horizontal and vertical side lengths w and h are extracted and arranged as a one-dimensional vector. Let the changed vector be x (s 0 , t 0 , w, h).
x(s0 ,t0 ,w,h)に対して,ノイズ・シェイピング法を用いて閾値δ以上の変換係数を選択する。このとき選択された変換係数の個数を,R[x,s0 ,t0 ,w,h,δ]とおく。さらに,k=R[x,s0 ,t0 ,w,h,δ]と略記し,変換係数として,{c0 ,…,c k-1 }が選択されたものとする。選択された基底信号を用いてx(s0 ,t0 ,w,h)を表現した場合の近似誤差を,E[x,s0 ,t0 ,w,h,k,C(δ)]とおく。ここで,C(δ)は,閾値δ以上の変換係数C(δ)={c0 ,…,c k-1 }を表す。例えば,DTCWTの場合,総数2n個の係数の中からk個の係数を選択したことになる。 For x (s 0 , t 0 , w, h), a transform coefficient greater than or equal to the threshold value δ is selected using a noise shaping method. The number of transform coefficients selected at this time is R [x, s 0 , t 0 , w, h, δ]. Further, it is abbreviated as k = R [x, s 0 , t 0 , w, h, δ], and it is assumed that {c 0 ,..., C k−1 } is selected as a conversion coefficient. The approximation error when x (s 0 , t 0 , w, h) is expressed using the selected basis signal is represented by E [x, s 0 , t 0 , w, h, k, C (δ)]. far. Here, C (δ) represents a conversion coefficient C (δ) = {c 0 ,..., C k−1 } equal to or greater than the threshold value δ. For example, in the case of DTCWT, k coefficients are selected from a total of 2n coefficients.
[領域分割方法1]
画面内において,閾値一定の条件下で,同閾値以下の係数を切り捨て(零値とし),全領域の有意係数の個数を最小化するための分割を考える。さらに,垂直に2分割する場合と水平に2分割する場合の結果を比較し,上記有意係数の個数最小化の規範に基づき,垂直分割・水平分割のいずれかを選択する。
[Area Division Method 1]
Consider a division in the screen to minimize the number of significant coefficients in the entire region by rounding down the coefficients below the threshold value (with a zero value) under the condition that the threshold value is constant. Further, the results of the vertical division and the horizontal division are compared, and either vertical division or horizontal division is selected based on the above-mentioned norm of minimizing the number of significant coefficients.
領域分割の尺度として,次の有意係数の個数を用いる。 The following number of significant coefficients is used as a measure of region division.
Ξhor [x,0,h,W,H,δ u ,δ d ]
=R[x,0,0,W,h,δ u ]+R[x,0,h,W,H−h,δ d ]
上式は,領域0≦s≦W,0≦t≦Hを,上側領域0≦s≦W,0≦t≦h−1と,下側領域0≦s≦W,h≦t≦Hに分割し,上側領域・下側領域を各々,閾値δu 以上の振幅値の係数,閾値δd 以上の振幅値の係数で表現した場合の変換係数の個数の和を表している。
Ξ hor [x, 0, h, W, H, δ u , δ d ]
= R [x, 0, 0, W, h, [ delta ] u ] + R [x, 0, h, W, H-h, [ delta ] d ]
The above expression changes the region 0 ≦ s ≦ W, 0 ≦ t ≦ H to the upper region 0 ≦ s ≦ W, 0 ≦ t ≦ h−1, and the lower region 0 ≦ s ≦ W, h ≦ t ≦ H. The sum of the number of transform coefficients when the upper region and the lower region are each expressed by a coefficient of an amplitude value greater than or equal to a threshold value δ u and a coefficient of an amplitude value greater than or equal to the threshold value δ d is represented.
Ξver [x,w,0,W,H,δl ,δr ]
=R[x,0,0,w,H,δl ]+R[x,w,0,W−w,H,δr ]
上式は,領域0≦s≦W,0≦t≦Hを,左側領域0≦s≦w−1,0≦t≦Hと,右側領域w≦s≦W,0≦t≦Hに分割し,左側領域・右側領域を各々,閾値δl 以上の振幅値の係数,閾値δr 以上の振幅値の係数で表現した場合の変換係数の個数の和を表している。
Ξ ver [x, w, 0, W, H, δ l , δ r ]
= R [x, 0, 0, w, H, δ l ] + R [x, w, 0, W−w, H, δ r ]
The above expression divides the region 0 ≦ s ≦ W and 0 ≦ t ≦ H into the left region 0 ≦ s ≦ w−1, 0 ≦ t ≦ H and the right region w ≦ s ≦ W, 0 ≦ t ≦ H. and, respectively left area and right area, represents the sum of the number of transform coefficients in the case of representation by a factor of threshold [delta] l or more of the coefficients of the amplitude values, the threshold value [delta] r more amplitude values.
閾値としてδが与えられるものとして,垂直方向に2分割する場合,次式に基づき分割位置を決定する。垂直方向に2分割する場合の分割位置h0 は,次式で与えられる。 Assuming that δ is given as a threshold value, when dividing into two in the vertical direction, the division position is determined based on the following equation. The division position h 0 in the case of dividing into two in the vertical direction is given by the following equation.
同様に,閾値としてδが与えられるものとして,水平方向に2分割する場合,次式に基づき分割位置を決定する。水平方向に2分割する場合の分割位置w0 は,次式で与えられる。 Similarly, assuming that δ is given as a threshold value, when dividing horizontally into two, the division position is determined based on the following equation. The division position w 0 when dividing into two in the horizontal direction is given by the following equation.
上記式において,Mh ,Mw は,分割位置を指定する粒度を決定するパラメータであり,予め与えられるものとする。このとき,
Ξhor [x,0,h0 ,W,H,δ,δ]
≦ Ξver [x,w0 ,0,W,H,δ,δ]
となる場合には,t=h0 の位置で垂直方向に分割を行うこととし,それ以外の場合には,s=w0 の位置で水平方向に分割を行うこととする。なお,h0 =0あるいはw0 =0となる場合,分割を行わないほうが最適であるので分割は行われない。
In the above formula, M h and M w are parameters for determining the granularity for designating the division position, and are given in advance. At this time,
Hor hor [x, 0, h 0 , W, H, δ, δ]
≦ Ξ ver [x, w 0 , 0, W, H, δ, δ]
In such a case, division is performed in the vertical direction at the position t = h 0 , and in other cases, division is performed in the horizontal direction at the position s = w 0 . Note that when h 0 = 0 or w 0 = 0, it is more optimal not to perform the division, so the division is not performed.
分割により得られた矩形領域の中で変換係数の個数が最大の領域(分割対象領域)に対して,上記と同様の分割処理を施す。選択した領域に対して分割が行われなかった場合には,先に選択された領域の次に変換係数の個数が最大の領域に対して,上記と同様の分割処理を施す。この繰り返しは,全ての分割領域に対して分割が行われなくなるまで続ける。または,分割領域内の画素数の下限値を設定しておき,分割の結果,この下限値を下回るような領域は生成されないように制限を設けることも可能である。 The same division processing as described above is performed on the region (division target region) having the largest number of transform coefficients in the rectangular region obtained by the division. If the selected area has not been divided, the same dividing process as described above is performed on the area having the largest number of transform coefficients after the previously selected area. This repetition is continued until all the divided areas are not divided. Alternatively, it is possible to set a lower limit value for the number of pixels in the divided area and to limit generation so that an area below the lower limit value is not generated as a result of the division.
[領域分割方法2]
画面内において,画面内の領域毎に閾値を設定し,かつ,領域間の閾値の差分値が一定範囲内であるという条件下で,閾値以下の係数を切り捨て(零値とし),全領域の有意係数の個数を最小化するための分割を考える。さらに,垂直に2分割する場合と水平に2分割する場合の結果を比較し,上記有意係数の個数最小化の規範に基づき,垂直分割・水平分割のいずれかを選択する。領域分割の尺度として,前述の有意係数の個数を用いる。
[Area division method 2]
In the screen, a threshold value is set for each area in the screen, and the coefficient below the threshold value is rounded down (set to zero) under the condition that the threshold difference value between the areas is within a certain range. Consider a partition to minimize the number of significant coefficients. Further, the results of the vertical division and the horizontal division are compared, and either vertical division or horizontal division is selected based on the above-mentioned norm of minimizing the number of significant coefficients. The number of significant coefficients described above is used as a measure of region division.
閾値としてδが与えられるものとして,分割後の2つの領域での閾値の差を閾値ζ以内に保つ条件下で,垂直方向に2分割する場合,次式に基づき分割位置を決定する。垂直方向に2分割する場合の分割位置h0 は,次式で与えられる。 Assuming that δ is given as the threshold value, when dividing into two in the vertical direction under the condition that the difference between the threshold values in the two regions after division is within the threshold value ζ, the division position is determined based on the following equation. The division position h 0 in the case of dividing into two in the vertical direction is given by the following equation.
分割後の2つの領域での閾値の差を閾値ζ以内に保つ条件下で,水平方向に2分割する場合,次式に基づき分割位置を決定する。水平方向に2分割する場合の分割位置w0 は,次式で与えられる。 When dividing into two in the horizontal direction under the condition that the difference between the threshold values in the two regions after division is kept within the threshold value ζ, the division position is determined based on the following equation. The division position w 0 when dividing into two in the horizontal direction is given by the following equation.
ここで,βは,係数選択の閾値を指定する粒度を決定するパラメータであり,予め与えられるものとする。このとき,
Ξhor [x,0,h0 ,W,H,δ,δ+βjd,0 ]
≦ Ξver [x,w0 ,0,W,H,δ,δ+βjr,0 ]
となる場合には,t=h0 の位置で垂直方向に分割を行うこととし,それ以外の場合には,s=w0 の位置で水平方向に分割を行うこととする。なお,h0 =0あるいはw0 =0となる場合,分割を行わないほうが最適であるので分割は行われない。
Here, β is a parameter for determining the granularity for specifying the coefficient selection threshold, and is given in advance. At this time,
Hor hor [x, 0, h 0 , W, H, δ, δ + βj d, 0 ]
≤ Ξ ver [x, w 0 , 0, W, H, δ, δ + βj r, 0 ]
In such a case, division is performed in the vertical direction at the position t = h 0 , and in other cases, division is performed in the horizontal direction at the position s = w 0 . Note that when h 0 = 0 or w 0 = 0, it is more optimal not to perform the division, so the division is not performed.
分割により得られた矩形領域の中で変換係数の個数が最大の領域(分割対象領域)に対して,上記と同様の分割処理を施す。選択した領域に対して分割が行われなかった場合には,先に選択された領域の次に変換係数の個数が最大の領域に対して,上記と同様の分割処理を施す。この繰り返しは,全ての分割領域に対して分割が行われなくなるまで続ける。または,分割領域内の画素数の下限値を設定しておき,分割の結果,この下限値を下回るような領域は生成されないように制限を設けることも可能である。 The same division processing as described above is performed on the region (division target region) having the largest number of transform coefficients in the rectangular region obtained by the division. If the selected area has not been divided, the same dividing process as described above is performed on the area having the largest number of transform coefficients after the previously selected area. This repetition is continued until all the divided areas are not divided. Alternatively, it is possible to set a lower limit value for the number of pixels in the divided area and to limit generation so that an area below the lower limit value is not generated as a result of the division.
[領域分割方法3]
画面内において,閾値一定の条件下で,同閾値以下の係数を切り捨て(零値とし),全領域の有意係数の個数を最小化するための分割を考える。さらに,垂直に2分割する場合と水平に2分割する場合の結果を比較し,上記有意係数の個数最小化の規範に基づき,垂直分割・水平分割のいずれかを選択する。
[Region division method 3]
Consider a division in the screen to minimize the number of significant coefficients in the entire region by rounding down the coefficients below the threshold value (with a zero value) under the condition that the threshold value is constant. Further, the results of the vertical division and the horizontal division are compared, and either vertical division or horizontal division is selected based on the above-mentioned norm of minimizing the number of significant coefficients.
領域分割の尺度として,前述の有意係数の個数および分割境界の不連続性の評価尺度(不連続尺度)を用いる。不連続尺度は,以下の境界領域に対して定義する。垂直分割の場合,上側領域(kh 個の係数Cu で表現)内の下部0≦s≦W,h−L≦t≦h−1と下側領域(k−kh 個の係数Cd で表現)内の上部0≦s≦W,h≦t≦h+Lからなる矩形領域0≦s≦W,h−L≦t≦h+Lを対象とし,同矩形領域に対する不連続尺度を次のように表す。 As the scale of area division, the above-mentioned number of significant coefficients and the evaluation scale (discontinuity scale) of the discontinuity of the division boundary are used. The discontinuity scale is defined for the following boundary regions: In the case of vertical division, the lower 0 ≦ s ≦ W, h−L ≦ t ≦ h−1 and the lower region (k− h h coefficients C d ) in the upper region (represented by k h coefficients C u ). In the following, the discontinuity scale for the rectangular region is defined as follows: 0 ≦ s ≦ W, h ≦ t ≦ h + L, and rectangular region 0 ≦ s ≦ W and h−L ≦ t ≦ h + L. Represent.
Θhor [x,0,W,h−L,2L+1,δu ,δd ,Cu ,Cd ]
ここで,第2,3引数は,分割前後の領域に対する水平方向の存在領域0≦s≦Wの下限・上限を示している。第4,5引数は,境界領域に対する垂直方向の存在領域の下限h−Lおよび同領域の垂直方向の幅2L+1を示している。第6,7引数δu ,δd は,上側領域および下側領域における係数の切り捨てに用いる閾値である。同閾値以下の係数は切り捨て,零値とする。第8,9引数Cu ,Cd は,閾値以下の係数を切り捨てた後に得られる上側領域および下側領域における係数である。
Θ hor [x, 0, W, h−L, 2L + 1, δ u , δ d , C u , C d ]
Here, the second and third arguments indicate the lower and upper limits of the horizontal existence area 0 ≦ s ≦ W with respect to the areas before and after the division. The fourth and fifth arguments indicate the lower limit h−L of the existence region in the vertical direction with respect to the boundary region and the vertical width 2L + 1 of the region. The sixth and seventh arguments δ u and δ d are threshold values used for rounding down coefficients in the upper region and the lower region. Coefficients below the threshold are rounded down to zero. The eighth and ninth arguments C u and C d are coefficients in the upper region and the lower region obtained after truncating the coefficient equal to or less than the threshold value.
水平分割の場合,左側領域(kw 個の係数Cl で表現)内の右端部w−L≦s≦w−1,0≦t≦Hと右側領域(k−kw 個の係数Cr で表現)内の左端部w≦s≦w+L,0≦t≦Hからなる矩形領域w−L≦s≦w+L,0≦t≦Hを対象とし,同矩形領域に対する不連続尺度を次のように表す。 In the case of horizontal division, the right end w−L ≦ s ≦ w−1, 0 ≦ t ≦ H and the right region (k−k w coefficients C r ) in the left region (represented by k w coefficients C l ). The discontinuity scale for the rectangular region is expressed as follows with respect to the rectangular region w−L ≦ s ≦ w + L, 0 ≦ t ≦ H consisting of the left end portion w ≦ s ≦ w + L and 0 ≦ t ≦ H. Expressed in
Θver [x,0,H,w−L,2L+1,δl ,δr ,Cl ,Cr ]
ここで,第2,3引数は,分割前後の領域に対する垂直方向の存在領域0≦t≦Hの下限・上限を示している。第4,5引数は,境界領域に対する水平方向の存在領域の下限w−Lおよび同領域の水平方向の幅2L+1を示している。第6,7引数δl ,δr は,左側領域および右側領域における係数の切り捨てに用いる閾値である。同閾値以下の係数は切り捨て,零値とする。第8,9引数Cl ,Cr は,閾値以下の係数を切り捨てた後に得られる左側領域および右側領域における係数である。
Θ ver [x, 0, H, w−L, 2L + 1, δ l , δ r , C l , C r ]
Here, the second and third arguments indicate the lower and upper limits of the existence area 0 ≦ t ≦ H in the vertical direction with respect to the areas before and after the division. The fourth and fifth arguments indicate the lower limit w−L of the horizontal existence area with respect to the boundary area and the horizontal width 2L + 1 of the same area. The sixth and seventh arguments δ l and δ r are threshold values used for truncation of coefficients in the left region and the right region. Coefficients below the threshold are rounded down to zero. The eighth and ninth arguments C l and C r are coefficients in the left region and the right region obtained after truncating the coefficient equal to or less than the threshold value.
不連続尺度としては,例えば,近似誤差の乖離度を用いる。これは,垂直分割の場合,上側領域(kh 個の係数Cu で表現)内の下部0≦s≦W,h−L≦t≦h−1における近似誤差と下側領域(k−kh 個の係数Cd で表現)内の上部0≦s≦W,h≦t≦h+Lにおける近似誤差の差分値であり,水平分割の場合,左側領域(kw 個の係数Cl で表現)内の右端部w−L≦s≦w−1,0≦t≦Hにおける近似誤差と右側領域(k−kw 個の係数Cr で表現)内の左端部w≦s≦w+L,0≦t≦Hにおける近似誤差との差分値である。あるいは,上記の近似誤差の差分値に対して,一定の重みを乗じた値を用いることも可能である。 As the discontinuity scale, for example, the deviation degree of the approximation error is used. This is because, in the case of vertical division, the upper region bottom 0 ≦ s ≦ W in (k h pieces of coefficient C u expressed in), h-L ≦ t ≦ approximation error and the lower region of h-1 (k-k top 0 ≦ s ≦ W of the h representations by the coefficient C d) in a difference value of the approximation error in h ≦ t ≦ h + L, for horizontal split, represented in the left region (k w pieces of coefficient C l) Approximation error at right end portion w−L ≦ s ≦ w−1, 0 ≦ t ≦ H and left end portion w ≦ s ≦ w + L, 0 ≦ within right region (represented by k−k w coefficients C r ) It is a difference value from the approximation error at t ≦ H. Alternatively, it is possible to use a value obtained by multiplying the difference value of the approximation error by a constant weight.
また,分割境界領域におけるSSIM(下記の参考文献1参照)の符号を反転した値を用いることも可能である。
〔参考文献1〕:Z. Wang and E. P. Simoncelli,“Translation insensitive image similarity in complex wavelet domain”,IEEE International Conference on Acoustics, Speech and Signal Processing, vol. II, pp. 573-576, Philadelphia, PA, Mar. 2005 .
閾値としてδが与えられるものとして,垂直方向に2分割する場合,次式に基づき分割位置を決定する。垂直方向に2分割する場合の分割位置h0 は,次式で与えられる。
It is also possible to use a value obtained by inverting the sign of SSIM (see
[Reference 1]: Z. Wang and EP Simoncelli, “Translation insensitive image similarity in complex wavelet domain”, IEEE International Conference on Acoustics, Speech and Signal Processing, vol. II, pp. 573-576, Philadelphia, PA, Mar 2005.
Assuming that δ is given as a threshold value, when dividing into two in the vertical direction, the division position is determined based on the following equation. The division position h 0 in the case of dividing into two in the vertical direction is given by the following equation.
同様に,閾値としてδが与えられるものとして,水平方向に2分割する場合,次式に基づき分割位置を決定する。水平方向に2分割する場合の分割位置w0 は,次式で与えられる。 Similarly, assuming that δ is given as a threshold value, when dividing horizontally into two, the division position is determined based on the following equation. The division position w 0 when dividing into two in the horizontal direction is given by the following equation.
上記式において,Mh ,Mw は,分割位置を指定する粒度を決定するパラメータであり,予め与えられるものとする。このとき,
Ξhor [x,0,h0 ,W,H,δ,δ]+λΘhor [x,0,W,h0 −L,2L+1,δ,δ,Cu ,Cd ]
≦ Ξver [x,w0 ,0,W,H,δ,δ]+λΘver [x,0,H,w0 −L,2L+1,δ,δ,Cl ,Cr ]
となる場合には,t=h0 の位置で垂直方向に分割を行うこととし,それ以外の場合には,s=w0 の位置で水平方向に分割を行うこととする。なお,h0 =0あるいはw0 =0となる場合,分割を行わないほうが最適であるので分割は行われない。
In the above formula, M h and M w are parameters for determining the granularity for designating the division position, and are given in advance. At this time,
Hor hor [x, 0, h 0 , W, H, δ, δ] + λΘ hor [x, 0, W, h 0 −L, 2L + 1, δ, δ, C u , C d ]
≦ Ξ ver [x, w 0 , 0, W, H, δ, δ] + λΘ ver [x, 0, H, w 0 −L, 2L + 1, δ, δ, C l , C r ]
In such a case, division is performed in the vertical direction at the position t = h 0 , and in other cases, division is performed in the horizontal direction at the position s = w 0 . Note that when h 0 = 0 or w 0 = 0, it is more optimal not to perform the division, so the division is not performed.
分割により得られた矩形領域の中で変換係数の個数が最大の領域(分割対象領域)に対して,上記と同様の分割処理を施す。選択した領域に対して分割が行われなかった場合には,先に選択された領域の次に変換係数の個数が最大の領域に対して,上記と同様の分割処理を施す。この繰り返しは,全ての分割領域に対して分割が行われなくなるまで続ける。または,分割領域内の画素数の下限値を設定しておき,分割の結果,この下限値を下回るような領域は生成されないように制限を設けることも可能である。 The same division processing as described above is performed on the region (division target region) having the largest number of transform coefficients in the rectangular region obtained by the division. If the selected area has not been divided, the same dividing process as described above is performed on the area having the largest number of transform coefficients after the previously selected area. This repetition is continued until all the divided areas are not divided. Alternatively, it is possible to set a lower limit value for the number of pixels in the divided area and to limit generation so that an area below the lower limit value is not generated as a result of the division.
[領域分割方法4]
画面内において,画面内の領域毎に閾値を設定し,かつ,領域間の閾値の差分値が一定範囲内であるという条件下で,閾値以下の係数を切り捨て(零値とし),全領域の有意係数の個数を最小化するための分割を考える。さらに,垂直に2分割する場合と水平に2分割する場合の結果を比較し,上記有意係数の個数最小化の規範に基づき,垂直分割・水平分割のいずれかを選択する。
[Area Division Method 4]
In the screen, a threshold value is set for each area in the screen, and the coefficient below the threshold value is rounded down (set to zero) under the condition that the threshold difference value between the areas is within a certain range. Consider a partition to minimize the number of significant coefficients. Further, the results of the vertical division and the horizontal division are compared, and either vertical division or horizontal division is selected based on the above-mentioned norm of minimizing the number of significant coefficients.
領域分割の尺度として前述の有意係数の個数および分割境界の不連続性の評価尺度(不連続尺度)を用いる。 The number of significant coefficients and the evaluation measure (discontinuity measure) of the discontinuity of the dividing boundary are used as a measure of region division.
閾値としてδが与えられるものとして,分割後の2つの領域での閾値の差を閾値ζ以内に保つ条件下で,垂直方向に2分割する場合,次式に基づき分割位置を決定する。垂直方向に2分割する場合の分割位置h0 は,次式で与えられる。 Assuming that δ is given as the threshold value, when dividing into two in the vertical direction under the condition that the difference between the threshold values in the two regions after division is within the threshold value ζ, the division position is determined based on the following equation. The division position h 0 in the case of dividing into two in the vertical direction is given by the following equation.
分割後の2つの領域での閾値の差を閾値ζ以内に保つ条件下で,水平方向に2分割する場合,次式に基づき分割位置を決定する。水平方向に2分割する場合の分割位置w0 は,次式で与えられる。 When dividing into two in the horizontal direction under the condition that the difference between the threshold values in the two regions after division is kept within the threshold value ζ, the division position is determined based on the following equation. The division position w 0 when dividing into two in the horizontal direction is given by the following equation.
ここで,βは,係数選択の閾値を指定する粒度を決定するパラメータであり,予め与えられるものとする。このとき,
Ξhor [x,0,h0 ,W,H,δ,δ+βjd,0 ]+λΘhor [x,0,W,h0 −L,2L+1,δ,δ+βjd,0 ,Cu ,Cd ]
≦ Ξver [x,w0 ,0,W,H,δ,δ+βjr,0 ]+λΘver [x,0,H,w0 −L,2L+1,δ,δ+βjr,0 ,Cl ,Cr ]
となる場合には,t=h0 の位置で垂直方向に分割を行うこととし,それ以外の場合には,s=w0 の位置で水平方向に分割を行うこととする。なお,h0 =0あるいはw0 =0となる場合,分割を行わないほうが最適であるので分割は行われない。
Here, β is a parameter for determining the granularity for specifying the coefficient selection threshold, and is given in advance. At this time,
Hor hor [x, 0, h 0 , W, H, δ, δ + βj d, 0 ] + λΘ hor [x, 0, W, h 0 −L, 2L + 1, δ, δ + βj d, 0 , C u , C d ]
≦ Ξ ver [x, w 0 , 0, W, H, δ, δ + βj r, 0 ] + λΘ ver [x, 0, H, w 0 −L, 2L + 1, δ, δ + βj r, 0 , C l , C r ]
In such a case, division is performed in the vertical direction at the position t = h 0 , and in other cases, division is performed in the horizontal direction at the position s = w 0 . Note that when h 0 = 0 or w 0 = 0, it is more optimal not to perform the division, so the division is not performed.
分割により得られた矩形領域の中で変換係数の個数が最大の領域(分割対象領域)に対して,上記と同様の分割処理を施す。選択した領域に対して分割が行われなかった場合には,先に選択された領域の次に変換係数の個数が最大の領域に対して,上記と同様の分割処理を施す。この繰り返しは,全ての分割領域に対して分割が行われなくなるまで続ける。または,分割領域内の画素数の下限値を設定しておき,分割の結果,この下限値を下回るような領域は生成されないように制限を設けることも可能である。 The same division processing as described above is performed on the region (division target region) having the largest number of transform coefficients in the rectangular region obtained by the division. If the selected area has not been divided, the same dividing process as described above is performed on the area having the largest number of transform coefficients after the previously selected area. This repetition is continued until all the divided areas are not divided. Alternatively, it is possible to set a lower limit value for the number of pixels in the divided area and to limit generation so that an area below the lower limit value is not generated as a result of the division.
次に,以上説明した領域分割方法を用いて最適な領域分割を行い,変換係数の絞り込みを行って有意変換係数を符号化する画像符号化装置と,その処理フローの例について説明する。 Next, an image encoding apparatus that performs optimal region division using the above-described region division method, narrows down transform coefficients, and encodes significant transform coefficients, and an example of a processing flow thereof will be described.
[画像符号化装置の構成例]
図1は,本発明の実施形態に係る画像符号化装置の構成例を示す。画像符号化装置10は映像信号を入力すると,予測部14により予測された予測信号との差分から予測残差信号を求め,その予測残差信号を変換部11により冗長系の変換基底を用いて変換する。係数選択処理部20は,変換部11の出力である変換係数の絞り込みを行い,符号化に用いる有意変換係数を選択する。エントロピ符号化部15は,選択された有意変換係数を可変長符号化し,符号化ストリームとして出力する。
[Configuration Example of Image Encoding Device]
FIG. 1 shows a configuration example of an image coding apparatus according to an embodiment of the present invention. When the
一方,係数選択処理部20の出力は,逆変換部12で逆変換され,その変換結果に予測信号が加えられて復号信号が生成される。復号信号は,歪除去フィルタ13によりノイズ除去処理がなされ,参照復号信号として予測部14に入力される。予測部14では,次の映像信号の符号化のための予測信号の生成を行う。
On the other hand, the output of the coefficient
係数選択処理部20における有意変換係数の選択は,次のように行われる。まず,最適分割処理部22は,画像の領域を分割する複数の分割候補となる位置のそれぞれについて分割位置を設定し,領域分割を行い,係数選択部221により,各分割領域で閾値以下の変換係数を切り捨てることにより有意変換係数を選択する。また,コスト算出部222により,領域分割に応じた符号化のコスト,例えば全領域の有意変換係数の個数,変換係数の切り捨てにより生じる誤差の和,または,分割領域の境界部における不連続性をコストとして考慮する場合には,その不連続性のコストを算出する。その結果をもとに,最適分割処理部22は,コストが最も小さくなる領域分割を最適分割として選択する。
Selection of the significant conversion coefficient in the coefficient
領域分割形状設定部21は,最適分割処理部22によって決定された領域分割を示す情報と,その領域分割に対して係数選択部221によって選択された有意変換係数とを符号化対象情報として,エントロピ符号化部15に出力する。
The area division
[係数選択処理フロー]
図2は,係数選択処理部20が実行する係数選択処理フローを示す図である。ここでは,主に[領域分割方法4]により領域分割を行う場合の実施例を説明するが,この方法は,[領域分割方法1]〜[領域分割方法3]の方法を包含しており,以下の説明から[領域分割方法1]〜[領域分割方法3]の領域分割による係数選択処理についても同様に実施することができることは明らかである。
[Coefficient selection process flow]
FIG. 2 is a diagram illustrating a coefficient selection processing flow executed by the coefficient
この例では,係数選択処理部20は,閾値δと,閾値の変動を一定範囲内許容する場合の変動範囲の閾値ζと,係数選択の閾値を指定する粒度を決定するパラメータであるβと,処理対象画像の領域(最初は入力画像信号の全領域)とを引数とするSegment関数によって呼び出され,以下の処理を行う。
[ステップS1]:領域を領域1と領域2とに分割するとした場合の領域2の係数選択の閾値δ2をループインデックスとして,初期値をδ2=δ−ζβとし,増分をβとし,δ2≦δ+βζの間,ステップS1〜S5の処理を繰り返す。
[ステップS2]:領域1の係数選択の閾値δ1をループインデックスとして,初期値をδ1=δ−ζβとし,増分をβとし,δ1≦δ+βζの間,ステップS2〜S4の処理を繰り返す。
[ステップS3]:δ1,δ2および入力領域を引数として,Opt_sub_div関数を呼び出す。この関数によって,最適分割処理部22により,図3,図4に示す最適分割処理が実行される。
[ステップS4]:ループインデックスδ1にζβを加算し,ステップS2以降の処理を繰り返す。δ1がδ+ζβ以上になったならばループを終了する。
[ステップS5]:ループインデックスδ2にζβを加算し,ステップS1以降の処理を繰り返す。δ2がδ+ζβ以上になったならばループを終了する。
[ステップS6]:ステップS3の処理結果から最適な係数個数を算出する。
[ステップS7]:分割無しラベルを持たない領域の有無を判定し,分割無しラベルを持たない領域がある場合には,ステップS8を実行する。すべての領域が分割無しラベルを持つ領域になった場合には,処理を終了する。
[ステップS8]:分割無しラベルを持つ領域の中でコスト関数が最大となる領域を選択し,δと,ζと,βと,コスト関数が最大となる領域とを引数とするSegment関数を呼び出し,係数選択処理部20による処理を,分割無しラベルを持つ領域が無くなるまで,再帰的に繰り返す。
In this example, the coefficient
[Step S1]: When the region is divided into the
[Step S2]: The coefficient selection threshold δ1 of the
[Step S3]: The Opt_sub_div function is called with δ1, δ2 and the input area as arguments. With this function, the optimum
[Step S4]: ζβ is added to the loop index δ1, and the processing after step S2 is repeated. When δ1 becomes δ + ζβ or more, the loop is terminated.
[Step S5]: ζβ is added to the loop index δ2, and the processing after step S1 is repeated. When δ2 becomes δ + ζβ or more, the loop is terminated.
[Step S6]: The optimum number of coefficients is calculated from the processing result of Step S3.
[Step S7]: It is determined whether or not there is an area having no undivided label. If there is an area having no undivided label, step S8 is executed. If all the areas have an undivided label, the process ends.
[Step S8]: A region having the maximum cost function is selected from among regions having no division labels, and a Segment function is called with δ, ζ, β, and a region having the maximum cost function as arguments. , The processing by the coefficient
[最適分割処理フロー]
図3および図4に,最適分割処理部22が実行する最適分割処理フローを示す。最適分割処理部22は,図2に示すステップS3におけるOpt_sub_div関数(最適分割処理関数)によって呼び出される。入力は,領域1の係数選択の閾値δ1,領域2の係数選択の閾値δ2,最適分割対象の領域である。
[ステップS10]:縦分割位置(領域を垂直方向に2分割する位置)をループインデックスとして,初期値を0,増分をMとし,縦分割位置<画面縦幅の間,ステップS10〜S12の処理を繰り返す。
[ステップS11]:δ1,δ2および縦分割位置を引数として,コスト関数算出関数を呼び出す。この関数によって,コスト算出部222により,図5に示すコスト関数算出処理が実行される。
[ステップS12]:ループインデックスの縦分割位置にMを加算し,ステップS10以降の処理を繰り返す。縦分割位置が画面縦幅以上になったならばループを終了する。
[ステップS13]:コスト関数算出の処理結果から最適縦分割位置を算出し,図4のステップS20へ進む。
[ステップS14]:横分割位置(領域を水平方向に2分割する位置)をループインデックスとして,初期値を0,増分をMとし,横分割位置<画面横幅の間,ステップS14〜S16の処理を繰り返す。
[ステップS15]:δ1,δ2および横分割位置を引数として,コスト関数算出関数を呼び出す。この関数によって,コスト算出部222により,図5に示すコスト関数算出処理が実行される。
[ステップS16]:ループインデックスの横分割位置にMを加算し,ステップS14以降の処理を繰り返す。横分割位置が画面横幅以上になったならばループを終了する。
[ステップS17]:コスト関数算出の処理結果から最適横分割位置を算出し,図4のステップS20へ進む。なお,ステップS10〜S13とステップS14〜S17の処理は,パラレルに実行してもシリアルに実行してもどちらでもよい。
[ステップS20]:最適縦分割位置を用いたコストと最適横分割位置を用いたコストとの大小を比較し,最適縦分割位置を用いたコストのほうが小さい場合には,ステップS21へ進み,そうでない場合には,ステップS25へ進む。
[ステップS21]:一方の分割領域の画素数が0か,または一方の分割領域の変換係数の個数が0の場合,ステップS22へ進み,そうでない場合には,ステップS24へ進む。
[ステップS22]:入力された領域に対して,領域の分割は行わないことを示す分割無しラベルを付与する。
[ステップS23]:Opt_sub_div関数の呼び出し元へ分割無しラベルを返し,処理を終了する。
[ステップS24]:最適縦分割位置の情報,各分割領域の変換係数,各分割領域の近似誤差,コスト関数値を,Opt_sub_div関数の呼び出し元へ返し,処理を終了する。
[ステップS25]:一方の分割領域の画素数が0か,または一方の分割領域の変換係数の個数が0の場合,ステップS26へ進み,そうでない場合には,ステップS28へ進む。
[ステップS26]:入力された領域に対して,領域の分割は行わないことを示す分割無しラベルを付与する。
[ステップS27]:Opt_sub_div関数の呼び出し元へ分割無しラベルを返し,処理を終了する。
[ステップS28]:最適横分割位置の情報,各分割領域の変換係数,各分割領域の近似誤差,コスト関数値を,Opt_sub_div関数の呼び出し元へ返し,処理を終了する。
[Optimal split processing flow]
FIG. 3 and FIG. 4 show the optimum division processing flow executed by the optimum
[Step S10]: The vertical division position (position at which the region is divided into two in the vertical direction) is set as a loop index, the initial value is 0, the increment is M, and the processing of steps S10 to S12 is performed while the vertical division position <the screen vertical width. repeat.
[Step S11]: The cost function calculation function is called with δ1, δ2 and the vertical division position as arguments. With this function, the
[Step S12]: M is added to the vertical division position of the loop index, and the processing after step S10 is repeated. If the vertical division position exceeds the screen vertical width, the loop is terminated.
[Step S13]: The optimum vertical division position is calculated from the processing result of the cost function calculation, and the process proceeds to step S20 in FIG.
[Step S14]: The horizontal division position (position at which the region is divided into two in the horizontal direction) is set as a loop index, the initial value is 0, the increment is M, and the processing of steps S14 to S16 is performed while the horizontal division position <the horizontal width of the screen. repeat.
[Step S15]: The cost function calculation function is called with δ1, δ2 and the horizontal division position as arguments. With this function, the
[Step S16]: M is added to the horizontal division position of the loop index, and the processes in and after step S14 are repeated. If the horizontal division position exceeds the screen horizontal width, the loop is terminated.
[Step S17]: The optimum horizontal division position is calculated from the processing result of the cost function calculation, and the process proceeds to Step S20 in FIG. Note that the processes of steps S10 to S13 and steps S14 to S17 may be executed in parallel or serially.
[Step S20]: The cost using the optimum vertical division position is compared with the cost using the optimum horizontal division position. If the cost using the optimum vertical division position is smaller, the process proceeds to step S21. If not, the process proceeds to step S25.
[Step S21]: If the number of pixels in one divided area is 0 or the number of transform coefficients in one divided area is 0, the process proceeds to step S22, and if not, the process proceeds to step S24.
[Step S22]: A non-division label indicating that the area is not divided is assigned to the input area.
[Step S23]: A non-divided label is returned to the caller of the Opt_sub_div function, and the process ends.
[Step S24]: The information of the optimal vertical division position, the conversion coefficient of each divided area, the approximate error of each divided area, and the cost function value are returned to the caller of the Opt_sub_div function, and the process is terminated.
[Step S25]: If the number of pixels in one divided area is 0 or the number of transform coefficients in one divided area is 0, the process proceeds to step S26, and if not, the process proceeds to step S28.
[Step S26]: A non-division label indicating that the area is not divided is assigned to the input area.
[Step S27]: A label without division is returned to the caller of the Opt_sub_div function, and the process is terminated.
[Step S28]: The information of the optimal horizontal division position, the conversion coefficient of each divided area, the approximate error of each divided area, and the cost function value are returned to the caller of the Opt_sub_div function, and the process is terminated.
[コスト関数算出処理フロー]
図5に,コスト算出部222が実行するコスト関数算出処理フローを示す。コスト算出部222は,図3に示すステップS11およびS15におけるコスト関数算出関数によって呼び出される。入力は,領域1の係数選択の閾値δ1,領域2の係数選択の閾値δ2,縦分割位置または横分割位置である。
[ステップS30]:領域1に対して,閾値δ1未満の係数を零値にする係数選択処理を行う。
[ステップS31]:領域1に対して,上記の係数選択処理により選択された係数で近似した場合の近似誤差を算出する。
[ステップS32]:領域1に対して,上記の係数選択処理により選択された係数で近似した場合の復号信号を得る。その後,ステップS36へ進む。
[ステップS33]:領域2に対して,閾値δ2未満の係数を零値にする係数選択処理を行う。
[ステップS34]:領域2に対して,上記の係数選択処理により選択された係数で近似した場合の近似誤差を算出する。
[ステップS35]:領域2に対して,上記の係数選択処理により選択された係数で近似した場合の復号信号を得る。なお,ステップS30〜S32とステップS33〜S35とは,パラレルに実行してもシリアルに実行してもどちらでもよい。
[ステップS36]:領域1,2の復号信号の境界領域に対して,不連続尺度を算出する。
[ステップS37]:領域1,2の近似誤差和にλ×不連続尺度を加算して,コスト関数値を算出する。算出したコスト関数値を,関数の呼び出し元へ返し,処理を終了する。
[Cost function calculation processing flow]
FIG. 5 shows a cost function calculation process flow executed by the
[Step S30]: A coefficient selection process is performed for the
[Step S31]: An approximation error is approximated when the
[Step S32]: A decoded signal is obtained when the
[Step S33]: A coefficient selection process is performed for the area 2 so that a coefficient less than the threshold value δ2 is zero.
[Step S34]: An approximation error is approximated when the region 2 is approximated by the coefficient selected by the coefficient selection process.
[Step S35]: A decoded signal is obtained when the region 2 is approximated by the coefficient selected by the coefficient selection process. Note that steps S30 to S32 and steps S33 to S35 may be executed in parallel or serially.
[Step S36]: A discontinuity measure is calculated for the boundary region of the decoded signals in
[Step S37]: λ × discontinuity scale is added to the approximate error sum of
以上の画像符号化の処理は,コンピュータとソフトウェアプログラムとによっても実現することができ,そのプログラムをコンピュータ読み取り可能な記録媒体に記録することも,ネットワークを通して提供することも可能である。 The above-described image encoding processing can be realized by a computer and a software program, and the program can be recorded on a computer-readable recording medium or provided through a network.
図6は,本発明をソフトウェアプログラムを用いて実現する場合のシステムの構成例を示している。メモリ52には,本発明の画像符号化処理を行うための画像符号化プログラム53が格納される。CPU50は,メモリ52に格納された画像符号化プログラム53の命令を逐次フェッチして実行する。映像記憶装置51は,符号化対象の映像信号を記憶する装置である。映像信号は,図示省略したカメラ等から入力するようにしてもよい。画像符号化プログラム53によって生成された符号化ストリームは,符号化ストリーム記憶装置54に格納される。または,ネットワークアダプタ等のインタフェースを介して,符号化ストリームを外部装置に出力してもよい。システムバス55は,CPU50,映像記憶装置51,メモリ52,符号化ストリーム記憶装置54を接続するバスである。
FIG. 6 shows an example of the system configuration when the present invention is implemented using a software program. The
10 画像符号化装置
11 変換部
12 逆変換部
13 歪除去フィルタ
14 予測部
15 エントロピ符号化部
20 係数選択処理部
21 領域分割形状設定部
22 最適分割処理部
221 係数選択部
222 コスト算出部
DESCRIPTION OF
Claims (10)
画像の領域を分割する複数の分割候補となる位置のそれぞれについて,分割位置を設定する過程と,
前記設定された分割位置で画像の領域を分割し,閾値一定の条件下で,各分割領域における前記閾値以下の変換係数を切り捨てる過程と,
前記複数の分割候補となる位置でそれぞれ分割したすべての領域分割の中で,全領域の有意変換係数の個数または変換係数の切り捨てによる誤差の和が最小となる領域分割を選択するとともに,各分割領域における符号化に用いる有意変換係数を選択する過程とを有する
ことを特徴とする画像符号化方法。 In an image encoding method for performing conversion using a redundant conversion basis on an input image signal, narrowing down the obtained conversion coefficients, and encoding significant conversion coefficients as a result of the narrowing down,
A process of setting a division position for each of a plurality of division candidate positions for dividing an image region;
Dividing a region of the image at the set division position, and truncating a transform coefficient equal to or less than the threshold value in each divided region under a constant threshold condition;
Among all the area divisions respectively divided at the positions to be the plurality of division candidates, the area division that minimizes the number of significant conversion coefficients in all areas or the sum of errors due to conversion coefficient truncation is selected, and each division is selected. And a step of selecting a significant transform coefficient used for encoding in the region.
画像の領域を分割する複数の分割候補となる位置のそれぞれについて,分割位置を設定する過程と,
前記設定された分割位置で画像の領域を分割し,閾値の変動を一定範囲内許容するという条件下で,各分割領域における前記閾値以下の変換係数を切り捨てる過程と,
前記複数の分割候補となる位置でそれぞれ分割したすべての領域分割の中で,全領域の有意変換係数の個数または変換係数の切り捨てによる誤差の和が最小となる領域分割を選択するとともに,各分割領域における符号化に用いる有意変換係数を選択する過程とを有する
ことを特徴とする画像符号化方法。 In an image encoding method for performing conversion using a redundant conversion basis on an input image signal, narrowing down the obtained conversion coefficients, and encoding significant conversion coefficients as a result of the narrowing down,
A process of setting a division position for each of a plurality of division candidate positions for dividing an image region;
Dividing a region of the image at the set division position and truncating a conversion coefficient equal to or less than the threshold value in each division region under a condition that variation of the threshold value is allowed within a certain range;
Among all the area divisions respectively divided at the positions to be the plurality of division candidates, the area division that minimizes the number of significant conversion coefficients in all areas or the sum of errors due to conversion coefficient truncation is selected, and each division is selected. And a step of selecting a significant transform coefficient used for encoding in the region.
画像の領域を分割する複数の分割候補となる位置のそれぞれについて,分割位置を設定する過程と,
前記設定された分割位置で画像の領域を分割し,閾値一定の条件下で,各分割領域における前記閾値以下の変換係数を切り捨てる過程と,
前記複数の分割候補となる位置でそれぞれ分割したすべての領域分割の中で,全領域の有意変換係数の個数または変換係数の切り捨てによる誤差の和と,分割領域の境界部に接する所定幅の二つの境界領域における変換係数の絞り込みに基づく近似誤差の乖離度との重み付き和を最小化する領域分割を選択するとともに,各分割領域における符号化に用いる有意変換係数を選択する過程とを有する
ことを特徴とする画像符号化方法。 In an image encoding method for performing conversion using a redundant conversion basis on an input image signal, narrowing down the obtained conversion coefficients, and encoding significant conversion coefficients as a result of the narrowing down,
A process of setting a division position for each of a plurality of division candidate positions for dividing an image region;
Dividing a region of the image at the set division position, and truncating a transform coefficient equal to or less than the threshold value in each divided region under a constant threshold condition;
Among all the area divisions divided at the positions to be the plurality of division candidates, the number of significant conversion coefficients in all areas or the sum of errors due to the truncation of the conversion coefficients, and a predetermined width in contact with the boundary of the division area. Selecting a region division that minimizes the weighted sum of the divergences of approximation errors based on the conversion coefficient narrowing down in the two boundary regions, and selecting a significant transformation coefficient used for encoding in each divided region. An image encoding method characterized by the above.
画像の領域を分割する複数の分割候補となる位置のそれぞれについて,分割位置を設定する過程と,
前記設定された分割位置で画像の領域を分割し,閾値の変動を一定範囲内許容するという条件下で,各分割領域における前記閾値以下の変換係数を切り捨てる過程と,
前記複数の分割候補となる位置でそれぞれ分割したすべての領域分割の中で,全領域の有意変換係数の個数または変換係数の切り捨てによる誤差の和と,分割領域の境界部に接する所定幅の二つの境界領域における変換係数の絞り込みに基づく近似誤差の乖離度との重み付き和を最小化する領域分割を選択するとともに,各分割領域における符号化に用いる有意変換係数を選択する過程とを有する
ことを特徴とする画像符号化方法。 In an image encoding method for performing conversion using a redundant conversion basis on an input image signal, narrowing down the obtained conversion coefficients, and encoding significant conversion coefficients as a result of the narrowing down,
A process of setting a division position for each of a plurality of division candidate positions for dividing an image region;
Dividing a region of the image at the set division position and truncating a conversion coefficient equal to or less than the threshold value in each division region under a condition that variation of the threshold value is allowed within a certain range;
Among all the area divisions divided at the positions to be the plurality of division candidates, the number of significant conversion coefficients in all areas or the sum of errors due to the truncation of the conversion coefficients, and a predetermined width in contact with the boundary of the division area. Selecting a region division that minimizes the weighted sum of the divergences of approximation errors based on the conversion coefficient narrowing down in the two boundary regions, and selecting a significant transformation coefficient used for encoding in each divided region. An image encoding method characterized by the above.
前記選択された領域分割における各分割領域に対して,所定の分割の終了条件が満たされるまで,前記領域分割および有意変換係数を選択する処理を再帰的に繰り返す
ことを特徴とする画像符号化方法。 In the image coding method according to any one of claims 1 to 4,
An image coding method characterized by recursively repeating the process of selecting the area division and the significant transform coefficient until a predetermined division termination condition is satisfied for each divided area in the selected area division .
画像の領域を分割する複数の分割候補となる位置のそれぞれについて,分割位置を設定する手段と,
前記設定された分割位置で画像の領域を分割し,閾値一定の条件下で,各分割領域における前記閾値以下の変換係数を切り捨てる手段と,
前記複数の分割候補となる位置でそれぞれ分割したすべての領域分割の中で,全領域の有意変換係数の個数または変換係数の切り捨てによる誤差の和が最小となる領域分割を選択するとともに,各分割領域における符号化に用いる有意変換係数を選択する手段とを備える
ことを特徴とする画像符号化装置。 In an image encoding apparatus that performs conversion using a redundant conversion basis on an input image signal, narrows down the obtained conversion coefficients, and encodes significant conversion coefficients as a result of the reduction,
Means for setting a division position for each of a plurality of division candidate positions for dividing an image area;
Means for dividing an image area at the set division position and truncating a transform coefficient equal to or less than the threshold value in each divided area under a constant threshold condition;
Among all the area divisions respectively divided at the positions to be the plurality of division candidates, the area division that minimizes the number of significant conversion coefficients in all areas or the sum of errors due to conversion coefficient truncation is selected, and each division is selected. An image encoding apparatus comprising: means for selecting a significant transform coefficient used for encoding in a region.
画像の領域を分割する複数の分割候補となる位置のそれぞれについて,分割位置を設定する手段と,
前記設定された分割位置で画像の領域を分割し,閾値の変動を一定範囲内許容するという条件下で,各分割領域における前記閾値以下の変換係数を切り捨てる手段と,
前記複数の分割候補となる位置でそれぞれ分割したすべての領域分割の中で,全領域の有意変換係数の個数または変換係数の切り捨てによる誤差の和が最小となる領域分割を選択するとともに,各分割領域における符号化に用いる有意変換係数を選択する手段とを備える
ことを特徴とする画像符号化装置。 In an image encoding apparatus that performs conversion using a redundant conversion basis on an input image signal, narrows down the obtained conversion coefficients, and encodes significant conversion coefficients as a result of the reduction,
Means for setting a division position for each of a plurality of division candidate positions for dividing an image area;
Means for dividing a region of the image at the set division position and truncating a conversion coefficient equal to or less than the threshold value in each division region under a condition that variation of the threshold value is allowed within a certain range;
Among all the area divisions respectively divided at the positions to be the plurality of division candidates, the area division that minimizes the number of significant conversion coefficients in all areas or the sum of errors due to conversion coefficient truncation is selected, and each division is selected. An image encoding apparatus comprising: means for selecting a significant transform coefficient used for encoding in a region.
画像の領域を分割する複数の分割候補となる位置のそれぞれについて,分割位置を設定する手段と,
前記設定された分割位置で画像の領域を分割し,閾値一定の条件下で,各分割領域における前記閾値以下の変換係数を切り捨てる手段と,
前記複数の分割候補となる位置でそれぞれ分割したすべての領域分割の中で,全領域の有意変換係数の個数または変換係数の切り捨てによる誤差の和と,分割領域の境界部に接する所定幅の二つの境界領域における変換係数の絞り込みに基づく近似誤差の乖離度との重み付き和を最小化する領域分割を選択するとともに,各分割領域における符号化に用いる有意変換係数を選択する手段とを備える
ことを特徴とする画像符号化装置。 In an image encoding apparatus that performs conversion using a redundant conversion basis on an input image signal, narrows down the obtained conversion coefficients, and encodes significant conversion coefficients as a result of the reduction,
Means for setting a division position for each of a plurality of division candidate positions for dividing an image area;
Means for dividing an image area at the set division position and truncating a transform coefficient equal to or less than the threshold value in each divided area under a constant threshold condition;
Among all the area divisions divided at the positions to be the plurality of division candidates, the number of significant conversion coefficients in all areas or the sum of errors due to the truncation of the conversion coefficients, and a predetermined width in contact with the boundary of the division area. Selecting a region division that minimizes the weighted sum of the deviations of approximation errors based on the narrowing down of the transform coefficients in two boundary regions, and means for selecting a significant transform coefficient to be used for encoding in each divided region An image encoding device characterized by the above.
画像の領域を分割する複数の分割候補となる位置のそれぞれについて,分割位置を設定する手段と,
前記設定された分割位置で画像の領域を分割し,閾値の変動を一定範囲内許容するという条件下で,各分割領域における前記閾値以下の変換係数を切り捨てる手段と,
前記複数の分割候補となる位置でそれぞれ分割したすべての領域分割の中で,全領域の有意変換係数の個数または変換係数の切り捨てによる誤差の和と,分割領域の境界部に接する所定幅の二つの境界領域における変換係数の絞り込みに基づく近似誤差の乖離度との重み付き和を最小化する領域分割を選択するとともに,各分割領域における符号化に用いる有意変換係数を選択する手段とを備える
ことを特徴とする画像符号化装置。 In an image encoding apparatus that performs conversion using a redundant conversion basis on an input image signal, narrows down the obtained conversion coefficients, and encodes significant conversion coefficients as a result of the reduction,
Means for setting a division position for each of a plurality of division candidate positions for dividing an image area;
Means for dividing a region of the image at the set division position and truncating a conversion coefficient equal to or less than the threshold value in each division region under a condition that variation of the threshold value is allowed within a certain range;
Among all the area divisions divided at the positions to be the plurality of division candidates, the number of significant conversion coefficients in all areas or the sum of errors due to the truncation of the conversion coefficients, and a predetermined width in contact with the boundary of the division area. Selecting a region division that minimizes the weighted sum of the deviations of approximation errors based on the narrowing down of the transform coefficients in two boundary regions, and means for selecting a significant transform coefficient to be used for encoding in each divided region An image encoding device characterized by the above.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010233229A JP5561611B2 (en) | 2010-10-18 | 2010-10-18 | Image coding method, image coding apparatus, and image coding program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010233229A JP5561611B2 (en) | 2010-10-18 | 2010-10-18 | Image coding method, image coding apparatus, and image coding program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2012089963A JP2012089963A (en) | 2012-05-10 |
JP5561611B2 true JP5561611B2 (en) | 2014-07-30 |
Family
ID=46261139
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010233229A Expired - Fee Related JP5561611B2 (en) | 2010-10-18 | 2010-10-18 | Image coding method, image coding apparatus, and image coding program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5561611B2 (en) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014123865A (en) * | 2012-12-21 | 2014-07-03 | Xacti Corp | Image processing apparatus and imaging apparatus |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3115089B2 (en) * | 1992-03-27 | 2000-12-04 | 三菱電機株式会社 | Encoding device and encoding method |
JPH0974561A (en) * | 1995-09-06 | 1997-03-18 | Mitsubishi Electric Corp | Adaptive area division image encoding system |
JP3628947B2 (en) * | 2000-08-24 | 2005-03-16 | 日本電信電話株式会社 | Image scramble device, release device, image scramble method, image scramble release method, and recording medium recording program |
JP4025570B2 (en) * | 2002-04-03 | 2007-12-19 | 日本電信電話株式会社 | Moving picture coding method, moving picture decoding method, moving picture coding apparatus, moving picture decoding apparatus, moving picture coding program, moving picture decoding program, recording medium recording the moving picture coding program, and moving picture decoding program Recording media |
JP5076150B2 (en) * | 2009-02-25 | 2012-11-21 | 日本電信電話株式会社 | Image coding apparatus, image coding method, and image coding program |
-
2010
- 2010-10-18 JP JP2010233229A patent/JP5561611B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2012089963A (en) | 2012-05-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5076150B2 (en) | Image coding apparatus, image coding method, and image coding program | |
RU2612612C2 (en) | Method and apparatus for performing interpolation based on transform and inverse transform | |
JP4700491B2 (en) | Adaptive coefficient scan ordering | |
RU2543519C2 (en) | Method and apparatus for image encoding and decoding using large transformation unit | |
US9204154B2 (en) | Image encoding device and image decoding device | |
Liu et al. | CNN-based DCT-like transform for image compression | |
JP4987086B2 (en) | Image encoding method and decoding method, apparatus thereof, program thereof, and recording medium recording the program | |
Hassaballah et al. | A Fast Fractal Image Compression Method Based on Entropy | |
JP6042001B2 (en) | Moving picture coding apparatus and moving picture coding method | |
JP5561611B2 (en) | Image coding method, image coding apparatus, and image coding program | |
JP5832263B2 (en) | Image coding apparatus and image coding method | |
JP6564315B2 (en) | Encoding device, decoding device, and program | |
JP5626728B2 (en) | Image coding method, image coding apparatus, and image coding program | |
JP5809574B2 (en) | Encoding method, decoding method, encoding device, decoding device, encoding program, and decoding program | |
JP5035926B2 (en) | Image coding apparatus, image coding method, and image coding program | |
JP2015035788A (en) | Image encoder, image encoding method, and program | |
CN105706447A (en) | Moving image coding device, moving image decoding device, moving image coding method, moving image decoding method, and program | |
JP6502869B2 (en) | Dictionary generation method, dictionary generation device and dictionary generation program | |
JP6581045B2 (en) | Image coding method, image coding apparatus, and image coding program | |
JP6700877B2 (en) | Image decoding device, image decoding program and chip | |
WO2020066307A1 (en) | Image decoding device, image encoding device, image processing system, and program | |
JP5498972B2 (en) | Encoding device, decoding device, and program | |
JP4002212B2 (en) | Moving picture encoding method, apparatus, program, and program recording medium | |
Anandan et al. | VIDEO COMPRESSION USING ARPS AND FAST DISCRETE CURVELET TRANSFORM FOR MOBILE DEVICES | |
JP5662887B2 (en) | Encoding device, decoding device, and program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20130722 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20130722 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20140226 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20140304 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140501 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20140527 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20140529 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5561611 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313117 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
LAPS | Cancellation because of no payment of annual fees |