JP4819855B2 - Moving picture quantization method, moving picture quantization apparatus, moving picture quantization program, and computer-readable recording medium recording the program - Google Patents
Moving picture quantization method, moving picture quantization apparatus, moving picture quantization program, and computer-readable recording medium recording the program Download PDFInfo
- Publication number
- JP4819855B2 JP4819855B2 JP2008209860A JP2008209860A JP4819855B2 JP 4819855 B2 JP4819855 B2 JP 4819855B2 JP 2008209860 A JP2008209860 A JP 2008209860A JP 2008209860 A JP2008209860 A JP 2008209860A JP 4819855 B2 JP4819855 B2 JP 4819855B2
- Authority
- JP
- Japan
- Prior art keywords
- quantization
- spatial frequency
- step width
- calculating
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
Description
本発明は、予測誤差信号に対して変換符号化および量子化による情報圧縮を行うことで動画像を符号化する動画像符号化で用いられる動画像量子化方法およびその装置と、その動画像量子化方法の実現に用いられる動画像量子化プログラムおよびそのプログラムを記録したコンピュータ読み取り可能な記録媒体とに関する。 The present invention relates to a moving picture quantization method and apparatus used in moving picture coding for coding a moving picture by performing information compression by transform coding and quantization on a prediction error signal, and the moving picture quantum The present invention relates to a moving picture quantization program used for realizing the conversion method and a computer-readable recording medium on which the program is recorded.
[直交変換係数に対する量子化]
H.264に代表されるフレーム内/フレーム間予測に基づく符号化方式の場合、矩形状に分割された領域(ブロックと呼ぶ)毎に、予測誤差に対して直交変換・量子化が行われる。
[Quantization for orthogonal transform coefficients]
H. In the case of an encoding method based on intra-frame / inter-frame prediction represented by H.264, orthogonal transform / quantization is performed on the prediction error for each rectangular region (referred to as a block).
H.264における量子化までの符号化処理の流れを以下に示す。以下では、Sは原信号、qは量子化パラメータ、mは予測モードを表す番号であり、^Sm,q は原信号Sに対して予測モードmを用いて予測し、量子化パラメータqを用いて量子化した場合の復号信号である。なお、説明に用いる記号を下記の表にまとめる。 H. The flow of encoding processing up to quantization in H.264 is shown below. In the following, S is an original signal, q is a quantization parameter, m is a number representing a prediction mode, ^ S m, q is predicted for the original signal S using the prediction mode m, and the quantization parameter q is It is a decoded signal when quantized by using. The symbols used for the explanation are summarized in the following table.
原信号Sに対して、モード番号mの予測方法を用いた場合の予測信号をPm とする。H.264の符号化処理では、モード番号mの予測方法を用いた場合の予測誤差信号Rm (=S−Pm )に対して、変換行列〜Φを用いた直交変換が次式のように施される。なお、以下の表記において、「〜X」(Xは文字)における記号〜は、「X」の上に付く記号を示している。 Let P m be the prediction signal when the prediction method of mode number m is used for the original signal S. H. In the H.264 encoding process, the orthogonal transformation using the transformation matrix to Φ is applied to the prediction error signal R m (= S−P m ) when the prediction method of the mode number m is used as follows: Is done. In the following notation, the symbol “˜X” (where X is a letter) indicates a symbol attached to “X”.
ここで、〜Φt は変換行列〜Φに対する転置行列を表す。なお、変換行列〜Φは次式で表される整数要素の直交行列である。 Here, ~ Φ t represents a transposed matrix for the transformation matrix ~ Φ. Note that the transformation matrix to Φ is an orthogonal matrix of integer elements expressed by the following equation.
次に、行列〜Φが非正規行列であるため、次に示すような行列の正規化に相当する処理を行う。 Next, since the matrices Φ are non-normal matrices, processing corresponding to matrix normalization as shown below is performed.
これは、式(1)において、〜Φの代わりに次式のΦを用いることにあたる。 This is equivalent to using Φ of the following expression instead of ˜Φ in the expression (1).
さらに、Cm に対して、量子化ステップ幅Δを用いた量子化が次式のとおり施される。 Further, the quantization using the quantization step width Δ is performed on C m as follows.
ここで、round(・)は実数値をもっとも近い整数値に丸める関数である。 Here, round (•) is a function for rounding a real value to the nearest integer value.
一方、H.264の復号処理では、Vに対して、次式のように逆量子化を施し、変換係数の復号値^Cm,q を得る。 On the other hand, H. In the H.264 decoding process, V is inversely quantized as in the following equation to obtain a decoded coefficient ^ C m, q of the transform coefficient.
ここで、^Cm,q はCm を量子化パラメータqで量子化・逆量子化して得られる係数の復号値である。 Here, {circumflex over (C )} m, q is a decoded value of a coefficient obtained by quantizing / inverse-quantizing C m with the quantization parameter q.
次に、この^Cm,q に対して、次式のように逆変換を施し、予測誤差の復号信号を得る。 Next, inverse transform is applied to this ^ C m, q as shown in the following equation to obtain a prediction error decoded signal.
最後に、次式により、符号化対象画像の復号信号を得る。 Finally, a decoded signal of the encoding target image is obtained by the following equation.
[量子化重み係数を用いた量子化]
MPEG−2やH.264では、次式のように、変換係数の要素毎(k,l成分毎)に量子化ステップ幅を設定する機構が準備されている。
[Quantization using quantization weight coefficient]
MPEG-2 and H.264 In H.264, a mechanism for setting a quantization step width for each element (k and l components) of a transform coefficient is prepared as in the following equation.
ここで、W[k,l]が周波数成分(k,l)に対応して定まる係数である。以下、W[k,l]を量子化重み係数と呼ぶ。 Here, W [k, l] is a coefficient determined corresponding to the frequency component (k, l). Hereinafter, W [k, l] is referred to as a quantization weight coefficient.
例えば、高周波成分の変化は低周波成分の変化に比べて、視覚的には検知されにくい。そこで、高周波成分のW[k,l]を低周波成分のそれよりも大きく設定し、高周波成分を相対的に大きな量子化ステップ幅で処理する量子化が行われている。 For example, changes in high frequency components are less likely to be visually detected than changes in low frequency components. Therefore, quantization is performed in which the high-frequency component W [k, l] is set larger than that of the low-frequency component, and the high-frequency component is processed with a relatively large quantization step width.
さらに、時間方向の視覚感度も考慮して、変移量に応じて適応的に量子化ステップ幅を設定する検討もなされている(特許文献1参照)。
従来の量子化重み係数の設定は、ブロック単位に独立に感度関数による重み付けを行うため、重み付け後の歪み量にブロック境界における不連続性(ブロック歪み)が反映されない。 In the conventional setting of the quantization weight coefficient, weighting by a sensitivity function is performed independently for each block, so that discontinuity (block distortion) at the block boundary is not reflected in the weighted distortion amount.
動き補償によるフレーム間予測と直交変換を組み合わせたブロックベースの符号化方式(例えば、H.264)では、ブロック歪みは特徴的な符号化歪みである。このため、隣接ブロックとの依存関係を考慮せずに量子化ステップ幅を設定したのでは、ブロック歪みが顕在化し、主観画質を大きく損なう危険性がある。 In a block-based coding scheme (for example, H.264) that combines inter-frame prediction based on motion compensation and orthogonal transform, block distortion is a characteristic coding distortion. For this reason, if the quantization step width is set without considering the dependency relationship with the adjacent blocks, there is a risk that block distortion becomes obvious and subjective image quality is greatly impaired.
例えば、図6に示す1次元信号を例に取ると、各ブロック(ブロックk−1,ブロックk,ブロックk+1)のDCT係数に対して重み付けを行うブロックに閉じた処理では、ブロック間の不連続性(ブロックk−1とブロックkの間の不連続性、あるいは、ブロックkとブロックk+1の間の不連続性)は知り得ない。 For example, taking the one-dimensional signal shown in FIG. 6 as an example, discontinuity between blocks is performed in a process closed to blocks that weight the DCT coefficients of each block (block k-1, block k, block k + 1). (Discontinuity between block k-1 and block k, or discontinuity between block k and block k + 1) is not known.
本発明はかかる事情に鑑みてなされたものであって、動き補償によるフレーム間予測と直交変換を組み合わせたブロックベースの符号化方式(例えば、H.264)に対して、量子化ステップ幅として、ブロック歪みを含む主観画質を反映したものを設定できるようにする新たな動画像量子化技術の提供を目的とする。 The present invention has been made in view of such circumstances, and as a quantization step width for a block-based encoding scheme (for example, H.264) that combines inter-frame prediction by motion compensation and orthogonal transform, It is an object of the present invention to provide a new moving image quantization technique that enables setting of a reflection of subjective image quality including block distortion.
本発明では、ブロック内の波形とあわせて、隣接ブロック間の不連続性も考慮した周波数分析を行い、コントラスト感度関数に基づき量子化ステップ幅の設定を行うようにする。 In the present invention, frequency analysis is performed in consideration of discontinuity between adjacent blocks together with the waveform in the block, and the quantization step width is set based on the contrast sensitivity function.
[量子化重み係数の算出]
本発明では、各ブロック内の歪み量に対して、時空間視覚感度関数に基づく重み付けを行う。この重み付けの係数の算出において、入力となるのは変換係数と変移量(動きベクトルのような画像信号の時間的な動きを示すもの)である。ここで、イントラ予測を行うフレームについても、フレーム間における画像信号の時間的な動きを求めることで変移量を求めることができる。
[Calculation of quantization weight coefficient]
In the present invention, the distortion amount in each block is weighted based on the spatiotemporal visual sensitivity function. In the calculation of the weighting coefficient, input is a conversion coefficient and a shift amount (indicating temporal movement of an image signal such as a motion vector). Here, also for a frame for which intra prediction is performed, a shift amount can be obtained by obtaining temporal movement of an image signal between frames.
なお、以下では、縦幅Hの画像を視距離rHにおいて観測する場合を考える。rを視距離パラメータと呼ぶ。また、以下では、表現を簡略化するために、Y,U,Vの区別を表す添え字を省略し、Y成分について議論する。なお、U,V成分についても以下と同様に議論できる。 In the following, a case where an image having a vertical width H is observed at a viewing distance rH is considered. r is called a viewing distance parameter. Also, in the following, in order to simplify the expression, the subscript indicating the distinction between Y, U, and V is omitted, and the Y component will be discussed. The U and V components can be discussed in the same manner as described below.
直交変換による2次元信号の変換とは、その直交変換の基底画像を用いて信号を表現することである。変換行列Φ(N×N行列)の第k列ベクトル(N次元ベクトル)をφk とすると、同行列に対する基底画像は、
fk,l (x,y)=φk [y]φl [x]t (0≦x,y≦N−1)
という式より得られる。なお、H.264の場合、Nとして取りうる値は4または8のいずれかである。ここで、φl t はφl の転置ベクトルである。
The transformation of a two-dimensional signal by orthogonal transformation is to express a signal using a base image of the orthogonal transformation. When the k-th column vector (N-dimensional vector) of the transformation matrix Φ (N × N matrix) is φ k , the base image for the matrix is
f k, l (x, y) = φ k [y] φ l [x] t (0 ≦ x, y ≦ N−1)
It can be obtained from the formula H. In the case of H.264, the possible value for N is either 4 or 8. Here, φ l t is a transposed vector of φ l .
N×N[画素]の領域における予測誤差信号Rm [x,y](Nix ≦x≦Nix +N−1,Niy ≦y≦Niy +N−1)をRm (ix,iy) と略記し、以降、基準ブロックと呼ぶ。ここで、ix,iy は、基準ブロックの位置を指し示す整数値である。さらに、対応する直交変換係数をCm (ix,iy) [k,l](0≦k,l≦N−1)とすると、同予測誤差信号Rm (ix,iy) は次式のように表せる。 Predictive error signal R m [x, y] (Ni x ≦ x ≦ Ni x + N−1, Ni y ≦ y ≦ Ni y + N−1) in the region of N × N [pixel] is expressed as R m (ix, iy). And abbreviated as “reference block” hereinafter. Here, i x and i y are integer values indicating the position of the reference block. Further, assuming that the corresponding orthogonal transform coefficient is C m (ix, iy) [k, l] (0 ≦ k, l ≦ N−1), the prediction error signal R m (ix, iy) is given by It can be expressed as
Mx ×My 個の基準ブロック(Rm (ix,iy) )から構成されるMx N×My N画素を含む予測誤差信号Rm [x,y](Nix0≦x≦N(ix0+Mx )−1,Niy0≦y≦N(iy0+My )−1)(分析対象ブロックと呼ぶ)に対して、ブロック歪みを考慮した主観画質を考察する。 M x × M y-number of reference block (R m (ix, iy) ) composed of M x N × M y prediction including N pixel error signal R m [x, y] ( Ni x0 ≦ x ≦ N ( For i x0 + M x ) −1, Ni y0 ≦ y ≦ N (i y0 + M y ) −1) (referred to as an analysis target block), the subjective image quality considering block distortion is considered.
ここで、この分析対象ブロックはMx ×My 個の基準ブロックから構成されるものであることから、この分析対象ブロックをフーリエ変換すると、基準ブロック内のみならず隣接する基準ブロック間の不連続性(ブロック歪み)についても評価できるようになる。 Here, since the analyzed block is intended to be composed of M x × M y-number of reference blocks, when Fourier transform the analyte block, discontinuity between adjacent reference blocks not only the reference block It becomes possible to evaluate the property (block distortion).
分析対象ブロックと各基準ブロックとの関係を表すためには、次式に示すように、Rm (ix,iy) に対して、ゼロ埋め込みにより、Mx N×My N画素の信号を得る。 To represent the relationship between the analyzed block and the reference block, as shown in the following formula, R m (ix, iy) with respect to, the zero padded, obtaining a signal of M x N × M y N pixels .
同様に、次式に示すように、各基底画像fk,l (x,y)(0≦x,y≦N−1)に対して、ゼロ埋め込みにより、Mx N×My N画素の信号を得る。 Similarly, as shown in the following equation, the base image f k, with respect to l (x, y) (0 ≦ x, y ≦ N-1), the zero padded, the M x N × M y N pixels Get a signal.
ゼロ埋め込みの結果得られる〜fk,l (p) (x,y)(x=0,....,Mx N−1;y=0,....,My N−1;p=0,....,Mx My −1)を修正基底画像と呼ぶ。例えば、N=4,Mx =2,My =2の場合には、図1に示すように、網掛け部の4×4画素に基底画像が配置され、それ以外の位置にゼロ値がパディングされる。 Zero padding the resulting ~f k, l (p) ( x, y) (x = 0, ...., M x N-1; y = 0, ...., M y N-1; p = 0, ...., referred to as a M x M y -1) a modified base image. For example, in the case of N = 4, M x = 2 , M y = 2 , as shown in FIG. 1, is arranged the base image in 4 × 4 pixels shaded portion, are the zero value to the other position Padded.
ここで、図1(a)はix =ix0+1,iy =iy0に対応し、図1(b)はix =ix0,iy =iy0に対応し、図1(c)はix =ix0+1,iy =iy0+1に対応し、図1(d)はix =ix0,iy =iy0+1に対応する。 Here, FIG. 1A corresponds to i x = i x0 +1, i y = i y0 , and FIG. 1B corresponds to i x = i x0 , i y = i y0 , and FIG. ) Corresponds to i x = i x0 +1, i y = i y0 +1, and FIG. 1D corresponds to i x = i x0 , i y = i y0 +1.
このとき、分析対象ブロックは修正基底画像を用いて次式のように表せる。 At this time, the analysis target block can be expressed as follows using the corrected base image.
この式(13)の両辺のフーリエ変換(F[・]で表記)は、フーリエ変換の線形性により、次式のように表せる。 The Fourier transform (expressed by F [•]) on both sides of the equation (13) can be expressed as the following equation by the linearity of the Fourier transform.
ここで、この式(14)は、分析対象ブロックをフーリエ変換することで得られるフーリエ変換係数(基準ブロック内の周波数成分のみならず隣接する基準ブロック間の不連続性に起因する周波数成分)は、修正基底画像をフーリエ変換することで得られるフーリエ変換係数の線形和で表されるということを意味している。 Here, this equation (14) is obtained by the Fourier transform coefficient (frequency component resulting from discontinuity between adjacent reference blocks as well as the frequency component in the reference block) obtained by performing Fourier transform on the analysis target block. This means that the corrected base image is represented by a linear sum of Fourier transform coefficients obtained by performing Fourier transform.
F[〜fk,l (ix,iy) ]は、Mx N×My N次元の複素数ベクトルであり、その第(ux,uy )要素は次式のように表されるフーリエ変換係数である。なお、以下では、N=2m とおく。 F [~f k, l (ix , iy)] is a complex vector of M x N × M y N-dimensional, the first (u x, u y) elements Fourier transform is expressed by the following equation It is a coefficient. In the following, it is assumed that N = 2 m .
ここで、jは虚数単位である。また、ux,uy を空間周波数インデックスと呼ぶ。 Here, j is an imaginary unit. U x and u y are referred to as spatial frequency indexes.
このようにして、フーリエ変換の対象をfk,l (x,y)ではなく、〜fk,l (x,y)とすることで、ブロックの不連続性に起因する周波数成分も考慮した周波数分析を行うことが可能となる。 In this way, the frequency component due to the discontinuity of the block is also taken into account by setting the target of the Fourier transform to ˜f k, l (x, y) instead of f k, l (x, y). Frequency analysis can be performed.
上記のフーリエ変換係数Fk,l (ux,uy )(0≦ux ≦Mx N−1,0≦uy ≦My N−1)に対して、以下の重み付けを行う。なお、(dx,dy )は、分析対象ブロックに対して推定された変移量とする。 Fourier transform coefficients of the F k, relative to l (u x, u y) (0 ≦ u x ≦ M x N-1,0 ≦ u y ≦ M y N-1), performs the weighting of the following. Note that (d x, dy ) is a transition amount estimated for the analysis target block.
以下、〜Fk,l (ux,uy )について説明する。ここで、^g(η,d)はコントラスト感度などの視覚系の特性に基づき設定される関数であり、視覚感度関数と呼ぶ。視覚感度関数の設定については、例えば、後述の[視覚感度関数の設定1]あるいは[視覚感度関数の設定2]に示す方法がある。 Hereinafter, ~ F k, l (ux , u y ) will be described. Here, {circumflex over (g)} (η, d) is a function set based on visual system characteristics such as contrast sensitivity, and is called a visual sensitivity function. As for the setting of the visual sensitivity function, for example, there is a method shown in [Visual sensitivity function setting 1] or [Visual sensitivity function setting 2] described later.
予測誤差信号Rm の(k,l)基底の成分に対する量子化重み係数W(dx,dy )[k,l]を、次式の電力比として定義する。 The quantization weight coefficient W (d x, dy ) [k, l] for the (k, l) basis component of the prediction error signal R m is defined as the power ratio of the following equation.
このとき、輝度成分と色差成分でモデルパラメータを変更することも可能である。 At this time, it is also possible to change the model parameter with the luminance component and the color difference component.
式(17)の意味するところについて説明するならば、分析対象ブロックはMx ×My 個の基準ブロックから構成されるものであることから、分析対象ブロックをフーリエ変換すると、ブロック内のみならず隣接ブロック間の不連続性についても評価できるようになる。一方、式(14)に示すように、分析対象ブロックをフーリエ変換するということは、修正基底画像をフーリエ変換することで得られるフーリエ変換係数の線形和(直交変換係数を係数とする線形和)を算出することと等価である。 If explained the meaning of the formula (17), since the analyzed block is intended to be composed of M x × M y-number of reference blocks, if the analyte block Fourier transform, not only in the block It also becomes possible to evaluate discontinuity between adjacent blocks. On the other hand, as shown in Expression (14), Fourier transform of the analysis target block means that a linear sum of Fourier transform coefficients obtained by Fourier transform of the corrected base image (linear sum using orthogonal transform coefficients as coefficients). Is equivalent to calculating.
そこで、本発明では、ブロック内のみならず隣接ブロック間の不連続性についても評価できるようにするために、式(14)の右辺の{・}の中に記載される部分の二乗和(式(17)の分子に相当するもの)を算出するようにするとともに、式(16)で重み付けされたそれに対応する二乗和(式(17)の分母に相当するもの)を算出するようにして、その比値である式(17)に従って、予測誤差信号Rm の(k,l)基底の成分に対する量子化重み係数W(dx,dy )[k,l]を算出するようにするのである。 Therefore, in the present invention, in order to be able to evaluate not only the block but also the discontinuity between adjacent blocks, the sum of squares of the part described in {•} on the right side of Expression (14) (Expression (Corresponding to the numerator of (17)) and calculating the sum of squares corresponding to the weighted expression (16) (corresponding to the denominator of (17)), The quantization weight coefficient W (d x, dy ) [k, l] for the (k, l) basis component of the prediction error signal R m is calculated according to the ratio (17). is there.
ちなみに、式(17)の分子の算出値をk,lについて総和をとったものは、式(13)の二乗和に相当し、これから、式(17)の分子は予測誤差信号の電力に相当するものとなる。 Incidentally, the sum of the calculated values of the numerator of Equation (17) for k and l corresponds to the sum of squares of Equation (13), and from this, the numerator of Equation (17) corresponds to the power of the prediction error signal. To be.
このようにして決定される量子化重み係数W(dx,dy )[k,l]は、空間周波数および時間周波数に応じた値を示すものであることから、主観画質を反映した量子化処理を実現するものとなっている。しかも、ブロック内の波形とあわせて、隣接ブロック間の不連続性も考慮した周波数分析を行うことで決定されることから、ブロック歪みを含む主観画質を反映した量子化処理を実現するものとなっている。 Since the quantization weight coefficient W (d x, dy ) [k, l] determined in this way indicates a value according to the spatial frequency and the time frequency, the quantization reflecting the subjective image quality is performed. Processing is realized. Moreover, since it is determined by performing frequency analysis considering discontinuity between adjacent blocks together with the waveform in the block, quantization processing reflecting subjective image quality including block distortion is realized. ing.
すなわち、視覚的に検知されにくい時空間周波数成分の量子化ステップ幅については、量子化重み係数W(dx,dy )[k,l]の値が相対的に大きなものとなることで相対的に大きくなり、一方、視覚的に検知されやすい時空間周波数成分の量子化ステップ幅については、量子化重み係数W(dx,dy )[k,l]の値が相対的に小さなものとなることで相対的に小さくなることから、主観画質を反映した量子化処理を実現するものとなっているのである。しかも、この量子化重み係数W(dx,dy )[k,l]の値がブロック内の波形とあわせて、隣接ブロック間の不連続性も考慮した周波数分析を行うことで決定されることから、ブロック歪みを含む主観画質を反映した量子化処理を実現するものとなっているのである。 That is, with respect to the quantization step width of the spatio-temporal frequency component that is difficult to detect visually, the quantization weight coefficient W (d x, dy ) [k, l] becomes relatively large due to the relatively large value. On the other hand, the quantization step width of the spatio-temporal frequency component that is easily detected visually has a relatively small quantization weight coefficient W (d x, d y ) [k, l]. Therefore, the quantization processing that reflects the subjective image quality is realized. In addition, the value of the quantization weight coefficient W (dx , dy ) [k, l] is determined by performing frequency analysis in consideration of discontinuity between adjacent blocks together with the waveform in the block. For this reason, quantization processing reflecting subjective image quality including block distortion is realized.
[量子化重み係数の量子化]
式(17)で求まる量子化重み係数は、変移量(dx,dy )毎に、N2 個の要素W(dx,dy )[k,l](0≦k,l≦N−1)から構成されるN2 次元ベクトルである。以下では、このN2 次元ベクトルを
<W(dx,dy )>={W(dx,dy )[k,l](0≦k,l≦N−1)}
として表す。
[Quantization of quantization weight coefficient]
The quantization weight coefficient obtained by Expression (17) is N 2 elements W (d x, d y ) [k, l] (0 ≦ k, l ≦ N) for each shift amount (d x, d y ). it is N 2-dimensional vector composed of -1). In the following, this N two- dimensional vector is expressed as <W (dx , dy )> = {W (dx , dy ) [k, l] (0≤k, l≤N-1)}.
Represent as
各分析対象ブロック毎に全ての量子化重み係数の情報を符号化したのでは、同係数の付加情報が過剰となり、符号化効率を低下させてしまう。そこで、量子化重み係数を表現する情報量を少なく抑えるために、以下のような多次元情報のクラスタリングに基づく手法を適用する。 If all the quantization weight coefficient information is encoded for each analysis target block, the additional information of the same coefficient becomes excessive, and the encoding efficiency is lowered. Therefore, in order to reduce the amount of information that expresses the quantization weight coefficient, the following method based on clustering of multidimensional information is applied.
まず、変移量に基づくクラスタリングを行う。各分析対象ブロックの変移量を入力として、Lx ×Ly 個のクラス(b(ix −1)≦|dx |<b(ix ),b(iy −1)≦|dy |<b(iy ))に分割する。各クラスの境界を定めるパラメータ(b(ix ),b(iy )(ix =0,....,Lx,iy =0,....,Ly ))は外部から与えられるものとする。例えば、各クラス内の度数がほぼ均等になるように同パラメータを設定する方法があげられる。 First, clustering based on the shift amount is performed. L x × L y classes (b (i x −1) ≦ | d x | <b (i x ), b (i y −1) ≦ | d y using the amount of change of each analysis target block as input. | <B (i y )). Parameters (b (i x ), b (i y ) (i x = 0,..., L x, i y = 0,..., L y )) defining the boundaries of each class are externally applied. Shall be given. For example, there is a method of setting the same parameter so that the frequencies in each class are almost equal.
次に、各クラスに属する量子化重み係数<W(dx,dy )>(b(ix )≦|dx |<b(ix +1),b(iy )≦|dy |<b(iy +1))をN2 次元ベクトルの集合とみなして、Lw 本の代表ベクトルを算出する。つまり、このベクトル集合をLw 本の代表ベクトルに集約し、量子化重み係数に必要な情報量を削減することが目的である。 Next, the quantization weight coefficient belonging to each class <W (d x, d y )> (b (i x ) ≦ | d x | <b (i x +1), b (i y ) ≦ | d y | Considering <b (i y +1)) as a set of N two- dimensional vectors, L w representative vectors are calculated. That is, the purpose is to aggregate this vector set into L w representative vectors to reduce the amount of information necessary for the quantization weight coefficient.
上記代表ベクトルの算出方法は、外部から別途与えられるものとする。例えば、K-means法、LBGアルゴリズムによりLw クラスに分割し、各クラスの重心ベクトルを各クラスの代表ベクトルとする方法がある。あるいは、N2 次元ベクトルの集合に対して、主成分分析を適用し、寄与率の大きい上位Lw 本の主成分に対応する固有ベクトルを代表ベクトルとする方法もある。なお、パラメータLw は外部から与えられるものとする。同パラメータは、クラス毎に個別に設定することも可能である。 The calculation method of the representative vector is given separately from the outside. For example, K-means clustering method is divided into L w class by LBG algorithm, the centroid vector of each class has a method of the representative vector of each class. Alternatively, there is a method in which principal component analysis is applied to a set of N two- dimensional vectors, and eigenvectors corresponding to the top L w principal components having a large contribution ratio are used as representative vectors. Note that the parameter Lw is given from the outside. The parameter can be set individually for each class.
次に、視覚感度関数の設定方法の一例である[視覚感度関数の設定1]および[視覚感度関数の設定2]について説明する。 Next, [visual sensitivity function setting 1] and [visual sensitivity function setting 2], which are examples of the visual sensitivity function setting method, will be described.
[視覚感度関数の設定1]
次式のようなコントラスト感度関数を考える。
[Visual Sensitivity Function Setting 1]
Consider a contrast sensitivity function such as:
ここで、a1,a2,a3,a4 は視覚感度関数の関数形を定めるパラメータ(以後、モデルパラメータと呼ぶ)であり、例えば、
(a1,a2,a3,a4 )=( 6.1 , 7.31 , 2 , 45.9 )
というような値が用いられる。
Here, a 1 , a 2 , a 3 , and a 4 are parameters (hereinafter referred to as model parameters) that define the function form of the visual sensitivity function.
(A 1, a 2, a 3, a 4) = (6.1, 7.31, 2, 45.9)
Such a value is used.
また、ηは単位視野角内の明暗対の個数を表す空間周波数[cycle/degree]である。ここで、ηは一次元の空間周波数であることに注意する。 Also, η is a spatial frequency [cycle / degree] representing the number of light-dark pairs within the unit viewing angle. Note that η is a one-dimensional spatial frequency.
このとき、ηと空間周波数インデックス(ux またはuy のいずれか)との間には、
η(u,r)=θ(r,H)u/2MN ・・・ 式(19)
の関係がある。
At this time, between η and the spatial frequency index (either u x or u y ),
η (u, r) = θ (r, H) u / 2MN Equation (19)
There is a relationship.
ここで、u=ux の場合、M=Mx であり、u=uy の場合、M=My である。また、θ(r,H)は縦幅Hの画像を視距離rHにおいて観測する場合の一画素あたりの角度[degrees/pixel] であり、
θ(r,H)=(1/H)×arctan(1/r)×(180/π)
・・・ 式(20)
という式により与えられる。
In the case of u = u x, a M = M x, the case of u = u y, is M = M y. Θ (r, H) is an angle [degrees / pixel] per pixel when an image having a vertical width H is observed at a viewing distance rH.
θ (r, H) = (1 / H) × arctan (1 / r) × (180 / π)
... Formula (20)
Is given by the expression
ωは単位時間当たりの角度の変化量[degrees/sec] である。このとき、ωと変移量d(dx またはdy のいずれか)との間には、
ω(d)=tan-1(fr d/rH) ・・・ 式(21)
の関係がある。ここで、fr はフレームレートである。
ω is the angle change per unit time [degrees / sec]. At this time, between the ω the displacement amount d (either d x or d y) is
ω (d) = tan -1 ( f r d / rH) ··· formula (21)
There is a relationship. Here, fr is a frame rate.
式(19)および式(21)を式(18)に代入し、コントラスト感度関数g(η,ω)をu,dの関数として表した次式の^g(u,d)
^g(u,d)=g(η(u),ω(d)) ・・・ 式(22)
を視覚感度関数とする。
Expression (19) and Expression (21) are substituted into Expression (18), and the contrast sensitivity function g (η, ω) is expressed as a function of u and d by the following expression ^ g (u, d)
^ G (u, d) = g (η (u), ω (d)) (22)
Is a visual sensitivity function.
[視覚感度関数の設定2]
次のようなコントラスト感度関数を考える。
[Visual sensitivity function setting 2]
Consider the following contrast sensitivity function.
ここで、b1,b2,b3,b4 は視覚感度関数の関数形を定めるパラメータ(以後、モデルパラメータと呼ぶ)であり、例えば、
(b1,b2,b3,b4 )= ( 0.4992 , 0.2964 , -0.114 , 1.1 )
(b1,b2,b3,b4 )= ( 0.2 , 0.45 , -0.18 , 1 )
(b1,b2,b3,b4 )= ( 0.31 , 0.69 , -0.29 , 1 )
(b1,b2,b3,b4 )= ( 0.246 , 0.615 , -0.25 , 1 )
というような値をとる。
Here, b 1 , b 2 , b 3 , and b 4 are parameters (hereinafter referred to as model parameters) that define the function form of the visual sensitivity function.
(B 1, b 2, b 3, b 4) = (0.4992, 0.2964, -0.114, 1.1)
(B 1, b 2, b 3, b 4) = (0.2, 0.45, -0.18, 1)
(B 1, b 2, b 3, b 4) = (0.31, 0.69, -0.29, 1)
(B 1, b 2, b 3, b 4) = (0.246, 0.615, -0.25, 1)
It takes such a value.
また、ηは単位視野角内の明暗対の個数を表す空間周波数[cycle/degree]である。ここで、ηは一次元の空間周波数であることに注意する。 Also, η is a spatial frequency [cycle / degree] representing the number of light-dark pairs within the unit viewing angle. Note that η is a one-dimensional spatial frequency.
このとき、ηと空間周波数インデックス(ux またはuy のいずれか)との間には、
η(u,r)=θ(r,H)u/2MN ・・・ 式(24)
の関係がある。
At this time, between η and the spatial frequency index (either u x or u y ),
η (u, r) = θ (r, H) u / 2MN Equation (24)
There is a relationship.
ここで、u=ux の場合、M=Mx であり、u=uy の場合、M=My である。また、θ(r,H)は縦幅Hの画像を視距離rHにおいて観測する場合の一画素あたりの角度[degrees/pixel] であり、
θ(r,H)=(1/H)×arctan(1/r)×(180/π)
・・・ 式(25)
という式により与えられる。
In the case of u = u x, a M = M x, the case of u = u y, is M = M y. Θ (r, H) is an angle [degrees / pixel] per pixel when an image having a vertical width H is observed at a viewing distance rH.
θ (r, H) = (1 / H) × arctan (1 / r) × (180 / π)
... Formula (25)
Is given by the expression
また、rは変移量dの大きさに応じて適応的に変化させるものとする。例えば、次式のような設定法である。ここで、Aは閾値であり、r1 >r2 とする。 Further, r is adaptively changed according to the magnitude of the shift amount d. For example, the setting method is as follows. Here, A is a threshold value, and r 1 > r 2 .
式(24)および式(25)を式(23)に代入し、コントラスト感度関数g(η)をu,dの関数として表した次式の^g(u,d)
^g(u,d)=g(η(u,r(d)) ・・・ 式(27)
を視覚感度関数とする。
Substituting Equation (24) and Equation (25) into Equation (23), and representing the contrast sensitivity function g (η) as a function of u and d, ^ g (u, d)
^ G (u, d) = g (η (u, r (d)) (27)
Is a visual sensitivity function.
以上に説明した構成に従って、本発明によれば、ブロック歪みを含む主観画質を適切に評価した量子化重み係数を導入することができるようになり、これにより、量子化ステップ幅として、ブロック歪みを含む主観画質を反映した量子化処理を実現できるものを設定することができるようになることで、高能率の符号化を実現できるようになるとともに、符号量の削減を実現できるようになる。 In accordance with the configuration described above, according to the present invention, it is possible to introduce a quantization weighting factor that appropriately evaluates subjective image quality including block distortion, thereby reducing block distortion as a quantization step width. It becomes possible to set what can realize the quantization process reflecting the subjective image quality including the high-efficiency encoding, and the code amount can be reduced.
次に、本発明を具備する動画像符号化装置の構成について説明する。 Next, the configuration of the moving picture coding apparatus provided with the present invention will be described.
本発明を具備する動画像符号化装置は、画像信号、あるいは、フレーム内予測およびフレーム間予測により得られた予測誤差信号に対して、変換符号化および量子化による情報圧縮を行うことで動画像を符号化する構成を採るときに、(イ)変換行列の対象となる複数のブロックで構成される分析対象ブロックに対応付けて定義されて、1つのブロックに変換行列の基底画像が配置され、他のブロックにゼロ値が埋め込まれることで構成されるブロックの数分の修正基底画像について算出された空間周波数成分を記憶する記憶手段と、(ロ)分析対象ブロックの画像信号の時間的な動きを示す変移量を推定する推定手段と、(ハ)記憶手段から修正基底画像の空間周波数成分を読み出して、その空間周波数成分の空間周波数インデックスと推定手段の推定した変移量とに基づいて、その空間周波数成分に割り当てられる視覚感度値を算出して、その空間周波数成分を重み付けする重み付け手段と、(ニ)重み付け手段の重み付けをした空間周波数成分と、その重み付けをしない空間周波数成分と、分析対象ブロックを構成するブロックの変換係数とに基づいて、変換行列の各基底成分毎に設定される量子化ステップ幅に対しての重み係数を算出する算出手段と、(ホ)算出手段の算出した重み係数を用いて、予め設定される量子化ステップ幅を修正することで、量子化処理に用いる量子化ステップ幅を決定する決定手段とを備え、(へ)前記算出手段は、変換係数の二乗和と重み付けをした空間周波数成分の二乗ノルム和との乗算値と、変換係数の二乗和と重み付けをしない空間周波数成分の二乗ノルム和との乗算値とを求めて、その2つの乗算値の割り算値に従って重み係数を算出するように構成する。 A moving image coding apparatus including the present invention performs moving image coding by performing information compression by transform coding and quantization on an image signal or a prediction error signal obtained by intra-frame prediction and inter-frame prediction. (A) is defined in association with an analysis target block composed of a plurality of blocks to be converted matrix, and a base image of the conversion matrix is arranged in one block, (B) temporal movement of the image signal of the block to be analyzed; and (b) storage means for storing spatial frequency components calculated for the corrected base images for the number of blocks configured by embedding zero values in other blocks (C) reading out the spatial frequency component of the corrected base image from the storage means, and estimating the spatial frequency index of the spatial frequency component A visual sensitivity value assigned to the spatial frequency component based on the estimated shift amount of the means and weighting the spatial frequency component; (d) a spatial frequency component weighted by the weighting means; , A calculation for calculating a weighting factor for the quantization step width set for each base component of the transformation matrix based on the spatial frequency component without weighting and the transformation factor of the block constituting the analysis target block by using the means, the calculated weighting coefficient (e) calculation means, to modify the quantization step width is set pre Me, and a determining means for determining a quantization step width used in the quantization process, (F) The calculation means includes a multiplication value of the square sum of the transform coefficients and the weighted square norm sum of the spatial frequency components, and a spatial frequency not weighted with the square sum of the transform coefficients. Seeking a multiplication value of the square norm sum of the number components, configured to calculate a weight coefficient according quotient of the two multiplied values.
ここで、修正基底画像について算出された空間周波数成分を記憶する記憶手段を備えるようにするのは、修正基底画像の空間周波数成分が符号化対象の動画像とは関係なく求めることができることで、その都度算出することが不要であるからである。 Here, the storage means for storing the spatial frequency component calculated for the corrected base image is provided because the spatial frequency component of the corrected base image can be obtained regardless of the moving image to be encoded. This is because it is not necessary to calculate each time.
この構成を採るときに、重み付け手段は、水平方向の空間周波数インデックスと推定手段の推定した変移量の水平成分とに基づいて水平方向の視覚感度値を算出するとともに、垂直方向の空間周波数インデックスと推定手段の推定した変移量の垂直成分とに基づいて垂直方向の視覚感度値を算出することで、記憶手段から読み出した修正基底画像の空間周波数成分に割り当てられる視覚感度値を算出することがある。 When adopting this configuration, the weighting means calculates the visual sensitivity value in the horizontal direction based on the horizontal spatial frequency index and the horizontal component of the displacement estimated by the estimating means, and the vertical spatial frequency index and The visual sensitivity value assigned to the spatial frequency component of the corrected base image read from the storage means may be calculated by calculating the visual sensitivity value in the vertical direction based on the vertical component of the shift amount estimated by the estimation means. .
このように、空間周波数成分および動きの方向依存性を考慮するのは、時空間領域における視覚系の検知機構が空間的エッジ方向および動きの方向に依存するためである。例えば、縦縞が移動する場合、動きとして認識できるのは、動きの水平方向成分のみとなる。つまり、時空間周波数に対する視覚感度を評価する際は、空間周波数成分のエッジ方向および変移方向を考慮する必要がある。このことを考慮して、重み付け手段は、空間周波数成分および動きの方向依存性を考慮する形で視覚感度値を算出することがある。 The reason why the spatial frequency component and the direction dependency of the motion are considered in this way is because the detection mechanism of the visual system in the spatio-temporal region depends on the spatial edge direction and the direction of motion. For example, when the vertical stripe moves, only the horizontal component of the movement can be recognized as the movement. That is, when evaluating the visual sensitivity with respect to the spatio-temporal frequency, it is necessary to consider the edge direction and the transition direction of the spatial frequency component. In consideration of this, the weighting means may calculate the visual sensitivity value in consideration of the spatial frequency component and the direction dependency of motion.
以上の各処理手段が動作することで実現される本発明の動画像符号化方法はコンピュータプログラムでも実現できるものであり、このコンピュータプログラムは、適当なコンピュータ読み取り可能な記録媒体に記録して提供されたり、ネットワークを介して提供され、本発明を実施する際にインストールされてCPUなどの制御手段上で動作することにより本発明を実現することになる。 The moving image encoding method of the present invention realized by the operation of each of the above processing means can also be realized by a computer program, and this computer program is provided by being recorded on a suitable computer-readable recording medium. Alternatively, the present invention is realized by being provided via a network, installed when the present invention is carried out, and operating on a control means such as a CPU.
このようにして、本発明では、画像信号、あるいは、フレーム内予測およびフレーム間予測により得られた予測誤差信号に対して、変換符号化および量子化による情報圧縮を行うことで動画像を符号化する動画像符号化において、直交変換係数の成分毎に量子化ステップ幅を決定する際に、ブロック内の空間周波数成分および隣接ブロック間の不連続性に関する空間周波数成分を測定し、さらに、得られた空間周波数成分と動き推定により得られた動きベクトルとに基づいて時間周波数成分を推定して、時空間周波数の成分毎に、視覚感度関数に基づき重み係数を算出し、その重み係数に基づき、設定される量子化ステップ幅を修正することで量子化処理に用いる量子化ステップ幅を決定するようにする。 Thus, in the present invention, a moving image is encoded by performing information compression by transform coding and quantization on an image signal or a prediction error signal obtained by intra-frame prediction and inter-frame prediction. In determining the quantization step width for each orthogonal transform coefficient component in the moving image encoding, the spatial frequency component in the block and the spatial frequency component related to the discontinuity between adjacent blocks are measured and further obtained. The temporal frequency component is estimated based on the spatial frequency component obtained and the motion vector obtained by the motion estimation, and a weighting factor is calculated for each spatiotemporal frequency component based on the visual sensitivity function. The quantization step width used for the quantization process is determined by correcting the set quantization step width.
本発明では、動き補償によるフレーム間予測と直交変換を組み合わせたブロックベースの符号化方式に対して、空間周波数成分の方向および変移量の方向を考慮することにより時空間周波数を推定して、ブロック歪みを含む主観画質を適切に評価した量子化重み係数を導入する。 In the present invention, for a block-based coding scheme that combines inter-frame prediction by motion compensation and orthogonal transform, the spatio-temporal frequency is estimated by considering the direction of the spatial frequency component and the direction of the shift amount, Introduce a quantization weighting factor that appropriately evaluates subjective image quality including distortion.
これにより、本発明によれば、量子化ステップ幅として、ブロック歪みを含む主観画質を反映した量子化処理を実現できるものを設定できるようになることで、高能率の符号化を実現できるようになるとともに、符号量の削減を実現できるようになる。 Thus, according to the present invention, it is possible to set a quantization step width that can realize a quantization process that reflects subjective image quality including block distortion, thereby realizing a highly efficient encoding. At the same time, the amount of code can be reduced.
以下、実施の形態に従って本発明を詳細に説明する。 Hereinafter, the present invention will be described in detail according to embodiments.
図2に、本発明を具備する動画像符号化装置1の一実施形態例を図示する。
FIG. 2 illustrates an embodiment of the moving
この図に示すように、本発明を具備する動画像符号化装置1は、(1)動画像データを符号化する符号化部10と、(2)符号化部10が量子化処理を実行するときに用いる量子化ステップ幅を決定する量子化ステップ幅決定部11と、(3)量子化ステップ幅決定部11が必要とする基底画像を記憶する基底画像記憶部12と、(4)量子化ステップ幅決定部11が必要とする分析対象ブロックの変移量の推定値を記憶する変移量記憶部13とを備える。
As shown in this figure, the moving
符号化部10は、動画像データの符号化で必要となる量子化処理(DCT係数の量子化)を実行するために、(1)量子化処理に用いる量子化ステップ幅を記憶する量子化ステップ幅記憶部101と、(2)量子化ステップ幅の初期値を設定して量子化ステップ幅記憶部101に格納する量子化ステップ幅初期値設定部102と、(3)量子化ステップ幅記憶部101の記憶する量子化ステップ幅を用いてDCT係数を量子化する量子化部103とを備える。
The encoding unit 10 performs (1) a quantization step for storing a quantization step width used for the quantization process in order to execute a quantization process (DCT coefficient quantization) necessary for encoding moving image data.
ここで、以下の説明では、量子化ステップ幅初期値設定部102は、量子化ステップ幅の初期値として、変換行列の基底成分に依存しない値であるΔを初期値として設定することを想定している。
Here, in the following description, it is assumed that the quantization step width initial
量子化ステップ幅決定部11は、分析対象ブロックのDCT係数と、基底画像記憶部12の記憶する基底画像と、変移量記憶部13の記憶する分析対象ブロックの変移量と、コントラスト関数とを入力として、式(17)の算出式に従って、予測誤差信号Rm の(k,l)基底の成分に対する量子化重み係数W(dx,dy )[k,l]を算出し、その算出した量子化重み係数W(dx,dy )[k,l]と量子化ステップ幅記憶部101の記憶する量子化ステップ幅の初期値Δとを乗算することで、量子化部103が量子化処理で用いる量子化ステップ幅である“Δ×W(dx,dy )[k,l]”を決定して、量子化ステップ幅記憶部101に格納する処理を行う。
The quantization step width determination unit 11 inputs the DCT coefficient of the analysis target block, the base image stored in the base image storage unit 12, the shift amount of the analysis target block stored in the shift amount storage unit 13, and the contrast function. The quantization weight coefficient W (d x, dy ) [k, l] for the (k, l) basis component of the prediction error signal R m is calculated according to the calculation formula of the equation (17), and the calculation is performed. The
量子化ステップ幅決定部11は、この処理を実行するために、(1)式(17)の算出式に従って量子化重み係数W(dx,dy )[k,l]を算出する量子化重み係数算出部111と、(2)量子化重み係数算出部111の算出した量子化重み係数W(dx,dy )[k,l]を記憶する量子化重み係数記憶部112と、(3)量子化重み係数記憶部112の記憶する量子化重み係数W(dx,dy )[k,l]と量子化ステップ幅記憶部101の記憶する量子化ステップ幅の初期値Δとの乗算値を算出して量子化ステップ幅記憶部101に格納する量子化重み係数乗算部113とを備える。
In order to execute this process, the quantization step width determination unit 11 calculates the quantization weight coefficient W (d x, dy ) [k, l] according to the calculation formula of the expression (1) (17). A weighting factor calculation unit 111; (2) a quantization weighting
そして、量子化重み係数算出部111は、(1)基底画像を入力として、修正基底画像のDFT係数を算出するという処理を行う“量子化重み係数算出処理4”を実行する処理4実行部1111と、(2)処理4実行部1111により算出された修正基底画像のDFT係数を記憶する修正基底画像DFT係数記憶部1112と、(3)修正基底画像DFT係数記憶部1112の記憶する修正基底画像のDFT係数と、符号化部10で算出されたDCT係数とを入力として、分析対象ブロックに対する予測誤差電力(式(17)の分子)を算出するという処理を行う“量子化重み係数算出処理2”を実行する処理2実行部1113と、(4)修正基底画像DFT係数記憶部1112の記憶する修正基底画像のDFT係数と、符号化部10で算出されたDCT係数と、分析対象ブロックの動きベクトルと、コントラスト関数とを入力として、分析対象ブロックに対する予測誤差電力(式(17)の分母)を算出するという処理を行う“量子化重み係数算出処理3”を実行する処理3実行部1114と、(5)処理2実行部1113で得た予測誤差電力(式(17)の分子)と、処理3実行部1114で得た予測誤差電力(式(17)の分母)とを入力として、式(17)に従って量子化重み係数W(dx,dy )[k,l]を算出するという処理を行う“量子化重み係数算出処理1”を実行する処理1実行部1115とを備える。
Then, the quantization weight coefficient calculation unit 111 performs (4) a process 4
次に、図3に示すフローチャートに従って、このように構成される量子化重み係数算出部111の実行する処理について説明する。 Next, processing executed by the quantization weight coefficient calculation unit 111 configured as described above will be described according to the flowchart shown in FIG.
量子化重み係数算出部111は、量子化重み係数の算出指示があると、図3のフローチャートに示すように、まず最初に、ステップS101で、基底画像記憶部12の記憶する基底画像を入力として、修正基底画像のDFT係数を算出して出力するという処理を行う“量子化重み係数算出処理4”を実行する。 When there is an instruction to calculate the quantization weight coefficient, the quantization weight coefficient calculation unit 111 first receives the base image stored in the base image storage unit 12 in step S101 as shown in the flowchart of FIG. Then, the “quantization weight coefficient calculation process 4” is executed to perform the process of calculating and outputting the DFT coefficient of the modified base image.
このとき算出した修正基底画像のDFT係数については再利用されることを考慮して、修正基底画像DFT係数記憶部1112に格納することになるので、既に修正基底画像DFT係数記憶部1112に修正基底画像のDFT係数が格納されている場合には、このステップS101の処理を実行する必要はない。
The DFT coefficients of the corrected base image calculated at this time are stored in the corrected base image DFT
続いて、ステップS102で、“量子化重み係数算出処理4”で得た修正基底画像のDFT係数と、符号化部10で算出されたDCT係数とを入力として、分析対象ブロックに対する予測誤差電力(式(17)の分子)を算出して出力するという処理を行う“量子化重み係数算出処理2”を実行する。
Subsequently, in step S102, the DFT coefficient of the modified base image obtained by the “quantization weight coefficient calculation process 4” and the DCT coefficient calculated by the encoding unit 10 are input, and the prediction error power ( A “quantization weight
続いて、ステップS103で、“量子化重み係数算出処理4”で得た修正基底画像のDFT係数と、符号化部10で算出されたDCT係数と、変移量記憶部13の記憶する分析対象ブロックの動きベクトルと、コントラスト関数とを入力として、分析対象ブロックに対する予測誤差電力(式(17)の分母)を算出して出力するという処理を行う“量子化重み係数算出処理3”を実行する。
Subsequently, in step S103, the DFT coefficient of the modified base image obtained by the “quantization weight coefficient calculation process 4”, the DCT coefficient calculated by the encoding unit 10, and the analysis target block stored in the shift amount storage unit 13 Then, a “quantization weight
続いて、ステップS104で、“量子化重み係数算出処理2”で得た予測誤差電力(式(17)の分子)と、“量子化重み係数算出処理3”で得た予測誤差電力(式(17)の分母)とを入力として、式(17)に従って量子化重み係数W(dx,dy )[k,l]を算出して出力するという処理を行う“量子化重み係数算出処理1”を実行する。
Subsequently, in step S104, the prediction error power (numerator of Expression (17)) obtained by “quantization weight
次に、“量子化重み係数算出処理1”、“量子化重み係数算出処理2”、“量子化重み係数算出処理3”、“量子化重み係数算出処理4”の詳細なフローチャートについて説明する。
Next, detailed flowcharts of “quantization weight
[1]“量子化重み係数算出処理4”
入力:第k,l基底画像(k,l=0,....,N−1)
出力:修正基底画像に対するDFT係数
処理:
(1)位置情報を示すインデックスix,iy を読み込む
(2)l=0
(3)k=0
(4)基底画像記憶部12から、第k,l基底画像fk,l (ix,iy) を読み込む
(5)(4)の基底画像に対して、(1)の位置情報に応じたゼロパディングにより、 Mx N×Mx Nの画像〜fk,l (ix,iy) を生成する。ここで得られた画像を修正 基底画像と呼ぶ。具体的な生成方法は式(12)
(6)(5)の修正基底画像に対してDFTを実施し、修正基底画像内の周波数成分の 分布を算出する。具体的な算出方法は式(15)
(7)k=k+1
(8)k=Nならば(9)へ、そうでなければ(4)へ
(9)l=l+1
(10)k=Nならば終了、そうでなければ(3)へ
このフローチャートに従って、量子化重み係数算出部111は、“量子化重み係数算出処理4”において、基底画像fk,l (ix,iy) を入力として、修正基底画像のDFT係数Fk,l (ix,iy) (ux,uy )を算出するという処理を行うのである。
[1] “Quantization weight coefficient calculation process 4”
Input: k-th, l-th base image (k, l = 0,..., N−1)
Output: DFT coefficient for modified base image
(1) Reading indexes i x and i y indicating position information (2) l = 0
(3) k = 0
(4) Read the k-th and l-th base images f k, l (ix, iy) from the base image storage unit 12 (5) For the base image of (4), zero corresponding to the position information of (1) padding by, generating a M x N × M x image ~f k of N, l (ix, iy) . The image obtained here is called the modified base image. The specific generation method is the equation (12).
(6) DFT is performed on the modified base image of (5), and the distribution of frequency components in the modified base image is calculated. The specific calculation method is formula (15).
(7) k = k + 1
(8) If k = N, go to (9), otherwise go to (4) (9) l = l + 1
(10) If k = N, the process ends; otherwise, go to (3). According to this flowchart, the quantization weight coefficient calculation unit 111 performs the base image f k, l (ix as input iy), it is performed DFT coefficient F k modified base image, l (ix, iy) ( u x, the process of calculating the u y).
[2]“量子化重み係数算出処理2”
入力:修正基底画像のDFT係数(k,l=0,....,N−1,
ix =0,....,Mx −1,iy =0,....,My −1)
:DCT係数
出力:分析対象ブロックに対する予測誤差電力E[k,l](式(17)の分子)
ここで、E[k,l]は配列
処理:
(1)l=0
(2)k=0
(3)E[k,l]=0
(4)iy =0
(5)ix =0
(6)S=0
(7)uy =0
(8)ux =0
(9)修正基底画像DFT係数記憶部1112から、位置インデックスix,iy の第k ,l修正基底画像のDFT係数のux,uy 成分を読み込む
(10)直前に読み込んだ複素数の二乗ノルムFk,l (ix,iy) (ux,uy )2 を計算する
(11)S=S+Fk,l (ix,iy) (ux,uy )2
(12)ux =ux +1
(13)ux =NMx ならば次へ、そうでなければ(9)へ
(14)uy =uy +1
(15)uy =NMy ならば次へ、そうでなければ(8)へ
(16)符号化部10から、第k,l基底のDCT係数C(ix,iy) [k,l]を読み込む
(17)E[k,l]=E[k,l]+C(ix,iy) [k,l]2 S
(18)ix =ix +1
(19)ix =Mx ならば次へ、そうでなければ(6)へ
(20)iy =iy +1
(21)iy =My ならば次へ、そうでなければ(5)へ
(22)k=k+1
(23)k=Nならば次へ、そうでなければ(3)へ
(24)l=l+1
(25)l=Nならば終了、そうでなければ(2)へ
このフローチャートに従って、量子化重み係数算出部111は、“量子化重み係数算出処理2”において、“量子化重み係数算出処理4”で得た修正基底画像のDFT係数Fk,l (ix,iy) (ux,uy )と、DCT係数C(ix,iy) [k,l]とを入力として、分析対象ブロックに対する予測誤差電力E[k,l](式(17)の分子)を算出するという処理を行うのである。
[2] “Quantization weight
Input: DFT coefficient of modified base image (k, l = 0,..., N−1,
i x = 0, ..., M x -1, i y = 0, ..., M y -1)
: DCT coefficient Output: Prediction error power E [k, l] for the analysis target block (numerator of equation (17))
Where E [k, l] is an array process:
(1) l = 0
(2) k = 0
(3) E [k, l] = 0
(4) i y = 0
(5) i x = 0
(6) S = 0
(7) u y = 0
(8) u x = 0
(9) Read the u x and u y components of the DFT coefficients of the k th and l corrected base images of the position index i x and i y from the corrected base image DFT
(12) u x = u x +1
(13) If u x = NM x , go to the next step, otherwise go to (9) (14) u y = u y +1
(15) If u y = NM y , go to the next step, otherwise go to (8). (16) From the encoding unit 10, the DCT coefficient C (ix, iy) [k, l] of the k th and l th basis is calculated . Read (17) E [k, l] = E [k, l] + C (ix, iy) [k, l] 2 S
(18) i x = i x +1
(19) If i x = M x , go to the next step, otherwise go to (6) (20) i y = i y +1
(21) i y = M y if to the next, if not to (5) (22) k = k + 1
(23) If k = N, go to the next, otherwise go to (3) (24) l = l + 1
(25) If l = N, end; otherwise, go to (2) According to this flowchart, the quantization weight coefficient calculation unit 111 performs the “quantization weight coefficient calculation process 4” in the “quantization weight
[3]“量子化重み係数算出処理3”
入力:修正基底画像のDFT係数(k,l=0,....,N−1,
ix =0,....,Mx −1,iy =0,....,My −1)
:DCT係数
:分析対象ブロックの動きベクトル(dx,dy )
:コントラスト感度関数^g(η,ω)
出力:分析対象ブロックに対する予測誤差電力^E(dx,dy )[k,l](式(17 )の分母)
ここで、^E(dx,dy )[k,l]は配列
処理:
(0)変移量記憶部13から、動きベクトル(dx,dy )を読み込む
(1)l=0
(2)k=0
(3)^E(dx,dy )[k,l]=0
(4)iy =0
(5)ix =0
(6)^S=0
(7)uy =0
(8)ux =0
(9)修正基底画像DFT係数記憶部1112から、位置インデックスix,iy の第k ,l修正基底画像のDFT係数のux,uy 成分を読み込む
(10)直前に読み込んだ複素数の二乗ノルムFk,l (ix,iy) (ux,uy )2 を計算する
(11)^g(ηx,dx )および^g(ηy,dy )を計算する。具体的な計算は、例えば 式(18)により求める
(12)^S=^S+Fk,l (ix,iy) (ux,uy )2 ^g(ηx,dx )2 ^g(ηy,dy )2
(13)ux =ux +1
(14)ux =NMx ならば次へ、そうでなければ(9)へ
(15)uy =uy +1
(16)uy =NMy ならば次へ、そうでなければ(8)へ
(17)符号化部10から、第k,l基底のDCT係数C(ix,iy) [k,l]を読み込む
(18)^E(dx,dy )[k,l]=^E(dx,dy )[k,l]+C(ix,iy) [k, l]2 ^S
(19)ix =ix +1
(20)ix =Mx ならば次へ、そうでなければ(6)へ
(21)iy =iy +1
(22)iy =My ならば次へ、そうでなければ(5)へ
(23)k=k+1
(24)k=Nならば次へ、そうでなければ(3)へ
(25)l=l+1
(26)l=Nならば終了、そうでなければ(2)へ
このフローチャートに従って、量子化重み係数算出部111は、“量子化重み係数算出処理3”において、“量子化重み係数算出処理4”で得た修正基底画像のDFT係数Fk,l (ix,iy) (ux,uy )と、DCT係数C(ix,iy) [k,l]と、分析対象ブロックの動きベクトル(dx,dy )と、コントラスト感度関数^g(η,ω)とを入力として、分析対象ブロックに対する予測誤差電力^E(dx,dy )[k,l](式(17)の分母)を算出するという処理を行うのである。
[3] “Quantization weight
Input: DFT coefficient of modified base image (k, l = 0,..., N−1,
i x = 0, ..., M x -1, i y = 0, ..., M y -1)
: DCT coefficient: Motion vector (d x, dy ) of the analysis target block
: Contrast sensitivity function ^ g (η, ω)
Output: Prediction error power ^ E (d x, dy ) [k, l] for the analysis target block (denominator of equation (17))
Here, ^ E (d x, d y ) [k, l] is an array process:
(0) The motion vector (d x, dy ) is read from the shift amount storage unit 13 (1) l = 0
(2) k = 0
(3) ^ E (d x, d y ) [k, l] = 0
(4) i y = 0
(5) i x = 0
(6) ^ S = 0
(7) u y = 0
(8) u x = 0
(9) Read the u x and u y components of the DFT coefficients of the k th and l corrected base images of the position index i x and i y from the corrected base image DFT
(13) u x = u x +1
(14) If u x = NM x , go to the next step, otherwise go to (9) (15) u y = u y +1
(16) If u y = NM y , go to the next step, otherwise go to (8). (17) From the encoding unit 10, the DCT coefficients C (ix, iy) [k, l] of the kth and lth bases are obtained. Read (18) ^ E (dx , dy ) [k, l] = ^ E (dx , dy ) [k, l] + C (ix, iy) [k, l] 2 ^ S
(19) i x = i x +1
(20) If i x = M x , go to the next step, otherwise go to (6) (21) i y = i y +1
(22) If i y = M y , go to the next step, otherwise go to (5) (23) k = k + 1
(24) If k = N, go to the next step, otherwise go to (3) (25) l = l + 1
(26) If l = N, end; otherwise, go to (2). According to this flowchart, the quantization weight coefficient calculation unit 111 performs the “quantization weight coefficient calculation process 4” in the “quantization weight
[4]“量子化重み係数算出処理1”
入力:“量子化重み係数算出処理2”で求めたE[k,l](k,l=0,....,N−1 )
:“量子化重み係数算出処理3”で求めた^E(dx,dy )[k,l](k,l= 0,....,N−1)
出力:分析対象ブロックに対する量子化重み係数
処理:
(1)l=0
(2)k=0
(3)E[k,l]を読み込む
(4)^E(dx,dy )[k,l]を読み込む
(5)量子化重み係数を計算する
W(dx,dy )[k,l]=E[k,l]/^E(dx,dy )[k,l]
(6)k=k+1
(7)k=Nならば次へ、そうでなければ(3)へ
(8)l=l+1
(9)l=Nならば終了、そうでなければ(2)へ
このフローチャートに従って、量子化重み係数算出部111は、“量子化重み係数算出処理1”において、“量子化重み係数算出処理2”で得た分析対象ブロックに対する予測誤差電力E[k,l](式(17)の分子)と、“量子化重み係数算出処理3”で時空間の視覚感度を考慮して得た分析対象ブロックに対する予測誤差電力^E(dx,dy )[k,l](式(17)の分母)とを入力として、
W(dx,dy )[k,l]=E[k,l]/^E(dx,dy )[k,l]
という算出式(式(17))に従って、分析対象ブロックに対する量子化重み係数W(dx,dy )[k,l]を算出するという処理を行うのである。
[4] “Quantization weight
Input: E [k, l] (k, l = 0,..., N−1) obtained by “quantization weight
: ^ E (d x, dy ) [k, l] (k, l = 0,..., N−1) obtained in “quantization weight
Output: Quantization weight coefficient for the analysis target block
(1) l = 0
(2) k = 0
(3) Read E [k, l] (4) Read ^ E (d x, dy ) [k, l] (5) Calculate quantization weight coefficient W (d x, dy ) [k , L] = E [k, l] / ^ E (d x, dy ) [k, l]
(6) k = k + 1
(7) If k = N, go to the next, otherwise go to (3) (8) l = l + 1
(9) If l = N, the process ends; otherwise, the process proceeds to (2). According to this flowchart, the quantization weight coefficient calculation unit 111 performs the “quantization weight
W (dx , dy ) [k, l] = E [k, l] / ^ E (dx , dy ) [k, l]
According to the calculation formula (formula (17)), a process of calculating the quantization weight coefficient W (d x, dy ) [k, l] for the analysis target block is performed.
量子化重み係数算出部111は、図2に示す構成では、前述した“量子化重み係数の量子化”を実行しないようにするという構成を採ったが、この“量子化重み係数の量子化”を実行する場合には、図4に示すように、処理5実行部1116を備えるようにして、図5のフローチャートに示すように、ステップS104に続くステップS105で、出力すべき代表ベクトルの本数Lw を入力として、分析対象ブロックに対する量子化重み係数を量子化して出力するという処理を行う“量子化重み係数算出処理5”を実行する。
In the configuration shown in FIG. 2, the quantization weight coefficient calculation unit 111 adopts a configuration in which the above-described “quantization of the quantization weight coefficient” is not executed, but this “quantization of the quantization weight coefficient” 4, the
次に、“量子化重み係数算出処理5”の詳細なフローチャートについて説明する。
Next, a detailed flowchart of the “quantization weight
[5]“量子化重み係数算出処理5”
入力:分析対象ブロックの動きベクトル(dx,dy )
:分析対象ブロックの量子化重み係数<W(dx,dy )>
:分析対象ブロックのブロック数
:各クラスの境界を定めるパラメータ(b(ix ),b(iy )(ix =0,...., Lx,iy =0,....,Ly ))
:出力すべき代表ベクトルの本数Lw
出力:分析対象ブロックに対する量子化重み係数
処理:
(1)iy =0
(2)ix =0
(3)動きベクトルdx,dy が(b(ix −1)≦|dx |<b(ix ),b(iy − 1)≦|dy |<b(iy ))を満たす量子化重み係数<W(dx,dy )>を読み 込む (4)(3)で読み込んだベクトルの集合に対して、LBGアルゴリズムにより、Lw 本の代表ベクトルを算出する。このLw 本の代表ベクトルを第(ix,iy )クラ スの量子化重み係数とする
(5)ix =ix +1
(6)ix =Lx ならば次へ、そうでなければ(3)へ
(7)iy =iy +1
(8)iy =Ly ならば次へ、そうでなければ(2)へ
このフローチャートに従って、量子化重み係数算出部111は、“量子化重み係数算出処理5”において、“量子化重み係数算出処理1”で得た分析対象ブロックに対する量子化重み係数W(dx,dy )[k,l]を量子化するという処理を行うのである。
[5] “Quantization weight
Input: Motion vector (d x, dy ) of the analysis target block
: Quantization weight coefficient of analysis target block <W (d x, dy )>
: Number of blocks of analysis target block: Parameters (b (i x ), b (i y ) (i x = 0,..., L x, i y = 0,. , L y ))
: Number of representative vectors to be output L w
Output: Quantization weight coefficient for the analysis target block
(1) i y = 0
(2) i x = 0
(3) The motion vectors d x and dy are (b (i x −1) ≦ | d x | <b (i x ), b (i y −1) ≦ | d y | <b (i y )) quantization weighting coefficient that satisfies <W (d x, d y )> for the set of read vector reads a (4) (3), the LBG algorithm, calculates a representative vector of L w present. The L w representative vectors are used as quantization weight coefficients of the (ix , i y ) th class. (5) i x = i x +1
(6) Next if i x = L x , otherwise go to (3) (7) i y = i y +1
(8) If i y = L y , go to the next, otherwise go to (2) According to this flowchart, the quantization weight coefficient calculation unit 111 performs “quantization weight coefficient calculation” in “quantization weight
最後に、本発明の有効性を検証するために行った実験について説明する。 Finally, an experiment conducted to verify the effectiveness of the present invention will be described.
この実験では、式(17)の逆数である下記の式(28)を、予測誤差信号Rm の(k,l)基底の成分に対する感度係数Wk,l s (dx,dy )として定義する。すなわち、視覚的に検知されにくい時空間周波数成分の歪み量については相対的に小さな値として評価し、視覚的に検知されやすい時空間周波数成分の歪み量については相対的に大きな値として評価する必要があることから、式(17)の逆数である下記の式(28)を、予測誤差信号Rm の(k,l)基底の成分に対する感度係数Wk,l s (dx,dy )として定義する。 In this experiment, the following equation (28), which is the reciprocal of equation (17), is used as the sensitivity coefficient W k, l s (d x, d y ) for the (k, l) basis component of the prediction error signal R m. Define. In other words, it is necessary to evaluate the distortion amount of the spatio-temporal frequency component that is difficult to detect visually as a relatively small value, and evaluate the distortion amount of the spatio-temporal frequency component that is easily detected as a relatively large value. Therefore, the following equation (28), which is the reciprocal of equation (17), is expressed as a sensitivity coefficient W k, l s (d x, d y ) for the (k, l) basis component of the prediction error signal R m. Define as
そして、この感度係数Wk,l s (dx,dy )に従って、次式に示すように歪み量を重み付けをする。 Then, according to the sensitivity coefficient W k, l s (d x, d y ), the distortion amount is weighted as shown in the following equation.
そして、この重み付け歪み量を持つR−Dコスト関数で改造した参照ソフトウェアJSVM(version 8.0.[3])を用いて最適な予測モードを選択するようにするとともに、このような重み付けを行わない無改造のJSVMを用いて最適な予測モードを選択するようにして、その比較に基づいて、この感度係数Wk,l s (dx,dy )を考慮することにより、ブロック歪みを低減できるようになるとともに、符号量を低減できるようになることを確認することで行った。 Then, the optimum prediction mode is selected using the reference software JSVM (version 8.0. [3]) modified with the RD cost function having the weighting distortion amount, and such weighting is not performed. By selecting the optimal prediction mode using the modified JSVM and considering this sensitivity coefficient W k, l s (d x, d y ) based on the comparison, the block distortion can be reduced. And confirming that the code amount can be reduced.
下記の表に、実験条件を示す。符号化対象のシーケンスは、サイズ352×288[pixels]、フレームレート30[fps] である。符号化処理は、先頭の120フレームに対して実施した。式(26)におけるパラメータはr1 =8,r2 =6,A=5とした。また、基準ブロックのサイズを与えるパラメータはN=4とし、分析対象ブロックのサイズを与えるパラメータはMx =My =4とした。 The following table shows the experimental conditions. The encoding target sequence has a size of 352 × 288 [pixels] and a frame rate of 30 [fps]. The encoding process was performed on the first 120 frames. The parameters in equation (26) were r 1 = 8, r 2 = 6, A = 5. Further, the parameter that gives the size of the reference block is N = 4, and the parameter that gives the size of the analysis target block is M x = M y = 4.
下記の表に、符号量の比較結果を示す。いずれのシーケンス、QP値においても、本発明によって符号量の削減が図られていることが確認できる。なお、両手法の復号画像には、主観的な画質の差が認められないことを確認している。さらに、JSVMに対する本発明の相対的な符号量削減率を評価するために、JSVMの符号量および本発明の符号量を各々RJSVM,ROursとして、
{(ROurs−RJSVM)/RJSVM}×100%
という式で示される符号量削減率を下記の表の3列目の括弧内に示す。この結果、本発明は、JSVMに対して平均5.3%の符号量低減を実現していることが確認できた。
The following table shows the comparison results of the code amount. In any sequence and QP value, it can be confirmed that the code amount is reduced by the present invention. It has been confirmed that there is no subjective difference in image quality between the decoded images of both methods. Further, in order to evaluate the relative code amount reduction rate of the present invention with respect to JSVM, the code amount of JSVM and the code amount of the present invention are respectively represented as R JSVM and R Ours .
{(R Ours -R JSVM ) / R JSVM } × 100%
The code amount reduction rate represented by the formula is shown in parentheses in the third column of the following table. As a result, it has been confirmed that the present invention achieves an average code amount reduction of 5.3% with respect to JSVM.
下記の表に、符号化モードの割合を示す。ここで、ここで、SKIPの列はスキップモードの割合を示しており、INTERの列はスキップモードを除くインター予測の割合を示しており、INTRAの列は全てのイントラ予測モードの選択された割合を示している。この表に示すように、本発明のビットレートの削減は、発生符号量の少ないスキップモードを多く選択することで実現していることが分かる。 The following table shows the ratio of the encoding mode. Here, the SKIP column indicates the skip mode ratio, the INTER column indicates the inter prediction ratio excluding the skip mode, and the INTRA column indicates the selected ratio of all intra prediction modes. Is shown. As shown in this table, it can be seen that the reduction of the bit rate according to the present invention is realized by selecting many skip modes with a small amount of generated codes.
さらに、ブロック歪みについての評価結果を示す。各フレーム(X×Y[画素])の位置(x,y)における復号画素値をS(x,y)とし、水平・垂直方向の画素間差分値を各々
δh (x,y)=S(x+1,y)−S(x,y)
δv (x,y)=S(x,y+1)−S(x,y)
とする。このとき、
Δ={Σ1 Σ2 |δh (Nix,iy )|}/{2Y(X/N−1)}
+{Σ3 Σ4 |δv (ix,Niy )|}/{2X(Y/N−1)}
ただし、Σ1 は、ix =1〜(X/N−1)の総和
Σ2 は、iy =0〜(Y−1)の総和
Σ3 は、iy =1〜(Y/N−1)の総和
Σ4 は、ix =0〜(X−1)の総和
という式で表されるブロック境界における画素間差分値の平均値Δを用いて、隣接ブロック間の不連続性を評価する。
Furthermore, the evaluation result about block distortion is shown. The decoded pixel value at the position (x, y) of each frame (X × Y [pixel]) is S (x, y), and the inter-pixel difference values in the horizontal and vertical directions are respectively δ h (x, y) = S. (X + 1, y) -S (x, y)
δ v (x, y) = S (x, y + 1) −S (x, y)
And At this time,
Δ = {Σ 1 Σ 2 | δ h (Ni x, i y ) |} / {2Y (X / N−1)}
+ {Σ 3 Σ 4 | δ v (ix , Ni y ) |} / {2X (Y / N−1)}
Where Σ 1 is the sum of i x = 1 to (X / N−1)
Σ 2 is the sum of i y = 0 to (Y−1)
Σ 3 is the sum of i y = 1 to (Y / N−1)
Σ 4 evaluates the discontinuity between adjacent blocks by using the average value Δ of the inter-pixel difference value at the block boundary expressed by the formula of the sum of i x = 0 to (X−1).
下記の表に、JSVMおよび本発明に対するΔの全フレーム平均値を示す。なお、各行の2列目の値と3列目の値を各々ΔJSVM,ΔOursとして、
{(ΔOurs−ΔJSVM)/ΔJSVM}×100%
という式で示されるブロック歪み削減率を下記の表の3列目の括弧内に示す。この結果、本発明は、JSVMに対して平均1.2%のブロック歪み低減を実現していることが確認できた。
The table below shows the total frame average of Δ for JSVM and the present invention. In addition, the value in the second column and the value in the third column of each row are set as Δ JSVM and Δ Ours respectively.
{(Δ Ours −Δ JSVM ) / Δ JSVM } × 100%
The block distortion reduction rate represented by the formula is shown in parentheses in the third column of the following table. As a result, it was confirmed that the present invention achieved an average 1.2% block distortion reduction with respect to JSVM.
本実験によって、本発明によれば、JSVMに対して符号量を低減し、さらに、ブロック歪みも低減できることが確認できた。本発明では、隣接ブロック間の依存関係を考慮した周波数分析を行っている。このため、隣接ブロック間の不連続性は、水平・垂直方向のエッジとして、コントラスト感度関数が大きな重みを与える周波数成分として分析される。つまり、大きな感度係数の値が設定される。この感度係数により重み付けされた歪み尺度がコスト関数に用いられるため、ブロック間の不連続性をもたらす成分の歪みは回避され、結果としてブロック歪みが低減したものと考察される。 From this experiment, it was confirmed that according to the present invention, the code amount can be reduced with respect to JSVM, and further, block distortion can be reduced. In the present invention, frequency analysis is performed in consideration of the dependency between adjacent blocks. For this reason, the discontinuity between adjacent blocks is analyzed as a frequency component to which the contrast sensitivity function gives a large weight as horizontal and vertical edges. That is, a large sensitivity coefficient value is set. Since a distortion measure weighted by this sensitivity coefficient is used in the cost function, distortion of components that cause discontinuity between blocks is avoided, and it is considered that block distortion is reduced as a result.
この実験結果により、式(17)に従って量子化重み係数を算出するという処理を行う本発明の有効性を間接的に検証することができた。 From this experimental result, it was possible to indirectly verify the effectiveness of the present invention in which the process of calculating the quantization weight coefficient according to the equation (17) was performed.
本発明は、フレーム内予測やフレーム間予測により得られた予測誤差信号に対して、変換符号化および量子化による情報圧縮を行うことで動画像を符号化する場合に適用できるものであり、本発明を適用することて、量子化ステップ幅として、ブロック歪みを含む主観画質を反映した量子化処理を実現できるものを設定することができるようになることで、高能率の符号化を実現できるようになるとともに、符号量の削減を実現できるようになる。 The present invention can be applied to a case where a moving image is encoded by performing information compression by transform coding and quantization on a prediction error signal obtained by intra-frame prediction or inter-frame prediction. By applying the invention, it is possible to set a quantization step width that can realize quantization processing that reflects subjective image quality including block distortion, so that highly efficient coding can be realized. At the same time, the amount of code can be reduced.
1 動画像符号化装置
10 符号化部
11 量子化ステップ幅決定部
12 基底画像記憶部
13 変移量記憶部
101 量子化ステップ幅記憶部
102 量子化ステップ幅初期値設定部
103 量子化部
111 量子化重み係数算出部
112 量子化重み係数記憶部
113 量子化重み係数乗算部
1111 処理4実行部
1112 修正基底画像DFT係数記憶部
1113 処理2実行部
1114 処理3実行部
1115 処理1実行部
1116 処理5実行部
DESCRIPTION OF
Claims (8)
変換行列の対象となる複数のブロックで構成される分析対象ブロックに対応付けて定義されて、1つのブロックに変換行列の基底画像が配置され、他のブロックにゼロ値が埋め込まれることで構成されるブロックの数分の修正基底画像について算出された空間周波数成分を記憶する記憶手段から、その修正基底画像の空間周波数成分を読み出す過程と、
前記分析対象ブロックの画像信号の時間的な動きを示す変移量を推定する過程と、
前記読み出した空間周波数成分の空間周波数インデックスと前記変移量とに基づいて、その空間周波数成分に割り当てられる視覚感度値を算出して、その空間周波数成分を重み付けする過程と、
前記重み付けをした空間周波数成分と、その重み付けをしない空間周波数成分と、前記分析対象ブロックを構成するブロックの変換係数とに基づいて、変換行列の各基底成分毎に設定される量子化ステップ幅に対しての重み係数を算出する過程と、
前記重み係数を用いて、予め設定される量子化ステップ幅を修正することで、量子化処理に用いる量子化ステップ幅を決定する過程とを有し、
前記算出する過程では、前記変換係数の二乗和と前記重み付けをした空間周波数成分の二乗ノルム和との乗算値と、前記変換係数の二乗和と前記重み付けをしない空間周波数成分の二乗ノルム和との乗算値とを求めて、その2つの乗算値の割り算値に従って前記重み係数を算出することを、
特徴とする動画像量子化方法。 A moving image used in moving picture coding that encodes a moving picture by performing information compression by transform coding and quantization on an image signal or a prediction error signal obtained by intra-frame prediction and inter-frame prediction. An image quantization method comprising:
It is defined by associating with the analysis target block consisting of multiple blocks that are the target of the transformation matrix, and is configured by placing the base image of the transformation matrix in one block and embedding zero values in other blocks A process of reading the spatial frequency components of the corrected base image from the storage means for storing the spatial frequency components calculated for the corrected base images for the number of blocks
Estimating a shift amount indicating temporal movement of the image signal of the analysis target block;
Calculating a visual sensitivity value assigned to the spatial frequency component based on the spatial frequency index of the read spatial frequency component and the shift amount, and weighting the spatial frequency component;
Based on the weighted spatial frequency component, the non-weighted spatial frequency component, and the transform coefficient of the block constituting the analysis target block, the quantization step width set for each base component of the transform matrix The process of calculating the weighting factor for
A process of determining a quantization step width used for quantization processing by modifying a preset quantization step width using the weighting factor ,
In the process of calculating, a multiplication value of the square sum of the transform coefficients and the square norm sum of the weighted spatial frequency components, and a square sum of the square sum of the transform coefficients and the square frequency norm sum of the non-weighted spatial frequency components. Obtaining a multiplication value and calculating the weighting factor according to a division value of the two multiplication values ;
A moving image quantization method as a feature.
前記重み付けする過程では、水平方向の空間周波数インデックスと前記変移量の水平成分とに基づいて水平方向の視覚感度値を算出するとともに、垂直方向の空間周波数インデックスと前記変移量の垂直成分とに基づいて垂直方向の視覚感度値を算出することで、前記読み出した空間周波数成分に割り当てられる視覚感度値を算出することを、
特徴とする動画像量子化方法。 The moving image quantization method according to claim 1,
In the weighting process, a visual sensitivity value in the horizontal direction is calculated based on the horizontal spatial frequency index and the horizontal component of the shift amount, and based on the vertical spatial frequency index and the vertical component of the shift amount. Calculating a visual sensitivity value assigned to the read spatial frequency component by calculating a vertical visual sensitivity value,
A moving image quantization method as a feature.
前記決定する過程では、前記重み係数と予め設定される変換行列の基底成分に依存しない規定の量子化ステップ幅とを乗算することで、量子化処理に用いる量子化ステップ幅を決定することを、
特徴とする動画像量子化方法。 In the moving image quantization method according to claim 1 or 2 ,
In the process of determining, determining a quantization step width used for a quantization process by multiplying the weighting factor and a predetermined quantization step width that does not depend on a base component of a transformation matrix set in advance.
A moving image quantization method as a feature.
変換行列の対象となる複数のブロックで構成される分析対象ブロックに対応付けて定義されて、1つのブロックに変換行列の基底画像が配置され、他のブロックにゼロ値が埋め込まれることで構成されるブロックの数分の修正基底画像について算出された空間周波数成分を記憶する記憶手段と、
前記分析対象ブロックの画像信号の時間的な動きを示す変移量を推定する推定手段と、
前記記憶手段から修正基底画像の空間周波数成分を読み出して、その空間周波数成分の空間周波数インデックスと前記変移量とに基づいて、その空間周波数成分に割り当てられる視覚感度値を算出して、その空間周波数成分を重み付けする重み付け手段と、
前記重み付けをした空間周波数成分と、その重み付けをしない空間周波数成分と、前記分析対象ブロックを構成するブロックの変換係数とに基づいて、変換行列の各基底成分毎に設定される量子化ステップ幅に対しての重み係数を算出する算出手段と、
前記重み係数を用いて、予め設定される量子化ステップ幅を修正することで、量子化処理に用いる量子化ステップ幅を決定する決定手段とを備え、
前記算出手段は、前記変換係数の二乗和と前記重み付けをした空間周波数成分の二乗ノルム和との乗算値と、前記変換係数の二乗和と前記重み付けをしない空間周波数成分の二乗ノルム和との乗算値とを求めて、その2つの乗算値の割り算値に従って前記重み係数を算出することを、
特徴とする動画像量子化装置。 A moving image used in moving picture coding that encodes a moving picture by performing information compression by transform coding and quantization on an image signal or a prediction error signal obtained by intra-frame prediction and inter-frame prediction. An image quantization device,
It is defined by associating with the analysis target block consisting of multiple blocks that are the target of the transformation matrix, and is configured by placing the base image of the transformation matrix in one block and embedding zero values in other blocks Storage means for storing spatial frequency components calculated for the corrected base images for the number of blocks
Estimating means for estimating a shift amount indicating temporal movement of the image signal of the analysis target block;
The spatial frequency component of the corrected base image is read from the storage means, and the visual sensitivity value assigned to the spatial frequency component is calculated based on the spatial frequency index of the spatial frequency component and the shift amount, and the spatial frequency is calculated. A weighting means for weighting the components;
Based on the weighted spatial frequency component, the non-weighted spatial frequency component, and the transform coefficient of the block constituting the analysis target block, the quantization step width set for each base component of the transform matrix Calculating means for calculating a weighting factor for
Using the weighting factor, to modify the quantization step width is set in advance, e Bei and determining means for determining the quantization step width used in the quantization process,
The calculating means multiplies a multiplication value of a square sum of the transform coefficients and a square norm sum of the weighted spatial frequency components, and a multiplication of a square sum of the transform coefficients and a square norm sum of the non-weighted spatial frequency components. And calculating the weighting factor according to a division value of the two multiplication values ,
A moving image quantizing device.
前記重み付け手段は、水平方向の空間周波数インデックスと前記変移量の水平成分とに基づいて水平方向の視覚感度値を算出するとともに、垂直方向の空間周波数インデックスと前記変移量の垂直成分とに基づいて垂直方向の視覚感度値を算出することで、前記読み出した空間周波数成分に割り当てられる視覚感度値を算出することを、
特徴とする動画像量子化装置。 The moving picture quantization apparatus according to claim 4 , wherein
The weighting means calculates a visual sensitivity value in the horizontal direction based on a horizontal spatial frequency index and a horizontal component of the shift amount, and based on a vertical spatial frequency index and the vertical component of the shift amount. By calculating the visual sensitivity value in the vertical direction, calculating the visual sensitivity value assigned to the read spatial frequency component,
A moving image quantizing device.
前記決定手段は、前記重み係数と予め設定される変換行列の基底成分に依存しない規定の量子化ステップ幅とを乗算することで、量子化処理に用いる量子化ステップ幅を決定することを、
特徴とする動画像量子化装置。 The moving image quantization apparatus according to claim 4 or 5 ,
The determining means determines the quantization step width used for the quantization process by multiplying the weighting factor by a predetermined quantization step width that does not depend on a base component of a transformation matrix set in advance.
A moving image quantizing device.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008209860A JP4819855B2 (en) | 2008-08-18 | 2008-08-18 | Moving picture quantization method, moving picture quantization apparatus, moving picture quantization program, and computer-readable recording medium recording the program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008209860A JP4819855B2 (en) | 2008-08-18 | 2008-08-18 | Moving picture quantization method, moving picture quantization apparatus, moving picture quantization program, and computer-readable recording medium recording the program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2010045721A JP2010045721A (en) | 2010-02-25 |
JP4819855B2 true JP4819855B2 (en) | 2011-11-24 |
Family
ID=42016693
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008209860A Expired - Fee Related JP4819855B2 (en) | 2008-08-18 | 2008-08-18 | Moving picture quantization method, moving picture quantization apparatus, moving picture quantization program, and computer-readable recording medium recording the program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4819855B2 (en) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5349429B2 (en) * | 2010-08-30 | 2013-11-20 | Kddi株式会社 | Code amount reduction apparatus and encoding apparatus |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3721716B2 (en) * | 1997-06-02 | 2005-11-30 | 富士ゼロックス株式会社 | Image information encoding apparatus and method |
JP4709074B2 (en) * | 2006-06-09 | 2011-06-22 | 日本電信電話株式会社 | Moving picture encoding method, apparatus, program thereof, and recording medium recording the program |
JP2008209860A (en) * | 2007-02-28 | 2008-09-11 | Seiko Epson Corp | Manufacturing method for microlens array substrate, manufacturing method for light modulating device, and light modulating device |
JP4681011B2 (en) * | 2008-01-31 | 2011-05-11 | 日本電信電話株式会社 | Moving picture coding method, moving picture coding apparatus, moving picture coding program, and computer-readable recording medium recording the program |
JP4824708B2 (en) * | 2008-01-31 | 2011-11-30 | 日本電信電話株式会社 | Moving picture encoding method, apparatus, program, and computer-readable recording medium |
-
2008
- 2008-08-18 JP JP2008209860A patent/JP4819855B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2010045721A (en) | 2010-02-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Agustsson et al. | Scale-space flow for end-to-end optimized video compression | |
US7965896B2 (en) | Method and apparatus for encoding image | |
JP5266342B2 (en) | Video intra prediction method and apparatus | |
RU2391794C2 (en) | Device of video coding, method of video coding, program of video coding, device of video coding, method of video coding and program of video coding | |
JP5650294B2 (en) | Moving picture encoding apparatus, moving picture encoding method, moving picture encoding program, moving picture decoding apparatus, moving picture decoding method, and moving picture decoding program | |
JP5594841B2 (en) | Image encoding apparatus and image decoding apparatus | |
JP5078895B2 (en) | Integrated space-time prediction method | |
JP5203379B2 (en) | Spatial convention guidance time prediction for video compression | |
EP2059048A2 (en) | Image encoding apparatus, image encoding method, image decoding apparatus, and image decoding method | |
CN102752596B (en) | Rate distortion optimization method | |
KR20080090937A (en) | Method and apparatus for encoding and decoding based on intra prediction using differential equation | |
US9094687B2 (en) | Video encoder and video decoder | |
JP4709074B2 (en) | Moving picture encoding method, apparatus, program thereof, and recording medium recording the program | |
KR20100041217A (en) | Video encoding/decoding apparatus and variable obmc apparatus and method | |
JP4709179B2 (en) | Encoding parameter selection method, encoding parameter selection device, encoding parameter selection program, and recording medium therefor | |
JP4819855B2 (en) | Moving picture quantization method, moving picture quantization apparatus, moving picture quantization program, and computer-readable recording medium recording the program | |
JP4681011B2 (en) | Moving picture coding method, moving picture coding apparatus, moving picture coding program, and computer-readable recording medium recording the program | |
JP4824708B2 (en) | Moving picture encoding method, apparatus, program, and computer-readable recording medium | |
JP4763241B2 (en) | Motion prediction information detection device | |
JP4819856B2 (en) | Moving picture coding method, moving picture coding apparatus, moving picture coding program, and computer-readable recording medium recording the program | |
JP4820800B2 (en) | Image coding method, image coding apparatus, and image coding program | |
WO2024140849A1 (en) | Method, apparatus, and medium for visual data processing | |
WO2024083247A1 (en) | Method, apparatus, and medium for visual data processing | |
CN113412618B (en) | Method and device for encoding and decoding a data stream representing at least one image | |
WO2024140951A1 (en) | A neural network based image and video compression method with integer operations |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20100331 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20100720 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20110621 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110712 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110812 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20110830 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20110901 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140909 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4819855 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
LAPS | Cancellation because of no payment of annual fees |