JP4403094B2

JP4403094B2 - Scalable encoding method, scalable decoding method, these devices, their programs, and computer-readable recording media recording these programs

Info

Publication number: JP4403094B2
Application number: JP2005108458A
Authority: JP
Inventors: 幸浩坂東; 誠之高村; 一人上倉; 由幸八島
Original assignee: Nippon Telegraph and Telephone Corp
Current assignee: Nippon Telegraph and Telephone Corp
Priority date: 2005-04-05
Filing date: 2005-04-05
Publication date: 2010-01-20
Anticipated expiration: 2025-04-05
Also published as: JP2006287848A

Description

本発明は，スケーラブル符号化を行う高能率画像信号符号化方法に関し，特に時間スケーラビリティを実現するための時間軸方向のフィルタリング処理において，大きな予測誤差が生じないようにしたスケーラブル符号化／復号方法に関する。 The present invention relates to a high-efficiency image signal encoding method that performs scalable encoding, and more particularly, to a scalable encoding / decoding method that prevents a large prediction error from occurring in filtering in the time axis direction for realizing temporal scalability. .

近年，多様化するネットワーク環境・端末環境などに対応するためのスケーラブル符号化が注目を集めている。スケーラブル符号化では，画像信号を階層的に分割し，各階層毎に符号化が行われる。階層分割の方法としては，
（ｉ）空間周波数に関する帯域分割，
（ii）時間周波数に関する帯域分割，
などがある。（ｉ）としては，wavelet 分割，（ii）としては，Motion Compensation Temporal Fitering （ＭＣＴＦ）（非特許文献１参照）が代表例である。 In recent years, scalable coding to deal with diversifying network environments and terminal environments has attracted attention. In scalable coding, an image signal is divided hierarchically and coding is performed for each layer. As a method of hierarchy division,
(I) Band division related to spatial frequency,
(Ii) Band division for time frequency,
and so on. Typical examples of (i) are wavelet division, and (ii) is Motion Compensation Temporal Fitering (MCTF) (see Non-Patent Document 1).

ＭＣＴＦは，prediction step とupdate step の二つの処理で構成される。prediction step は，動き補償に基づくフレーム間予測処理であり，予測誤差を出力するhigh pass フィルタリングにあたる。一方，update step は，prediction step で出力された予測誤差を入力信号に加算する処理であり，low passフィルタリングにあたる。完全再構成条件が求められる場合，ＭＣＴＦはlifting により構成される。以下に，Ｈａａｒ型のＭＣＴＦの例を示す。 MCTF consists of two processes, a prediction step and an update step. The prediction step is an inter-frame prediction process based on motion compensation, and corresponds to high pass filtering that outputs a prediction error. The update step, on the other hand, is a process that adds the prediction error output in the prediction step to the input signal and corresponds to low pass filtering. MCTF is constructed by lifting when full reconstruction conditions are required. An example of a Haar type MCTF is shown below.

ここで，ｓ_k（ｐ）は，第ｋフレームの座標値ｐ＝（ｘ，ｙ）における画素値である。ｖは動きベクトルである。ｈ_k（ｐ）は，prediction step により出力されるhigh pass フレームであり，ｌ_k（ｐ）は，update step により出力されるlow passフレームである。
“Three-dimensional subband coding with motion compensation ”，J.R.Ohm ，IEEE Trans. Image Processing，Vol.3 ，No.5，pp.559-571，Sept. ，1994.

Here, s _k (p) is a pixel value at the coordinate value p = (x, y) of the k-th frame. v is a motion vector. h _k (p) is a high pass frame output by the prediction step, and l _k (p) is a low pass frame output by the update step.
“Three-dimensional subband coding with motion compensation”, JROhm, IEEE Trans. Image Processing, Vol.3, No.5, pp.559-571, Sept., 1994.

update step におけるhigh pass フレーム（予測誤差）の加算は，出力信号にlow pass特性を付与するが，予測誤差が大きな場合には，update step 後のlow passフレームにおいてghoasting による歪みが顕在化する。このghoasting はlow passフレームの画質劣化を招くと同時に，符号化効率の低下につながる。 The addition of high pass frames (prediction error) in the update step gives a low pass characteristic to the output signal. If the prediction error is large, distortion due to ghoasting becomes apparent in the low pass frame after the update step. This ghoasting leads to degradation of image quality of low pass frames and at the same time leads to a decrease in coding efficiency.

本発明はかかる事情に鑑みてなされたものであって，update step において，大きな予測誤差の加算を抑制するlow passフィルタの適応的設計法を確立することを目的とする。 The present invention has been made in view of such circumstances, and an object thereof is to establish an adaptive design method for a low pass filter that suppresses the addition of a large prediction error in the update step.

本発明のスケーラブル符号化方法は，上記課題を解決するため，時間スケーラビリティを実現するための時間軸方向のフィルタリング処理において，入力信号と高域信号の線形和をとることで低域信号を生成する際，ブロックに分割された高域信号の各ブロック内の空間的な位置に応じて，ブロック境界部での重み係数がブロック内の他の部分の重み係数より小さい重み係数を算出し，該重み係数を用いて該線形和における高域信号の加算値を変化させることを特徴とする。これによって，ブロック境界部に局在する予測誤差を抑制することが可能となり，その結果，低域信号フレーム（low passフレーム）におけるghoasting を低減することができる。
In order to solve the above-described problem, the scalable coding method of the present invention generates a low-frequency signal by taking a linear sum of an input signal and a high-frequency signal in filtering processing in the time axis direction for realizing temporal scalability. In this case, the weighting coefficient at the block boundary is smaller than the weighting coefficient of the other part in the block according to the spatial position in each block of the high-frequency signal divided into blocks, and the weight The addition value of the high frequency signal in the linear sum is changed using a coefficient. As a result, it is possible to suppress a prediction error localized at the block boundary, and as a result, it is possible to reduce ghoasting in a low-frequency signal frame (low pass frame).

また，上記発明において，空間的な重み付け処理と併せて，高域信号の画素値の絶対平均値に応じて該画素値を重み付けし，空間方向および振幅方向に対して適応的な重み付け処理を高域信号に対して行うことを特徴とする。これによって，予測誤差の低減を効果的に行うことができる。 In the above invention, in addition to the spatial weighting process, the pixel value is weighted according to the absolute average value of the pixel value of the high frequency signal, and the adaptive weighting process is performed in the spatial direction and the amplitude direction. It is characterized by being performed on a band signal. Thereby, the prediction error can be effectively reduced.

また，上記発明において，空間的な重み係数を算出する際，空間重み窓関数の値を予めルックアップテーブルに格納しておくことで，該関数の値の算出を該テーブルの参照により行うことを特徴とする。これによって，演算量の削減を実現し，予測誤差の算出を実用的な計算時間で行うことが可能になる。 In the above invention, when the spatial weighting coefficient is calculated, the value of the spatial weighting window function is stored in advance in the lookup table, so that the value of the function is calculated by referring to the table. Features. As a result, the amount of calculation can be reduced and the prediction error can be calculated in a practical calculation time.

本発明のスケーラブル復号方法は，時間スケーラビリティを実現するための時間軸方向のフィルタリング処理に対応する復号処理において，低域信号と高域信号の線形和をとることで画像フレーム信号を生成する際，ブロックに分割された高域信号の各ブロック内の空間的な位置に応じた重み係数を算出し，該重み係数を用いて該線形和における高域信号の加算値を適応的に変化させることを特徴とする。 The scalable decoding method according to the present invention generates an image frame signal by taking a linear sum of a low-frequency signal and a high-frequency signal in a decoding process corresponding to a filtering process in the time axis direction for realizing temporal scalability. Calculating a weighting factor corresponding to a spatial position in each block of the high-frequency signal divided into blocks, and adaptively changing the addition value of the high-frequency signal in the linear sum using the weighting factor. Features.

また，上記発明において，空間的な重み付け処理と併せて，高域信号の画素値の絶対平均値に応じて該画素値を重み付けし，空間方向および振幅方向に対して適応的な重み付け処理を高域信号に対して行うことを特徴とする。 In the above invention, in addition to the spatial weighting process, the pixel value is weighted according to the absolute average value of the pixel value of the high frequency signal, and the adaptive weighting process is performed in the spatial direction and the amplitude direction. It is characterized by being performed on a band signal.

また，上記発明において，空間的な重み係数を算出する際，空間重み窓関数の値を予めルックアップテーブルに格納しておくことで，該関数の値の算出を該テーブルの参照により行うことを特徴とする。 In the above invention, when the spatial weighting coefficient is calculated, the value of the spatial weighting window function is stored in advance in the lookup table, so that the value of the function is calculated by referring to the table. Features.

すなわち，本発明は，ＭＣＴＦにおける低域信号フレーム（low passフレーム）の生成において，従来の (ｉ) 動きベクトル， (ii) 高域信号フレーム（high pass フレーム）， (iii)原信号（符号化の場合）・復号フレーム（復号の場合）に加えて，さらに (iv) 空間的な位置に応じた重み係数を用いる点が従来技術と異なる。ＭＣＴＦのupdate step において，動き補償で用いるブロック内の空間的な位置に応じた重みを乗じることにより，ghoasting の発生を抑圧する。具体的には，例えば次のような処理を行う。 That is, according to the present invention, in the generation of a low frequency signal frame (low pass frame) in MCTF, the conventional (i) motion vector, (ii) high frequency signal frame (high pass frame), (iii) original signal (encoding) In addition to the decoded frame (in the case of decoding), (iv) the weighting coefficient corresponding to the spatial position is used. In the update step of MCTF, the occurrence of ghoasting is suppressed by multiplying the weight according to the spatial position in the block used for motion compensation. Specifically, for example, the following processing is performed.

［Weighted Update Step］
ブロックベースの動き補償（ＭＣ）を用いたフレーム間予測の場合，ブロック中心部と比較してブロック境界部に大きな予測誤差が発生する傾向にある。つまり，ブロック境界部には，update step においてghoasting の発生する可能性が高いことになる。 [Weighted Update Step]
In the case of inter-frame prediction using block-based motion compensation (MC), there is a tendency that a large prediction error occurs at a block boundary portion as compared with the block center portion. In other words, there is a high possibility that ghoasting occurs at the update step at the block boundary.

そこで，本発明では，図１に示すように，update step においてＭＣのブロック内の空間的な位置に応じた重みを乗じることにより，ghoasting の発生を抑圧する。なお，図１において，１は偶数（２ｋ）フレーム，２は奇数（２ｋ＋１）フレームである。３のＭＣは動き補償部，４は差分器，５のＩＭＣは逆動き補償部を表す。また，６のＦは後述する重み関数による適応処理部を示す。７は加算器であり，８はlow passフレーム，９はhigh pass フレームを表す。 Therefore, in the present invention, as shown in FIG. 1, the occurrence of ghoasting is suppressed by multiplying the weight according to the spatial position in the MC block in the update step. In FIG. 1, 1 is an even (2k) frame, and 2 is an odd (2k + 1) frame. MC of 3 represents a motion compensation unit, 4 represents a differentiator, and 5 IMC represents an inverse motion compensation unit. In addition, F of 6 indicates an adaptive processing unit using a weight function described later. 7 represents an adder, 8 represents a low pass frame, and 9 represents a high pass frame.

以下では，ＭＣにおけるブロックを動き補償ブロックと呼び，同ブロックのサイズをＢ_x×Ｂ_yとする。 Hereinafter, the block in MC is called a motion compensation block, and the size of the block is B _x × B _y .

本発明におけるupdate step は，以下のようになる。 The update step in the present invention is as follows.

ここで，Ｗ_Hはブロック内の空間的位置に応じて重みを変化させる関数であり，空間重み窓関数と呼ぶ。同関数の例としては，以下のような２次元分離型フィルタをあげることができる。

Here, W _H is a function that changes the weight according to the spatial position in the block, and is called a spatial weight window function. As an example of this function, the following two-dimensional separation type filter can be given.

ｗ（）の例を以下に２つ示す。なお，以下では，ｗ（ｘ，Ｂ_x）の例を示すが，ｗ（ｙ，Ｂ_y）についても同様である。

Two examples of w () are shown below. In the following, an example of w (x, B _x ) is shown, but the same applies to w (y, B _y ).

〔ｗ（）の例１〕 [Example 1 of w ()]

ここで，α，βは重み関数の特性を制御するパラメータであり，αの値が大きいほど，境界部でのghoasting 抑圧強度が強くなる。一方，βの値が小さいほど，境界部でのghoasting 抑圧強度が強くなる。

Here, α and β are parameters that control the characteristics of the weighting function, and the larger the value of α, the stronger the ghoasting suppression strength at the boundary. On the other hand, the smaller the β value, the stronger the ghoasting suppression strength at the boundary.

〔ｗ（）の例２〕 [Example 2 of w ()]

ここで，α，βは前述の例１と同様である。一方，ｎは重み関数の形状を制御するパラメータである。例えば，ｎ＝１の場合，ラプラス分布型の重み関数となり，ｎ＝２の場合，ガウス分布型の重み関数となる。

Here, α and β are the same as in Example 1 described above. On the other hand, n is a parameter for controlling the shape of the weight function. For example, when n = 1, a Laplace distribution type weight function is obtained, and when n = 2, a Gaussian distribution type weight function is obtained.

Weighted update stepは，lifting 構造を用いて実装できる。符号化器側の構成を図２に示す。一方，復号器側の構成を図３に示す。ここで，図２および図３におけるＦは次式となる。 The weighted update step can be implemented using the lifting structure. The configuration on the encoder side is shown in FIG. On the other hand, the configuration on the decoder side is shown in FIG. Here, F in FIG. 2 and FIG.

図中のＰ，Ｕは，各々prediction step ，update step の処理部である。Ａ_h，Ａ_lは正規化係数を示す。記述の簡略化のため，本明細書中では，Ａ_h＝１，Ａ_l＝１として説明を行う。ｚ^-1は遅延を表し，“２↓”および“２↑”は，各々ダウンサンプリングおよびアップサンプリングを表す。

P and U in the figure are processing units for prediction step and update step, respectively. A _h and A _l indicate normalization coefficients. In order to simplify the description, in the present specification, description will be made assuming that A _h = 1 and A _l = 1. z ⁻¹ represents a delay, and “2 ↓” and “2 ↑” represent downsampling and upsampling, respectively.

なお，各動き補償ブロック毎に，各格子点における空間重み窓関数の値は予めルックアップテーブルに格納するものとする。これにより，該関数の値の算出を該テーブルの参照により行うことが可能となる。 For each motion compensation block, the value of the space weight window function at each grid point is stored in advance in the lookup table. Thereby, the value of the function can be calculated by referring to the table.

［Adaptive Weighted Update Step ］
前述のWeighted update stepに入力画素値の大きさも考慮した適応処理を導入する。この場合，update Step は以下のようになる。 [Adaptive Weighted Update Step]
An adaptive process that considers the size of the input pixel value is introduced into the aforementioned Weighted update step. In this case, update Step is as follows.

ここで，Ａ（）は次式に示す非線形関数であり，振幅値制御関数と呼ぶ。

Here, A () is a non-linear function expressed by the following equation and is called an amplitude value control function.

ここで，Ｔ₁，Ｔ₂は，外部から与えられる閾値を示すパラメータであり，Ｍ（ｈ_k（ｘ，ｙ），ｂ_x，ｂ_y）は，以下に示す平均値である。

Here, T ₁ and T ₂ are parameters indicating threshold values given from the outside, and M (h _k (x, y), b _x , b _y ) is an average value shown below.

ここで，ｘ₀，ｙ₀は以下の通りである。

Here, x ₀ and y ₀ are as follows.

ｘ₀＝ｘ−（ｘｍｏｄｂ_x）
ｙ₀＝ｙ−（ｙｍｏｄｂ_y）
Ａ（）はサイズｂ_x×ｂ_yの矩形領域に対する重み係数を設定する。同矩形領域を振幅値制御ブロックと呼び，振幅値制御ブロックに対する重み係数を振幅値制御重み係数と呼ぶ。この矩形領域のサイズを表すパラメータｂ_x，ｂ_yは外部から与えられるものとする。例えば，ｂ_x＝１，ｂ_y＝１とした場合，画素単位で振幅値制御重み係数を設定することになり，ｂ_x＝Ｂ_x，ｂ_y＝Ｂ_yとすれば，動き補償ブロック毎に振幅値制御重み係数を設定することになる。 x ₀ = x− (x mod b _x )
_{y 0 = y- (y mod b} y)
A () sets the weighting factor for the rectangular region size b _x × b _y. The rectangular area is called an amplitude value control block, and a weighting factor for the amplitude value control block is called an amplitude value control weighting factor. Parameter b _x representing the size of the rectangular area, b _y is assumed to be given from the outside. For example, when b _x = 1 and b _y = 1, the amplitude value control weight coefficient is set for each pixel. If b _x = B _x and b _y = B _y , each motion compensation block An amplitude value control weight coefficient is set.

Adaptive weighted update step は，前述のWeighted update stepと同様にlifting 構造を用いて実装できる。この場合，図２および図３におけるＦは次式となる。 The Adaptive weighted update step can be implemented using the lifting structure in the same way as the Weighted update step described above. In this case, F in FIG. 2 and FIG.

Adaptive weighted update step を用いたＭＣＴＦは以下のように表現できる。なお，prediction step は通常のＭＣＴＦと同様である。

MCTF using Adaptive weighted update step can be expressed as follows. Note that the prediction step is the same as in normal MCTF.

一方，復号側におけるＭＣＴＦの逆変換処理は以下のようになる。

On the other hand, the MCTF inverse transform process on the decoding side is as follows.

本発明によりupdate step においてlow passフィルタリングを行う際，ブロック境界部に局在する予測誤差を抑制することが可能となり，ＭＣＴＦにおけるlow passフレームにおけるghoasting を低減できる。low passフレームは再帰的にＭＣＴＦによるフィルタリングの対象となるため，このghoasting の低減は符号化効率の向上につながる。 According to the present invention, when low pass filtering is performed in the update step, it is possible to suppress a prediction error localized at a block boundary, and to reduce ghoasting in a low pass frame in MCTF. Since low pass frames are recursively filtered by MCTF, this reduction in ghoasting leads to an improvement in coding efficiency.

また，空間的な重み係数を算出する際，空間重み窓関数の値を予めルックアップテーブルに格納しておくことで，該関数の値の算出を該テーブルの参照により行うことが可能となる。このテーブル参照により，同一の値を繰り返し算出することを回避でき，演算量が削減される。 Further, when the spatial weighting coefficient is calculated, the value of the spatial weighting window function is stored in the lookup table in advance, so that the value of the function can be calculated by referring to the table. By referring to this table, repeated calculation of the same value can be avoided, and the amount of calculation is reduced.

［符号化処理］
本発明の符号化器の実施形態について図面を参照して説明する。図４は，本発明の実施の形態に係る符号化処理のフローチャートである。 [Encoding process]
An embodiment of an encoder of the present invention will be described with reference to the drawings. FIG. 4 is a flowchart of the encoding process according to the embodiment of the present invention.

まず，ステップＳ１１では，フレーム信号を入力とし，prediction step 処理を行い，high pass 信号および動きベクトル情報を出力する。具体的な算出方法は式（１０）に従う。 First, in step S11, a frame signal is input, a prediction step process is performed, and a high pass signal and motion vector information are output. A specific calculation method follows Formula (10).

ステップＳ１２では，ステップＳ１１で出力されたhigh pass 信号および動きベクトル情報をレジスタに格納する。 In step S12, the high pass signal and motion vector information output in step S11 are stored in a register.

ステップＳ１３では，振幅値制御ブロックのサイズ，同ブロックのフレーム内での位置を示す座標値，同ブロックの領域に相当するhigh pass 信号を入力とし，振幅値制御ブロック内の平均画素値を算出する処理を行い，同平均画素値を出力する。具体的な算出方法は式（９）に従う。 In step S13, the size of the amplitude value control block, the coordinate value indicating the position of the block in the frame, and the high pass signal corresponding to the area of the block are input, and the average pixel value in the amplitude value control block is calculated. Processing is performed and the average pixel value is output. A specific calculation method follows equation (9).

ステップＳ１４では，振幅値制御ブロック内の平均画素値を入力とし，振幅値制御関数に基づき振幅値制御重み係数を算出する処理を行い，同重み係数を出力する。出力された重み係数は振幅値制御ブロック毎にレジスタに格納される。具体的な算出方法は式（８）に従う。 In step S14, an average pixel value in the amplitude value control block is input, an amplitude value control weighting coefficient is calculated based on the amplitude value control function, and the weighting coefficient is output. The output weight coefficient is stored in a register for each amplitude value control block. A specific calculation method follows equation (8).

ステップＳ１５では，動き補償ブロック内のすべての振幅値制御ブロックに対して，振幅値制御重み係数の算出が終了したか否かの判定処理を行い，終了している場合には，真値を出力し，ステップＳ１６へ進む。そうでなければ，偽値を出力し，ステップＳ１３およびＳ１４を繰り返す。 In step S15, it is determined whether or not the calculation of the amplitude value control weight coefficient has been completed for all the amplitude value control blocks in the motion compensation block. If the calculation has been completed, a true value is output. Then, the process proceeds to step S16. Otherwise, a false value is output and steps S13 and S14 are repeated.

ステップＳ１６では，動き補償ブロック内の領域に相当するhigh pass 信号，同ブロック内の各振幅値制御ブロックの重み係数を入力とし，同重み係数をhigh pass 信号に乗じる処理を行い，同処理後のhigh pass 信号を用いて同処理前のhigh pass 信号の格納されていたレジスタの内容を上書きする。 In step S16, the high pass signal corresponding to the region in the motion compensation block and the weight coefficient of each amplitude value control block in the block are input, and the process of multiplying the high pass signal by the weight coefficient is performed. Use the high pass signal to overwrite the contents of the register in which the high pass signal was stored before processing.

ステップＳ１７では，空間重み窓関数を読み込む。 In step S17, a space weight window function is read.

次に，ステップＳ１８では，ステップＳ１６で出力された動き補償ブロック内の領域に相当するhigh pass 信号，空間重み窓関数を入力とし，水平方向の位置に応じて同重み関数より求まる重み係数をhigh pass 信号に乗じる処理を行い，同処理後のhigh pass 信号を用いて同処理前のhigh pass 信号の格納されていたレジスタの内容を上書きする。 Next, in step S18, the high pass signal corresponding to the region in the motion compensation block output in step S16 and the spatial weight window function are input, and the weighting coefficient obtained from the weight function according to the position in the horizontal direction is set to high. Performs processing to multiply the pass signal, and overwrites the contents of the register in which the high pass signal before the processing was stored using the high pass signal after the processing.

ステップＳ１９では，ステップＳ１８で出力された動き補償ブロック内の領域に相当するhigh pass 信号，空間重み窓関数を入力とし，垂直方向の位置に応じて同重み関数より求まる重み係数をhigh pass 信号に乗じる処理を行い，同処理後のhigh pass 信号を用いて同処理前のhigh pass 信号の格納されていたレジスタの内容を上書きする。 In step S19, the high pass signal corresponding to the region in the motion compensation block output in step S18 and the spatial weight window function are input, and the weight coefficient obtained from the weight function according to the position in the vertical direction is converted to the high pass signal. Multiply processing, and use the high pass signal after the processing to overwrite the contents of the register in which the high pass signal before the processing was stored.

ステップＳ２０では，以上のステップＳ１８，Ｓ１９の処理が動き補償ブロック内のすべての画素に対して終了したか否かの判定処理を行い，終了している場合には，真値を出力してステップＳ２１へ進む。そうでなければ，偽値を出力し，ステップＳ１８，Ｓ１９を繰り返す。 In step S20, it is determined whether or not the processing in steps S18 and S19 has been completed for all pixels in the motion compensation block. If completed, a true value is output and step is performed. Proceed to S21. Otherwise, a false value is output and steps S18 and S19 are repeated.

ステップＳ２１では，ステップＳ１９で出力された動き補償ブロック内の領域に相当するhigh pass 信号，同ブロックに対する動きベクトル，偶数フレーム信号を入力とし，update step 処理を行い，low pass信号を出力する。具体的な算出方法は式（１１）に従う。ステップＳ２２では，ステップＳ２１で出力されたlow pass信号をレジスタに格納する。 In step S21, the high pass signal corresponding to the region in the motion compensation block output in step S19, the motion vector for the block, and the even frame signal are input, update step processing is performed, and a low pass signal is output. A specific calculation method follows Formula (11). In step S22, the low pass signal output in step S21 is stored in a register.

ステップＳ２３では，以上ステップＳ１１〜Ｓ２２の処理がすべての動き補償ブロックに対して終了したか否かの判定処理を行い，終了している場合には，真値を出力して終了する。そうでなければ，偽値を出力してステップＳ１１〜Ｓ２２の処理を繰り返す。 In step S23, it is determined whether or not the processing in steps S11 to S22 has been completed for all the motion compensation blocks. If it has been completed, a true value is output and the processing ends. Otherwise, a false value is output and the processing in steps S11 to S22 is repeated.

［復号処理］
本発明の復号器の実施形態について図面を参照して説明する。図５は，本発明の実施の形態に係る復号処理のフローチャートである。 [Decryption process]
An embodiment of a decoder according to the present invention will be described with reference to the drawings. FIG. 5 is a flowchart of the decoding process according to the embodiment of the present invention.

まず，ステップＳ３１では，high pass フレーム信号，low passフレーム信号，動きベクトル情報を読み込む。 First, in step S31, a high pass frame signal, a low pass frame signal, and motion vector information are read.

ステップＳ３２〜Ｓ３９では，前述した符号化処理におけるステップＳ１３〜Ｓ２０と同様な処理を行う。 In steps S32 to S39, processing similar to that in steps S13 to S20 in the encoding process described above is performed.

ステップＳ４０では，ステップＳ３８で出力された動き補償ブロック内の領域に相当するlow pass信号，同high pass 信号，同ブロックに対する動きベクトルを入力とし，update step 処理を行い，偶数フレーム信号を出力する。具体的な算出方法は式（１２）に従う。ステップＳ４１では，ステップＳ４０で出力された偶数フレーム信号をレジスタに格納する。 In step S40, the low pass signal corresponding to the region in the motion compensation block output in step S38, the high pass signal, and the motion vector for the block are input, update step processing is performed, and an even frame signal is output. A specific calculation method follows Formula (12). In step S41, the even frame signal output in step S40 is stored in a register.

ステップＳ４２では，ステップＳ４０で出力された動き補償ブロック内の領域に相当するhigh pass 信号，同ブロックに対する動きベクトル，偶数フレーム信号を入力とし，prediction step 処理を行い，奇数フレーム信号を出力する。具体的な算出方法は式（１３）に従う。ステップＳ４３では，ステップＳ４２で出力された奇数フレーム信号をレジスタに格納する。 In step S42, the high pass signal corresponding to the region in the motion compensation block output in step S40, the motion vector for the block, and the even frame signal are input, the prediction step processing is performed, and the odd frame signal is output. A specific calculation method follows equation (13). In step S43, the odd frame signal output in step S42 is stored in a register.

ステップＳ４４では，以上ステップＳ３１〜Ｓ４３の処理がすべての動き補償ブロックに対して終了したか否かの判定処理を行い，終了している場合には，真値を出力して終了する。そうでなければ，偽値を出力してステップＳ３１〜Ｓ４３の処理を繰り返す。 In step S44, it is determined whether or not the processing in steps S31 to S43 has been completed for all the motion compensation blocks. If the processing has been completed, a true value is output and the processing ends. Otherwise, a false value is output and the processing of steps S31 to S43 is repeated.

［符号化装置］
図６に本発明の符号化装置のブロック図を示す。入力した符号化対象信号は，符号化対象信号記憶部１１に記憶される。 [Encoding device]
FIG. 6 shows a block diagram of the encoding apparatus of the present invention. The input encoding target signal is stored in the encoding target signal storage unit 11.

prediction step 処理部１２は，符号化対象信号記憶部１１から読み出した符号化対象信号を入力として，prediction step 処理を行い，high pass 信号および動きベクトル情報を各々，high pass 信号記憶部１４および動きベクトル記憶部１３に書き出す。具体的な算出方法は式（１０）に従う。なお，ここで，書き出したhigh pass 信号および動きベクトル情報は本装置の出力として，出力される。 The prediction step processing unit 12 receives the encoding target signal read from the encoding target signal storage unit 11 and performs prediction step processing, and receives the high pass signal and the motion vector information as the high pass signal storage unit 14 and the motion vector, respectively. Write to the storage unit 13. A specific calculation method follows Formula (10). Here, the written high pass signal and motion vector information are output as the output of this apparatus.

振幅値制御処理部１５は，high pass 信号記憶部１４から読み出したhigh pass 信号，振幅値制御ブロックのサイズ，同ブロックのフレーム内での位置を示す座標値を入力とし，同ブロックの領域に相当するhigh pass 信号に対して，振幅値制御重み係数を算出する処理を行い，同重み係数を出力する。 The amplitude value control processing unit 15 receives the high pass signal read from the high pass signal storage unit 14, the size of the amplitude value control block, and the coordinate value indicating the position of the block in the frame, and corresponds to the area of the block. The amplitude value control weighting coefficient is calculated for the high pass signal to be output, and the weighting coefficient is output.

本処理の詳細については，図７を用いて説明する。図７は，振幅値制御処理部１５のブロック図である。 Details of this processing will be described with reference to FIG. FIG. 7 is a block diagram of the amplitude value control processing unit 15.

平均値算出部２１は，振幅値制御ブロックのサイズ，同ブロックのフレーム内での位置を示す座標値，同ブロックの領域に相当するhigh pass 信号を入力とし，振幅値制御ブロック内の平均画素値を算出する処理を行い，同平均画素値を平均値記憶部２２に書き出す。具体的な算出方法は式（９）に従う。 The average value calculation unit 21 receives the size of the amplitude value control block, the coordinate value indicating the position of the block in the frame, and the high pass signal corresponding to the area of the block, and receives the average pixel value in the amplitude value control block. The average pixel value is written in the average value storage unit 22. A specific calculation method follows equation (9).

重み係数算出部２４は，平均値記憶部２２から読み出した振幅値制御ブロック内の平均画素値，同ブロックの領域に相当するhigh pass 信号，振幅値制御関数記憶部２３から読み出した振幅値制御関数を入力とし，振幅値制御関数に基づき振幅値制御重み係数を算出する処理を行い，同重み係数を重み係数記憶部２５に書き出す。具体的な算出方法は式（８）に従う。 The weighting factor calculation unit 24 reads the average pixel value in the amplitude value control block read from the average value storage unit 22, the high pass signal corresponding to the area of the block, and the amplitude value control function read from the amplitude value control function storage unit 23. Is input, based on the amplitude value control function, the process of calculating the amplitude value control weight coefficient is performed, and the weight coefficient is written in the weight coefficient storage unit 25. A specific calculation method follows equation (8).

繰返し処理判定部２６は，動き補償ブロックにおけるすべての振幅値制御ブロックに対して，振幅値制御重み係数の算出を行う。すべての振幅値制御ブロックに対して処理が終了した場合には，次の処理に移る。 The iterative process determination unit 26 calculates an amplitude value control weight coefficient for all amplitude value control blocks in the motion compensation block. When the process is completed for all amplitude value control blocks, the process proceeds to the next process.

図６の空間方向重み付け処理部１６は，振幅値制御処理部１５の重み係数記憶部２５から読み出した各振幅値制御ブロックに対する重み係数，high pass 信号記憶部１４から読み出したhigh pass 信号，動き補償ブロックのサイズ，同ブロックのフレーム内での位置を示す座標値を入力とし，同ブロックの領域に相当するhigh pass 信号に対して，同ブロック内の空間的な位置に応じた重み付けを行う処理を行い，重み付け後のhigh pass 信号を出力する。 The spatial direction weighting processing unit 16 in FIG. 6 includes a weighting factor for each amplitude value control block read from the weighting factor storage unit 25 of the amplitude value control processing unit 15, a high pass signal read from the high pass signal storage unit 14, and motion compensation. A process for weighting the high pass signal corresponding to the area of the block according to the spatial position in the block, using the block size and coordinate values indicating the position of the block in the frame as inputs. Output weighted high pass signal.

本処理の詳細については，図８を用いて説明する。図８は，空間方向重み付け処理部１６のブロック図である。 Details of this processing will be described with reference to FIG. FIG. 8 is a block diagram of the spatial direction weighting processing unit 16.

重み付け処理部３１は，動き補償ブロック内の領域に相当するhigh pass 信号，同ブロック内の各振幅値制御重み係数を入力とし，同重み係数をhigh pass 信号に乗じる処理を行い，重み係数が乗じられたhigh pass 信号をhigh pass 信号記憶部３２に書き出す。 The weighting processing unit 31 receives the high pass signal corresponding to the region in the motion compensation block and each amplitude value control weighting coefficient in the block, and multiplies the highpass signal by the weighting coefficient. The received high pass signal is written into the high pass signal storage unit 32.

次に重み付け処理部３３は，high pass 信号記憶部３２から読み込まれた動き補償ブロック内の領域に相当するhigh pass 信号，空間重み窓関数記憶部３４から読み込まれた空間重み窓関数を入力とし，水平方向の位置に応じて同重み関数より求まる重み係数をhigh pass 信号に乗じる処理を行い，同処理後のhigh pass 信号をhigh pass 信号記憶部３５に書き出す。 Next, the weighting processing unit 33 receives the high pass signal corresponding to the region in the motion compensation block read from the high pass signal storage unit 32 and the spatial weight window function read from the spatial weight window function storage unit 34 as inputs. A process of multiplying the high pass signal by a weighting coefficient obtained from the weight function according to the position in the horizontal direction is performed, and the high pass signal after the process is written in the high pass signal storage unit 35.

また，重み付け処理部３６は，high pass 信号記憶部３５から読み込まれた動き補償ブロック内の領域に相当するhigh pass 信号，空間重み窓関数記憶部３４から読み込まれた空間重み窓関数を入力とし，水平方向の位置に応じて同重み関数より求まる重み係数をhigh pass 信号に乗じる処理を行い，同処理後のhigh pass 信号をhigh pass 信号記憶部３７に書き出す。 The weighting processing unit 36 receives as input the high pass signal corresponding to the region in the motion compensation block read from the high pass signal storage unit 35 and the spatial weight window function read from the space weight window function storage unit 34. A process of multiplying the high pass signal by a weighting coefficient obtained from the weight function according to the position in the horizontal direction is performed, and the high pass signal after the process is written to the high pass signal storage unit 37.

繰返し処理判定部３８は，以上の重み付け処理部３１から重み付け処理部３６によりhigh pass 信号記憶部３７にhigh pass 信号を記憶するまでの処理をhigh pass フレーム内のすべての動き補償ブロックに対して行う。すべての動き補償ブロックに対して処理が終了した場合には，次の処理に移る。 The iterative processing determination unit 38 performs the processing from the weighting processing unit 31 to the weighting processing unit 36 until the high pass signal is stored in the high pass signal storage unit 37 for all motion compensation blocks in the high pass frame. . When the process is completed for all the motion compensation blocks, the process proceeds to the next process.

図６のupdate step 処理部１７は，空間方向重み付け処理部１６のhigh pass 信号記憶部３７（図８）から読み込まれた動き補償ブロック内の領域に相当するhigh pass 信号，同ブロックに対する動きベクトル，符号化対象信号記憶部１１から読み出した偶数フレーム信号を入力とし，update step 処理を行い，出力されたlow pass信号をlow pass信号記憶部１８に書き出す。具体的な算出方法は式（１１）に従う。なお，ここで，書き出したlow pass信号は本装置の出力として，出力される。 The update step processing unit 17 in FIG. 6 includes a high pass signal corresponding to a region in the motion compensation block read from the high pass signal storage unit 37 (FIG. 8) of the spatial direction weighting processing unit 16, a motion vector for the block, The even frame signal read from the encoding target signal storage unit 11 is input, update step processing is performed, and the output low pass signal is written to the low pass signal storage unit 18. A specific calculation method follows Formula (11). Here, the written low pass signal is output as the output of this apparatus.

［復号装置］
図９に本発明の復号装置のブロック図を示す。入力したhigh pass フレームは，high pass 信号記憶部４１に記憶される。また，入力したlow passフレームは，low pass信号記憶部４２に記憶される。入力した動きベクトルは，動きベクトル記憶部４３に記憶される。 [Decoding device]
FIG. 9 shows a block diagram of the decoding apparatus of the present invention. The input high pass frame is stored in the high pass signal storage unit 41. The input low pass frame is stored in the low pass signal storage unit 42. The input motion vector is stored in the motion vector storage unit 43.

振幅値制御処理部４４，空間方向重み付け処理部４５は，図６に示す振幅値制御処理部１５，空間方向重み付け処理部１６と同じ処理機能を持つ。 The amplitude value control processing unit 44 and the spatial direction weighting processing unit 45 have the same processing functions as the amplitude value control processing unit 15 and the spatial direction weighting processing unit 16 shown in FIG.

update step 処理部４６は，振幅値制御処理部４４および空間方向重み付け処理部４５によって重み付け処理された動き補償ブロック内の領域に相当するhigh pass 信号，同ブロックに対する動きベクトル，low pass信号記憶部４２から読み出したlow passフレームを入力とし，update step 処理を行い，出力された偶数フレームを偶数フレーム記憶部４７に書き出す。具体的な算出方法は式（１２）に従う。なお，ここで，書き出した偶数フレームは本装置の出力として，出力される。 The update step processing unit 46 includes a high pass signal corresponding to a region in the motion compensation block weighted by the amplitude value control processing unit 44 and the spatial direction weighting processing unit 45, a motion vector for the block, and a low pass signal storage unit 42. The low pass frame read out from is input, update step processing is performed, and the output even frame is written in the even frame storage unit 47. A specific calculation method follows Formula (12). Here, the even-numbered frame that has been written out is output as the output of this apparatus.

prediction step 処理部４８は，high pass 信号記憶部４１から読み込まれた動き補償ブロック内の領域に相当するhigh pass 信号，同ブロックに対する動きベクトル，偶数フレーム記憶部４７から読み出した偶数フレームを入力とし，prediction step 処理を行い，出力された奇数フレームを奇数フレーム記憶部４９に書き出す。具体的な算出方法は式（１３）に従う。なお，ここで，書き出した奇数フレームは本装置の出力として，出力される。 The prediction step processing unit 48 receives as input the high pass signal corresponding to the region in the motion compensation block read from the high pass signal storage unit 41, the motion vector for the block, and the even frame read from the even frame storage unit 47, Prediction step processing is performed, and the output odd frame is written in the odd frame storage unit 49. A specific calculation method follows equation (13). Here, the written odd frame is output as the output of this apparatus.

以上の符号化および復号の処理は，コンピュータとソフトウェアプログラムとによって実現することもでき，そのプログラムをコンピュータ読み取り可能な記録媒体に記録して提供することも，ネットワークを通して提供することも可能である。 The above encoding and decoding processes can be realized by a computer and a software program, and the program can be provided by being recorded on a computer-readable recording medium or provided through a network.

本発明の概要説明図である。It is an outline explanatory view of the present invention. 符号化器における重み関数を用いたupdate step の処理説明図である。It is processing explanatory drawing of update step using the weight function in an encoder. 復号器における重み関数を用いたupdate step の処理説明図である。It is processing explanatory drawing of update step using the weight function in a decoder. 符号化処理のフローチャートである。It is a flowchart of an encoding process. 復号処理のフローチャートである。It is a flowchart of a decoding process. 符号化装置のブロック図である。It is a block diagram of an encoding apparatus. 振幅値制御処理部のブロック図である。It is a block diagram of an amplitude value control processing unit. 空間方向重み付け処理部のブロック図である。It is a block diagram of a spatial direction weighting processing unit. 復号装置のブロック図である。It is a block diagram of a decoding apparatus.

符号の説明Explanation of symbols

１偶数（２ｋ）フレーム
２奇数（２ｋ＋１）フレーム
３動き補償部（ＭＣ）
４差分器
５逆動き補償部（ＩＭＣ）
６重み関数による適応処理部（Ｆ）
７加算器
８ low passフレーム
９ high pass フレーム
１１符号化対象信号記憶部
１２，４８ prediction step 処理部
１３動きベクトル記憶部
１４ high pass 信号記憶部
１５，４４振幅値制御処理部
１６，４５空間方向重み付け処理部
１７，４６ update step 処理部
１８ low pass信号記憶部
２１平均値算出部
２２平均値記憶部
２３振幅値制御関数記憶部
２４重み係数算出部
２５重み係数記憶部
２６，３８繰返し処理判定部
３１，３３，３６重み付け処理部
３２，３５，３７ high pass 信号記憶部
３４空間重み窓関数記憶部
４１ high pass 信号記憶部
４２ low pass信号記憶部
４３動きベクトル記憶部
４７偶数フレーム記憶部
４９奇数フレーム記憶部 1 even number (2k) frame 2 odd number (2k + 1) frame 3 motion compensator (MC)
4 Differentiator 5 Inverse motion compensator (IMC)
6 Adaptive processing unit with weight function (F)
7 adder 8 low pass frame 9 high pass frame 11 encoding target signal storage unit 12, 48 prediction step processing unit 13 motion vector storage unit 14 high pass signal storage unit 15, 44 amplitude value control processing unit 16, 45 spatial direction weighting Processing unit 17, 46 update step Processing unit 18 Low pass signal storage unit 21 Average value calculation unit 22 Average value storage unit 23 Amplitude value control function storage unit 24 Weight coefficient calculation unit 25 Weight coefficient storage unit 26, 38 Repetitive process determination unit 31 , 33, 36 Weighting processing unit 32, 35, 37 high pass signal storage unit 34 spatial weight window function storage unit 41 high pass signal storage unit 42 low pass signal storage unit 43 motion vector storage unit 47 even frame storage unit 49 odd frame storage Part

Claims

時間スケーラビリティを実現するための時間軸方向のフィルタリング処理を行うスケーラブル符号化方法において，
符号化対象信号を入力し，動き補償に基づくフレーム間予測処理により高域信号を算出する過程と，
ブロックに分割された前記高域信号の各ブロック内の空間的な位置に応じて，ブロック境界部での重み係数がブロック内の他の部分の重み係数より小さい重み係数を算出する過程と，
入力した符号化対象信号と前記高域信号との線形和をとることで低域信号を生成する際に，高域信号の加算値を前記重み係数を用いて変化させて低域信号を生成する過程とを有する
ことを特徴とするスケーラブル符号化方法。 In a scalable encoding method that performs filtering in the time axis direction to achieve temporal scalability,
A process of inputting a signal to be encoded and calculating a high-frequency signal by inter-frame prediction processing based on motion compensation;
Calculating a weighting factor at a block boundary that is smaller than the weighting factor of the other part in the block according to the spatial position in each block of the high-frequency signal divided into blocks;
When a low-frequency signal is generated by taking a linear sum of the input signal to be encoded and the high-frequency signal, a low-frequency signal is generated by changing the added value of the high-frequency signal using the weighting factor. A scalable encoding method comprising: a process.

請求項１記載のスケーラブル符号化方法において，
前記高域信号に対する空間的な位置に応じた重み係数による空間的な重み付け処理と併せて，高域信号のｂ_x×ｂ_y（ｂ_x，ｂ_yは所定の正の整数）の矩形領域内の画素値の絶対平均値に応じて該画素値を重み付けする処理を行い，空間方向および振幅方向に対して適応的な重み付け処理を高域信号に対して行う
ことを特徴とするスケーラブル符号化方法。 The scalable coding method according to claim 1,
In conjunction with spatial weighting processing by the weighting coefficients corresponding to the spatial position relative to the high frequency signal, the high-frequency signal _{_{_{b x × b y (b x}}} , b y the predetermined positive integer) rectangular region of A scalable coding method characterized by performing a process of weighting a pixel value in accordance with an absolute average value of the pixel value and performing an adaptive weighting process on a high frequency signal in a spatial direction and an amplitude direction .

請求項１または請求項２記載のスケーラブル符号化方法において，
前記空間的な位置に応じた重み係数を算出する際に，予め前記重み係数を決定する空間重み窓関数の値が格納されたルックアップテーブルを用い，該空間重み窓関数の値の算出を該ルックアップテーブルの参照により行う
ことを特徴とするスケーラブル符号化方法。 In the scalable encoding method according to claim 1 or 2,
When calculating a weighting factor according to the spatial position, a lookup table in which a value of a spatial weighting window function for determining the weighting factor is stored in advance is used to calculate the value of the spatial weighting window function. A scalable coding method characterized by performing lookup by referring to a lookup table.

時間スケーラビリティを実現するための時間軸方向のフィルタリング処理に対応する復号処理を行うスケーラブル復号方法において，
入力した低域信号と高域信号の線形和をとることで復号画像フレーム信号を生成する際に，ブロックに分割された高域信号の各ブロック内の空間的な位置に応じて，ブロック境界部での重み係数がブロック内の他の部分の重み係数より小さい重み係数を算出する過程と，
該重み係数を用いて前記線形和における高域信号の加算値を変化させ，入力した低域信号とブロック内の空間的な位置に応じて重み付け処理された高域信号との線形和により復号画像フレーム信号を生成する過程とを有する
ことを特徴とするスケーラブル復号方法。 In a scalable decoding method that performs a decoding process corresponding to a filtering process in the time axis direction for realizing temporal scalability,
When the decoded image frame signal is generated by taking the linear sum of the input low-frequency signal and high-frequency signal , the block boundary portion is determined according to the spatial position in each block of the high-frequency signal divided into blocks. A process of calculating a weighting factor smaller than the weighting factor of the other part in the block ,
The added value of the high frequency signal in the linear sum is changed using the weighting coefficient, and a decoded image is obtained by linear addition of the input low frequency signal and the high frequency signal weighted according to the spatial position in the block. A scalable decoding method, comprising: generating a frame signal.

請求項４記載のスケーラブル復号方法において，
前記復号画像フレーム信号を生成する過程では，高域信号に対する前記空間的な位置に応じた重み係数による空間的な重み付け処理と併せて，高域信号のｂ_x×ｂ_y（ｂ_x，ｂ_yは所定の正の整数）の矩形領域内の画素値の絶対平均値に応じて該画素値を重み付けする処理を行い，空間方向および振幅方向に対して適応的な重み付け処理を高域信号に対して行う
ことを特徴とするスケーラブル復号方法。 The scalable decoding method according to claim 4,
In the process of generating the decoded image frame signals, in conjunction with spatial weighting processing by the weighting coefficient corresponding to the spatial position relative to the higher-band signal, the high-frequency signal _{_{_{b x × b y (b x}}} , b y The pixel value is weighted according to the absolute average value of the pixel values in a rectangular area of a predetermined positive integer), and adaptive weighting processing is applied to the high frequency signal in the spatial direction and the amplitude direction. A scalable decoding method, characterized in that:

請求項４または請求項５記載のスケーラブル復号方法において，
前記空間的な位置に応じた重み係数を算出する際に，予め前記重み係数を決定する空間重み窓関数の値が格納されたルックアップテーブルを用い，該空間重み窓関数の値の算出を該ルックアップテーブルの参照により行う
ことを特徴とするスケーラブル復号方法。 In the scalable decoding method according to claim 4 or 5,
When calculating a weighting factor according to the spatial position, a lookup table in which a value of a spatial weighting window function for determining the weighting factor is stored in advance is used to calculate the value of the spatial weighting window function. A scalable decoding method characterized by performing lookup by referring to a lookup table.

時間スケーラビリティを実現するための時間軸方向のフィルタリング処理を行うスケーラブル符号化装置において，
符号化対象信号を入力し，動き補償に基づくフレーム間予測処理により高域信号を算出する手段と，
ブロックに分割された前記高域信号の各ブロック内の空間的な位置に応じて，ブロック境界部での重み係数がブロック内の他の部分の重み係数より小さい重み係数を算出する手段と，
入力した符号化対象信号と前記高域信号との線形和をとることで低域信号を生成する際に，高域信号の加算値を前記重み係数を用いて変化させて低域信号を生成する手段とを備える
ことを特徴とするスケーラブル符号化装置。 In a scalable coding device that performs filtering in the time axis direction to achieve temporal scalability,
Means for inputting a signal to be encoded and calculating a high-frequency signal by inter-frame prediction processing based on motion compensation;
Means for calculating a weighting factor that is smaller than the weighting factor of the other part in the block , according to the spatial position in each block of the high-frequency signal divided into blocks;
When a low-frequency signal is generated by taking a linear sum of the input signal to be encoded and the high-frequency signal, a low-frequency signal is generated by changing the added value of the high-frequency signal using the weighting factor. A scalable encoding device.

時間スケーラビリティを実現するための時間軸方向のフィルタリング処理に対応する復号処理を行うスケーラブル復号装置において，
入力した低域信号と高域信号の線形和をとることで復号画像フレーム信号を生成する際に，ブロックに分割された高域信号の各ブロック内の空間的な位置に応じて，ブロック境界部での重み係数がブロック内の他の部分の重み係数より小さい重み係数を算出する手段と，
該重み係数を用いて前記線形和における高域信号の加算値を変化させ，入力した低域信号とブロック内の空間的な位置に応じて重み付け処理された高域信号との線形和により復号された復号画像フレーム信号を生成する手段とを備える
ことを特徴とするスケーラブル復号装置。 In a scalable decoding device that performs a decoding process corresponding to a filtering process in the time axis direction for realizing temporal scalability,
When the decoded image frame signal is generated by taking the linear sum of the input low-frequency signal and high-frequency signal , the block boundary portion is determined according to the spatial position in each block of the high-frequency signal divided into blocks. Means for calculating a weighting factor smaller than the weighting factor of the other part in the block ;
The added value of the high frequency signal in the linear sum is changed using the weighting coefficient, and is decoded by the linear sum of the input low frequency signal and the high frequency signal weighted according to the spatial position in the block. And a means for generating a decoded image frame signal. A scalable decoding device comprising:

請求項１，請求項２または請求項３記載のスケーラブル符号化方法をコンピュータに実行させるためのスケーラブル符号化プログラム。 A scalable encoding program for causing a computer to execute the scalable encoding method according to claim 1, 2 or 3.

請求項４，請求項５または請求項６記載のスケーラブル復号方法をコンピュータに実行させるためのスケーラブル復号プログラム。 A scalable decoding program for causing a computer to execute the scalable decoding method according to claim 4, 5 or 6.

請求項１，請求項２または請求項３記載のスケーラブル符号化方法をコンピュータに実行させるためのスケーラブル符号化プログラムを記録したコンピュータ読み取り可能な記録媒体。 A computer-readable recording medium on which a scalable encoding program for causing a computer to execute the scalable encoding method according to claim 1, 2 or 3 is recorded.

請求項４，請求項５または請求項６記載のスケーラブル復号方法をコンピュータに実行させるためのスケーラブル復号プログラムを記録したコンピュータ読み取り可能な記録媒体。 A computer-readable recording medium having recorded thereon a scalable decoding program for causing a computer to execute the scalable decoding method according to claim 4, 5 or 6.