JPWO2021139572A5 - - Google Patents
Download PDFInfo
- Publication number
- JPWO2021139572A5 JPWO2021139572A5 JP2022541305A JP2022541305A JPWO2021139572A5 JP WO2021139572 A5 JPWO2021139572 A5 JP WO2021139572A5 JP 2022541305 A JP2022541305 A JP 2022541305A JP 2022541305 A JP2022541305 A JP 2022541305A JP WO2021139572 A5 JPWO2021139572 A5 JP WO2021139572A5
- Authority
- JP
- Japan
- Prior art keywords
- value
- current block
- mip
- lfnst
- determining
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 claims description 25
- 239000011159 matrix material Substances 0.000 claims description 22
- 238000004590 computer program Methods 0.000 claims description 6
- 238000001914 filtration Methods 0.000 claims description 3
- 238000013139 quantization Methods 0.000 claims description 3
- 230000002123 temporal effect Effects 0.000 claims 6
- 230000009466 transformation Effects 0.000 claims 1
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 3
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 description 2
- 230000017105 transposition Effects 0.000 description 2
- 238000005457 optimization Methods 0.000 description 1
Description
さらに、復号器200は、第2のプロセッサと、コンピュータプログラムを記録する第2のメモリとを備えることができる。第2のプロセッサがコンピュータプログラムを読み出して実行すると、復号器200は、入力ビットストリームを読み出し、且つ対応する復号化ビデオを生成する。また、復号器200は、1つ又は複数のチップを備えた計算デバイスであってもよい。チップで集積回路として実装された上記ユニットは、図2における対応のユニットと類似の接続及びデータ交換機能を有する。 Additionally, decoder 200 may include a second processor and a second memory storing a computer program. When the second processor reads and executes the computer program, decoder 200 reads the input bitstream and produces a corresponding decoded video. Decoder 200 may also be a computing device with one or more chips. The unit, implemented as an integrated circuit on a chip, has similar connection and data exchange functions as the corresponding unit in FIG.
現在のブロックに対して第1の画像コンポーネントの予測が実行され、第1の画像コンポーネントが輝度コンポーネントであり、即ち、予測しようとする画像コンポーネントが輝度コンポーネントであると仮定すると、現在のブロックが輝度ブロックと呼ばれることもでき、現在のブロックの輝度コンポーネントの予測値を取得する。又は、現在のブロックに対して第2の画像コンポーネントの予測が実行され、第2の画像コンポーネントが彩度コンポーネントであり、即ち、予測しようとする画像コンポーネントが彩度コンポーネントであると仮定すると、現在のブロックが彩度ブロックと呼ばれることもでき、現在のブロックの彩度コンポーネントの予測値を取得する。 Assuming that the prediction of the first image component is performed for the current block and the first image component is the luminance component, i.e. the image component to be predicted is the luminance component, then the current block is Gets the predicted value of the luminance component of the current block, which can also be called a block. Alternatively, if prediction of a second image component is performed for the current block and the second image component is a chroma component, i.e. assuming that the image component to be predicted is a chroma component, the current The block of , which can also be called the chroma block, obtains the predicted value of the chroma component of the current block.
表3に示すMIP重み付け行列において、列数はinSizeに等しい行列乗算の入力サンプルの数であり、行数はpredSize×predSizeに等しい行列乗算の出力サンプルの数であり、現在のブロックのMIP重み付け行列が決定されることができる。 In the MIP weighting matrix shown in Table 3, the number of columns is the number of input samples of the matrix multiplication equal to inSize, the number of rows is the number of output samples of the matrix multiplication equal to predSize×predSize , and the MIP weighting matrix of the current block can be determined.
イントラ予測ユニット106は、ブロック分割ユニット103から現在のブロックの幅と高さを取得し、幅と高さはそれぞれ、変数cbWidthとcbHeightで表される。例示として、イントラ予測ユニット106は、レート歪み最適化のモード決定方法を呼び出すことによってイントラ予測モードを決定する。現在のブロックは1つ又は複数の変換ブロックに分割される。変数nTbWとnTbHをそれぞれ、変換ブロックの幅と高さとする。イントラ予測モードとしてMIPモードを用いて現在のブロックのイントラ予測値を取得する場合に、イントラ予測ユニット106は、MIPのブロックサイズインデックス値、即ち、mipSizeIdで表す変数を決定する。 Intra prediction unit 106 obtains the width and height of the current block from block division unit 103, and the width and height are represented by variables cbWidth and cbHeight, respectively. Illustratively, intra prediction unit 106 determines the intra prediction mode by invoking a rate-distortion optimization mode determination method. The current block is divided into one or more transform blocks. Let variables nTbW and nTbH be the width and height of the transform block, respectively. When obtaining the intra prediction value of the current block using MIP mode as the intra prediction mode, the intra prediction unit 106 determines a block size index value of MIP, that is, a variable represented by mipSizeId.
選択的に、isTransposedが1に等しい場合に、変換ユニット108は、以下の命令を採用してLFNST係数のブロック703を取得し、且つd[x][y]におけるLFNST係数のブロック703を量子化ユニット109に送る。具体的は上記式(10)に示したようである。
isTransposedが0に等しい場合に、変換ユニット108は、以下の命令を採用してLFNST係数のブロック703を取得し、且つd[x][y]におけるLFNST係数のブロック703を量子化ユニット109に送る。具体的は上記式(11)に示したようである。
Optionally, if isTransposed is equal to 1, transform unit 108 employs the following instructions to obtain block 703 of LFNST coefficients and quantize block 703 of LFNST coefficients in d[x][y] Send to unit 109. Specifically, it is as shown in the above formula (10).
If isTransposed is equal to 0, transform unit 108 employs the following instructions to obtain block 703 of LFNST coefficients and send block 703 of LFNST coefficients in d[x][y] to quantization unit 109 . Specifically, it is as shown in the above formula (11).
具体的に、isTransposedの値が0に等しい場合に、MIPモードに使用されるサンプル入力ベクトルに対して転置を行わない。そして、水平走査順序で第1の変換係数ブロックにおける少なくとも一部の変換係数に対してLFNSTを行うことができる。具体的は上記式(10)に示した通りである。 Specifically, if the value of isTransposed is equal to 0, no transposition is performed on the sample input vector used for MIP mode. LFNST may then be performed on at least some of the transform coefficients in the first transform coefficient block in horizontal scan order. Specifically, it is as shown in the above formula (10).
isTransposedの値が1に等しい場合に、MIPモードに使用されるサンプル入力ベクトルに対して転置を行う。そして、垂直走査順序で第1の変換係数ブロックにおける少なくとも一部の変換係数に対してLFNSTを行うことができる。具体的は上記式(11)に示した通りである。 If the value of isTransposed is equal to 1, perform transposition on the sample input vector used for MIP mode. LFNST may then be performed on at least some of the transform coefficients in the first transform coefficient block in vertical scan order. Specifically, it is as shown in the above formula (11).
式(5)又は式(6)において、mWeight[i][j]はMIP重み付け行列であり、行列要素は予め定められた定数であってもよく、又は、トレーニング方法などを用いて適応的に更新してもよい。当該トレーニング方法の入力は1つ又は複数の符号化された画像又はブロックであり、又は、外部装置によって復号器200に提供される他のビットストリームからの画像であり、又は、MIP重み付け行列を含む入力ビットストリームにおいて特殊なデータユニットを解析することによって解析ユニット201から取得される画像である。mWeight[i][j]は、解析ユニット201からの対応の1つ又は複数のパラメータによって示されるMIPモードに基づいて決定される。fOはoWを決定するためのシフトオフセットパラメータであり、sWはシフトナンバーパラメータであり、p[i]は参照サンプルを用いて計算されたものであり、即ち、本発明の実施形態におけるMIP入力サンプル値であり、pTemp[0]は参照サンプルにおける第1のサンプルを表し、即ち、本発明の実施形態の第1の一時的参照値におけるインデックス0に対応の値であり、「>>」はVVCにおいて定義される2進右シフト演算子である。 In equation (5) or equation (6), mWeight[i][j] is a MIP weighting matrix, and the matrix elements may be predetermined constants, or may be adaptively weighted using a training method or the like. May be updated. The input of the training method is one or more encoded images or blocks, or images from other bitstreams provided to the decoder 200 by an external device, or comprises a MIP weighting matrix. An image obtained from the analysis unit 201 by parsing special data units in the input bitstream. mWeight[i][j] is determined based on the MIP mode indicated by the corresponding one or more parameters from the analysis unit 201. fO is the shift offset parameter for determining oW, sW is the shift number parameter, and p[i] is calculated using the reference samples, i.e., the MIP input samples in the embodiment of the present invention. value, pTemp[0] represents the first sample in the reference samples, i.e., the value corresponding to index 0 in the first temporary reference value of the embodiment of the present invention, and ">>" is the value of VVC is the binary right shift operator defined in .
選択的に、isTransposedが1に等しい場合に、変換ユニット206は、以下の命令を採用して変換係数のブロック1102を取得し、具体的は上記式(10)に示したようである。
isTransposedが0に等しい場合に、変換ユニット206は、以下の命令を採用して変換係数のブロック1102を取得し、具体的は上記式(11)に示したようである。
Optionally, if isTransposed is equal to 1, the transform unit 206 employs the following instructions to obtain the block of transform coefficients 1102, specifically as shown in equation (10) above.
If isTransposed is equal to 0, the transform unit 206 employs the following instructions to obtain the block 1102 of transform coefficients, specifically as shown in equation (11) above.
選択的に、predModeIntraが34より大きい場合に、変換ユニット206は、以下の命令を採用して変換係数のブロック1102を取得し、具体的は上記式(10)に示したようである。
選択的に、predModeIntraが34以下である場合に、変換ユニット206は、以下の命令を採用して変換係数のブロック1102を取得し、具体的は上記式(11)に示したようである。
Optionally, if predModeIntra is greater than 34, the transform unit 206 adopts the following instructions to obtain the block 1102 of transform coefficients, specifically as shown in equation (10) above.
Alternatively, when predModeIntra is less than or equal to 34, the transform unit 206 adopts the following instructions to obtain the block 1102 of transform coefficients, specifically as shown in equation (11) above.
ステップ1102、変換ユニット206は、ブロック1102における変換係数に対して第1の変換(即ち、コア変換)、例として、DCTに基づいて初期に設計された整数変換を行うことによって、現在のブロックの再構成残差ブロック1103を取得する。 Step 1102 , the transform unit 206 transforms the current block by performing a first transform (i.e., core transform) on the transform coefficients in block 1102, e.g., an integer transform initially designed based on a DCT. A reconstructed residual block 1103 is obtained.
本発明の実施形態において、復号化方法が提供される。現在のブロックの予測パラメータ及びLFNSTパラメータを取得するようにビットストリームを解析する。予測パラメータは予測モードパラメータを含む。予測モードパラメータがMIPモードを用いて現在のブロックの彩度コンポーネントのイントラ予測値を決定することを示す場合に、現在のブロックの隣接サンプル値を取得し、且つ現在のブロックの隣接サンプル値に基づいて現在のブロックのMIP入力サンプル値を決定する。MIP入力サンプル値、MIP重み付け行列及びシフトパラメータに基づいて、現在のブロックの彩度コンポーネントのMIP予測値を決定する。MIP予測値をフィルタリングすることによって、現在のブロックの彩度コンポーネントのイントラ予測値を決定する。LFNSTパラメータが現在のブロックに対してLFNSTを行うことを示す場合に、現在のブロックの再構成変換係数ブロックを決定し、再構成変換係数ブロックにおける少なくとも一部の再構成変換係数に対してLFNSTを行うことによって、第2の変換係数ブロックを取得する。第2の変換係数ブロックに対して第1の変換を行うことによって、現在のブロックの彩度コンポーネントの再構成残差ブロックを取得する。現在のブロックの彩度コンポーネントのイントラ予測値と再構成残差ブロックとに基づいて、現在のブロックの彩度コンポーネントの再構成ブロックを決定する。このように、MIPモードでは、復号化性能を確保した上で、複雑度を下げ、同時に復号化のプロセスに必要な記憶スペースを減らし、復号化効率を効果的に高めることができる。また、LFNST技術がMIPモード予測に適用される場合に、MIPパラメータの導入により、LFNSTがより柔軟になり、復号化効率がさらに向上することができる。 In an embodiment of the invention, a decoding method is provided. Parse the bitstream to obtain the prediction parameters and LFNST parameters of the current block. The prediction parameters include prediction mode parameters. obtain neighboring sample values of the current block, and based on the neighboring sample values of the current block, if the prediction mode parameter indicates that the MIP mode is used to determine the intra-predicted value of the chroma component of the current block; to determine the MIP input sample value of the current block. Determine the MIP predicted value of the chroma component of the current block based on the MIP input sample values, the MIP weighting matrix, and the shift parameters. Determine the intra-predicted value of the chroma component of the current block by filtering the MIP-predicted value. If the LFNST parameter indicates to perform LFNST on the current block, determine a reconstructed transform coefficient block of the current block, and perform LFNST on at least some reconstructed transform coefficients in the reconstructed transform coefficient block. By doing so, a second transform coefficient block is obtained. A reconstructed residual block of the chroma component of the current block is obtained by performing the first transform on the second transform coefficient block. A reconstructed block of the chroma component of the current block is determined based on the intra-predicted value of the chroma component of the current block and the reconstructed residual block. In this manner, the MIP mode can reduce complexity while ensuring decoding performance, and at the same time reduce the storage space required for the decoding process, effectively increasing decoding efficiency. Also, when the LFNST technique is applied to MIP mode prediction, the introduction of MIP parameters can make LFNST more flexible and further improve the decoding efficiency.
Claims (15)
現在のブロックの予測パラメータを決定することであって、前記予測パラメータは予測モードパラメータを含むことと、
前記予測モードパラメータがマトリックスベースイントラ予測(Matrix-based intra prediction、MIP)モードを用いて前記現在のブロックの彩度コンポーネントのイントラ予測値を決定することを示す場合に、前記現在のブロックの隣接サンプル値を取得し、且つ前記現在のブロックの前記隣接サンプル値に基づいて前記現在のブロックのMIP入力サンプル値を決定することと、
前記MIP入力サンプル値、MIP重み付け行列及びシフトパラメータに基づいて、前記現在のブロックの前記彩度コンポーネントのMIP予測値を決定することであって、前記MIP予測値は前記現在のブロックの前記彩度コンポーネントにおける一部のサンプルの予測値であることと、
前記MIP予測値をフィルタリングすることによって、前記現在のブロックの前記彩度コンポーネントの前記イントラ予測値を決定することと、
前記現在のブロックの前記彩度コンポーネントの前記イントラ予測値に基づいて、前記現在のブロックの前記彩度コンポーネントの予測残差値を決定することと、
前記予測残差値に対して低周波非分離変換(low-frequency non-separable transform、LFNST)を行うことによって、LFNSTパラメータを決定することと、
前記LFNSTパラメータを符号化し、且つビットストリームに書き込むことと、を含む、
ことを特徴とする符号化方法。 An encoding method applied to an encoder, the encoding method comprising:
determining prediction parameters for a current block, the prediction parameters including a prediction mode parameter;
adjacent samples of the current block, when the prediction mode parameter indicates that a Matrix-based intra prediction (MIP) mode is used to determine the intra-predicted value of the chroma component of the current block. obtaining a value and determining a MIP input sample value of the current block based on the adjacent sample values of the current block;
determining a MIP predicted value of the chroma component of the current block based on the MIP input sample values, a MIP weighting matrix and a shift parameter, the MIP predicted value being the chroma component of the current block; be the predicted value of some sample in the component, and
determining the intra-predicted value of the chroma component of the current block by filtering the MIP-predicted value;
determining a predicted residual value of the chroma component of the current block based on the intra-predicted value of the chroma component of the current block;
determining LFNST parameters by performing a low-frequency non-separable transform (LFNST) on the prediction residual value;
encoding the LFNST parameters and writing them to a bitstream;
An encoding method characterized by:
前記MIP入力サンプル値、前記MIP重み付け行列及び前記シフトパラメータに基づいて、前記現在のブロックの前記彩度コンポーネントの前記MIP予測値を決定することは、
固定の定数である前記シフトオフセットパラメータの値に基づいて、前記MIP入力サンプル値の合計と前記シフトオフセットパラメータとの乗積を決定することと、
固定の定数である前記シフトナンバーパラメータの値に基づいて第1の定数値を決定することと、
第1のオフセットの値を前記第1の定数値と前記乗積との差に設定することと、
前記予測パラメータに基づいて、前記現在のブロックのMIP重み付け行列を決定することと、
前記MIP重み付け行列、前記MIP入力サンプル値、前記シフトナンバーパラメータ及び前記第1のオフセットに基づいて、前記現在のブロックの前記彩度コンポーネントの前記MIP予測値を決定することと、を含み、
前記MIP重み付け行列、前記MIP入力サンプル値、前記シフトナンバーパラメータ及び前記第1のオフセットに基づいて、前記現在のブロックの前記彩度コンポーネントの前記MIP予測値を決定することは、
前記MIP重み付け行列と前記MIP入力サンプル値との第1の重み付け和を計算することと、
前記第1の重み付け和と前記第1のオフセットとの第1の合計を計算することと、
前記第1の合計を2進右シフトすることによって第1の右シフト値を取得することであって、前記右シフトされたビット数は前記シフトナンバーパラメータの値に等しいことと、
前記現在のブロックの前記彩度コンポーネントの前記MIP予測値を、前記第1の右シフト値と第1の一時的参照値におけるインデックス0に対応の値との合計に設定することであって、前記第1の一時的参照値は、前記現在のブロックの前記隣接サンプル値をダウンサンプリングすることによって取得されることと、を含む、
ことを特徴とする請求項1に記載の符号化方法。 The shift parameters include a shift offset parameter and a shift number parameter,
Determining the MIP predicted value of the chroma component of the current block based on the MIP input sample values, the MIP weighting matrix and the shift parameter comprises:
determining the product of the sum of MIP input sample values and the shift offset parameter based on the value of the shift offset parameter, which is a fixed constant;
determining a first constant value based on the value of the shift number parameter, which is a fixed constant;
setting a first offset value to the difference between the first constant value and the product;
determining a MIP weighting matrix for the current block based on the prediction parameters;
determining the MIP predicted value of the chroma component of the current block based on the MIP weighting matrix, the MIP input sample values, the shift number parameter and the first offset;
determining the MIP predicted value of the chroma component of the current block based on the MIP weighting matrix, the MIP input sample values, the shift number parameter and the first offset;
calculating a first weighted sum of the MIP weighting matrix and the MIP input sample values;
calculating a first sum of the first weighted sum and the first offset;
obtaining a first right-shift value by binary right-shifting the first sum, the number of right-shifted bits being equal to the value of the shift number parameter;
setting the MIP predicted value of the chroma component of the current block to the sum of the first right shift value and a value corresponding to index 0 in the first temporal reference value; a first temporal reference value is obtained by downsampling the neighboring sample values of the current block;
The encoding method according to claim 1, characterized in that:
前記現在のブロックの前記隣接サンプル値に基づいて前記現在のブロックの前記MIP入力サンプル値を決定することは、
前記現在のブロックの前記サイズパラメータに基づいて、前記現在のブロックのブロックサイズインデックス値を決定することと、
前記現在のブロックの前記隣接サンプル値をダウンサンプリングすることによって、第1の一時的参照値を取得することと、
前記現在のブロックの前記ブロックサイズインデックス値が予め設定された範囲内にある場合に、前記現在のブロックの隣接サンプル値のビット深度に基づいて第2の定数値を決定し、前記MIP入力サンプル値におけるインデックス0に対応の値を、前記第2の定数値と前記第1の一時的参照値におけるインデックス0に対応の値との差に設定し、前記MIP入力サンプル値におけるインデックスiに対応の値を、前記第1の一時的参照値におけるインデックスiに対応の値と前記第1の一時的参照値におけるインデックス0に対応の前記値との差に設定することであって、iは0より大きい整数であることと、
前記現在のブロックの前記ブロックサイズインデックス値が前記予め設定された範囲外にある場合に、前記MIP入力サンプル値におけるインデックスjに対応の値を、前記第1の一時的参照値におけるインデックス(j+1)に対応の値と前記第1の一時的参照値におけるインデックス0に対応の前記値との差に設定することであって、jは0以上の整数であることと、を含む、
ことを特徴とする請求項1に記載の符号化方法。 The prediction parameters further include a size parameter of the current block;
Determining the MIP input sample value of the current block based on the neighboring sample values of the current block comprises:
determining a block size index value for the current block based on the size parameter of the current block;
obtaining a first temporal reference value by downsampling the neighboring sample values of the current block;
determining a second constant value based on the bit depth of adjacent sample values of the current block when the block size index value of the current block is within a preset range; a value corresponding to index 0 in the MIP input sample value is set to the difference between the second constant value and a value corresponding to index 0 in the first temporary reference value, and a value corresponding to index i in the MIP input sample value. is set to the difference between the value corresponding to index i in the first temporary reference value and the value corresponding to index 0 in the first temporary reference value, where i is greater than 0. be an integer, and
If the block size index value of the current block is outside the preset range, set the value corresponding to index j in the MIP input sample value to index (j+1) in the first temporary reference value. and the value corresponding to index 0 in the first temporary reference value, where j is an integer greater than or equal to 0,
The encoding method according to claim 1 , characterized in that:
前記第2の定数値を2の累乗に設定することであって、前記累乗の指数は整数であり、前記現在のブロックの前記隣接サンプル値の前記ビット深度から1を引いたものに等しいこと、を含み、又は、
「1」を2進左シフトすることによって前記第2の定数値を取得することであって、前記左シフトされたビット数は、前記現在のブロックの前記隣接サンプル値の前記ビット深度から1を引いたものに等しいこと、を含む、
ことを特徴とする請求項3に記載の符号化方法。 Determining the second constant value based on the bit depth of the adjacent sample values of the current block comprises:
setting the second constant value to a power of two, the exponent of the power being an integer and equal to the bit depth of the adjacent sample values of the current block minus one; including , or
obtaining the second constant value by binary left-shifting " 1", the left-shifted number of bits being one from the bit depth of the adjacent sample values of the current block; equal to minus, including
The encoding method according to claim 3 , characterized in that:
前記シフトナンバーパラメータの値が6に設定され、
前記シフトオフセットパラメータの値は、ブロックサイズインデックス値及びMIPモードインデックス値に関連しない固定の定数であり、
前記シフトオフセットパラメータの値が32に設定され、
前記シフトナンバーパラメータの値に基づいて前記第1の定数値を決定することは、
前記第1の定数値を2の累乗に設定することであって、前記累乗の指数は整数であり、前記シフトナンバーパラメータの値から1を引いたものに等しいことを含み、又は、
「1」を2進左シフトすることによって前記第1の定数値を取得することであって、前記左シフトされたビット数は前記シフトナンバーパラメータの値から1を引いたものに等しいこと、を含む、
ことを特徴とする請求項2に記載の符号化方法。 the value of the shift number parameter is a fixed constant that is not related to the block size index value and the MIP mode index value;
the value of the shift number parameter is set to 6 ;
The value of the shift offset parameter is a fixed constant that is not related to the block size index value and the MIP mode index value,
the value of the shift offset parameter is set to 32 ;
Determining the first constant value based on the value of the shift number parameter comprises :
setting the first constant value to a power of two, the exponent of the power being an integer and equal to the value of the shift number parameter minus one; or
obtaining said first constant value by binary left-shifting " 1", said left-shifted number of bits being equal to the value of said shift number parameter minus one; include,
The encoding method according to claim 2 , characterized in that:
前記現在のブロックの前記予測残差値に対して第1の変換を行うことによって第1の変換係数を取得することと、
前記第1の変換係数の少なくとも一部の変換係数に対して前記LFNSTを行うか否かを決定することと、
決定の結果が前記少なくとも一部の変換係数に対して前記LFNSTを行うことである場合に、前記第1の変換係数の前記少なくとも一部の変換係数に対して前記LFNSTを行うことによって、前記LFNSTパラメータを決定することと、を含み、
前記第1の変換係数の前記少なくとも一部の変換係数に対して前記LFNSTを行うか否かを決定することは、
前記MIPモードを用いて前記現在のブロックの前記彩度コンポーネントの前記イントラ予測値を決定する場合に、前記現在のブロックのサイズパラメータのうちの最小値を決定することと、
前記最小値が第1の予め設定された閾値以上である場合に、前記第1の変換係数の前記少なくとも一部の変換係数に対して前記LFNSTを行うことを決定することと、を含み、
前記LFNSTパラメータはLFNSTインデックスを含み、前記LFNSTパラメータを決定することは、
前記第1の変換係数の前記少なくとも一部の変換係数に対して前記LFNSTを行うと決定される場合に、前記LFNSTインデックスの値を0より大きく設定することと、
前記第1の変換係数の前記少なくとも一部の変換係数に対して前記LFNSTを行わないと決定される場合に、前記LFNSTインデックスの値を0に設定することと、を含み、
前記LFNSTパラメータを符号化し、且つ前記ビットストリームに書き込むことは、
前記LFNSTインデックスを符号化し、且つ前記ビットストリームに書き込むことを含み、又は、
前記LFNSTパラメータはLFNST係数をさらに含み、前記LFNSTパラメータを決定することは、
前記第1の変換係数の前記少なくとも一部の変換係数に対して前記LFNSTを行うことによって、前記LFNST係数を取得することを含み、
前記LFNSTパラメータを符号化し、且つ前記ビットストリームに書き込むことは、
前記LFNST係数を量子化することによって、量子化係数を取得することと、
前記量子化係数を符号化し、且つ前記ビットストリームに書き込むことと、を含む、
ことを特徴とする請求項1に記載の符号化方法。 Determining the LFNST parameters by performing the LFNST on the prediction residual values comprises:
obtaining first transform coefficients by performing a first transform on the prediction residual value of the current block ;
determining whether to perform the LFNST on at least some of the first transform coefficients;
the LFNST by performing the LFNST on the at least some of the first transform coefficients, where the result of the determination is to perform the LFNST on the at least some of the transform coefficients; determining parameters ;
Determining whether to perform the LFNST on the at least some of the first transform coefficients ,
determining the minimum value of the size parameters of the current block when determining the intra-predicted value of the chroma component of the current block using the MIP mode;
determining to perform the LFNST on the at least some of the first transform coefficients if the minimum value is greater than or equal to a first preset threshold;
The LFNST parameter includes an LFNST index, and determining the LFNST parameter comprises:
setting the value of the LFNST index to be greater than 0 when it is determined to perform the LFNST on the at least some of the first transform coefficients;
setting the value of the LFNST index to 0 when it is determined not to perform the LFNST on the at least some of the first transform coefficients;
Encoding and writing the LFNST parameters to the bitstream comprises :
encoding the LFNST index and writing it to the bitstream; or
The LFNST parameters further include LFNST coefficients, and determining the LFNST parameters comprises:
obtaining the LFNST coefficients by performing the LFNST on the at least some of the first transform coefficients;
Encoding and writing the LFNST parameters to the bitstream comprises :
obtaining quantized coefficients by quantizing the LFNST coefficients;
encoding the quantized coefficients and writing them to the bitstream;
The encoding method according to claim 1 , characterized in that:
現在のブロックの予測パラメータ及び低周波非分離変換(low-frequency non-separable transform、LFNST)パラメータを取得するようにビットストリームを解析することであって、前記予測パラメータは予測モードパラメータを含むことと、
前記予測モードパラメータがマトリックスベースイントラ予測(Matrix-based intra prediction、MIP)モードを用いて前記現在のブロックの彩度コンポーネントのイントラ予測値を決定することを示す場合に、前記現在のブロックの隣接サンプル値を取得し、且つ前記現在のブロックの前記隣接サンプル値に基づいて前記現在のブロックのMIP入力サンプル値を決定することと、
前記MIP入力サンプル値、MIP重み付け行列及びシフトパラメータに基づいて、前記現在のブロックの前記彩度コンポーネントのMIP予測値を決定することであって、前記MIP予測値は前記現在のブロックの前記彩度コンポーネントにおける一部のサンプルの予測値であることと、
前記MIP予測値をフィルタリングすることによって、前記現在のブロックの前記彩度コンポーネントの前記イントラ予測値を決定することと、
前記LFNSTパラメータが前記現在のブロックに対して前記LFNSTを行うことを示す場合に、前記現在のブロックの再構成変換係数を決定し、前記再構成変換係数の一部の再構成変換係数に対して前記LFNSTを行うことによって、第2の変換係数を取得することと、
前記第2の変換係数に対して第1の変換を行うことによって、前記現在のブロックの前記彩度コンポーネントの再構成残差値を取得することと、
前記現在のブロックの前記彩度コンポーネントの前記イントラ予測値と前記再構成残差値とに基づいて、前記現在のブロックの前記彩度コンポーネントの再構成値を決定することと、を含む、
ことを特徴とする復号化方法。 A decoding method applied to a decoder, the decoding method comprising:
parsing the bitstream to obtain prediction parameters and low-frequency non-separable transform (LFNST) parameters of a current block, the prediction parameters including prediction mode parameters; ,
adjacent samples of the current block, when the prediction mode parameter indicates that a Matrix-based intra prediction (MIP) mode is used to determine the intra-predicted value of the chroma component of the current block. obtaining a value and determining a MIP input sample value of the current block based on the adjacent sample values of the current block;
determining a MIP predicted value of the chroma component of the current block based on the MIP input sample values, a MIP weighting matrix and a shift parameter, the MIP predicted value being the chroma component of the current block; be the predicted value of some sample in the component, and
determining the intra-predicted value of the chroma component of the current block by filtering the MIP-predicted value;
If the LFNST parameter indicates performing the LFNST on the current block, determine the reconstruction transform coefficients of the current block, and determine the reconstruction transform coefficients for some of the reconstruction transform coefficients. obtaining a second transformation coefficient by performing the LFNST;
obtaining a reconstructed residual value of the chroma component of the current block by performing a first transform on the second transform coefficient ;
determining a reconstructed value of the chroma component of the current block based on the intra-predicted value of the chroma component of the current block and the reconstruction residual value ;
A decoding method characterized by:
前記MIP入力サンプル値、前記MIP重み付け行列及び前記シフトパラメータに基づいて、前記現在のブロックの前記彩度コンポーネントの前記MIP予測値を決定することは、
固定の定数である前記シフトオフセットパラメータの値に基づいて、前記MIP入力サンプル値の合計と前記シフトオフセットパラメータとの乗積を決定することと、
固定の定数である前記シフトナンバーパラメータの値に基づいて第1の定数値を決定することと、
第1のオフセットの値を前記第1の定数値と前記乗積との差に設定することと、
前記予測パラメータに基づいて、前記現在のブロックのMIP重み付け行列を決定することと、
前記MIP重み付け行列、前記MIP入力サンプル値、前記シフトナンバーパラメータ及び前記第1のオフセットに基づいて、前記現在のブロックの前記彩度コンポーネントの前記MIP予測値を決定することと、を含み、
前記MIP重み付け行列、前記MIP入力サンプル値、前記シフトナンバーパラメータ及び前記第1のオフセットに基づいて、前記現在のブロックの前記彩度コンポーネントの前記MIP予測値を決定することは、
前記MIP重み付け行列と前記MIP入力サンプル値との第1の重み付け和を計算することと、
前記第1の重み付け和と前記第1のオフセットとの第1の合計を計算することと、
前記第1の合計を2進右シフトすることによって第1の右シフト値を取得することであって、前記右シフトされたビット数は前記シフトナンバーパラメータの値に等しいことと、
前記現在のブロックの前記彩度コンポーネントの前記MIP予測値を、前記第1の右シフト値と第1の一時的参照値におけるインデックス0に対応の値との合計に設定することであって、前記第1の一時的参照値は、前記現在のブロックの前記隣接サンプル値をダウンサンプリングすることによって取得されることと、を含む、
ことを特徴とする請求項7に記載の復号化方法。 The shift parameters include a shift offset parameter and a shift number parameter,
Determining the MIP predicted value of the chroma component of the current block based on the MIP input sample values, the MIP weighting matrix and the shift parameter comprises:
determining the product of the sum of MIP input sample values and the shift offset parameter based on the value of the shift offset parameter, which is a fixed constant;
determining a first constant value based on the value of the shift number parameter, which is a fixed constant;
setting a first offset value to the difference between the first constant value and the product;
determining a MIP weighting matrix for the current block based on the prediction parameters;
determining the MIP predicted value of the chroma component of the current block based on the MIP weighting matrix, the MIP input sample values, the shift number parameter and the first offset;
determining the MIP predicted value of the chroma component of the current block based on the MIP weighting matrix, the MIP input sample values, the shift number parameter and the first offset;
calculating a first weighted sum of the MIP weighting matrix and the MIP input sample values;
calculating a first sum of the first weighted sum and the first offset;
obtaining a first right-shift value by binary right-shifting the first sum, the number of right-shifted bits being equal to the value of the shift number parameter;
setting the MIP predicted value of the chroma component of the current block to the sum of the first right shift value and a value corresponding to index 0 in the first temporal reference value; a first temporal reference value is obtained by downsampling the neighboring sample values of the current block;
The decoding method according to claim 7 , characterized in that:
前記現在のブロックの前記隣接サンプル値に基づいて前記現在のブロックの前記MIP入力サンプル値を決定することは、
前記現在のブロックの前記サイズパラメータに基づいて、前記現在のブロックのブロックサイズインデックス値を決定することと、
前記現在のブロックの前記隣接サンプル値をダウンサンプリングすることによって、第1の一時的参照値を取得することと、
前記現在のブロックの前記ブロックサイズインデックス値が予め設定された範囲内にある場合に、前記現在のブロックの隣接サンプル値のビット深度に基づいて第2の定数値を決定し、前記MIP入力サンプル値におけるインデックス0に対応の値を、前記第2の定数値と前記第1の一時的参照値におけるインデックス0に対応の値との差に設定し、前記MIP入力サンプル値におけるインデックスiに対応の値を、前記第1の一時的参照値におけるインデックスiに対応の値と前記第1の一時的参照値におけるインデックス0に対応の前記値との差に設定することであって、iは0より大きい整数であることと、
前記現在のブロックの前記ブロックサイズインデックス値が前記予め設定された範囲外にある場合に、前記MIP入力サンプル値におけるインデックスjに対応の値を、前記第1の一時的参照値におけるインデックス(j+1)に対応の値と前記第1の一時的参照値におけるインデックス0に対応の前記値との差に設定することであって、jは0以上の整数であることと、を含む、
ことを特徴とする請求項7に記載の復号化方法。 The prediction parameters further include a size parameter of the current block;
Determining the MIP input sample value of the current block based on the neighboring sample values of the current block comprises:
determining a block size index value for the current block based on the size parameter of the current block;
obtaining a first temporal reference value by downsampling the neighboring sample values of the current block;
determining a second constant value based on the bit depth of adjacent sample values of the current block when the block size index value of the current block is within a preset range; a value corresponding to index 0 in the MIP input sample value is set to the difference between the second constant value and a value corresponding to index 0 in the first temporary reference value, and a value corresponding to index i in the MIP input sample value. is set to the difference between the value corresponding to index i in the first temporary reference value and the value corresponding to index 0 in the first temporary reference value, where i is greater than 0. be an integer, and
If the block size index value of the current block is outside the preset range, set the value corresponding to index j in the MIP input sample value to index (j+1) in the first temporary reference value. and the value corresponding to index 0 in the first temporary reference value, where j is an integer greater than or equal to 0,
The decoding method according to claim 7 , characterized in that:
前記第2の定数値を2の累乗に設定することであって、前記累乗の指数は整数であり、前記現在のブロックの前記隣接サンプル値の前記ビット深度から1を引いたものに等しいこと、を含み、又は、
「1」を2進左シフトすることによって前記第2の定数値を取得することであって、前記左シフトされたビット数は、前記現在のブロックの前記隣接サンプル値の前記ビット深度から1を引いたものに等しいこと、を含む、
ことを特徴とする請求項9に記載の復号化方法。 Determining the second constant value based on the bit depth of the adjacent sample values of the current block comprises:
setting the second constant value to a power of two, the exponent of the power being an integer and equal to the bit depth of the adjacent sample values of the current block minus one; including , or
obtaining the second constant value by binary left-shifting " 1", the left-shifted number of bits being one from the bit depth of the adjacent sample values of the current block; equal to minus, including
The decoding method according to claim 9 , characterized in that:
前記シフトナンバーパラメータの値が6に設定され、
前記シフトオフセットパラメータの値は、ブロックサイズインデックス値及びMIPモードインデックス値に関連しない固定の定数であり、
前記シフトオフセットパラメータの値が32に設定され、
前記シフトナンバーパラメータの値に基づいて前記第1の定数値を決定することは、
前記第1の定数値を2の累乗に設定することであって、前記累乗の指数は整数であり、前記シフトナンバーパラメータの値から1を引いたものに等しいこと、を含み、又は、
「1」を2進左シフトすることによって前記第1の定数値を取得することであって、前記左シフトされたビット数は前記シフトナンバーパラメータの値から1を引いたものに等しいこと、を含む、
ことを特徴とする請求項8に記載の復号化方法。 the value of the shift number parameter is a fixed constant that is not related to the block size index value and the MIP mode index value;
the value of the shift number parameter is set to 6 ;
The value of the shift offset parameter is a fixed constant that is not related to the block size index value and the MIP mode index value,
the value of the shift offset parameter is set to 32 ;
Determining the first constant value based on the value of the shift number parameter comprises :
setting the first constant value to a power of two, the exponent of the power being an integer and equal to the value of the shift number parameter minus one ; or
obtaining said first constant value by binary left-shifting " 1", said left-shifted number of bits being equal to the value of said shift number parameter minus one; include,
9. The decoding method according to claim 8 .
前記ビットストリームにLFNSTパラメータがあるか否かを決定することと、
前記ビットストリームに前記LFNSTパラメータがある場合に、前記LFNSTパラメータを取得するように前記ビットストリームを解析することとを含み、又は、
前記LFNSTパラメータを取得するように前記ビットストリームを解析することは、
LFNSTインデックスの値を取得するように前記ビットストリームを解析することと、
前記LFNSTインデックスの値が0より大きい場合に、前記現在のブロックに対して前記LFNSTを行うと決定することと、
前記LFNSTインデックスの値が0に等しい場合に、前記現在のブロックに対して前記LFNSTを行わないと決定することと、を含み、
前記ビットストリームにLFNSTパラメータがあるか否かを決定することは、
前記MIPモードを用いて前記現在のブロックの前記彩度コンポーネントの前記イントラ予測値を決定する場合に、前記現在のブロックのサイズパラメータのうちの最小値を決定することと、
前記最小値が第1の予め設定された閾値以上である場合に、前記ビットストリームに前記LFNSTパラメータがあると決定することとを含む、
ことを特徴とする請求項7に記載の復号化方法。 Parsing the bitstream to obtain the LFNST parameters comprises:
determining whether there is an LFNST parameter in the bitstream;
parsing the bitstream to obtain the LFNST parameter , if the bitstream has the LFNST parameter, or
Parsing the bitstream to obtain the LFNST parameters comprises:
parsing the bitstream to obtain a value of an LFNST index;
determining to perform the LFNST on the current block if the value of the LFNST index is greater than 0;
determining not to perform the LFNST on the current block if the value of the LFNST index is equal to 0;
Determining whether there is an LFNST parameter in the bitstream comprises :
determining the minimum value of the size parameters of the current block when determining the intra-predicted value of the chroma component of the current block using the MIP mode;
determining that the LFNST parameter is present in the bitstream if the minimum value is greater than or equal to a first preset threshold;
The decoding method according to claim 7 , characterized in that:
前記現在のブロックの量子化係数を取得するように前記ビットストリームを解析することと、
前記量子化係数を逆量子化することによって、前記現在のブロックの前記再構成変換係数を取得することと、を含み、
前記量子化係数を逆量子化することによって、前記現在のブロックの前記再構成変換係数を取得することは、
前記量子化係数をスケーリングすることによって、前記現在のブロックの前記再構成変換係数を取得することを含む、
ことを特徴とする請求項7に記載の復号化方法。 determining the reconstruction transform coefficients of the current block when the LFNST parameters indicate performing the LFNST on the current block;
parsing the bitstream to obtain a quantization coefficient of the current block;
obtaining the reconstructed transform coefficients of the current block by dequantizing the quantized coefficients;
Obtaining the reconstructed transform coefficients of the current block by dequantizing the quantized coefficients comprises:
obtaining the reconstruction transform coefficients of the current block by scaling the quantization coefficients;
The decoding method according to claim 7 , characterized in that:
前記第1のメモリは、前記第1のプロセッサで実行可能なコンピュータプログラムを記憶するように構成されており、
前記第1のプロセッサは、前記コンピュータプログラムを実行すると、請求項1~6のいずれか一項に記載の符号化方法を実行するように構成されている、
ことを特徴とする符号器。 An encoder including a first memory and a first processor, the encoder comprising:
The first memory is configured to store a computer program executable by the first processor,
The first processor is configured to execute the encoding method according to any one of claims 1 to 6 when the computer program is executed.
An encoder characterized by:
前記第2のメモリは、前記第2のプロセッサで実行可能なコンピュータプログラムを記憶するように構成されており、
前記第2のプロセッサは、前記コンピュータプログラムを実行すると、請求項7~13のいずれか一項に記載の復号化方法を実行するように構成されている、
ことを特徴とする復号器。 A decoder including a second memory and a second processor, the decoder comprising:
The second memory is configured to store a computer program executable by the second processor,
The second processor is configured to execute the decoding method according to any one of claims 7 to 13 when the computer program is executed.
A decoder characterized by:
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US202062958582P | 2020-01-08 | 2020-01-08 | |
US62/958,582 | 2020-01-08 | ||
PCT/CN2020/141080 WO2021139572A1 (en) | 2020-01-08 | 2020-12-29 | Encoding method, decoding method, encoder, decoder, and storage medium |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2023509951A JP2023509951A (en) | 2023-03-10 |
JPWO2021139572A5 true JPWO2021139572A5 (en) | 2023-12-08 |
Family
ID=76788400
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022541305A Pending JP2023509951A (en) | 2020-01-08 | 2020-12-29 | Encoding method, decoding method, encoder, decoder and storage medium |
Country Status (6)
Country | Link |
---|---|
US (3) | US11843781B2 (en) |
EP (1) | EP4090014A4 (en) |
JP (1) | JP2023509951A (en) |
KR (1) | KR20220122666A (en) |
CN (2) | CN115314710A (en) |
WO (1) | WO2021139572A1 (en) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP4107945A1 (en) * | 2020-02-21 | 2022-12-28 | InterDigital VC Holdings France | Neural network-based intra prediction for video encoding or decoding |
WO2023044919A1 (en) * | 2021-09-27 | 2023-03-30 | Oppo广东移动通信有限公司 | Video encoding and decoding method, device and system, and storage medium |
WO2024007120A1 (en) * | 2022-07-04 | 2024-01-11 | Oppo广东移动通信有限公司 | Encoding and decoding method, encoder, decoder and storage medium |
CN116600107B (en) * | 2023-07-20 | 2023-11-21 | 华侨大学 | HEVC-SCC quick coding method and device based on IPMS-CNN and spatial neighboring CU coding modes |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102695061B (en) | 2011-03-20 | 2015-01-21 | 华为技术有限公司 | Method and apparatus for determining weight factors, and method and apparatus for predicting intra-frame weighting |
US20130003856A1 (en) * | 2011-07-01 | 2013-01-03 | Samsung Electronics Co. Ltd. | Mode-dependent transforms for residual coding with low latency |
CN109076243B (en) * | 2016-05-04 | 2022-01-25 | 夏普株式会社 | System and method for encoding transform data |
CN106254883B (en) | 2016-08-02 | 2021-01-22 | 海信视像科技股份有限公司 | Inverse transformation method and device in video decoding |
EP3588952B1 (en) * | 2017-03-21 | 2021-04-28 | LG Electronics Inc. | Transform method in image coding system and apparatus for same |
KR20240005173A (en) * | 2018-03-08 | 2024-01-11 | 삼성전자주식회사 | Video decoding method and apparatus, and video encoding method and apparatus |
KR20200005480A (en) * | 2018-07-06 | 2020-01-15 | 한국전자통신연구원 | Method and apparatus for image encoding/decoding and recording medium for storing bitstream |
WO2020091213A1 (en) * | 2018-11-04 | 2020-05-07 | 엘지전자 주식회사 | Intra prediction method and apparatus in image coding system |
CN110519591B (en) * | 2019-08-29 | 2021-06-01 | 中南大学 | Method for quickly selecting prediction mode based on intra-frame coding in multipurpose coding |
-
2020
- 2020-12-29 KR KR1020227023785A patent/KR20220122666A/en unknown
- 2020-12-29 WO PCT/CN2020/141080 patent/WO2021139572A1/en active Application Filing
- 2020-12-29 CN CN202210689703.4A patent/CN115314710A/en active Pending
- 2020-12-29 JP JP2022541305A patent/JP2023509951A/en active Pending
- 2020-12-29 EP EP20912114.4A patent/EP4090014A4/en active Pending
- 2020-12-29 CN CN202080068055.XA patent/CN114450945A/en active Pending
-
2022
- 2022-07-06 US US17/858,161 patent/US11843781B2/en active Active
-
2023
- 2023-10-26 US US18/494,880 patent/US20240056581A1/en active Pending
- 2023-10-26 US US18/494,947 patent/US20240056582A1/en active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN105635735B (en) | Perceptual image and Video coding | |
CN104702962B (en) | Decoding method, encoder and decoder in frame | |
KR101261526B1 (en) | An video encoding/decoding method and apparatus | |
US8111914B2 (en) | Method and apparatus for encoding and decoding image by using inter color compensation | |
US9258568B2 (en) | Quantization method and apparatus in encoding/decoding | |
US11166030B2 (en) | Method and apparatus for SSIM-based bit allocation | |
EP2744210A1 (en) | Adaptive transformation of residual blocks depending on the intra prediction mode | |
US20120213278A1 (en) | Moving image coding device, moving image decoding device, moving image coding/decoding system, moving image coding method and moving image decoding method | |
EP2168382B1 (en) | Method for processing images and the corresponding electronic device | |
US20200195933A1 (en) | Method for encoding and decoding images, device for encoding and decoding images and corresponding computer programs | |
CA3111734C (en) | Video decoder with reduced dynamic range transform with inverse transform shifting memory | |
JPWO2021139572A5 (en) | ||
WO2012124787A1 (en) | A method for decoding video | |
US10750206B2 (en) | Method for encoding and decoding images, device for encoding and decoding images, and corresponding computer programs | |
US9838713B1 (en) | Method for fast transform coding based on perceptual quality and apparatus for the same | |
CN112911312B (en) | Encoding and decoding method, device and equipment | |
CN113261279B (en) | Prediction value determination method, encoder, decoder, and storage medium | |
KR20170120634A (en) | Encoding of images by vector quantization | |
WO2024158549A1 (en) | Determination of intra prediction mode for indexation into non-separable transform kernels | |
WO2022191947A1 (en) | State based dependent quantization and residual coding in video coding | |
AU2023201244A1 (en) | Video decoder with reduced dynamic range transform with inverse transform shifting memory | |
CN113473129A (en) | Encoding and decoding method and device | |
WO2012099268A1 (en) | Video decoder with reduced dynamic range transform with memory storing | |
WO2012099267A1 (en) | Video decoder with reduced dynamic range transform with multiple clipping | |
KR20050061448A (en) | A method of communicating data within a coder |