JPWO2020192020A5 - - Google Patents
Download PDFInfo
- Publication number
- JPWO2020192020A5 JPWO2020192020A5 JP2021556289A JP2021556289A JPWO2020192020A5 JP WO2020192020 A5 JPWO2020192020 A5 JP WO2020192020A5 JP 2021556289 A JP2021556289 A JP 2021556289A JP 2021556289 A JP2021556289 A JP 2021556289A JP WO2020192020 A5 JPWO2020192020 A5 JP WO2020192020A5
- Authority
- JP
- Japan
- Prior art keywords
- information
- filtering
- processing
- component
- types
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001914 filtration Methods 0.000 claims description 94
- 230000000875 corresponding Effects 0.000 claims description 24
- 230000004927 fusion Effects 0.000 claims description 20
- 230000001537 neural Effects 0.000 claims description 8
- 238000007781 pre-processing Methods 0.000 claims description 3
- 238000007499 fusion processing Methods 0.000 claims 6
- 241001442055 Vipera berus Species 0.000 description 27
- 238000010586 diagram Methods 0.000 description 6
- 238000000034 method Methods 0.000 description 6
- 230000003044 adaptive Effects 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 2
- 230000001131 transforming Effects 0.000 description 2
- 230000000903 blocking Effects 0.000 description 1
Description
図１は従来の符号化ブロック図の構造模式図である。図１に示すように、該従来の符号化ブロック図１０は、変換及び量子化ユニット１０１、逆変換及び逆量子化ユニット１０２、予測ユニット１０３、インループフィルタリングユニット１０４、並びにエントロピー符号化ユニット１０５等の部材を含んでもよく、予測ユニット１０３は更にイントラ予測ユニット１０３１及びインター予測ユニット１０３２を含む。入力されたオリジナル画像については、初期分割によって符号化ツリーユニット（ＣＴＵ、Ｃｏｄｉｎｇ Ｔｒｅｅ Ｕｎｉｔ）を取得することができ、１つのＣＴＵに対して引き続きコンテンツ適応分割を行えば、ＣＵを取得することができ、ＣＵは一般的に１つ又は複数の符号化ブロック（ＣＢ、Ｃｏｄｉｎｇ Ｂｌｏｃｋ）を含む。符号化ブロックに対してイントラ予測ユニット１０３１によるイントラ予測又はインター予測ユニット１０３２によるインター予測を行って、残差情報を取得することができる。該残差情報について変換及び量子化ユニット１０１によって該符号化ブロックに対して変換することは、残差情報を画素フィールドから変換フィールドに変換することと、ビットレートを更に減少させるために、取得された変換係数を量子化することと、を含む。予測モードを決定した後、予測ユニット１０３は更に、選択されたイントラ予測データ又はインター予測データをエントロピー符号化ユニット１０５に提供することに用いられる。また、逆変換及び逆量子化ユニット１０２は該符号化ブロックの再構築に使用され、画素フィールドにおいて残差ブロックを再構築し、該再構築された残差ブロックはインループフィルタリングユニット１０４によってブロッキング効果アーティファクトを除去し、次に、再構築された参照画像を生成するために、該再構築された残差ブロックを復号画像キャッシュユニットに追加する。エントロピー符号化ユニット１０５は様々な符号化パラメータ及び量子化後の変換係数を符号化することに用いられ、例えば、エントロピー符号化ユニット１０５はヘッダー情報符号化及びコンテキストベースの適応２値算術符号化（ＣＡＢＡＣ、Ｃｏｎｔｅｘｔ－ｂａｓｅｄ Ａｄａｐｔｉｖｅ Ｂｉｎａｒｙ Ａｒｉｔｈｍｅｔｉｃ Ｃｏｄｉｎｇ）アルゴリズムを用い、決定された予測モードを示す符号化情報を符号化して、対応のビットストリームを出力することに用いられてもよい。 FIG. 1 is a structural schematic diagram of a conventional encoding block diagram. As shown in FIG. 1, the conventional coding block diagram 10 includes a transform and quantization unit 101, an inverse transform and inverse quantization unit 102, a prediction unit 103, an in-loop filtering unit 104, an entropy coding unit 105, etc. and the prediction unit 103 further includes an intra prediction unit 1031 and an inter prediction unit 1032 . For an input original image, a coding tree unit (CTU) can be obtained by initial division, and a CU can be obtained by continuing to perform content adaptive division on one CTU. , CU generally includes one or more coding blocks (CBs). Intra prediction by an intra prediction unit 1031 or inter prediction by an inter prediction unit 1032 may be performed on the coded block to obtain residual information. Transforming the residual information to the coding block by transform and quantization unit 101 is obtained in order to transform the residual information from the pixel field to the transform field and further reduce the bit rate. and quantizing the transformed transform coefficients. After determining the prediction mode, prediction unit 103 is further used to provide selected intra-prediction data or inter-prediction data to entropy encoding unit 105 . Also, an inverse transform and inverse quantization unit 102 is used to reconstruct the coded block and reconstruct a residual block in the pixel field, which is subjected to blocking effects by an in-loop filtering unit 104 . Remove artifacts and then add the reconstructed residual block to a decoded image cache unit to generate a reconstructed reference image. The entropy coding unit 105 is used to code various coding parameters and transform coefficients after quantization, for example, the entropy coding unit 105 performs header information coding and context-based adaptive binary arithmetic coding ( CABAC (Context-based Adaptive Binary Arithmetic Coding) algorithm may be used to encode the encoding information indicating the determined prediction mode and output a corresponding bitstream.
なお、符号化対象ビデオにおけるオリジナル画像に対してビデオ符号化を行う過程において、オリジナル画像に対してビデオ符号化処理を行うときには、ＣＵ分割、予測、変換及び量子化等の処理を行い、且つ、後続の符号化対象画像に対してビデオ符号化を行うための参照画像を取得するために、更に逆変換及び逆量子化、再構成並びにフィルタリング等の処理を行ってもよい。即ち、フィルタリング対象画素情報はエンコーダに入力されたばかりのオリジナル画像における画像ブロックであってもよく、これは前処理フィルタに適用される場合であり、フィルタリング対象画素情報はインループフィルタリング処理後に取得したばかりの画像ブロックであってもよく、これは後処理フィルタに適用される場合であり、このようにして、フィルタリング対象画素情報を取得する。 In the process of performing video encoding on the original image in the encoding target video, when video encoding processing is performed on the original image, processing such as CU division, prediction, transformation, and quantization is performed, and Further processing such as inverse transform and inverse quantization, reconstruction and filtering may be performed to obtain a reference image for video encoding of subsequent encoding target images. That is, the filtered pixel information may be an image block in the original image that has just been input to the encoder, which is the case when the preprocessing filter is applied, and the filtered pixel information has just been obtained after the in-loop filtering process. , which is the case when a post-processing filter is applied, thus obtaining filtered pixel information.
図５は本願の実施例に係る従来のＣＮＮフィルタの構造模式図である。図５に示すように、該従来のＣＮＮフィルタ５０は前世代のビデオ符号化標準Ｈ．２６５／高効率ビデオ符号化（ＨＥＶＣ、Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）に基づいて改善されたものであり、２層の畳み込みネットワーク構造を含み、デブロッキングフィルタ及びサンプル適応オフセットフィルタを代替することができる。フィルタリング対象画像（Ｆｉｎで示される）を従来のＣＮＮフィルタ５０の入力層に入力した後、第１層の畳み込みネットワークＦ１（畳み込みカーネルのサイズが３×３であり、６４枚の特徴マップを含むと仮定する）及び第２層の畳み込みネットワークＦ２（畳み込みカーネルのサイズが５×５であり、３２枚の特徴マップを含むと仮定する）を通過した後、１つの残差情報Ｆ３を取得し、次に、フィルタリング対象画像Ｆｉｎと残差情報Ｆ３を加算演算して、最終的に該従来のＣＮＮフィルタ５０が出力したフィルタリング後の画像（Ｆｏｕｔで示される）を取得する。該畳み込みネットワーク構造は残差ニューラルネットワークとも称され、フィルタリング対象画像に対応する残差情報を出力することに用いられる。該従来のＣＮＮフィルタ５０において、それぞれフィルタリング対象画像の３つの画像成分を独立して処理するが、同じフィルタリングネットワーク及びフィルタリングネットワークの関連パラメータを共有する。 FIG. 5 is a structural schematic diagram of a conventional CNN filter according to an embodiment of the present application. As shown in FIG. 5, the conventional CNN filter 50 conforms to the previous generation video coding standard H.365. H.265/High Efficiency Video Coding (HEVC), it contains a two-layer convolutional network structure and can replace the deblocking filter and the sample adaptive offset filter. After inputting the image to be filtered (denoted by F in ) into the input layer of a conventional CNN filter 50, the first layer convolutional network F 1 (with a convolution kernel size of 3×3 and 64 feature maps ) and the second layer convolutional network F 2 (assuming that the size of the convolution kernel is 5×5 and contains 32 feature maps), one residual information F 3 is Then, the filtered image F in and the residual information F 3 are added to obtain the filtered image (denoted by F out ) finally output by the conventional CNN filter 50 . The convolutional network structure is also called a residual neural network and is used to output residual information corresponding to the image to be filtered. In the conventional CNN filter 50 , each of the three image components of the filtered image are processed independently, but share the same filtering network and associated parameters of the filtering network.
フィルタリング対象画素情報の３種類の成分をニューラルネットワークに基づくフィルタに同時に入力し、且つ分岐－マージ－分岐のカスケード処理構造を用いる場合を例として、図７は本願の実施例に係る選択可能なフィルタリングフレームワークの構造模式図である。図７に示すように、該フィルタリングフレームワーク７０は、フィルタリング対象画素情報の３種類の成分（それぞれＹ、Ｕ、Ｖで示される）７０１、第１分岐ユニット７０２、第１辺情報７０３、Ｙ画像成分第１処理ユニット７０４、Ｕ画像成分第１処理ユニット７０５、Ｖ画像成分第１処理ユニット７０６、第２辺情報７０７、入力融合ユニット７０８、連携処理ユニット７０９、第２分岐ユニット７１０、Ｙ画像成分第２処理ユニット７１１、Ｕ画像成分第２処理ユニット７１２、Ｖ画像成分第２処理ユニット７１３、第１加算器７１４、第２加算器７１５、第３加算器７１６、及びフィルタリング後の３つの画像成分（それぞれＯｕｔ＿Ｙ、Ｏｕｔ＿Ｕ、Ｏｕｔ＿Ｖで示される）７１７を含んでもよい。具体的に、フィルタリング対象画像ブロックの３つの画像成分７０１は第１分岐ユニット７０２を通過した後、３チャネルの信号、即ちＹ画像成分、Ｕ画像成分及びＶ画像成分に分割され、第１チャネルのＹ画像成分及び対応の第１辺情報７０３はＹ画像成分第１処理ユニット７０４に入り、第２チャネルのＵ画像成分及び対応の第１辺情報７０３はＵ画像成分第１処理ユニット７０５に入り、第３チャネルのＶ画像成分及び対応の第１辺情報７０３はＶ画像成分第１処理ユニット７０６に入り、そうすると、３チャネルの新しい画像成分が出力される。入力融合ユニット７０８はこの３チャネルの新しい画像成分及び第２辺情報７０７を融合し、次に連携処理ユニット７０９に入力することに用いられ、連携処理ユニット７０９は複数層の畳み込みフィルタリングネットワークを含み、入力された情報に対して畳み込み計算を行うことに用いられる。具体的な畳み込み計算過程は関連の技術案に類似するため、連携処理ユニット７０９の具体的な実行ステップについて説明しない。連携処理ユニット７０９を通過した後、改めて３チャネルの信号に分割するように第２分岐ユニット７１０に入り、次に、この３チャネルの信号をそれぞれＹ画像成分第２処理ユニット７１１、Ｕ画像成分第２処理ユニット７１２及びＶ画像成分第２処理ユニット７１３に入力し、それにより順にＹ画像成分の残差情報、Ｕ画像成分の残差情報及びＶ画像成分の残差情報を取得することができる。フィルタリング対象画像ブロックの３つの画像成分７０１のうちのＹ画像成分と取得されたＹ画像成分の残差情報を一緒に第１加算器７１４に入力すれば、第１加算器７１４の出力はフィルタリング後のＹ画像成分（Ｏｕｔ＿Ｙで示される）であり、フィルタリング対象画像ブロックの３つの画像成分７０１のうちのＵ画像成分と取得されたＵ画像成分の残差情報を一緒に第２加算器７１５に入力すれば、第２加算器７１５の出力はフィルタリング後のＵ画像成分（Ｏｕｔ＿Ｕで示される）であり、フィルタリング対象画像ブロックの３つの画像成分７０１のうちのＶ画像成分と取得されたＶ画像成分の残差情報を一緒に第３加算器７１６に入力すれば、第３加算器７１６の出力はフィルタリング後のＶ画像成分（Ｏｕｔ＿Ｖで示される）である。ここで、成分の出力については、フィルタリング後のＹ画像成分のみを出力する必要がある場合、フィルタリングフレームワーク７０は第２分岐ユニット７１０、第２加算器７１５及び第３加算器７１６を含まなくてもよく、フィルタリング後のＵ画像成分のみを出力する必要がある場合、フィルタリングフレームワーク７０は第２分岐ユニット７１０、第１加算器７１４及び第３加算器７１６を含まなくてもよく、フィルタリング後のＹ画像成分及びフィルタリング後のＵ画像成分を出力する必要がある場合、フィルタリングフレームワーク７０は第３加算器７１６を含まなくてもよく、本願の実施例は具体的に限定しない。 Taking the case of simultaneously inputting three components of filtering target pixel information into a neural network-based filter and using a branch-merge-branch cascade processing structure, FIG. 1 is a structural schematic diagram of a framework; FIG. As shown in FIG. 7, the filtering framework 70 includes three components of pixel information to be filtered (denoted Y, U and V respectively) 701, a first branching unit 702, a first side information 703, a Y image component first processing unit 704, U image component first processing unit 705, V image component first processing unit 706, second edge information 707, input fusion unit 708, joint processing unit 709, second branching unit 710, Y image component Second processing unit 711, U image component second processing unit 712, V image component second processing unit 713, first adder 714, second adder 715, third adder 716, and three image components after filtering. 717 (indicated by Out_Y, Out_U, and Out_V, respectively). Specifically, the three image components 701 of the image block to be filtered are divided into three channel signals, namely Y image component, U image component and V image component after passing through the first branching unit 702, and Y image components and corresponding first edge information 703 enter Y image component first processing unit 704, U image components of the second channel and corresponding first edge information 703 enter U image component first processing unit 705, The third channel V image component and corresponding first edge information 703 enter the V image component first processing unit 706, which in turn outputs three channels of new image components. An input fusion unit 708 is used to fuse this three-channel new image component and the second edge information 707, and then input to a joint processing unit 709, which includes a multi-layer convolutional filtering network, It is used to perform convolution calculations on the input information. Since the specific convolution calculation process is similar to the related technical solutions, the specific execution steps of the cooperative processing unit 709 will not be described. After passing through the joint processing unit 709, it enters the second branching unit 710 so as to be divided into 3-channel signals again. 2 processing unit 712 and the V image component into the second processing unit 713, which can sequentially obtain the residual information of the Y image component, the residual information of the U image component and the residual information of the V image component. If the Y image component of the three image components 701 of the filtering target image block and the residual information of the acquired Y image component are input together to the first adder 714, the output of the first adder 714 is the filtered is the Y image component (denoted by Out_Y) of the filtering target image block , and the U image component among the three image components 701 of the filtering target image block and the residual information of the obtained U image component are input together to the second adder 715 Then, the output of the second adder 715 is the filtered U image component (denoted by Out_U), which is the sum of the V image component of the three image components 701 of the filtered image block and the acquired V image component. If the residual information is also input to the third adder 716, the output of the third adder 716 is the filtered V image components (denoted Out_V). Here, for component output, filtering framework 70 does not need to include second branch unit 710, second adder 715 and third adder 716 if only the Y image component after filtering needs to be output. Alternatively, the filtering framework 70 may not include the second branching unit 710, the first adder 714 and the third adder 716 if only the filtered U image component needs to be output, and the filtered If the Y image component and the U image component after filtering need to be output, the filtering framework 70 may not include the third adder 716, and embodiments of the present application are not specifically limited.
図９は本願の実施例に係るまた更に他の選択可能なフィルタリングフレームワークの構造模式図である。図９に示すように、該フィルタリングフレームワーク９０は、フィルタリング対象画素情報の３種類の成分（それぞれＹ、Ｕ、Ｖで示される）９０１、第１辺情報９０２、Ｙ画像成分第１処理ユニット９０３、Ｕ画像成分第１処理ユニット９０４、Ｖ画像成分第１処理ユニット９０５、第２辺情報９０６、融合ユニット９０７、連携処理ユニット９０８、分岐ユニット９０９、Ｙ画像成分第２処理ユニット９１０、Ｕ画像成分第２処理ユニット９１１、Ｖ画像成分第２処理ユニット９１２、第１加算器９１３、第２加算器９１４、第３加算器９１５、及びフィルタリング後の３つの画像成分（それぞれＯｕｔ＿Ｙ、Ｏｕｔ＿Ｕ、Ｏｕｔ＿Ｖで示される）９１６を含んでもよい。具体的に、フィルタリング対象画素情報の３種類の成分９０１は成分処理を経て、３チャネルの信号、即ちＹ画像成分、Ｕ画像成分及びＶ画像成分に分割され、第１チャネルのＹ画像成分及び対応の第１辺情報９０２はＹ画像成分第１処理ユニット９０３に入り、第２チャネルのＵ画像成分及び対応の第１辺情報９０２はＵ画像成分第１処理ユニット９０４に入り、第３チャネルのＶ画像成分及び対応の第１辺情報９０２はＶ画像成分第１処理ユニット９０５に入り、そうすると、３チャネルの新しい画像成分が出力される。融合ユニット９０７はこの３チャネルの新しい画像成分及び第２辺情報９０６を融合し、次に連携処理ユニット９０８に入力することに用いられ、連携処理ユニット９０８は複数層の畳み込みフィルタリングネットワークを含み、入力された情報に対して畳み込み計算を行うことに用いられる。具体的な畳み込み計算過程は関連の技術案に類似するため、連携処理ユニット９０８の具体的な実行ステップについて説明しない。連携処理ユニット９０８を通過した後、改めて３チャネルの信号に分割するように分岐ユニット９０９に入り、次に、この３チャネルの信号をそれぞれＹ画像成分第２処理ユニット９１０、Ｕ画像成分第２処理ユニット９１１及びＶ画像成分第２処理ユニット９１２に入力し、それにより順にＹ画像成分の残差情報、Ｕ画像成分の残差情報及びＶ画像成分の残差情報を取得することができる。フィルタリング対象画素情報の３種類の成分９０１のうちのＹ画像成分と取得されたＹ画像成分の残差情報を一緒に第１加算器９１３に入力し、第１加算器９１３の出力はフィルタリング後のＹ画像成分（Ｏｕｔ＿Ｙで示される）であり、フィルタリング対象画素情報の３種類の成分９０１のうちのＵ画像成分と取得されたＵ画像成分の残差情報を一緒に第２加算器９１４に入力し、第２加算器９１４の出力はフィルタリング後のＵ画像成分（Ｏｕｔ＿Ｕで示される）であり、フィルタリング対象画素情報の３種類の成分９０１のうちのＶ画像成分と取得されたＶ画像成分の残差情報を一緒に第３加算器９１５に入力し、第３加算器９１５の出力はフィルタリング後のＶ画像成分（Ｏｕｔ＿Ｖで示される）である。ここで、成分の出力については、フィルタリング後のＹ画像成分のみを出力する必要がある場合、フィルタリングフレームワーク９０は分岐ユニット９０９、第２加算器９１４及び第３加算器９１５を含まなくてもよく、フィルタリング後のＵ画像成分のみを出力する必要がある場合、フィルタリングフレームワーク９０は分岐ユニット９０９、第１加算器９１３及び第３加算器９１５を含まなくてもよく、フィルタリング後のＹ画像成分及びフィルタリング後のＵ画像成分を出力する必要がある場合、フィルタリングフレームワーク９０は第３加算器９１５を含まなくてもよく、本願の実施例は具体的に限定しない。 FIG. 9 is a structural schematic diagram of yet another selectable filtering framework according to an embodiment of the present application. As shown in FIG. 9, the filtering framework 90 includes three components of pixel information to be filtered (denoted Y, U and V respectively) 901 , first edge information 902 and a Y image component first processing unit 903 . , U image component first processing unit 904, V image component first processing unit 905, second side information 906, fusion unit 907, cooperation processing unit 908, branching unit 909, Y image component second processing unit 910, U image component A second processing unit 911, a V image component second processing unit 912, a first adder 913, a second adder 914, a third adder 915, and three filtered image components (denoted Out_Y, Out_U, and Out_V, respectively). ) 916. Specifically, the three components 901 of the pixel information to be filtered are divided into three channel signals, that is, the Y image component, the U image component and the V image component through component processing, and the Y image component of the first channel and the corresponding 902 enters the Y image component first processing unit 903, the second channel U image component and corresponding first edge information 902 enters the U image component first processing unit 904, the third channel V The image components and corresponding first edge information 902 enter the V image component first processing unit 905, which outputs three channels of new image components. A fusion unit 907 is used to fuse this three-channel new image component and the second edge information 906, and then input to a joint processing unit 908, which includes a multi-layer convolutional filtering network to input It is used to perform convolution calculations on the obtained information. Since the specific convolution calculation process is similar to the related technical solutions, the specific execution steps of the cooperative processing unit 908 will not be described. After passing through the joint processing unit 908, it enters the branching unit 909 so as to be divided into 3-channel signals again, and then the 3-channel signals are respectively processed by a Y image component second processing unit 910 and a U image component second processing unit. Unit 911 and V image component second processing unit 912, which can sequentially obtain residual information of Y image component, residual information of U image component and residual information of V image component. The Y image component of the three types of components 901 of the filtering target pixel information and the residual information of the acquired Y image component are input together to the first adder 913, and the output of the first adder 913 is the filtered Y image component (indicated by Out_Y), the U image component among the three types of components 901 of the filtering target pixel information and the residual information of the acquired U image component are input together to the second adder 914 . , the output of the second adder 914 is the filtered U image component (denoted by Out_U), which is the V image component among the three components 901 of the filtering target pixel information and the residual of the acquired V image component The information is input together into a third adder 915 whose output is the filtered V image components (denoted Out_V). Here, for component output, filtering framework 90 may not include branching unit 909, second adder 914 and third adder 915 if only the Y image component after filtering needs to be output. , the filtering framework 90 may not include the branching unit 909, the first adder 913 and the third adder 915 if only the filtered U image component needs to be output, and the filtered Y image component and The filtering framework 90 may not include the third adder 915 if the filtered U image component needs to be output, and the embodiments of the present application are not specifically limited.
本願の実施例はフィルタリング方法を提供し、まず、フィルタリング方法はフィルタリング対象画素情報を取得し、少なくとも１種類の辺情報を取得し、フィルタリング対象画素情報の少なくとも２種類の成分及び少なくとも１種類の辺情報をニューラルネットワークに基づくフィルタに入力して、フィルタリング対象画素情報をフィルタリングした後の少なくとも１種類の成分を出力して取得する。即ち、本願の実施例では、フィルタリング対象画素情報の少なくとも２種類の成分及び少なくとも１種類の辺情報を取得し、ニューラルネットワークに基づくフィルタに入力して処理し、フィルタリング過程において、少なくとも１種類の成分の辺情報を融合することにより、フィルタリング後の画素情報を取得する。そうすると、複数の種類の成分の間の関係を十分に利用するだけではなく、少なくとも２種類の成分に対して完全なネットワークフォワード計算を複数回行う必要があるという問題も効果的に回避し、ひいては計算複雑性を低減し、符号化率を節約し、符号化／復号化過程において前処理フィルタリング後に取得した画像及び後処理フィルタリング後に取得した画像の品質を向上させ、それにより再構成画像の品質を向上させる。
Embodiments of the present application provide a filtering method, firstly, the filtering method obtains pixel information to be filtered, obtains at least one kind of edge information, obtains at least two kinds of components of the pixel information to be filtered and at least one kind of edge The information is input to a neural network-based filter to output and obtain at least one component after filtering the pixel information to be filtered. That is, in the embodiments of the present application, at least two types of components and at least one type of side information of the pixel information to be filtered are obtained, input to a filter based on a neural network for processing, and in the filtering process, at least one type of component By fusing the edge information of , pixel information after filtering is obtained. This not only fully exploits the relationships between multiple types of components, but also effectively avoids the problem of requiring multiple full network forward computations for at least two types of components, and thus It reduces the computational complexity, saves the coding rate, and improves the quality of the images obtained after preprocessing filtering and the images obtained after postprocessing filtering in the encoding/decoding process, thereby improving the quality of the reconstructed image. Improve.
Claims (15)
フィルタリング対象画素情報を取得することと、
少なくとも１種類の辺情報を取得することと、
前記フィルタリング対象画素情報の少なくとも２種類の成分値及び前記少なくとも１種類の辺情報をニューラルネットワークに基づくフィルタに入力して、前記フィルタリング対象画素情報をフィルタリングした後の少なくとも１種類の成分値を出力して取得することと、を含む、フィルタリング方法。 A filtering method applied to an encoder , comprising:
Acquiring filtering target pixel information;
obtaining at least one type of edge information;
inputting at least two types of component values and said at least one type of side information of said filtering target pixel information to a filter based on a neural network, and outputting at least one type of component value after filtering said filtering target pixel information; and filtering methods.
それぞれ前記少なくとも２種類の成分値のうちの各成分値を処理して、処理後の少なくとも２種類の成分値を取得することと、
前記少なくとも１種類の辺情報及び前記処理後の少なくとも２種類の成分値に基づいて融合処理して、前記フィルタリング対象画素情報の融合情報を取得することと、
前記融合情報を処理して、前記フィルタリング対象画素情報をフィルタリングした後の少なくとも１種類の成分値を取得することと、を含む、請求項１に記載の方法。 inputting at least two types of component values and said at least one type of side information of said filtering target pixel information to a filter based on a neural network, and outputting at least one type of component value after filtering said filtering target pixel information; to get
respectively processing each of the at least two component values to obtain at least two post-processing component values ;
performing a fusion process based on the at least one type of side information and the at least two types of component values after the processing to obtain fusion information of the filtering target pixel information;
2. The method of claim 1, comprising processing the fusion information to obtain at least one component value after filtering the filtered pixel information.
それぞれ前記少なくとも２種類の成分値のうちの各成分値及び各成分値に対応する第１辺情報を融合処理して、前記処理後の少なくとも２種類の成分値を取得することを含み、
前記第１辺情報は少なくともブロック分割情報及び／又は量子化パラメータ情報を含み、
前記少なくとも１種類の辺情報及び前記処理後の少なくとも２種類の成分値に基づいて融合処理して、前記フィルタリング対象画素情報の融合情報を取得することは、
前記処理後の少なくとも２種類の成分値及び各成分値に対応する第１辺情報を融合処理して、前記フィルタリング対象画素情報の融合情報を取得することを含む、請求項２に記載の方法。 When the first side information corresponding to each component value is obtained, correspondingly, each component value of the at least two types of component values is processed to obtain at least two types of component values after processing. to do
fusing each component value of the at least two types of component values and the first side information corresponding to each component value to obtain at least two types of component values after the processing;
the first side information includes at least block division information and/or quantization parameter information ;
Performing a fusion process based on the at least one type of side information and the at least two types of component values after the processing to obtain fusion information of the filtering target pixel information,
3. The method of claim 2 , comprising fusing the at least two types of component values after processing and the first edge information corresponding to each component value to obtain fusion information of the filtering target pixel information .
前記融合情報に対して連携処理及び分岐処理を行って、前記少なくとも２種類の成分値のうちの少なくとも１種類の成分値に対応する残差情報を取得することと、
前記少なくとも２種類の成分値のうちの少なくとも１種類の成分値と前記少なくとも１種類の成分値に対応する残差情報を加算演算して、前記フィルタリング対象画素情報をフィルタリングした後の少なくとも１種類の成分値を取得することと、を含む、請求項２に記載の方法。 processing the fusion information to obtain at least one component value after filtering the filtering target pixel information;
Performing cooperation processing and branching processing on the fusion information to obtain residual information corresponding to at least one type of component value among the at least two types of component values ;
At least one component value out of the at least two component values and residual information corresponding to the at least one component value are added to obtain at least one component value after filtering the filtering target pixel information. 3. The method of claim 2, comprising obtaining component values .
それぞれ前記少なくとも２種類の成分値のうちの各成分値及び各成分値に対応する第２辺情報を融合処理して、前記処理後の少なくとも２種類の成分値を取得することを含み、
前記第２辺情報は第１辺情報と異なり、
前記少なくとも１種類の辺情報及び前記処理後の少なくとも２種類の成分値に基づいて融合処理して、前記フィルタリング対象画素情報の融合情報を取得することは、
前記処理後の少なくとも２種類の成分値及び各成分値に対応する第２辺情報を融合処理して、前記フィルタリング対象画素情報の融合情報を取得することを含む、請求項１～４のいずれか１項に記載の方法。 When the second side information corresponding to each component value is obtained, each component value of the at least two types of component values is correspondingly processed to obtain at least two types of component values after processing. to do
fusing each component value of the at least two types of component values and second side information corresponding to each component value to obtain at least two types of component values after the processing;
The second side information is different from the first side information,
Performing a fusion process based on the at least one type of side information and the at least two types of component values after the processing to obtain fusion information of the filtering target pixel information,
5. The method according to any one of claims 1 to 4 , comprising fusing at least two types of component values after said processing and second side information corresponding to each component value to obtain fusion information of said filtering target pixel information . 1. The method according to item 1.
入力画像を取得することと、 obtaining an input image;
前記入力画像に含まれる画素をフィルタリング対象画素情報とし、前記フィルタリング方法を実行して、フィルタリング対象画素情報をフィルタリングした後の少なくとも１種類の成分値を取得することと、 setting pixels included in the input image as filtering target pixel information, and performing the filtering method to obtain at least one type of component value after filtering the filtering target pixel information;
フィルタリング対象画素情報をフィルタリングした後の少なくとも１種類の成分値を符号化して、ビットストリームを生成することと、を含む、請求項１に記載の方法。 2. The method of claim 1, comprising encoding at least one component value after filtering the filtered pixel information to generate a bitstream.
入力画像を取得し、前記入力画像を符号化して、インループフィルタリング後の画像を取得することと、 obtaining an input image and encoding the input image to obtain an in-loop filtered image;
インループフィルタリング後の画像に含まれる画素をフィルタリング対象画素情報とし、前記フィルタリング方法を実行して、フィルタリング対象画素情報をフィルタリングした後の少なくとも１種類の成分値を取得することと、 setting pixels included in the image after in-loop filtering as filtering target pixel information, and performing the filtering method to obtain at least one component value after filtering the filtering target pixel information;
フィルタリング対象画素情報をフィルタリングした後の少なくとも１種類の成分値を符号化して、ビットストリームを生成することと、を含む、請求項１に記載の方法。 2. The method of claim 1, comprising encoding at least one component value after filtering the filtered pixel information to generate a bitstream.
フィルタリング対象画素情報を取得することと、 Acquiring filtering target pixel information;
少なくとも１種類の辺情報を取得することと、 obtaining at least one type of edge information;
前記フィルタリング対象画素情報の少なくとも２種類の成分値及び前記少なくとも１種類の辺情報をニューラルネットワークに基づくフィルタに入力して、前記フィルタリング対象画素情報をフィルタリングした後の少なくとも１種類の成分値を出力して取得することと、を含む、フィルタリング方法。 inputting at least two types of component values and said at least one type of side information of said filtering target pixel information to a filter based on a neural network, and outputting at least one type of component value after filtering said filtering target pixel information; and filtering methods.
それぞれ前記少なくとも２種類の成分値のうちの各成分値を処理して、処理後の少なくとも２種類の成分値を取得することと、 respectively processing each of the at least two component values to obtain at least two post-processing component values;
前記少なくとも１種類の辺情報及び前記処理後の少なくとも２種類の成分値に基づいて融合処理して、前記フィルタリング対象画素情報の融合情報を取得することと、 performing a fusion process based on the at least one type of side information and the at least two types of component values after the processing to obtain fusion information of the filtering target pixel information;
前記融合情報を処理して、前記フィルタリング対象画素情報をフィルタリングした後の少なくとも１種類の成分値を取得することと、を含む、請求項８に記載の方法。 9. The method of claim 8, comprising processing the fusion information to obtain at least one component value after filtering the filtered pixel information.
それぞれ前記少なくとも２種類の成分値のうちの各成分値及び各成分値に対応する第１辺情報を融合処理して、前記処理後の少なくとも２種類の成分値を取得することを含み、 fusing each component value of the at least two types of component values and the first side information corresponding to each component value to obtain at least two types of component values after the processing;
前記第１辺情報は少なくともブロック分割情報及び／又は量子化パラメータ情報を含み、 the first side information includes at least block division information and/or quantization parameter information;
前記少なくとも１種類の辺情報及び前記処理後の少なくとも２種類の成分値に基づいて融合処理して、前記フィルタリング対象画素情報の融合情報を取得することは、 Performing a fusion process based on the at least one type of side information and the at least two types of component values after the processing to obtain fusion information of the filtering target pixel information,
前記処理後の少なくとも２種類の成分値及び各成分値に対応する第１辺情報を融合処理して、前記フィルタリング対象画素情報の融合情報を取得することを含む、請求項９に記載の方法。 10. The method of claim 9, comprising fusing the at least two types of component values after processing and the first edge information corresponding to each component value to obtain fusion information of the filtering target pixel information.
前記融合情報に対して連携処理及び分岐処理を行って、前記少なくとも２種類の成分値のうちの少なくとも１種類の成分値に対応する残差情報を取得することと、 Performing cooperation processing and branching processing on the fusion information to obtain residual information corresponding to at least one type of component value among the at least two types of component values;
前記少なくとも２種類の成分値のうちの少なくとも１種類の成分値と前記少なくとも１種類の成分値に対応する残差情報を加算演算して、前記フィルタリング対象画素情報をフィルタリングした後の少なくとも１種類の成分値を取得することと、を含む、請求項９に記載の方法。 At least one component value out of the at least two component values and residual information corresponding to the at least one component value are added to obtain at least one component value after filtering the filtering target pixel information. 10. The method of claim 9, comprising obtaining component values.
それぞれ前記少なくとも２種類の成分値のうちの各成分値及び各成分値に対応する第２辺情報を融合処理して、前記処理後の少なくとも２種類の成分値を取得することを含み、 fusing each component value of the at least two types of component values and second side information corresponding to each component value to obtain at least two types of component values after the processing;
前記第２辺情報は第１辺情報と異なり、 The second side information is different from the first side information,
前記少なくとも１種類の辺情報及び前記処理後の少なくとも２種類の成分値に基づいて融合処理して、前記フィルタリング対象画素情報の融合情報を取得することは、 Performing a fusion process based on the at least one type of side information and the at least two types of component values after the processing to obtain fusion information of the filtering target pixel information,
前記処理後の少なくとも２種類の成分値及び各成分値に対応する第２辺情報を融合処理して、前記フィルタリング対象画素情報の融合情報を取得することを含む、請求項８～１１のいずれか１項に記載の方法。 12. The method according to any one of claims 8 to 11, comprising fusing at least two types of component values after said processing and second side information corresponding to each component value to obtain fusion information of said filtering target pixel information. 1. The method according to item 1.
ビットストリームを復号化して、インループフィルタリング後の画像を取得することと、 decoding the bitstream to obtain an image after in-loop filtering;
インループフィルタリング後の画像に含まれる画素をフィルタリング対象画素情報とし、前記フィルタリング方法を実行して、前記フィルタリング対象画素情報をフィルタリングした後の少なくとも１種類の成分値を取得することと、 setting pixels included in an image after in-loop filtering as filtering target pixel information, and performing the filtering method to obtain at least one component value after filtering the filtering target pixel information;
前記フィルタリング対象画素情報をフィルタリングした後の少なくとも１種類の成分値に基づいて、画像を再構築するすることと、を含む、請求項８に記載の方法。 9. The method of claim 8, comprising reconstructing an image based on at least one component value after filtering the filtered pixel information.
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US201962822951P | 2019-03-24 | 2019-03-24 | |
| US62/822,951 | 2019-03-24 | ||
| PCT/CN2019/104499 WO2020192020A1 (en) | 2019-03-24 | 2019-09-05 | Filtering method and device, encoder and computer storage medium |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2022526107A JP2022526107A (en) | 2022-05-23 |
| JPWO2020192020A5 true JPWO2020192020A5 (en) | 2022-09-05 |
Family
ID=72608393
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2021556289A Pending JP2022526107A (en) | 2019-03-24 | 2019-09-05 | Filtering methods, devices, encoders and computer storage media |
Country Status (6)
| Country | Link |
|---|---|
| US (1) | US20220021905A1 (en) |
| EP (1) | EP3941057A4 (en) |
| JP (1) | JP2022526107A (en) |
| KR (1) | KR20210139342A (en) |
| CN (1) | CN113574884A (en) |
| WO (1) | WO2020192020A1 (en) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2021249684A1 (en) * | 2020-06-10 | 2021-12-16 | Huawei Technologies Co., Ltd. | Adaptive image enhancement using inter-channel correlation information |
| US11838522B2 (en) * | 2020-12-29 | 2023-12-05 | Tencent America LLC | Method and apparatus for video coding |
| US20230023579A1 (en) * | 2021-07-07 | 2023-01-26 | Lemon, Inc. | Configurable Neural Network Model Depth In Neural Network-Based Video Coding |
| WO2023190053A1 (en) * | 2022-03-31 | 2023-10-05 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ | Image encoding device, image decoding device, image encoding method, and image decoding method |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| AU2016203181B2 (en) * | 2016-05-16 | 2018-09-06 | Canon Kabushiki Kaisha | Method, apparatus and system for determining a luma value |
| CN109120937B (en) * | 2017-06-26 | 2020-03-27 | 杭州海康威视数字技术股份有限公司 | Video encoding method, decoding method, device and electronic equipment |
| CN109151475B (en) * | 2017-06-27 | 2020-03-27 | 杭州海康威视数字技术股份有限公司 | Video encoding method, decoding method, device and electronic equipment |
| WO2019031410A1 (en) * | 2017-08-10 | 2019-02-14 | シャープ株式会社 | Image filter device, image decoding device, and image coding device |
| EP3451670A1 (en) * | 2017-08-28 | 2019-03-06 | Thomson Licensing | Method and apparatus for filtering with mode-aware deep learning |
| CN108184129B (en) * | 2017-12-11 | 2020-01-10 | 北京大学 | Video coding and decoding method and device and neural network for image filtering |
-
2019
- 2019-09-05 CN CN201980094255.XA patent/CN113574884A/en active Pending
- 2019-09-05 EP EP19922221.7A patent/EP3941057A4/en active Pending
- 2019-09-05 WO PCT/CN2019/104499 patent/WO2020192020A1/en unknown
- 2019-09-05 KR KR1020217032825A patent/KR20210139342A/en active Search and Examination
- 2019-09-05 JP JP2021556289A patent/JP2022526107A/en active Pending
-
2021
- 2021-09-14 US US17/475,184 patent/US20220021905A1/en active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| TWI709329B (en) | Method and apparatus of neural network for video coding | |
| CN107925762B (en) | Video coding and decoding processing method and device based on neural network | |
| TWI729378B (en) | Method and apparatus of neural network for video coding | |
| JP6425609B2 (en) | Method and apparatus for space change residual coding | |
| CN113747179B (en) | Loop filter implementation method and device and computer storage medium | |
| JP7350082B2 (en) | Loop filtering method, apparatus and computer storage medium | |
| CN113766249B (en) | Loop filtering method, device, equipment and storage medium in video coding and decoding | |
| TWI779161B (en) | Method and apparatus of neural networks with grouping for video coding | |
| US20220021905A1 (en) | Filtering method and device, encoder and computer storage medium | |
| CN113574897A (en) | Filtering method and device and computer storage medium | |
| US20210400311A1 (en) | Method and Apparatus of Line Buffer Reduction for Neural Network in Video Coding | |
| Saldanha et al. | An overview of dedicated hardware designs for state-of-the-art AV1 and H. 266/VVC video codecs | |
| JP2024045387A (en) | Image decoding method, decoder, and computer storage medium | |
| CN110619607B (en) | Image denoising and image coding and decoding method and device including image denoising | |
| JPWO2020192020A5 (en) | ||
| Liu et al. | Exploring effective mask sampling modeling for neural image compression | |
| Zhang et al. | A Reconfigurable Framework for Neural Network Based Video In-Loop Filtering | |
| WO2023051223A1 (en) | Filtering method and apparatus, encoding method and apparatus, decoding method and apparatus, computer-readable medium, and electronic device | |
| WO2023134731A1 (en) | In-loop neural networks for video coding | |
| CN117981309A (en) | Encoding and decoding method, code stream, encoder, decoder, storage medium, and system | |
| CN113556567A (en) | Method and device for inter-frame prediction |