JPWO2020188229A5

JPWO2020188229A5 -

Info

Publication number: JPWO2020188229A5
Application number: JP2021558487A
Authority: JP
Publication date: 2022-12-20

Claims

入力信号を符号化する方法であって、前記方法が、
入力信号を受信することと、
前記入力信号と、１つ以上のそれぞれの解像度での１つ以上の再構成された信号との間の差異に基づいて、残差の１つ以上のセットを生成することと、
選択された残差モードに基づいて、前記残差の１つ以上のセットを修正することと、
前記修正された残差の１つ以上のセットを符号化して、１つ以上のそれぞれの符号化ストリームを生成することと、を含み、
前記符号化することが、前記修正された残差の１つ以上のセットを変換することを含み、
前記修正することが、前記選択された残差モードに基づいて、符号化しない残差のサブセットを選択することを含む、方法。 A method of encoding an input signal, the method comprising:
receiving an input signal;
generating one or more sets of residuals based on differences between the input signal and one or more reconstructed signals at one or more respective resolutions;
modifying one or more sets of residuals based on a selected residual mode;
encoding the one or more sets of modified residuals to generate one or more respective encoded streams;
the encoding comprises transforming one or more sets of the modified residuals;
The method wherein said modifying comprises selecting a subset of residuals not to be coded based on said selected residual mode.

前記入力信号が、第１の解像度であり、前記方法が、
前記入力信号をダウンサンプリングして、第２の解像度でダウンサンプリングされた信号を作成することと、
ベースエンコーダからベース符号化信号を受信することであって、前記ベース符号化信号が、前記ベースエンコーダを使用して、前記ダウンサンプリングされた信号を符号化することによって生成される、受信することと、
前記ベース符号化信号からの信号を再構成して、前記１つ以上の再構成された信号内の第１の再構成された信号を生成することと、
前記第１の再構成された信号を前記入力信号と比較して、前記残差の１つ以上のセット内の残差の第１のセットを生成することと、をさらに含み、
前記第１の再構成された信号を前記入力信号と比較して、前記残差の１つ以上のセットのうちの第１のセットを生成することが、
前記ベース符号化信号を復号して、ベース復号信号を生成することと、
前記ベース復号信号と、前記入力信号の前記ダウンサンプリングされたバージョンとの間の差異を使用して、前記残差の第１のセットを生成することと、を含み、
前記方法が、
前記残差の１つ以上のセット内の残差の第２のセットを生成することであって、
前記残差の第１のセットを使用して、前記ベース復号信号を補正して、補正された復号バージョンを作成することと、
前記補正された復号バージョンをアップサンプリングすることと、
前記補正された復号信号と、前記入力信号との間の差異を使用して、前記残差の第２のセットを生成することと、によって生成すること、をさらに含み、
前記修正することが、前記残差の第１および第２のセットのうちの１つ以上に対して個別に行われる、請求項１に記載の方法。 wherein the input signal is at a first resolution and the method comprises:
downsampling the input signal to produce a downsampled signal at a second resolution;
receiving a base encoded signal from a base encoder, wherein the base encoded signal is generated by encoding the downsampled signal using the base encoder; ,
reconstructing a signal from the base encoded signal to produce a first reconstructed signal within the one or more reconstructed signals;
comparing the first reconstructed signal to the input signal to generate a first set of residuals in the one or more sets of residuals ;
Comparing the first reconstructed signal to the input signal to generate a first set of the one or more sets of residuals;
decoding the base encoded signal to produce a base decoded signal;
using differences between the base decoded signal and the downsampled version of the input signal to generate the first set of residuals;
the method comprising:
generating a second set of residuals within the one or more sets of residuals,
correcting the base decoded signal using the first set of residuals to produce a corrected decoded version;
upsampling the corrected decoded version;
using the difference between the corrected decoded signal and the input signal to generate a second set of residuals;
2. The method of claim 1 , wherein said modifying is performed individually on one or more of said first and second sets of residuals .

残差の第１のセットが、第１の空間解像度であり、残差の第２のセットが、第２の空間解像度であり、前記第１の空間解像度が、前記第２の空間解像度よりも低い、請求項１に記載の方法。 A first set of residuals is at a first spatial resolution and a second set of residuals is at a second spatial resolution, said first spatial resolution being greater than said second spatial resolution. 2. The method of claim 1, low.

前記修正するステップが、
前記残差の１つ以上のセット内の残差をランク付けすることと、
前記ランク付けすることに基づいて、前記残差をフィルタリングすることと、を含む、請求項１～４のいずれか一項に記載の方法。 The modifying step includes:
ranking the residuals within the one or more sets of residuals;
and filtering the residuals based on the ranking.

前記修正することが、
各残差または残差の各グループと関連付けられたスコアを判定することを含み、
前記スコアが、各残差または残差の各グループの相対的重要性を示し、
符号化しない残差のサブセットを前記選択することが、各残差または残差の各グループと関連付けられた前記スコアに基づいており、
前記スコアが、前記入力信号の１つ以上の空間特性および／または時間特性に基づいており、
前記スコアが、好ましくは、前記入力信号のコントラストのレベル、またはテクスチャのレベル、またはその両方に基づいている、請求項１～４のいずれか一項に記載の方法。 The modifying may include:
determining a score associated with each residual or each group of residuals;
the score indicates the relative importance of each residual or each group of residuals;
wherein said selecting a subset of residuals to not encode is based on said score associated with each residual or each group of residuals;
the score is based on one or more spatial and/or temporal properties of the input signal;
A method according to any one of claims 1 to 4 , wherein said score is preferably based on the level of contrast or the level of texture or both of said input signal .

前記修正することが、
前記残差のそれぞれのセットにおける残差を量子化することを含み、量子化することが、可変サイズのデッドゾーンを適用することを含み、
前記デッドゾーンが、量子化ステップ幅の関数として判定される、請求項１～５のいずれか一項に記載の方法。 The modifying may include:
quantizing residuals in each set of residuals, wherein quantizing includes applying a dead zone of variable size;
A method according to any one of claims 1 to 5, wherein the deadzone is determined as a function of quantization step size .

前記修正することが、前記残差の１つ以上のセットを量子化することを含み、
前記残差の１つ以上のセットを量子化することが、
前記残差の１つ以上のセットを第１の段階で量子化して、前記修正を達成することと、
前記残差の１つ以上のセットを第２の段階で量子化して、前記符号化を達成することと、含む、請求項１～６のいずれか一項に記載の方法。 said modifying comprises quantizing one or more sets of said residuals;
quantizing one or more sets of residuals;
quantizing one or more sets of said residuals in a first stage to achieve said modification;
quantizing said one or more sets of residuals in a second stage to achieve said encoding.

前記修正することが、
前記スコアを範囲のセットと比較することを含み、
前記スコアが第１の範囲内に入ることに応答して、前記残差または残差のグループが、符号化されず、
前記スコアが第２の範囲内に入ることに応答して、前記残差または残差のグループが、量子化デッドゾーンと比較され、前記残差または残差のグループが前記デッドゾーン内に入る場合、前記残差または残差のグループが、符号化されず、
前記スコアが第３の範囲内に入ることに応答して、前記残差または残差のグループが、第１の量子化ステップ幅で事前量子化され、
前記スコアが第４の範囲内に入ることに応答して、前記残差または残差のグループが、修正なしに、符号化のために渡される、請求項５に記載の方法。 The modifying may include:
comparing the score to a set of ranges;
wherein the residual or group of residuals is not encoded in response to the score falling within a first range;
if the residual or group of residuals is compared to a quantization deadzone in response to the score falling within a second range, and the residual or group of residuals falls within the deadzone; , the residual or group of residuals is not coded,
pre-quantizing the residual or group of residuals with a first quantization step size in response to the score falling within a third range;
6. The method of claim 5 , wherein the residual or group of residuals is passed for encoding without modification in response to the score falling within a fourth range.

前記残差の１つ以上のセットを修正することが、
残差または残差のグループのカテゴリ化を取得することと、
前記カテゴリ化に基づいて、前記修正を適用することと、を含み、
カテゴリ化を取得することが、
前記入力信号または前記残差の１つ以上のセットの１つ以上の空間特性および／または時間特性に基づいて、残差または残差のグループをカテゴリ化すること、を含み、
前記１つ以上の空間特性および／または時間特性が、
１つ以上の信号要素または信号要素のグループ間の空間活性度、
１つ以上の信号要素または信号要素のグループ間のコントラストのレベル、
１つ以上の空間方向における変化の尺度、
１つ以上の信号要素または信号要素のグループ間の時間的活性度、
１つ以上の時間方向における変化の尺度、
１つ以上の残差間の空間活性度、
１つ以上の残差間の時間的活性度、および
前記残差の１つ以上のセットのうちの異なるセット間の差異、または前記残差の１つ以上のセットのうちの異なるセット間の１つ以上の空間特性および／もしくは時間特性の差異を含む群から選択される１つ以上を含む、請求項１～８のいずれか一項に記載の方法。 modifying one or more sets of residuals;
obtaining a categorization of a residual or group of residuals;
applying the modification based on the categorization ;
to get the categorization
categorizing residuals or groups of residuals based on one or more spatial and/or temporal properties of the input signal or one or more sets of residuals;
the one or more spatial and/or temporal properties are
spatial activity between one or more signal elements or groups of signal elements;
the level of contrast between one or more signal elements or groups of signal elements;
a measure of change in one or more spatial directions;
temporal activity between one or more signal elements or groups of signal elements;
a measure of change in one or more time directions;
spatial activity between one or more residuals,
temporal activity between one or more residuals, and
differences between different ones of said one or more sets of residuals, or differences in one or more spatial and/or temporal properties between different ones of said one or more sets of residuals The method of any one of claims 1-8 , comprising one or more selected from the group .

前記修正することは、
残差が、前記符号化において符号化されるべきかどうかを示す制御フラグを設定することを含み、
前記符号化することが、前記制御フラグに基づいて選択的に行われる、請求項１～９のいずれか一項に記載の方法。 Said modifying includes:
setting a control flag indicating whether residuals should be encoded in the encoding;
A method according to any preceding claim, wherein said encoding is selectively performed based on said control flag.

前記修正することが、
残差重みのセットを受信することであって、前記残差重みがゼロ値を含む、受信することと、
前記残差重みのセットを、前記残差の１つ以上のセットのうちの１つ内の残差に適用して、残差の重み付けされたセットを生成することと、
前記残差重みのセットを前記適用することに続いて、閾値のセットを使用して、前記残差の重み付けされたセットを閾値処理することを含み、
前記残差重みのセットおよび前記閾値のセットのうちの前記１つ以上が、前記入力信号の分類に基づいて決定される、請求項１～１０のいずれか一項に記載の方法。 The modifying may include:
receiving a set of residual weights, the residual weights comprising a value of zero;
applying the set of residual weights to residuals in one of the one or more sets of residuals to generate a weighted set of residuals;
following the applying the set of residual weights, thresholding the weighted set of residuals using a set of thresholds;
A method according to any preceding claim , wherein said one or more of said set of residual weights and said set of thresholds are determined based on a classification of said input signal .

前記残差重みのセットが、残差マスクを含み、
任意に、前記残差マスクが、符号化の前に、前記入力信号の事前処理に基づいて事前生成される、請求項１１に記載の方法。 the set of residual weights comprises a residual mask;
12. The method of claim 11 , wherein optionally said residual mask is pre-generated based on pre-processing of said input signal prior to encoding .

入力信号を符号化する方法であって、前記方法が、
入力信号を受信することと、
前記入力信号と、再構成された信号との間の差異に基づいて、残差のセットを生成することと、
前記残差のセットに対応する知覚メトリックのセットを決定することと、
前記知覚メトリックのセットに基づいて、前記残差のセットを選択的に事前量子化することと、
前記修正された残差の１つ以上のセットを変換および量子化して、１つ以上のそれぞれの符号化ストリームを生成することと、を含む、方法。 A method of encoding an input signal, the method comprising:
receiving an input signal;
generating a set of residuals based on differences between the input signal and a reconstructed signal;
determining a set of perceptual metrics corresponding to the set of residuals;
selectively pre-quantizing the set of residuals based on the set of perceptual metrics;
transforming and quantizing the one or more sets of modified residuals to produce one or more respective encoded streams.

請求項１～１３のいずれか一項に記載の方法を実行するように構成されたエンコーダ。 An encoder configured to perform the method of any one of claims 1-13 .

プロセッサによって実行されたときに、前記プロセッサに、請求項１～１３のいずれか一項に記載の方法を実行させる命令を記憶する非一時的なコンピュータ可読記憶媒体。 A non-transitory computer readable storage medium storing instructions which, when executed by a processor, cause said processor to perform the method of any one of claims 1-13 .

入力信号の符号化を表すビットストリームであって、 A bitstream representing the encoding of an input signal,
前記ビットストリームは、 The bitstream is
修正された残差のセットを符号化することによって発生した複数の符号化されたストリームを備え、 comprising a plurality of encoded streams generated by encoding a set of modified residuals;
前記修正された残差のセットは、 The set of modified residuals is:
入力信号と、１つ以上のそれぞれの解像度での１つ以上の再構成信号との間の差異に基づいて、残差の１つ以上のセットを生成することと、 generating one or more sets of residuals based on differences between the input signal and one or more reconstructed signals at one or more respective resolutions;
選択された残差モードに基づいて、残差の１つ以上のセットを修正することと、 modifying one or more sets of residuals based on a selected residual mode;
によって発生し、 caused by
符号化することが、修正された残差の１つ以上のセットを変換することを含み、 encoding comprises transforming one or more sets of modified residuals;
修正することが、選択された残差モードに基づいて符号化しない残差のサブセットを選択することを含む、ビットストリーム。 The bitstream, wherein modifying includes selecting a subset of residuals not to be coded based on a selected residual mode.

入力ビデオを符号化するためのエンコーダであって、
残差の第１のセットを受信および符号化して、第１の強化ストリームを作成するための第１のエンコーダと、
残差の第２のセットを受信および符号化して、第２の強化ストリームを作成するための第２のエンコーダと、を備え、
前記残差の第１のセットが、前記入力ビデオの第１のバージョンと、前記入力ビデオの第１の再構成バージョンとの比較に基づいており、前記第１の再構成バージョンが、ベースエンコーダから導出され、前記ベースエンコーダが、前記第１および第２のエンコーダとは異なっており、
前記残差の第２のセットが、前記入力ビデオの第２のバージョンと、前記入力ビデオの第２の再構成バージョンとの比較に基づいており、前記第２の再構成バージョンが、前記第１の再構成バージョンから導出され、
前記残差の第１および第２のセットのそれぞれのセット内の非ゼロ値のサブセットが、それぞれの第１および第２の強化レベルストリーム内に存在しないように、前記第１および第２のエンコーダのうちの１つ以上が、符号化の前に、残差を選択的に事前処理するように構成されている、エンコーダ。 An encoder for encoding an input video,
a first encoder for receiving and encoding the first set of residuals to produce a first enhancement stream;
a second encoder for receiving and encoding the second set of residuals to produce a second enhancement stream;
wherein the first set of residuals is based on comparing a first version of the input video to a first reconstructed version of the input video, the first reconstructed version from a base encoder; is derived, wherein the base encoder is different than the first and second encoders;
The second set of residuals is based on a comparison of a second version of the input video and a second reconstructed version of the input video, the second reconstructed version being the first derived from a reconstructed version of
the first and second encoders such that a subset of non-zero values in each of the first and second sets of residuals are absent in the respective first and second enhancement level streams; one or more of which are configured to selectively pre-process the residuals prior to encoding.

入力ビデオを符号化するためのエンコーダであって、
残差の第１のセットを受信および符号化して、第１の強化ストリームを作成するための第１のエンコーダと、
残差の第２のセットを受信および符号化して、第２の強化ストリームを作成するための第２のエンコーダと、
構成データを受信するための構成インターフェースと、を備え、
前記残差の第１のセットが、前記入力ビデオの第１のバージョンと、前記入力ビデオの第１の再構成バージョンとの比較に基づいており、前記第１の再構成バージョンが、ベースエンコーダから導出され、前記ベースエンコーダが、前記第１および第２のエンコーダとは異なっており、
前記残差の第２のセットが、前記入力ビデオの第２のバージョンと、前記入力ビデオの第２の再構成バージョンとの比較に基づいており、前記第２の再構成バージョンが、前記第１の再構成バージョンから導出され、
前記構成データが、前記第１および第２のエンコーダのうちの１つ以上のための残差マスクを含み、
内の非ゼロ値のサブセットが、それぞれの第１および第２の強化レベルストリーム内に存在しないように、前記第１および第２のエンコーダのうちのそれぞれのエンコーダが、符号化の前に、前記残差の第１および第２のセットのうちのそれぞれのセットに前記残差マスクを選択的に適用するように構成されている、エンコーダ。 An encoder for encoding an input video,
a first encoder for receiving and encoding the first set of residuals to produce a first enhancement stream;
a second encoder for receiving and encoding the second set of residuals to produce a second enhancement stream;
a configuration interface for receiving configuration data;
wherein the first set of residuals is based on comparing a first version of the input video to a first reconstructed version of the input video, the first reconstructed version from a base encoder; is derived, wherein the base encoder is different than the first and second encoders;
The second set of residuals is based on a comparison of a second version of the input video and a second reconstructed version of the input video, the second reconstructed version being the first derived from a reconstructed version of
the configuration data includes residual masks for one or more of the first and second encoders;
prior to encoding, such that a subset of non-zero values in the An encoder configured to selectively apply the residual mask to respective ones of first and second sets of residuals.