JPWO2020188229A5 - - Google Patents

Claims (18)

1. 入力信号を符号化する方法であって、前記方法が、
   入力信号を受信することと、
   前記入力信号と、１つ以上のそれぞれの解像度での１つ以上の再構成された信号との間の差異に基づいて、残差の１つ以上のセットを生成することと、
   選択された残差モードに基づいて、前記残差の１つ以上のセットを修正することと、
   前記修正された残差の１つ以上のセットを符号化して、１つ以上のそれぞれの符号化ストリームを生成することと、を含み、
   前記符号化することが、前記修正された残差の１つ以上のセットを変換することを含み、
   前記修正することが、前記選択された残差モードに基づいて、符号化しない残差のサブセットを選択することを含む、方法。
2. 前記入力信号が、第１の解像度であり、前記方法が、
   前記入力信号をダウンサンプリングして、第２の解像度でダウンサンプリングされた信号を作成することと、
   ベースエンコーダからベース符号化信号を受信することであって、前記ベース符号化信号が、前記ベースエンコーダを使用して、前記ダウンサンプリングされた信号を符号化することによって生成される、受信することと、
   前記ベース符号化信号からの信号を再構成して、前記１つ以上の再構成された信号内の第１の再構成された信号を生成することと、
   前記第１の再構成された信号を前記入力信号と比較して、前記残差の１つ以上のセット内の残差の第１のセットを生成することと、をさらに含み、
   前記第１の再構成された信号を前記入力信号と比較して、前記残差の１つ以上のセットのうちの第１のセットを生成することが、
   前記ベース符号化信号を復号して、ベース復号信号を生成することと、
   前記ベース復号信号と、前記入力信号の前記ダウンサンプリングされたバージョンとの間の差異を使用して、前記残差の第１のセットを生成することと、を含み、
   前記方法が、
   前記残差の１つ以上のセット内の残差の第２のセットを生成することであって、
   前記残差の第１のセットを使用して、前記ベース復号信号を補正して、補正された復号バージョンを作成することと、
   前記補正された復号バージョンをアップサンプリングすることと、
   前記補正された復号信号と、前記入力信号との間の差異を使用して、前記残差の第２のセットを生成することと、によって生成すること、をさらに含み、
   前記修正することが、前記残差の第１および第２のセットのうちの１つ以上に対して個別に行われる、請求項１に記載の方法。
3. 残差の第１のセットが、第１の空間解像度であり、残差の第２のセットが、第２の空間解像度であり、前記第１の空間解像度が、前記第２の空間解像度よりも低い、請求項１に記載の方法。
4. 前記修正するステップが、
   前記残差の１つ以上のセット内の残差をランク付けすることと、
   前記ランク付けすることに基づいて、前記残差をフィルタリングすることと、を含む、請求項１～４のいずれか一項に記載の方法。
5. 前記修正することが、
   各残差または残差の各グループと関連付けられたスコアを判定することを含み、
   前記スコアが、各残差または残差の各グループの相対的重要性を示し、
   符号化しない残差のサブセットを前記選択することが、各残差または残差の各グループと関連付けられた前記スコアに基づいており、
   前記スコアが、前記入力信号の１つ以上の空間特性および／または時間特性に基づいており、
   前記スコアが、好ましくは、前記入力信号のコントラストのレベル、またはテクスチャのレベル、またはその両方に基づいている、請求項１～４のいずれか一項に記載の方法。
6. 前記修正することが、
   前記残差のそれぞれのセットにおける残差を量子化することを含み、量子化することが、可変サイズのデッドゾーンを適用することを含み、
   前記デッドゾーンが、量子化ステップ幅の関数として判定される、請求項１～５のいずれか一項に記載の方法。
7. 前記修正することが、前記残差の１つ以上のセットを量子化することを含み、
   前記残差の１つ以上のセットを量子化することが、
   前記残差の１つ以上のセットを第１の段階で量子化して、前記修正を達成することと、
   前記残差の１つ以上のセットを第２の段階で量子化して、前記符号化を達成することと、含む、請求項１～６のいずれか一項に記載の方法。
8. 前記修正することが、
   前記スコアを範囲のセットと比較することを含み、
   前記スコアが第１の範囲内に入ることに応答して、前記残差または残差のグループが、符号化されず、
   前記スコアが第２の範囲内に入ることに応答して、前記残差または残差のグループが、量子化デッドゾーンと比較され、前記残差または残差のグループが前記デッドゾーン内に入る場合、前記残差または残差のグループが、符号化されず、
   前記スコアが第３の範囲内に入ることに応答して、前記残差または残差のグループが、第１の量子化ステップ幅で事前量子化され、
   前記スコアが第４の範囲内に入ることに応答して、前記残差または残差のグループが、修正なしに、符号化のために渡される、請求項５に記載の方法。
9. 前記残差の１つ以上のセットを修正することが、
   残差または残差のグループのカテゴリ化を取得することと、
   前記カテゴリ化に基づいて、前記修正を適用することと、を含み、
   カテゴリ化を取得することが、
   前記入力信号または前記残差の１つ以上のセットの１つ以上の空間特性および／または時間特性に基づいて、残差または残差のグループをカテゴリ化すること、を含み、
   前記１つ以上の空間特性および／または時間特性が、
   １つ以上の信号要素または信号要素のグループ間の空間活性度、
   １つ以上の信号要素または信号要素のグループ間のコントラストのレベル、
   １つ以上の空間方向における変化の尺度、
   １つ以上の信号要素または信号要素のグループ間の時間的活性度、
   １つ以上の時間方向における変化の尺度、
   １つ以上の残差間の空間活性度、
   １つ以上の残差間の時間的活性度、および
   前記残差の１つ以上のセットのうちの異なるセット間の差異、または前記残差の１つ以上のセットのうちの異なるセット間の１つ以上の空間特性および／もしくは時間特性の差異を含む群から選択される１つ以上を含む、請求項１～８のいずれか一項に記載の方法。
10. 前記修正することは、
    残差が、前記符号化において符号化されるべきかどうかを示す制御フラグを設定することを含み、
    前記符号化することが、前記制御フラグに基づいて選択的に行われる、請求項１～９のいずれか一項に記載の方法。
11. 前記修正することが、
    残差重みのセットを受信することであって、前記残差重みがゼロ値を含む、受信することと、
    前記残差重みのセットを、前記残差の１つ以上のセットのうちの１つ内の残差に適用して、残差の重み付けされたセットを生成することと、
    前記残差重みのセットを前記適用することに続いて、閾値のセットを使用して、前記残差の重み付けされたセットを閾値処理することを含み、
    前記残差重みのセットおよび前記閾値のセットのうちの前記１つ以上が、前記入力信号の分類に基づいて決定される、請求項１～１０のいずれか一項に記載の方法。
12. 前記残差重みのセットが、残差マスクを含み、
    任意に、前記残差マスクが、符号化の前に、前記入力信号の事前処理に基づいて事前生成される、請求項１１に記載の方法。
13. 入力信号を符号化する方法であって、前記方法が、
    入力信号を受信することと、
    前記入力信号と、再構成された信号との間の差異に基づいて、残差のセットを生成することと、
    前記残差のセットに対応する知覚メトリックのセットを決定することと、
    前記知覚メトリックのセットに基づいて、前記残差のセットを選択的に事前量子化することと、
    前記修正された残差の１つ以上のセットを変換および量子化して、１つ以上のそれぞれの符号化ストリームを生成することと、を含む、方法。
14. 請求項１～１３のいずれか一項に記載の方法を実行するように構成されたエンコーダ。
15. プロセッサによって実行されたときに、前記プロセッサに、請求項１～１３のいずれか一項に記載の方法を実行させる命令を記憶する非一時的なコンピュータ可読記憶媒体。
16. 入力信号の符号化を表すビットストリームであって、
    前記ビットストリームは、
    修正された残差のセットを符号化することによって発生した複数の符号化されたストリームを備え、
    前記修正された残差のセットは、
    入力信号と、１つ以上のそれぞれの解像度での１つ以上の再構成信号との間の差異に基づいて、残差の１つ以上のセットを生成することと、
    選択された残差モードに基づいて、残差の１つ以上のセットを修正することと、
    によって発生し、
    符号化することが、修正された残差の１つ以上のセットを変換することを含み、
    修正することが、選択された残差モードに基づいて符号化しない残差のサブセットを選択することを含む、ビットストリーム。
17. 入力ビデオを符号化するためのエンコーダであって、
    残差の第１のセットを受信および符号化して、第１の強化ストリームを作成するための第１のエンコーダと、
    残差の第２のセットを受信および符号化して、第２の強化ストリームを作成するための第２のエンコーダと、を備え、
    前記残差の第１のセットが、前記入力ビデオの第１のバージョンと、前記入力ビデオの第１の再構成バージョンとの比較に基づいており、前記第１の再構成バージョンが、ベースエンコーダから導出され、前記ベースエンコーダが、前記第１および第２のエンコーダとは異なっており、
    前記残差の第２のセットが、前記入力ビデオの第２のバージョンと、前記入力ビデオの第２の再構成バージョンとの比較に基づいており、前記第２の再構成バージョンが、前記第１の再構成バージョンから導出され、
    前記残差の第１および第２のセットのそれぞれのセット内の非ゼロ値のサブセットが、それぞれの第１および第２の強化レベルストリーム内に存在しないように、前記第１および第２のエンコーダのうちの１つ以上が、符号化の前に、残差を選択的に事前処理するように構成されている、エンコーダ。
18. 入力ビデオを符号化するためのエンコーダであって、
    残差の第１のセットを受信および符号化して、第１の強化ストリームを作成するための第１のエンコーダと、
    残差の第２のセットを受信および符号化して、第２の強化ストリームを作成するための第２のエンコーダと、
    構成データを受信するための構成インターフェースと、を備え、
    前記残差の第１のセットが、前記入力ビデオの第１のバージョンと、前記入力ビデオの第１の再構成バージョンとの比較に基づいており、前記第１の再構成バージョンが、ベースエンコーダから導出され、前記ベースエンコーダが、前記第１および第２のエンコーダとは異なっており、
    前記残差の第２のセットが、前記入力ビデオの第２のバージョンと、前記入力ビデオの第２の再構成バージョンとの比較に基づいており、前記第２の再構成バージョンが、前記第１の再構成バージョンから導出され、
    前記構成データが、前記第１および第２のエンコーダのうちの１つ以上のための残差マスクを含み、
    内の非ゼロ値のサブセットが、それぞれの第１および第２の強化レベルストリーム内に存在しないように、前記第１および第２のエンコーダのうちのそれぞれのエンコーダが、符号化の前に、前記残差の第１および第２のセットのうちのそれぞれのセットに前記残差マスクを選択的に適用するように構成されている、エンコーダ。