JP7242705B2 - ビデオ符号化のための方法、装置、及びコンピュータプログラム - Google Patents

ビデオ符号化のための方法、装置、及びコンピュータプログラム Download PDF

Info

Publication number
JP7242705B2
JP7242705B2 JP2020560184A JP2020560184A JP7242705B2 JP 7242705 B2 JP7242705 B2 JP 7242705B2 JP 2020560184 A JP2020560184 A JP 2020560184A JP 2020560184 A JP2020560184 A JP 2020560184A JP 7242705 B2 JP7242705 B2 JP 7242705B2
Authority
JP
Japan
Prior art keywords
intra
prediction
angle
wide
mode
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020560184A
Other languages
English (en)
Other versions
JP2021520158A (ja
Inventor
ジャオ,シン
ジャオ,リアン
リィウ,シャン
リ,シアン
Original Assignee
テンセント・アメリカ・エルエルシー
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by テンセント・アメリカ・エルエルシー filed Critical テンセント・アメリカ・エルエルシー
Publication of JP2021520158A publication Critical patent/JP2021520158A/ja
Application granted granted Critical
Publication of JP7242705B2 publication Critical patent/JP7242705B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/11Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/91Entropy coding, e.g. variable length coding [VLC] or arithmetic coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Description

[関連出願の相互参照]
本出願は、2018年9月28日に提出された、発明の名称が「METHOD AND APPARATUS FOR VIDEO CODING」である米国特許出願番号第16/147,313号であって、且つ、現在の米国特許番号第10,284,844号の優先権を主張し、当該米国特許出願は、2018年7月27日にて提出された発明の名称が「Improvements on Wide-Angle Intra Prediction」である米国仮出願番号第62/711,390号、及び、2018年7月2日にて提出された発明の名称が「Methods and Apparatus for Wide Angular Intra Prediction in Video Compression」である米国仮出願番号第62/693,050号の優先権を主張し、上記の各出願の全内容は本明細書に援用により組み込まれる。
本開示は、一般的にビデオ符号化に関する実施形態を説明する。
本明細書で提供される背景の説明は、本開示の背景を一般的に提示することを目的とする。この背景技術で説明した作業の範囲について、現在名前が付けられている発明者の研究、及び出願時に他の方法で従来技術に限定されない可能性がある説明の各態様は、本開示に対する従来技術として明示的にも暗黙的にも認められていない。
動き補償を伴うインターピクチャ予測を使用してビデオの符号化及び復号を実行することができる。非圧縮のデジタルビデオは一連のピクチャを含んでもよく、各ピクチャの空間次元は、例えば1920×1080の輝度サンプル及び関連する色度サンプルである。当該一連のピクチャは、例えば、毎秒60ピクチャ又は60Hzの固定又は可変のピクチャレート(非公式にはフレームレートとも呼ばれる)を有することができる。非圧縮のビデオには、著しいビットレート要件がある。例えば、1サンプルあたり8ビットの1080p60 4:2:0ビデオ(60Hzフレームレートで1920×1080の輝度サンプルの解像度)は、約1.5Gbit/sに近い帯域幅が必要である。このようなビデオを1時間使用するには、600GB以上のストレージスペースが必要である。
ビデオ符号化及び復号の目的の1つは、圧縮によって、入力ビデオ信号の冗長性を低減することである。圧縮は、以上に言及された帯域幅又はストレージスペースの要件を低減することに役立つことができ、場合によっては、2桁以上低減されることがある。可逆圧縮、非可逆圧縮、及びそれらの組み合わせを採用できる。可逆圧縮とは、圧縮された元の信号から元の信号の正確なレプリカを再構築する技術を指す。非可逆圧縮を使用する場合に、再構築された信号は、元の信号と異なる可能性があるが、元の信号と再構築された信号との間の歪みは、再構成された信号を目的のアプリケーションに役立てるのに十分なほど小さい。ビデオの場合に、非可逆圧縮は広く使用される。許容される歪み量は、アプリケーションによって異なり、例えば、特定のコンシューマストリーミングアプリケーションのユーザは、テレビ投稿アプリケーションのユーザよりも高い歪みを許容できる。達成可能な圧縮率は、許可/許容可能な歪みが高いほど、達成可能な圧縮率が高くなることを反映することができる。
ビデオ符号器と復号器は、例えば、動き補償、変換、量子化、エントロピー符号化などを含む、いくつかの幅広いカテゴリの技術を利用し得る。
ビデオコーデック技術には、イントラ符号化と呼ばれる技術が含まれる。イントラ符号化では、サンプル値は、以前に再構築された参照ピクチャからのサンプル、又は他のデータを参照せず表現される。いくつかのビデオコーデックでは、ピクチャは空間的にサンプルブロックに細分される。全てのサンプルブロックをイントラモードで符号化する場合、当該ピクチャはイントラピクチャであってもよい。イントラピクチャ及びその派生物(例えば、デコーダ復号動作の瞬時リフレッシュピクチャ)は、復号器の状態をリセットするために使用できるため、符号化されたビデオビットストリームとビデオセッションにおける最初のピクチャ、又は静止画像として使用されることができる。イントラブロックのサンプルを変換することができ、また、エントロピー符号化を行う前に、変換係数を量子化することができる。イントラ予測は、事前変換ドメインにおいてサンプル値を最小化する技術であってもよい。場合によっては、変換されたDC値が小さく、且つAC係数が小さいほど、特定の量子化ステップサイズで、エントロピー符号化されたブロックを表すために必要なビットが少なくなる。
例えばMPEG-2世代の符号化技術から知られているような従来のイントラ符号化は、イントラ予測を使用しない。しかしながら、いくつかの新たなビデオ圧縮技術は、例えば、空間的に隣接し且つ復号順序で先行するデータブロックを符号化/復号する期間に取得されたメタデータ及び/又は周辺のサンプルデータから試みる技術を含む。以降、このような技術は「イントラ予測」技術と呼ばれる。なお、少なくともいくつかの場合に、イントラ予測は、再構築中の現在ピクチャからの参照データのみを使用し、参照画像からの参照データを使用しないことに注意されたい。
イントラ予測には多くの異なる形態があってもよい。特定のビデオ符号化技術では、1種以上のこのような技術を使用できる場合に、使用される技術をイントラ予測モードで符号化することができる。場合によって、モードは、サブモード及び/又はパラメータを有してもよく、これらのサブモード及び/又はパラメータは、別個に符号化されるか、又はモードコードワードに含まれてもよい。特定のモード/サブモード/パラメータの組み合わせにどんなコードワードを使用するかということは、イントラ予測による符号化効率の向上に影響を与える可能性があるため、エントロピー符号化技術は、コードワードをビットストリームに変換するために使用されてもよい。
イントラ予測の特定のモードはH.264を介して導入され、H.265において細分され、例えば共同探索モデル(JEM)、多用途ビデオ符号化(VVC)、ベンチマークセット(BMS)などの新たな符号化技術では、さらに細分される。既に使用可能なサンプルに属する隣接サンプル値を使用して予測ブロックを形成することができる。方向に従って、隣接サンプルのサンプル値を予測ブロックにコピーする。使用されている方向の参照は、ビットストリームに符号化されることができ、又はそれ自体が予測されることができる。
図1を参照し、右下に、H.265の35個の可能な予測値方向から得られる9つの予測方向のサブセットが描かれている。矢印が集まる点(101)は、予測されるサンプルを表す。矢印は、サンプルが予測される方向を表す。例えば、矢印(102)は、右上の、水平と45度の角度をなす1つ以上のサンプルからサンプル(101)を予測することを指示する。同様に、矢印(103)は、サンプル(101)の左下の、水平と22.5度の角度をなす1つ以上のサンプルからサンプル(101)を予測することを指示する。
引き続き図1を参照し、4×4サンプルの正方形ブロック(104)(太い破線で示される)は左上に描画される。正方形ブロック(104)は16サンプルが含まれ、各サンプルは、「S」、Y次元での位置(例えば、行インデックス)及びX次元での位置(例えば、列インデックス)がラベル付けされる。例えば、サンプルS21は、Y次元での(上からの)2番目のサンプルと、X次元での(左側からの)1番目のサンプルである。同様に、サンプルS44は、ブロック(104)において、Y次元とX次元の両方での4番目のサンプルである。ブロックのサイズは4×4サンプルであるから、S44は、右下にある。さらに、同様の番号付けスキームに従う参照サンプルが示される。参照サンプルは、R、ブロック(104)に対するY位置(例えば、行インデックス)及びX位置(列インデックス)がラベル付けされる。H.264とH.265の両方で、予測サンプルは、再構築中のブロックに隣接しているため、負の値を使用する必要がない。
イントラピクチャ予測は、シグナリングされる予測方向に応じて、隣接するサンプルから参照サンプル値をコピーすることで行われる。例えば、符号化されたビデオビットストリームに、このブロックに対して矢印(102)と一致する予測方向を指示するシグナリングが含まれる、つまり、右上の、水平と45度の角度をなす1つ以上の予測サンプルからサンプルを予測すると想定する。この場合、同じR05からサンプルS41、S32、S23及びS14が予測される。次に、R08からサンプルS44が予測される。
いくつかの場合に、特に、方向が45度で均等に分割できない場合に、参照サンプルを計算するために、複数の参照サンプルの値を例えば補間によって組み合わせることができる。
ビデオ符号化技術の開発に伴い、可能な方向の数も増えている。H.264(2003年)では、9つの異なる方向を表すことができる。これは、H.265(2013年)では33個に増え、また、開示時に、JEM/VVC/BMSは最大65個の方向をサポートすることができる。最も可能性の高い方向を認識するための実験が既に行われており、エントロピー符号化における特定の技術を使用して、少ないビット数でこれらの可能な方向を表すことで、可能性の低い方向に対する特定のペナルティを受ける。また、隣接する復号されたブロックで使用される隣接方向から、方向自体を予測できる場合がある。
図2は、経時的に増加する予測方向の数を示すために、JEMによる67個のイントラ予測モードを描く概略図201である。
符号化されたビデオビットストリームにおいて方向を表すイントラ予測方向ビットのマッピングは、ビデオ符号化技術によって異なる可能性があり、そして、例えば、予測方向→イントラ予測モード→コードワードという単純な直接マッピングから、最確モード及び類似の技術を含む複雑な自己適応スキームへ変化してもよい。当業者はそれらの技術をよく知っている。ただし、すべての場合において、他の方向よりも統計的にビデオコンテンツで発生する可能性が低い特定の方向が存在する可能性がある。ビデオ圧縮の目的は冗長性の削減であるため、適切に機能するビデオ符号化技術では、これらの可能性の低い方向は、可能性の高い方向よりも多くのビット数で表される。
本開示の各態様は、ビデオ符号化のための方法及び装置を提供する。いくつかの例において、装置は受信回路及び処理回路を含む。
本発明の一実施形態は復号器が実行するビデオ復号の方法に関する。当該方法は、符号化されたビデオシーケンスから、少なくとも1つの構文要素を復号するステップであって、少なくとも1つの構文要素がイントラ予測モードを示す、ステップと、複数のイントラ予測モードと複数のイントラ予測角度との間の所定の関係に基づいて、イントラ予測モードに対応するイントラ予測角度を決定するステップと、イントラ予測モードに対応すると決定されたイントラ予測角度を使用してブロックの少なくとも1つのサンプルを再構築するステップと、を含む。所定の関係における前記複数のイントラ予測モードは、第1の複数の広角予測モード及び第2の複数の広角予測モードのうちの少なくとも一つを含んでもよい。第1の複数の広角予測モードは、左下方向対角線モードを超え、第2の複数の広角予測モードは、右上方向対角線モードを超える。関係はルックアップテーブルとして記憶されてもよい。
本発明の他の実施形態はビデオ復号器に関する。当該復号器は、以下の動作を実行するように配置される処理回路を含み、即ち、符号化されたビデオシーケンスから、少なくとも1つの構文要素を復号し、少なくとも1つの構文要素がイントラ予測モードを示し、複数のイントラ予測モードと複数のイントラ予測角度との間の所定の関係に基づいて、示されたイントラ予測モードに対応するイントラ予測角度を決定し、示されたイントラ予測モードに対応すると決定されたイントラ予測角度を使用してブロックの少なくとも1つのサンプルを再構築する。所定の関係における複数のイントラ予測モードは、第1の複数の広角予測モード及び第2の複数の広角予測モードのうちの少なくとも一つを含む。第1の複数の広角予測モードは左下方向対角線モードを超え、第2の複数の広角予測モードは右上方向対角線モード超える。復号器は上記関係をルックアップテーブルとして記憶してもよい
本開示の各態様はさらに、ビデオ復号のための方法をコンピュータに実行させるコンピュータプログラムを提供する。
開示された主題のさらなる特徴、性質及び様々な利点は、以下の詳細な説明及び図面からより明確になる。図面において、
例示的なイントラ予測モードの概略図である。 例示的なイントラ予測モードの別の図である。 実施形態による通信システムの簡略化ブロック図の概略図である。 実施形態による通信システムの簡略化ブロック図の概略図である。 実施形態による復号器の簡略化ブロック図の概略図である。 実施形態による符号器の簡略化ブロック図の概略図である。 他の実施形態による符号器のブロック図である。 他の実施形態による復号器のブロック図である。 例示的な広角モードを示す図である。 例示的なイントラ予測角度定義を示す図である。 図11A及びBは、本発明の実施形態による方法の図である。 対角線方向内の予測角度、及び対角線方向を超える予測角度を示す図である。 実施形態によるコンピュータシステムの概略図である。
図3は、本開示の実施形態による通信システム300の簡略化ブロック図を示す。通信システム300は、例えばネットワーク350を介して互いに通信することができる複数の端末装置を含む。例えば、通信システム300は、ネットワーク350を介して互いに接続された第1対の端末装置310、320を含む。図3の例では、第1対の端末装置310、320は一方向のデータ送信を実行する。例えば、端末装置310は、ビデオデータ(例えば、端末装置310によってキャプチャされたビデオピクチャストリーム)を符号化して、ネットワーク350を介して別の端末装置320に送信することができる。符号化されたビデオデータは、1つ以上の符号化されたビデオビットストリームの形で送信されてもよい。端末装置320はネットワーク350から符号化されたビデオデータを受信し、当該符号化されたビデオデータを復号することで、ビデオピクチャを復元し、復元されたビデオデータに基づきビデオピクチャを表示することができる。一方向のデータ送信はメディアサービスアプリケーションなどでは一般的である。
別の実施形態において、通信システム300は、符号化されたビデオデータの双方向送信を実行するための第2対の端末装置330、340を含み、当該双方向送信は、例えば、ビデオ会議中に発生する可能性がある。双方向データ送信について、一例では、端末装置330、340のそれぞれは、ビデオデータ(例えば、端末装置によってキャプチャされたビデオピクチャストリーム)を符号化して、ネットワーク350を介して端末装置330、340のうちの他方に送信することができる。端末装置330、340のそれぞれはさらに、端末装置330、340のうちの他方から送信された、符号化されたビデオデータを受信してもよく、さらに、符号化されたビデオデータを復号して、ビデオピクチャを復元し、復元されたビデオデータに基づき、ビデオピクチャを、アクセス可能な表示装置に表示することができる。
図3の例において、端末装置310、320、330及び340は、サーバ、パーソナルコンピュータ及びスマートフォンとして示され得るが、本開示の原理はこれに限定されていない。本開示の実施形態はラップトップコンピュータ、タブレット、メディアプレイヤー及び/又は専用のビデオ会議機器に適用される。ネットワーク350は、端末装置310、320、330及び340の間で符号化されたビデオデータを送信するための、例えば有線及び/又は無線通信ネットワークが含まれた任意の数のネットワークを示す。通信ネットワーク350は、回路交換及び/又はパケット交換チャネルにおいてデータを交換することができる。代表的なネットワークは、電気通信ネットワーク、ローカルエリアネットワーク、ワイドエリアネットワーク及び/又はインターネットを含む。本明細書で説明される目的からすると、ネットワーク350のアーキテクチャ及びトポロジは、以下で説明されない限り、本開示の動作にとって重要ではない場合がある。
図4は、開示された主題の適用例として、ストリーミング環境におけるビデオ符号器及びビデオ復号器の配置方式を示す。開示された主題は、ビデオ会議、デジタルテレビ、圧縮ビデオのCD、DVD、メモリースティックなどが含まれるデジタルメディアへの記憶が含まれる、ビデオをサポートする他のアプリケーションに等価的に適用され得る。
ストリーミングシステムは、キャプチャサブシステム413を含むことができ、当該キャプチャサブシステムは、例えば非圧縮のビデオピクチャストリーム402を作成するための、デジタル撮影装置のようなビデオソース401を含むことができる。例では、ビデオピクチャストリーム402は、デジタル撮影装置によって撮影されたサンプルを含む。ビデオピクチャストリームは、符号化されたビデオデータ404(又は符号化されたビデオビットストリーム)と比較して多いデータ量を強調するように、太い線として描画され、当該ビデオピクチャストリームは、ビデオソース401に結合されるビデオ符号器403が含まれる電子装置420によって処理され得る。ビデオ符号器403は、以下で詳細に説明される開示される主題の各態様を実現又は実施するために、ハードウェア、ソフトウェア又はそれらの組み合わせを含むことができる。符号化されたビデオデータ404(又は符号化されたビデオビットストリーム404)は、ビデオピクチャストリーム402と比較して少ないデータ量を強調するように、細い線として描画される。符号化されたビデオデータ404は、将来の使用のために、ストリーミングサーバ405に記憶されることができる。1つ以上のストリーミングクライアントサブシステム(例えば図4におけるクライアントサブシステム406、408)は、ストリーミングサーバ405にアクセスして、符号化されたビデオデータ404のレプリカ407、409を検索することができる。クライアントサブシステム406は、例えば電子装置430におけるビデオ復号器410を含んでもよい。ビデオ復号器410は、入ってくる符号化されたビデオデータのレプリカ407を復号するとともに、ディスプレイ412(例えば、スクリーン)又は他のレンダリング装置(図示せず)でレンダリングできる発信ビデオピクチャストリーム411を作成する。いくつかのストリーミングシステムにおいて、符号化されたビデオデータ404、407及び409(例えば、ビデオビットストリーム)を特定のビデオ符号化/圧縮規格に従って符号化することができる。これらの規格の例にはITU-T H.265勧告書が含まれる。例では、非公式に多用途ビデオ符号化(Versatile Video Coding)又はVVCと呼ばれるビデオ符号化規格は、開発中である。開示されたテーマはVVCのコンテキストで使用することができる。
なお、電子装置420、430は、他の部品(図示せず)を含むことができる。例えば、電子装置420はビデオ復号器(図示せず)を含んでもよく、電子装置430はビデオ符号器(図示せず)を含んでもよい。
図5は、本開示の実施形態によるビデオ復号器510のブロック図を示す。ビデオ復号器510は、電子装置530に含まれることができる。電子装置530は、受信機531(例えば、受信回路)を含むことができる。ビデオ復号器510は、図4の例におけるビデオ復号器410の代わりに使用されてもよい。
受信機531は、ビデオ復号器510によって復号される1つ以上の符号化されたビデオシーケンスを受信することができ、同じ実施形態又は別の実施形態において、1度に1つの符号化されたビデオシーケンスを受信し、各符号化されたビデオシーケンスの復号は、他の符号化されたビデオシーケンスと独立している。チャネル501から符号化されたビデオシーケンスを受信することができ、当該チャネルは、符号化されたビデオデータを記憶するための記憶装置へのハードウェア/ソフトウェアリンクであってもよい。受信機531は、符号化されたビデオデータ及び他のデータ、例えばそれぞれの使用エンティティ(図示せず)に転送され得る符号化されたオーディオデータ及び/又は補助データストリームを受信することができる。受信機531は、符号化されたビデオシーケンスを他のデータから分離することができる。ネットワークのジッタを防止するために、バッファメモリ515を受信機531とエントロピー復号器/パーサー520(以下「パーサー520」と呼ばれる)との間に結合することができる。特定のアプリケーションにおいて、バッファメモリ515はビデオ復号器510の一部である。他のアプリケーションにおいて、バッファメモリはビデオ復号器510の外部にあってもよい(図示せず)。さらなる他のアプリケーションにおいて、例えば、ネットワークのジッタを防止するために、ビデオ復号器510の外部にバッファメモリ(図示せず)が存在し、また、例えば、再生タイミングを処理するために、ビデオ復号器510の内部に、別のバッファメモリ515が存在してもよい。受信機531は、十分な帯域幅及び制御可能性を有する記憶/転送装置、又は等時性リアルタイムネットワークからデータを受信する際、バッファメモリ515を必要としない可能性があり、又はバッファメモリ515が小さくなってもよい。例えばインターネットのようなパケットネットワークをできるだけ使用するために、バッファメモリ515を必要とする可能性があり、当該バッファメモリ515は比較的大きく、有利に適応サイズを有してもよく、少なくとも部分的に、オペレータシステム又はビデオ復号器510の外部にある類似の要素(図示せず)において実現されてもよい。
ビデオ復号器510は、符号化されたビデオシーケンスに基づきシンボル521を再構築するために、パーサー520を含むことができる。これらのシンボルのカテゴリには、ビデオ復号器510の動作を管理するための情報、及びディスプレイ512(例えば、ディスプレイスクリーン)のようなレンダリング装置を制御する可能性がある情報が含まれてもよく、当該レンダリング装置512は、図5に示すように、電子装置530の構成部分ではないが、電子装置530に結合されることができる。レンダリング装置のための制御情報は、付加情報(Supplementary Enhancement Information、SEI)メッセージ又はビデオ表示情報(Video Usability Information、VUI)パラメータセットフラグメント(図示せず)という形であってもよい。パーサー520は、受信された符号化されたビデオシーケンスを解析/エントロピー復号することができる。符号化されたビデオシーケンスの符号化は、ビデオ符号化技術又は規格に準拠することができ、可変長符号化、ハフマン符号化(Huffman coding)、文脈依存の有無にかかわらず算術符号化などを含む様々な原理に従うことができる。パーサー520は、グループに対応する少なくとも1つのパラメータに基づき、ビデオ復号器における画素のサブグループのうちの少なくとも1つのサブグループのためのサブグループパラメータセットを符号化されたビデオシーケンスから抽出することができる。サブグループには、ピクチャグループ(Group of Pictures、GOP)、ピクチャ、タイル、スライス、マクロブロック、コーディングユニット(Coding Unit、CU)、ブロック、変換ユニット(Transform Unit、TU)、予測ユニット(Prediction Unit、PU)などが含まれる。パーサー520はさらに、変換係数、量子化器パラメータ値、動きベクトルなどの情報を符号化されたビデオシーケンスから抽出してもよい。
パーサー520はバッファメモリ515から受信されたビデオシーケンスに対してエントロピー復号/解析動作を実行することで、シンボル521を作成することができる。
シンボル521の再構築は、符号化されたビデオピクチャ又はその一部のタイプ(例えば、インターピクチャとイントラピクチャ、インターブロックとイントラブロック)及び他の要因によって、複数の異なるユニットに関与する。関与するユニット及び関与方式は、符号化されたビデオシーケンスからパーサー520によって解析されたサブグループ制御情報によって制御されることができる。簡潔のために、パーサー520と以下の複数のユニットとの間の、このようなサブグループ制御情報の流れは図示されていない。
既に言及された機能ブロックに加えて、ビデオ復号器510は、概念的には、以下の複数の機能ユニットに細分されることができる。ビジネス上の制約の下で実行される実際の実現形態において、これらのユニットのうちの複数のユニットは互いに密接に相互作用するとともに、少なくとも部分的に互いに統合することができる。しかしながら、開示された主題を説明するために、概念的に以下の機能ユニットに細分されることは適切である。
第1ユニットはスケーラ/逆変換ユニット551である。スケーラ/逆変換ユニット551は、使用する変換方式、ブロックサイズ、量子化因子、量子化スケーリング行列などを含む、シンボル521としての量子化変換係数及び制御情報をパーサー520から受信する。スケーラ/逆変換ユニット551は、アグリゲーター555に入力され得るサンプル値を含むブロックを出力することができる。
場合によって、スケーラ/逆変換ユニット551の出力サンプルは、イントラ符号化ブロック、即ち、以前に再構築されたピクチャからの予測情報を使用していないが、現在ピクチャの以前に再構築された部分からの予測情報を使用することができるブロックに属することができる。このような予測情報は、イントラピクチャ予測ユニット552によって提供されることができる。ある場合に、イントラピクチャ予測ユニット552は、現在ピクチャバッファ558から取得された、周囲が既に再構築された情報を使用して、再構成中のブロックと同じサイズ及び形状のブロックを生成する。例えば、現在ピクチャバッファ558は、部分的に再構築された現在ピクチャ及び/又は完全に再構築された現在ピクチャをバッファリングする。ある場合に、アグリゲーター555は、各サンプルに基づいて、イントラ予測ユニット552によって生成された予測情報を、スケーラ/逆変換ユニット551によって提供される出力サンプル情報に追加する。
他の場合に、スケーラ/逆変換ユニット551の出力サンプルは、インター符号化された、場合によって動き補償された可能性があるブロックに属することができる。このような場合に、動き補償予測ユニット553は、参照ピクチャメモリ557にアクセスして、予測のためのサンプルを取得することができる。ブロックに属するシンボル521に基づき、取得されたサンプルを動き補償した後、これらのサンプルは、アグリゲーター555によってスケーラ/逆変換ユニット551の出力に追加される(このような場合に、残差サンプル又は残差信号と呼ばれる)ことで、出力サンプル情報は生成される。動き補償予測ユニット553が予測サンプルを取得するための参照ピクチャメモリ557内のアドレスは、動きベクトルによって制御されることができ、動きベクトルは、例えばX、Y及び参照ピクチャ成分を有するシンボル521の形で、動き補償予測ユニット553によって使用され得る。動き補償はさらに、サブサンプルの正確な動きベクトルが使用されるときに参照ピクチャメモリ557から抽出されたサンプル値の補間、動きベクトル予測メカニズムなどを含んでもよい。
アグリゲーター555の出力サンプルは、ループフィルタユニット556において、様々なループフィルタリング技術によって処理され得る。ビデオ圧縮技術は、ループ内フィルタ技術を含むことができ、ループ内フィルタ技術は、符号化されたビデオシーケンス(符号化されたビデオビットストリームとも呼ばれる)に含まれ且つパーサー520からのシンボル521としてループフィルタユニット556に利用可能なパラメータによって制御される。しかし、ビデオ圧縮技術は、符号化されたピクチャ又は符号化されたビデオシーケンスの(復号の順序での)前の部分を復号する期間に取得されたメタ情報に応答してもよいし、以前に再構築されループフィルタリング処理されたサンプル値に応答してもよい。
ループフィルタユニット556の出力は、サンプルストリームであってもよく、当該サンプルストリームは、将来のピクチャ間予測で使用されるために、レンダリング装置512に出力され、参照ピクチャメモリ557に記憶されることができる。
ある符号化されたピクチャは完全に再構成されたら、将来の予測のために、参照ピクチャとして使用されることができる。例えば、現在ピクチャに対応する符号化されたピクチャは完全に再構成され、且つ、当該符号化されたピクチャが(例えばパーサー520によって)参照ピクチャとして認識されると、現在ピクチャバッファ558は、参照ピクチャメモリ557の一部になることができ、その後の符号化されたピクチャの再構成を開始する前に、新たな現在ピクチャバッファを再割り当てることができる。
ビデオ復号器510は、例えばITU-T H.265勧告書の規格における所定のビデオ圧縮技術に従って復号動作を実行することができる。符号化されたビデオシーケンスがビデオ圧縮技術又は規格の構文、及びビデオ圧縮技術又は規格に記録されたプロファイルの両方に従うという意味で、符号化されたビデオシーケンスは、使用されているビデオ圧縮技術又は規格によって指定された構文に準拠することができる。具体的に、プロファイルはビデオ圧縮技術又は規格で使用可能な全てのツールから、このプロファイルに応じて使用可能な唯一のツールとして、特定のツールを選択することができる。コンプライアンスについて、符号化されたビデオシーケンスの複雑さが、ビデオ圧縮技術又は規格のレベルによって限定される範囲内にあることも必要である。場合によって、レベルは、最大ピクチャサイズ、最大フレームレート、最大再構築サンプルレート(例えば、メガサンプル/秒で測定)、最大参照ピクチャサイズなどを制限する。レベルによって設置される制限は、場合によって、仮想参照復号器(Hypothetical Reference Decoder、HRD)の仕様、及び符号化されたビデオシーケンスにおいてシグナリングされるHRDバッファ管理のメタデータによってさらに限定されることがある。
実施形態において、受信機531は、符号化されたビデオとともに、追加の(冗長な)データを受信することができる。追加のデータは、符号化されたビデオシーケンスの一部として含まれてもよい。追加のデータは、ビデオ復号器510によって使用されることで、データを適切に復号し、及び/又は元のビデオデータをより正確に再構築することができる。追加のデータは、例えば、時間、空間又は信号対雑音比(SNR)拡張層、冗長スライス、冗長ピクチャ、前方誤り訂正コードなどの形であり得る。
図6は、本開示の実施形態によるビデオ符号器603のブロック図を示す。ビデオ符号器603は、電子装置620に含まれる。電子装置620は、送信機640(例えば、送信回路)を含む。ビデオ符号器603は、図4の例におけるビデオ符号器403の代わりに使用されてもよい。
ビデオ符号器603は、ビデオソース601(図4の例における電子装置420の一部ではない)からビデオサンプルを受信し、当該ビデオソースは、ビデオ符号器603によって符号化されるビデオ画像をキャプチャすることができる。別の例では、ビデオソース601は、電子装置620の一部である。
ビデオソース601は、ビデオ符号器603によって符号化されるソースビデオシーケンスをデジタルビデオサンプルストリームの形で提供することができ、当該デジタルビデオサンプルストリームは、任意の適切なビット深度(例えば:8ビット、10ビット、12ビットなど)、任意の色空間(例えば、BT.601 Y CrCB、RGBなど)、及び任意の適切なサンプリング構成(例えば、Y CrCb 4:2:0、Y CrCb 4:4:4)を有することができる。メディアサービスシステムにおいて、ビデオソース601は、事前に準備されたビデオを記憶するための記憶装置であってもよい。ビデオ会議システムにおいて、ビデオソース601は、ビデオシーケンスとして、ローカル画像情報をキャプチャするための撮影装置であってもよい。ビデオデータは、順番に見たときに、動きを与える複数の個別のピクチャとして提供されることができる。ピクチャ自体は、空間画素アレイとして編成されることができ、使用するサンプリング構成、色空間などによって、各画素には1つ以上のサンプルが含まれてもよい。画素とサンプルとの間の関係は、当業者にとって容易に理解できる。以下、サンプルを中心に説明する。
実施形態によれば、ビデオ符号器603は、リアルタイムで、又はアプリケーションによって要求される他の任意の時間制約の下で、ソースビデオシーケンスのピクチャを、符号化されたビデオシーケンス643に符号化及び圧縮することができる。適切的な符号化速度を実施することは、コントローラ650の機能の1つである。いくつかの実施形態において、コントローラ650は、以下で説明する他の機能ユニットを制御し、他の機能ユニットに機能的に結合される。簡潔のために、結合は示されていない。コントローラ650によって設置されるパラメータは、レート制御関連パラメータ(ピクチャスキップ、量子化器、レート歪み最適化技術のλ値など)、ピクチャサイズ、ピクチャグループ(GOP)レイアウト、最大動きベクトル検索範囲などを含んでもよい。コントローラ650は、他の適切な機能を有するように配置されてもよく、これらの機能は特定のシステム設計に対して最適化されたビデオ符号器603に関連する。
いくつかの実施形態において、ビデオ符号器603は、符号化ループで動作するように配置される。非常に簡略化した説明として、例では、符号化ループは、ソース符号器630(例えば、符号化対象となる入力ピクチャと参照ピクチャに基づき、シンボルストリームのようなシンボルを作成することを担当する)と、ビデオ符号器603に埋め込まれる(ローカル)復号器633とを含むことができる。復号器633は、(リモート)復号器がサンプルデータを作成する方法と同様に、シンボルを再構築して、サンプルデータを作成する(開示された主題では考慮されるビデオ圧縮技術において、シンボルと符号化されたビデオビットストリームとの間の任意の圧縮は可逆であるためである)。再構築されたサンプルストリーム(サンプルデータ)は参照ピクチャメモリ634に入力される。シンボルストリームの復号により復号器の位置(ローカル又はリモート)と関係がないビットが正確である(bit-exact)結果が得られるから、参照ピクチャメモリ634におけるコンテンツはローカル符号器とリモート符号器との間でもビットが正確である。言い換えれば、符号器の予測部分が「見る」参照ピクチャサンプルは、復号器が復号中に予測を使用するときに「見る」サンプル値と全く同じである。参照ピクチャの同期性の基本的な原理(及び、例えばチャネル誤差から、同期性を維持できない場合に発生するドリフト)もいくつかの関連技術に適用される。
「ローカル」復号器633の動作は、図5を結合しながら以上で詳細に説明した「リモート」復号器、例えばビデオ復号器510の動作と同じであってもよい。しかしながら、まだ図5を簡単に参照し、シンボルが使用可能であり、且つエントロピー符号器645とパーサー520がシンボルを符号化されたビデオシーケンスに無損失で符号化/復号する場合、ローカル復号器633において、バッファメモリ515とパーサー520とを含めるビデオ復号器510のエントロピー復号部分を完全に実現する必要がない。
この時点で、復号器に存在する解析/エントロピー復号に加えて、任意の復号器技術も、必然的に基本的に同じ機能形式で対応する符号器に存在することが分かる。このため、開示された主題は、復号器の動作に着目する。符号器技術は、包括的に説明された復号器技術の逆であるため、符号器技術の説明を簡略化できる。より詳しい説明は、特定の領域のみで必要であり、以下で提供される。
いくつかの例では、ソース符号器630は、動作中に、動き補償予測符号化を実行することができ、即ち、ビデオシーケンスからの、「参照ピクチャ」として指定される1つ以上の以前に符号化されたピクチャを参照して、入力ピクチャに対して予測符号化を実行する。このようにして、符号化エンジン632は、入力ピクチャの画素ブロックと、入力ピクチャの予測参照として選択され得る参照ピクチャの画素ブロックとの間の差を符号化する。
ローカルビデオ復号器633は、ソース符号器630によって作成されるシンボルに基づき、参照ピクチャとして指定され得るピクチャの符号化されたビデオデータを復号することができる。符号化エンジン632の動作は、有利には、非可逆処理であってもよい。符号化されたビデオデータがビデオ復号器(図6には図示せず)で復号され得る場合、再構築されたビデオシーケンスは、一般的に、多少の誤差を伴うソースビデオシーケンスのレプリカであってもよい。ローカルビデオ復号器633は、参照ピクチャに対してビデオ復号器によって実行される復号処理を複製し、再構築された参照ピクチャを参照ピクチャキャッシュ634に記憶することができる。このようにして、ビデオ符号器603は、リモートビデオ復号器によって取得される再構築された参照ピクチャと共通のコンテンツを有する再構築された参照ピクチャのレプリカをローカルに記憶することができる(伝送エラーがない)。
予測器635は、符号化エンジン632に対して予測検索を実行することができる。即ち、符号化対象となる新たなピクチャに対して、予測器635は、参照ピクチャメモリ634において、新たなピクチャの適切な予測参照として使用可能な、(候補参照画素ブロックとしての)サンプルデータ、又は例えば参照ピクチャ動きベクトル、ブロック形状などのメタデータを検索することができる。予測器635は、サンプルブロックにおいて、画素ブロックごとに動作することで、適切な予測参照を見つけることができる。場合によって、予測器635によって取得された検索結果によって決定されるように、入力ピクチャは、参照ピクチャメモリ634に記憶される複数の参照ピクチャから抽出される予測参照を有することができる。
コントローラ650は、例えばビデオデータを符号化するためのパラメータとサブグループパラメータの設置を含むソース符号器630の符号化動作を管理することができる。
上記の全ての機能ユニットの出力は、エントロピー符号器645でエントロピー符号化されることができる。エントロピー符号器645は、例えばハフマン符号化、可変長符号化、算術符号化などの当業者に知られている技術に従って、各機能ユニットによって生成されたシンボルを可逆圧縮することで、これらのシンボルを、符号化されたビデオシーケンスに変換する。
送信機640は、エントロピー符号器645によって作成される符号化されたビデオシーケンスをバッファリングすることで、通信チャネル660を介して送信するように準備することができ、当該通信チャネルは、符号化されたビデオデータを記憶するための記憶装置へのハードウェア/ソフトウェアリンクであってもよい。送信機640は、ビデオ符号器603からの符号化されたビデオデータと、送信対象となる他のデータ、例えば符号化されたオーディオデータ及び/又は補助データストリーム(ソースは図示せず)をマージすることができる。
コントローラ650は、ビデオ符号器603の動作を管理することができる。コントローラ650は、符号化中に、各符号化されたピクチャに、対応するピクチャに適用される符号化技術に影響を与える可能性がある特定の符号化ピクチャタイプを割り当てる。例えば、一般的に、ピクチャは次のピクチャタイプのいずれかとして割り当てられる。
イントラピクチャ(Iピクチャ)は、シーケンス内の任意の他のピクチャを予測ソースとして使用せず、符号化及び復号されるピクチャであってもよい。一部のビデオコーデックは、例えばデコーダ復号動作の瞬時リフレッシュ(Instataneous Decoder Refresh、「IDR」)ピクチャを含む異なるタイプのイントラピクチャを許容する。当業者は、Iピクチャのこれらの変形、及び対応する用途及び特徴を知っている。
予測ピクチャ(Pピクチャ)は、次のようなイントラ予測又はインター予測を使用して符号化及び復号されるピクチャであってもよく、当該イントラ予測又はインター予測は多くとも1つの動きベクトルと参照インデックスを使用して各ブロックのサンプル値を予測する。
双方向予測ピクチャ(Bピクチャ)は、次のようなイントラ予測又はインター予測を使用して符号化及び復号されるピクチャであってもよく、当該イントラ予測又はインター予測は多くとも2つの動きベクトルと参照インデックスを使用して各ブロックのサンプル値を予測する。同様に、複数の予測ピクチャは、2つを超える参照ピクチャ及び関連付けられるメタデータを、単一のブロックの再構築に適用する。
ソースピクチャは一般的に、空間的に複数のサンプルブロック(例えば、それぞれ4×4、8×8、4×8又は16×16サンプルのブロック)に細分され、ブロックごとに符号化されることができる。これらのブロックは、他の(符号化された)ブロックを参照して、予測的に符号化されることができ、前記他のブロックは、ブロックの対応するピクチャに適用される符号化割当によって決定される。例えば、Iピクチャのブロックは、非予測的に符号化されるか、又はこれらのブロックは、同じピクチャの符号化されたブロックを参照して、予測的に符号化(空間的予測又はイントラ予測)されてもよい。Pピクチャの画素ブロックは、以前に符号化された1つの参照ピクチャを参照して、空間的予測又は時間的予測を介して予測的に符号化されてもよい。Bピクチャのブロックは、以前に符号化された1つ又は2つの参照ピクチャを参照して、空間的予測又は時間的予測を介して予測的に符号化されてもよい。
ビデオ符号器603は、例えばITU-T H.265勧告書における所定のビデオ符号化技術又は規格に基づき符号化動作を実行することができる。ビデオ符号器603は、その動作において、入力ビデオシーケンスにおける時間的と空間的冗長性を使用した予測的符号化動作が含まれる様々な圧縮動作を実行することができる。従って、符号化されたビデオデータは、使用されているビデオ符号化技術又は規格によって指定される構文に準拠している。
実施形態において、送信機640は、符号化されたビデオとともに追加のデータを送信することができる。ソース符号器630は、符号化されたビデオシーケンスの一部として、このようなデータを含んでもよい。追加のデータは、時間/空間/SNR拡張層、冗長ピクチャとスライスのような他の形式の冗長データ、付加情報(SEI)メッセージ、ビデオ表示情報(VUI)パラメータセットフラグメントなどを含んでもよい。
ビデオは、時系列における複数のソースピクチャ(ビデオピクチャ)としてキャプチャされてもよい。イントラピクチャ予測(一般的にイントラ予測と簡略化される)は、特定のピクチャにおける空間相関性を使用し、インターピクチャ予測は、ピクチャの間の(時間的又はその他の)相関性を使用する。例では、(現在ピクチャと呼ばれる)符号化/復号中の特定のピクチャは、ブロックに分割される。現在ピクチャにおけるブロックが、ビデオにおける、以前に符号化された、まだバッファリングされている参照ピクチャにおける参照ブロックに類似している場合、動きベクトルと呼ばれるベクトルによって、現在ピクチャにおけるブロックを符号化することができる。動きベクトルは、参照ピクチャにおける参照ブロックを指し、複数の参照ピクチャを使用する場合、参照ピクチャを認識するための第3次元を有してもよい。
いくつかの実施形態において、インターピクチャ予測に双方向予測技術を使用することができる。双方向予測技術によれば、ビデオにおける現在ピクチャよりも復号順で前にある(なお、それぞれ表示順で過去と将来となる可能性がある)第1参照ピクチャと第2参照ピクチャの2つの参照ピクチャを使用する。第1参照ピクチャにおける第1参照ブロックを指す第1動きベクトル、及び第2参照ピクチャにおける第2参照ブロックを指す第2動きベクトルによって、現在ピクチャにおけるブロックを符号化することができる。ブロックは第1参照ブロックと第2参照ブロックとの組み合わせによって予測することができる。
また、符号化効率を向上させるために、インターピクチャ予測にマージモード技術を使用する。
本開示のいくつかの実施形態によれば、ブロックごとにインターピクチャ予測及びイントラピクチャ予測のような予測を実行する。例えば、HEVC(高効率ビデオ符号化)規格によれば、ビデオピクチャシーケンスにおけるピクチャは、圧縮のためにコーディングツリーユニット(CTU)に分割され、ピクチャにおけるCTUは、例えば64×64画素、32×32画素又は16×16画素などの同じサイズを有する。CTUは一般的に、1つの輝度CTBと2つの色度CTBという3つのコーディングツリーブロック(CTB)を含む。各CTUは、1つ以上のコーディングユニット(CU)に再帰的に四分木で分割することができる。例えば、64×64画素であるCTUを1つの64×64画素であるCU、又は4つの32×32画素であるCU、或いは16個の16×16画素であるCUに分割してもよい。例では、各CUを分析して、インター予測タイプ又はイントラ予測タイプなどの、当該CUのための予測タイプを決定する。CUは、時間的及び/又は空間的予測可能性によって、1つ以上の予測ユニット(PU)に分割される。各PUは一般的に、輝度予測ブロック(PB)と2つの色度PBとを含む。実施形態において、コーディング(符号化/復号)における予測動作は、予測ブロックごとに実行される。予測ブロックの例として、輝度予測ブロックを使用する場合、予測ブロックは、8×8画素、16×16画素、8×16画素、16×8画素などの画素値(例えば、輝度値)の行列を含む。
図7は、本開示の他の実施形態によるビデオ符号器703の図を示す。ビデオ符号器703は、ビデオピクチャシーケンスにおける現在ビデオピクチャ内のサンプル値の処理ブロック(例えば、予測ブロック)を受信するとともに、処理ブロックを符号化されたビデオシーケンスの一部である符号化されたピクチャに符号化するように配置される。例では、ビデオ符号器703は、図4の例におけるビデオ符号器403の代わりに使用される。
HEVCの例において、ビデオ符号器703は、処理ブロックのためのサンプル値の行列を受信し、処理ブロックは、例えば8×8サンプルの予測ブロックなどである。ビデオ符号器703は、例えばレート歪み最適化によって、イントラモード、インターモード、双方向予測モードのいずれを使用して処理ブロックを最適に符号化するかということを決定する。処理ブロックをイントラモードで符号化する場合、ビデオ符号器703はイントラ予測技術によって、処理ブロックを符号化ピクチャに符号化し、処理ブロックをインターモード又は双方向予測モードで符号化する場合、ビデオ符号器703はそれぞれインター予測又は双方向予測技術によって、処理ブロックを符号化ピクチャに符号化することができる。あるビデオ符号化技術では、マージモードは、インターピクチャ予測サブモードであってもよく、1つ以上の動きベクトル予測器の外部の符号化された動きベクトル成分を使用せず、これらの1つ以上の動きベクトル予測器から動きベクトルを取得する。ある他のビデオ符号化技術では、テーマブロックに適用される動きベクトル成分が存在し得る。例では、ビデオ符号器703は、例えば処理ブロックのモードを決定するためのモード決定モジュール(図示せず)などの他のコンポーネントを含む。
図7の例では、ビデオ符号器703は、図7に示すように結合されたインター符号器730、イントラ符号器722、残差計算器723、スイッチ726、残差符号器724、汎用コントローラ721及びエントロピー符号器725を含む。
インター符号器730は、現在ブロック(例えば、処理ブロック)のサンプルを受信し、当該ブロックと参照ピクチャにおける1つ以上の参照ブロック(例えば、その前のピクチャとその後のピクチャにおけるブロック)とを比較して、インター予測情報(例えば、インター符号化技術による冗長情報記述、動きベクトル、マージモード情報)を生成し、インター予測情報に基づいて任意の適切な技術を使用してインター予測結果(例えば、予測されたブロック)を計算するように配置される。いくつかの例では、
イントラ符号器722は、現在ブロック(例えば、処理ブロック)のサンプルを受信し、場合によって、当該ブロックと同じピクチャにおける符号化されたブロックとを比較して、変換後の量子化係数を生成し、また、場合によって、イントラ予測情報(例えば、1つ以上のイントラ符号化技術によるイントラ予測方向情報)をさらに生成するように配置される。
汎用コントローラ721は、汎用制御データを決定し、汎用制御データに基づき、ビデオ符号器703の他のコンポーネントを制御するように配置される。例では、汎用コントローラ721はブロックのモードを決定し、当該モードに基づき、制御信号をスイッチ726に提供する。例えば、モードがイントラモードである場合、汎用コントローラ721は、残差計算器723に使用されるためのイントラモード結果を選択するようにスイッチ726を制御するとともに、イントラ予測情報を選択してビットストリームに含めるようにエントロピー符号器725を制御し、モードがインターモードである場合、汎用コントローラ721は、残差計算器723に使用されるためのインター予測結果を選択するようにスイッチ726を制御するとともに、インター予測情報を選択してビットストリームに含めるようにエントロピー符号器725を制御する。
残差計算器723は、受信されたブロックとイントラ符号器722又はインター符号器730から選択された予測結果との間の差(残差データ)を計算するように配置される。残差符号器724は残差データに基づき動作して、残差データを符号化することで、変換係数を生成するように配置される。例では、残差符号器724は、周波数領域における残差データを変換して、変換係数を生成するように配置される。そして、変換係数は、量子化処理され、量子化された変換係数が得られる。
エントロピー符号器725は、符号化されたブロックが含まれるようにビットストリームをフォーマットするように配置される。エントロピー符号器725は、HEVC規格などの適切な規格に従う様々な情報を含むように配置される。例では、エントロピー符号器725は、汎用制御データ、選択された予測情報(例えば、イントラ予測情報又はインター予測情報)、残差情報及びビットストリームにおける他の適切な情報が含まれるように配置される。開示された主題によれば、双方向予測モード又はインターモードのマージサブモードでブロックを符号化する場合、残差情報がないことに注意されたい。
図8は、本開示の他の実施形態によるビデオ復号器810の図を示す。ビデオ復号器810は、符号化されたビデオシーケンスの一部である符号化されたピクチャを受信し、符号化されたピクチャを復号して、再構築されたピクチャを生成するように配置される。例では、ビデオ復号器810は、図4の例におけるビデオ復号器410の代わりに使用される。
図8の例では、ビデオ復号器810は、図8に示すように結合されたエントロピー復号器871、インター復号器880、残差復号器873、再構築モジュール874及びイントラ復号器872を含む。
エントロピー復号器871は、符号化されたピクチャに基づき、特定のシンボルを再構築するように配置され、これらのシンボルは、符号化されたピクチャを構成する構文要素を示す。このようなシンボルは、例えば、ブロックを符号化するためのモード(例えば、イントラモード、インターモード、双方向予測モード、後ろの2つのマージサブモード又は別のサブモード)、イントラ復号器872又はインター復号器880による予測にそれぞれ使用されるいくつかのサンプル又はメタデータを認識できる予測情報(例えば、イントラ予測情報又はインター予測情報)、例えば量子化された変換係数という形である残差情報などを含むことができる。例では、予測モードがインター又は双方向予測モードである場合、インター予測情報をインター復号器880に提供し、予測タイプがイントラ予測タイプである場合、イントラ予測情報をイントラ復号器872に提供する。残差情報は逆量子化されて残差復号器873に提供され得る。
インター復号器880は、インター予測情報を受信し、インター予測情報に基づきインター予測結果を生成するように配置される。
イントラ復号器872は、イントラ予測情報を受信し、イントラ予測情報に基づき予測結果を生成するように配置される。
残差復号器873は、逆量子化を実行して、逆量子化された変換係数を抽出し、逆量子化された変換係数を処理して、残差を周波数領域から空間領域に変換するように配置される。残余復号器873は、(量子化器パラメータQPを含むために)いくつかの制御情報も必要とする場合があり、当該情報は、エントロピー復号器871から提供されることができる(これは低容量の制御情報のみであり得るため、データパスは示されない)。
再構築モジュール874は、空間領域において、残差復号器873から出力された残差と予測結果(状況に応じて、インター予測モジュール又はイントラ予測モジュールから出力される)とを組み合わせることで、再構築されるブロックを形成するように配置され、当該再構築されるブロックは、再構築されるピクチャの一部であってもよく、さらに、当該再構築されるピクチャは、再構築されるビデオの一部であってもよい。なお、視覚的品質を向上させるために、デブロッキング動作などの他の適切な動作を実行することができる。
なお、任意の適切な技術を使用してビデオ符号器403、603、703及びビデオ復号器410、510、810を実現することができる。実施形態において、1つ以上の集積回路によってビデオ符号器403、603、703及びビデオ復号器410、510、810を実現することができる。別の実施形態において、ソフトウェア命令を実行する1つ以上のプロセッサによってビデオ符号器403、603、703及びビデオ復号器410、510、810を実現することができる。
本開示の第1の実施形態による復号方法において、通常のイントラ予測モードによってカバーされる予測方向範囲を超える広角を使用し、これは、広角イントラ予測モードと呼ばれる。これらの広角は非正方形ブロックにのみ適用される。ブロックの幅がブロックの高さよりも大きい場合、右上方向に45度を超える角度(HEVCにおけるイントラ予測モード34)を使用する。ブロックの高さがブロックの幅よりも大きい場合、左下方向に45度を超える角度(HEVCにおけるイントラ予測モード2)を使用する。35個のHEVCイントラ予測モードが適用されている場合、モード2は、左下対角線モードと呼ばれ、モード34は、右上対角線モードと呼ばれる。
例えば、アメリカ仮出願第62/679,664号、第62/693,050号、第62/693,046号に記載されているように、非正方形ブロックについて、いくつかの従来の角度イントラ予測モードが広角モードに置き換えられ、上記の出願の全内容は、参照により本明細書に組み込まれる。元の方法を使用してこれらの置き換えられたモードを信号で示し、解析後に、それを広角モードのインデックスに再マッピングする。イントラ予測モードの総数は変化しなく、即ち、例えば、VVCテストモデル(VTM)-1.0の場合、35であり、或いは、BMS-1.0の場合、67であり、イントラモードのコーディングは変化しない。
35個のイントラ予測モードの場合に、置き換えられたイントラ予測モードを以下の表1に示す。
Figure 0007242705000001
67個のイントラ予測モードの場合に、置き換えられたイントラ予測モードを以下の表2に示す。
Figure 0007242705000002
表2に示すように、最大10個のモードは、対角線方向を超える広角モードに置き換えられる。
図9は、非正方形ブロックについて、角度イントラモードがどのように広角モードに置き換えられるかの例を示す。この例において、モード2とモード3はそれぞれ広角モード35とモード36に置き換えられ、モード35の方向はモード3の反対方向を指し、モード36の方向はモード4の反対方向を指す。
HEVCにおいて、イントラサンプル代替処理を使用する。以下、参照サンプル代替処理、隣接処理のフィルタリング処理及びイントラ予測処理を含むイントラモードのイントラサンプル代替処理を説明する。
当該処理の入力は、イントラサンプル予測用の参照サンプルp[x][y](なお、x=-1,y=-1..nTbS*2-1、及びx=0..nTbS*2-1,y=-1)、変換ブロックのサイズnTbS、現在のブロックの色成分を指定する変数cIdxである。
当該処理の出力は、イントラサンプル予測用の修正された参照サンプルp[x][y](なお、x=-1,y=-1..nTbS*2-1、及びx=0..nTbS*2-1,y=-1)である。
以下のステップに従って、変数bitDepthを導出する。
-cIdxが0に等しい場合、bitDepthは、BitDepthYに等しく設置される。
-それ以外の場合、bitDepthは、BitDepthCに等しく設置される。
以下のステップに従って、サンプルp[x][y](なお、x=-1,y=-1..nTbS*2-1、及びx=0..nTbS*2-1,y=-1)の値を修正する。
全てのサンプルp[x][y](なお、x=-1,y=-1..nTbS*2-1、及びx=0..nTbS*2-1,y=-1)が「イントラ予測に使用できない」とマークされている場合、値1<<(bitDepth-1)を使用して全てのサンプルp[x][y]の値を代替する。
それ以外の場合(全てではないが少なくとも1つのサンプルp[x][y]が「イントラ予測に使用できない」とマークされている場合)、以下のステップを実行する。
1.p[-1][nTbS*2-1]が「イントラ予測に使用できない」とマークされている場合に、x=-1,y=nTbS*2-1からx=-1、y=-1まで順に検索し、次にx=0,y=-1からx=nTbS*2-1,y=-1まで順に検索する。「イントラ予測に使用できる」とマークされたサンプルp[x][y]が見つかると、検索を終了し、p[x][y]の値をp[-1][nTbS*2-1]として指定する。
2.x=-1,y=nTbS*2-2からx=-1,y=-1まで順に検索し、p[x][y]が「イントラ予測に使用できない」とマークされている場合に、p[x][y+1]の値を使用してp[x][y]の値を代替する。
3.x=0..nTbS*2-1,y=-1について、p[x][y]が「イントラ予測に使用できない」とマークされている場合に、p[x-1][y]の値を使用してp[x][y]の値を代替する。
全てのサンプルp[x][y](なお、x=-1,y=-1..nTbS*2-1、及びx=0..nTbS*2-1,y=-1)を「イントラ予測に使用できる」とマークする。
隣接するサンプルをフィルタリングする。当該処理の入力は、
-隣接するサンプルp[x][y],x=-1、y=-1..nTbS*2-1、及びx=0..nTbS*2-1,y=-1
-変換ブロックのサイズを指定する変数nTbSである。
当該処理の出力は、フィルタリングされたサンプルpF[x][y]であり、なお、x=-1,y=-1..nTbS*2-1及びx=0..nTbS*2-1,y=-1である。以下のステップに従って、変数filterFlagを導出する。
-以下の条件の1つ以上が真である場合、filterFlagを0に等しく設置する。
-predModelntraがINTRA_DCに等しい。
-nTbSが4に等しい。
-それ以外の場合、以下のステップを適用する。
-変数minDistVerHorをMin(Abs(predModeIntra-26),Abs(predModeIntra-10))に等しく設置する。
-表3において変数intraHorVerDistThres[nTbS]を指定する。
-以下のステップに従って変数filterFlagを導出する。
-minDistVerHorがintraHorVerDistThres[nTbS]よりも大きい場合、filterFlagを1に等しく設置する。
-それ以外の場合、filterFlagを0に等しく設置する。
以下の表3は、様々な変換ブロックのサイズに対して、intraHorVerDistThres[nTbS]を指定する。
Figure 0007242705000003
filterFlagが1に等しい場合に、以下のステップを適用する。
-以下のステップに従って変数biIntFlagを導出する。
-以下の全ての条件が真である場合、biIntFlagを1に等しく設置する。
-strong_intra_smoothing_enabled_flagが1に等しい
-nTbSが32に等しい
-Abs(p[-1][-1]+p[nTbS*2-1][-1]-2*p[nTbS-1][-1])<(1<<(BitDepthY-5))
-Abs(p[-1][-1]+p[-1][nTbS*2-1]-2*p[-1][nTbS-1])<(1<<(BitDepthY-5))
-それ以外の場合、biIntFlagを0に等しく設置する。
-以下のステップに従ってフィルタリングを実行する。
-biIntFlagが1に等しい場合、以下のステップに従って、フィルタリングされたサンプル値pF[x][y](なお、x=-1,y=-1..63及びx=0..63,y=-1)を導出する。
pF[-1][-1]=p[-1][-1]
y=0..62(8-31)の場合、pF[-1][y]=((63-y)*p[-1][-1]+(y+1)*p[-1][63]+32)>>6
pF[-1][63]=p[-1][63]
x=0..62(8-31)の場合、pF[x][-1]=((63-x)*p[-1][-1]+(x+1)*p[63][-1]+32)>>6
pF[63][-1]=p[63][-1]
-それ以外の場合(biIntFlagが0に等しい場合)、以下のステップに従って、フィルタリングされたサンプル値pF[x][y](なお、x=-1,y=-1..nTbS*2-1及びx=0..nTbS*2-1,y=-1)を導出する。
pF[-1][-1]=(p[-1][0]+2*p[-1][-1]+p[0][-1]+2)>>2
y=0..nTbS*2-2の場合、pF[-1][y]=(p[-1][y+1]+2*p[-1][y]+p[-1][y-1]+2)>>2
pF[-1][nTbS*2-1]=p[-1][nTbS*2-1]
x=0..nTbS*2-2の場合、pF[x][-1]=(p[x-1][-1]+2*p[x][-1]+p[x+1][-1]+2)>>2
pF[nTbS*2-1][-1]=p[nTbS*2-1][-1]
INTRA_ANGULAR2からINTRA_ANGULAR34までの範囲においてイントラ予測モードを指定する。当該処理の入力は、
-イントラ予測モードpredModeIntra、
-隣接するサンプルp[x][y](なお、x=-1,y=-1..nTbS*2-1及びx=0..nTbS*2-1,y=-1)、
-変換ブロックのサイズを指定する変数nTbS、及び
-現在のブロックの色成分を指定する変数cIdxである。
当該処理の出力は、予測サンプルpredSamples[x][y]であり、なお、x、y=0..nTbS-1である。
図10は、33個のイントラ角度を示し、表4は、predModeIntra(pMI)と角度パラメータintraPredAngle(iPA)との間のマッピングを指定している。
Figure 0007242705000004
図10に示すように、intraPredAngleは、垂直又は水平モードからの所定の距離測定を示す値である。intraPredAngleの絶対値が小さいほど、垂直又は水平モードまでの距離が小さくなることを示す。
表5は、predModeIntraと逆角度パラメータinvAngleとの間の関係を指定している。
Figure 0007242705000005
以下のステップに従って、予測サンプルpredSamples[x][y](なお、x、y=0..nTbS-1)の値を導出する。
predModeIntraが18以上である場合、以下の順序のステップを適用する。
1.以下のステップに従って参照サンプルアレイref[x]を指定する。
ref[x]=p[-1+x][-1]、なお、x=0..nTbS。
intraPredAngleが0よりも小さい場合、以下のステップに従ってメイン参照サンプルアレイを拡張する。
(nTbS*intraPredAngle)>>5が-1よりも小さい場合、
ref[x]=p[-1][-1+((x*invAngle+128)>>8)]、なお、x=-1..(nTbS*intraPredAngle)>>5
それ以外の場合、ref[x]=p[-1+x][-1]、なお、x=nTbS+1..2*nTbS。
2.以下のステップに従って予測サンプルpredSamples[x][y](なお、x、y=0..nTbS-1)の値を導出する。
a.以下のステップに従ってインデックス変数iIdx及び乗算係数iFactを導出する。
iIdx=((y+l)*intraPredAngle)>>5
iFact=((y+1)*intraPredAngle)&31
b.iFactの値に応じて、以下のステップを適用する。
iFactが0に等しくない場合、以下のステップに従って予測サンプルpredSamples[x][y]の値を導出する。
predSamples[x][y]=((32-iFact)*ref[x+iIdx+1]+iFact*ref[x+iIdx+2]+16)>>5
それ以外の場合、以下のステップに従って予測サンプルpredSamples[x][y]の値を導出する。
predSamples[x][y]=ref[x+iIdx+1]
c.predModeIntraが26(垂直)に等しく、cIdxが0に等しく、且つnTbSが32よりも小さい場合、x=0、y=0..nTbS-1について、以下のフィルタリングを適用する。
predSamples[x][y]=Clip1Y(p[x][-1]+((p[-1][y]-p[-1][-1])>>1))
それ以外の場合(predModeIntraが18よりも小さい場合)、以下のステップを適用する。
1.以下のステップに従って、参照サンプルアレイref[x]を指定する。
-以下のステップを適用する。
ref[x]=p[-1][-1+x]、なお、x=0..nTbS
-intraPredAngleが0よりも小さい場合、以下のステップに従ってメイン参照サンプルアレイを拡張する。
-(nTbS*IntraPredAngle)>>5が-1よりも小さい場合、
ref[x]=p[-1+((x*invAngle+128)>>8)][-1]
なお、x=-1..(nTbS*intraPredAngle)>>5
-それ以外の場合、
ref[x]=p[-1][-1+x]、なお、x=nTbS+1..2*nTbS
2.以下のステップに従って、予測サンプルpredSamples[x][y](なお、x、y=0..nTbS-1)の値を導出する。
a.以下のステップに従って、インデックス変数iIdx及び乗算係数iFactを導出する
iIdx=((x+l)*intraPredAngle)>>5
iFact=((x+1)*intraPredAngle)&31
b.iFactの値に応じて、以下のステップを適用する。
-iFactが0に等しくない場合、以下のステップに従って、予測サンプルpredSamples[x][y]の値を導出する。
predSamples[x][y]=((32-iFact)*ref[y+iIdx+1]+iFact*ref[y+iIdx+2]+16)>>5
-それ以外の場合、以下のステップに従って、予測サンプルpredSamples[x][y]の値を導出する。
predSamples[x][y]=ref[y+iIdx+1]
c.predModeIntraが10(水平)に等しく、cIdxが0に等しく、且つnTbSが32よりも小さい場合に、x=0..nTbS-1、y=0について、以下のフィルタリングを適用する。
predSamples[x][y]=Clip1Y(p[-1][y]+((p[x][-1]-p[-1][-1])>>1))。
図11A及び図11Bに示す本開示による復号方法の第1の実施形態において、predModeIntraとIntraPredAngleとの間の関係を指定する場合、広角モードを含む。対角線方向を超えて最大10個の追加の広角モードが追加される。このような関係は、表6に示すように指定され、ルックアップテーブルとして実現されることができる。
Figure 0007242705000006
0以下の10個のイントラモードは-1から-10として示され、66以上の10個のモードは67から76として示される。追加された角度の値は35から114まで変化する。
ステップ1100において、ビデオシーケンスから1つ又は複数の構文要素を復号する。図8に示す例において、エントロピー復号器871は、符号化されたビデオシーケンスから、符号化されたピクチャを構成する構文要素を示す特定のシンボルを復号する。イントラ復号器872は予測結果を生成する。このようなシンボルは、例えば予測情報を含み得、イントラ予測モードを決定できる。表6に示す関係に従って、イントラ予測モードからイントラ予測角度を決定する(ステップ1101)。決定されたイントラ予測角度を使用してブロックのサンプルを再構築する(ステップ1102)。例えば、モジュール874を再構築することでブロックのサンプルを再構築する。
イントラ予測角度とイントラ予測モードとの間の関係をルックアップテーブルに記憶することができ(ステップ1110)、例えば、再構築モジュール874におけるルックアップテーブルに記憶する。決定されたイントラ予測モードを使用してルックアップテーブルに従ってイントラ予測角度を決定することができる(ステップ1111)。
当該方法は、イントラ予測モードとイントラ予測角度との間の関係を使用して非正方形ブロック及び正方形ブロックのうちの少なくとも1つのサンプルを再構築することに適用されることができる。非正方形ブロックは広角モードを使用する。
本開示による方法の他の実施形態において、predModeIntra及びintraPredAngleの値は修正される。これらの他の実施形態において、ブロックの高さがTbWとして所与され、ブロックの幅がTbHとして所与される。第2の実施形態において、以下のステップに従ってpredModeIntra及びwideAngleの値を修正する。
-nTbW>nTbH且つintraPredAngle>((32*nTbH/nTbW)+1)且つpredModeIntra<34である場合、
-intraPredAngle>9であると、predModeIntra=predModeIntra+65であり、イントラ平滑化を実行する。
-さもなければ、predModeIntra=66である。
-nTbH>nTbW且つintraPredAngle>((32*nTbW/nTbH)+1)、且つpredModeIntra>34である場合、
-intraPredAngle>9であると、predModeIntra=predModeIntra-67であり、イントラ平滑化を実行する。
-それ以外の場合、predModeIntra=2である。
第3の実施形態において、以下のステップに従ってpredModeIntra及びwideAngleの値を修正する。
-nTbW>nTbH、且つintraPredAngle>((32*nTbH/nTbW)+1)、且つpredModeIntra<34である場合、
-intraPredAngle>9であると、predModeIntra=predModeIntra+65であり、イントラ平滑化を実行する。
-さもなければ、predModeIntra=68-predModeIntraである。
-nTbH>nTbW、且つintraPredAngle>((32*nTbW/nTbH)+1)、且つpredModeIntra>34である場合、
-intraPredAngle>9であると、predModeIntra=predModeIntra-67であり、イントラ平滑化を実行する。
-さもなければ、predModeIntra=68-predModeIntraである。
第4の実施形態において、以下のステップに従ってpredModeIntra及びwideAngleの値を修正する。
-nTbW>nTbH、且つintraPredAngle>((32*nTbH/nTbW)+1)、且つpredModeIntra<34である場合、
-intraPredAngle>9であると、predModeIntra=predModeIntra+65であり、イントラ平滑化を実行する。
-さもなければ、predModeIntra=76であり、
-nTbH>nTbW且つintraPredAngle>((32*nTbW/nTbH)+1)、且つpredModeIntra>34である場合、
-intraPredAngle>9であると、predModeIntra=predModeIntra-67であり、イントラ平滑化を実行する。
-さもなければ、predModeIntra=-10である。
第5の実施形態において、以下のステップに従って、predModeIntra及びwideAngleの値を修正する。
-nTbW>nTbH、且つintraPredAngle>((32*nTbH/nTbW)+1)、且つpredModeIntra<34、且つイントラ平滑化を実行した場合、
-intraPredAngle>9であると、predModeIntra=predModeIntra+65である。
-さもなければ、predModeIntra=68-predModeIntraである。
-nTbH>nTbW、且つintraPredAngle>((32*nTbW/nTbH)+1)、且つpredModeIntra>34、且つイントラ平滑化を実行した場合、
-intraPredAngle>9であると、predModeIntra=predModeIntra-67である。
-さもなければ、predModeIntra=68-predModeIntraである。
以下、本開示のさらなる実施形態を説明する。説明した方法は、個別に使用することができ、又は、任意の順序で組み合わせて使用することもできる。また、実施形態は、処理回路(例えば、1つ又は複数のプロセッサ又は1つ又は複数の集積回路)によって実現することができる。一例では、1つ又は複数のプロセッサは、非一時的なコンピュータ可読媒体に記憶されているプログラムを実行する。
以下、ブロックの幅がブロックの高さ以上である場合、一番上の行を長辺、左側の列を短辺と呼ぶ。それ以外の場合、一番上の行を短辺、左側の列を長辺と呼ぶ。ブロックの幅はnWidth(又はnTbW)で示され、ブロックの高さはnHeight(又はnTbH)で示される。
N個の参照サンプルを有するアレイ/バッファーをパディングする場合、これは、参照サンプルの値が、参照サンプルの関連する位置にある隣接する再構築サンプルによってパディングされるか、又は、既にパディングされた参照サンプルからコピーされるか、又は、事前定義された関数(例えば、線形外挿)を使用して既にパディングされた参照サンプルから派生することを意味する。
特定のブロックのサイズWxHについて、全ての利用可能なイントラ予測方向の集合を所与すると、事前限定された範囲(又はグループ、又は数)の参照サンプルのみがイントラ予測に利用可能であり、事前限定された範囲(又はグループ、又は数)の参照サンプル以外の参照サンプルの任意のイントラ予測方向Sが、異なるイントラ予測方向Xにマッピングされるという制約がある。以下、いくつかの実施形態である。
一実施形態において、マッピングされるイントラ予測方向Xは、全ての利用可能なイントラ予測方向の集合に含まれる。
他の実施形態において、マッピングされるイントラ予測方向Xは、上記の事前限定された範囲(又はグループ、又は数)の参照サンプルの範囲以外の参照サンプルを使用しない。
さらなる実施形態において、事前限定された範囲(又はグループ、又は数)の参照サンプルは、2*W+N個の上部隣接参照サンプル及び2*H+M個の左側隣接参照サンプルを含む。M及びNの値の例は1、2、3、4、...、128を含む。
他の実施形態において、Xは対角線イントラ予測方向である。例えば、33個の角度イントラ予測モードを適用する場合に、Sは、(以上の表5で指定されるように)2又は34にマッピングされる。他の例において、65個の角度イントラ予測モードを適用する場合に、Sは、2又は66にマッピングされる。他の例において、W>Hである場合、Xは、モード34(33個の角度イントラ予測モードを適用する場合)又は66(65個の角度イントラ予測モードを適用する場合)にマッピングされる。他の例において、W<Hである場合、Xはモード2にマッピングされる。
さらなる実施形態において、S=K-Xであり、ここで、Kは、事前定義された定数値である。値の例は36(33個の角度イントラ予測モードを適用する場合)及び68(65個の角度イントラ予測モードを適用する場合)である。
1つの他の実施形態において、Xは、全ての利用可能なイントラ予測方向の集合における最も広いイントラ予測角度である(最大インデックス又は最小インデックスを有する)。
他の実施形態において、Xは、事前限定されたイントラ予測モードである。事前限定されたイントラ予測モードの例は、水平予測モード、垂直予測モード、平面予測モード及びDC予測モードを含む。
他の実施形態において、Sは、全ての利用可能なイントラ予測方向の集合における1つのイントラ予測方向Xにマッピングされるが、イントラ平滑化を異なって適用する。例えば、イントラ予測方向Xにイントラ平滑化を適用しないと、Sがイントラ予測方向Xにマッピングされた後にイントラ平滑化を適用する。別の例では、イントラ予測方向Xにイントラ平滑化を既に適用したと、Sがイントラ予測方向Xにマッピングされた後にイントラ平滑化を適用しない。
長方形ブロックについて、イントラ平滑化を適用するかどうかは、ブロック領域のサイズではなく、ブロックの幅及び/又はブロックの高さに依存する。以下、この概念を使用するいくつかの実施形態を説明する。
一実施形態において、平面(Planar)モードを使用する場合に、上部隣接参照サンプルにイントラ平滑化を適用するかどうかはブロックの幅に依存し、左側隣接参照サンプルにイントラ平滑化を適用するかどうかはブロックの高さに依存する。
他の実施形態において、角度モードを使用する場合に、上部隣接参照サンプルにイントラ平滑化を適用するかどうかはブロック幅に依存し、左側隣接参照サンプルにイントラ平滑化を適用するかどうかはブロックの高さに依存する。例において、2つの表(以下に示すように)を使用して、イントラ平滑化を適用するかどうかを決定する。次の表7は、ブロックの高さ及びイントラモードipredを所与した場合に、左側参照サンプルにイントラ平滑化を適用するかどうかを決定するために使用され、Abs(ipred-HOR_IDX)がintraVerDistThres[nTbH]よりも大きい場合、左側参照サンプルにイントラ平滑化を適用し、さもなければ、イントラ平滑化を適用しない。HOR_IDXは、水平イントラ予測のイントラモードインデックスを指示し、33個の角度モードを適用する場合に、当該インデックスが10であり、65個の角度モードを適用する場合に、当該インデックスは18である。65個の角度モードを適用する場合に、次の表における閾値を適用する。
Figure 0007242705000007
次の表8は、ブロックの高さ及びイントラモードipredを所与した場合に上部参照サンプルにイントラ平滑化を適用するかどうかを決定するために使用される。Abs(ipred-VERIDX)がintraVerDistThres[nTbW]より大きい場合、上部参照サンプルにイントラ平滑化を適用し、さもなければ、イントラ平滑化を適用しない。VERIDXは、水平イントラ予測のイントラモードインデックスを指示する。33個の角度モードを適用する場合に、当該インデックスが26であり、65個の角度モードを適用する場合に、当該インデックスが50である。65個の角度モードを適用する場合に、次の表における閾値を適用する。
Figure 0007242705000008
実施形態の他の態様において、特定のモード、色成分又はコーディングツールにイントラ平滑化を適用する。以下、いくつかの実施形態を説明する。
一実施形態において、平面モードにイントラ平滑化を適用したことがない。
他の実施形態において、常に、平面モードにイントラ平滑化を適用する。
他の実施形態において、常に、DCモードにイントラ平滑化を適用する。
他の実施形態において、広角イントラ予測について、輝度成分と色度成分の両方にイントラ平滑化を適用する。
他の実施形態において、DCT-2以外の変換タイプを使用する場合に、イントラ平滑化を適用する。
他の実施形態において、DCT-2以外の変換タイプを使用する場合に、イントラ平滑化を適用したことがない。
他の実施形態において、PDPC(Position-DependentPredictionCombination、位置-依存予測の組み合わせ)を使用する場合に、常に、イントラ平滑化を適用する。
他の実施形態において、PDPCを使用する場合に、イントラ平滑化を適用したことがない。
他の実施形態において、NSST(Non-SeparableSecondaryTransform、非分離可能二次変換)を使用する場合に、常にイントラ平滑化を適用する。
他の実施形態において、NSSTを使用する場合に、イントラ平滑化を適用したことがない。
一実施形態において、CCLM(Cross-ComponentLinearMode、クロスコンポーネント線形モード)モードにイントラ平滑化を適用したことがない。
他の実施形態において、常にCCLMモードにイントラ平滑化を適用する。
PDPCは、そのブロック形状の対角線方向に近い角度モードに適用されてもよく、なお、対角線方向は、右上隅及び左下隅を結ぶ線によって示される。図12に示すように、左上のテクスチャ三角形領域(120)内にある予測角(実線矢印)は対角線方向内のイントラ予測角であり、左上のテクスチャ三角形領域外にある予測角(点線の角)121と122は、対角線方向を超えるイントラ予測角である。以下、他の実施形態を説明する。
一実施形態において、PDPCを適用するためのモードの数は、異なるブロック形状について、同じである。
他の実施形態において、PDPCを適用するためのモードの数は、正方形ブロック及び非正方形ブロックについて、異なる。
他の実施形態において、現在のブロックが非正方形ブロックである場合に、PDPCを適用するためのモードの数は、左下及び右上の対角線方向について、異なる。
他の実施形態において、幅が高さよりも大きい場合、PDPCは、水平方向より下の左下の角度、即ち、モード2からモード17に適用されない。
他の実施形態において、高さが幅よりも大きい場合、PDPCは、垂直方向より上の右上の角度、即ちモード51からモード66に適用されない。
上記の技術及び実現形態は、コンピュータ可読命令によってコンピュータソフトウェアとして実現され、1つ以上のコンピュータ可読媒体に物理的に記憶される。例えば、図13は開示された主題のいくつかの実施形態を実現するのに適したコンピュータシステム1300を示す。
コンピュータソフトウェアは、任意の適切なマシンコード又はコンピュータ言語を使用してコーディングすることができ、コンピュータソフトウェアは、アセンブル、コンパイル、リンクなどのメカニズムを介して、命令を含むコードを作成することができ、当該命令は、1つ以上のコンピュータ中央処理ユニット(CPU)、グラフィック処理ユニット(GPU)などによって直接的に実行されるか、又は解釈、マイクロコードなどによって実行されることができる。
当該命令は、例えばパーソナルコンピュータ、タブレット、サーバ、スマートフォン、ゲーム機器、モノのインターネット機器などを含む、様々なタイプのコンピュータ又はそのコンポーネントで実行されることができる。
図13に示めされるコンピュータシステム1300のコンポーネントは、本質的に例示であり、本開示の実施形態を実現するためのコンピュータソフトウェアの使用範囲又は機能に制限を加えることを意図するものではない。コンポーネントの配置は、コンピュータシステム1300の例示的な実施形態に示めされるコンポーネントのいずれか、又はそれらの組み合わせに関連する依存性又は要件を有するものとして解釈されるべきではない。
コンピュータシステム1300は、いくつかのマンマシンインタフェース入力機器を含んでもよい。このようなマンマシンインタフェース入力機器は、例えば触覚入力(例えば、キーストローク、スライド、データグローブの動き)、オーディオ入力(例えば、音声、拍手)、視覚入力(例えば、姿勢)、嗅覚入力(図示せず)などの1つ以上の人間のユーザによる入力に応答することができる。マンマシンインタフェース機器はさらに、例えば、オーディオ(例えば、音声、音楽、環境音)、画像(例えば、スキャンした画像、静的画像撮影装置から取得された写真画像)、ビデオ(例えば、2次元ビデオ、ステレオビデオが含まれる3次元ビデオ)などの、人間の意識的な入力に必ずしも直接関連しない特定のメディアをキャプチャするために使用されることもできる。
マンマシンインタフェース入力機器は、キーボード1301、マウス1302、タッチパッド1303、タッチパネル1310、データグローブ(図示せず)、ジョイスティック1305、マイク1306、スキャナ1307、撮影装置1308のうちの1つ以上を含んでもよい(それぞれが1つのみ図示される)。
コンピュータシステム1300はさらに特定のマンマシンインタフェース出力機器を含んでもよい。このようなマンマシンインタフェース出力機器は、例えば触覚出力、音、光及び匂い/味によって1つ以上の人間のユーザの感覚を刺激することができる。このようなマンマシンインタフェース出力機器は、触覚出力機器(例えば、タッチパネル1310、データグローブ(図示せず)又はジョイスティック1305による触覚フィードバックであり、しかし、入力機器として使用されない触覚フィードバック機器もある)、オーディオ出力機器(例えば、スピーカー1309、ヘッドフォン(図示せず))、視覚出力機器(例えば、スクリーン1310、バーチャルリアリティ眼鏡(図示せず)、ホログラフィックディスプレイ及びスモークタンク(図示せず)であって、CRTスクリーン、LCDスクリーン、プラズマスクリーン、OLEDスクリーンを含み、それぞれはタッチスクリーン入力機能がある場合とない場合、触覚フィードバック機能がある場合とない場合があり、そのうちのいくつかは、ステレオ出力のような手段で、2次元の視覚出力又は3次元以上の出力を出力できる場合がある)、プリンター(図示せず)を含むことができる。
コンピュータシステム1300はさらに人間がアクセス可能な記憶装置及びその関連する媒体を含んでもよく、例えば、CD/DVDなどの媒体1321を有するCD/DVD ROM/RW1320などの光学媒体、サムドライブ1322、取り外し可能なハードドライブ又はソリッドステートドライブ1323、例えば磁気テープとフロッピーディスク(図示せず)などの従来の磁気媒体、例えばドングル(図示せず)などの専用ROM/ASIC/PLDに基づく機器などを含んでもよい。
また、当業者は、現在開示された主題に関連して使用される「コンピュータ可読媒体」という用語には、伝送媒体、搬送波又は他の瞬間信号が含まれていないことを理解すべきである。
コンピュータシステム1300はさらに1つ以上の通信ネットワークへのインタフェースを含んでもよい。ネットワークは、例えば無線、有線、光などのネットワークであってもよい。ネットワークはさらに、ローカル、ワイドエリア、メトロポリタン、車載及び工業用、リアルタイム、遅延耐性などのネットワークであってもよい。ネットワークの例は、例えば、イーサネットや無線LANなどのローカルエリアネットワーク、セルラーネットワーク(GSM、3G、4G、5G、LTEなどを含む)、テレビ有線又は無線ワイドエリアデジタルネットワーク(有線テレビ、衛星テレビ及び地上波テレビが含まれる)、車載及び工業用ネットワーク(CANBusを含む)などを含む。一部のネットワークは一般的に、ある汎用データポート又は周辺バス1349(例えば、コンピュータシステム1300のUSBポート)に接続される外部ネットワークインタフェースアダプタを必要とし、他のネットワークは一般的に、以下で説明するようなシステムバス(例えば、PCコンピュータシステムに統合されるイーサネットインタフェース、又はスマートフォンコンピュータシステムに統合されるセルラーネットワークインタフェース)に接続されることによって、コンピュータシステム1300のコアに統合される。これらのネットワークのいずれかを使用して、コンピュータシステム1300は他のエンティティと通信できる。このような通信は、一方向受信のみ(例えば、放送テレビ)、一方向送信のみ(例えば、あるCANbus装置へのCANbus)、又は双方向(例えば、ローカルエリア又はワイドエリアデジタルネットワークを使用して他のコンピュータシステムに達する)あってもよい。上記のようなこれらのネットワークとネットワークインタフェースのそれぞれに、特定のプロトコル及びプロトコルスタックを使用することができる。
前記マンマシンインタフェース機器、人間がアクセス可能な記憶装置及びネットワークインタフェースは、コンピュータシステム1300のコア1340に接続されることができる。
コア1340は1つ又は複数の中央処理ユニット(CPU)1341、グラフィック処理ユニット(GPU)1342、フィールドプログラム可能なゲートアレイ(FPGA)1343という形式の専用のプログラム可能な処理ユニット、あるタスクのためのハードウェアアクセラレータ1344などを含む。これらの装置は、読み取り専用メモリ(ROM)1345、ランダムアクセスメモリ1346、内部大容量記憶装置1347(内部のユーザがアクセスできないハードディスクドライブ、ソリッドステートドライブ(SSD)など)とともに、システムバス1348を介して接続される。特定のコンピュータシステムにおいて、1つ又は複数の物理プラグという形式で、システムバス1348にアクセスすることで、別のCPU、GPUなどによる拡張を可能にする。周辺装置は、直接的又は周辺バス1349を介してコアのシステムバス1348に接続される。周辺バスのアーキテクチャは周辺コンポーネントの相互接続(PCI)、USBなどを含む。
CPU1341、GPU1342、FPGA1343及びアクセラレータ1344はいくつかの命令を実行することができ、これらの命令を組み合わせると、上記のコンピュータコードを構成することができる。当該コンピュータコードは、ROM1345又はRAM1346に記憶され得る。一時的なデータはRAM1346に記憶されてもよく、永久データは、例えば内部大容量記憶装置1347に記憶されてもよい。キャッシュメモリを使用することによって記憶装置のいずれかへの快速記憶及び検索を実現することができ、当該キャッシュメモリは1つ又は複数のCPU1341、GPU1342、大容量記憶装置1347、ROM1345、RAM1346などに密接に関連することができる。
コンピュータ可読媒体は、コンピュータによって実現される様々な動作を実行するためのコンピュータコードを有することができる。媒体とコンピュータコードは、本開示の目的のために、特別に設計及び構築される媒体とコンピュータコードであってもよいし、又は、コンピュータソフトウェア分野の当業者に周知且つ使用可能なタイプのものであってもよい。
限定ではなく例示として、アーキテクチャ1300を有するコンピュータシステム、特にコア1340は、(1つ又は複数の)プロセッサ(CPU、GPU、FPGA、アクセラレータなどを含む)が、1つ又は複数の有形コンピュータ可読媒体に具現化されるソフトウェアを実行することで、機能を提供することができる。このようなコンピュータ可読媒体は、以上に紹介された、ユーザがアクセスし得る大容量記憶装置に関する媒体、及び例えばコア内部大容量記憶装置1347又はROM1345のような、コア1340の非一時的な性質を持つ記憶装置であってもよい。本開示の各実施形態を実現するためのソフトウェアは、このような装置に記憶され、コア1340によって実行され得る。特定の需要に応じて、コンピュータ可読媒体には1つ又は複数の記憶装置又はチップが含まれてもよい。ソフトウェアは、コア1340、特にそのうちのプロセッサ(CPU、GPU、FPGAなどを含む)に、RAM1346に記憶されるデータ構成を限定すること、及びソフトウェアによって限定されたプロセスに基づき、このようなデータ構成を修正することが含まれる、本明細書で説明される特定のプロセス又は特定のプロセスの特定の部分を実行させることができる。また或いは代わりとして、コンピュータシステムは、ロジックハードワイヤード又は他の形式で回路(例えば、アクセラレータ1344)に実装されることによって、機能を提供することができ、当該回路は、ソフトウェアの代わりとして、又はソフトウェアとともに動作することで、本明細書で説明される特定のプロセス又は特定のプロセスの特定部分を実行することができる。適切な場合、言及されたソフトウェアにはロジックが含まれ、逆に、言及されたロジックにはソフトウェアが含まれてもよい。適切な場合、言及されたコンピュータ可読媒体には、実行されるソフトウェアが記憶される回路(例えば、集積回路(IC))、実行されるロジックを具現化する回路、或いはそれらの両方が含まれてもよい。本開示にはハードウェアとソフトウェアの任意の適切な組み合わせが含まれる。
本開示は、いくつかの例示的な実施形態を説明したが、本開示の範囲内に含まれる変更、置き換え及び様々な代替の均等物が存在する。従って、当業者は、本明細書では明示的に示されていないか、又は説明されていないが、本開示の原理を具現化したのでその趣旨及び範囲内にある多くのシステム及び方法を想到できることは理解されたい。
付録A:頭字語:
JEM:joint exploration model、共同探索モデル
VVC:versatile video coding、多用途ビデオ符号化
BMS:bench mark set、ベンチマークセット
MV:Motion Vector、動きベクトル
HEVC:High Efficiency Video Coding、高効率ビデオ符号化
SEI:Supplementary Enhancement Information、付加情報
VUI:Video Usability Information、ビデオ表示情報
GOP:Groupsof Pictures、ピクチャグループ
TU:Transform Unit、変換ユニット
PU:Prediction Unit、予測ユニット
CTU:Coding Tree Unit、コーディングツリーユニット
CTB:Coding Tree Block、コーディングツリーブロック
PB:Prediction Block、予測ブロック
HRD:Hypothetical Reference Decoder、仮想参照復号器
SNR:Signal NoiseRatio、信号対雑音比
CPU:Central Processing Unit、中央処理ユニット
GPU:Graphics Processing Unit、グラフィックス処理ユニット
CRT:Cathode Ray Tube、陰極線管
LCD:Liquid-Crystal Display、液晶ディスプレイ
OLED:Organic Light-Emitting Diode、有機発光ダイオード
CD:Compact Disc、コンパクトディスク
DVD:DigitalVideo Disc、デジタルビデオディスク
ROM:Read-Only Memory、読み取り専用メモリ
RAM:Random Access Memory、ランダムアクセスメモリ
ASIC:Application-Specific Integrated Circuit、特定用途向け集積回路
PLD:Programmable Logic Device、プログラマブルロジックデバイス
LAN:Local Area Network、ローカルエリアネットワーク
GSM:Global Systemfor Mobilecommunications、モバイル通信のグローバルシステム
LTE:Long-Term Evolution、ロングタームエボリューション
CANBus:Controller AreaNetwork Bus、コントローラエリアネットワークバス
USB:Universal Serial Bus、ユニバーサルシリアルバス
PCI:Peripheral Component Interconnect、周辺コンポーネント相互接続
FPGA:Field Programmable Gate Array、フィールドプログラマブルゲートアレイ
SSD:solid-state drive、ソリッドステートドライブ
IC:Integrated Circuit、集積回路
CU:Coding Unit、コーディングユニット

Claims (16)

  1. ビデオ復号器が実行するビデオ復号の方法であって、
    前記ビデオ復号器が、
    符号化されたビデオシーケンスから、少なくとも1つの構文要素を復号するステップであって、前記少なくとも1つの構文要素がイントラ予測モードを示す、ステップと、
    複数のイントラ予測モードと複数のイントラ予測角度との間の所定の関係に基づいて、前記イントラ予測モードに対応するイントラ予測角度を決定するステップと、
    前記イントラ予測モードに対応すると決定されたイントラ予測角度を使用してブロックの少なくとも1つのサンプルを再構築するステップと、を含み、
    前記所定の関係における前記複数のイントラ予測モードは、第1の複数の広角予測モード及び第2の複数の広角予測モードのうちの少なくとも一つを含み、
    前記第1の複数の広角予測モードは、左下方向対角線モードを超え、
    前記第2の複数の広角予測モードは、右上方向対角線モードを超え、
    前記イントラ予測角度は、intraPredAngleに対応し、前記イントラ予測モードは、predModeIntraに対応し、
    前記所定の関係は、以下の表の通りである、
    Figure 0007242705000009
    方法。
  2. 前記再構築するステップは、
    前記所定の関係を使用して、非正方形ブロックの前記少なくとも1つのサンプルを再構築するステップを含む、請求項1に記載の方法。
  3. 前記第1の複数の広角予測モードの数は10であり、
    前記第2の複数の広角予測モードの数は10である、請求項1乃至2のいずれか一項に記載の方法。
  4. 前記第1の複数の広角予測モードは-1から-10までの範囲の整数値を有し、
    前記第2の複数の広角予測モードは67から76までの範囲の整数値を有する、請求項1乃至3のいずれか一項に記載の方法。
  5. 前記所定の関係において、前記第1の複数の広角予測モード及び前記第2の複数の広角予測モードのうちの各複数の広角予測モードに対応するイントラ予測角度は、35から114までの範囲にある、請求項4に記載の方法。
  6. 前記第1の複数の広角予測モードは、高効率ビデオ符号化(HEVC)規格のモード2を超え、
    前記第2の複数の広角予測モードは、HEVC規格のモード34を超える、請求項1乃至5のいずれか一項に記載の方法。
  7. 前記ブロックの幅Wが前記ブロックの高さHより大きいとき、前記イントラ予測角度は((32*H/W)+1)より大きく、且つ前記イントラ予測モードは34より小さく、
    前記方法は、
    前記イントラ予測角度が9より大きいとき、65を追加することにより、前記イントラ予測モードを変更するステップと、
    前記イントラ予測角度が9以下であるとき、前記イントラ予測モードを66に設定するステップと、
    を含む請求項1乃至6のいずれか一項に記載の方法。
  8. 前記ブロックの幅Wが前記ブロックの高さHより小さいとき、前記イントラ予測角度は((32*W/H)+1)より大きく、且つ前記イントラ予測モードは34より大きく、
    前記方法は、
    前記イントラ予測角度が9より大きいとき、67を減算することにより、前記イントラ予測モードを変更するステップと、
    前記イントラ予測角度が9以下であるとき、前記イントラ予測モードを2に設定するステップと、
    を含む請求項1乃至7のいずれか一項に記載の方法。
  9. 前記ブロックの幅Wが前記ブロックの高さHより小さいとき、前記イントラ予測角度は((32*H/W)+1)より大きく、且つ前記イントラ予測モードは34より大きく、
    前記方法は、
    前記イントラ予測角度が9より大きいとき、67を減算することにより、前記イントラ予測モードを変更するステップと、
    前記イントラ予測角度が9以下であるとき、前記イントラ予測モードを-10に設定するステップと、
    を含む請求項1乃至6のいずれか一項に記載の方法。
  10. 処理回路を含む、ビデオ復号のためのビデオ復号器であって、
    前記処理回路は、
    符号化されたビデオシーケンスから、少なくとも1つの構文要素を復号し、前記少なくとも1つの構文要素がイントラ予測モードを示し、
    複数のイントラ予測モードと複数のイントラ予測角度との間の所定の関係に基づいて、示された前記イントラ予測モードに対応するイントラ予測角度を決定し、
    示された前記イントラ予測モードに対応すると決定されたイントラ予測角度を使用してブロックの少なくとも1つのサンプルを再構築する、
    よう構成され、
    前記所定の関係における前記複数のイントラ予測モードは、第1の複数の広角予測モード及び第2の複数の広角予測モードのうちの少なくとも一つを含み、
    前記第1の複数の広角予測モードは、左下方向対角線モードを超え、
    前記第2の複数の広角予測モードは、右上方向対角線モードを超え、
    前記イントラ予測角度はintraPredAngleに対応し、前記イントラ予測モードはpredModeIntraに対応し、
    前記処理回路は、以下の表の通りに前記所定の関係を記憶するよう構成される、
    Figure 0007242705000010
    復号器。
  11. 前記処理回路は、前記所定の関係を使用して、非正方形ブロックの前記少なくとも1つのサンプルを再構築するよう構成される、請求項10に記載のビデオ復号器。
  12. 前記第1の複数の広角予測モードの数は10であり、
    前記第2の複数の広角予測モードの数は10である、請求項10乃至11のいずれか一項に記載のビデオ復号器。
  13. 前記第1の複数の広角予測モードは-1から-10までの範囲の整数値を有し、
    前記第2の複数の広角予測モードは67から76までの範囲の整数値を有する、請求項10乃至12のいずれか一項に記載のビデオ復号器。
  14. 前記所定の関係において、前記第1の複数の広角予測モード及び前記第2の複数の広角予測モードのうちの各複数の広角予測モードに対応するイントラ予測角度は、35から114までの範囲にある、請求項13に記載のビデオ復号器。
  15. 前記第1の複数の広角予測モードは、高効率ビデオ符号化(HEVC)規格のモード2を超え、
    前記第2の複数の広角予測モードは、HEVC規格のモード34を超える、請求項10乃至14のいずれか一項に記載のビデオ復号器。
  16. 請求項1乃至6のいずれか一項に記載の方法をコンピュータに実行させるコンピュータプログラム。
JP2020560184A 2018-07-02 2019-07-02 ビデオ符号化のための方法、装置、及びコンピュータプログラム Active JP7242705B2 (ja)

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
US201862693050P 2018-07-02 2018-07-02
US62/693,050 2018-07-02
US201862711390P 2018-07-27 2018-07-27
US62/711,390 2018-07-27
US16/147,313 2018-09-28
US16/147,313 US10284844B1 (en) 2018-07-02 2018-09-28 Method and apparatus for video coding
PCT/US2019/040385 WO2020010131A1 (en) 2018-07-02 2019-07-02 Method and apparatus for video coding

Publications (2)

Publication Number Publication Date
JP2021520158A JP2021520158A (ja) 2021-08-12
JP7242705B2 true JP7242705B2 (ja) 2023-03-20

Family

ID=66333899

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020560184A Active JP7242705B2 (ja) 2018-07-02 2019-07-02 ビデオ符号化のための方法、装置、及びコンピュータプログラム

Country Status (6)

Country Link
US (5) US10284844B1 (ja)
EP (1) EP3818698A4 (ja)
JP (1) JP7242705B2 (ja)
KR (2) KR20230026547A (ja)
CN (2) CN112154661B (ja)
WO (1) WO2020010131A1 (ja)

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11509889B2 (en) 2018-06-27 2022-11-22 Kt Corporation Method and apparatus for processing video signal
MX2020012688A (es) 2018-06-27 2021-02-15 Kt Corp Metodo y aparato para procesar se?ales de video.
US10893285B2 (en) 2018-06-29 2021-01-12 FG Innovation Company Limited Device and method for coding video data based on one or more reference lines
US10567752B2 (en) 2018-07-02 2020-02-18 Tencent America LLC Method and apparatus for intra prediction for non-square blocks in video compression
US11509908B2 (en) * 2018-09-11 2022-11-22 Panasonic Intellectual Property Corporation Of America Encoder, decoder, encoding method, and decoding method
US11546632B2 (en) * 2018-12-19 2023-01-03 Lg Electronics Inc. Method and device for processing video signal by using intra-prediction
US11265580B2 (en) * 2019-03-22 2022-03-01 Tencent America LLC Supplemental enhancement information messages for neural network based video post processing
JP2020182196A (ja) * 2019-04-26 2020-11-05 京セラドキュメントソリューションズ株式会社 画像形成装置
WO2020242183A1 (ko) * 2019-05-27 2020-12-03 엘지전자 주식회사 광각 인트라 예측 및 변환에 기반한 영상 코딩 방법 및 그 장치
US11039156B2 (en) 2019-06-11 2021-06-15 Tencent America LLC Unified position dependent prediction combination process
EP3957075A4 (en) * 2019-06-17 2022-11-02 Zhejiang Dahua Technology Co., Ltd. SYSTEMS AND METHODS FOR PREDICTING AN ENCODER BLOCK
CN114128294A (zh) * 2019-07-08 2022-03-01 现代自动车株式会社 用于视频数据的帧内预测编码的方法和装置
US11272187B2 (en) 2019-08-13 2022-03-08 Tencent America LLC Method and apparatus for video coding
CN117376556A (zh) * 2019-08-14 2024-01-09 北京字节跳动网络技术有限公司 位置相关帧内预测样点滤波
CN114402606A (zh) * 2019-09-23 2022-04-26 华为技术有限公司 降低平面模式的帧内预测的复杂度的编码器、解码器和对应方法
KR20220061908A (ko) * 2019-09-24 2022-05-13 광동 오포 모바일 텔레커뮤니케이션즈 코포레이션 리미티드 예측값의 확정 방법, 인코더, 디코더 및 컴퓨터 저장 매체
KR102482781B1 (ko) 2019-10-29 2022-12-29 엘지전자 주식회사 변환에 기반한 영상 코딩 방법 및 그 장치
EP4087252A4 (en) * 2019-12-31 2023-01-25 Guangdong Oppo Mobile Telecommunications Corp., Ltd. TRANSFORMATION METHOD, ENCODER, DECODER AND STORAGE MEDIUM
US11790566B2 (en) * 2020-05-12 2023-10-17 Tencent America LLC Method and apparatus for feature substitution for end-to-end image compression
US11683515B2 (en) * 2021-01-27 2023-06-20 Tencent America LLC Video compression with adaptive iterative intra-prediction

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021523588A (ja) 2018-05-14 2021-09-02 インターデジタル ヴイシー ホールディングス, インコーポレイテッド 四分木二分木のブロック形状適応イントラ予測方向

Family Cites Families (47)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030161501A1 (en) * 2002-02-23 2003-08-28 Imove Inc. Image distortion for gun sighting and other applications
US7386048B2 (en) * 2002-05-28 2008-06-10 Sharp Laboratories Of America, Inc. Methods and systems for image intra-prediction mode organization
WO2008016605A2 (en) 2006-08-02 2008-02-07 Thomson Licensing Adaptive geometric partitioning for video decoding
US8326395B2 (en) 2009-11-19 2012-12-04 Jack Edward Gratteau Electrode for electroretinographic use and method of application
US20110249735A1 (en) * 2010-04-09 2011-10-13 Jie Zhao Methods and Systems for Intra Prediction
KR101529452B1 (ko) * 2010-07-15 2015-06-18 미쓰비시덴키 가부시키가이샤 동영상 복호 장치 및 동영상 복호 방법
JP5798556B2 (ja) * 2010-07-15 2015-10-21 シャープ株式会社 復号装置、符号化装置
US8526495B2 (en) 2010-11-22 2013-09-03 Mediatek Singapore Pte. Ltd. Apparatus and method of constrained partition size for high efficiency video coding
US9049452B2 (en) 2011-01-25 2015-06-02 Mediatek Singapore Pte. Ltd. Method and apparatus for compressing coding unit in high efficiency video coding
WO2012134046A2 (ko) * 2011-04-01 2012-10-04 주식회사 아이벡스피티홀딩스 동영상의 부호화 방법
US9769472B2 (en) 2011-08-17 2017-09-19 Mediatek Singapore Pte. Ltd. Method and apparatus for Intra prediction using non-square blocks
US9787982B2 (en) 2011-09-12 2017-10-10 Qualcomm Incorporated Non-square transform units and prediction units in video coding
WO2013039676A1 (en) 2011-09-13 2013-03-21 Mediatek Singapore Pte. Ltd. Method and apparatus for intra mode coding in hevc
CN104247422B (zh) * 2011-11-07 2018-09-11 华为技术有限公司 用于改进帧内预测的新的角度表的方法和装置
GB2501535A (en) 2012-04-26 2013-10-30 Sony Corp Chrominance Processing in High Efficiency Video Codecs
WO2014072571A1 (en) * 2012-10-01 2014-05-15 Nokia Corporation Method and apparatus for scalable video coding
US20140286413A1 (en) 2013-03-25 2014-09-25 Qualcomm Incorporated Disabling sign data hiding in video coding
AU2013202653A1 (en) * 2013-04-05 2014-10-23 Canon Kabushiki Kaisha Method, apparatus and system for generating intra-predicted samples
JP6362363B2 (ja) 2014-03-10 2018-07-25 キヤノン株式会社 画像推定方法、プログラム、記録媒体および画像推定装置
JP6516434B2 (ja) * 2014-10-15 2019-05-22 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法
KR20180008797A (ko) * 2015-06-15 2018-01-24 엘지전자 주식회사 인트라 예측 모드 기반 영상 처리 방법 및 이를 위한 장치
CN108028923B (zh) * 2015-09-10 2021-08-20 Lg电子株式会社 视频编码***中的帧内预测方法和设备
US10218975B2 (en) * 2015-09-29 2019-02-26 Qualcomm Incorporated Transform precision manipulation in video coding
US20170150156A1 (en) 2015-11-25 2017-05-25 Qualcomm Incorporated Illumination compensation with non-square predictive blocks in video coding
US10448011B2 (en) 2016-03-18 2019-10-15 Mediatek Inc. Method and apparatus of intra prediction in image and video processing
US10805607B2 (en) * 2016-04-29 2020-10-13 Industry Academy Cooperation Foundation Of Sejong University Video signal encoding/decoding method and apparatus
US10230961B2 (en) 2016-06-03 2019-03-12 Mediatek Inc. Method and apparatus for template-based intra prediction in image and video coding
US11438582B2 (en) * 2016-08-03 2022-09-06 Kt Corporation Video signal processing method and device for performing intra-prediction for an encoding/decoding target block
EP3499884B1 (en) * 2016-08-08 2022-12-14 LG Electronics Inc. Intra-prediction mode-based video coding methods and video processing apparatus thereof
US10506228B2 (en) * 2016-10-04 2019-12-10 Qualcomm Incorporated Variable number of intra modes for video coding
KR102458642B1 (ko) * 2016-12-23 2022-10-24 후아웨이 테크놀러지 컴퍼니 리미티드 지향성 인트라 예측 모드의 세트 내에서 확장 지향성 인트라 예측 모드를 시그널링하는 인코딩 장치
EP3806463A1 (en) * 2016-12-23 2021-04-14 Huawei Technologies Co., Ltd. An intra-prediction apparatus for extending a set of predetermined directional intra-prediction modes
KR102371266B1 (ko) 2016-12-23 2022-03-07 후아웨이 테크놀러지 컴퍼니 리미티드 미리 결정된 방향성 인트라 예측 모드들의 세트로부터 방향성 인트라 예측 모드를 제거하기 위한 인트라 예측 장치
CN117119185A (zh) * 2017-01-02 2023-11-24 Lx 半导体科技有限公司 图像编码/解码设备以及发送图像数据的设备
FI20175006A1 (en) 2017-01-03 2019-02-15 Nokia Technologies Oy Video and image coding using wide-angle intra-prediction
WO2018174358A1 (ko) * 2017-03-21 2018-09-27 엘지전자 주식회사 영상 코딩 시스템에서 인트라 예측에 따른 영상 디코딩 방법 및 장치
US10992939B2 (en) * 2017-10-23 2021-04-27 Google Llc Directional intra-prediction coding
US20190014325A1 (en) * 2017-07-05 2019-01-10 Industrial Technology Research Institute Video encoding method, video decoding method, video encoder and video decoder
CN116405673A (zh) * 2017-12-22 2023-07-07 数码士有限公司 视频信号处理方法和设备
US11218706B2 (en) * 2018-02-26 2022-01-04 Interdigital Vc Holdings, Inc. Gradient based boundary filtering in intra prediction
KR20210031783A (ko) * 2018-04-01 2021-03-22 주식회사 비원영상기술연구소 영상 부호화/복호화 방법 및 장치
CN112135899B (zh) * 2018-05-25 2022-10-25 巴斯夫欧洲公司 包含溶剂混合物的组合物用于处理图案化材料时避免图案坍塌的用途
KR102519380B1 (ko) * 2018-06-29 2023-04-06 후아웨이 테크놀러지 컴퍼니 리미티드 비디오 이미지의 예측 블록의 인트라 예측을 위한 장치 및 방법
US11128872B2 (en) * 2018-07-16 2021-09-21 Qualcomm Incorporated Position dependent intra prediction combination with wide angle intra prediction
KR20200078391A (ko) * 2018-12-21 2020-07-01 주식회사 엑스리스 영상 신호 부호화/복호화 방법 및 이를 위한 장치
WO2020175938A1 (ko) * 2019-02-28 2020-09-03 주식회사 엑스리스 영상 신호 부호화/복호화 방법 및 이를 위한 장치
US11368698B2 (en) * 2019-04-16 2022-06-21 Tencent America LLC Method and apparatus for video coding using planar intra prediction mode for intra sub-partition coding mode

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021523588A (ja) 2018-05-14 2021-09-02 インターデジタル ヴイシー ホールディングス, インコーポレイテッド 四分木二分木のブロック形状適応イントラ予測方向

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
RACAPE, Fabien et al.,CE3-related: Wide-angle intra prediction for non-square blocks,Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11 11th Meeting: Ljubljana, SI, 10-18 July 2018, [JVET-K0500_r1],JVET-K0500 (version 2),ITU-T,2018年07月11日,<URL: http://phenix.it-sudparis.eu/jvet/doc_end_user/documents/11_Ljubljana/wg11/JVET-K0500-v2.zip>: JVET-K0500_r1.docx: pp. 1-7
SJOBERG, Rickard et al.,Description of SDR and HDR video coding technology proposal by Ericsson and Nokia,Joint Video Exploration Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11 10th Meeting: San Diego, CA, USA, 10-20 April 2018, [JVET-J0012-v1],JVET-J0012 (version 2),ITU-T,2018年04月13日,<URL: http://phenix.it-sudparis.eu/jvet/doc_end_user/documents/10_San%20Diego/wg11/JVET-J0012-v2.zip>: JVET-J0012_r1.docx: pp. 5-7

Also Published As

Publication number Publication date
CN116389735A (zh) 2023-07-04
US10771782B2 (en) 2020-09-08
US11930167B2 (en) 2024-03-12
US20200366890A1 (en) 2020-11-19
KR20200125740A (ko) 2020-11-04
CN112154661B (zh) 2023-04-14
EP3818698A1 (en) 2021-05-12
US10284844B1 (en) 2019-05-07
KR102501745B1 (ko) 2023-02-21
EP3818698A4 (en) 2022-04-13
JP2021520158A (ja) 2021-08-12
WO2020010131A1 (en) 2020-01-09
US20230012475A1 (en) 2023-01-19
US20200007861A1 (en) 2020-01-02
US11533478B2 (en) 2022-12-20
US20230060151A1 (en) 2023-03-02
CN112154661A (zh) 2020-12-29
KR20230026547A (ko) 2023-02-24

Similar Documents

Publication Publication Date Title
JP7242705B2 (ja) ビデオ符号化のための方法、装置、及びコンピュータプログラム
JP7280887B2 (ja) ビデオ符号化のための方法、装置及びコンピュータプログラム
JP7339389B2 (ja) ビデオ圧縮における複数ラインのフレーム内予測のための方法および装置
JP7046220B2 (ja) 小ブロックの予測と変換のための方法、装置、及びプログラム
JP7208261B2 (ja) ビデオ復号化のための方法、装置およびコンピュータプログラム
JP7223116B2 (ja) 動画の符号化及び復号の方法、装置及びコンピュータプログラム
JP7405926B2 (ja) 動画の符号化及び復号方法、装置、並びにコンピュータプログラム
JP7502190B2 (ja) ビデオ符号化のための方法並びにその装置及びコンピュータプログラム
JP7258168B2 (ja) ビデオコーディングのための方法並びにその、装置およびコンピュータプログラム
JP7212060B2 (ja) サブブロックに基づく時間的動きベクトル予測のための方法並びにその機器及びコンピュータプログラム
CN113574894A (zh) 用于帧内预测模式与块差分脉冲编码调制模式之间交互的方法和装置
JP2022526380A (ja) スキップモードフラグを伝達するための方法、装置及びコンピュータプログラム
CN112235573B (zh) 视频编解码的方法、装置、电子设备、存储介质
JP7236558B2 (ja) ビデオコーディングのための方法および装置
CN113475067A (zh) 视频编解码方法及装置
JP7267404B2 (ja) ビデオを符号化及び復号する方法、並びにその装置及びコンピュータプログラム
JP2022511902A (ja) インターpdpcモードの改善
JP7189370B2 (ja) Cuに基づく補間フィルタ選択のシグナリング
JP2023510690A (ja) ビデオコーディングのための方法及び装置
JP7439344B2 (ja) ビデオデコーディングのための方法、デバイス、およびコンピュータプログラム
JP2023533904A (ja) ゼロ残差フラグコーディング
JP2023525668A (ja) 多重変換選択を用いた適応スキャン
JP2022540532A (ja) 動画符号化のための方法、装置及びコンピュータプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20201026

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20211210

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20211214

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220314

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220712

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221011

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230214

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230308

R150 Certificate of patent or registration of utility model

Ref document number: 7242705

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150