JP2024508430A - イントラ及びインター予測を伴うジオメトリックパーティションモードの改善 - Google Patents

イントラ及びインター予測を伴うジオメトリックパーティションモードの改善 Download PDF

Info

Publication number
JP2024508430A
JP2024508430A JP2023550195A JP2023550195A JP2024508430A JP 2024508430 A JP2024508430 A JP 2024508430A JP 2023550195 A JP2023550195 A JP 2023550195A JP 2023550195 A JP2023550195 A JP 2023550195A JP 2024508430 A JP2024508430 A JP 2024508430A
Authority
JP
Japan
Prior art keywords
partition
mode
intra
prediction
inter
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2023550195A
Other languages
English (en)
Inventor
リー，リン
リー，シャン
チェン，リン－フェイ
リウ，シャン
Original Assignee
テンセント・アメリカ・エルエルシー
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by テンセント・アメリカ・エルエルシー filed Critical テンセント・アメリカ・エルエルシー
Publication of JP2024508430A publication Critical patent/JP2024508430A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

符号化ユニット(CU)の符号化情報が受信される。CUは、パーティションインデックスに基づいて、第1のパーティション及び第2のパーティションにパーティション化される。パーティションインデックスは、CUが直線パーティションラインによって第1のパーティション及び第2のパーティションにパーティション化されるジオメトリックパーティションモード(GPM)を示す。CU内の直線パーティションラインの位置に基づいて、(i)CUの第1のパーティションの第1の予測モードがイントラモード及びインターモードの1つであるか、及び(ii)CUの第2のパーティションの第2の予測モードがイントラモード及びインターモードの1つであるかが決定される。CUの第1のパーティションは、決定された第1の予測モードに基づいて再構成され、CUの第2のパーティションは、決定された第2の予測モードに基づいて再構成される。

Description

［参照による援用］
本出願は、2022年9月14日に出願された米国特許出願第17/945,040号「IMPROVEMENT ON GEOMETRIC PARTITION MODE WITH INTRA AND INTER PREDICTION」に対する優先権の利益を主張するものであり、当該米国出願は、2021年10月4日に出願された米国仮出願第63/252,111号「Geometric Partition Mode with Intra and Inter Prediction」に対する優先権の利益を主張するものである。先の出願の開示の全内容を参照により援用する。
［技術分野］
本開示は、概してビデオ符号化(コーディング)に関連する実施形態を記載する。
本明細書で提供される背景説明は、本開示の文脈を概括的に提示するためのものである。本願で名前が挙がっている発明者の仕事であってその仕事がこの背景セクションに記載されている範囲におけるもの、また、他の意味で出願時に先行技術として適格でないことがあり得る本記述の諸側面は、明示的にも暗黙的にも本開示に対する先行技術として認められない。
非圧縮デジタルビデオは、一連のピクチャを含むことができ、各ピクチャは、例えば1920×1080のルミナンスサンプル及び関連するクロミナンスサンプルの空間的寸法を有する。一連のピクチャは、固定又は可変のピクチャレート(非公式にはフレームレートとしても知られる)、例えば、毎秒60ピクチャ又は60Hzのピクチャレートを有することができる。非圧縮ビデオは、特定のビットレート要件を有する。例えば、サンプル当たり8ビットの1080p60 4:2:0ビデオ(60Hzのフレームレートでの1920×1080のルミナンスサンプル解像度)は、1.5Gbit/sに近い帯域幅を必要とする。そのようなビデオの1時間は、600Gバイトを超える記憶スペースを必要とする。
ビデオ符号化及び復号の1つの目的は、圧縮による入力ビデオ信号の冗長性の低減であり得る。圧縮は、前述の帯域幅及び／又は記憶スペースの要求を、場合によっては2桁以上も低減するのに役立つことがある。可逆圧縮及び不可逆圧縮の双方、並びにそれらの組み合わせを用いることができる。可逆圧縮とは、圧縮された元の信号から、元の信号の正確なコピーが再構成できる技術をいう。不可逆圧縮を使用する場合、再構成された信号は、元の信号と同一ではないことがあり得るが、元の信号と再構成された信号との間の歪みは、再構成された信号を意図された用途のために有用にするのに十分小さい。ビデオの場合、不可逆圧縮が広く用いられている。許容される歪みの量はアプリケーションに依存し、例えば、特定の消費者ストリーミングアプリケーションのユーザは、テレビ配信アプリケーションのユーザよりも高い歪みを許容することがある。達成可能な圧縮比は、より高い許容可能/認容可能な歪みはより高い圧縮比をもたらすことができる、ということを反映できる。
ビデオエンコーダ及びデコーダは、例えば動き補償、変換、量子化、及びエントロピー符号化を含むいくつかの広範なカテゴリからの技術を利用することができる。
ビデオコーデック技術は、イントラ符号化として知られる技術を含むことができる。イントラ符号化では、サンプル値は、以前に再構成された参照ピクチャからのサンプル又は他のデータを参照することなく表現される。いくつかのビデオコーデックでは、ピクチャは空間的にサンプルのブロックに分割される。サンプルの全てのブロックがイントラモードで符号化される場合、そのピクチャはイントラピクチャであり得る。イントラピクチャと、独立デコーダリフレッシュピクチャのようなその派生物は、デコーダ状態をリセットするために使用でき、よって、符号化ビデオビットストリーム及びビデオセッションにおける最初のピクチャとして、又は静止画像として使用できる。イントラブロックのサンプルを変換にかけることができ、変換係数は、エントロピー符号化の前に量子化されることができる。イントラ予測は、変換前領域におけるサンプル値を最小化する技術であり得る。場合によっては、変換後のDC値が小さく、AC係数が小さいほど、エントロピー符号化後のブロックを表すために所与の量子化ステップサイズで必要とされるビット数が少なくなる。
例えばMPEG-2世代の符号化技術から知られているような伝統的なイントラ符号化は、イントラ予測を使用しない。しかしながら、いくつかのより新しいビデオ圧縮技術は、例えば、空間的に近傍であり、復号順で先行するデータのブロックの符号化及び/又は復号中に得られた周囲のサンプルデータ及び/又はメタデータから試みる技術を含む。そのような技術は、以下では「イントラ予測」技術と呼ばれる。少なくともいくつかの場合には、イントラ予測は再構成中の現在ピクチャからの参照データのみを使用し、参照ピクチャからの参照データは使用しないことに注意されたい。
様々な形のイントラ予測があり得る。所与のビデオ符号化技術において、そのような技術の2つ以上が使用できる場合、使用される技術は、イントラ予測モードで符号化されることができる。特定の場合には、モードは、サブモード及び/又はパラメータを有することができ、それらは、個別に符号化されることができ、或いは、モードコードワードに含められることができる。所与のモード、サブモード及び/又はパラメータの組み合わせのためにどのコードワードを使用するかは、イントラ予測を通して符号化効率利得に影響を与える可能性があり、コードワードをビットストリームに変換するために使用されるエントロピー符号化技術も同様に影響を与える可能性がある。
イントラ予測のあるモードがH.264で導入され、H.265で洗練され、共同探査モデル(JEM)、多用途ビデオ符号化(VVC)、及びベンチマークセット(BMS)のようなより新しい符号化技術においてさらに洗練された。予測子ブロックは、既に利用可能なサンプルに属する近傍サンプル値を使用して形成されることができる。近傍サンプルのサンプル値が、ある方向に従って予測子ブロックにコピーされる。使用される方向への参照は、ビットストリームにおいて符号化されることができ、或いは、それ自身予測されてもよい。
図１Ａを参照すると、右下に、H.265の33個の可能な予測子方向(35個のイントラモードのうち33個の角度モードに対応する)から知られている9個の予測子方向のサブセットが描かれている。矢印が収束する点(101)は、予測されるサンプルを表す。矢印は、サンプルが予測される方向を表す。例えば、矢印(102)は、サンプル(101)が、水平から45度の角度の右上のサンプル(単数又は複数)から予測されることを示す。同様に、矢印(103)は、サンプル(101)が、水平から22.5度の角度の、サンプル(101)の左下のサンプル(単数又は複数)から予測されることを示す。
引き続き図１Ａを参照すると、左上には、4×4サンプルの正方形ブロック(104)が描かれている(太い破線で示されている)。正方形ブロック(104)は、16個のサンプルを含み、各サンプルは「S」とY次元におけるその位置(例えば、行インデックス)及びX次元におけるその位置(例えば、列インデックス)でラベル付けされている。例えば、サンプルS21は、Y次元の(上から)2番目のサンプルであり、X次元の(左から)最初のサンプルである。同様に、サンプルS44は、Y及びX次元の双方においてブロック(104)内の4番目のサンプルである。ブロックが4×4サンプルのサイズなので、S44は右下にある。さらに、同様の番号付けスキームに従う参照サンプルが示されている。参照サンプルは、Rと、ブロック(104)に対するそのY位置(例えば、行インデックス)及びX位置(列インデックス)でラベル付けされる。H.264とH.265の双方において、予測サンプルは再構成中のブロックの近傍であり、そのため負の値を使用する必要はない。
イントラピクチャ予測は、信号伝達(シグナリング)される予測方向によって充当される近傍サンプルから参照サンプル値をコピーすることによって機能できる。例えば、符号化ビデオビットストリームは、このブロックについて、矢印(102)と整合する予測方向を示す信号伝達を含むと想定する。すなわち、サンプルは、水平から45度の角度の右上の予測サンプル(単数又は複数)から予測される。その場合、サンプルS41、S32、S23、及びS14は、同じ参照サンプルR05から予測される。次いで、サンプルS44は、参照サンプルR08から予測される。
特定の場合には、特に方向が45度で割り切れない場合には、参照サンプルを計算するために、複数の参照サンプルの値が、例えば補間によって組み合わされることができる。
ビデオ符号化技術の発達に伴い、可能な方向の数が増加してきた。H.264(2003年)では、9つの異なる方向が表現できた。これは、H.265(2013年)では33に増加し、本開示の時点でのJEM/VVC/BMSは、最大65の方向をサポートできる。最も可能性の高い方向を特定するために実験が行われ、より可能性の低い方向についてのあるペナルティを受け入れつつ、それらの可能性の高い方向を少数のビットで表現するために、エントロピー符号化における特定の技術が使用される。さらに、方向自身が、近傍の既に復号されたブロックで使用された近傍方向から予測できることがある。
図１Ｂは、時間とともに増加する予測方向の数を示すために、JEMによる65個のイントラ予測方向を描く概略図(110)を示している。
方向を表す符号化ビデオビットストリームにおけるイントラ予測方向ビットのマッピングは、ビデオ符号化技術毎に異なることができ、例えば、予測方向のイントラ予測モードへの単純な直接的マッピングから、コードワード、最確モードに関わる複雑な適応方式、及び同様の技術まであり得る。しかしながら、どの場合でも、ビデオコンテンツにおいて、他の特定の方向よりも統計的に起こりにくい特定の方向が存在し得る。ビデオ圧縮の目標は冗長性の低減であるので、良好に機能するビデオ符号化技術においては、そうしたより可能性の低い方法は、より可能性の高い方向よりもより多くのビット数によって表わされる。
ビデオ符号化及び復号は、動き補償を伴うインターピクチャ予測を使用して実行できる。動き補償は、不可逆圧縮技術であることがあり、且つ、以前に再構成されたピクチャ又はその一部(参照ピクチャ)からのサンプルデータのブロックが、動きベクトル(以下、MV)によって示される方向に空間的にシフトされた後に、新しく再構成されるピクチャ又はその一部の予測のために使用される技術に関することができる。場合によっては、参照ピクチャは、現在再構成中のピクチャと同じであることもできる。MVは、X及びYの2次元、又は3次元を有することができ、第3の次元は、使用される参照ピクチャの指示である(これは、間接的に、時間次元であり得る)。
いくつかのビデオ圧縮技術では、サンプルデータのある領域に適用可能なMVは、他のMVから、例えば、再構成中の領域に空間的に隣接し、復号順でそのMVに先行するサンプルデータの別の領域に関連するMVから予測されることができる。そうすることにより、MVの符号化に必要とされるデータ量を大幅に削減することができ、それにより冗長性を除去し、圧縮を増加させることができる。MV予測が有効に機能できるのは、例えば、カメラから導出される入力ビデオ信号(ナチュラルビデオとして知られる)を符号化する際に、単一のMVが適用可能である領域よりも大きな領域が同様の方向に移動し、よって、特定の場合には、近傍領域のMVから導出された同様の動きベクトルを用いて予測できるという、統計的確からしさがあるからである。その結果、所与の領域について見出されるMVが、周囲のMVから予測されるMVと同様又は同一であることになり、そして、それは、エントロピー符号化の後、MVを直接符号化する場合に使用されるであろうものよりも少数のビットで表現できる。いくつかの場合には、MV予測は、元の信号(すなわち、サンプルストリーム)から導出された信号(すなわち、MV)の可逆圧縮の例であり得る。他の場合には、MV予測自身が、例えば、いくつかの周囲のMVから予測子を計算する際の丸め誤差のために、不可逆であることがある。
H.265/HEVC(ITU-T Rec. H.265、「High Efficiency Video Coding」、December 2016)には、様々なMV予測機構が記載されている。H.265が提供する多くのMV予測機構のうち、本明細書では、以後、「空間マージ(spatial merge)」と呼ばれる技術が記載される。
図２を参照すると、現在ブロック(201)は、空間的にシフトされた同じサイズの前のブロックから予測可能であることが動き探索プロセスの間にエンコーダによって見出されたサンプルを含む。そのMVを直接符号化する代わりに、MVは、1つ以上の参照ピクチャに関連付けられたメタデータから、例えば(復号順で)最新の参照ピクチャから、A0、A1、及びB0、B1、B2(それぞれ202～206)と記される5つの周囲のサンプルのいずれかに関連付けられたMVを使用して、導出できる。H.265では、MV予測は、近傍ブロックが使用しているのと同じ参照ピクチャからの予測子を使用することができる。
本開示の諸側面は、ビデオ符号化/復号のための方法及び装置を提供する。いくつかの例では、ビデオ復号のための装置は処理回路を含む。
本開示の側面によれば、ビデオデコーダにおいて実行されるビデオ復号の方法が提供される。当該方法では、現在ピクチャの符号化ユニット(CU, coding unit)の符号化情報が符号化ビデオビットストリームから受信できる。CUは、符号化情報内のパーティションインデックスに基づいて、第1のパーティション及び第2のパーティションにパーティション化できる。パーティションインデックスは、CUが直線パーティションラインによって第1のパーティション及び第2のパーティションにパーティション化されるジオメトリックパーティションモード(GPM, geometric partition mode)を示すことができる。CU内の直線パーティションラインの位置に基づいて、(i)CUの第1のパーティションの第1の予測モードがイントラモード及びインターモードの1つであるか、及び(ii)CUの第2のパーティションの第2の予測モードがイントラモード及びインターモードの1つであるかが決定できる。CUの第1のパーティションは、決定された第1の予測モードに基づいて再構成でき、CUの第2のパーティションは、決定された第2の予測モードに基づいて再構成できる。
一例では、直線パーティションラインがCUの左上角と交差することに応じて、CUの幅がCUの高さ以上であることに基づいて、第1のパーティションの第1の予測モードはイントラモードとして決定でき、第2のパーティションの第2の予測モードはインターモードとして決定できる。
別の例では、直線パーティションラインがCUの左上角と交差することに応じて、CUの幅がCUの高さよりも小さいことに基づいて、第1のパーティションの第1の予測モードはインターモードとして決定でき、第2のパーティションの第2の予測モードはイントラモードとして決定できる。
更に別の例として、直線パーティションラインがCUの左上角と交差することに応じて、第1のパーティションの第1の予測モード及び第2のパーティションの第2の予測モードは、CUに隣接する上参照サンプル及び左参照サンプルのどちらがイントラ予測に利用可能であるかに基づいて決定できる。
例えば、(i)左参照サンプルがCUの第1のパーティションに隣接し、イントラ予測に利用可能であること、及び(ii)上参照サンプルがイントラ予測に利用不可能であることに基づいて、第1のパーティションの第1の予測モードはイントラモードとして決定でき、第2のパーティションの第2の予測モードはインターモードとして決定できる。
いくつかの実施形態では、第1のパーティションの第1の予測モード及び第2のパーティションの第2の予測モードは、CUの第1のパーティション及び第2のパーティションのどちらがCUの上の角のピクセルのより大きい部分を含むかに基づいて決定できる。
いくつかの実施形態では、CUの第1のパーティションがCUの上の角のピクセルのより大きい部分を含むことに基づいて、第1のパーティションの第1の予測モードはイントラモードとして決定でき、第2のパーティションの第2の予測モードはインターモードとして決定できる。
いくつかの実施形態では、第1のパーティションに含まれる上の角のピクセルの第1の部分が、第2のパーティションに含まれる上の角のピクセルの第2の部分に等しいことに応じて、第1の予測モード及び第2の予測モードは、上参照サンプル及び左参照サンプルのどちらが第1のパーティション及び第2のパーティションの一方に隣接するかに基づいて決定できる。
いくつかの実施形態では、CUの第1のパーティションがイントラ符号化されるかインター符号化されるかは、第1のインデックスに基づいて決定できる。CUの第2のパーティションがイントラ符号化されるかインター符号化されるかは、第2のインデックスに基づいて決定できる。第1のパーティション及び第2のパーティションの一方がイントラ符号化され、第1のパーティション及び第2のパーティションの他方がインター符号化されることに応じて、符号化情報に含まれるイントラモードインデックスに基づいてイントラ符号化される第1のパーティション及び第2のパーティションの一方のイントラモードリストからイントラモードが決定できる。インターモードのマージ候補は、符号化情報に含まれるマージインデックスに基づいてインター符号化される第1のパーティション及び第2のパーティションの他方のマージ候補リストから決定できる。
当該方法では、CUの第1のパーティション及び第2のパーティションの一方がイントラ符号化され、CUの第1のパーティション及び第2のパーティションの他方がインター符号化されるかは、符号化情報に含まれるフラグに基づいて決定できる。CUの第1のパーティション及び第2のパーティションの一方がイントラ符号化され、CUの第1のパーティション及び第2のパーティションの他方がインター符号化されることに応じて、符号化情報に含まれるイントラモードインデックスに基づいてイントラ符号化される第1のパーティション及び第2のパーティションの一方のイントラモードリストからイントラモードが決定できる。インターモードのマージ候補は、符号化情報に含まれるマージインデックスに基づいてインター符号化される第1のパーティション及び第2のパーティションの他方のマージ候補リストから決定できる。
本開示の別の側面によれば、装置が提供される。当該装置は処理回路を含む。処理回路は、ビデオコーディングの方法のいずれかを実行するように構成できる。
本開示の側面はまた、ビデオ復号のためにコンピュータによって実行されると、コンピュータにビデオ復号のための方法を実行させる命令を記憶した非一時的なコンピュータ読み取り可能媒体を提供する。
開示された主題のさらなる特徴、性質、及び様々な利点は、以下の詳細な説明及び添付の図面からより明白になるであろう。
イントラ予測モードの例示的なサブセットの概略図である。 例示的なイントラ予測方向の説明図である。 一例における現在ブロック及びその周囲の空間的マージ候補の概略図である。 ある実施形態による通信システムの簡略化されたブロック図の概略図である。 ある実施形態による通信システム(400)の簡略化されたブロック図の概略図である。 ある実施形態によるデコーダの簡略化されたブロック図の概略図である。 ある実施形態によるエンコーダの簡略化されたブロック図の概略図である。 別の実施形態によるエンコーダのブロック図を示す。 別の実施形態によるデコーダのブロック図を示す。 別の実施形態による空間マージ候補の例示的な位置を示す。 空間マージ候補の例示的な冗長検査を示す。 一実施形態による時間マージ候補の動きベクトルのスケーリングの概略図を示す。 一実施形態による時間マージ候補の例示的な候補位置を示す。 一実施形態によるジオメトリックパーティションモード(GPM, geometric partition mode)の例示的な角度分布を示す。 一実施形態によるGPMの例示的なパーティションラインを示す。 一実施形態によるGPMの第1の例示的なパーティションを示す。 一実施形態によるGPMの第2の例示的なパーティションを示す。 一実施形態によるGPMの第3の例示的なパーティションを示す。 本開示のいくつかの実施形態による例示的な復号プロセスの概要を示すフローチャートを示す。 本開示のいくつかの実施形態による例示的な符号化プロセスの概要を示すフローチャートを示す。 実施形態によるコンピュータシステムの概略図である。
図３は、本開示のある実施形態による通信システム(300)の簡略化されたブロック図を示す。通信システム(300)は、例えばネットワーク(350)を介して互いに通信することができる複数の端末デバイスを含む。例えば、通信システム(300)は、ネットワーク(350)を介して相互接続された第1の対の端末デバイス(310)及び(320)を含む。図３の例では、第1の対の端末デバイス(310)及び(320)は、データの一方向伝送を実行する。例えば、端末デバイス(310)は、ネットワーク(350)を介した他方の端末デバイス(320)への伝送のために、ビデオデータ(例えば、端末デバイス(310)によって捕捉されたビデオピクチャのストリーム)を符号化してもよい。符号化されたビデオデータは、1つ以上の符号化ビデオビットストリームの形で伝送されることができる。端末デバイス(320)は、ネットワーク(350)から、符号化ビデオデータを受信し、符号化ビデオデータを復号してビデオピクチャを復元し、復元されたビデオデータに従ってビデオピクチャを表示してもよい。一方向データ伝送は、メディアサービスアプリケーション等において一般的であり得る。
別の例では、通信システム(300)は、例えばビデオ会議中に発生し得る符号化されたビデオデータの双方向伝送を実行する第2の対の端末デバイス(330)及び(340)を含む。データの双方向伝送のために、一例では、端末デバイス(330)及び(340)の各端末デバイスは、ネットワーク(350)を介した、端末デバイス(330)及び(340)のうちの他方の端末デバイスへの伝送のために、ビデオデータ(例えば、端末デバイスによって捕捉されたビデオピクチャのストリーム)を符号化してもよい。端末デバイス(330)及び(340)の各端末デバイスは、端末デバイス(330)及び(340)のうちの他方の端末デバイスによって送信された符号化されたビデオデータを受信してもよく、符号化されたビデオデータを復号して、ビデオピクチャを復元し、復元されたビデオデータに従って、アクセス可能な表示デバイスにおいてビデオピクチャを表示してもよい。
図３の例では、端末デバイス(310)、(320)、(330)及び(340)は、サーバ、パーソナルコンピュータ及びスマートフォンとして示されてもよいが、本開示の原理は、それに限定されなくてもよい。本開示の実施形態は、ラップトップコンピュータ、タブレットコンピュータ、メディアプレーヤ、及び/又は専用のビデオ会議設備での応適用を見出す。ネットワーク(350)は、例えば有線(配線）及び/又は無線通信ネットワークを含む、端末デバイス(310)、(320)、(330)及び(340)の間で符号化されたビデオデータを伝達する任意の数のネットワークを表す。通信ネットワーク(350)は、回線交換及び/又はパケット交換チャネルにおいてデータを交換してもよい。代表的なネットワークは、電気通信ネットワーク、ローカルエリアネットワーク、広域ネットワーク及び/又はインターネットを含む。ここでの議論の目的のために、ネットワーク(350)のアーキテクチャ及びトポロジは、以下に説明しない限り、本開示の動作には重要ではないことがある。
図４は、開示される主題のためのアプリケーションの例として、ストリーミング環境におけるビデオエンコーダ及びビデオデコーダの配置を示す。開示される主題は、例えば、ビデオ会議、デジタルTV、CD、DVD、メモリスティック等を含むデジタル媒体上の圧縮ビデオの記憶等を含む、他のビデオ対応アプリケーションにも等しく適用可能であり得る。
ストリーミングシステムは、ビデオソース(401)、例えばデジタルカメラを含むことができ、例えば非圧縮のビデオピクチャのストリーム(402)を生成する捕捉サブシステム(413)を含んでもよい。一例では、ビデオピクチャのストリーム(402)は、デジタルカメラによって取り込まれたサンプルを含む。符号化されたビデオデータ(404)(又は符号化されたビデオビットストリーム)と比較した場合の高いデータボリュームを強調するために太線として描かれているビデオピクチャのストリーム(402)は、ビデオソース(401)に結合されたビデオエンコーダ(403)を含む電子デバイス(420)によって処理されることができる。ビデオエンコーダ(403)は、以下により詳細に説明されるように、開示される主題の諸側面を可能にするため或いは実現するためのハードウェア、ソフトウェア、又はそれらの組み合わせを含むことができる。ビデオピクチャのストリーム(402)と比較した場合の、より低いデータボリュームを強調するために細い線として描かれている、符号化されたビデオデータ(404)(又は符号化されたビデオビットストリーム(404))は、将来の使用のためにストリーミングサーバ(405)に記憶されることができる。図４のクライアントサブシステム(406)及び(408)のような1つ以上のストリーミングクライアントサブシステムは、ストリーミングサーバ(405)にアクセスして、符号化されたビデオデータ(404)のコピー(407)及び(409)を取り出すことができる。クライアントサブシステム(406)は、例えば電子デバイス(430)内にビデオデコーダ(410)を含むことができる。ビデオデコーダ(410)は、符号化されたビデオデータの入力コピー(407)を復号し、ディスプレイ(412)(例えば表示画面)又は他のレンダリングデバイス(図示せず)上にレンダリングできるビデオピクチャの出力ストリーム(411)を生成する。いくつかのストリーミングシステムでは、符号化されたビデオデータ(404)、(407)、及び(409)(例えば、ビデオビットストリーム)は、特定のビデオ符号化/圧縮標準に従って符号化されることができる。これらの標準の例は、ITU-T勧告H.265を含む。一例では、開発中のビデオ符号化標準は、非公式に多用途ビデオ符号化(VVC)として知られている。開示される主題は、VVCの文脈で使用されてもよい。
電子デバイス(420)及び(430)は、他の構成要素(図示せず)を含むことができることを注意しておく。例えば、電子デバイス(420)は、ビデオデコーダ(図示せず)を含むことができ、電子デバイス(430)は、ビデオエンコーダ(図示せず)も含むことができる。
図５は、本開示のある実施形態によるビデオデコーダ(510)のブロック図を示す。ビデオデコーダ(510)は、電子デバイス(530)に含まれることができる。電子デバイス(530)は、受信機(531)(例えば、受信回路)を含むことができる。ビデオデコーダ(510)は、図４の例におけるビデオデコーダ(310)の代わりに使用できる。
受信機(531)は、ビデオデコーダ(510)によって復号されるべき1つ以上の符号化ビデオシーケンスを受信してもよい。同じ又は別の実施形態において、一度に1つの符号化ビデオシーケンスであり、各符号化ビデオシーケンスの復号は、他の符号化ビデオシーケンスから独立である。符号化ビデオシーケンスは、チャネル(501)から受信されてもよく、該チャネルは、符号化されたビデオデータを記憶する記憶デバイスへのハードウェア/ソフトウェアリンクでもよい。受信機(531)は、符号化されたビデオデータを、他のデータ、例えば符号化されたオーディオデータ及び/又は補助データストリームと一緒に受信してもよく、これらのデータは、それぞれの使用エンティティ(図示せず)を転送されてもよい。受信機(531)は、符号化ビデオシーケンスを他のデータから分離することができる。ネットワークジッタ対策として、バッファメモリ(515)が、受信機(531)とエントロピーデコーダ/パーサ(520)(以下「パーサ」)との間に結合されてもよい。特定のアプリケーションでは、バッファメモリ(515)はビデオデコーダ(510)の一部である。他のアプリケーションでは、ビデオデコーダ(510)の外部にあることができる(図示せず)。さらに他のアプリケーションでは、例えばネットワークジッタに対抗するために、ビデオデコーダ(510)の外部にバッファメモリ(図示せず)があってもよく、さらに、例えば再生タイミングを扱うために、ビデオデコーダ(510)の内部に別のバッファメモリ(515)があってもよい。受信機(531)が、十分な帯域幅及び制御可能性の記憶/転送デバイスから、或いは、アイソクロナスネットワークからデータを受信している場合は、バッファメモリ(515)は、必要とされなくてもよく、或いは、小さくてもよい。インターネットのようなベストエフォート型のパケットネットワークでの使用のためには、バッファメモリ(515)が要求されることがあり、比較的大きいことがあり、有利には適応サイズであることができ、少なくとも部分的に、ビデオデコーダ(510)の外部でオペレーティングシステム又は同様の要素(図示せず)において実装されてもよい。
ビデオデコーダ(510)は、符号化ビデオシーケンスからシンボル(521)を再構成するためのパーサ(520)を含んでもよい。これらのシンボルのカテゴリは、ビデオデコーダ(510)の動作を管理するために使用される情報と、潜在的には、レンダーデバイス(512)(例えば表示画面)のようなレンダリングデバイスを制御するための情報とを含む。レンダリングデバイスは、図５に示されるように、電子デバイス(530)の一体的な部分ではなく、電子デバイス(530)に結合されることができる。レンダリングデバイス(単数又は複数)のための制御情報は、補足エンハンスメント情報(Supplementary Enhancement Information)(SEIメッセージ)又はビデオユーザビリティ情報(Video Usability Information、VUI)パラメータセットフラグメント(図示せず)の形でもよい。パーサ(520)は、受信された符号化ビデオシーケンスをパースする/エントロピー復号することができる。符号化ビデオシーケンスの符号化は、ビデオ符号化技術又は標準に従うことができ、可変長符号化、ハフマン符号化、コンテキスト感受性あり又はなしの算術符号化等を含む、様々な原理に従うことができる。パーサ(520)は、符号化ビデオシーケンスから、ビデオデコーダ内のピクセルのサブグループのうちの少なくとも1つについてのサブグループパラメータのセットを、グループに対応する少なくとも1つのパラメータに基づいて、抽出することができる。サブグループは、グループオブピクチャ(Group of Pictures、GOP)、ピクチャ、タイル、スライス、マクロブロック、符号化ユニット(Coding Unit、CU)、ブロック、変換ユニット(Transform Unit、TU)、予測ユニット(Prediction Unit、PU)等を含むことができる。パーサ(520)はまた、符号化ビデオシーケンスから、変換係数、量子化器パラメータ値、動きベクトル等の情報を抽出することができる。
パーサ(520)は、バッファメモリ(515)から受信されたビデオシーケンスに対してエントロピー復号/パース動作を実行し、それによりシンボル(521)を生成することができる。
シンボル(521)の再構成は、符号化されたビデオピクチャ又はその諸部分のタイプ(例えば、インター及びイントラピクチャ、インター及びイントラブロック)及び他の要因に依存して、複数の異なるユニットに関わることができる。どのユニットがどのように関わるかは、符号化ビデオシーケンスからパーサ(520)によってパースされたサブグループ制御情報によって制御されることができる。パーサ(520)と下記の複数のユニットとの間のそのようなサブグループ制御情報の流れは、明確のため、描かれていない。
既に述べた機能ブロックのほかに、ビデオデコーダ(510)は、以下に説明するように、概念的に、いくつかの機能ユニットに分割できる。商業的制約の下で機能する実際的な実装では、これらのユニットの多くは互いに密接に相互作用し、少なくとも部分的に互いに統合されることができる。しかしながら、開示される主題を記述する目的のためには、下記の機能ユニットへの概念的な細分が適切である。
第1のユニットは、スケーラ/逆変換ユニット(551)である。スケーラ/逆変換ユニット(551)は、パーサ(520)から、量子化された変換係数及び制御情報をシンボル(単数又は複数)(521)として受信する。制御情報は、どの変換を使用するか、ブロックサイズ、量子化係数、量子化スケーリング行列等を含む。スケーラ/逆変換ユニット(551)は、集計器(555)に入力できるサンプル値を含むブロックを出力することができる。
場合によっては、スケーラ/逆変換(551)の出力サンプルは、イントラ符号化されたブロック、すなわち、以前に再構成されたピクチャからの予測情報を使用していないが、現在ピクチャの、以前に再構成された部分からの予測情報を使用することができるブロックに関することができる。そのような予測情報は、イントラピクチャ予測ユニット(552)によって提供されることができる。場合によっては、イントラピクチャ予測ユニット(552)は、現在ピクチャバッファ(558)から取ってきた、周囲の既に再構成された情報を使用して、再構成中のブロックと同じサイズ及び形状のブロックを生成する。現在ピクチャバッファ(558)は、例えば、部分的に再構成された現在ピクチャ及び/又は完全に再構成された現在ピクチャをバッファリングする。集計器(555)は、場合によっては、サンプル毎に、イントラ予測ユニット(552)が生成した予測情報を、スケーラ/逆変換ユニット(551)によって提供される出力サンプル情報に加算する。
他の場合には、スケーラ/逆変換ユニット(551)の出力サンプルは、インター符号化され、潜在的には動き補償されたブロックに関することができる。そのような場合、動き補償予測ユニット(553)は、予測のために使用されるサンプルを取ってくるために参照ピクチャメモリ(557)にアクセスすることができる。取ってきたサンプルを、ブロックに関するシンボル(521)に従って動き補償した後、これらのサンプルは、集計器(555)によってスケーラ/逆変換ユニットの出力(この場合、残差サンプル又は残差信号と呼ばれる)に加算されて、それにより出力サンプル情報を生成することができる。動き補償ユニット(553)が予測サンプルを取ってくる参照ピクチャメモリ(557)内のアドレスは、シンボル(521)の形で動き補償ユニット(553)に利用可能な動きベクトルによって制御できる。該シンボルは、例えばX、Y、及び参照ピクチャ成分を有することができる。動き補償は、サンプル以下の正確な動きベクトルが使用されるときの参照ピクチャメモリ(557)から取ってこられるサンプル値の補間、動きベクトル予測機構等を含むことができる。
集計器(555)の出力サンプルは、ループフィルタユニット(556)内で様々なループフィルタリング技術にかけられることができる。ビデオ圧縮技術は、ループ内フィルタ技術を含むことができる。ループ内フィルタ技術は、符号化ビデオシーケンス(符号化されたビデオビットストリームとも呼ばれる)に含まれるパラメータによって制御され、パーサ(520)からのシンボル(521)としてループフィルタユニット(556)に利用可能にされるが、符号化されたピクチャ又は符号化されたビデオシーケンスの(復号順で)前の部分の復号中に得られたメタ情報に応答するとともに、以前に再構成されループフィルタリングされたサンプル値に応答することもできる。
ループフィルタユニット(556)の出力はサンプルストリームであることができ、これは、レンダーデバイス(512)に出力されることができ、また将来のインターピクチャ予測において使用するために参照ピクチャメモリ(557)に記憶されることができる。
符号化されたピクチャは、いったん完全に再構成されると、将来の予測のための参照ピクチャとして使用できる。例えば、現在ピクチャに対応する符号化されたピクチャが完全に再構成され、該符号化されたピクチャが(例えば、パーサ(520)によって)参照ピクチャとして識別されると、現在ピクチャバッファ(558)は参照ピクチャメモリ(557)の一部となることができ、後続の符号化されたピクチャの再構成を開始する前に、新鮮な現在ピクチャバッファが再割り当てされることができる。
ビデオデコーダ(510)は、ITU-T勧告H.265のような標準における所定のビデオ圧縮技術に従って復号動作を実行することができる。符号化ビデオシーケンスはビデオ圧縮技術又は標準のシンタックス及びビデオ圧縮技術又は標準において文書化されているプロファイルに従うという意味で、符号化されたビデオシーケンスは、使用されているビデオ圧縮技術又は標準によって規定されたシンタックスに準拠することができる。具体的には、プロファイルはビデオ圧縮技術又は標準において利用可能な全てのツールから、そのプロファイルのもとでの使用のためにそれだけが利用可能なツールとして、特定のツールを選択することができる。準拠のためにはまた、符号化ビデオシーケンスの複雑さが、ビデオ圧縮技術又は標準のレベルによって定義される範囲内にあることも必要であることがある。いくつかの場合には、レベルは、最大ピクチャサイズ、最大フレームレート、最大再構成サンプルレート(例えば、毎秒メガサンプルの単位で測られる)、最大参照ピクチャサイズ等を制約する。レベルによって設定された限界は、場合によっては、符号化ビデオシーケンスにおいて信号伝達される、HRDバッファ管理のための仮想参照デコーダ(Hypothetical Reference Decoder、HRD)仕様及びメタデータを通じてさらに制約されることができる。
ある実施形態において、受信機(531)は、符号化されたビデオとともに追加の(冗長な)データを受信してもよい。追加データは、符号化されたビデオシーケンス(単数又は複数)の一部として含まれていてもよい。追加データは、データを適正に復号するため、及び/又は元のビデオデータをより正確に再構成するために、ビデオデコーダ(510)によって使用されてもよい。追加データは、例えば、時間的、空間的、又は信号対雑音比(SNR)エンハンスメント層、冗長スライス、冗長ピクチャ、前方誤り訂正符号等の形であり得る。
図６は、本開示のある実施形態によるビデオエンコーダ(603)のブロック図を示している。ビデオエンコーダ(603)は、電子デバイス(620)に含まれる。電子デバイス(620)は、送信機(640)(例えば、送信回路)を含む。ビデオエンコーダ(603)は、図４の例におけるビデオエンコーダ(403)の代わりに使用できる。
ビデオエンコーダ(603)は、ビデオエンコーダ(603)によって符号化されるべきビデオ画像を捕捉することができるビデオソース(601)(これは図６の例では電子デバイス(620)の一部ではない)からビデオサンプルを受信することができる。別の例では、ビデオソース(601)は、電子デバイス(620)の一部である。
ビデオソース(601)は、任意の好適なビット深さ(例えば、8ビット、10ビット、12ビット、…)、任意の色空間(例えば、BT.601 YCrCB、RGB、…)及び任意の好適なサンプリング構造(例えば、YCrCb 4:2:0、YCrCb 4:4:4)であり得るデジタルビデオサンプルストリームの形で、ビデオエンコーダ(603)によって符号化されるべきソースビデオシーケンスを提供することができる。メディアサービスシステムにおいては、ビデオソース(601)は、事前に準備されたビデオを記憶している記憶デバイスでもよい。ビデオ会議システムにおいては、ビデオソース(601)は、ローカルでの画像情報をビデオシーケンスとして捕捉するカメラでもよい。ビデオデータは、シーケンスで見たときに動きを付与する複数の個々のピクチャとして提供されてもよい。ピクチャ自体は、ピクセルの空間的アレイとして編成されてもよく、各ピクセルは、使用中のサンプリング構造、色空間等に依存して、1つ以上のサンプルを含むことができる。当業者は、ピクセルとサンプルとの間の関係を容易に理解することができる。下記の説明は、サンプルに焦点を当てる。
ある実施形態によれば、ビデオエンコーダ(603)は、ソースビデオシーケンスのピクチャを、リアルタイムで或いはアプリケーションによって要求される任意の他の時間的制約の下で、符号化及び圧縮して、符号化ビデオシーケンス(643)にすることができる。適切な符号化速度を施行することは、コントローラ(650)の1つの機能である。いくつかの実施形態では、コントローラ(650)は、以下に記載されるような他の機能ユニットを制御し、該他の機能ユニットに機能的に結合される。かかる結合は、明確のために描かれていない。コントローラ(650)によって設定されるパラメータは、レート制御に関連するパラメータ(ピクチャスキップ、量子化器、レート‐歪み最適化技術のラムダ値、…)、ピクチャサイズ、グループオブピクチャ(GOP)レイアウト、最大動きベクトル探索範囲等を含むことができる。コントローラ(650)は、特定のシステム設計のために最適化されたビデオエンコーダ(603)に関する他の好適な機能を有するように構成できる。
いくつかの実施形態では、ビデオエンコーダ(603)は、符号化ループにおいて動作するように構成される。思い切って単純化した説明として、一例では、符号化ループは、ソース符号化器(630)(例えば、符号化されるべき入力ピクチャと参照ピクチャ(単数又は複数)に基づいてシンボルストリームのようなシンボルを生成することを受け持つ)と、ビデオエンコーダ(603)に埋め込まれた(ローカル)デコーダ(633)とを含むことができる。デコーダ(633)は、(リモートの)デコーダも生成するであろうのと同様の仕方でサンプルデータを生成するよう前記シンボルを再構成する(開示される主題において考慮されるビデオ圧縮技術では、シンボルと符号化ビデオビットストリームとの間のどの圧縮も無損失である)。再構成されたサンプルストリーム(サンプルデータ)は、参照ピクチャメモリ(634)に入力される。シンボルストリームの復号は、デコーダ位置(ローカルかリモートか)によらずビット正確な結果をもたらすので、参照ピクチャメモリ(634)の内容もローカルエンコーダとリモートエンコーダの間でビット正確である。言い換えると、エンコーダの予測部は、デコーダが復号中に予測を使用するときに「見る」のとまったく同じサンプル値を参照ピクチャサンプルとして「見る」。参照ピクチャ同期性のこの基本原理(及び、例えば、チャネルエラーのために同期性が維持できない場合の結果として生じるドリフト)は、いくつかの関連技術においても使用される。
「ローカル」デコーダ(633)の動作は、図５との関連で既に上記で詳細に述べた「リモート」デコーダ、例えばビデオデコーダ(410)の動作と同じでもよい。しかしながら、簡単に図５も参照すると、シンボルが利用可能であり、エントロピー符号化器(645)及びパーサ(420)による、シンボルの符号化ビデオシーケンスへの符号化/復号が可逆であり得るので、バッファメモリ(415)及びパーサ(420)を含むビデオデコーダ(410)のエントロピー復号部は、ローカルデコーダ(633)においては完全には実装されなくてもよい。
この時点で行なうことができる観察は、デコーダ内に存在するパース/エントロピー復号を除くどのデコーダ技術も、対応するエンコーダ内で実質的に同一の機能的形態で存在する必要があることである。このため、開示される主題はデコーダ動作に焦点を当てる。エンコーダ技術の記述は、包括的に記述されるデコーダ技術の逆であるため、省略することができる。特定の領域においてのみ、より詳細な説明が必要であり、以下に提供される。
動作中、いくつかの例では、ソース符号化器(630)は、「参照ピクチャ」として指定された、ビデオシーケンスからの1つ以上の以前に符号化されたピクチャを参照して、入力ピクチャを予測的に符号化する、動き補償された予測符号化を実行することができる。このようにして、符号化エンジン(632)は、入力ピクチャのピクセルブロックと、入力ピクチャに対する予測参照として選択され得る参照ピクチャ(単数又は複数)のピクセルブロックとの間の差分を符号化する。
ローカルビデオデコーダ(633)は、ソース符号化器(630)によって生成されたシンボルに基づいて、参照ピクチャとして指定され得るピクチャの符号化されたビデオデータを復号することができる。符号化エンジン(632)の動作は、有利には、損失のあるプロセスであり得る。符号化されたビデオデータがビデオデコーダ(図６には示さず)で復号され得るとき、再構成されたビデオシーケンスは、典型的には、いくつかのエラーを伴うソースビデオシーケンスの複製であり得る。ローカルビデオデコーダ(633)は、ビデオデコーダによって参照ピクチャに対して実行され得る復号プロセスを複製し、再構成された参照ピクチャを参照ピクチャキャッシュ(634)に格納させることができる。このようにして、ビデオエンコーダ(603)は、遠端のビデオデコーダによって得られるであろう再構成された参照ピクチャとしての共通の内容を(伝送エラーがなければ)有する再構成された参照ピクチャのコピーを、ローカルに記憶することができる。
予測器(635)は、符号化エンジン(632)について予測探索を実行することができる。すなわち、符号化されるべき新しいピクチャについて、予測器(635)は、新しいピクチャのための適切な予測参照として機能し得るサンプルデータ(候補参照ピクセルブロックとして)又は特定のメタデータ、例えば参照ピクチャ動きベクトル、ブロック形状等を求めて、参照ピクチャメモリ(634)を探索することができる。予測器(635)は、適切な予測参照を見出すために、サンプルブロック/ピクセルブロック毎に(on a sample block-by-pixel block basis)動作し得る。場合によっては、予測器(635)によって得られた検索結果によって決定されるところにより、入力ピクチャは、参照ピクチャメモリ(634)に記憶された複数の参照ピクチャから引き出された予測参照を有することができる。
コントローラ(650)は、例えば、ビデオデータを符号化するために使用されるパラメータ及びサブグループパラメータの設定を含め、ソース符号化器(630)の符号化動作を管理してもよい。
上記の機能ユニット全ての出力は、エントロピー符号化器(645)におけるエントロピー符号化を受けることができる。エントロピー符号化器(645)は、ハフマン符号化、可変長符号化、算術符号化等といった技術に従ってシンボルを無損失圧縮することによって、様々な機能ユニットによって生成されたシンボルを符号化ビデオシーケンスに変換する。
送信機(640)は、エントロピー符号化器(645)によって生成される符号化ビデオシーケンスをバッファに入れて、通信チャネル(660)を介した送信のために準備することができる。通信チャネル(660)は、符号化されたビデオデータを記憶する記憶デバイスへのハードウェア/ソフトウェアリンクであってもよい。送信機(640)は、ビデオ符号化器(630)からの符号化されたビデオデータを、送信されるべき他のデータ、例えば符号化されたオーディオデータ及び/又は補助データストリーム(ソースは図示せず)とマージすることができる。
コントローラ(650)は、ビデオエンコーダ(603)の動作を管理してもよい。符号化の間、コントローラ(650)は、それぞれの符号化されたピクチャに、ある符号化ピクチャタイプを割り当てることができる。符号化ピクチャタイプは、それぞれのピクチャに適用され得る符号化技術に影響し得る。例えば、ピクチャはしばしば、以下のピクチャタイプのうちの1つとして割り当てられることがある。
イントラピクチャ(Iピクチャ)は、予測のソースとしてシーケンス内の他のピクチャを使用せずに、符号化され、復号され得るものであり得る。いくつかのビデオコーデックは、例えば、独立デコーダリフレッシュ(Independent Decoder Refresh、「IDR」)ピクチャを含む、異なるタイプのイントラピクチャを許容する。当業者は、Iピクチャのこれらの変形、並びにそれらのそれぞれの用途及び特徴を認識する。
予測ピクチャ(Pピクチャ)は、各ブロックのサンプル値を予測するために、最大で1つの動きベクトル及び参照インデックスを用いるイントラ予測又はインター予測を用いて符号化及び復号され得るものであり得る。
双方向予測ピクチャ(Bピクチャ)は、各ブロックのサンプル値を予測するために、最大で2つの動きベクトル及び参照インデックスを用いるイントラ予測又はインター予測を用いて符号化及び復号され得るものであり得る。同様に、マルチ予測ピクチャは、単一のブロックの再構成のために、3つ以上の参照ピクチャ及び関連するメタデータを使用することができる。
ソースピクチャは、通常では、空間的に複数のサンプルブロック(例えば、それぞれ4×4、8×8、4×8、又は16×16サンプルのブロック)に分割され、ブロック毎に符号化され得る。ブロックは、ブロックのそれぞれのピクチャに適用される符号化割り当てによって決定されるところにより、他の(既に符号化された)ブロックを参照して予測的に符号化され得る。例えば、Iピクチャのブロックは、非予測的に符号化されてもよく、或いは、同じピクチャの既に符号化されたブロックを参照して予測的に符号化されてもよい(空間的予測又はイントラ予測)。Pピクチャのピクセルブロックは、以前に符号化された1つの参照ピクチャを参照して、空間的予測を介して或いは時間的予測を介して予測的に符号化されてもよい。Bピクチャのブロックは、1つ又は2つの以前に符号化された参照ピクチャを参照して、空間的予測を介して或いは時間的予測を介して予測的に符号化されてもよい。
ビデオエンコーダ(603)は、ITU-T勧告H.265等の所定のビデオ符号化技術又は標準に従って符号化動作を実行することができる。その動作において、ビデオエンコーダ(603)は、入力ビデオシーケンスにおける時間的及び空間的冗長性を活用する予測符号化動作を含む、様々な圧縮動作を実行することができる。よって、符号化されたビデオデータは、使用されるビデオ符号化技術又は標準によって指定されるシンタックスに準拠し得る。
ある実施形態において、送信機(640)は、符号化されたビデオと一緒に追加データを送信してもよい。ソース符号化器(630)は、符号化ビデオシーケンスの一部としてそのようなデータを含めてもよい。追加データは、時間的/空間的/SNRエンハンスメント層、冗長ピクチャ及びスライスのような他の形の冗長データ、SEIメッセージ、VUIパラメータセットフラグメント等を含んでいてもよい。
ビデオは、時間的シーケンスにおいて複数のソースピクチャ(ビデオピクチャ)として捕捉されてもよい。イントラピクチャ予測(しばしば、イントラ予測と略される)は、所与のピクチャにおける空間的相関を利用し、インターピクチャ予測は、ピクチャ間の(時間的又は他の)相関を利用する。一例では、現在ピクチャと呼ばれる符号化/復号対象の特定のピクチャは、ブロックに分割される。現在ピクチャ内のブロックが、ビデオにおける、前に符号化され、且つ、まだバッファに入れられている参照ピクチャ内の参照ブロックに類似する場合、現在ピクチャ内のそのブロックは、動きベクトルと呼ばれるベクトルによって符号化できる。動きベクトルは、参照ピクチャ内の参照ブロックを指し、複数の参照ピクチャが使用される場合には、参照ピクチャを識別する第3の次元を有することができる。
いくつかの実施形態において、インターピクチャ予測において双予測技術が使用できる。双予測技術によれば、いずれもビデオにおいて現在ピクチャより復号順で先行する(ただし、表示順では、それぞれ過去及び将来でもよい)第1の参照ピクチャ及び第2の参照ピクチャのような2つの参照ピクチャが使用される。現在ピクチャ内のブロックは、第1の参照ピクチャ内の第1の参照ブロックを指す第1の動きベクトルと、第2の参照ピクチャ内の第2の参照ブロックを指す第2の動きベクトルとによって符号化できる。ブロックは、第1の参照ブロックと第2の参照ブロックの組み合わせによって予測できる。
さらに、符号化効率を改善するために、インターピクチャ予測においてマージモード技術が使用できる。
本開示のいくつかの実施形態によれば、インターピクチャ予測及びイントラピクチャ予測等の予測は、ブロックの単位で実行される。例えば、HEVC標準によれば、ビデオピクチャのシーケンスにおけるピクチャは、圧縮のために符号化ツリーユニット(CTU)に分割され、ピクチャにおけるそれらのCTUは、64×64ピクセル、32×32ピクセル、又は16×16ピクセル等の同じサイズを有する。一般に、CTUは、1つのルマCTB及び2つのクロマCTBである3つの符号化ツリーブロック(CTB)を含む。各CTUは、再帰的に、1つ以上の符号化ユニット(CU)に四分木分割されていくことができる。例えば、64×64ピクセルのCTUは、64×64ピクセルの1つのCU、又は32×32ピクセルの4つのCU、又は16×16ピクセルの16個のCUに分割されることができる。一例では、各CUは、インター予測タイプ又はイントラ予測タイプのような、そのCUについての予測タイプを決定するために解析される。CUは時間的及び/又は空間的予測可能性に依存して、1つ以上の予測ユニット(PU)に分割される。一般に、各PUはルマ予測ブロック(PB)及び2つのクロマPBを含む。ある実施形態では、コーディング(符号化/復号)における予測動作は、予測ブロックの単位で実行される。予測ブロックの例としてルマ予測ブロックを用いると、予測ブロックは、8×8ピクセル、16×16ピクセル、8×16ピクセル、16×8ピクセル等、ピクセルについての値(例えば、ルマ値)の行列を含む。
図７は、本開示の別の実施形態によるビデオエンコーダ(703)の図を示す。ビデオエンコーダ(703)は、ビデオピクチャのシーケンス内の現在ビデオピクチャ内のサンプル値の処理ブロック(例えば、予測ブロック)を受信し、処理ブロックを、符号化ビデオシーケンスの一部である符号化されたピクチャに符号化するように構成される。一例では、ビデオエンコーダ(703)は、図４の例におけるビデオエンコーダ(403)の代わりに使用される。
HEVCの例では、ビデオエンコーダ(703)は、8×8サンプル等の予測ブロックのような処理ブロックについてサンプル値の行列を受信する。ビデオエンコーダ(703)は、処理ブロックが、イントラモード、インターモード、又は双予測モードのどれを使用して、最もよく符号化されるかを、例えばレート‐歪み最適化を使用して、判別する。処理ブロックがイントラモードで符号化される場合、ビデオエンコーダ(703)は、処理ブロックを符号化されたピクチャに符号化するためにイントラ予測技術を使用してもよい。処理ブロックがインターモード又は双予測モードで符号化される場合、ビデオエンコーダ(703)は、処理ブロックを符号化されたピクチャに符号化するために、それぞれ、インター予測技術又は双予測技術を使用してもよい。特定のビデオ符号化技術では、マージモード(merge mode)は、動きベクトルが1つ以上の動きベクトル予測子から導出されるが前記予測子の外の符号化された動きベクトル成分の利益のない、インターピクチャ予測サブモードであり得る。特定の他のビデオ符号化技術では、対象ブロックに適用可能な動きベクトル成分が存在してもよい。一例では、ビデオエンコーダ(703)は、処理ブロックのモードを決定するためのモード決定モジュール(図示せず)等の他のコンポーネントを含む。
図７の例では、ビデオエンコーダ(703)は、インターエンコーダ(730)、イントラエンコーダ(722)、残差計算器(723)、スイッチ(726)、残差エンコーダ(724)、全般コントローラ(721)、及びエントロピー符号化器(725)を、図７に示されるように一緒に結合されて含む。
インターエンコーダ(730)は、現在ブロック(例えば、処理ブロック)のサンプルを受信し、該ブロックを参照ピクチャ内の1つ以上の参照ブロック(例えば、以前のピクチャ及び後のピクチャ内のブロック)と比較し、インター予測情報(例えば、インター符号化技術による冗長情報の記述、動きベクトル、マージモード情報)を生成し、該インター予測情報に基づいて、任意の好適な技術を使用してインター予測結果(例えば、予測されたブロック)を計算するように構成される。いくつかの例では、参照ピクチャは、符号化されたビデオ情報に基づいて復号された、復号された参照ピクチャである。
イントラエンコーダ(722)は、現在ブロック(例えば、処理ブロック)のサンプルを受信し、場合によっては、該ブロックを、同じピクチャ内で既に符号化されているブロックと比較し、変換後に量子化された係数を生成し、場合によっては、イントラ予測情報(例えば、1つ以上のイントラ符号化技術によるイントラ予測方向情報)も生成するように構成される。一例では、イントラエンコーダ(722)はまた、該イントラ予測情報及び同じピクチャ内の参照ブロックに基づいて、イントラ予測結果(例えば、予測されたブロック)を計算する。
全般コントローラ(721)は、全般制御データを決定し、全般制御データに基づいてビデオエンコーダ(703)の他のコンポーネントを制御するように構成される。一例では、全般コントローラ(721)は、ブロックのモードを決定し、そのモードに基づいて制御信号をスイッチ(726)に提供する。例えば、モードがイントラモードである場合、全般コントローラ(721)は、残差計算器(723)による使用のためにイントラモードの結果を選択するようスイッチ(726)を制御し、イントラ予測情報を選択し、イントラ予測情報をビットストリームに含めるようエントロピーエンコーダ(725)を制御する。モードがインターモードである場合、全般コントローラ(721)は、残差計算器(723)による使用のためにインター予測の結果を選択するようスイッチ(726)を制御し、インター予測情報を選択し、インター予測情報をビットストリームに含めるようエントロピーエンコーダ(725)を制御する。
残差計算器(723)は、受信されたブロックと、イントラエンコーダ(722)又はインターエンコーダ(730)から選択された予測結果との差(残差データ)を計算するように構成される。残差エンコーダ(724)は、残差データに基づいて、残差データを符号化して変換係数を生成するように構成される。一例では、残差エンコーダ(724)は、残差データを空間領域から周波数領域に変換し、変換係数を生成するように構成される。次いで、変換係数は、量子化処理にかけられ、量子化された変換係数を得る。様々な実施形態において、ビデオエンコーダ(703)は、残差デコーダ(728)をも含む。残差デコーダ(728)は、逆変換を実行して、復号された残差データを生成するように構成される。復号された残差データは、イントラエンコーダ(722)及びインターエンコーダ(730)によって好適に使用されることができる。例えば、インターエンコーダ(730)は、復号された残差データ及びインター予測情報に基づいて、復号されたブロックを生成することができ、イントラエンコーダ(722)は、復号された残差データ及びイントラ予測情報に基づいて、復号されたブロックを生成することができる。復号されたブロックは、復号されたピクチャを生成するために好適に処理され、復号されたピクチャは、メモリ回路(図示せず)内にバッファリングされ、いくつかの例では参照ピクチャとして使用されることができる。
エントロピーエンコーダ(725)は、符号化されたブロックを含むようにビットストリームをフォーマットするように構成される。エントロピーエンコーダ(725)は、HEVC標準のような好適な標準に従って様々な情報を含めるように構成される。一例では、エントロピーエンコーダ(725)は、全般制御データ、選択された予測情報(例えば、イントラ予測情報又はインター予測情報)、残差情報、及び他の好適な情報をビットストリーム内に含めるように構成される。開示される主題によれば、インターモード又は双予測モードのいずれかのマージサブモードにおいてブロックを符号化する場合は、残差情報は存在しないことを注意しておく。
図８は、本開示の別の実施形態によるビデオデコーダ(810)の図を示す。ビデオデコーダ(810)は、符号化されたビデオシーケンスの一部である符号化されたピクチャを受信し、符号化されたピクチャを復号して、再構成されたピクチャを生成するように構成される。一例では、ビデオデコーダ(810)は、図４の例におけるビデオデコーダ(410)の代わりに使用される。
図８の例では、ビデオデコーダ(810)は、エントロピーデコーダ(871)、インターデコーダ(880)、残差デコーダ(873)、再構成モジュール(874)、及びイントラデコーダ(872)が図８に示されるように一緒に結合されたものを含む。
エントロピーデコーダ(871)は、符号化されたピクチャから、その符号化されたピクチャが構成されるシンタックスエレメントを表す特定のシンボルを再構成するように構成されることができる。そのようなシンボルは、例えば、ブロックが符号化されるモード(例えば、イントラモード、インターモード、双予測モード、マージサブモード又は別のサブモードにおける後者の2つ)、イントラデコーダ(872)又はインターデコーダ(880)によってそれぞれ予測のために使用される特定のサンプル又はメタデータを識別することができる予測情報(例えば、イントラ予測情報又はインター予測情報等)、例えば量子化された変換係数の形の残差情報等を含むことができる。一例では、予測モードがインター又は双予測モードである場合、インター予測情報がインターデコーダ(880)に提供される。予測タイプがイントラ予測タイプである場合には、イントラ予測情報がイントラデコーダ(872)に提供される。残差情報は、逆量子化を受けることができ、残差デコーダ(873)に提供される。
インターデコーダ(880)は、インター予測情報を受信し、該インター予測情報に基づいてインター予測結果を生成するように構成される。
イントラデコーダ(872)は、イントラ予測情報を受信し、該イントラ予測情報に基づいて予測結果を生成するように構成される。
残差デコーダ(873)は、逆量子化を実行して量子化解除された変換係数を抽出し、量子化解除された変換係数を処理して、残差を周波数領域から空間領域に変換するように構成される。残差デコーダ(873)はまた、特定の制御情報(量子化器パラメータ(QP)を含む)をも必要とすることがあり、その情報は、エントロピーデコーダ(871)によって提供されてもよい(これは、低ボリュームの制御情報のみであるため、データ経路は描かれていない)。
再構成モジュール(874)は、空間領域において、残差デコーダ(873)によって出力される残差と、予測結果(場合に応じてイントラ又はインター予測モジュールによって出力される)とを組み合わせて、再構成されたブロックを形成するように構成され、該再構成されたブロックは再構成されたピクチャの一部であってもよく、該再構成されたピクチャは再構成されたビデオの一部であってもよい。視覚的品質を改善するためにデブロッキング動作等の他の好適な動作が実行されることができることを注意しておく。
なお、ビデオエンコーダ(403)、(603)、(703)、及びビデオデコーダ(410)、(510)、(810)は、任意の好適な技術を用いて実装できる。ある実施形態では、ビデオエンコーダ(403)、(603)、(703)及びビデオデコーダ(410)、(510)、(810)は、1つ以上の集積回路を使用して実装できる。別の実施形態では、ビデオエンコーダ(403)、(603)、(703)、及びビデオデコーダ(410)、(510)、(810)は、ソフトウェア命令を実行する1つ以上のプロセッサを使用して実装できる。
本開示は、イントラ及びインター予測を伴うジオメトリックパーティションモードの改善を含む。いくつかの実施形態では、インター及びイントラ予測がGPMに許可される場合、イントラモード又はイントラ予測は、いくつかの指定のジオメトリックパーティションにとって有効ではない。
ITU-T VCEG(Q6/16)及びISO/IEC MPEG(JTC 1/SC 29/WG 11)は、H.265/HEVC(High Efficiency Video Coding)標準を2013年(バージョン1)、2014年(バージョン2)、2015年(バージョン3)及び2016年(バージョン4)に公開した。2015年に、両標準機関は共同でJVET(Joint Video Exploration Team)を形成し、HEVCを超える次のビデオ符号化標準の開発の可能性を模索した。2017年10月に、両標準機関は、HEVCを超える能力を有するビデオ圧縮に関する共同提案募集(CfP, Joint Call for Proposals on Video Compression with Capability beyond HEVC)を発行した。2018年2月15日までに、標準ダイナミックレンジ(SDR, standard dynamic range)に関する合計で22個のCfP回答、ハイダイナミックレンジ(HDR, high dynamic range)に関する合計で12個のCfP回答、及び360ビデオのカテゴリに関する合計で12個のCfP回答がそれぞれ提出された。2018年4月に、全ての受領したCfP回答が122 MPEG/10th JVET会議で評価された。この会議の結果、JVETはHEVCを超える次世代ビデオ符号化の標準化プロセスを正式に開始し、新たな標準はVVC(Versatile Video Coding)と命名され、JVETはJoint Video Experts Teamと改名された。2020年に、ITU-T VCEG(Q6/16)及びISO/IEC MPEG(JTC 1/SC 29/WG 11)は、VVCビデオ符号化標準(バージョン1)を公開した。
インター予測される符号化ユニット(CU, coding unit)毎に、インター予測されるサンプルの生成に使用されるVVCの新たな符号化特徴のために動きパラメータが必要である。動きパラメータは、動きベクトル、参照ピクチャインデックス、参照ピクチャリスト使用インデックス及び追加情報を含むことができる。動きパラメータは、明示的又は暗黙的な方式で信号伝達(シグナリング)できる。CUがスキップモードで符号化される場合、CUは1つのPUに関連付けられることができ、有意な残差係数、符号化された動きベクトルデルタ又は参照ピクチャインデックスは必要とされなくてもよい。CUがマージモードで符号化される場合、CUの動きパラメータは隣接CUから取得できる。隣接CUは、空間及び時間候補と、VVCで導入されたような更なるスケジュールを含むことができる。マージモードは、スキップモードだけでなく、任意のインター予測されるCUに適用できる。マージモードの代替手段は、動きパラメータの明示的な送信であり、動きベクトル、各参照ピクチャリストの対応する参照ピクチャインデックス、参照ピクチャリスト使用フラグ及び他の必要な情報がCU毎に明示的に信号伝達できる。
VVCにおいて、VVCテストモデル(VTM, VVC Test model)参照ソフトウェアは、以下のように列挙できる、複数の新たに洗練されたインター予測符号化ツールを含むことができる。
(1)拡張マージ予測
(2)マージ動きベクトル差(MMVD, Merge motion vector difference)
(3)対称的MVD信号伝達によるAMVPモード
(4)アフィン動き補償予測
(5)サブブロックベースの時間動きベクトル予測(SbTMVP, Subblock-based temporal motion vector prediction)
(6)適応的動きベクトル解像度(AMVR, Adaptive motion vector resolution)
(7)動き場の記憶:1/16ルマサンプルMVの記憶及び8×8動き場圧縮
(8)CUレベルの重みによる双方向予測(BCW, Bi-prediction with CU-level weights)
(9)双方向オプティカルフロー(BDOF, Bi-directional optical flow)
(10)デコーダ側動きベクトル洗練化(DMVR, Decoder side motion vector refinement)
(11)組み合わせインター及びイントラ予測(CIIP, Combined inter and intra prediction)
(12)ジオメトリックパーティションモード(GPM, Geometric partitioning mode)
VTM4において、マージ候補リストは、以下の順序で5種類の候補を含めることによって構築できる。
1)空間近隣CUからの空間MVP、
2)同一位置のCUからの時間MVP、
3)FIFOテーブルからの履歴ベースMVP、
4)ペアワイズ平均MVP、及び
5)ゼロMV
マージリストのサイズはスライスヘッダで信号伝達でき、VTM4ではマージリストの最大許容サイズは6とすることができる。マージモードで符号化されたCU毎に、トランケーテッド単項二進化(TU, truncated unary binarization)を使用して最適なマージ候補のインデックスが符号化できる。マージインデックスの第1のビンはコンテキストで符号化でき、他のビンにはバイパス符号化が使用できる。
空間候補の導出では、VVCにおける空間マージ候補の導出は、HEVCにおける空間マージ候補の導出と同じとすることができる。図９に示す位置にある候補の中から、最大で4つのマージ候補が選択できる。図９に示すように、現在ブロック(901)は、それぞれ位置A0、A1、B0、B1及びB2にある隣接ブロック(902)～(906)を含むことができる。空間マージ候補の導出順序は、B1、A1、B0、A0及びB2とすることができる。位置B2は、位置A0、B0、B1又はA1におけるいずれかのCU(又はブロック)が利用可能でない場合(例えば、CUが別のスライス又はタイルに属するため)、又はイントラ符号化される場合にのみ考慮されてもよい。位置A1における候補(又はブロック)が追加された後、残りの候補(又はブロック)の追加は冗長検査の対象とすることができる。冗長検査は、同じ動き情報を有する候補がマージリストから除外されることを確保し、その結果、符号化効率が改善できる。計算の複雑性を低減するために、全ての可能な候補ペアが冗長検査で考慮されるとは限らない。代わりに、図１０において矢印でリンクされた候補ペアのみが考慮されてもよい。例えば、A1とB1との候補ペア及びA1とA0との候補ペアのように、5つの候補ペアに冗長検査が適用できる。冗長検査に使用される対応する候補が同じ動き情報を含まない場合にのみ、候補がマージリストに追加されてもよい。例えば、対応する候補B1が同じ動き情報を含まない場合にのみ、候補B0がマージリストに追加されてもよい。
時間候補の導出では、1つの候補のみがマージリストに追加されてもよい。例えば、図１１に示すように、現在CU(1114)の時間マージ候補の導出において、同一位置の参照ピクチャ(1112)に属する同一位置のCU(1104)に基づいて、スケーリングされた動きベクトルが導出できる。同一位置のCU(1104)の導出に使用される参照ピクチャリストは、スライスヘッダで明示的に信号伝達できる。時間マージ候補のスケーリングされた動きベクトルは、図１１の点線(1102)で示すように取得でき、これはピクチャオーダーカウント(POC, picture order count)距離tb及びtdを使用して同一位置のCU(1104)の動きベクトルからスケーリングされる。tbは、現在ピクチャの参照ピクチャ(例えば、Curr_ref)(1106)と現在ピクチャ(例えば、Curr_pic)(1108)との間のPOC差として定義できる。tdは、同一位置のピクチャの参照ピクチャ(例えば、Col_ref)(1110)と同一位置のピクチャ(例えば、Col_pic)(1112)との間のPOC差として定義できる。時間マージ候補の参照ピクチャインデックスは、0に等しく設定できる。
図１２に示すように、時間マージ候補の位置は、候補C0とC1との間で選択できる。位置C0におけるCUが利用可能でない場合、イントラ符号化される場合、又はCTUの現在の行の外側にある場合、位置C1が使用できる。そうでない場合、位置C0が時間マージ候補の導出に使用できる。
ジオメトリックパーティションモード(GPM, geometric partition mode)はインター予測に適用できる。GPMは、8×8のサイズ又は8×8よりも大きいサイズを有するCUにのみ適用されてもよい。GPMは、例えばCUレベルフラグを使用して信号伝達でき、一種のマージモードとして機能することができる。他のマージモードは、通常マージモード、MMVDモード、CIIPモード及び/又はサブブロックマージモードを含むことができる。
GPMが使用される場合、CUは、複数のパーティション方式のうち1つを使用することによって、2つの幾何学形状のパーティションに分割できる。一実施形態では、64個の異なるパーティション方式がGPMにおいて適用できる。64個の異なるパーティション方式は、CUの中心に対して0から360°の間で最大で4つのエッジまで不均一に量子化された24個の角度によって区別できる。図1３は、GPMにおいて適用される例示的な24個の角度を示す。図１４は、CU(1402)においてインデックス3を有する角度に関連する4つの可能なパーティションエッジの例を示しており、パーティションエッジのそれぞれはそれぞれの距離インデックスに関連付けられることができる。距離インデックスは、CU(1402)の中心に対する距離を示すことができる。GPMでは、CU内の各ジオメトリックパーティションは、それぞれの動きベクトルを使用してインター予測できる。さらに、各パーティションについて一方向予測のみが許可されてもよい。例えば、各パーティションは1つの動きベクトル及び1つの参照インデックスを有することができる。各パーティションについて一方向予測の動きのみが許可されるという制約は、CU毎に2つの動き補償予測のみが必要になることを確保でき、これは従来の双方向予測にも適用される。
現在CUにGPMが使用される場合、ジオメトリックパーティションインデックスを示す信号と、2つのマージインデックス(各パーティションに1つ)が更に信号伝達できる。最大GPM候補サイズは、例えばスライスレベルで明示的に信号伝達できる。最大GPM候補サイズの数は、GPMマージインデックスのシンタックス二値化を指定できる。2つのジオメトリックパーティションのそれぞれが予測された後に、適応的な重みを有するブレンドプロセスを使用して、ジオメトリックパーティションエッジに沿ったサンプル値が調整できる。それに従って、ブレンドプロセスの後に全体のCUの予測信号が生成できる。変換及び量子化プロセスは、他の予測モードにおいて全体のCUに更に適用できる。最後に、GPMを使用して予測されたCUの動き場が記憶できる。
VVC標準のように圧縮効率を更に改善するために、デコーダ側で動きを洗練させるテンプレートマッチング(TM, template matching)が利用できる。TMモードでは、左及び上の隣接する再構成サンプルからテンプレートを構築することで動きが洗練され、現在ピクチャにおけるテンプレートと参照フレームとの間で最も近い一致が決定できる。
TMはGPMに適用できる。CUがGPMで符号化されている場合、TMがジオメトリックパーティションのそれぞれの動きを洗練するために適用されるか否かが決定できる。TMが選択されると、テンプレートは左及び上隣接サンプルを使用して構築でき、現在のテンプレートと参照フレーム内の同じテンプレートパターンを有する参照領域との間で最適な一致を見つけることによって、動きが更に洗練できる。洗練された動きは、ジオメトリックパーティションの動き補償を実行するために使用でき、動き場に更に記憶できる。
VVCを超える符号化性能を強化するために、GPMは、インター及びイントラ予測をサポートするように適用できる。例えば、ジオメトリックパーティションラインに対する(或いは関連する)所定のイントラ予測モードは、GPMが適用されるCU内のジオメトリックパーティション毎にマージ候補リストから動きベクトルに加えて選択できる。イントラ予測モード又はインター予測モードは、フラグに基づいてジオメトリックパーティション毎に決定できる。インター予測が選択された場合、一方向予測信号は、マージ候補リストからのMVによって生成できる。そうでなく、イントラ予測モードが選択された場合、一方向予測信号は、イントラ予測モードの指定のインデックスから予測される隣接サンプルから生成できる。可能なイントラ予測モードの変動は、幾何学形状によって制限されることができる。最後に、2つの一方向予測信号は通常のGPMと同様にブレンドできる。
複雑性及び信号伝達オーバーヘッドを低減するために、可能なイントラ予測モードの変動が研究(又は定義)できる。例えば、2つの例示的な構成について、インター及びイントラ予測を伴うGPMに対する可能なイントラ予測モードの変動の効果が研究された。第1の構成は、ジオメトリックパーティションラインに対して(或いは関連して)平行及び垂直なイントラ方向モードのみを試みた。ジオメトリックパーティションラインに対して(或いは関連して)平行及び垂直なイントラ角度モードに加えて、第2の構成でプラナー(Planar, 平面)モードもテストされた。2つ又は3つの可能なイントラ予測モードが、インター及びイントラ予測を伴うGPMにおけるジオメトリックパーティションについてテストされた。表１は、GPMのイントラ及びインター予測の信号伝達の擬似コードを示す。
Figure 2024508430000002
表１に示すように、GPMフラグ(例えば、gpm_flag)が1(又はtrue)である場合、これは、GPMが現在ブロックに適用されることを示す。したがって、現在ブロックは、第1の部分(又は第1のパーティション)及び第2の部分(又は第2のパーティション)にパーティション化できる。第1のパーティションインデックス(例えば、partition_index0)は、第1のパーティションがインター符号化されるかイントラ符号化されるかを決定するために解析(又は符号化)できる。第2のパーティションインデックス(例えば、partition_index1)は、第2のパーティションがインター符号化されるかイントラ符号化されるかを決定するために解析(又は符号化)できる。第1のパーティション及び第2のパーティションの一方がイントラ符号化され、第1のパーティション及び第2のパーティションの他方がインター符号化されることに応じて、マージgpmパーティションインデックス(例えば、merge_gpm_partition_idx)が復号できる。マージgpmパーティションインデックスは、図１３～図１４に示す64個の異なるパーティション方式のような複数のパーティション方式からあるパーティション方式を示すことができる。さらに、イントラモードインデックスは、イントラ符号化される第1のパーティション及び第2のパーティションの一方のイントラモードリストからイントラモードを示すために解析(又は符号化)できる。マージインデックスは、インター符号化される第1のパーティション及び第2のパーティションの他方のマージ候補リストからマージ候補を示すために解析できる。
GPMにイントラ予測モードが選択された場合、2つのジオメトリックパーティションにイントラ予測モードが使用されるか否かを示すためにフラグが信号伝達できる。イントラ予測モードを使用することによって隣接サンプルから予測を生成するようにジオメトリックパーティションが指示された場合、特定の量の可能なイントラ予測モードのみが使用できる。例えば、インター及びイントラ予測を伴うGPMについて、最大で3つの可能なイントラ予測モードが適用できる。3つの可能なイントラ予測モードは、平行、垂直及びプラナー(Planar, 平面)モードを含むことができる。一般的に、限られた数のイントラ予測モードは、符号化効率の低下を生じる可能性がある。しかし、GPMに適用可能な全てのイントラ予測モードを許可することも、いくつかのモードが実際には利用可能でないか或いは非効率であるので、符号化効率の低下を生じる可能性がある。
本開示では、イントラ/インターモード情報は、GPMのパーティション毎にマージgpmパーティションインデックス(例えば、merge_gpm_partition_idx)を使用して導出できる。マージgpmパーティションインデックスは、複数のパーティション方式からパーティション方式を示すことができる。一例では、複数のパーティション方式は、図１３～図１４に示す64個のパーティション方式を含むことができる。図１５Ａ、図１５Ｂ及び図１５Ｃは、GPMに基づく3つの例示的なパーティションを示す。例えば、図１５Ａに示すように、長方形ブロック(1502)は、CU(1502)の内部の直線(1504)によってパーティションA(1506)及びパーティションB(1508)にパーティション化されたCUとすることができる。直線(1504)は、CU(1502)の内部に幾何学的にあり、マージgpmパーティションインデックス(例えば、merge_gpm_partition_idx)によって示されるパーティションラインとすることができる。
一実施形態では、CUの双方のパーティションがCUの左上角(0,0)をカバーする場合(例えば、パーティションラインが左上角を通過する場合、左上角まで延びる場合、又は左上角に交差する場合)、パーティションのどれがイントラで符号化されるかは、ブロック(又はCU)の幅及び高さに基づくものとすることができる。一例では、図１５Ｂに示すように、ブロック(1510)の幅はブロック(1510)の高さよりも大きい(或いは小さくない)。したがって、パーティションA(1512)はイントラ予測で符号化でき、パーティションB(1514)はインター予測で符号化できる。例えば、ブロック(1510)の幅がブロック(1510)の高さよりも小さい場合、パーティションB(1514)はイントラ予測で符号化でき、パーティションA(1512)はインター予測で符号化できる。別の例では、ブロック(1510)の幅がブロック(1510)の高さよりも大きい(或いは小さくない)場合、パーティションA(1512)はインター予測で符号化でき、パーティションB(1514)はイントラ予測で符号化できる。更に別の例では、ブロック(1510)の幅がブロック(1510)の高さよりも小さい場合、パーティションB(1514)はインター予測で符号化でき、パーティションA(1512)はイントラ予測で符号化できる。
一実施形態では、双方のパーティションがCUの左上角(0,0)をカバーする場合、CUのパーティションのどれがイントラで符号化されるかは、イントラ予測のために利用可能な上及び左サンプルの数に基づくものとすることができる。例えば、図１５Ｂに示すように、ブロック(1510)の幅はブロック(1510)の高さよりも大きい(或いは小さくない)。ブロック(1510)に隣接する上ブロック(図示せず)が現在ブロック(1510)のイントラ予測のために利用可能でない別のスライス/タイルにあり、ブロック(1510)に隣接する左サンプルがイントラ予測に利用可能である場合、パーティションA(1512)はイントラモードで符号化できる。
別の実施形態では、上及び左の双方の隣接がイントラ予測に利用可能でない場合、GPMによってパーティション化されたブロックについてGPMイントラ/インターが許可されなくてもよい。例えば、上及び左の双方の隣接がイントラ予測に利用可能でない場合、GPMによるブロックの双方のパーティションはインター符号化できる。
本開示では、現在CUの左上角(0,0)のピクセルの多く(又はより大きい部分)を含むパーティションはイントラ予測モードで符号化でき、他方のパーティションはインター予測モードで符号化できる。
一実施形態では、図１５Ａに示すように、パーティションA(1506)はCU(1502)の左上角のピクセルのみを含む。したがって、パーティションA(1506)はイントラ予測で符号化でき、パーティションB(1508)はインター予測で符号化できる。
一実施形態では、より大きい部分は、パーティションライン及びブロックの側面によって形成される角度、又は現在CUの左上角におけるパーティションの角度に対応することができる。より大きい角度は、パーティションがより大きい部分を含むことを示すことができる。図１５Ｂに示すように、パーティションライン(1522)は左上角のピクセルを分割することができ、パーティションA(1512)の角度AはパーティションB(1514)の角度Bよりも大きい。したがって、パーティションA(1512)は左上角のピクセルの多く(又はより大きい部分)を含むことができる。したがって、パーティションA(1512)はイントラ予測で符号化でき、パーティションB(1514)はインター予測で符号化できる。
別の実施形態では、CUの第1のパーティションに含まれる上の角のピクセルの第1の部分がCUの第2のパーティションに含まれる上の角のピクセルの第2の部分に等しい場合、第1のパーティションがイントラ符号化されるかインター符号化されるか、及び第2のパーティションがイントラ符号化されるかインター符号化されるかは、イントラ予測に利用可能なCUの隣接参照サンプルに基づくものとすることができる。例えば、第1のパーティションがイントラ符号化されるかインター符号化されるか、及び第2のパーティションがイントラ符号化されるかインター符号化されるかは、上参照サンプル及び左参照サンプルのどれがイントラ予測に利用可能であり、CUの第1のパーティション及び第2のパーティションの一方に隣接するかに基づくものとすることができる。
図１５Ｃに示す例では、パーティションライン(1524)はCU(1516)の左上角のピクセルを分割でき、パーティションA(1518)の角度AはパーティションB(1520)の角度Bと等しくすることができる。したがって、パーティションA(1518)及びパーティションB(1520)はCU(1516)の左上角のピクセルを等しく共有できる。パーティションB(1520)がイントラ予測に利用可能な上参照サンプルに隣接する場合、パーティションB(1520)はイントラ予測で符号化でき、パーティションA(1518)はインター予測で符号化できる。
図１５Ｃに示す別の例では、パーティションA(1518)がイントラ予測に利用可能なCU(1518)の左参照サンプルに隣接する場合、パーティションA(1518)はイントラ予測で符号化でき、パーティションB(1520)はインター予測で符号化できる。
本開示では、最初にマージgpmパーティションインデックス(例えば、merge_gpm_partition_idx)が信号伝達でき、続いてGPMからのpartition_index0及びpartition_index1のイントラ/インターモード情報が信号伝達できる。GPMのイントラ及びインター予測の信号伝達の擬似コードは表２に示すものとすることができ、ここでマージgpmパーティションインデックスは、partition_index0及びpartition_index1のイントラ/インターモード情報を信号伝達する前に信号伝達できる。
Figure 2024508430000003
表２に示すように、GPMフラグ(例えば、gpm_flag)が1(又はtrue)である場合、これは、GPMが現在ブロックに適用されることを示す。したがって、現在ブロックは、第1の部分(又は第1のパーティション)及び第2の部分(又は第2のパーティション)にパーティション化できる。マージgpmパーティションインデックス(例えば、merge_gpm_partition_idx)が復号できる。マージgpmパーティションインデックスは、複数のパーティション方式からあるパーティション方式を示すことができる。複数のパーティション方式は図１３～図１４に示すものとすることができる。第1のパーティションインデックス(例えば、partition_index0)は、第1のパーティションがインター符号化されるかイントラ符号化されるかを決定するために解析(又は符号化)できる。第2のパーティションインデックス(例えば、partition_index1)は、第2のパーティションがインター符号化されるかイントラ符号化されるかを決定するために解析(又は符号化)できる。第1のパーティション及び第2のパーティションの一方がイントラ符号化され、第1のパーティション及び第2のパーティションの他方がインター符号化される場合、イントラモードインデックスは、イントラ符号化される第1のパーティション及び第2のパーティションの一方のイントラモードリストからイントラモードを示すために解析(又は符号化)できる。マージインデックスは、インター符号化される第1のパーティション及び第2のパーティションの他方のマージ候補リストからマージ候補を示すために解析できる。
本開示では、第1のパーティションインデックス(例えば、partition_index0)及び第2のパーティションインデックス(例えば、partition_index1)は、第1のパーティションがイントラ符号化されるかインター符号化されるか、及び第2のパーティションがイントラ符号化されるかインター符号化されるかを示すために信号伝達されなくてもよい。マージgpmパーティションインデックス(例えば、merge_gpm_partition_idx)が解析されるとき、第1のパーティションがイントラ符号化されるかインター符号化されるか、及び第2のパーティションがイントラ符号化されるかインター符号化されるかは、パーティションラインの位置に基づいて導出でき、これは図１５Ａ～図１５Ｃ及びこれらに関連する議論で示されることができる。例えば、図１５Ｂに示すように、直線パーティションライン(1522)がCU(1510)の左上角と交差し、CU(1510)の幅がCU(1510)の高さ以上である場合、第1のパーティションはイントラ符号化でき、第2のパーティションはインター符号化できる。
一実施形態では、表２に提供される第1のパーティションインデックス(例えば、partition_index0)及び第2のパーティションインデックス(例えば、partition_index1)を置き換えるために、イントラ及びインターフラグ(例:one_intra_one_inter_flag)が提供できる。イントラ及びインターフラグ(例えば、one_intra_one_inter_flag)は、第1のパーティション及び第2のパーティションの一方がイントラ符号化され、第1のパーティション及び第2のパーティションの他方がインター符号化されるかを示すことができる。例えば、イントラ及びインターフラグ(例えば、one_intra_one_inter_flag)が1(又はtrue)である場合、これは、一方のパーティションがイントラ符号化され、他方がインター符号化されることを示すことができる。イントラ及びインターフラグ(例えば、one_intra_one_inter_flag)が0(又はfalse)である場合、双方のパーティションはインター符号化又はインター符号化できる。表３は、イントラ及びインターフラグが含まれるGPMのイントラ及びインター予測の信号伝達の擬似コードを示す。
Figure 2024508430000004
表３に示すように、GPMフラグ(例えば、gpm_flag)が1(又はtrue)である場合、これは、GPMが現在ブロックに適用されることを示す。したがって、現在ブロックは、第1の部分(又は第1のパーティション)及び第2の部分(又は第2のパーティション)にパーティション化できる。マージgpmパーティションインデックス(例えば、merge_gpm_partition_idx)が続いてコーディングできる。マージgpmパーティションインデックスは、複数のパーティション方式からあるパーティション方式を示すことができる。複数のパーティション方式は図１３～図１４に示すものとすることができる。さらに、イントラ及びインターフラグ(例えば、one_intra_one_inter_flag)は、第1のパーティション及び第2のパーティションの一方がイントラ符号化され、第1のパーティション及び第2のパーティションの他方がインター符号化されるかを決定するために解析(又は符号化)できる。第1のパーティション及び第2のパーティションの一方がイントラ符号化され、第1のパーティション及び第2のパーティションの他方がインター符号化されることをイントラ及びインターフラグが示す場合、イントラモードインデックスは、イントラ符号化される第1のパーティション及び第2のパーティションの一方のイントラモードリストからイントラモードを示すために解析(又は符号化)できる。マージインデックスは、インター符号化される第1のパーティション及び第2のパーティションの他方のマージ候補リストからマージ候補を示すために解析できる。
図１６は、本開示のいくつかの実施形態による例示的な復号プロセス(1600)の概要を示すフローチャートを示す。図１７は、本開示のいくつかの実施形態による例示的な符号化プロセス(1700)の概要を示すフローチャートを示す。提案されるプロセスは、個別に使用されてもよく或いは任意の順序で組み合わされてもよい。さらに、プロセス(又は実施形態)、エンコーダ、デコーダのそれぞれは、処理回路(例えば、1つ以上のプロセッサ又は1つ以上の集積回路)によって実装されてもよい。一例では、1つ以上のプロセッサは、非一時的なコンピュータ読み取り可能媒体に記憶されたプログラムを実行する。
実施形態では、プロセス(例えば、(1600)及び(1700))のいずれかの動作は、必要に応じて、任意の量又は順序で結合又は配置されてもよい。実施形態では、プロセス(例えば、(1600)及び(1700))の2つ以上の動作が並行して実行されてもよい。
プロセス(例えば、(1600)及び(1700))は、再構成中のブロックの予測ブロックを生成するために、ブロックの再構成及び/又は符号化において使用できる。様々な実施形態において、プロセス(例えば、(1600)及び(1700))は、端末デバイス(310)、(320)、(330)及び(340)における処理回路、ビデオエンコーダ(403)の機能を実行する処理回路、ビデオデコーダ(410)の機能を実行する処理回路、ビデオデコーダ(510)の機能を実行する処理回路、ビデオエンコーダ(603)の機能を実行する処理回路等のような処理回路によって実行される。いくつかの実施形態では、プロセス(例えば、(1600)及び(1700))はソフトウェア命令で実装され、したがって、処理回路がソフトウェア命令を実行すると、処理回路はプロセス(例えば、(1600)及び(1700))を実行する。
図１６に示すように、プロセス(1600)は(S1601)から始まり、(S1610)に進むことができる。(S1610)において、現在ピクチャ内の符号化ユニット(CU, coding unit)の符号化情報が符号化ビデオビットストリームから受信できる。
(S1620)において、CUは、符号化情報内のパーティションインデックスに基づいて、第1のパーティション及び第2のパーティションにパーティション化できる。パーティションインデックスは、CUが直線パーティションラインによって第1のパーティション及び第2のパーティションにパーティション化されるジオメトリックパーティションモード(GPM, geometric partition mode)を示すことができる。
(S1630)において、CU内の直線パーティションラインの位置に基づいて、(i)CUの第1のパーティションの第1の予測モードがイントラモード及びインターモードの1つであるか、及び(ii)CUの第2のパーティションの第2の予測モードがイントラモード及びインターモードの1つであるかが決定できる。
(S1640)において、CUの第1のパーティションは、決定された第1の予測モードに基づいて再構成でき、CUの第2のパーティションは、決定された第2の予測モードに基づいて再構成できる。
次いで、プロセスは(S1699)に進み、終了する。
一例では、直線パーティションラインがCUの左上角と交差することに応じて、CUの幅がCUの高さ以上であることに基づいて、第1のパーティションの第1の予測モードはイントラモードとして決定でき、第2のパーティションの第2の予測モードはインターモードとして決定できる。
別の例では、直線パーティションラインがCUの左上角と交差することに応じて、CUの幅がCUの高さよりも小さいことに基づいて、第1のパーティションの第1の予測モードはインターモードとして決定でき、第2のパーティションの第2の予測モードはイントラモードとして決定できる。
更に別の例として、直線パーティションラインがCUの左上角と交差することに応じて、第1のパーティションの第1の予測モード及び第2のパーティションの第2の予測モードは、CUに隣接する上参照サンプル及び左参照サンプルのどちらがイントラ予測に利用可能であるかに基づいて決定できる。
例えば、(i)左参照サンプルがCUの第1のパーティションに隣接し、イントラ予測に利用可能であること、及び(ii)上参照サンプルがイントラ予測に利用不可能であることに基づいて、第1のパーティションの第1の予測モードはイントラモードとして決定でき、第2のパーティションの第2の予測モードはインターモードとして決定できる。
いくつかの実施形態では、第1のパーティションの第1の予測モード及び第2のパーティションの第2の予測モードは、CUの第1のパーティション及び第2のパーティションのどちらがCUの上の角のピクセルのより大きい部分を含むかに基づいて決定できる。
いくつかの実施形態では、CUの第1のパーティションがCUの上の角のピクセルのより大きい部分を含むことに基づいて、第1のパーティションの第1の予測モードはイントラモードとして決定でき、第2のパーティションの第2の予測モードはインターモードとして決定できる。
いくつかの実施形態では、第1のパーティションに含まれる上の角のピクセルの第1の部分が、第2のパーティションに含まれる上の角のピクセルの第2の部分に等しいことに応じて、第1の予測モード及び第2の予測モードは、上参照サンプル及び左参照サンプルのどちらが第1のパーティション及び第2のパーティションの一方に隣接するかに基づいて決定できる。
いくつかの実施形態では、CUの第1のパーティションがイントラ符号化されるかインター符号化されるかは、第1のインデックスに基づいて決定できる。CUの第2のパーティションがイントラ符号化されるかインター符号化されるかは、第2のインデックスに基づいて決定できる。第1のパーティション及び第2のパーティションの一方がイントラ符号化され、第1のパーティション及び第2のパーティションの他方がインター符号化されることに応じて、符号化情報に含まれるイントラモードインデックスに基づいてイントラ符号化される第1のパーティション及び第2のパーティションの一方のイントラモードリストからイントラモードが決定できる。インターモードのマージ候補は、符号化情報に含まれるマージインデックスに基づいてインター符号化される第1のパーティション及び第2のパーティションの他方のマージ候補リストから決定できる。
プロセス(1600)において、CUの第1のパーティション及び第2のパーティションの一方がイントラ符号化され、CUの第1のパーティション及び第2のパーティションの他方がインター符号化されるかは、符号化情報に含まれるフラグに基づいて決定できる。CUの第1のパーティション及び第2のパーティションの一方がイントラ符号化され、CUの第1のパーティション及び第2のパーティションの他方がインター符号化されることに応じて、符号化情報に含まれるイントラモードインデックスに基づいてイントラ符号化される第1のパーティション及び第2のパーティションの一方のイントラモードリストからイントラモードが決定できる。インターモードのマージ候補は、符号化情報に含まれるマージインデックスに基づいてインター符号化される第1のパーティション及び第2のパーティションの他方のマージ候補リストから決定できる。
プロセス(1600)は適切に適合できる。プロセス(1600)におけるステップは変更又は省略できる。更なるステップが追加できる。任意の適切な実装順序が使用できる。
図１７に示すように、プロセス(1700)は(S1701)から始まり、(S1710)に進むことができる。(S1710)において、ピクチャの符号化ユニット(CU, coding unit)は、CUが直線パーティションラインによって第1のパーティション及び第2のパーティションにパーティション化されるジオメトリックパーティションモード(GPM, geometric partition mode)に基づいて、第1のパーティション及び第2のパーティションにパーティション化できる。
(S1720)において、(i)CUの第1のパーティションの第1の予測モードがイントラモード及びインターモードの1つであるか、及び(ii)CUの第2のパーティションの第2の予測モードがイントラモード及びインターモードの1つであるかが、CU内の直線パーティションラインの位置に基づいて決定できる。
(S1730)において、CUの第1のパーティションの予測サンプル値は、決定された第1の予測モードに基づいて決定でき、CUの第2のパーティションの予測サンプル値は、決定された第2の予測モードに基づいて決定できる。
(S1740)において、CUの符号化情報が生成できる。符号化情報は、CUの第1のパーティションの第1の予測モード及びCUの第2のパーティションの第2の予測モードがCU内のGPMの直線パーティションラインの位置に基づいて決定されることを示すことができる。
次いで、プロセスは(S1799)に進み、終了する。
プロセス(1700)は適切に適合できる。プロセス(1700)におけるステップは変更又は省略できる。更なるステップが追加できる。任意の適切な実装順序が使用できる。
上述の技術は、コンピュータ読み取り可能な命令を用いてコンピュータソフトウェアとして実装することができ、1つ以上のコンピュータ読み取り可能な媒体に物理的に記憶されることができる。例えば、図１８は、開示された主題の特定の実施形態を実施するのに好適なコンピュータシステム(1800)を示す。
コンピュータソフトウェアは、任意の好適な機械コード又はコンピュータ言語を用いてコーディングされることができ、アセンブリ、コンパイル、リンク、又は同様の機構の対象とされて、1つ以上のコンピュータ中央処理ユニット(CPU)、グラフィックス処理ユニット(GPU)等によって、直接的に、又はインタープリット、マイクロコード実行等を通じて実行可能な命令を含むコードを作成することができる。
命令は、例えば、パーソナルコンピュータ、タブレットコンピュータ、サーバ、スマートフォン、ゲームデバイス、モノのインターネットデバイス等を含む様々なタイプのコンピュータ又はそのコンポーネント上で実行されることができる。
コンピュータシステム(1800)について図１８に示されるコンポーネントは、例としての性質であり、本開示の実施形態を実装するコンピュータソフトウェアの使用又は機能の範囲に関する制限を示唆することを意図したものではない。コンポーネントの構成も、コンピュータシステム(1800)の例示的実施形態において示されているコンポーネントの任意の1つ又は組み合わせに関する何らかの依存性又は要件を有するものとして解釈されるべきではない。
コンピュータシステム(1800)は、特定のヒューマンインターフェース入力デバイスを含むことができる。そのようなヒューマンインターフェース入力デバイスは、例えば、触覚入力(例えば、キーストローク、スワイプ、データグローブの動き)、音声入力(例えば、声、拍手)、視覚入力(例えば、ジェスチャー)、嗅覚入力(図示せず)を通じた一又は複数の人間ユーザによる入力に応答することができる。また、ヒューマンインターフェースデバイスは、音声(例えば、発話、音楽、周囲の音)、画像(例えば、スキャンされた画像、スチール画像カメラから得られる写真画像)、ビデオ(例えば、2次元ビデオ、立体視ビデオを含む3次元ビデオ)のような、人間による意識的入力に必ずしも直接関係しない特定のメディアを捕捉するために使用できる。
入力ヒューマンインターフェースデバイスは、キーボード(1801)、マウス(1802)、トラックパッド(1803)、タッチスクリーン(1810)、データグローブ(図示せず)、ジョイスティック(1805)、マイクロフォン(1806)、スキャナ(1807)、カメラ(1808)の1つ以上(それぞれの一つしか図示していない)を含んでいてもよい。
コンピュータシステム(1800)はまた、特定のヒューマンインターフェース出力デバイスを含んでいてもよい。そのようなヒューマンインターフェース出力デバイスは、例えば、触覚出力、音、光、及び臭い/味を通じて、一又は複数の人間ユーザの感覚を刺激するものであってもよい。そのようなヒューマンインターフェース出力デバイスは、触覚出力デバイス(例えば、タッチスクリーン(1810)、データグローブ(図示せず)、又はジョイスティック(1805)による触覚フィードバック；ただし、入力デバイスのはたらきをしない触覚フィードバックデバイスもあり得る)、音声出力デバイス(例えば、スピーカー(1809)、ヘッドフォン(図示せず))、視覚出力デバイス(例えば、CRT画面、LCD画面、プラズマスクリーン、OLED画面を含む画面(1810)；それぞれはタッチスクリーン入力機能があってもなくてもよく、それぞれは触覚フィードバック機能があってもなくてもよく、そのうちのいくつかは、2次元の視覚出力又は立体視出力のような手段を通じた3次元より高い出力を出力することができる；仮想現実感眼鏡(図示せず)、ホログラフィーディスプレイ及び煙タンク(図示せず))、及びプリンタ(図示せず)を含んでいてもよい。
コンピュータシステム(1800)はまた、人間がアクセス可能な記憶デバイス及び関連する媒体、例えば、CD/DVD又は類似の媒体(1821)とともにCD/DVD ROM/RW(1820)を含む光学式媒体、サムドライブ(1822)、取り外し可能なハードドライブ又はソリッドステートドライブ(1823)、テープ及びフロッピーディスクといったレガシー磁気媒体(図示せず)、セキュリティドングルのような特化したROM/ASIC/PLDベースのデバイス(図示せず)等を含むことができる。
当業者はまた、現在開示されている主題に関連して使用される用語「コンピュータ読み取り可能媒体」は、伝送媒体、搬送波、又は他の一時的な信号を包含しないことを理解すべきである。
コンピュータシステム(1800)はまた、1つ以上の通信ネットワーク(1855)へのインターフェース(1854)を含むことができる。ネットワークは、例えば、無線、有線、光学式であり得る。ネットワークは、さらに、ローカル、広域、都市圏、車載及び工業用、リアルタイム、遅延耐性等であり得る。ネットワークの例は、イーサネット〔登録商標〕、無線LAN、GSM、3G、4G、5G、LTE等を含むセルラーネットワーク、ケーブルテレビ、衛星テレビ、地上放送テレビを含むTV有線又は無線の広域デジタルネットワーク、CANBusを含む車載及び工業用等を含む。特定のネットワークは、普通、特定の汎用データポート又は周辺バス(1849)(例えば、コンピュータシステム(1800)のUSBポート等)に取り付けられる外部ネットワークインターフェースアダプターを必要とする。他は、普通、後述するようなシステムバスへの取り付けによって、コンピュータシステム(1800)のコアに統合される(例えば、PCコンピュータシステムへのイーサネットインターフェース又はスマートフォンコンピュータシステムへのセルラーネットワークインターフェース)。これらのネットワークのいずれかを使用して、コンピュータシステム(1800)は、他のエンティティと通信することができる。そのような通信は、一方向性、受信のみ(例えば、放送テレビ)、一方向性送信専用(例えば、特定のCANbusデバイスへのCANbus)、又は、例えば、ローカル又は広域デジタルネットワークを使用する他のコンピュータシステムへの双方向性であってもよい。上述のようなそれらのネットワーク及びネットワークインターフェースのそれぞれで、特定のプロトコル及びプロトコルスタックが使用できる。
前述のヒューマンインターフェースデバイス、人間がアクセス可能な記憶デバイス、及びネットワークインターフェースは、コンピュータシステム(1800)のコア(1840)に取り付けることができる。
コア(1840)は、1つ以上の中央処理装置(CPU)(1841)、グラフィックス処理装置(GPU)(1842)、フィールドプログラマブルゲートアレイ(FPGA)(1843)の形の特化したプログラマブル処理装置、特定のタスクのためのハードウェアアクセラレータ(1844)、グラフィックアダプター(1850)等を含むことができる。これらの装置は、読み取り専用メモリ(ROM)(1845)、ランダムアクセスメモリ(1846)、内部のユーザアクセス可能でないハードドライブ、ソリッドステートドライブ(SSD)等の内部大容量記憶デバイス(1847)とともに、システムバス(1848)を通じて接続され得る。いくつかのコンピュータシステムでは、追加のCPU、GPU等による拡張を可能にするために、システムバス(1848)は、1つ以上の物理プラグの形でアクセス可能であってもよい。周辺デバイスは、コアのシステムバス(1848)に直接取り付けられることも、周辺バス(1849)を通じて取り付けられることもできる。一例では、グラフィックアダプター(1850)にスクリーン(1810)が接続されることができる。周辺バスのためのアーキテクチャは、PCI、USB等を含む。
CPU(1841)、GPU(1842)、FPGA(1843)、及びアクセラレータ(1844)は、組み合わせて上述のコンピュータコードを構成することができる特定の命令を、実行することができる。そのコンピュータコードは、ROM(1845)又はRAM(1846)に記憶できる。一時的データも、RAM(1846)に記憶されることができ、一方、持続的データは、例えば、内部大容量記憶デバイス(1847)に記憶されることができる。1つ以上のCPU(1841)、GPU(1842)、大容量記憶デバイス(1847)、ROM(1845)、RAM(1846)等と密接に関連付けることができるキャッシュメモリを使用することを通じて、メモリデバイスのいずれかへの高速な記憶及び取り出しを可能にすることができる。
コンピュータ読み取り可能な媒体は、様々なコンピュータ実装された動作を実行するためのコンピュータコードをその上に有することができる。媒体及びコンピュータコードは、本開示の目的のために特別に設計及び構築されたものであってもよく、又は、コンピュータソフトウェア分野の技術を有する者に周知であり利用可能な種類のものであってもよい。
限定ではなく一例として、アーキテクチャ(1800)、具体的にはコア(1840)を有するコンピュータシステムは、プロセッサ(CPU、GPU、FPGA、アクセラレータ等を含む)が1つ以上の有形のコンピュータ可読媒体に具現化されたソフトウェアを実行することの結果として、機能性を提供することができる。そのようなコンピュータ読み取り可能媒体は、上記で紹介したようなユーザアクセス可能な大容量記憶並びにコア内部の大容量記憶デバイス(1847)又はROM(1845)のような非一時的な性質のコア(1840)の特定の記憶に関連する媒体であることができる。本開示の様々な実施形態を実装するソフトウェアは、そのようなデバイスに記憶され、コア(1840)によって実行されることができる。コンピュータ読み取り可能媒体は、特定のニーズに応じて、1つ以上のメモリデバイス又はチップを含むことができる。ソフトウェアは、RAM(1846)に記憶されたデータ構造を定義し、ソフトウェアによって定義されたプロセスに従ってそのようなデータ構造を修正することを含む、本明細書に記載された特定のプロセス又は特定の特定部分を、コア(1840)及び具体的にはその中のプロセッサ(CPU、GPU、FPGA等を含む)に実行させることができる。追加的又は代替的に、コンピュータシステムは、回路(例えば、アクセラレータ(1844))内に配線された、又は他の仕方で具現された論理の結果として機能性を提供することができ、これは、本明細書に記載される特定のプロセス又は特定のプロセスの特定部分を実行するためのソフトウェアの代わりに、又はそれと一緒に動作することができる。ソフトウェアへの言及は、論理を含み、適宜その逆も可能である。コンピュータ読み取り可能媒体への言及は、適宜、実行のためのソフトウェアを記憶する回路(例えば集積回路(IC))、実行のための論理を具現する回路、又はその双方を包含することができる。本開示は、ハードウェア及びソフトウェアの任意の好適な組み合わせを包含する。
付録A：頭字語
JEM: joint exploration model
VVC: versatile video coding
BMS: benchmark set
MV: Motion Vector
HEVC: High Efficiency Video Coding
SEI: Supplementary Enhancement Information
VUI: Video Usability Information
GOP: Group of Pictures
TU: Transform Unit
PU: Prediction Unit
CTU: Coding Tree Unit
CTB: Coding Tree Block
PB: Prediction Block
HRD: Hypothetical Reference Decoder
SNR: Signal Noise Ratio
CPU: Central Processing Unit
GPU: Graphics Processing Unit
CRT: Cathode Ray Tube
LCD: Liquid-Crystal Display
OLED: Organic Light-Emitting Diode
CD: Compact Disc
DVD: Digital Video Disc
ROM: Read-Only Memory
RAM: Random Access Memory
ASIC: Application-Specific Integrated Circuit
PLD: Programmable Logic Device
LAN: Local Area Network
GSM: Global System for Mobile communications
LTE: Long-Term Evolution
CANBus: Controller Area Network Bus
USB: Universal Serial Bus
PCI: Peripheral Component Interconnect
FPGA: Field Programmable Gate Areas
SSD: solid-state drive
IC: Integrated Circuit
CU: Coding Unit
本開示は、いくつかの例示的実施形態を記載してきたが、変更、置換、及び様々な代替等価物があり、それらは本開示の範囲内にはいる。よって、当業者は、本明細書に明示的に示されていないか又は記載されていないが、本開示の原理を具現し、よって、本開示の精神及び範囲内にある多くのシステム及び方法を考案することができることが理解されるであろう。

Claims (13)

  1. ビデオデコーダが実行するビデオ復号の方法であって、
    符号化ビデオビットストリームから現在ピクチャの符号化ユニット(CU)の符号化情報を受信するステップと、
    前記符号化情報内のパーティションインデックスに基づいて、前記CUを第1のパーティション及び第2のパーティションにパーティション化するステップであって、前記パーティションインデックスは、前記CUが直線パーティションラインによって前記第1のパーティション及び前記第2のパーティションにパーティション化されるジオメトリックパーティションモード(GPM)を示す、ステップと、
    前記CU内の前記直線パーティションラインの位置に基づいて、(i)前記CUの前記第1のパーティションの第1の予測モードがイントラモード及びインターモードの1つであるか、及び(ii)前記CUの前記第2のパーティションの第2の予測モードが前記イントラモード及び前記インターモードの1つであるかを決定するステップと、
    前記決定された第1の予測モードに基づいて前記CUの前記第1のパーティションを再構成し、前記決定された第2の予測モードに基づいて前記CUの前記第2のパーティションを再構成するステップと
    を含む方法。
  2. 前記決定するステップは、
    前記直線パーティションラインが前記CUの左上角と交差することに応じて、
    前記CUの幅が前記CUの高さ以上であることに基づいて、前記第1のパーティションの前記第1の予測モードが前記イントラモードであり、前記第2のパーティションの前記第2の予測モードが前記インターモードであると決定するステップを更に含む、請求項１に記載の方法。
  3. 前記決定するステップは、
    前記直線パーティションラインが前記CUの左上角と交差することに応じて、
    前記CUの幅が前記CUの高さよりも小さいことに基づいて、前記第1のパーティションの前記第1の予測モードが前記インターモードであり、前記第2のパーティションの前記第2の予測モードが前記イントラモードであると決定するステップを更に含む、請求項１に記載の方法。
  4. 前記決定するステップは、
    前記直線パーティションラインが前記CUの左上角と交差することに応じて、
    前記CUに隣接する上参照サンプル及び左参照サンプルのどちらがイントラ予測に利用可能であるかに基づいて、前記第1のパーティションの前記第1の予測モード及び前記第2のパーティションの前記第2の予測モードを決定するステップを更に含む、請求項１に記載の方法。
  5. 前記決定するステップは、
    (i)前記左参照サンプルが前記CUの前記第1のパーティションに隣接し、前記イントラ予測に利用可能であること、及び(ii)前記上参照サンプルが前記イントラ予測に利用不可能であることに基づいて、前記第1のパーティションの前記第1の予測モードが前記イントラモードであり、前記第2のパーティションの前記第2の予測モードが前記インターモードであると決定するステップを更に含む、請求項４に記載の方法。
  6. 前記決定するステップは、
    前記CUの前記第1のパーティション及び前記第2のパーティションのどちらが前記CUの上の角のピクセルのより大きい部分を含むかに基づいて、前記第1のパーティションの前記第1の予測モード及び前記第2のパーティションの前記第2の予測モードを決定するステップを更に含む、請求項１に記載の方法。
  7. 前記決定するステップは、
    前記CUの前記第1のパーティションが前記CUの前記上の角のピクセルの前記より大きい部分を含むことに基づいて、前記第1のパーティションの前記第1の予測モードが前記イントラモードであり、前記第2のパーティションの前記第2の予測モードが前記インターモードであると決定するステップを更に含む、請求項６に記載の方法。
  8. 前記決定するステップは、
    前記第1のパーティションに含まれる前記上の角のピクセルの第1の部分が、前記第2のパーティションに含まれる前記上の角のピクセルの第2の部分に等しいことに応じて、
    上参照サンプル及び左参照サンプルのどちらが前記第1のパーティション及び前記第2のパーティションの一方に隣接するかに基づいて、前記第1の予測モード及び前記第2の予測モードを決定するステップを更に含む、請求項６に記載の方法。
  9. 前記決定するステップは、
    第1のインデックスに基づいて、前記CUの前記第1のパーティションがイントラ符号化されるかインター符号化されるかを決定するステップと、
    第2のインデックスに基づいて、前記CUの前記第2のパーティションがイントラ符号化されるかインター符号化されるかを決定するステップと、
    前記第1のパーティション及び前記第2のパーティションの一方がイントラ符号化され、前記第1のパーティション及び前記第2のパーティションの他方がインター符号化されることに応じて、
    前記符号化情報に含まれるイントラモードインデックスに基づいてイントラ符号化される前記第1のパーティション及び前記第2のパーティションの前記一方のイントラモードリストから前記イントラモードを決定するステップと、
    前記符号化情報に含まれるマージインデックスに基づいてインター符号化される前記第1のパーティション及び前記第2のパーティションの前記他方のマージ候補リストから前記インターモードのマージ候補を決定するステップと
    を更に含む、請求項１に記載の方法。
  10. 前記決定するステップは、
    前記符号化情報に含まれるフラグに基づいて、前記CUの前記第1のパーティション及び前記第2のパーティションの一方がイントラ符号化され、前記CUの前記第1のパーティション及び前記第2のパーティションの他方がインター符号化されるかを決定するステップと、
    前記CUの前記第1のパーティション及び前記第2のパーティションの前記一方がイントラ符号化され、前記CUの前記第1のパーティション及び前記第2のパーティションの前記他方がインター符号化されることに応じて、
    前記符号化情報に含まれるイントラモードインデックスに基づいてイントラ符号化される前記第1のパーティション及び前記第2のパーティションの前記一方のイントラモードリストから前記イントラモードを決定するステップと、
    前記符号化情報に含まれるマージインデックスに基づいてインター符号化される前記第1のパーティション及び前記第2のパーティションの前記他方のマージ候補リストから前記インターモードのマージ候補を決定するステップと
    を更に含む、請求項１に記載の方法。
  11. 処理回路を含む装置であって、
    前記処理回路は、請求項１乃至１０のうちいずれか１項に記載の方法を実行するように構成される、装置。
  12. コンピュータに請求項１乃至１０のうちいずれか１項に記載の方法を実行させるコンピュータプログラム。
  13. ビデオエンコーダが実行するビデオ符号化の方法であって、
    ピクチャの符号化ユニット(CU)が直線パーティションラインによって第1のパーティション及び第2のパーティションにパーティション化されるジオメトリックパーティションモード(GPM)に基づいて、前記CUを前記第1のパーティション及び前記第2のパーティションにパーティション化するステップと、
    前記CU内の前記直線パーティションラインの位置に基づいて、(i)前記CUの前記第1のパーティションの第1の予測モードがイントラモード及びインターモードの1つであるか、及び(ii)前記CUの前記第2のパーティションの第2の予測モードがイントラモード及びインターモードの1つであるかを決定するステップと、
    前記決定された第1の予測モードに基づいて前記CUの前記第1のパーティションの予測サンプル値を決定し、前記決定された第2の予測モードに基づいて前記CUの前記第2のパーティションの予測サンプル値を決定するステップと、
    前記CUの符号化情報を生成するステップであって、前記符号化情報は、前記CUの前記第1のパーティションの前記第1の予測モード及び前記CUの前記第2のパーティションの前記第2の予測モードが前記CU内の前記GPMの前記直線パーティションラインの位置に基づいて決定されることを示す、ステップと
    を含む方法。
JP2023550195A 2021-10-04 2022-09-16 イントラ及びインター予測を伴うジオメトリックパーティションモードの改善 Pending JP2024508430A (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US202163252111P 2021-10-04 2021-10-04
US63/252,111 2021-10-04
US17/945,040 US20230108504A1 (en) 2021-10-04 2022-09-14 On geometric partition mode with intra and inter prediction
US17/945,040 2022-09-14
PCT/US2022/076543 WO2023059974A1 (en) 2021-10-04 2022-09-16 Improvement on geometric partition mode with intra and inter prediction

Publications (1)

Publication Number Publication Date
JP2024508430A true JP2024508430A (ja) 2024-02-27

Family

ID=85775019

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2023550195A Pending JP2024508430A (ja) 2021-10-04 2022-09-16 イントラ及びインター予測を伴うジオメトリックパーティションモードの改善

Country Status (6)

Country Link
US (1) US20230108504A1 (ja)
EP (1) EP4222959A4 (ja)
JP (1) JP2024508430A (ja)
KR (1) KR20230091171A (ja)
CN (1) CN116325726A (ja)
WO (1) WO2023059974A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US12022085B2 (en) * 2021-04-12 2024-06-25 Qualcomm Incorporated Template matching refinement in inter-prediction modes

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
SG191347A1 (en) * 2010-12-23 2013-07-31 Samsung Electronics Co Ltd Method and device for encoding intra prediction mode for image prediction unit, and method and device for decoding intra prediction mode for image prediction unit
US20130163664A1 (en) * 2011-12-22 2013-06-27 Qualcomm Incorporated Unified partition mode table for intra-mode coding
US9756359B2 (en) * 2013-12-16 2017-09-05 Qualcomm Incorporated Large blocks and depth modeling modes (DMM'S) in 3D video coding
US10687077B2 (en) * 2017-06-26 2020-06-16 Qualcomm Incorporated Motion information propagation in video coding
WO2019190201A1 (ko) * 2018-03-27 2019-10-03 주식회사 케이티 비디오 신호 처리 방법 및 장치
CN111434110B (zh) * 2018-11-06 2023-06-20 北京字节跳动网络技术有限公司 用于视频处理的方法、装置和存储介质
WO2021061020A1 (en) * 2019-09-23 2021-04-01 Huawei Technologies Co., Ltd. Method and apparatus of weighted prediction for non-rectangular partitioning modes
CA3152728A1 (en) * 2019-10-03 2021-04-08 Han GAO Coding process for geometric partition mode
US11240524B2 (en) * 2019-11-27 2022-02-01 Mediatek Inc. Selective switch for parallel processing
US11212523B2 (en) * 2020-01-12 2021-12-28 Mediatek Inc. Video processing methods and apparatuses of merge number signaling in video coding systems

Also Published As

Publication number Publication date
KR20230091171A (ko) 2023-06-22
EP4222959A1 (en) 2023-08-09
US20230108504A1 (en) 2023-04-06
CN116325726A (zh) 2023-06-23
EP4222959A4 (en) 2024-04-03
WO2023059974A1 (en) 2023-04-13

Similar Documents

Publication Publication Date Title
JP2023158110A (ja) ビデオ復号方法、ビデオ復号装置、コンピュータプログラム、およびビデオ符号化方法
US20230108504A1 (en) On geometric partition mode with intra and inter prediction
US12041255B2 (en) Constraint of intra mode for geometric partition mode with inter and intra prediction
US11949863B2 (en) Geometric partition mode with intra block copy
EP3864849A1 (en) Signaling of cu based interpolation filter selection
US20230104476A1 (en) Grouping based adaptive reordering of merge candidate
KR20220100980A (ko) 비디오 코딩을 위한 방법 및 장치
US11876978B2 (en) Intra prediction mode information propagation for geometric partition mode with IBC and intra prediction
US20230079960A1 (en) On propagating intra prediction mode information of ibc block by using block vector
US20230421751A1 (en) Subblock-based motion vector predictor with mv offset derived by template matching
US20230224472A1 (en) Motion vector restriction for out-of-frame boundary conditions
JP2024507568A (ja) テンプレートマッチングを使用する動きベクトル差による代替マージモード
JP2024516060A (ja) テンプレートマッチングベースの適応動きベクトル解像度（ａｍｖｒ）
JP2024509154A (ja) テンプレートマッチングを使用したｃｕレベルの重みによる双方向予測（ｂｃｗ）のインデックスの並べ替え
AU2022432847A1 (en) Adjustment based local illumination compensation
KR20230131917A (ko) 모션 벡터 해상도의 적응적 순서를 사용한 템플릿 매칭기반 적응적 모션 벡터 해상도
KR20240068714A (ko) 인트라 템플릿 매칭 예측의 모션 정보를 이용하는 인트라 블록 복사(ibc) 후보 리스트 구성
JP2024509611A (ja) 改善されたイントラ・モード符号化のための方法、装置およびプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230821