JP2023549181A - ブロック・ベクトルを用いたibcブロックのイントラ予測モード情報の伝搬について - Google Patents
ブロック・ベクトルを用いたibcブロックのイントラ予測モード情報の伝搬について Download PDFInfo
- Publication number
- JP2023549181A JP2023549181A JP2023528026A JP2023528026A JP2023549181A JP 2023549181 A JP2023549181 A JP 2023549181A JP 2023528026 A JP2023528026 A JP 2023528026A JP 2023528026 A JP2023528026 A JP 2023528026A JP 2023549181 A JP2023549181 A JP 2023549181A
- Authority
- JP
- Japan
- Prior art keywords
- block
- intra
- video
- sub
- mode
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 239000013598 vector Substances 0.000 title claims abstract description 48
- 238000000034 method Methods 0.000 claims abstract description 111
- 238000005192 partition Methods 0.000 claims description 44
- 238000012545 processing Methods 0.000 claims description 30
- 238000004590 computer program Methods 0.000 claims 2
- 230000033001 locomotion Effects 0.000 description 68
- 239000000523 sample Substances 0.000 description 57
- 230000008569 process Effects 0.000 description 35
- 230000006835 compression Effects 0.000 description 29
- 238000007906 compression Methods 0.000 description 29
- 238000010586 diagram Methods 0.000 description 21
- 230000002123 temporal effect Effects 0.000 description 20
- 230000000644 propagated effect Effects 0.000 description 19
- 239000000872 buffer Substances 0.000 description 16
- 238000004891 communication Methods 0.000 description 12
- 230000005540 biological transmission Effects 0.000 description 10
- 238000005516 engineering process Methods 0.000 description 9
- 238000013139 quantization Methods 0.000 description 9
- 238000009795 derivation Methods 0.000 description 8
- 230000006870 function Effects 0.000 description 7
- 241000023320 Luma <angiosperm> Species 0.000 description 6
- OSWPMRLSEDHDFF-UHFFFAOYSA-N methyl salicylate Chemical compound COC(=O)C1=CC=CC=C1O OSWPMRLSEDHDFF-UHFFFAOYSA-N 0.000 description 6
- 230000002093 peripheral effect Effects 0.000 description 5
- 239000013074 reference sample Substances 0.000 description 5
- 238000000638 solvent extraction Methods 0.000 description 5
- 230000003044 adaptive effect Effects 0.000 description 4
- 230000008901 benefit Effects 0.000 description 4
- 238000010276 construction Methods 0.000 description 4
- 230000007246 mechanism Effects 0.000 description 4
- 238000009877 rendering Methods 0.000 description 4
- 230000004044 response Effects 0.000 description 4
- 230000000007 visual effect Effects 0.000 description 4
- 230000002457 bidirectional effect Effects 0.000 description 3
- 238000013507 mapping Methods 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000011664 signaling Effects 0.000 description 3
- 230000001413 cellular effect Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 239000012634 fragment Substances 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 238000002156 mixing Methods 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 1
- VBRBNWWNRIMAII-WYMLVPIESA-N 3-[(e)-5-(4-ethylphenoxy)-3-methylpent-3-enyl]-2,2-dimethyloxirane Chemical compound C1=CC(CC)=CC=C1OC\C=C(/C)CCC1C(C)(C)O1 VBRBNWWNRIMAII-WYMLVPIESA-N 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 235000014121 butter Nutrition 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 238000010348 incorporation Methods 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 230000002427 irreversible effect Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000002085 persistent effect Effects 0.000 description 1
- 230000001902 propagating effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 239000000779 smoke Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/11—Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/513—Processing of motion vectors
- H04N19/517—Processing of motion vectors by encoding
- H04N19/52—Processing of motion vectors by encoding by predictive encoding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
- H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
本開示のある側面によれば、ビデオ・デコーダにおいて実行されるビデオ・デコードの方法が提供される。この方法では、ビデオの現在ピクチャーにおける現在ブロックの符号化された情報が、符号化されたビデオ・ビットストリームから受領される。この符号化された情報は、現在ブロックがイントラブロックコピー(IBC)ブロックであることを示す。参照ブロック内の参照サブブロックに基づいて、現在ブロックのサブブロックについてイントラ予測モードが導出される。参照サブブロックは、現在ブロックのサブブロックに対応し、参照ブロックは、IBCブロックのブロック・ベクトルによって参照される。さらに、現在ブロックのサブブロックについての前記イントラ予測モードが記憶される。現在ブロックの近傍ブロックが、IBCブロックとして決定される。記憶されたイントラ予測モードを使用して、該近傍ブロックについて最確モード(MPM)リストが構築される。
Description
引用による組み込み
本願は、2022年9月1日に出願された米国特許出願第17/901,547号「ブロック・ベクトルを用いたIBCブロックのイントラ予測モード情報の伝搬について」の優先権の利益を主張するものであり、同出願は、2021年9月15日に出願された米国仮特許出願第63/261,251号「ブロック・ベクトルを用いたIBCブロックのイントラ予測モード情報の伝搬について」の優先権の利益を主張する。
本願は、2022年9月1日に出願された米国特許出願第17/901,547号「ブロック・ベクトルを用いたIBCブロックのイントラ予測モード情報の伝搬について」の優先権の利益を主張するものであり、同出願は、2021年9月15日に出願された米国仮特許出願第63/261,251号「ブロック・ベクトルを用いたIBCブロックのイントラ予測モード情報の伝搬について」の優先権の利益を主張する。
技術分野
本開示は、ビデオ符号化〔コーディング〕に一般に関連する実施形態を記載する。
本開示は、ビデオ符号化〔コーディング〕に一般に関連する実施形態を記載する。
本明細書で提供される背景説明は、本開示の文脈を概括的に提示するためのものである。本願で名前が挙がっている発明者の仕事であってその仕事がこの背景セクションに記載されている範囲におけるもの、また、他の意味で出願時に先行技術として適格でないことがありうる本記述の諸側面は、明示的にも暗黙的にも本開示に対する先行技術として認められない。
非圧縮デジタル画像および/またはビデオは、一連のピクチャーを含むことができ、各ピクチャーは、たとえば20×1080のルミナンス・サンプルおよび関連するクロミナンス・サンプルの空間的寸法を有する。一連のピクチャーは、固定または可変のピクチャー・レート(非公式にはフレーム・レートとしても知られる)、たとえば、60ピクチャー毎秒または60Hzを有することができる。非圧縮の画像および/またはビデオは、特定のビットレート要件を有する。たとえば、サンプル当たり8ビットの1080p60 4:2:0ビデオ(60Hzのフレーム・レートでの20×1080のルミナンス・サンプル解像度)は、1.5Gbit/sに近い帯域幅を必要とする。そのようなビデオの1時間は、600Gバイトを超える記憶スペースを必要とする。
画像および/またはビデオの符号化および復号の1つの目的は、圧縮による入力画像および/またはビデオ信号の冗長性の低減でありうる。圧縮は、前述の帯域幅および/または記憶スペースの要求を、場合によっては2桁以上も低減するのに役立つことがある。本稿の記述はビデオのエンコード/デコードを例解用の例として使用するが、同じ技法は、本開示の精神から逸脱することなく、同様の仕方で画像のエンコード/デコードに適用できる。可逆圧縮および不可逆圧縮の両方、ならびにそれらの組み合わせを用いることができる。可逆圧縮とは、圧縮されたもとの信号から、もとの信号の正確なコピーが再構成できる技術をいう。不可逆圧縮を使用する場合、再構成された信号は、もとの信号と同一ではないことがありうるが、もとの信号と再構成された信号との間の歪みは、再構成された信号を意図された用途のために有用にするのに十分小さい。ビデオの場合、不可逆圧縮が広く用いられている。許容される歪みの量はアプリケーションに依存し、たとえば、ある種の消費者ストリーミングアプリケーションのユーザーは、テレビ配信アプリケーションのユーザーよりも高い歪みを許容することがある。達成可能な圧縮比は、より高い許容可能/認容可能な歪みはより高い圧縮比をもたらすことができる、ということを反映できる。
ビデオ・エンコーダおよびデコーダは、たとえば動き補償、変換処理、量子化、およびエントロピー符号化を含むいくつかの広範なカテゴリーからの技術を利用することができる。
ビデオ・コーデック技術は、イントラ符号化として知られる技術を含むことができる。イントラ符号化では、サンプル値は、以前に再構成された参照ピクチャーからのサンプルまたは他のデータを参照することなく表現される。いくつかのビデオ・コーデックでは、ピクチャーは空間的にサンプルのブロックに分割される。サンプルのすべてのブロックがイントラ・モードで符号化される場合、そのピクチャーはイントラ・ピクチャーでありうる。イントラ・ピクチャーと、独立デコーダ・リフレッシュ・ピクチャーのようなその派生物は、デコーダ状態をリセットするために使用でき、よって、符号化ビデオ・ビットストリームおよびビデオセッションにおける最初のピクチャーとして、または静止画像として使用できる。イントラ・ブロックのサンプルを変換にかけることができ、変換係数は、エントロピー符号化の前に量子化されることができる。イントラ予測は、変換前領域におけるサンプル値を最小化する技術でありうる。場合によっては、変換後のDC値が小さく、AC係数が小さいほど、エントロピー符号化後のブロックを表わすために所与の量子化ステップサイズで必要とされるビット数が少なくなる。
たとえばMPEG-2世代の符号化技術において使用される伝統的なイントラ符号化は、イントラ予測を使用しない。しかしながら、いくつかのより新しいビデオ圧縮技術は、たとえば、データのブロックのエンコードおよび/またはデコード中に得られた周囲のサンプル・データおよび/またはメタデータに基づく予測を実行しようとする技術を含む。そのような技法は、以下では「イントラ予測」技法と呼ばれる。少なくともいくつかの場合には、イントラ予測は再構成中の現在ピクチャーからの参照データのみを使用し、参照ピクチャーからの参照データは使用しないことに注意されたい。
さまざまな形のイントラ予測がありうる。所与のビデオ符号化技術において、そのような技法の二つ以上が使用できる場合、使用される特定の技法は、その特定の技法を使用する特定のイントラ予測モードとして符号化されることができる。ある種の場合には、イントラ予測モードは、サブモードおよび/またはパラメータを有することができ、該サブモードおよび/またはパラメータは、個別に符号化されることができ、または使用される予測モードを定義するモード符号語に含められることができる。所与のモード、サブモードおよび/またはパラメータの組み合わせのためにどの符号語を使用するかは、イントラ予測を通して符号化効率利得に影響を与える可能性があり、符号語をビットストリームに変換するために使用されるエントロピー符号化技術も同様に影響を与える可能性がある。
イントラ予測のあるモードがH.264で導入され、H.265で洗練され、共同探査モデル(JEM)、多用途ビデオ符号化(VVC)、およびベンチマークセット(BMS)のようなより新しい符号化技術においてさらに洗練された。予測子ブロックは、すでに利用可能なサンプルの近傍サンプル値を使用して形成されることができる。近傍サンプルのサンプル値が、ある方向に従って予測子ブロックにコピーされる。使用される方向への参照は、ビットストリームにおいて符号化されることができ、またはそれ自身予測されてもよい。
図1Aを参照すると、右下に、H.265において定義されている33個の可能な予測子方向(35個のイントラ・モードのうち33個の角度モードに対応する)から知られている9個の予測子方向のサブセットが描かれている。矢印が収束する点(101)は、予測されるサンプルを表わす。矢印は、サンプルが予測される方向を表わす。たとえば、矢印(102)は、サンプル(101)が、水平から45度の角度の右上のサンプル(単数または複数)から予測されることを示す。同様に、矢印(103)は、サンプル(101)が、水平から22.5度の角度の、サンプル(101)の左下のサンプル(単数または複数)から予測されることを示す。
引き続き図1Aを参照すると、左上には、4×4サンプルの正方形ブロック(104)が描かれている(太い破線で示されている)。正方形ブロック(104)は、16個のサンプルを含み、各サンプルは「S」とY次元におけるその位置(たとえば、行インデックス)およびX次元におけるその位置(たとえば、列インデックス)でラベル付けされている。たとえば、サンプルS21は、Y次元の(上から)第2のサンプルであり、X次元の(左から)最初のサンプルである。同様に、サンプルS44は、YおよびX次元の両方においてブロック(104)内の第4のサンプルである。ブロックが4×4サンプルのサイズなので、S44は右下にある。さらに、同様の番号付けスキームに従う参照サンプルが示されている。参照サンプルは、Rと、ブロック(104)に対するそのY位置(たとえば、行インデックス)およびX位置(列インデックス)でラベル付けされる。H.264とH.265の両方において、予測サンプルは再構成中のブロックの近傍であり、そのため負の値を使用する必要はない。
ピクチャー内予測は、信号伝達される予測方向によって示される近傍サンプルから参照サンプル値をコピーすることによって機能できる。たとえば、符号化ビデオ・ビットストリームは、このブロックについて、矢印(102)と整合する予測方向を示す信号伝達を含むと想定する。すなわち、サンプルは、水平から45度の角度の右上のサンプルから予測される。その場合、サンプルS41、S32、S23、およびS14は、同じ参照サンプルR05から予測される。次いで、サンプルS44は、参照サンプルR08から予測される。
ある種の場合には、特に方向が45度で割り切れない場合には、参照サンプルを計算するために、複数の参照サンプルの値が、たとえば補間によって組み合わされることができる。
ビデオ符号化技術の発達に伴い、可能な方向の数が増加してきた。H.264(2003年)では、9つの異なる方向が表現できた。これは、H.265(2013年)では33に増加した。現在、JEM/VVC/BMSは、最大65の方向をサポートできる。最も可能性の高い方向を同定するために実験が行われ、より可能性の低い方向についてのあるペナルティを受け入れつつ、それらの可能性の高い方向を少数のビットで表現するために、エントロピー符号化におけるある種の技法が使用される。さらに、方向自身が、近傍のすでにデコードされたブロックで使用された近傍方向から予測できることがある。
図1Bは、時間とともに増加する予測方向の数を示すために、JEMによる65個のイントラ予測方向を描く概略図(110)を示している。
符号化ビデオ・ビットストリームにおける方向を表わすイントラ予測方向ビットのマッピングは、ビデオ符号化技術ごとに異なることができる。そのようなマッピングは、たとえば、単純な直接的マッピングから、符号語、最確モードに関わる複雑な適応方式、および同様の技法までありうる。しかしながら、ほとんどの場合、ビデオコンテンツにおいて、他のある種の方向よりも統計的に起こりにくいある種の方向が存在しうる。ビデオ圧縮の目標は冗長性の低減であるので、良好に機能するビデオ符号化技術においては、そうしたより可能性の低い方法は、より可能性の高い方向よりもより多くのビット数によって表わされる。
画像および/またはビデオの符号化および復号は、動き補償を伴うピクチャー間予測を用いて実行できる。動き補償は、不可逆圧縮技法であることがあり、かつ、以前に再構成されたピクチャーまたはその一部(参照ピクチャー)からのサンプル・データのブロックが、動きベクトル(以下、MV)によって示される方向に空間的にシフトされた後に、新しく再構成されるピクチャーまたはピクチャー部分の予測のために使用される技法に関することができる。場合によっては、参照ピクチャーは、現在再構成中のピクチャーと同じであることもできる。MVは、XおよびYの2次元、または3次元を有することができ、第3の次元は、使用される参照ピクチャーの指示である(これは、間接的に、時間次元でありうる)。
いくつかのビデオ圧縮技術では、サンプル・データのある領域に適用可能なMVは、他のMVから、たとえば、再構成中の領域に空間的に隣接し、デコード順でそのMVに先行するサンプル・データの別の領域に関連するMVから予測されることができる。そうすることにより、MVの符号化に必要とされるデータ量を大幅に削減することができ、それにより冗長性を除去し、圧縮を増加させることができる。MV予測が有向に機能できるのは、たとえば、カメラから導出される入力ビデオ信号(ナチュラルビデオとして知られる)を符号化する際に、単一のMVが適用可能である領域よりも大きな領域が同様の方向に移動し、よって、ある種の場合には、近傍領域のMVから導出された同様の動きベクトルを用いて予測できるという、統計的確からしさがあるからである。その結果、所与の領域について見出されるMVが、周囲のMVから予測されるMVと同様または同一であることになり、そして、それは、エントロピー符号化の後、MVを直接符号化する場合に使用されるであろうものよりも少数のビットで表現できる。いくつかの場合には、MV予測は、もとの信号(すなわち、サンプルストリーム)から導出された信号(すなわち、MV)の可逆圧縮の例でありうる。他の場合には、MV予測自身が、たとえば、いくつかの周囲のMVから予測子を計算する際の丸め誤差のために、不可逆であることがある。
H.265/HEVC(ITU-T Rec. H.265、「高効率ビデオ符号化」(High Efficiency Video Coding)、December 2016)には、さまざまなMV予測機構が記述されている。H.265が提供する多くのMV予測機構のうち、以後「空間マージ(spatial merge)」と呼ばれる技法が図2を参照して記載される。
図2を参照すると、現在ブロック(201)は、空間的にシフトされた同じサイズの前のブロックから予測可能であることが動き探索プロセスの間にエンコーダによって見出されたサンプルを含む。そのMVを直接符号化する代わりに、MVは、一つまたは複数の参照ピクチャーに関連付けられたメタデータから、たとえば(デコード順で)最新の参照ピクチャーから、A0、A1、およびB0、B1、B2(それぞれ202ないし206)と記される5つの周囲のサンプルのいずれかに関連付けられたMVを使用して、導出できる。H.265では、MV予測は、近傍ブロックが使用しているのと同じ参照ピクチャーからの予測子を使用することができる。
本開示の諸側面は、ビデオ・エンコード/デコードのための方法および装置を提供する。いくつかの例では、ビデオ・デコードのための装置は、処理回路を含む。
本開示のある側面によれば、ビデオ・デコーダにおいて実行されるビデオ・デコードの方法が提供される。この方法では、ビデオの現在ピクチャーにおける現在ブロックの符号化された情報が、符号化されたビデオ・ビットストリームから受領されることができる。この符号化された情報は、現在ブロックがイントラブロックコピー(IBC)ブロックであることを示すことができる。参照ブロック内の参照サブブロックに基づいて、現在ブロックのサブブロックについてイントラ予測モードが導出されることができる。参照サブブロックは、現在ブロックのサブブロックに対応することができ、参照ブロックは、IBCブロックのブロック・ベクトルによって参照されることができる。さらに、現在ブロックのサブブロックについての前記イントラ予測モードが記憶されることができる。現在ブロックのある近傍ブロックが、IBCブロックとして決定されることができる。記憶されたイントラ予測モードを使用して、現在ブロックの近傍ブロックについて最確モード(most probable mode、MPM)リストが構築されることができる。
サブブロックについてのイントラ予測モードは、参照ブロックの参照サブブロックの中心位置に位置するピクセルのイントラ・モードとして導出されることができ、ここで、中心位置は参照サブブロックの第2の行および第2の列にあることができる。
サブブロックについてのイントラ予測モードは、参照ブロックの参照サブブロックの中心位置に位置するピクセルについてのイントラ・モードとして導出されることができ、ここで、中心位置は参照サブブロックの第2の行および第3の列にあることができる。
サブブロックについてのイントラ予測モードは、参照ブロックの参照サブブロックの中心位置に位置するピクセルについてのイントラ・モードとして導出されることができ、ここで、中心位置は参照サブブロックの第3の行および第2の列にあることができる。
サブブロックについてのイントラ予測モードは、参照ブロックの参照サブブロックの中心位置に位置するピクセルについてのイントラ・モードとして導出されることができ、ここで、中心位置は参照サブブロックの第3の行および第3の列にあることができる。
サブブロックについてのイントラ予測モードは、参照ブロックの参照サブブロックの右上位置、左上位置、左下位置、または右下位置のうちの1つに位置するピクセルのイントラ・モードとして導出されることができる。
いくつかの実施形態では、現在ブロックは、幾何学的パーティション・モード(geometric partition mode、GPM)に基づいて、第1のパーティションと第2のパーティションに分割されることができる。第1のパーティションはIBCによって予測されることができ、第2のパーティションはイントラ予測によって予測されることができる。前記サブブロックは、IBCによって予測される第1のパーティション内に位置することができる。
いくつかの実施形態において、現在ブロックの前記サブブロックは、4×4ピクセル単位でありうる。
いくつかの実施形態では、サブブロックについてのイントラ予測モードは、現在ブロックの近傍ブロックについてのMPMリストにおける候補予測モードとして決定されることができ、ここで近傍ブロックはIBCによって予測されることができる。
本開示の別の側面によれば、装置が提供される。装置は、処理回路を含む。処理回路は、ビデオ・エンコード/デコードのための前記方法のうちのいずれかを実行するように構成されることができる。
本開示の諸側面はまた、ビデオ・デコードのためにコンピュータによって実行されたときに、該コンピュータにビデオ・エンコード/デコードのための前記方法のいずれかを実行させる命令を記憶している非一時的なコンピュータ読み取り可能な媒体を提供する。
開示された主題のさらなる特徴、性質、およびさまざまな利点は、以下の詳細な説明および添付の図面からより明白になるであろう。
図3は、通信システム(300)の例示的なブロック図を示す。通信システム(300)は、たとえばネットワーク(350)を介して互いに通信することができる複数の端末装置を含む。たとえば、通信システム(300)は、ネットワーク(350)を介して相互接続された第1の対の端末装置(310)および(320)を含む。図3の例では、第1の対の端末装置(310)および(320)は、データの一方向伝送を実行する。たとえば、端末装置(310)は、ネットワーク(350)を介した他方の端末装置(320)への伝送のために、ビデオ・データ(たとえば、端末装置(310)によって捕捉されたビデオ・ピクチャーのストリーム)を符号化してもよい。エンコードされたビデオ・データは、一つまたは複数の符号化ビデオ・ビットストリームの形で伝送されることができる。端末装置(320)は、ネットワーク(350)から、符号化ビデオ・データを受信し、符号化ビデオ・データをデコードしてビデオ・ピクチャーを復元し、復元されたビデオ・データに従ってビデオ・ピクチャーを表示してもよい。一方向データ伝送は、メディア・サービス・アプリケーション等において一般的でありうる。
別の例では、通信システム(300)は、たとえばビデオ会議中に符号化されたビデオ・データの双方向伝送を実行する第2の対の端末装置(330)および(340)を含む。データの双方向伝送のために、一例では、端末装置(330)および(340)の各端末装置は、ネットワーク(350)を介した、端末装置(330)および(340)のうちの他方の端末装置への伝送のために、ビデオ・データ(たとえば、端末装置によって捕捉されたビデオ・ピクチャーのストリーム)を符号化してもよい。端末装置(330)および(340)の各端末装置は、端末装置(330)および(340)のうちの他方の端末装置によって送信された符号化されたビデオ・データを受信してもよく、符号化されたビデオ・データをデコードして、ビデオ・ピクチャーを復元し、復元されたビデオ・データに従って、アクセス可能な表示装置においてビデオ・ピクチャーを表示してもよい。
図3の例では、端末装置(310)、(320)、(330)および(340)はそれぞれ、サーバー、パーソナルコンピュータおよびスマートフォンとして示されてもよいが、本開示の原理は、それに限定されなくてもよい。本開示の実施形態は、ラップトップ・コンピュータ、タブレット・コンピュータ、メディア・プレーヤー、および/または専用のビデオ会議設備での応用を見出す。ネットワーク(350)は、たとえば有線(ワイヤード)および/または無線〔ワイヤレス〕通信ネットワークを含む、端末装置(310)、(320)、(330)および(340)の間で符号化されたビデオ・データを伝達する任意の数のネットワークを表わす。通信ネットワーク(350)は、回線交換および/またはパケット交換チャネルにおいてデータを交換してもよい。代表的なネットワークは、遠隔通信ネットワーク、ローカルエリアネットワーク、ワイドエリアネットワークおよび/またはインターネットを含む。今の議論の目的のために、ネットワーク(350)のアーキテクチャーおよびトポロジーは、以下に説明しない限り、本開示の動作には重要ではないことがある。
図4は、開示される主題のためのアプリケーションの例として、ストリーミング環境におけるビデオ・エンコーダおよびビデオ・デコーダを示す。開示される主題は、たとえば、ビデオ会議、デジタルTV、ストリーミングサービス、CD、DVD、メモリースティックなどを含むデジタル媒体上の圧縮ビデオの記憶などを含む、他のビデオ対応アプリケーションにも等しく適用可能でありうる。
ストリーミング・システムは、ビデオ源(401)、たとえばデジタル・カメラを含むことができ、たとえば非圧縮のビデオ・ピクチャーのストリーム(402)を生成する捕捉サブシステム(413)を含んでいてもよい。一例では、ビデオ・ピクチャーのストリーム(402)は、デジタル・カメラによって取り込まれたサンプルを含む。エンコードされたビデオ・データ(404)(または符号化されたビデオ・ビットストリーム)と比較した場合の高いデータ・ボリュームを強調するために太線として描かれているビデオ・ピクチャーのストリーム(402)は、ビデオ源(401)に結合されたビデオ・エンコーダ(403)を含む電子装置(420)によって処理されることができる。ビデオ・エンコーダ(403)は、以下により詳細に説明されるように、開示される主題の諸側面を可能にし、または実現するためのハードウェア、ソフトウェア、またはそれらの組み合わせを含むことができる。ビデオ・ピクチャーのストリーム(402)と比較した場合の、より低いデータ・ボリュームを強調するために細い線として描かれている、エンコードされたビデオ・データ(404)(またはエンコードされたビデオ・ビットストリーム)は、将来の使用のためにストリーミング・サーバー(405)に記憶されることができる。図4のクライアント・サブシステム(406)および(408)のような一つまたは複数のストリーミング・クライアント・サブシステムは、ストリーミング・サーバー(405)にアクセスして、エンコードされたビデオ・データ(404)のコピー(407)および(409)を取り出すことができる。クライアント・サブシステム(406)は、たとえば電子装置(430)内にビデオ・デコーダ(410)を含むことができる。ビデオ・デコーダ(410)は、エンコードされたビデオ・データの入来コピー(407)をデコードし、ディスプレイ(412)(たとえば表示画面)または他のレンダリング装置(図示せず)上にレンダリングできるビデオ・ピクチャーの出ていくストリーム(411)を生成する。いくつかのストリーミング・システムでは、エンコードされたビデオ・データ(404)、(407)、および(409)(たとえば、ビデオ・ビットストリーム)は、ある種のビデオ符号化/圧縮標準に従ってエンコードされることができる。これらの標準の例は、ITU-T勧告H.265を含む。一例では、開発中のビデオ符号化規格は、非公式にVVCとして知られている。開示される主題は、多用途ビデオ符号化(VVC)の文脈で使用されてもよい。
電子装置(420)および(430)は、他の構成要素(図示せず)を含むことができることを注意しておく。たとえば、電子装置(420)は、ビデオ・デコーダ(図示せず)を含むことができ、電子装置(430)は、ビデオ・エンコーダ(図示せず)も含むことができる。
図5は、ビデオ・デコーダ(510)の例示的なブロック図を示す。ビデオ・デコーダ(510)は、電子装置(530)に含まれることができる。電子装置(530)は、受領器(531)(たとえば、受領回路)を含むことができる。ビデオ・デコーダ(510)は、図4の例におけるビデオ・デコーダ(310)の代わりに使用できる。
受領器(531)は、ビデオ・デコーダ(510)によってデコードされるべき一つまたは複数の符号化ビデオ・シーケンスを受領してもよい。ある実施形態では、一度に1つの符号化ビデオ・シーケンスが受領され、各符号化ビデオ・シーケンスのデコードは、他の符号化ビデオ・シーケンスのデコードから独立である。符号化ビデオ・シーケンスは、チャネル(501)から受信されてもよく、該チャネルは、エンコードされたビデオ・データを記憶する記憶装置へのハードウェア/ソフトウェア・リンクであってもよい。受領器(531)は、エンコードされたビデオ・データを、他のデータ、たとえば符号化されたオーディオ・データおよび/または補助データ・ストリームと一緒に受領してもよく、これらのデータは、それぞれの使用エンティティ(図示せず)を転送されてもよい。受領器(531)は、符号化ビデオ・シーケンスを他のデータから分離することができる。ネットワーク・ジッタ対策として、バッファメモリ(515)が、受領器(531)とエントロピー・デコーダ/パーサー(520)(以下「パーサー」)との間に結合されてもよい。ある種のアプリケーションでは、バッファメモリ(515)はビデオ・デコーダ(510)の一部である。他のアプリケーションでは、ビデオ・デコーダ(510)の外部にあることができる(図示せず)。さらに他のアプリケーションでは、たとえばネットワーク・ジッタに対抗するために、ビデオ・デコーダ(510)の外部にバッファメモリ(図示せず)があってもよく、さらに、たとえば再生タイミングを扱うために、ビデオ・デコーダ(510)の内部に別のバッファメモリ(515)があってもよい。受領器(531)が、十分な帯域幅および制御可能性の記憶/転送装置から、またはアイソクロナス・ネットワークからデータを受領している場合は、バッファメモリ(515)は、必要とされなくてもよく、または小さくてもよい。インターネットのようなベストエフォート型のパケット・ネットワークでの使用のためには、バッファメモリ(515)が要求されることがあり、比較的大きいことがあり、有利には適応サイズであることができ、少なくとも部分的に、ビデオ・デコーダ(510)の外部でオペレーティング・システムまたは同様の要素(図示せず)において実装されてもよい。
ビデオ・デコーダ(510)は、符号化ビデオ・シーケンスからシンボル(521)を再構成するためのパーサー(520)を含んでいてもよい。これらのシンボルのカテゴリーは、ビデオ・デコーダ(510)の動作を管理するために使用される情報と、潜在的には、レンダー装置(512)(たとえば表示画面)のようなレンダリング装置を制御するための情報とを含む。レンダー装置は、図5に示されたように、電子装置(530)の一体的な部分ではなく、電子装置(530)に結合されることができる。レンダリング装置(単数または複数)のための制御情報は、補足向上情報(Supplementary Enhancement Information)(SEI)メッセージまたはビデオユーザビリティ情報(Video Usability Information、VUI)パラメータセット・フラグメント(図示せず)の形であってもよい。パーサー(520)は、受領された符号化ビデオ・シーケンスをパースする/エントロピー復号することができる。符号化ビデオ・シーケンスの符号化は、ビデオ符号化技術または標準に従うことができ、可変長符号化、ハフマン符号化、コンテキスト感受性ありまたはなしの算術符号化などを含む、さまざまな原理に従うことができる。パーサー(520)は、符号化ビデオ・シーケンスから、ビデオ・デコーダ内のピクセルのサブグループのうちの少なくとも1つについてのサブグループ・パラメータのセットを、グループに対応する少なくとも1つのパラメータに基づいて、抽出することができる。サブグループは、ピクチャーグループ(Group of Pictures、GOP)、ピクチャー、タイル、スライス、マクロブロック、符号化単位(Coding Unit、CU)、ブロック、変換単位(Transform Unit、TU)、予測単位(Prediction Unit、PU)などを含むことができる。パーサー(520)はまた、符号化ビデオ・シーケンスから、変換係数、量子化器パラメータ値、動きベクトル等の情報を抽出することができる。
パーサー(520)は、バッファメモリ(515)から受領されたビデオ・シーケンスに対してエントロピー復号/パース動作を実行し、それによりシンボル(521)を生成することができる。
シンボル(521)の再構成は、符号化されたビデオ・ピクチャーまたはその諸部分のタイプ(たとえば、インターおよびイントラ・ピクチャー、インターおよびイントラ・ブロック)および他の要因に依存して、複数の異なるユニットに関わることができる。どのユニットがどのように関わるかは、符号化ビデオ・シーケンスからパーサー(520)によってパースされるサブグループ制御情報によって制御されることができる。パーサー(520)と下記の複数のユニットとの間のそのようなサブグループ制御情報の流れは、明確のため、描かれていない。
すでに述べた機能ブロックのほかに、ビデオ・デコーダ(510)は、以下に説明するように、概念的に、いくつかの機能ユニットに分割できる。商業的制約の下で機能する実際的な実装では、これらのユニットの多くは互いに密接に相互作用し、少なくとも部分的に互いに統合されることができる。しかしながら、開示される主題を記述する目的のためには、下記の機能単位への概念的な細分が適切である。
第1のユニットは、スケーラー/逆変換ユニット(551)である。スケーラー/逆変換ユニット(551)は、パーサー(520)から、量子化された変換係数および制御情報をシンボル(単数または複数)(521)として受領する。制御情報は、どの変換を使用するか、ブロック・サイズ、量子化因子、量子化スケーリング行列などを含む。スケーラー/逆変換ユニット(551)は、集計器(555)に入力できるサンプル値を含むブロックを出力することができる。
場合によっては、スケーラー/逆変換ユニット(551)の出力サンプルは、イントラ符号化されたブロックに関することができる。該イントラ符号化されたブロックは、以前に再構成されたピクチャーからの予測情報を使用していないが、現在ピクチャーの、以前に再構成された部分からの予測情報を使用することができるブロックである。そのような予測情報は、イントラ・ピクチャー予測ユニット(552)によって提供されることができる。場合によっては、イントラ・ピクチャー予測ユニット(552)は、現在ピクチャー・バッファ(558)から取ってきた、周囲のすでに再構成された情報を使用して、再構成中のブロックと同じサイズおよび形状のブロックを生成する。現在ピクチャー・バッファ(558)は、たとえば、部分的に再構成された現在ピクチャーおよび/または完全に再構成された現在ピクチャーをバッファリングする。集計器(555)は、場合によっては、サンプル毎に、イントラ予測ユニット(552)が生成した予測情報を、スケーラー/逆変換ユニット(551)によって提供される出力サンプル情報に加算する。
他の場合には、スケーラー/逆変換ユニット(551)の出力サンプルは、インター符号化され、潜在的には動き補償されたブロックに関することができる。そのような場合、動き補償予測ユニット(553)は、予測のために使用されるサンプルを取ってくるために参照ピクチャー・メモリ(557)にアクセスすることができる。取ってきたサンプルを、ブロックに関するシンボル(521)に従って動き補償した後、これらのサンプルは、集計器(555)によってスケーラー/逆変換ユニットの出力(この場合、残差サンプルまたは残差信号と呼ばれる)に加算されて、それにより出力サンプル情報を生成することができる。動き補償ユニット(553)が予測サンプルを取ってくる参照ピクチャー・メモリ(557)内のアドレスは、シンボル(521)の形で動き補償ユニット(553)に利用可能な動きベクトルによって制御できる。該シンボルは、たとえばX、Y、および参照ピクチャー成分を有することができる。動き補償は、サンプル以下の正確な動きベクトルが使用されるときの参照ピクチャー・メモリ(557)から取ってこられるサンプル値の補間、動きベクトル予測機構などを含むことができる。
集計器(555)の出力サンプルは、ループ・フィルタ・ユニット(556)内でさまざまなループ・フィルタリング技法にかけられることができる。ビデオ圧縮技術は、ループ内フィルタ技術を含むことができる。ループ内フィルタ技術は、符号化ビデオ・シーケンス(符号化されたビデオ・ビットストリームとも呼ばれる)に含まれるパラメータによって制御され、パーサー(520)からのシンボル(521)としてループ・フィルタ・ユニット(556)に利用可能にされる。ビデオ圧縮は、符号化されたピクチャーまたは符号化されたビデオ・シーケンスの(デコード順で)前の部分のデコード中に得られたメタ情報に応答するとともに、以前に再構成されループ・フィルタリングされたサンプル値に応答することもできる。
ループ・フィルタ・ユニット(556)の出力はサンプル・ストリームであることができ、これは、レンダー装置(512)に出力されることができ、また将来のインターピクチャー予測において使用するために参照ピクチャー・メモリ(557)に記憶されることができる。
符号化された画像は、いったん完全に再構成されると、将来の予測のための参照ピクチャーとして使用できる。たとえば、現在ピクチャーに対応する符号化されたピクチャーが完全に再構成され、該符号化されたピクチャーが(たとえば、パーサー(520)によって)参照ピクチャーとして同定されると、現在ピクチャー・バッファ(558)は参照ピクチャーメモリ(557)の一部となることができ、後続の符号化されたピクチャーの再構成を開始する前に、新鮮な現在ピクチャー・バッファが再割当てされることができる。
ビデオ・デコーダ(510)は、所定のビデオ圧縮技術またはITU-T勧告H.265のような標準に従ってデコード動作を実行することができる。符号化ビデオ・シーケンスはビデオ圧縮技術または標準のシンタックスおよびビデオ圧縮技術または標準において文書化されているプロファイルに従うという意味で、符号化されたビデオ・シーケンスは、使用されているビデオ圧縮技術または標準によって規定されたシンタックスに準拠することができる。具体的には、プロファイルはビデオ圧縮技術または標準において利用可能なすべてのツールから、そのプロファイルのもとでの使用のためにそれだけが利用可能なツールとして、ある種のツールを選択することができる。準拠のためにはまた、符号化ビデオ・シーケンスの複雑さが、ビデオ圧縮技術または標準のレベルによって定義される範囲内にあることも必要であることがある。いくつかの場合には、レベルは、最大ピクチャー・サイズ、最大フレーム・レート、最大再構成サンプル・レート(たとえば、毎秒メガサンプルの単位で測られる)、最大参照ピクチャー・サイズなどを制約する。レベルによって設定された限界は、場合によっては、符号化ビデオ・シーケンスにおいて信号伝達される、HRDバッファ管理のための仮設参照デコーダ(Hypothetical Reference Decoder、HRD)仕様およびメタデータを通じてさらに制約されることができる。
ある実施形態において、受領器(531)は、エンコードされたビデオとともに追加の(冗長な)データを受領してもよい。追加データは、符号化されたビデオ・シーケンス(単数または複数)の一部として含まれていてもよい。追加データは、データを適正にデコードするため、および/またはもとのビデオ・データをより正確に再構成するために、ビデオ・デコーダ(510)によって使用されてもよい。追加データは、たとえば、時間的、空間的、または信号対雑音比(SNR)の向上層、冗長スライス、冗長ピクチャー、前方誤り訂正符号などの形でありうる。
図6は、ビデオ・エンコーダ(603)の例示的なブロック図を示している。ビデオ・エンコーダ(603)は、電子装置(620)に含まれる。電子装置(620)は、送信器(640)(たとえば、送信回路)を含む。ビデオ・エンコーダ(603)は、図4の例におけるビデオ・エンコーダ(403)の代わりに使用できる。
ビデオ・エンコーダ(603)は、ビデオ・エンコーダ(603)によって符号化されるべきビデオ画像を捕捉することができるビデオ源(601)(これは図6の例では電子装置(620)の一部ではない)からビデオ・サンプルを受領することができる。別の例では、ビデオ源(601)は、電子装置(620)の一部である。
ビデオ源(601)は、任意の好適なビット深さ(たとえば、8ビット、10ビット、12ビット、…)、任意の色空間(たとえば、BT.601 YCrCB、RGB、…)および任意の好適なサンプリング構造(たとえば、YCrCb 4:2:0、YCrCb 4:4:4)でありうるデジタル・ビデオ・サンプル・ストリームの形で、ビデオ・エンコーダ(603)によって符号化されるべき源ビデオ・シーケンスを提供することができる。メディア・サービス・システムにおいては、ビデオ源(601)は、事前に準備されたビデオを記憶している記憶装置であってもよい。ビデオ会議システムにおいては、ビデオ源(601)は、ローカルでの画像情報をビデオ・シーケンスとして捕捉するカメラであってもよい。ビデオ・データは、シーケンスで見たときに動きを付与する複数の個々のピクチャーとして提供されてもよい。ピクチャー自体は、ピクセルの空間的アレイとして編成されてもよく、各ピクセルは、使用中のサンプリング構造、色空間などに依存して、一つまたは複数のサンプルを含むことができる。当業者は、ピクセルとサンプルとの間の関係を容易に理解することができる。下記の説明は、サンプルに焦点を当てる。
ある実施形態によれば、ビデオ・エンコーダ(603)は、源ビデオ・シーケンスのピクチャーを、リアルタイムで、または要求される任意の他の時間的制約の下で、符号化および圧縮して、符号化ビデオ・シーケンス(643)にすることができる。適切な符号化速度を施行することは、コントローラ(650)の一つの機能である。いくつかの実施形態では、コントローラ(650)は、以下に記載されるような他の機能ユニットを制御し、該他の機能ユニットに機能的に結合される。かかる結合は、明確のために描かれていない。コントローラ(650)によって設定されるパラメータは、レート制御に関連するパラメータ(ピクチャー・スキップ、量子化器、レート‐歪み最適化技法のラムダ値、…)、ピクチャー・サイズ、ピクチャーグループ(GOP)レイアウト、最大動きベクトル探索範囲などを含むことができる。コントローラ(650)は、ある種のシステム設計のために最適化されたビデオ・エンコーダ(603)に関する他の好適な機能を有するように構成できる。
いくつかの実施形態では、ビデオ・エンコーダ(603)は、符号化ループにおいて動作するように構成される。思い切って単純化した説明として、一例では、符号化ループは、源符号化器(630)(たとえば、符号化されるべき入力ピクチャーと参照ピクチャー(単数または複数)に基づいてシンボル・ストリームのようなシンボルを生成することを受け持つ)と、ビデオ・エンコーダ(603)に埋め込まれた(ローカル)デコーダ(633)とを含むことができる。デコーダ(633)は、(リモートの)デコーダも生成するであろうのと同様の仕方でサンプル・データを生成するよう前記シンボルを再構成する。再構成されたサンプル・ストリーム(サンプル・データ)は、参照ピクチャー・メモリ(634)に入力される。シンボル・ストリームのデコードは、デコーダ位置(ローカルかリモートか)によらずビット正確な結果をもたらすので、参照ピクチャー・メモリ(634)の内容もローカル・エンコーダとリモート・エンコーダの間でビット正確である。言い換えると、エンコーダの予測部は、デコーダがデコード中に予測を使用するときに「見る」のとまったく同じサンプル値を参照ピクチャー・サンプルとして「見る」。参照ピクチャー同期性のこの基本原理(および、たとえば、チャネルエラーのために同期性が維持できない場合の結果として生じるドリフト)は、いくつかの関連技術においても使用される。
「ローカル」デコーダ(633)の動作は、図5との関連ですでに上記で詳細に述べた「リモート」デコーダ、たとえばビデオ・デコーダ(410)の動作と同じであってよい。しかしながら、暫時図5も参照すると、シンボルが利用可能であり、エントロピー符号化器(645)およびパーサー(420)による、シンボルの符号化ビデオ・シーケンスへのエンコード/デコードが可逆でありうるので、バッファメモリ(415)およびパーサー(420)を含むビデオ・デコーダ(410)のエントロピー復号部は、ローカル・デコーダ(633)においては完全には実装されなくてもよい。
ある実施形態では、デコーダ内に存在するパース/エントロピー復号を除くどのデコーダ技術も、対応するエンコーダ内で実質的に同一の機能的形態で存在する。よって、開示される主題はデコーダ動作に焦点を当てる。エンコーダ技術の記述は、包括的に記述されるデコーダ技術の逆であるため、短縮することができる。ある種の領域において、より詳細な説明が以下に提供される。
動作中、いくつかの例では、源符号化器(630)は、「参照ピクチャー」として指定された、ビデオ・シーケンスからの一つまたは複数の以前に符号化されたピクチャーを参照して、入力ピクチャーを予測的に符号化する、動き補償された予測符号化を実行することができる。このようにして、符号化エンジン(632)は、入力ピクチャーのピクセル・ブロックと、入力ピクチャーに対する予測参照として選択されうる参照ピクチャー(単数または複数)のピクセル・ブロックとの間の差分を符号化する。
ローカル・ビデオ・デコーダ(633)は、源符号化器(630)によって生成されたシンボルに基づいて、参照ピクチャーとして指定されうるピクチャーの符号化されたビデオ・データをデコードすることができる。符号化エンジン(632)の動作は、有利には、損失のあるプロセスでありうる。符号化されたビデオ・データがビデオ・デコーダ(図6には示さず)でデコードされうるとき、再構成されたビデオ・シーケンスは、典型的には、いくつかのエラーを伴う源ビデオ・シーケンスの複製でありうる。ローカル・ビデオ・デコーダ(633)は、ビデオ・デコーダによって参照ピクチャーに対して実行されうるデコード・プロセスを複製し、再構成された参照ピクチャーを参照ピクチャー・メモリ(634)に格納させることができる。このようにして、ビデオ・エンコーダ(603)は、遠端のビデオ・デコーダによって得られるであろう再構成された参照ピクチャーとしての共通の内容を(伝送エラーがなければ)有する再構成された参照ピクチャーのコピーを、ローカルに記憶することができる。
予測器(635)は、符号化エンジン(632)について予測探索を実行することができる。すなわち、符号化されるべき新しいピクチャーについて、予測器(635)は、新しいピクチャーのための適切な予測参照のはたらきをしうるサンプル・データ(候補参照ピクセル・ブロックとして)またはある種のメタデータ、たとえば参照ピクチャー動きベクトル、ブロック形状などを求めて、参照ピクチャー・メモリ(634)を探索することができる。予測器(635)は、適切な予測参照を見出すために、サンプル・ブロック/ピクセル・ブロック毎に(on a sample block-by-pixel block basis)動作しうる。場合によっては、予測器(635)によって得られた検索結果によって決定されるところにより、入力ピクチャーは、参照ピクチャー・メモリ(634)に記憶された複数の参照ピクチャーから引き出された予測参照を有することができる。
コントローラ(650)は、たとえば、ビデオ・データをエンコードするために使用されるパラメータおよびサブグループ・パラメータの設定を含め、源符号化器(630)の符号化動作を管理してもよい。
上記の機能ユニットすべての出力は、エントロピー符号化器(645)におけるエントロピー符号化を受けることができる。エントロピー符号化器(645)は、ハフマン符号化、可変長符号化、算術符号化などといった技術に従ってシンボルに無損失圧縮を適用することによって、さまざまな機能ユニットによって生成されたシンボルを符号化ビデオ・シーケンスに変換する。
送信器(640)は、エントロピー符号化器(645)によって生成される符号化ビデオ・シーケンスをバッファに入れて、通信チャネル(660)を介した送信のために準備することができる。通信チャネル(660)は、エンコードされたビデオ・データを記憶する記憶装置へのハードウェア/ソフトウェア・リンクであってもよい。送信器(640)は、ビデオ・エンコーダ(603)からの符号化されたビデオ・データを、送信されるべき他のデータ、たとえば符号化されたオーディオ・データおよび/または補助データ・ストリーム(源は図示せず)とマージすることができる。
コントローラ(650)は、ビデオ・エンコーダ(603)の動作を管理してもよい。符号化の間、コントローラ(650)は、それぞれの符号化されたピクチャーに、ある符号化ピクチャー・タイプを割り当てることができる。符号化ピクチャー・タイプは、それぞれのピクチャーに適用されうる符号化技術に影響しうる。たとえば、ピクチャーはしばしば、以下のピクチャー・タイプのうちの1つとして割り当てられることがある。
イントラピクチャー(Iピクチャー)は、予測の源としてシーケンス内の他のピクチャーを使用せずに、符号化され、デコードされうるものでありうる。いくつかのビデオ・コーデックは、たとえば、独立デコーダ・リフレッシュ(Independent Decoder Refresh、「IDR」)・ピクチャーを含む、異なるタイプのイントラ・ピクチャーを許容する。当業者は、Iピクチャーのこれらの変形、ならびにそれらのそれぞれの用途および特徴を認識する。
予測ピクチャー(Pピクチャー)は、各ブロックのサンプル値を予測するために、最大で1つの動きベクトルおよび参照インデックスを用いるイントラ予測またはインター予測を用いて符号化およびデコードされうるものでありうる。
双方向予測ピクチャー(Bピクチャー)は、各ブロックのサンプル値を予測するために、最大で2つの動きベクトルおよび参照インデックスを用いるイントラ予測またはインター予測を用いて符号化およびデコードされうるものでありうる。同様に、マルチ予測ピクチャーは、単一のブロックの再構成のために、3つ以上の参照ピクチャーおよび関連するメタデータを使用することができる。
源ピクチャーは、普通、空間的に複数のサンプル・ブロック(たとえば、それぞれ4×4、8×8、4×8、または16×16サンプルのブロック)に分割され、ブロック毎に符号化されうる。ブロックは、ブロックのそれぞれのピクチャーに適用される符号化割り当てによって決定されるところにより、他の(すでに符号化された)ブロックを参照して予測的に符号化されうる。たとえば、Iピクチャーのブロックは、非予測的に符号化されてもよく、または、同じピクチャーのすでに符号化されたブロックを参照して予測的に符号化されてもよい(空間的予測またはイントラ予測)。Pピクチャーのピクセル・ブロックは、以前に符号化された一つの参照ピクチャーを参照して、空間的予測を介してまたは時間的予測を介して予測的に符号化されてもよい。Bピクチャーのブロックは、1つまたは2つの以前に符号化された参照ピクチャーを参照して、空間的予測を介して、または時間的予測を介して予測的に符号化されてもよい。
ビデオ・エンコーダ(603)は、ITU-T勧告H.265などの所定のビデオ符号化技術または標準に従って符号化動作を実行することができる。その動作において、ビデオ・エンコーダ(603)は、入力ビデオ・シーケンスにおける時間的および空間的冗長性を活用する予測符号化動作を含む、さまざまな圧縮動作を実行することができる。よって、符号化されたビデオ・データは、使用されるビデオ符号化技術または標準によって指定されるシンタックスに準拠しうる。
ある実施形態において、送信器(640)は、エンコードされたビデオと一緒に追加データを送信してもよい。源符号化器(630)は、符号化ビデオ・シーケンスの一部としてそのようなデータを含めてもよい。追加データは、時間的/空間的/SNR向上層、冗長ピクチャーおよびスライスのような他の形の冗長データ、SEIメッセージ、VUIパラメータ・セット・フラグメントなどを含んでいてもよい。
ビデオは、時間的シーケンスにおいて複数の源ピクチャー(ビデオ・ピクチャー)として捕捉されてもよい。ピクチャー内予測(しばしば、イントラ予測と略される)は、所与のピクチャーにおける空間的相関を利用し、ピクチャー間予測は、ピクチャー間の(時間的または他の)相関を利用する。一例では、現在ピクチャーと呼ばれるエンコード/デコード対象の特定のピクチャーは、ブロックに分割される。現在ピクチャー内のブロックが、ビデオにおける、前に符号化され、かつ、まだバッファに入れられている参照ピクチャー内の参照ブロックに類似する場合、現在ピクチャー内のそのブロックは、動きベクトルと呼ばれるベクトルによって符号化できる。動きベクトルは、参照ピクチャー内の参照ブロックをポイントし、複数の参照ピクチャーが使用される場合には、参照ピクチャーを同定する第3の次元を有することができる。
いくつかの実施形態において、ピクチャー間予測において双予測技術が使用できる。双予測技術によれば、いずれもビデオにおいて現在ピクチャーよりデコード順で先行する(ただし、表示順では、それぞれ過去および将来であってもよい)第1の参照ピクチャーおよび第2の参照ピクチャーのような2つの参照ピクチャーが使用される。現在ピクチャー内のブロックは、第1の参照ピクチャー内の第1の参照ブロックをポイントする第1 動きベクトルと、第2の参照ピクチャー内の第2の参照ブロックをポイントする第2 動きベクトルとによって符号化できる。ブロックは、第1の参照ブロックと第2の参照ブロックの組み合わせによって予測できる。
さらに、符号化効率を改善するために、ピクチャー間予測においてマージ・モード技法が使用できる。
本開示のいくつかの実施形態によれば、ピクチャー間予測およびピクチャー内予測などの予測は、ブロックの単位で実行される。たとえば、HEVC規格によれば、ビデオ・ピクチャーのシーケンスにおけるピクチャーは、圧縮のために符号化ツリー単位(CTU)に分割され、ピクチャーにおけるそれらのCTUは、64×64ピクセル、32×32ピクセル、または16×16ピクセルなどの同じサイズを有する。一般に、CTUは、1つのルーマCTBおよび2つのクロマCTBである3つの符号化ツリーブロック(CTB)を含む。各CTUは、再帰的に、一つまたは複数の符号化単位(CU)に四分木分割されていくことができる。たとえば、64×64ピクセルのCTUは、64×64ピクセルの1つのCU、または32×32ピクセルの4つのCU、または16×16ピクセルの16個のCUに分割されることができる。一例では、各CUは、インター予測タイプまたはイントラ予測タイプのような、そのCUについての予測タイプを決定するために解析される。CUは時間的および/または空間的予測可能性に依存して、一つまたは複数の予測単位(PU)に分割される。一般に、各PUはルーマ予測ブロック(PB)および2つのクロマPBを含む。ある実施形態では、符号化(エンコード/デコード)における予測動作は、予測ブロックの単位で実行される。予測ブロックの例としてルーマ予測ブロックを用いると、予測ブロックは、8×8ピクセル、16×16ピクセル、8×16ピクセル、16×8ピクセルなど、ピクセルについての値(たとえば、ルーマ値)の行列を含む。
図7は、ビデオ・エンコーダ(703)の例示的な図を示す。ビデオ・エンコーダ(703)は、ビデオ・ピクチャーのシーケンス内の現在ビデオ・ピクチャー内のサンプル値の処理ブロック(たとえば、予測ブロック)を受領し、処理ブロックを、符号化ビデオ・シーケンスの一部である符号化されたピクチャーにエンコードするように構成される。一例では、ビデオ・エンコーダ(703)は、図4の例におけるビデオ・エンコーダ(403)の代わりに使用される。
HEVCの例では、ビデオ・エンコーダ(703)は、8×8サンプルなどの予測ブロックのような処理ブロックについてサンプル値の行列を受領する。ビデオ・エンコーダ(703)は、処理ブロックが、イントラ・モード、インター・モード、または双予測モードのどれを使用して、最もよく符号化されるかを、たとえばレート‐歪み最適化を使用して、判別する。処理ブロックがイントラ・モードで符号化される場合、ビデオ・エンコーダ(703)は、処理ブロックを符号化されたピクチャーにエンコードするためにイントラ予測技法を使用してもよく;処理ブロックがインター・モードまたは双予測モードで符号化される場合、ビデオ・エンコーダ(703)は、処理ブロックを符号化されたピクチャーにエンコードするために、それぞれ、インター予測技法または双予測技法を使用してもよい。ある種のビデオ符号化技術では、マージモード(merge mode)は、動きベクトルが一つまたは複数の動きベクトル予測子から導出されるが前記予測子の外の符号化された動きベクトル成分の利益のない、ピクチャー間予測サブモードでありうる。ある種の他のビデオ符号化技術では、対象ブロックに適用可能な動きベクトル成分が存在してもよい。一例では、ビデオ・エンコーダ(703)は、処理ブロックのモードを決定するためのモード決定モジュール(図示せず)などの他のコンポーネントを含む。
図7の例では、ビデオ・エンコーダ(703)は、インター・エンコーダ(730)、イントラ・エンコーダ(722)、残差計算器(723)、スイッチ(726)、残差エンコーダ(724)、全般コントローラ(721)、およびエントロピー符号化器(725)を、図7に示されるように一緒に結合されて含む。
インター・エンコーダ(730)は、現在ブロック(たとえば、処理ブロック)のサンプルを受領し、該ブロックを参照ピクチャー内の一つまたは複数の参照ブロック(たとえば、以前のピクチャーおよび後のピクチャー内のブロック)と比較し、インター予測情報(たとえば、インター・エンコード技術による冗長情報の記述、動きベクトル、マージ・モード情報)を生成し、該インター予測情報に基づいて、任意の好適な技法を使用してインター予測結果(たとえば、予測されたブロック)を計算するように構成される。いくつかの例では、前記参照ピクチャーは、エンコードされたビデオ情報に基づいてデコードされた、デコードされた参照ピクチャーである。
イントラ・エンコーダ(722)は、現在ブロック(たとえば、処理ブロック)のサンプルを受領し、場合によっては、該ブロックを、同じピクチャー内ですでに符号化されているブロックと比較し、変換後に量子化された係数を生成し、場合によっては、イントラ予測情報(たとえば、一つまたは複数のイントラ・エンコード技法によるイントラ予測方向情報)も生成するように構成される。一例では、イントラ・エンコーダ(722)はまた、該イントラ予測情報および同じピクチャー内の参照ブロックに基づいて、イントラ予測結果(たとえば、予測されたブロック)を計算する。
全般コントローラ(721)は、全般制御データを決定し、全般制御データに基づいてビデオ・エンコーダ(703)の他のコンポーネントを制御するように構成される。一例では、全般コントローラ(721)は、ブロックのモードを決定し、そのモードに基づいて制御信号をスイッチ(726)に提供する。たとえば、モードがイントラ・モードである場合、全般コントローラ(721)は、残差計算器(723)による使用のためにイントラ・モードの結果を選択するようスイッチ(726)を制御し、イントラ予測情報を選択し、イントラ予測情報をビットストリームに含めるようエントロピー・エンコーダ(725)を制御する;モードがインター・モードである場合、全般コントローラ(721)は、残差計算器(723)による使用のためにインター予測の結果を選択するようスイッチ(726)を制御し、インター予測情報を選択し、インター予測情報をビットストリームに含めるようエントロピー・エンコーダ(725)を制御する。
残差計算器(723)は、受領されたブロックと、イントラ・エンコーダ(722)またはインター・エンコーダ(730)から選択された予測結果との差(残差データ)を計算するように構成される。残差エンコーダ(724)は、残差データに基づいて、残差データをエンコードして変換係数を生成するように構成される。一例では、残差エンコーダ(724)は、残差データを空間領域から周波数領域に変換し、変換係数を生成するように構成される。次いで、変換係数は、量子化処理にかけられ、量子化された変換係数を得る。さまざまな実施形態において、ビデオ・エンコーダ(703)は、残差デコーダ(728)をも含む。残差デコーダ(728)は、逆変換を実行して、デコードされた残差データを生成するように構成される。デコードされた残差データは、イントラ・エンコーダ(722)およびインター・エンコーダ(730)によって好適に使用されることができる。たとえば、インター・エンコーダ(730)は、デコードされた残差データおよびインター予測情報に基づいて、デコードされたブロックを生成することができ、イントラ・エンコーダ(722)は、デコードされた残差データおよびイントラ予測情報に基づいて、デコードされたブロックを生成することができる。デコードされたブロックは、デコードされたピクチャーを生成するために好適に処理され、デコードされたピクチャーは、メモリ回路(図示せず)内でバッファリングされ、いくつかの例では参照ピクチャーとして使用されることができる。
エントロピー・エンコーダ(725)は、エンコードされたブロックを含むようにビットストリームをフォーマットするように構成される。エントロピー・エンコーダ(725)は、HEVC規格のような好適な標準に従ってビットストリーム中にさまざまな情報を含めるように構成される。一例では、エントロピー・エンコーダ(725)は、全般制御データ、選択された予測情報(たとえば、イントラ予測情報またはインター予測情報)、残差情報、および他の好適な情報をビットストリーム内に含めるように構成される。開示される主題によれば、インター・モードまたは双予測モードのいずれかのマージ・サブモードにおいてブロックを符号化する場合は、残差情報は存在しないことを注意しておく。
図8は、ビデオ・デコーダ(810)の例示的な図を示す。ビデオ・デコーダ(810)は、符号化されたビデオ・シーケンスの一部である符号化されたピクチャーを受領し、符号化されたピクチャーをデコードして、再構成されたピクチャーを生成するように構成される。一例では、ビデオ・デコーダ(810)は、図4の例におけるビデオ・デコーダ(410)の代わりに使用される。
図8の例では、ビデオ・デコーダ(810)は、エントロピー・デコーダ(871)、インター・デコーダ(880)、残差デコーダ(873)、再構成モジュール(874)、およびイントラ・デコーダ(872)が図8に示されるように一緒に結合されたものを含む。
エントロピー・デコーダ(871)は、符号化されたピクチャーから、その符号化されたピクチャーが構成されるシンタックス要素を表わすある種のシンボルを再構成するように構成されることができる。そのようなシンボルは、たとえば、ブロックが符号化されるモード(たとえば、イントラ・モード、インター・モード、双予測モード、マージ・サブモードまたは別のサブモードにおける後者の2つ)と、イントラ・デコーダ(872)またはインター・デコーダ(880)によってそれぞれ予測のために使用されるある種のサンプルまたはメタデータを同定することができる予測情報(たとえば、イントラ予測情報またはインター予測情報など)とを含むことができる。シンボルは、たとえば量子化された変換係数の形の残差情報などを含むこともできる。一例では、予測モードがインターまたは双予測モードである場合、インター予測情報がインター・デコーダ(880)に提供され;予測タイプがイントラ予測タイプである場合には、イントラ予測情報がイントラ・デコーダ(872)に提供される。残差情報は、逆量子化を受けることができ、残差デコーダ(873)に提供される。
インター・デコーダ(880)は、インター予測情報を受領し、該インター予測情報に基づいてインター予測結果を生成するように構成される。
イントラ・デコーダ(872)は、イントラ予測情報を受領し、該イントラ予測情報に基づいて予測結果を生成するように構成される。
残差デコーダ(873)は、逆量子化を実行して量子化解除された変換係数を抽出し、量子化解除された変換係数を処理して、残差情報を周波数領域から空間領域に変換するように構成される。残差デコーダ(873)はまた、ある種の制御情報(量子化器パラメータ(QP)を含む)をも必要とすることがあり、その情報は、エントロピー・デコーダ(871)によって提供されてもよい(これは、低ボリュームの制御情報のみであるため、データ経路は描かれていない)。
再構成モジュール(874)は、空間領域において、残差デコーダ(873)によって出力される残差情報と、予測結果(場合に応じてイントラまたはインター予測モジュールによって出力される)とを組み合わせて、再構成されたブロックを形成するように構成され、該再構成されたブロックは再構成されたピクチャーの一部であってもよく、該再構成されたピクチャーは再構成されたビデオの一部であってもよい。視覚的品質を改善するためにブロッキング解除動作などの他の好適な動作が実行されることができることを注意しておく。
なお、ビデオ・エンコーダ(403)、(603)、(703)、およびビデオ・デコーダ(410)、(510)、(810)は、任意の好適な技法を用いて実装できる。ある実施形態では、ビデオ・エンコーダ(403)、(603)、(703)およびビデオ・デコーダ(410)、(510)、(810)は、一つまたは複数の集積回路を使用して実装できる。別の実施形態では、ビデオ・エンコーダ(403)、(603)、(603)、およびビデオ・デコーダ(410)、(510)、(810)は、ソフトウェア命令を実行する一つまたは複数のプロセッサを使用して実装できる。
本開示は、ブロック・ベクトル(block vector、BV)を介して、再構成されたイントラコピーされたブロックを使って、イントラブロックコピー(IBC)のためのイントラ予測モードを導出し、伝搬させることに関する実施形態を含む。
ITU-T VCEG(Q6/16)およびISO/IEC MPEG(JTC 1/SC29/WG11)は、2013年(バージョン1)、2014年(バージョン2)、2015年(バージョン3)、2016年(バージョン4)にH.265/HEVC(High Efficiency Video Coding[高効率ビデオ符号化])規格を公表した。2015年には、両標準機関が合同でJVET(Joint Video Exploration Team[合同ビデオ探査チーム])を結成し、HEVCを越えた次のビデオ符号化規格の開発の可能性を探った。2017年10月、両標準機関は、HEVCを超える能力をもつビデオ圧縮に関する合同での提案募集(Joint Call for Proposals on Video Compression with Capability beyond HEVC)(CfP)を発表した。2018年2月15日までに、標準ダイナミックレンジ(SDR)に関する22のCfP応答、高ダイナミックレンジ(HDR)に関する12のCfP応答、および360のビデオ・カテゴリーに関する12のCfP応答がそれぞれ提出された。2018年4月には、122 MPEG/第10回JVET会合において、すべての受領されたCfP応答が評価された。この会合の結果、JVETは、HEVCを超えた次世代ビデオ符号化の標準化プロセスを正式に立ち上げ、この新しい規格は多用途ビデオ符号化(Versatile Video Coding、VVC)と名付けられ、JVETは合同ビデオ専門アチーム(Joint Video Experts Team)と改称された。2020年、ITU-T VCEG(Q6/16)およびISO/IEC MPEG(JTC1/SC29/WG11)は、VVCビデオ符号化規格(バージョン1)を公表した。
インター予測では、各インター予測された符号化単位(CU)について、たとえばインター予測されたサンプル生成のために使用されるVVCの符号化特徴のために、動きパラメータが必要とされる。動きパラメータは、動きベクトル、参照ピクチャー・インデックス、参照ピクチャー・リスト使用インデックス、および/または追加情報を含むことができる。動きパラメータは、明示的または暗黙的に信号伝達できる。CUがスキップ・モードで符号化される場合、CUは1つのPUと関連付けられることができ、有意な残差係数、符号化された動きベクトル・デルタ、および/または参照ピクチャー・インデックスは必要とされないことがある。CUがマージ・モードで符号化される場合、CUのための動きパラメータは近傍CUから得ることができる。近傍CUは、空間的および時間的候補、およびVVCにおいて導入されるような追加的スケジュール(または追加的候補)を含むことができる。マージ・モードは、スキップ・モードだけでなく、任意のインター予測されるCUに適用できる。マージ・モードの代替は、動きパラメータの明示的な伝送であり、ここで、動きベクトル、各参照ピクチャー・リストについての対応する参照ピクチャー・インデックス、参照ピクチャー・リスト使用フラグ、および/または他の必要とされる情報が、CUごとに明示的に信号伝達されることができる。
VVCでは、VVC試験モデル(VVC Test model、VTM)参照ソフトウェアは、以下のうちの一つまたは複数を含むことができる、いくつかの新しい洗練されたインター予測符号化ツールを含むことができる:
(1)拡張マージ予測
(2)マージ動きベクトル差分(Merge motion vector difference、MMVD)
(3)対称MVD信号伝達を用いるAMVPモード
(4)アフィン動き補償予測
(5)サブブロック・ベースの時間的動きベクトル予測(Subblock-based temporal motion vector prediction、SbTMVP)
(6)適応動きベクトル分解能(Adaptive motion vector resolution、AMVR)
(7)動きフィールド・ストレージ:1/16ルーマ・サンプルMV記憶および8×8動きフィールド圧縮
(8)CUレベルの重みを用いた双予測(Bi-prediction with CU-level weights、BCW)
(9)双方向オプティカルフロー(Bi-directional optical flow、BDOF)
(10)デコーダ側動きベクトル洗練(Decoder side motion vector refinement、DMVR)
(11)複合インター・イントラ予測(Combined inter and intra prediction、CIIP)
(12)幾何学的パーティション分割モード(Geometric partitioning mode、GPM)
(1)拡張マージ予測
(2)マージ動きベクトル差分(Merge motion vector difference、MMVD)
(3)対称MVD信号伝達を用いるAMVPモード
(4)アフィン動き補償予測
(5)サブブロック・ベースの時間的動きベクトル予測(Subblock-based temporal motion vector prediction、SbTMVP)
(6)適応動きベクトル分解能(Adaptive motion vector resolution、AMVR)
(7)動きフィールド・ストレージ:1/16ルーマ・サンプルMV記憶および8×8動きフィールド圧縮
(8)CUレベルの重みを用いた双予測(Bi-prediction with CU-level weights、BCW)
(9)双方向オプティカルフロー(Bi-directional optical flow、BDOF)
(10)デコーダ側動きベクトル洗練(Decoder side motion vector refinement、DMVR)
(11)複合インター・イントラ予測(Combined inter and intra prediction、CIIP)
(12)幾何学的パーティション分割モード(Geometric partitioning mode、GPM)
マージ候補リストは、VTM4でのように5つのタイプの候補を含めることによって構築できる。マージ候補リストは次の順序で構築できる:
1)空間的近傍CUからの空間的MVP、
2)共位置のCUからの時間的MVP、
3)FIFOテーブルからの履歴ベースのMVP、
4)対ごとの平均MVP、
5)ゼロMV。
1)空間的近傍CUからの空間的MVP、
2)共位置のCUからの時間的MVP、
3)FIFOテーブルからの履歴ベースのMVP、
4)対ごとの平均MVP、
5)ゼロMV。
マージ・リストのサイズは、スライス・ヘッダで信号伝達できる。マージ・リストの最大許容サイズは、VTM4でのように、6にすることができる。マージ・モードで符号化される各CUについて、最良のマージ候補のインデックスが、たとえば打ち切りされた単項二進化(truncated unary binarization)を用いてエンコードできる。マージ・インデックスの第1のビンはコンテキストを用いて符号化でき、他のビンについてはバイパス符号化が使用できる。
空間的候補導出において、たとえばVVCでは、空間的マージ候補の導出は、HEVCにおける空間的マージ候補の導出と同じまたは同様でありうる。マージ候補の最大数(たとえば、4つのマージ候補)は、たとえば図9に示される位置に位置する候補のうちから選択できる。図9に示されるように、現在ブロック(901)は、位置A0、A1、B0、B1、およびB2にそれぞれ位置する近傍ブロック(902)~(906)を含むことができる。空間的マージ候補の導出の順序は、B1、A1、B0、A0、およびB2とすることができる。位置B2は、位置A0、B0、B1、またはA1のいずれかのCU(またはブロック)が利用可能でない場合(たとえば、そのCUが別のスライスまたはタイルに属するため)、またはイントラ符号化されている場合にのみ考慮されうる。位置A1の候補(またはブロック)が追加された後、残りの候補(またはブロック)の追加は、冗長性検査を受けることができる。冗長性検査は、符号化効率が改善されるように、同じ動き情報をもつ候補がマージ・リストから除外されることを保証することができる。計算複雑性を低減するために、冗長性検査はすべての可能な候補対を考慮しなくてもよい。代わりに、図10における矢印で結ばれた候補対のみが考慮されてもよい。たとえば、冗長性検査は、A1とB1の候補対およびA1とA0の候補対のような5つの候補対に適用できる。マージ・リストに候補が追加されうるのは、冗長性検査のために使用される対応する候補が同じ動き情報を含まない場合のみである。たとえば、候補B0は、対応する候補B1が同じ動き情報を含まない場合にのみ、マージ・リストに追加されうる。
時間的候補の導出では、1つの候補だけがマージ・リストに追加されうる。たとえば、図11に示されるように、現在CU(1114)についての時間的マージ候補の導出において、共位置の参照ピクチャー(1112)に属する共位置のCU(1104)に基づいて、スケーリングされた動きベクトルが導出されうる。共位置のCU(1104)の導出のために使用される参照ピクチャー・リストは、スライス・ヘッダにおいて明示的に信号伝達されることができる。時間的マージ候補のためのスケーリングされた動きベクトルは、図11の点線(1102)によって示されるように得ることができ、それは、ピクチャー順カウント(POC)距離tbおよびtdを用いて、共位置のCU(1104)の動きベクトルからスケーリングされる。tbは、現在ピクチャーの参照ピクチャー(たとえば、Curr_ref)(1106)と現在ピクチャー(たとえば、Curr_pic)(1108)との間のPOC差として定義できる。tdは、共位置のピクチャー(たとえば、Col_ref)(1110)と共位置のピクチャー(たとえば、Col_pic)(1112)との間のPOC差として定義できる。時間的マージ候補の参照ピクチャー・インデックスはゼロに設定できる。
時間的候補についての位置は、図12に示されるように、候補C0およびC1の間で選択できる。たとえば、位置C0におけるCUが利用可能でない、イントラ符号化されている、または現在のCTU行の外にある場合、位置C1が使用できる。それ以外の場合、位置C0が時間的マージ候補の導出において使用できる。
インター予測のためにGPMを適用することができる。GPMは、ある種のサイズのCU、たとえば8×8のサイズまたは8×8より大きいサイズをもつCUにのみ適用されうる。GPMは、たとえばCUレベルのフラグを使用して信号伝達されることができ、マージ・モードの一種として作用することができる。他のマージ・モードは、通常マージ・モード、MMVDモード、CIIPモード、および/またはサブブロック・マージ・モードを含むことができる。
GPMが使用される場合、複数のパーティション態様の1つを使用することにより、CUを2つの幾何学的形状のパーティションに分割することができる。分割態様は、角度および/またはエッジによって区別できる。ある実施形態では、64個の異なる分割態様がGPMにおいて適用できる。64個の異なる分割態様は、0°から360°までの間の非一様量子化された24個の角度と、CUの中心に対する4つまでのエッジとによって区別できる。図13は、GPMにおいて適用される24個の例示的な角度を示す。図14は、CU(1402)内のインデックス3をもつ角度に関連付けられる4つの例示的な可能なパーティション・エッジを示し、各パーティション・エッジは、それぞれの距離インデックスに関連付けられることができる。距離インデックスは、CU(1402)の中心に対する距離を示すことができる。GPMでは、CU内の各幾何学的パーティションは、それぞれの動きベクトルを用いてインター予測されることができる。さらに、各パーティションについては、単予測のみが許される場合がある。たとえば、各パーティションは、1つの動きベクトルと1つの参照インデックスを有することができる。各パーティションについて単予測動きのみが許されるという制約は、各CUについて2つの動き補償された予測が必要とされるだけであることを保証することができ、それは従来の双予測にも適用される。
現在CUについてGPMが使用される場合、幾何学的パーティション・インデックスを示す信号と、2つのマージ・インデックス(各パーティションについて1つ)がさらに信号伝達されることができる。最大GPM候補サイズは、たとえばスライス・レベルで明示的に、信号伝達されることができる。最大GPM候補サイズは、GPMマージ・インデックスについての構文二進化を指定できる。2つの幾何学的パーティションのそれぞれが予測された後、幾何学的パーティション・エッジに沿ったサンプル値は、適応重みを用いるブレンド・プロセスを用いて調整されることができる。よって、ブレンド・プロセス後にCU全体についての予測信号が生成できる。他の予測モードではCU全体にさらに変換および量子化プロセスが適用されることができる。さらに、GPMを用いて予測されたCUの動きフィールドが記憶されることができる。
IBCの実装コストは、現在ピクチャーのすでに再構成されている領域全体について、高い可能性がある。たとえば、HEVCにおけるIBC概念の欠点は、デコードピクチャーバター(DPB)中の追加メモリの必要性である。よって、IBCのハードウェア実装においては通常、外部メモリが使用される。追加的な外部メモリ・アクセスは、メモリ帯域幅の増大を伴うことがある。
ある種の実装では、実装コストを削減することが必要である場合がある。たとえば、VVCは、オンチップ・メモリを使用して、メモリ帯域幅要件およびハードウェア複雑性を著しく減少させることによって、IBCを実現することができる固定メモリを使用することができる。さらに、IBCのブロック・ベクトル(BV)符号化は、インター予測のためのマージ・リストの概念を用いることができる。IBCリスト構築プロセスは、2つの空間的近傍のBVと5つの履歴ベースのBV(history-based BV、HBVP)を考慮することができる。ここで、第1のHBVPが候補リスト(またはIBCリスト)に追加されるときは、第1のHBVPのみが空間的候補(たとえば、2つの空間的候補のBV)と比較されうる。
VVCでのように圧縮効率をさらに改善するために、デコーダ側で動きを洗練するテンプレート・マッチング(TM)を利用することができる。TMモードでは、左および上の近傍の再構成されたサンプルからテンプレートを構築することによって動きが洗練され、現在ピクチャーにおけるテンプレートと参照フレームとの間の最も近い一致を決定することができる。
TMは、GPMに適用できる。CUがGPMで符号化されるとき、TMが幾何学的パーティションのための各動きを洗練するために適用されるかどうかを決定することができる。TMが選択されるとき、左および上の近傍サンプルを用いてテンプレートが構築でき、現在のテンプレートと、参照フレーム内の同じテンプレート・パターンをもつ参照領域との間の最良一致を見出すことによって、動きをさらに洗練することができる。洗練された動きは、幾何学的パーティションについての動き補償を実行するために使用されることができ、さらに動きフィールドに記憶されることができる。
GPMは、VVCを越えて符号化性能を向上させるために、インターおよびイントラ予測をサポートするように適用できる。たとえば、GPM適用されたCU内の各幾何学的パーティションについてのマージ候補リストからの動きベクトルに加えて、幾何学的分割線に対する(または関する)あらかじめ定義されたイントラ予測モードが選択できる。各幾何学的パーティションについて、フラグに基づいて、イントラ予測モードまたはインター予測モードが決定されることができる。インター予測が選択されると、マージ候補リストからMVによって単予測信号が生成されることができる。そうではなく、イントラ予測モードが選択される場合は、イントラ予測モードの指定されたインデックスから予測される近傍サンプルから、単予測信号が生成されることができる。可能なイントラ予測モードの変動は、幾何学的形状によって制約されることができる。最後に、2つの単予測信号が通常のGPMと同様にブレンドされることができる。
複雑さと信号伝達オーバーヘッドを低減するために、可能なイントラ予測モードの変動を調べる(または定義する)ことができる。たとえば、可能なイントラ予測モードの変動が、インターおよびイントラ予測のあるGPMに及ぼす影響を、2つの例示的な構成について調べた。第1の構成は、幾何学的分割線に対して(または関して)平行なおよび垂直な方向のモードのみを試した。幾何学的分割線に対して(または関して)平行なおよび垂直なイントラ角度モードに加えて、第2の構成では、平面(Planar)モードも試された。2つまたは3つの可能なイントラ予測モードが、インターおよびイントラ予測のあるGPMにおける幾何学的パーティションについて試された。
テンプレートに基づくイントラ・モード導出(template-based intra mode derivation、TIMD)では、たとえばJVET-V0098では、MPMのうちの各イントラ・モードについて、現在CUのテンプレート領域の予測と再構成サンプルの間の差分変換絶対値和(sum of absolute transformed differences、SATD)が計算されることができ、最小のSATDコストをもつイントラ・モードが現在CUについて選択されることができる。SATDコストが最小の唯一のイントラ・モードを選択する代わりに、たとえばJVET-W0123では、TIMDで導出される最小のSATDコストをもつ最初の2つのモードが、現在CUについて選択されることもできる。選択された2つのモードがさらに重みを用いて融合されることができ、重み付けされたイントラ予測が、現在CUについてのイントラ予測子として使用されることができる。選択された2つのモードにおいて、最小のSATDコストをもつ選択されたイントラ・モードのコストが、別の選択されたイントラ・モードのコストの半分より大きい場合、融合が適用されることができる。さもなければ、最小のSATDコストをもつイントラ・モードのみが選択されうる。融合が適用される場合、重み値は、2つのモードのSATDコストから導出されることができる。
MPMリストの生成中に、近傍CUがインターCU(すなわち、インター予測モードで符号化されるCU)としてエンコードされる場合、その近傍CUのイントラ予測モードは、デフォルトで平面モードとして導出されることができる。MPMリストの精度を改善するために、MPMリストの構築において、インターCUについてのイントラ・モード伝搬方法が適用できる。たとえば、JVET-V0098では、インターCUに関連する参照ピクチャーおよび動きベクトルを介してインターCUについてのイントラ予測モードを伝搬させることができ、インターCUの伝搬されたイントラ予測モードは、MPMリストの構築において使用できる。インターCUについてのイントラ・モード伝搬はTIMDモードの導出にのみ適用されうることに注意すべきである。
MPMリスト構築の精度を改善するために、TIMDモードについて、近傍のインターCUの伝搬されたイントラ・モードが採用されることができる。近傍のインターCUの伝搬されたイントラ・モードは、近傍のインターCUの参照ピクチャーおよび動きベクトルから導出されることができる。しかしながら、近傍のCUがIBC予測モードとしてエンコードされる場合、依然として、MPMリスト構築のために平面モードが使用されうる。
本開示では、IBCのブロック・ベクトル(BV)を用いてイントラ予測モードが導出でき、イントラ予測モード情報が、イントラ・モード伝搬のために記憶されることができる。たとえば、現在ブロックがIBCによって予測される場合、現在ブロックの伝搬されたイントラ・モードが、現在ブロックの参照ブロックのイントラ・モードから導出できる。参照ブロックは、IBCのBVによって指示(または参照)されることができる。現在ブロックの伝搬されたイントラ・モードは、近傍ブロックがIBCブロックである(またはIBCによって予測される)場合、現在ブロックの該近傍ブロックについてのMPMリストの構築のために使用できる。よって、近傍ブロックがIBC符号化される場合、現在ブロックの参照ブロックのイントラ予測モードは、近傍ブロックのMPMリスト構築の候補となりうる。
ある実施形態では、伝搬されたイントラ・モードは、現在ブロックの4×4ルーマ・ブロック(またはサブブロック)におけるように、現在ブロックの、IBC符号化される最小ブロック(最小サブブロックまたはサブブロックとも呼ばれる)について記憶されることができる。よって、現在ブロックの各サブブロックについてのそれぞれの伝搬されるイントラ・モードが記憶されることができる。現在ブロックの伝搬されるイントラ・モードは、現在ブロックの参照ブロックのイントラ・モードから導出されることができる。参照ブロックは、IBCのBVによって指示(または参照)されることができる。
ある実施形態では、IBCブロック(またはIBCによって予測されるブロック)のイントラ・モード情報は、IBCのBVによって参照される参照ブロックから伝搬されることができる。図15は、BVを介した、IBCブロックについてのイントラ予測モード伝搬の例示的な図解を示す。図15に示されるように、BV(1502)が、IBCブロック(または現在ブロック)(1504)に適用されて、現在ブロック(1504)の参照ブロック(1506)を再構成されたピクチャー(図示せず)において位置特定することができる。参照ブロック(1506)からイントラ予測モードを得るために、BV(1502)によって参照される参照ブロック(1506)は、4×4単位などの複数の最小単位(またはサブブロック)に分割されることができる。参照ブロック(1506)内の各最小単位(たとえば、(1508))について、それぞれの最小単位(またはそれぞれのサブブロック)内に位置するサンプルから、それぞれのイントラ予測モードが導出できる。サンプルは、最小単位(またはサブブロック)の中心位置またはコーナー位置に位置することができる。たとえば、サンプルは、最小単位の左上サンプルでありうる。参照ブロックの最小単位のイントラ予測モードが、参照ブロックがエンコードされるときにさらに記憶されることができる。現在ブロック(1504)の共位置のCUでありうる参照ブロック(1506)の最小単位の記憶されているイントラ予測モードは、現在ブロック(1504)に伝搬されうる。
引き続き図15を参照すると、いくつかの実施形態では、現在ブロック(1504)は、複数のサブブロック(たとえば、(1510))に分割されることができる。複数のサブブロックのそれぞれは、参照ブロック(1506)の最小単位と同じサイズを有することができる。このように、現在ブロック(1504)の各サブブロックは、参照ブロック(1506)内で対応する最小単位を有することができる。現在ブロック内のサブブロックの位置は、参照ブロック内の対応する最小単位(またはサブブロック)の位置と同じであることができる。たとえば、サブブロック(1510)は、現在ブロック(1504)の第1の行および第3の列にあり、最小単位(1508)は、参照ブロック(1506)の第1の行および第3の列にある。よって、現在ブロック(1504)のサブブロック(1510)は、参照ブロック(1506)における最小単位(1508)に対応しうる。よって、現在ブロック(1504)の各サブブロックは、それぞれのサブブロックに対応する参照ブロック(1506)内の最小単位から導出される、それぞれの伝搬されたイントラ・モードを有することができる。たとえば、サブブロック(1510)は、参照ブロック(1506)内の最小単位(1508)のイントラ・モードから導出されうる伝搬されたイントラ・モードを有することができる。
なお、再構成されたピクチャー(図示せず)に基づいて、イントラ予測モード(IPM)マップ(1512)が形成されることができる。IMPマップ(1512)は、複数のサブ領域(たとえば、(1514))を含むことができる。各部分領域は、再構成されたピクチャー(図示せず)に関連するそれぞれのイントラ・モードに対応することができる。
ある実施形態では、現在ブロック(1504)についての共位置の対応するイントラ予測モードを導出するために、参照ブロック(1506)内の各最小単位(たとえば、4×4単位)の中心位置が適用できる。よって、現在ブロック(1504)におけるサブブロック(たとえば、(1510))についてのイントラ予測モードは、該サブブロックに対応する参照ブロック(1506)の最小単位(たとえば、(1508))の中心位置に位置するピクセル(またはサンプル)のイントラ・モードとして決定できる。最小単位(または4×4単位)の中心位置は、最小単位の第2の行および第2の列、最小単位の第2の行および第3の列、最小単位の第3の行および第2の列、または最小単位の第3の行および第3の列のいずれかにあることができる。中心位置の例示的な図解は、図15における最小単位(1508)に示されうる。最小単位(1508)に示されるように、中心位置は、(1,1)、(1,2)、(2,1)、または(2,2)とラベル付けされた位置のうちの1つでありうる。(1,1)とラベル付けされた位置は、最小単位(1508)の第2の行および第2の列にある中心位置に対応する。(2,1)とラベル付けされた位置は、最小単位(1508)の第2の行および第3の列にある中心位置に対応する。(1,2)と記された位置は、最小単位(1508)の第3の行および第2の列にある中心位置に対応する。(2,2)とラベル付けされた位置は、最小単位(1508)の第3の行と第3の列にある中心位置に対応する。よって、サブブロック(1510)についての伝搬されたイントラ予測モードは、最小単位(1508)の中心位置におけるピクセルのイントラ予測モードから導出されることができる。
ある実施形態では、各最小単位(または4×4単位)(1508)の左上、右上、左下、または右下位置のようなコーナー位置が、共位置の対応するイントラ予測モードを導出するために適用されることができる。図15に示されるように、左上の位置は(0,0)とラベル付けされることができ、右上の位置を(3,0)とラベル付けされることができ、左下の位置は(0,3)とラベル付けされることができ、右下の位置は(3,3)とラベル付けされることができる。よって、サブブロック(1510)についての伝搬されたイントラ予測モードは、最小単位(1508)のコーナー位置の1つにおけるピクセルのイントラ予測モードから導出されることができる。
ある実施形態では、参照ブロックのイントラ予測モードは、エンコードされるCU(または現在ブロック)がIBCおよびイントラ・モードをもつGPMにおいてエンコードされる場合にのみ、IBCモードのある幾何学的パーティション内の現在ブロックのサブブロックに伝搬されうる。図16に示されるように、現在ブロック(1604)は、GPMによって、第1のパーティション(1614)および第2のパーティション(1616)に分割されることができる。第1のパーティション(1614)はイントラ予測によって予測されることができ、第2のパーティション(1616)はIBCによって予測されることができる。よって、現在ブロック(1604)の参照ブロック(1606)のイントラ予測モードは、第2のパーティション(1616)のサブブロックに伝搬されるだけでよい。よって、参照ブロック(1606)内の最小単位(1608)のイントラ・モードは、現在ブロック(1604)内の第2のパーティション(1616)の対応するサブブロック(1610)に伝搬されることができる。参照ブロック(1606)内の最小単位(1612)のイントラ・モードは、現在ブロック(1604)内の第1のパーティション(1614)の対応するサブブロック(1618)に伝搬されなくてもよい。
図17は、本開示のいくつかの実施形態による、例示的なデコード・プロセス(1700)の概要を示すフローチャートを示す。図18は、本開示のいくつかの実施形態による、例示的なエンコード・プロセス(1800)の概要を示すフローチャートを示す。提案されるプロセスは、別個に、または任意の順序で組み合わせて使用されうる。さらに、プロセス(または実施形態)、エンコーダ、およびデコーダのそれぞれは、処理回路(たとえば、一つまたは複数のプロセッサ、または一つまたは複数の集積回路)によって実装されてもよい。一例では、前記一つまたは複数のプロセッサは、非一時的なコンピュータ読み取り可能な媒体に記憶されたプログラムを実行する。
プロセス(たとえば、(1700)および(1800))の動作は、所望に応じて、任意の量または順序で組み合わされ、または配置されうる。諸実施形態において、プロセス(たとえば、(1700)および(1800))の動作のうちの2つ以上が並列に実行されてもよい。
プロセス(たとえば、(1700)および(1800))は、再構成中のブロックについての予測ブロックを生成するために、ブロックの再構成および/またはエンコードにおいて使用されることができる。さまざまな実施形態において、プロセス(たとえば、(1700)および(1800)は、端末装置(310)、(320)、(330)および(340)内の処理回路、ビデオエンコーダ(403)の機能を実行する処理回路、ビデオデコーダ(410)の機能を実行する処理回路、ビデオデコーダ(510)の機能を実行する処理回路、ビデオエンコーダ(603)の機能を実行する処理回路などの処理回路によって実行される。いくつかの実施形態では、プロセス(たとえば、(1700)および(1800))は、ソフトウェア命令で実装され、よって、処理回路がソフトウェア命令を実行するとき、処理回路は、プロセス(たとえば、(1700)および(1800))を実行する。
図17に示されるように、プロセス(1700)は、(S1701)から開始し、(S1710)に進むことができる。(S1710)において、ビデオの現在ピクチャーにおける現在ブロックの符号化された情報が、符号化されたビデオ・ビットストリームから受領されうる。符号化された情報は、現在ブロックがIBCブロックであることを示すことができる。
(1720)では、参照ブロック内の参照サブブロックに基づいて、現在ブロックのサブブロックについて、イントラ予測モードが導出できる。参照サブブロックは、現在ブロックのサブブロックに対応することができ、参照ブロックは、IBCブロックのブロック・ベクトルによって参照されることができる。
(1730)では、現在ブロックのサブブロックについてのイントラ予測モードがさらに記憶されることができる。
(1740)では、現在ブロックの近傍ブロックが、IBCブロックとして決定されうる。
(1750)では、記憶されたイントラ予測モードを用いて、現在ブロックの近傍ブロックについて、MPMリストが構築されることができる。
サブブロックについてのイントラ予測モードは、参照ブロックの参照サブブロックの中心位置に位置するピクセルのイントラ・モードとして導出されることができ、ここで、中心位置は参照サブブロックの第2の行および第2の列にあることができる。
サブブロックについてのイントラ予測モードは、参照ブロックの参照サブブロックの中心位置に位置するピクセルのイントラ・モードとして導出されることができ、ここで、中心位置は参照サブブロックの第2の行および第3の列にあることができる。
サブブロックについてのイントラ予測モードは、参照ブロックの参照サブブロックの中心位置に位置するピクセルのイントラ・モードとして導出されることができ、ここで、中心位置は参照サブブロックの第3の行および第2の列にあることができる。
サブブロックについてのイントラ予測モードは、参照ブロックの参照サブブロックの中心位置に位置するピクセルのイントラ・モードとして導出されることができ、ここで、中心位置は参照サブブロックの第3の行および第3の列にあることができる。
サブブロックについてのイントラ予測モードは、参照ブロックの参照サブブロックの右上位置、左上位置、左下位置、または右下位置のうちの1つに位置するピクセルのイントラ・モードとして導出されることができる。
いくつかの実施形態では、現在ブロックは、幾何学的パーティション・モード(geometric partition mode、GPM)に基づいて、第1のパーティションと第2のパーティションに分割されることができる。第1のパーティションはIBCによって予測されることができ、第2のパーティションはイントラ予測によって予測されることができる。前記サブブロックは、IBCによって予測される第1のパーティション内に位置することができる。
いくつかの実施形態において、現在ブロックの前記サブブロックは、4×4ピクセル単位でありうる。
いくつかの実施形態では、サブブロックについてのイントラ予測モードは、現在ブロックの近傍ブロックについてのMPMリストにおける候補予測モードとして決定されることができ、ここで近傍ブロックはIBCによって予測されることができる。
(S1750)の後、プロセスは(S1799)に進み、終了する。
プロセス(1700)は、好適に適応されうる。プロセス(1700)におけるステップは、修正および/または省略されうる。追加的なステップが追加されうる。任意の好適な実装順序が使用できる。
図18に示されるように、プロセス(1800)は、(S1801)から開始し、(S1810)に進むことができる。(S1810)では、参照ブロック内の参照サブブロックに基づいて、現在ピクチャーにおける現在ブロックのサブブロックについて、イントラ予測モードが導出されることができる。参照サブブロックは現在ブロックのサブブロックに対応することができる。現在ブロックは、IBCブロックでありうる。参照ブロックは、IBCブロックのブロック・ベクトルによって参照されることができる。
(S1820)では、現在ブロックのサブブロックについてのイントラ予測モードが記憶されることができる。
(S1830)では、現在ブロックの近傍ブロックは、IBCブロックとして決定されうる。
(S1840)では、記憶されたイントラ予測モードを用いて、現在ブロックの近傍ブロックについてMPMリストが構築されることができる。
(S1850)では、現在ブロックの符号化情報が生成されることができる。符号化情報は、現在ブロックがIBCによって予測されることを示すことができ、現在ブロックのサブブロックのイントラ予測情報は、現在ブロックの参照ブロックの対応する参照サブブロックに基づく。
その後、プロセスは(S1899)に進み、終了する。
プロセス(1800)は、好適に適応されうる。プロセス(1800)におけるステップは、修正および/または省略されることができる。追加的なステップが追加されうる。任意の好適な実装順序が使用できる。
上述の技法は、コンピュータ読み取り可能な命令を用いてコンピュータ・ソフトウェアとして実装することができ、一つまたは複数のコンピュータ読み取り可能な媒体に物理的に記憶されることができる。たとえば、図19は、開示された主題のある種の実施形態を実施するのに好適なコンピュータ・システム(1900)を示す。
コンピュータ・ソフトウェアは、任意の好適な機械コードまたはコンピュータ言語を用いてコーディングされることができ、アセンブリ、コンパイル、リンク、または同様の機構の対象とされて、一つまたは複数のコンピュータ中央処理ユニット(CPU)、グラフィックス処理ユニット(GPU)などによって、直接的に、またはインタープリット、マイクロコード実行などを通じて実行可能な命令を含むコードを作成することができる。
命令は、たとえば、パーソナルコンピュータ、タブレット・コンピュータ、サーバー、スマートフォン、ゲーム装置、モノのインターネット装置等を含むさまざまなタイプのコンピュータまたはそのコンポーネント上で実行されることができる。
コンピュータ・システム(1900)について図19に示されるコンポーネントは、例としての性質であり、本開示の実施形態を実装するコンピュータ・ソフトウェアの使用または機能の範囲に関する制限を示唆することを意図したものではない。コンポーネントの構成も、コンピュータ・システム(1900)の例示的実施形態において示されているコンポーネントの任意の1つまたは組み合わせに関する何らかの依存性または要件を有するものとして解釈されるべきではない。
コンピュータ・システム(1900)は、ある種のヒューマン・インターフェース入力装置を含むことができる。そのようなヒューマン・インターフェース入力装置は、たとえば、触覚入力(たとえば、キーストローク、スワイプ、データグローブの動き)、音声入力(たとえば、声、拍手)、視覚入力(たとえば、ジェスチャー)、嗅覚入力(図示せず)を通じた一または複数の人間ユーザーによる入力に応答することができる。また、ヒューマン・インターフェース装置は、音声(たとえば、発話、音楽、周囲の音)、画像(たとえば、スキャンされた画像、スチール画像カメラから得られる写真画像)、ビデオ(たとえば、2次元ビデオ、立体視ビデオを含む3次元ビデオ)のような、人間による意識的入力に必ずしも直接関係しないある種のメディアを捕捉するために使用できる。
入力ヒューマン・インターフェース装置は、キーボード(1901)、マウス(1902)、トラックパッド(1903)、タッチスクリーン(1910)、データグローブ(図示せず)、ジョイスティック(1905)、マイクロフォン(1906)、スキャナ(1907)、カメラ(1908)の一つまたは複数(それぞれの一つしか図示していない)を含んでいてもよい。
コンピュータ・システム(1900)はまた、ある種のヒューマン・インターフェース出力装置を含んでいてもよい。そのようなヒューマン・インターフェース出力装置は、たとえば、触覚出力、音、光、および臭い/味を通じて、一または複数の人間ユーザーの感覚を刺激するものであってもよい。そのようなヒューマン・インターフェース出力装置は、触覚出力装置(たとえば、タッチスクリーン(1910)、データグローブ(図示せず)、またはジョイスティック(1905)による触覚フィードバック;ただし、入力装置のはたらきをしない触覚フィードバック装置もありうる)、音声出力装置(たとえば、スピーカー(1909)、ヘッドフォン(図示せず))、視覚出力装置(たとえば、CRT画面、LCD画面、プラズマスクリーン、OLED画面を含む画面(1910);それぞれはタッチスクリーン入力機能があってもなくてもよく、それぞれは触覚フィードバック機能があってもなくてもよく、そのうちのいくつかは、2次元の視覚出力または立体視出力のような手段を通じた3次元より高い出力を出力することができる;仮想現実感眼鏡(図示せず)、ホログラフィーディスプレイおよび煙タンク(図示せず))、およびプリンタ(図示せず)を含んでいてもよい。
コンピュータ・システム(1900)はまた、人間がアクセス可能な記憶装置および関連する媒体、たとえば、CD/DVDまたは類似の媒体(1921)とともにCD/DVD ROM/RW(1920)を含む光学式媒体、サムドライブ(1922)、取り外し可能なハードドライブまたはソリッドステートドライブ(1923)、テープおよびフロッピーディスクといったレガシー磁気媒体(図示せず)、セキュリティ・ドングルのような特化したROM/ASIC/PLDベースの装置(図示せず)などを含むことができる。
当業者はまた、現在開示されている主題に関連して使用される用語「コンピュータ読み取り可能な媒体」は、伝送媒体、搬送波、または他の一時的な信号を包含しないことを理解すべきである。
コンピュータ・システム(1900)はまた、一つまたは複数の通信ネットワーク(1955)へのインターフェース(1954)を含むことができる。ネットワークは、たとえば、無線、有線、光学式でありうる。ネットワークは、さらに、ローカル、広域、都市圏、車載および工業用、リアルタイム、遅延耐性などでありうる。ネットワークの例は、イーサネット〔登録商標〕、無線LAN、GSM、3G、4G、5G、LTEなどを含むセルラー・ネットワーク、ケーブルテレビ、衛星テレビ、地上放送テレビを含むTV有線または無線の広域デジタルネットワーク、CANBusを含む車載および工業用などを含む。ある種のネットワークは、普通、ある種の汎用データ・ポートまたは周辺バス(1949)(たとえば、コンピュータ・システム(1900)のUSBポートなど)に取り付けられる外部ネットワーク・インターフェース・アダプターを必要とする。他は、普通、後述するようなシステム・バスへの取り付けによって、コンピュータ・システム(1900)のコアに統合される(たとえば、PCコンピュータ・システムへのイーサネット・インターフェースまたはスマートフォン・コンピュータ・システムへのセルラー・ネットワーク・インターフェース)。これらのネットワークのいずれかを使用して、コンピュータ・システム(1900)は、他のエンティティと通信することができる。そのような通信は、一方向性、受信のみ(たとえば、放送テレビ)、一方向性送信専用(たとえば、ある種のCANbus装置へのCANbus)、または、たとえば、ローカルまたは広域デジタルネットワークを使用する他のコンピュータ・システムへの双方向性であってもよい。上述のようなそれらのネットワークおよびネットワークインターフェースのそれぞれで、ある種のプロトコルおよびプロトコルスタックが使用できる。
前述のヒューマン・インターフェース装置、人間がアクセス可能な記憶装置、およびネットワークインターフェースは、コンピュータ・システム(1900)のコア(1940)に取り付けることができる。
コア(1940)は、一つまたは複数の中央処理装置(CPU)(1941)、グラフィックス処理装置(GPU)(1942)、フィールドプログラマブルゲートアレイ(FPGA)(1943)の形の特化したプログラマブル処理装置、ある種のタスクのためのハードウェアアクセラレータ(1944)、グラフィック・アダプター(1950)などを含むことができる。これらの装置は、読み出し専用メモリ(ROM)(1945)、ランダムアクセスメモリ(1946)、内部のユーザー・アクセス可能でないハードドライブ、ソリッドステートドライブ(SSD)などの内部大容量記憶装置(1947)とともに、システム・バス(1948)を通じて接続されうる。いくつかのコンピュータ・システムでは、追加のCPU、GPUなどによる拡張を可能にするために、システム・バス(1948)は、一つまたは複数の物理プラグの形でアクセス可能であってもよい。周辺装置は、コアのシステム・バス(1948)に直接取り付けられることも、周辺バス(1949)を通じて取り付けられることもできる。一例では、グラフィック・アダプター(1950)に画面(1910)が接続されることができる。周辺バスのためのアーキテクチャーは、PCI、USBなどを含む。
CPU(1941)、GPU(1942)、FPGA(1943)、およびアクセラレータ(1944)は、組み合わせて上述のコンピュータコードを構成することができるある種の命令を、実行することができる。そのコンピュータコードは、ROM(1945)またはRAM(1946)に記憶できる。一時的データも、RAM(1946)に記憶されることができ、一方、持続的データは、たとえば、内部大容量記憶装置(1947)に記憶されることができる。一つまたは複数のCPU(1941)、GPU(1942)、大容量記憶装置(1947)、ROM(1945)、RAM(1946)などと密接に関連付けることができるキャッシュメモリを使用することを通じて、メモリデバイスのいずれかへの高速な記憶および取り出しを可能にすることができる。
コンピュータ読み取り可能な媒体は、さまざまなコンピュータ実装された動作を実行するためのコンピュータコードをその上に有することができる。媒体およびコンピュータコードは、本開示の目的のために特別に設計および構築されたものであってもよく、または、コンピュータ・ソフトウェア分野の技術を有する者に周知であり利用可能な種類のものであってもよい。
限定ではなく一例として、アーキテクチャー(1900)、具体的にはコア(1940)を有するコンピュータ・システムは、プロセッサ(CPU、GPU、FPGA、アクセラレータ等を含む)が一つまたは複数の有形のコンピュータ可読媒体に具現化されたソフトウェアを実行することの結果として、機能性を提供することができる。そのようなコンピュータ読み取り可能媒体は、上記で紹介したようなユーザー・アクセス可能な大容量記憶ならびにコア内部の大容量記憶装置(1947)またはROM(1945)のような非一時的な性質のコア(1940)のある種の記憶に関連する媒体であることができる。本開示のさまざまな実施形態を実装するソフトウェアは、そのような装置に記憶され、コア(1940)によって実行されることができる。コンピュータ読み取り可能媒体は、特定のニーズに応じて、一つまたは複数のメモリデバイスまたはチップを含むことができる。ソフトウェアは、RAM(1946)に記憶されたデータ構造を定義し、ソフトウェアによって定義されたプロセスに従ってそのようなデータ構造を修正することを含む、本明細書に記載された特定のプロセスまたは特定の特定部分を、コア(1940)および具体的にはその中のプロセッサ(CPU、GPU、FPGAなどを含む)に実行させることができる。追加的または代替的に、コンピュータ・システムは、回路(たとえば、アクセラレータ(1944))内に配線された、または他の仕方で具現された論理の結果として機能性を提供することができ、これは、本明細書に記載される特定のプロセスまたは特定のプロセスの特定部分を実行するためのソフトウェアの代わりに、またはそれと一緒に動作することができる。ソフトウェアへの言及は、論理を含み、適宜その逆も可能である。コンピュータ読み取り可能媒体への言及は、適宜、実行のためのソフトウェアを記憶する回路(たとえば集積回路(IC))、実行のための論理を具現する回路、またはその両方を包含することができる。本開示は、ハードウェアおよびソフトウェアの任意の好適な組み合わせを包含する。
付録A:頭字語
JEM: joint exploration model(共同探査モデル)
VVC: versatile video coding(多用途ビデオ符号化)
BMS: benchmark set(ベンチマークセット)
MV: Motion Vector(動きベクトル)
HEVC: High Efficiency Video Coding(高効率ビデオ符号化)
SEI: Supplementary Enhancement Information(補足向上情報)
VUI: Video Usability Information(ビデオ操作性情報)
GOP: Group of Pictures(ピクチャーグループ)
TU: Transform Unit(変換単位)
PU: Prediction Unit(予測単位)
CTU: Coding Tree Unit(符号化ツリー単位)
CTB: Coding Tree Block(符号化ツリーブロック)
PB: Prediction Block(予測ブロック)
HRD: Hypothetical Reference Decoder(仮設参照デコーダ)
SNR: Signal Noise Ratio(信号雑音比)
CPU: Central Processing Unit(中央処理装置)
GPU: Graphics Processing Unit(グラフィックス処理ユニット)
CRT: Cathode Ray Tube(陰極線管)
LCD: Liquid-Crystal Display(液晶ディスプレイ)
OLED: Organic Light-Emitting Diode(有機発光ダイオード)
CD: Compact Disc(コンパクトディスク)
DVD: Digital Video Disc(デジタルビデオディスク)
ROM: Read-Only Memory(読み出し専用メモリ)
RAM: Random Access Memory(ランダムアクセスメモリ)
ASIC: Application-Specific Integrated Circuit(特定用途向け集積回路)
PLD: Programmable Logic Device(プログラマブルロジックデバイス)
LAN: Local Area Network(ローカルエリアネットワーク)
GSM: Global System for Mobile communications(グローバル移動通信システム)
LTE: Long-Term Evolution(ロングタームエボリューション)
CANBus: Controller Area Network Bus(コントローラエリアネットワークバス)
USB: Universal Serial Bus(ユニバーサルシリアルバス)
PCI: Peripheral Component Interconnect(ペリフェラルコンポーネント相互接続)
FPGA: Field Programmable Gate Areas(フィールド・プログラマブル・ゲート・エリア)
SSD: solid-state drive(ソリッドステートドライブ)
IC: Integrated Circuit(集積回路)
CU: Coding Unit(符号化単位)
JEM: joint exploration model(共同探査モデル)
VVC: versatile video coding(多用途ビデオ符号化)
BMS: benchmark set(ベンチマークセット)
MV: Motion Vector(動きベクトル)
HEVC: High Efficiency Video Coding(高効率ビデオ符号化)
SEI: Supplementary Enhancement Information(補足向上情報)
VUI: Video Usability Information(ビデオ操作性情報)
GOP: Group of Pictures(ピクチャーグループ)
TU: Transform Unit(変換単位)
PU: Prediction Unit(予測単位)
CTU: Coding Tree Unit(符号化ツリー単位)
CTB: Coding Tree Block(符号化ツリーブロック)
PB: Prediction Block(予測ブロック)
HRD: Hypothetical Reference Decoder(仮設参照デコーダ)
SNR: Signal Noise Ratio(信号雑音比)
CPU: Central Processing Unit(中央処理装置)
GPU: Graphics Processing Unit(グラフィックス処理ユニット)
CRT: Cathode Ray Tube(陰極線管)
LCD: Liquid-Crystal Display(液晶ディスプレイ)
OLED: Organic Light-Emitting Diode(有機発光ダイオード)
CD: Compact Disc(コンパクトディスク)
DVD: Digital Video Disc(デジタルビデオディスク)
ROM: Read-Only Memory(読み出し専用メモリ)
RAM: Random Access Memory(ランダムアクセスメモリ)
ASIC: Application-Specific Integrated Circuit(特定用途向け集積回路)
PLD: Programmable Logic Device(プログラマブルロジックデバイス)
LAN: Local Area Network(ローカルエリアネットワーク)
GSM: Global System for Mobile communications(グローバル移動通信システム)
LTE: Long-Term Evolution(ロングタームエボリューション)
CANBus: Controller Area Network Bus(コントローラエリアネットワークバス)
USB: Universal Serial Bus(ユニバーサルシリアルバス)
PCI: Peripheral Component Interconnect(ペリフェラルコンポーネント相互接続)
FPGA: Field Programmable Gate Areas(フィールド・プログラマブル・ゲート・エリア)
SSD: solid-state drive(ソリッドステートドライブ)
IC: Integrated Circuit(集積回路)
CU: Coding Unit(符号化単位)
本開示は、いくつかの例示的実施形態を記載してきたが、変更、置換、およびさまざまな代替等価物があり、それらは本開示の範囲内にはいる。よって、当業者は、本明細書に明示的に示されていないかまたは記載されていないが、本開示の原理を具現し、よって、本開示の精神および範囲内にある多くのシステムおよび方法を考案することができることが理解されるであろう。
Claims (14)
- ビデオ・デコーダにおいて実行されるビデオ・デコードの方法であって、当該方法は:
ビデオの現在ピクチャーにおける現在ブロックの符号化された情報を、符号化されたビデオ・ビットストリームから受領する段階であって、前記符号化された情報は、現在ブロックがイントラブロックコピー(IBC)ブロックであることを示す、段階と;
参照ブロック内の参照サブブロックに基づいて、現在ブロックのサブブロックについてイントラ予測モードを導出する段階であって、前記参照サブブロックは、現在ブロックの前記サブブロックに対応し、前記参照ブロックは、前記IBCブロックのブロック・ベクトルによって参照される、段階と;
現在ブロックの前記サブブロックについての前記イントラ予測モードを記憶する段階と;
現在ブロックの近傍ブロックがIBCブロックであることを判別する段階と;
前記記憶されたイントラ予測モードを使用して、前記近傍ブロックについて最確モード(MPM)リストを構築する段階とを含む、
方法。 - 前記導出する段階がさらに:
前記サブブロックについての前記イントラ予測モードを、前記参照ブロックの前記参照サブブロックの中心位置に位置するピクセルのイントラ・モードとして導出することを含み、前記中心位置は前記参照サブブロックの第2の行および第2の列にある、
請求項1に記載の方法。 - 前記導出する段階がさらに:
前記サブブロックについての前記イントラ予測モードを、前記参照ブロックの前記参照サブブロックの中心位置に位置するピクセルのイントラ・モードとして導出することを含み、前記中心位置は前記参照サブブロックの第2の行および第3の列にある、
請求項1に記載の方法。 - 前記導出する段階がさらに:
前記サブブロックについての前記イントラ予測モードを、前記参照ブロックの前記参照サブブロックの中心位置に位置するピクセルのイントラ・モードとして導出することを含み、前記中心位置は前記参照サブブロックの第3の行および第2の列にある、
請求項1に記載の方法。 - 前記導出する段階がさらに:
前記サブブロックについての前記イントラ予測モードを、前記参照ブロックの前記参照サブブロックの中心位置に位置するピクセルのイントラ・モードとして導出することを含み、前記中心位置は前記参照サブブロックの第3の行および第3の列にある、
請求項1に記載の方法。 - 前記導出する段階がさらに:
前記サブブロックについての前記イントラ予測モードを、前記参照ブロックの前記参照サブブロックの右上位置、左上位置、左下位置、または右下位置のうちの1つに位置するピクセルのイントラ・モードとして導出することを含む、
請求項1に記載の方法。 - 現在ブロックは、幾何学的パーティション・モード(GPM)に基づいて、第1のパーティションと第2のパーティションに分割され、前記第1のパーティションはIBCによって予測され、前記第2のパーティションはイントラ予測によって予測され、
前記サブブロックは、IBCによって予測される前記第1のパーティションに位置する、
請求項1に記載の方法。 - 現在ブロックの前記サブブロックが、4×4ピクセル単位である、請求項1に記載の方法。
- 前記実行はさらに:
前記サブブロックについての前記イントラ予測モードを、現在ブロックの前記近傍ブロックについての前記MPMリストにおける候補予測モードとして決定する段階をさらに含み、ここで、前記近傍ブロックはIBCによって予測される、
請求項1に記載の方法。 - 請求項1ないし9のうちいずれか一項に記載の方法を実行するように構成された処理回路を有する装置。
- 少なくとも一つのプロセッサに請求項1ないし9のうちいずれか一項に記載の方法を実行させるためのコンピュータ・プログラム。
- ビデオ・エンコーダにおいて実行されるビデオ・エンコードの方法であって、当該方法は:
参照データを利用して入力データを予測的に符号化したものを含む符号化された情報を生成する段階を含み、
前記参照データは、前記入力データより以前のブロックを現在ブロックとするローカル・デコーダ動作によって生成され、
前記ローカル・デコーダ動作は:
ビデオの現在ピクチャーにおける現在ブロックの符号化された情報を受領する段階であって、前記符号化された情報は、現在ブロックがイントラブロックコピー(IBC)ブロックであることを示す、段階と;
参照ブロック内の参照サブブロックに基づいて、現在ブロックのサブブロックについてイントラ予測モードを導出する段階であって、前記参照サブブロックは、現在ブロックの前記サブブロックに対応し、前記参照ブロックは、前記IBCブロックのブロック・ベクトルによって参照される、段階と;
現在ブロックの前記サブブロックについての前記イントラ予測モードを記憶する段階と;
現在ブロックの近傍ブロックがIBCブロックであることを判別する段階と;
前記記憶されたイントラ予測モードを使用して、前記近傍ブロックについて最確モード(MPM)リストを構築する段階とを含む、
方法。 - 請求項12に記載の方法を実行するように構成された処理回路を有する装置。
- 少なくとも一つのプロセッサに請求項12に記載の方法を実行させるためのコンピュータ・プログラム。
Applications Claiming Priority (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US202163261251P | 2021-09-15 | 2021-09-15 | |
US63/261,251 | 2021-09-15 | ||
US17/901,547 US20230079960A1 (en) | 2021-09-15 | 2022-09-01 | On propagating intra prediction mode information of ibc block by using block vector |
US17/901,547 | 2022-09-01 | ||
PCT/US2022/075968 WO2023044251A1 (en) | 2021-09-15 | 2022-09-06 | On propagating intra prediction mode information of ibc block by using block vector |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2023549181A true JP2023549181A (ja) | 2023-11-22 |
Family
ID=85480252
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2023528026A Pending JP2023549181A (ja) | 2021-09-15 | 2022-09-06 | ブロック・ベクトルを用いたibcブロックのイントラ予測モード情報の伝搬について |
Country Status (6)
Country | Link |
---|---|
US (1) | US20230079960A1 (ja) |
EP (1) | EP4193597A4 (ja) |
JP (1) | JP2023549181A (ja) |
KR (1) | KR20230056780A (ja) |
CN (1) | CN116134813A (ja) |
WO (1) | WO2023044251A1 (ja) |
Family Cites Families (27)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20120294353A1 (en) * | 2011-05-16 | 2012-11-22 | Mediatek Inc. | Apparatus and Method of Sample Adaptive Offset for Luma and Chroma Components |
CN103621087B (zh) * | 2011-06-23 | 2016-12-07 | Jvc建伍株式会社 | 图像解码装置及图像解码方法 |
KR102488123B1 (ko) * | 2016-12-26 | 2023-01-12 | 에스케이텔레콤 주식회사 | 인트라 예측을 이용한 영상의 부호화 및 복호화 |
US10638161B2 (en) * | 2018-07-13 | 2020-04-28 | Tencent America LLC | Methods and apparatus for most probable mode derivation |
US10735763B2 (en) * | 2018-07-27 | 2020-08-04 | Tencent America LLC | Method and apparatus for motion vector prediction using spatial and temporal combination |
EP3821626A4 (en) * | 2018-08-09 | 2021-08-04 | Huawei Technologies Co., Ltd. | HISTORY-BASED INTRA MODE CODING PROCESS AND APPARATUS |
WO2020050600A1 (ko) * | 2018-09-03 | 2020-03-12 | 한국전자통신연구원 | 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체 |
CN118381918A (zh) * | 2018-09-19 | 2024-07-23 | 韩国电子通信研究院 | 用于帧内预测模式编码/解码的方法和记录介质 |
US11178396B2 (en) * | 2018-11-14 | 2021-11-16 | Tencent America LLC | Constrained intra prediction and unified most probable mode list generation |
KR20210094530A (ko) * | 2018-11-29 | 2021-07-29 | 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 | 화면 내 블록 복사 모드 및 화면 간 예측 도구들 간의 상호작용 |
CN109874011B (zh) * | 2018-12-28 | 2020-06-09 | 杭州海康威视数字技术股份有限公司 | 编码方法、解码方法及装置 |
US11019359B2 (en) * | 2019-01-15 | 2021-05-25 | Tencent America LLC | Chroma deblock filters for intra picture block compensation |
EP3917141A4 (en) * | 2019-02-20 | 2022-03-30 | LG Electronics Inc. | METHOD AND DEVICE FOR INTRA PREDICTION BASED ON A MPM LIST |
CA3132582A1 (en) * | 2019-03-07 | 2020-09-10 | Digitalinsights Inc. | Image encoding/decoding method and apparatus |
WO2020184922A1 (ko) * | 2019-03-08 | 2020-09-17 | 한국전자통신연구원 | 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체 |
WO2020184936A1 (ko) * | 2019-03-08 | 2020-09-17 | 정병득 | 비디오 신호의 부호화 또는 복호화 방법 및 장치 |
US20220159239A1 (en) * | 2019-03-23 | 2022-05-19 | Lg Electronics Inc. | Intra prediction-based image coding in image coding system |
US11683487B2 (en) * | 2019-03-26 | 2023-06-20 | Qualcomm Incorporated | Block-based adaptive loop filter (ALF) with adaptive parameter set (APS) in video coding |
US11190758B2 (en) * | 2019-04-25 | 2021-11-30 | Qualcomm Incorporated | Block-based quantized residual domain pulse code modulation assignment for intra prediction mode derivation |
WO2020235960A1 (ko) * | 2019-05-22 | 2020-11-26 | 엘지전자 주식회사 | Bdpcm 에 대한 영상 디코딩 방법 및 그 장치 |
WO2020244536A1 (en) * | 2019-06-03 | 2020-12-10 | Beijing Bytedance Network Technology Co., Ltd. | Combined intra and intra-block copy prediction for video coding |
KR20210158386A (ko) * | 2019-06-13 | 2021-12-30 | 엘지전자 주식회사 | Mip 모드 매핑이 단순화된 영상 부호화/복호화 방법, 장치 및 비트스트림을 전송하는 방법 |
MX2021014605A (es) * | 2019-06-18 | 2022-01-18 | Electronics & Telecommunications Res Inst | Metodo y aparato de codificacion/decodificacion de video, y medio de grabacion que almacena un flujo de bits. |
US11212523B2 (en) * | 2020-01-12 | 2021-12-28 | Mediatek Inc. | Video processing methods and apparatuses of merge number signaling in video coding systems |
WO2021146933A1 (en) * | 2020-01-21 | 2021-07-29 | Alibaba Group Holding Limited | Next-generation loop filter implementations for adaptive resolution video coding |
WO2022114770A1 (ko) * | 2020-11-24 | 2022-06-02 | 현대자동차주식회사 | 기하학적 변환에 기반하는 블록 복사를 이용하는 인트라 예측방법과 장치 |
US11743507B2 (en) * | 2020-12-16 | 2023-08-29 | Tencent America LLC | Method and apparatus for video filtering |
-
2022
- 2022-09-01 US US17/901,547 patent/US20230079960A1/en active Pending
- 2022-09-06 CN CN202280005605.2A patent/CN116134813A/zh active Pending
- 2022-09-06 KR KR1020237010678A patent/KR20230056780A/ko active Search and Examination
- 2022-09-06 EP EP22862372.4A patent/EP4193597A4/en active Pending
- 2022-09-06 JP JP2023528026A patent/JP2023549181A/ja active Pending
- 2022-09-06 WO PCT/US2022/075968 patent/WO2023044251A1/en active Application Filing
Also Published As
Publication number | Publication date |
---|---|
EP4193597A1 (en) | 2023-06-14 |
US20230079960A1 (en) | 2023-03-16 |
EP4193597A4 (en) | 2024-02-07 |
CN116134813A (zh) | 2023-05-16 |
WO2023044251A1 (en) | 2023-03-23 |
KR20230056780A (ko) | 2023-04-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7502190B2 (ja) | ビデオ符号化のための方法並びにその装置及びコンピュータプログラム | |
JP2023111920A (ja) | ビデオ符号化における隣接ブロックの利用可能性のための方法および装置 | |
JP7395771B2 (ja) | テンプレートマッチングベースのイントラ予測 | |
JP2023158110A (ja) | ビデオ復号方法、ビデオ復号装置、コンピュータプログラム、およびビデオ符号化方法 | |
JP7419506B2 (ja) | 映像コーディングのための方法及び装置 | |
JP7189370B2 (ja) | Cuに基づく補間フィルタ選択のシグナリング | |
JP7130883B2 (ja) | ビデオ符号化のための方法、装置およびコンピュータ・プログラム | |
US11949863B2 (en) | Geometric partition mode with intra block copy | |
US12041255B2 (en) | Constraint of intra mode for geometric partition mode with inter and intra prediction | |
US20230108504A1 (en) | On geometric partition mode with intra and inter prediction | |
JP2024510166A (ja) | マージ候補のグループ化ベースの適応的な再順序付けのための方法、装置およびプログラム | |
JP2024520986A (ja) | 対称アフィンモード | |
JP2024509231A (ja) | イントラ予測の融合に関する修正 | |
US11876978B2 (en) | Intra prediction mode information propagation for geometric partition mode with IBC and intra prediction | |
US20230079960A1 (en) | On propagating intra prediction mode information of ibc block by using block vector | |
JP7169451B2 (ja) | ビデオ復号の方法、装置、及びコンピュータプログラム | |
JP2024516060A (ja) | テンプレートマッチングベースの適応動きベクトル解像度(amvr) | |
JP2023549155A (ja) | ビデオコーディング方法、装置、およびコンピュータプログラム | |
JP2024516352A (ja) | イントラモード伝搬の改善 | |
JP2024509611A (ja) | 改善されたイントラ・モード符号化のための方法、装置およびプログラム | |
KR20230125830A (ko) | 아웃-오브-프레임 경계 조건에 대한 모션 벡터 한정 | |
JP2024508507A (ja) | 動きベクトル解像度の適応順序を用いたテンプレートマッチングに基づく適応動きベクトル解像度 | |
KR20230104682A (ko) | 템플릿-정합을 이용하는 것에 의한 대안적인 모션 벡터 차이를 갖는 병합 모드 | |
JP2023543590A (ja) | 映像復号のための方法、装置、及びコンピュータプログラム | |
JP2024516014A (ja) | 調整ベースの局所照明補償 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230510 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20240412 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20240604 |