JP2021533618A - イントラ予測のための方法及び機器 - Google Patents

イントラ予測のための方法及び機器 Download PDF

Info

Publication number
JP2021533618A
JP2021533618A JP2021504520A JP2021504520A JP2021533618A JP 2021533618 A JP2021533618 A JP 2021533618A JP 2021504520 A JP2021504520 A JP 2021504520A JP 2021504520 A JP2021504520 A JP 2021504520A JP 2021533618 A JP2021533618 A JP 2021533618A
Authority
JP
Japan
Prior art keywords
block
prediction
intra
video
mode
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2021504520A
Other languages
English (en)
Other versions
JP7177242B2 (ja
Inventor
コンスタンチノヴィッチ フィリポフ,アレクセイ
アレクセヴィッチ ルフィトスキー,ヴァシリー
チェン,ジェンレェ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Publication of JP2021533618A publication Critical patent/JP2021533618A/ja
Priority to JP2022180464A priority Critical patent/JP2023022071A/ja
Application granted granted Critical
Publication of JP7177242B2 publication Critical patent/JP7177242B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/105Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117Filters, e.g. for pre-processing or post-processing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46Embedding additional information in the video signal during the compression process
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/11Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

ブロックのイントラ予測の方法であって、前記方法は、前記ブロックのイントラ予測モードを取得するステップと、前記ブロックの前記イントラ予測モードが広角モードであるとき、フィルタリング済み参照サンプルに基づき、前記ブロックの予測サンプルを取得するステップと、を含む方法。

Description

[関連出願]
本願は、参照により本願明細書に組み込まれる米国仮出願番号第62/767,496号、2018年11月14日出願、名称「Method and Apparatus for Prediction」の利益を請求する。
[技術分野]
本開示は、画像及び/又はビデオ符号化及び復号の技術分野に関し、特に、イントラ/インター予測のための方法及び機器に関する。
デジタルビデオは、DVDディスクの導入以来、広く使用されている。送信前、ビデオは符号化され、伝送媒体を用いて送信される。視聴者は、ビデオを受信し、視聴装置を用いてビデオを復号し表示する。何年にも渡り、例えばより高い解像度、色深度及びフレームレートにより、ビデオの品質は向上してきた。これは、今日インターネット及びモバイル通信ネットワークを介して一般に伝送されているより大きなデータストリームをもたらした。
より高い解像度のビデオは、しかしながら、標準的に、それらがより多くの情報を有するので、より多くの帯域幅を必要とする。帯域幅要件を低減するために、ビデオの圧縮を含むビデオ符号化規格が導入されている。ビデオが符号化されると、帯域幅要件(又は記憶の場合には対応するメモリ要件)が低減される。時に、この低減は品質を犠牲にする。従って、ビデオ符号化規格は、帯域幅要件と品質との間のバランスを見い出そうとする。
高効率ビデオ符号化(High Efficiency Video Coding (HEVC))は、当業者に一般に知られているビデオ符号化規格の例である。HEVCでは、符号化単位(coding unit (CU))を予測単位(prediction units (PU))又は変換単位(transform unit (TU))に分割する。バーサタイルビデオ符号化(Versatile Video Coding (VVC))次世代規格は、共同ビデオ探索チーム(Joint Video Exploration Team (JVET))として知られているパートナーシップで一緒に作業しているITU−Tビデオ符号化専門家委員会(Video Coding Experts Group (VCEG))及びISO/IEC動画専門家委員会(ISO/IEC Moving Picture Experts Group (MPEG))標準化組織の最新の共同ビデオプロジェクトである。VVCは、ITU−T H.266/次世代ビデオ符号化(Next Generation Video Coding (NGVC))規格とも呼ばれる。VVCでは、複数のパーティションタイプの概念、つまり、CU、PU、及びTU概念の分離は、最大変換長に対して大きすぎるサイズを有するCUで必要とされる場合を除き、除去されるべきであり、CUパーティション形状の更なる柔軟性をサポートする。
これらの符号化単位(coding unit (CU))(ブロックとも呼ばれる)の処理は、それらのサイズ、空間的位置、及びエンコーダにより指定される符号化モードに依存する。符号化モードは、予測タイプに従い2つのグループ:イントラ予測及びインター予測モードに分類できる。イントラ予測モードは、同じピクチャ(フレーム又は画像とも呼ばれる)のサンプルを用いて、参照サンプルを生成し、再構成されているブロックのサンプルの予測値を計算する。イントラ予測は、空間予測とも呼ばれる。インター予測モードは、時間的予測のために設計され、現在ピクチャのブロックのサンプルを予測するために前又は次のピクチャの参照サンプルを使用する。
ITU−T VCEG(Q6/16)及びISO/IEC MPEG(JTC 1/SC 29/WG11)は、現在のHEVC規格(スクリーンコンテンツ符号化及び高ダイナミックレンジ符号化のための、その現在の拡張及び極めて近い将来の拡張を含む)のものを有意に超える圧縮能力を有する将来のビデオ符号化技術の標準化の潜在的な必要性を研究している。委員会は、当分野のそれらの専門家により提案された圧縮技術設計を評価するために、共同ビデオ探索チーム(Joint Video Exploration Team (JVET))として知られている共同連携努力においてこの探求活動に一緒に取り組んでいる。
VTM(Versatile Test Model)規格は35個のイントラモードを使用し、一方で、BMS(Benchmark Set)は67個のイントラモードを使用する。
イントラ予測方式は複雑であると考えられる。
イントラ予測のための機器及び方法が開示される。
第1の態様によると、本開示は、ビデオの現在ピクチャの中の現在画像ブロックのイントラ予測の方法であって、前記方法は、
前記ブロックのイントラ予測モードを取得するステップと、
前記ブロックの前記イントラ予測モードが広角モードであるとき、フィルタリング済み参照サンプルに基づき、前記ブロックの予測サンプルを取得するステップと、
を含む方法に関する。
第1の態様による方法の可能な実装形式では、前記ブロックの前記イントラ予測モードは、整数勾配広角モードである。前記整数勾配広角モードは、−14、−12、−10、−6、72、76、78、80のうちの少なくとも1つである。
第1の態様は、方向予測の出力及び予測ブロックの視覚的品質を向上するために使用される追加予測信号の組み合わせにより、参照サンプル処理の統一を目指す。この統一の結果、参照サンプルは1回だけ処理され、この処理の結果は、方向イントラ予測処理及び追加予測の生成の両方により再利用される。例えば、フィルタリング済み参照サンプルは、広角モードのために使用され、従って、1回のみフィルタリング済み参照サンプルバッファが必要である。
以下のステップは、イントラ予測方法を実施するために実行されてよい。
ステップ1。参照サンプル、イントラ予測モードintraPredMode及び/又はブロック寸法(幅及び高さ)に基づき、参照サンプルフィルタリングを実行する。
ステップ2。intraPredAngleに従い、処理済み(フィルタリング済み又は未フィルタリング参照サンプル)参照サンプル(ステップ1の結果)に基づき、方向イントラ予測を実行する。
ステップ3。ステップ2で取得された結果を、PDPC又は簡易PDPCであり得る予測組み合わせにより更新する。ここで、ステップ3で使用される入力参照サンプルは、整数勾配広角モード(例えば、以下の表X及びYで指定されるように、−14、−12、−10、−6、72、76、78、80)について、ステップ1で取得されステップ2で使用された参照サンプルと同じである。
任意で、predModeIntraに基づき、フィルタリング済み又は未フィルタリング参照サンプルバッファが使用されるべきかを決定する。これは、以下の表5にリストされたフィルタのうちの1つを適用することにより実行され得る。VVCでは、インデックス0及び1を有するフィルタが使用される。
参照サンプルは、predModeが2、34、又は66に等しいとき、及びnTbS>2のときに、フィルタリングされる(表5のフィルタインデックス「1」が使用される)。
上述の方法の代替的実施形態は、このステップで、イントラ予測モードpredModeIntraの代わりに、角度パラメータ(intraPredAngleとして更に示される)を使用することである。この場合、intraPredAngleの値が32の倍数である場合、及びnTbS>2のとき、参照サンプルは、フィルタリングされる(表5のフィルタインデックス「1」が使用される)。
本発明の第1の態様による方法は、本発明の第2の態様による機器により実行できる。例えば、前記機器は、取得ユニットと、広角予測ユニットと、を含んでよい。前記取得ユニットは、前記ブロックのイントラ予測モードを取得するよう構成され、前記広角予測ユニットは、前記ブロックの前記イントラ予測モードが広角モードであるとき、フィルタリング済み参照サンプルに基づき、前記ブロックの予測サンプルを取得するよう構成される。
本発明の第2の態様による方法の更なる特徴及び実装形式は、本発明の第1の態様による機器の特徴及び実装形式に対応する。
第2の態様による機器の利点は、第1の態様による方法の対応する実装形式のものと同じである。
第3の態様によると、本発明は、プロセッサとメモリとを含む、ビデオストリームを復号する機器に関する。前記メモリは、前記プロセッサに第1の態様による方法を実行させる命令を格納している。
第4の態様によると、本発明は、プロセッサとメモリとを含む、ビデオストリームを符号化する機器に関する。前記メモリは、前記プロセッサに第1の態様による方法を実行させる命令を格納している。
第5の態様によると、実行されると1つ以上のプロセッサをビデオデータを符号化するよう構成させる命令を格納したコンピュータ可読記憶媒体が提案される。前記命令は、前記1つ以上のプロセッサに、第1の態様又は第1の態様の任意の可能な実施形態による方法を実行させる。
第6の態様によると、本発明は、コンピュータ上で実行されると第1の態様又は第1の態様の任意の可能な実施形態による方法を実行するためのプログラムコードを含むコンピュータプログラムに関する。
1つ以上の実施形態の詳細は、添付の図面及び以下の説明において説明される。他の特徴、目的、及び利点は、説明、図面、及び請求項から明らかになるだろう。
以下の実施形態は、添付の図面及び図を参照して更に詳細に説明される。
本発明の実施形態を実施するよう構成されるビデオ符号化システムの例を示すブロック図である。
本発明の実施形態を実施するよう構成されるビデオエンコーダの例を示すブロック図である。
本発明の実施形態を実施するよう構成されるビデオデコーダの例示的な構造を示すブロック図である。
提案される67個のイントラ予測モードを示す概略図を示す。
提案される93個のイントラ予測モードを示す概略図を示し、破線の方向は非正方形ブロックにのみ適用される広角モードに関連付けられる。
補間フィルタの異なる例を示す。 補間フィルタの異なる例を示す。 補間フィルタの異なる例を示す。 補間フィルタの異なる例を示す。 補間フィルタの異なる例を示す。 補間フィルタの異なる例を示す。 補間フィルタの異なる例を示す。
インター及びイントラ予測における4タップ補間フィルタを再利用する例を示す。
提案される用途の例示的な実装を示す。
LUT係数の再利用に基づく提案される用途の例示的な実装を示す。
補間フィルタ選択の例を示す。
QTBTの例を示す。
長方形ブロックの方向の例を示す。
辺の長さに依存する参照フィルタ選択の例を示す。
補間フィルタ選択処理の間に、イントラ予測モードを閾値設定する代替方向の例を示す。
使用中の参照サンプルがどちらの辺に属するかに依存する異なる補間フィルタの使用を示す。
1つの4×4ブロックの内部の(0,0)及び(1,0)位置のDCモードPDPC重みを示す。
対角及び隣接角度イントラモードへのPDPC拡張により使用されるサンプルの定義を示す。
簡易PDPCの例示的な実装を示す。
例示的な統一実装を示す。
ビデオの現在ピクチャの中の現在画像ブロックのイントラ予測のための機器の例示的な構造を示すブロック図である。
種々の実施形態を実装するために使用可能な機器1500のブロック図である。
コンテンツ配信サービスを提供するコンテンツ供給システムの例示的な構造を示すブロック図である。
端末装置の例の構造を示すブロック図である。
略語の定義、及び用語集
JEM:Joint Exploration Model(将来のビデオ符号化探索のためのソフトウェアコードベース)
JVET:Joint Video Experts Team
LUT:Look−Up Table
PDPC:Position−Dependent Prediction Combination
QT:Quad Tree
QTBT:Quad Tree plus Binary Tree
RDO:Rate−distortion Optimization
ROM:Read−Only Memory
VTM:VVC Test Model
VVC:Versatile Video Coding, JVETにより展開される標準化プロジェクト
CTU/CTB:Coding Tree Unit/Coding Tree Block
CU/CB:Coding Unit/Coding Block
PU/PB:Prediction Unit/Prediction Block
TU/TB:Transform Unit/Transform Block
HEVC:High Efficiency Video Coding
H.264/AVC及びHEVCのようなビデオ符号化方式は、ブロックに基づくハイブリッドビデオ符号化の成功した原理に沿って設計されている。この原理を用いて、ピクチャは、先ずブロックにパーティションされ、次に、各ブロックはイントラピクチャ又はインターピクチャ予測を用いて予測される。
H.261以降の幾つかのビデオ符号化規格は、「損失ハイブリッドビデオコーデック」のグループに属する(つまり、サンプルドメインにおける空間及び時間予測と、変換ドメインにおける量子化を適用する2D変換符号化と、を結合する)。ビデオシーケンスの各ピクチャは、標準的に、重なり合わないブロックのセットにパーティションされ、符号化は、標準的に、ブロックレベルで実行される。言い換えると、エンコーダにおいて、例えば空間(イントラピクチャ)予測及び時間(インターピクチャ)予測を用いて予測ブロックを生成し、予測ブロックを現在ブロック(現在処理されている/処理されるべきブロック)から減算して残差ブロックを取得し、残差ブロックを変換し、及び変換ドメインで残差ブロックを量子化して、伝送されるべきデータ量を削減すること(圧縮)により、ビデオは標準的にブロック(ピクチャブロック)レベルで処理される、つまり符号化される。一方で、デコーダにおいて、エンコーダと比べて逆の処理が、符号化又は圧縮されたブロックに対して部分的に適用されて、提示するために現在ブロックを再構成する。更に、エンコーダは、デコーダ処理ループを複製して、後続のブロックを処理する、つまり符号化するために、両方が同一の予測(例えば、イントラ及びインター予測)及び/又は再構成を生成するようにする。
本願明細書で使用されるとき、用語「ブロック」はピクチャ又はフレームの一部であってよい。説明の便宜上、本発明の実施形態は、本願明細書で、高効率ビデオ符号化(High−Efficiency Video Coding (HEVC))、又はITU−Tビデオ符号化専門家委員会(ITU−T Video Coding Experts Group (VCEG))及びISO/IEC動画専門家委員会(Motion Picture Experts Group (MPEG))のビデオ符号化に関する共同作業部会(Joint Collaboration Team on Video Coding (JCT−VC))により開発されたバーサタイルビデオ符号化(Versatile video coding (VVC))のリファレンスソフトウェアを参照して説明される。当業者は、本発明の実施形態がHEVC又はVVCに限定されないことを理解するだろう。CU、PU、及びTUを参照し得る。HEVCでは、CTUは、符号化ツリーとして示される4分木構造を用いてCUに分割される。ピクチャ領域をインターピクチャ(時間)又はイントラピクチャ(空間)予測を用いて符号化するかの決定は、CUレベルで行われる。各CUは、PU分割タイプに従い、1、2、又は4個のPUに更に分割できる。1個のPU内で、同じ予測処理が適用され、関連情報がPU毎にデコーダへ伝送される。PU分割タイプに基づき予測処理を適用することにより、残差ブロックを取得した後に、CUは、CUの符号化ツリーと同様の別の4分木構造に従い、変換ユニット(transform unit (TU))にパーティションすることができる。ビデオ圧縮技術の最新の進展では、4分木及び2分木(Quad−tree and binary tree (QTBT))パーティションが、符号化ブロックをパーティションするために使用される。QTBTブロック構造では、CUは正方形又は長方形形状のいずれかを有し得る。例えば、符号化木単位(coding tree unit (CTU))は、先ず、4分木構造によりパーティションされる。4分木のリーフノードは、2分木構造により更にパーティションされる。2分木のリーフノードは、符号化単位(coding unit (CU))と呼ばれ、そのセグメント化は、更なるパーティションを伴わず、予測及び変換処理のために使用される。これは、CU、PU、及びTUが、QTBT符号化ブロック構造において同じブロックサイズを有することを意味する。同時に、多重パーティション、例えば3分木パーティションも、QTBTブロック構造と一緒に使用するために提案された。
ITU−T VCEG(Q6/16)及びISO/IEC MPEG(JTC 1/SC29/WG11)は、現在のHEVC規格(スクリーンコンテンツ符号化及び高ダイナミックレンジ符号化のための、その現在の拡張及び極めて近い将来の拡張を含む)のものを有意に超える圧縮能力を有する将来のビデオ符号化技術の標準化の潜在的な必要性を研究している。委員会は、当分野のそれらの専門家により提案された圧縮技術設計を評価するために、共同ビデオ探索チーム(Joint Video Exploration Team (JVET))として知られている共同連携努力においてこの探求活動に一緒に取り組んでいる。
VTM(Versatile Test Model)は35個のイントラモードを使用し、一方で、BMS(Benchmark Set)は67個のイントラモードを使用する。イントラ予測は、所与のフレームのみが含まれ得る場合に圧縮効率を向上するために、多くのビデオ符号化の枠組みの中で使用されるメカニズムである。
図1は、本願(本開示)の技術を利用し得る例示的な符号化システム10、例えばビデオ符号化システム10を示す概念的又は概略的ブロック図である。ビデオ符号化システム10のエンコーダ20(例えば、ビデオエンコーダ20)及びデコーダ30(例えば、ビデオデコーダ30)は、本願で説明される種々の例に従う技術を実行するよう構成され得る装置の例を表す。図1に示すように、符号化システム10は、符号化データ13、例えば符号化ピクチャ13を、例えば符号化データ13を復号する宛先装置14に提供するよう構成されるソース装置12を含む。
ソース装置12は、エンコーダ20を含み、追加でつまり任意で、ピクチャソース16、前処理ユニット18、例えばピクチャ前処理ユニット18、及び通信インタフェース又は通信ユニット22を含んでもよい。
ピクチャソース16は、例えば現実のピクチャをキャプチャする任意の種類のピクチャキャプチャ装置、及び/又は任意の種類のピクチャ若しくはコメント(スクリーンコンテンツ符号化では、スクリーン上の何らかのテキストも符号化されるべきピクチャ又は画像の一部と考えられる)生成装置、例えばコンピュータアニメーションピクチャを生成するコンピュータグラフィックプロセッサ、又は現実のピクチャ、コンピュータアニメーションピクチャ(例えば、スクリーンコンテンツ、仮想現実(virtual reality (VR))ピクチャ)及び/又はそれらの任意の組み合わせ(例えば、拡張現実(augmented reality (AR))ピクチャ)を取得し及び/又は提供する任意の種類の装置、を含んでよく又はそれであってよい。
(デジタル)ピクチャは、強度値を有するサンプルの2次元配列又は行列と考えられる又は考えることができる。配列の中のサンプルは、ピクセル(pixel)(ピクチャ要素の短縮形)又はペル(pel)とも呼ばれてよい。配列又はピクチャの水平及び垂直方向(又は軸)にあるサンプルの数は、ピクチャのサイズ及び/又は解像度を定める。色の表現のために、標準的に3つの色成分が利用される。つまり、ピクチャは、3つのサンプル配列で表現され又はそれらを含んでよい。RBG形式又は色空間では、ピクチャは、対応する赤、緑、及び青色サンプル配列を含む。しかしながら、ビデオ符号化では、各ピクセルは、標準的に、輝度/色度形式、又は色空間、例えば、Y(時には代わりにLが使用されることもある)により示される輝度成分と及びCb及びCrにより示される2つの色度成分を含むYCbCrとで表現される。輝度(又は略してluma)成分Yは、明るさ又はグレーレベル強度(例えば、グレイスケールピクチャにおけるような)を表現する。一方で、2つの色度(又は略してchroma)成分Cb及びCrは、色度又は色情報成分を表現する。したがって、YCbCr形式のピクチャは、輝度サンプル値(Y)の輝度サンプル配列と、色度値(Cb及びCr)の2つの色度サンプル配列とを含む。RGB形式のピクチャは、YCbCr形式に転換され又は変換されてよく、逆も同様であり、その処理は色転換又は色変換としても知られる。ピクチャが単色である場合、ピクチャは、輝度サンプル配列のみを含んでよい。
ピクチャソース16(例えば、ビデオソース16)は、例えばピクチャをキャプチャするカメラ、前にキャプチャした若しくは生成したピクチャを含む若しくは格納するメモリ、例えばピクチャメモリ、及び/又はピクチャを取得し若しくは受信するための任意の種類の(内部又は外部)インタフェースであってよい。カメラは、例えば、ソース装置に統合されたローカル又は内蔵カメラであってよい。メモリは、例えばソース装置に統合されたローカル又は内蔵メモリであってよい。インタフェースは、例えば、ピクチャを外部ビデオソース、例えばカメラのような外部ピクチャキャプチャ装置、外部メモリ、又は外部ピクチャ生成装置、例えば外部コンピュータグラフィックプロセッサ、コンピュータ若しくはサーバから受信する外部インタフェースであってよい。インタフェースは、任意の特性又は標準化インタフェースプロトコルに従い、任意の種類のインタフェース、例えば有線若しくは無線インタフェース、光インタフェースであり得る。ピクチャデータ17を取得するインタフェースは、通信インタフェース22と同じインタフェース又はその一部であってよい。
前処理ユニット18及び前処理ユニット18により実行される処理と区別して、ピクチャ又はピクチャデータ17(例えばビデオデータ16)は、生ピクチャ又は生ピクチャデータ17とも呼ばれてよい。
前処理ユニット18は、(生)ピクチャデータ17を受信し、ピクチャデータ17に前処理を実行して、前処理済みピクチャ19又は前処理済みピクチャデータ19を取得するよう構成される。前処理ユニット18により実行される前処理は、例えばトリミング、色形式変換(例えば、RGBからYCbCrへ)、色補正、又はノイズ除去を含んでよい。前処理ユニット18は任意のコンポーネントであってよいことが理解できる。
エンコーダ20(例えばビデオエンコーダ20)は、前処理済みピクチャデータ19を受信し、符号化ピクチャデータ21を提供するよう構成される(更なる詳細は、例えば図2に基づき後述される)。
ソース装置12の通信インタフェース22は、符号化ピクチャデータ21を受信し、それを別の装置、例えば宛先装置14若しくは任意の他の装置へと、記憶又は直接再構成のために伝送し、又は、符号化データ13を格納する、及び/又は別の装置、例えば宛先装置14又は復号又は格納のための任意の他の装置へと符号化データ13を伝送する前に、それぞれ符号化データ21を処理するよう構成されてよい。
宛先装置14は、デコーダ30(例えば、ビデオデコーダ30)を含み、追加で、つまり任意で、通信インタフェース又は通信ユニット28、後処理ユニット32、及びディスプレイ装置34を含んでよい。
宛先装置14の通信インタフェース28は、符号化ピクチャデータ21又は符号化データ13を、例えばソース装置12から直接に又は任意の他のソース、例えば記憶装置、例えば符号化ピクチャデータ記憶装置から受信するよう構成される。
通信インタフェース22及び通信インタフェース28は、符号化ピクチャデータ21又は符号化データ13を、ソース装置12と宛先装置14との間の直接通信リンク、例えば直接有線又は無線接続、又は任意の種類のネットワーク、例えば有線又は無線ネットワーク、又はそれらの任意の組み合わせ、又は任意の種類の私設又は公衆ネットワーク、又はそれらの任意の種類の組み合わせを介して送信又は受信するよう構成されてよい。
通信インタフェース22は、通信リンク又は通信ネットワークを介して伝送するために、例えば、符号化ピクチャデータ21を適切な形式、例えばパケットにパッケージするよう構成されてよい。
通信インタフェース22の相手方を形成する通信インタフェース28は、例えば、符号化データ13をパッケージ解除して符号化ピクチャデータ21を取得するよう構成されてよい。
通信インタフェース22及び通信インタフェース28の両者は、図1Aのソース装置12から宛先装置14を指す符号化データ13の矢印により示されるように、単方向通信インタフェース、又は、双方向通信インタフェースとして構成されてよく、例えば接続を確立するため、通信リンク及び/又はデータ伝送、例えば符号化ピクチャデータ伝送に関連する任意の他の情報を肯定応答し及び交換するために、例えばメッセージを送信し及び受信するよう構成されてよい。
デコーダ30は、符号化ピクチャデータ21を受信し、復号ピクチャデータ31又は復号ピクチャ31を提供するよう構成される(更なる詳細は、例えば図3に基づき後述される)。
宛先装置14の後処理32は、復号ピクチャデータ31(再構成済みピクチャデータとも呼ばれる)、例えば復号ピクチャ31を後処理して、後処理済みピクチャデータ33、例えば後処理済みピクチャ33を取得するよう構成される。後処理ユニット32により実行される後処理は、例えば色形式変換(例えば、YCbCrからRGBへ)、色補正、トリミング、又は再サンプリング、又は、例えば復号ピクチャデータ31を例えばディスプレイ装置34による表示のために準備するための任意の他の処理、を含んでよい。
宛先装置14のディスプレイ装置34は、例えばユーザ又は見る人にピクチャを表示するために、後処理済みピクチャデータ33を受信するよう構成される。ディスプレイ装置34は、再構成済みピクチャを提示する任意の種類のディスプレイ、例えば内蔵又は外部ディスプレイ又はモニタであり又はそれを含んでよい。ディスプレイは、例えば液晶ディスプレイ(liquid crystal displays (LCD))、有機発光ダイオード(organic light emitting diodes (OLED))ディスプレイ、プラズマディスプレイ、プロジェクタ、マイクロLEDディスプレイ、シリコン上の液晶(liquid crystal on silicon (LCoS))、デジタル光プロセッサ(digital light processor(DLP))又は任意の種類の他のディスプレイを含んでよい。
図1はソース装置12及び宛先装置14を別個の装置として示すが、装置の実施形態は、ソース装置12又は対応する機能と宛先装置14又は対応する機能の両方又は両方の機能を含んでもよい。このような実施形態では、ソース装置12又は対応する機能及び宛先装置14又は対応する機能は、同じハードウェア及び/又はソフトウェア又は別個のハードウェア及び/又はソフトウェア又はそれらの任意の組み合わせを用いて実装されてよい。
説明に基づき当業者に明らかになるであろうように、図1に示されるようなソース装置12及び/又は宛先装置14内の異なるユニット又は機能の存在及びその(正確な)分割は、実際の装置及び用途に依存して変化してよい。
エンコーダ20(例えば、ビデオエンコーダ20)及びデコーダ30(例えば、ビデオデコーダ30)の各々は、1つ以上のマイクロプロセッサ、デジタル信号プロセッサ(digital signal processors (DSP))、特定用途向け集積回路(application−specific integrated circuits (ASIC))、フィールドプログラマブルゲートアレイ(field−programmable gate arrays (FPGA))、個別ロジック、ハードウェア、又はそれらの任意の組み合わせのような、様々な適切な回路のうちのいずれか1つとして実装されてよい。技術が部分的にソフトウェアで実装される場合、装置は、適切な非一時的コンピュータ可読記憶媒体内のソフトウェアのための命令を格納してよく、命令をハードウェアで1つ以上のプロセッサを用いて実行して、本開示の技術を実行してよい。前述のいずれか1つ(ハードウェア、ソフトウェア、ハードウェアとソフトウェアとの組み合わせ、等を含む)は、1つ以上のプロセッサであると考えられてよい。ビデオエンコーダ20及びビデオデコーダ30の各々は、1つ以上のエンコーダ又はデコーダに含まれてよく、いずれも、結合されたエンコーダ/デコーダ(encoder/decoder, CODEC)の部分としてそれぞれの装置内に統合されてよい。
図2は、本願の技術を実施するよう構成される例示的なビデオエンコーダ20の概略的/概念的ブロック図を示す。図2の例では、ビデオエンコーダ20は、残差計算ユニット204、変換処理ユニット206、量子化ユニット208、逆量子化ユニット210及び逆変換処理ユニット212、再構成ユニット214、バッファ216、ループフィルタユニット220、復号ピクチャバッファ(decoded picture buffer (DPB))230、予測処理ユニット260、及びエントロピー符号化ユニット270を含む。予測処理ユニット260は、インター予測ユニット244、イントラ予測処理ユニット254、及びモード選択ユニット262を含んでよい。インター予測ユニット244は、動き推定ユニット及び動き補償ユニット(図示しない)を含んでよい。図2に示すようなビデオエンコーダ20は、ハイブリッドビデオエンコーダ又はハイブリッドビデオコーデックに従うビデオエンコーダとも呼ばれてよい。
例えば、残差計算ユニット204、変換処理ユニット206、量子化ユニット208、予測処理ユニット260、及びエントロピー符号化ユニット270は、エンコーダ20の順方向信号経路を形成する。一方で、例えば、逆量子化ユニット210、逆変換処理ユニット212、再構成ユニット214、バッファ216、ループフィルタ220、復号ピクチャバッファ(decoded picture buffer (DPB))230、予測処理ユニット260は、エンコーダの逆方向信号経路を形成し、エンコーダの逆方向信号経路はデコーダの信号経路に対応する(図3のデコーダ30を参照)。
エンコーダ20は、例えば入力202により、ピクチャ201又はピクチャ201のブロック203、例えばビデオ又はビデオシーケンスを形成するピクチャのシーケンスのピクチャを受信するよう構成される。ピクチャブロック203は、(特に、ビデオ符号化では、現在ピクチャを他のピクチャ、例えば同じビデオシーケンス、つまり現在ピクチャも含むビデオシーケンスの前の符号化及び/又は復号ピクチャと区別するために)現在ピクチャブロック又は被符号化ピクチャブロック、及び現在ピクチャ又は被符号化ピクチャとしてのピクチャ201とも呼ばれてよい。
予測処理ユニット260は、ブロック予測処理ユニット260とも呼ばれ、ブロック203(現在ピクチャ201の現在ブロック203)及び再構成ピクチャデータ、例えば同じ(現在)ピクチャの参照サンプルをバッファ216から、及び/又は1又は複数の前に復号したピクチャからの参照ピクチャデータ231を復号ピクチャバッファ230から受信し又は取得し、このようなデータを予測のために処理し、つまりインター予測ブロック245又はイントラ予測ブロック255であってよい予測ブロック265を提供するよう構成される。
モード選択ユニット262は、予測モード(例えば、イントラ又はインター予測モード)及び/又は残差ブロック205の計算のために及び再構成ブロック215の再構成のために予測ブロック265として使用されるべき対応する予測ブロック245又は255を選択するよう構成されてよい。
モード選択ユニット262の実施形態は、最も適する又は言い換えると最小残差(最小残差は伝送又は記憶のためのより良い圧縮を意味する)又は最小シグナリングオーバヘッド(最小シグナリングオーバヘッドは伝送又は記憶のためのより良い圧縮を意味する)を提供する又は両者を考慮する若しくはバランスを取る予測モードを(例えば、予測処理ユニット260によりサポートされるものから)選択するよう構成されてよい。モード選択ユニット262は、レート歪み最適化(rate distortion optimization, RDO)に基づき、予測モードを決定するよう、つまり、最小のレート歪み最適化を提供する若しくは予測モード選択基準を少なくとも満たすレート歪みに関連する予測モードを選択するよう構成されてよい。
イントラ予測ユニット254は、イントラ予測パラメータ、例えば選択されたイントラ予測モードに基づき、イントラ予測ブロック255を決定するよう更に構成される。いずれの場合にも、ブロックのイントラ予測モードを選択した後に、イントラ予測ユニット254は、また、イントラ予測パラメータ、つまり、ブロックについて選択されたイントラ予測モードを示す情報をエントロピー符号化ユニット270に提供するよう構成される。一例では、イントラ予測ユニット254は、後述するイントラ予測技術の任意の組み合わせを実行するよう構成されてよい。
図3は、本願の技術を実施するよう構成される例示的なビデオデコーダ30である。ビデオデコーダ30は、復号ピクチャ131を取得するために、例えばエンコーダ100により符号化された符号化ピクチャデータ(例えば、符号化ビットストリーム)21を受信するよう構成される。復号処理の間、ビデオデコーダ30は、ビデオデータ、例えば符号化ビデオスライスのピクチャブロック及び関連するシンタックス要素を表す符号化ビデオビットストリームを、ビデオエンコーダ100から受信する。
図3の例では、デコーダ30は、エントロピー復号ユニット304、逆量子化ユニット310、逆変換処理ユニット312、再構成ユニット314(例えば、加算器314)、バッファ316、ループフィルタ320、復号ピクチャバッファ330、及び予測処理ユニット360を含む。予測処理ユニット360は、インター予測ユニット344、イントラ予測処理ユニット354、及びモード選択ユニット362を含んでよい。ビデオデコーダ30は、幾つかの例では、図2からビデオエンコーダ100に関して説明した符号化経路に対して通常相互的な復号経路を実行してよい。
エントロピー復号ユニット304は、エントロピー復号を、符号化ピクチャデータ21に対して実行して、例えば量子化された係数309、及び/又は復号された符号化パラメータ(図3に示されない)、例えばインター予測パラメータ、イントラ予測パラメータ、ループフィルタパラメータ、及び/又は他のシンタックス要素のうちの(復号された)いずれか又は全部を取得するよう構成される。エントロピー復号ユニット304は、インター予測パラメータ、イントラ予測パラメータ、及び/又は他のシンタックス要素を、予測処理ユニット360に転送するよう更に構成される。ビデオデコーダ30は、ビデオスライスレベル及び/又はビデオブロックレベルのシンタックス要素を受信してよい。
逆量子化ユニット310は逆量子化ユニット110と機能的に同一であってよく、逆変換処理ユニット312は逆変換処理ユニット112と機能的に同一であってよく、再構成ユニット314は再構成ユニット114と機能的に同一であってよく、バッファ316はバッファ116と機能的に同一であってよく、ループフィルタ320はループフィルタ120と機能的に同一であってよく、復号ピクチャバッファ330は復号ピクチャバッファ130と機能的に同一であってよい。
予測処理ユニット360は、インター予測ユニット344及びイントラ予測ユニット354を含んでよい。ここで、インター予測ユニット344はインター予測ユニット144と機能的に似ていてよく、イントラ予測ユニット354はイントラ予測ユニット154と機能的に似ていてよい。予測処理ユニット360は、標準的に、ブロック予測を実行し、及び/又は予測ブロック365を符号化データ21から取得し、及び予測関連パラメータ及び/又は選択された予測モードに関する情報を、例えばエントロピー復号ユニット304から(明示的に又は暗示的に)受信し又は取得するよう構成される。
ビデオスライスがイントラ符号化(intra coded(I))スライスとして符号化されるとき、予測処理ユニット360のイントラ予測ユニット354は、シグナリングされたイントラ予測モード及び現在フレーム又はピクチャの前に復号されたブロックからのデータに基づき、現在ビデオスライスのピクチャブロックについて予測ブロック365を生成するよう構成される。ビデオフレームがインター符号化(つまり、B又はP)スライスとして符号化されるとき、予測処理ユニット360のインター予測ユニット344(例えば動き補償ユニット)は、動きベクトル及びエントロピー復号ユニット304から受信した他のシンタックス要素に基づき、現在ビデオスライスのビデオブロックについて予測ブロック365を生成するよう構成される。インター予測では、予測ブロックは、参照ピクチャリストのうちの1つの中の参照ピクチャのうちの1つから生成されてよい。ビデオデコーダ30は、DPB330に格納された参照ピクチャに基づき、規定構成技術を用いて、参照フレームリスト、リスト0及びリスト1、を構成してよい。
予測処理ユニット360は、動きベクトル及び他のシンタックス要素をパースすることにより、現在ビデオスライスのビデオブロックについて予測情報を決定し、予測情報を使用して、復号中の現在ビデオブロックについて予測ブロックを生成するよう構成される。例えば、予測処理ユニット360は、受信したシンタックス要素のうちの幾つかを使用して、ビデオスライスのビデオブロックを符号化するために使用される予測モード(例えば、イントラ又はインター予測)、インター予測スライスタイプ(例えば、Bスライス、Pスライス、又はGPBスライス)、スライスの参照ピクチャリストのうちの1つ以上の構成情報、スライスの各インター符号化ビデオブロックの動きベクトル、スライスの各インター符号化ビデオブロックのインター予測状態、及び現在ビデオスライス内のビデオブロックを復号するための他の情報を決定する。
逆量子化ユニット310は、ビットストリーム内で提供され、エントロピー復号ユニット304により復号された量子化された変換係数を逆量子化、つまり量子化解除するよう構成される。逆量子化処理は、ビデオスライス内の各ビデオブロックに対して、ビデオエンコーダ100により計算された量子化パラメータを使用して、量子化の程度、及び同様に適用されるべき逆量子化の程度を決定することを含んでよい。
逆変換処理ユニット312は、ピクセルドメインにおいて残差ブロックを生成するために、逆変換、例えば、逆DCT、逆整数変換、又は概念的に類似する逆変換処理を、変換係数に適用するよう構成される。
再構成ユニット314(例えば、加算器314)は、逆変換ブロック313(つまり再構成された残差ブロック313)を予測ブロック365に加算して、例えば再構成された残差ブロック313のサンプル値と予測ブロック365のサンプル値とを加算することにより、サンプルドメイン内の再構成ブロック315を取得するよう構成される。
ループフィルタユニット320(符号化ループ内にある又は符号化ループの後にある)は、再構成されたブロック315をフィルタリングして、フィルタリング済みブロック321を取得するよう、例えばピクセル遷移を円滑化するよう或いはビデオ品質を向上するよう構成される。一例では、ループフィルタユニット320は、後述するフィルタリング技術の任意の組み合わせを実行するよう構成されてよい。ループフィルタユニット320は、逆ブロッキングフィルタ、サンプル適応オフセット(sample−adaptive offset (SAO))フィルタ又は他のフィルタ、例えばバイラテラルフィルタ又は適応ループフィルタ(adaptive loop filter (ALF))又は先鋭化若しくは円滑化フィルタ又は共同フィルタのような1つ以上のループフィルタを表すことを意図する。ループフィルタユニット320はループフィルタ内にあるとして図3に示されるが、他の構成では、ループフィルタユニット320は後置きループフィルタとして実装されてよい。
所与のフレーム又はピクチャ内の復号ビデオブロック321は、次に、後の動き補償のために使用される参照ピクチャを格納する復号ピクチャバッファ330に格納される。
デコーダ30は、ユーザへの提示又は閲覧のために、復号ピクチャ331を、例えば出力332を介して出力するよう構成される。
ビデオデコーダ30の他の変形は、圧縮ビットストリームを復号するために使用され得る。例えば、デコーダ30は、ループフィルタリングユニット320を有しないで、出力ビデオストリームを生成できる。例えば、非変換に基づくデコーダ30は、逆変換処理ユニット312を有しないで、特定のブロック又はフレームについて、残差信号を直接逆量子化できる。別の実装では、ビデオデコーダ30は、結合されて単一のユニットになった、逆量子化ユニット310及び逆変換処理ユニット312を有し得る。
図4A及び4Bに示すように、JEMの最新バージョンは、スキューイントラ予測方向に対応する幾つかのモードを有する。これらのモードのうちのいずれかでは、ブロックの辺の中の対応する位置が分数である場合、ブロックの中でサンプルを予測するために、近隣参照サンプルのセットの補間が実行されるべきである。HEVC及びVVCは、2つの隣接参照サンプルの間の線形補間を使用する。JEMは、より高度な4タップ補間フィルタを使用する。フィルタ係数は、幅又は高さ値に依存してガウス又はキュービック係数のいずれかとなるよう選択される。幅又は高さを使用するかについての決定は、主な参照辺の選択についての決定と調和させられる。イントラ予測モードが対角モードより大きい又は等しいとき、参照サンプルの上辺が、主な参照辺として選択され、使用中の補間フィルタを決定するために幅値が選択される。或いは、主な辺参照は、ブロックの左側から選択され、高さはフィルタ選択処理を制御する。具体的に、選択された辺の長さが8サンプル以下である場合、キュービック補間4タップが適用される。その他の場合、補間フィルタは4タップガウスフィルタである。
図4Aは、例えばVVCのために提案されているような67個のイントラ予測モードの例を示す。67個のイントラ予測モードのうちの複数のイントラ予測は、平面モード(インデックス0)、DCモード(インデックス1)、及びインデックス2〜66を有する角度モードを含む。ここで、図4Aの左下の角度モードはインデックス2を表し、インデックスの番号付けは、インデックス66が図4Aの最も右上の角度モードになるまでインクリメントされる。図4Bに示すように、VVCの最新バージョンは、広角方向(破線として示される)を含むスキューイントラ予測方向に対応する幾つかのモードを有する。これらのモードのうちのいずれかでは、ブロックの辺の中の対応する位置が分数である場合、ブロックの中でサンプルを予測するために、近隣参照サンプルのセットの補間が実行されるべきである。
JEMで使用される特定のフィルタ係数は表1に示される。予測サンプルは、サブピクセルオフセット及びフィルタタイプに従い、表1から選択された係数による畳み込みにより、以下のように計算される。
Figure 2021533618
この式で、「>>」はビット毎の右シフト演算を示す。
キュービックフィルタが選択された場合、予測サンプルは、SPSで定義される又は選択されたコンポーネントのビット深さから導出される許容値範囲に更にクリッピングされる。
[表1]イントラ予測補間フィルタ
Figure 2021533618
動き補償処理も、参照ブロックのピクセルの変位が分数であるとき、サンプル値を予測するためにフィルタリングを利用する。JEMでは、輝度成分に対して8タップフィルタリングが使用され、色度成分について4タップ長フィルタリングが使用される。動き補間フィルタは、先ず水平方向に適用され、水平フィルタリングの出力は更に垂直方向にフィルタリングされる。4タップ色度フィルタの係数は、表2に示される。
[表2]色度動き補間フィルタ係数
Figure 2021533618
従来のビデオ符号化ソリューションは、イントラ及びインター予測で異なる補間フィルタを使用する。特に、図5〜11は、補間フィルタの異なる例を示す。例えば、図5は、JEMで使用される補間フィルタを示し、図6は、コアエクスペリメント(Core Experiment)CE3−3.1.3(JVET−K1023)のために提案された補間フィルタを示す。
ピクセル値を補間する色度動き補償サブペルフィルタのルックアップテーブル及びハードウェアモジュールは、それらが参照サンプルの間の分数位置に含まれる場合、イントラ予測器の中で再利用されてよい。インター及びイントラ予測の両方に同じハードウェアが使用されることが意図されるので、フィルタ係数の精度は一致すべきである。つまり、イントラ参照サンプル補間のフィルタ係数を表すビット数は、サブペル動き補償補間フィルタリングの係数精度と揃えられるべきである。
図12は、提案された発明の実施形態を示す。破線の「色度のための6ビット係数を有する4タップ補間フィルタ」(更に「統一イントラ/インターフィルタ」と呼ばれる)は、両方の処理、イントラ及びインター予測サンプルの補間のために使用されてよい。
この設計を利用する特定の実施形態は図13に示される。この実装では、フィルタリングモジュールは、動き補償における色度サンプルの予測と、イントラ予測を実行するときの輝度及び色度サンプルの予測と、の両方に従事する別個のユニットとして実装されている。この実装では、ハードウェアフィルタリング部分は、イントラ及びインター予測処理の両方で使用されている。
別の実施形態は、フィルタ係数のLUTのみが再利用されるときの実装を示す(図14を参照)。この実装では、ハードウェアフィルタリングモジュールは、ROMに格納されたLUTから係数をロードする。イントラ予測処理の中に示されるスイッチは、イントラ予測処理のために選択された主な辺の長さに依存して、使用されるフィルタタイプを決定する。
提案された用途の実用的な実施形態は、以下の係数を使用してよい(表3A及び表3Bを参照)。
[表3A]イントラ及びインター補間フィルタ
Figure 2021533618
[表3B]イントラ及びインター補間フィルタ
Figure 2021533618
イントラ予測サンプルは、サブピクセルオフセット及びフィルタタイプに従い、表3A又は表3Bから選択された係数による畳み込みにより、以下のように計算される。
Figure 2021533618
この式で、「>>」はビット毎の右シフト演算を示す。
「統一イントラ/インターフィルタ」フィルタが選択された場合、予測サンプルは、SPSで定義される又は選択されたコンポーネントのビット深さから導出される許容値範囲に更にクリッピングされる。
イントラ参照サンプル補間及びサブペル動き補償補間に対して、同じフィルタが使用でき、ハードウェアモジュールを再利用し、及び必要なメモリの合計サイズを削減する。
再利用されるフィルタに加えて、イントラ参照サンプル補間のために使用されるフィルタ係数の精度は、上述の再利用されるフィルタの係数の精度と揃えられるべきである。
動き補償におけるルマ処理は、必ずしも8タップフィルタリングを使用せず、4タップフィルタリング上でも動作してよい。この場合、4タップフィルタは統一されるために選択され得る。
実施形態は、補間を含み得るイントラ予測処理の異なる部分において適用されてよい。特に、主な参照サンプルを拡張するとき、辺の参照サンプルは、統一補間フィルタを用いてフィルタリングされてもよい(詳細についてはJVET−K0211を参照)。
イントラブロック複製演算も、提案される発明を使用してよい補間ステップを含む(イントラブロック複製の説明については、[Xiaozhong Xu, Shan Liu, Tzu−Der Chuang, Yu−Wen Huang, Shawmin Lei, Krishnakanth Rapaka, Chao Pang, Vadim Seregin, Ye−Kui Wang, Marta Karczewicz: Intra Block Copyin HEVC Screen Content Coding Extensions. IEEE J. Emerg. Sel. Topics Circuits Syst. 6(4): 409−419 (2016)]を参照)。
イントラ予測のためのアスペクト比に依存するフィルタリングの方法が開示され、該方法は、ブロックのアスペクト比に依存して予測されるべきブロックの補間フィルタを選択するステップを含む。
一例では、補間フィルタを選択するステップは、予測されるべきブロックのイントラ予測モードを閾値設定するための方向に依存する。
一例では、方向は、予測されるべきブロックの主対角線の角度に対応する。
一例では、方向の角度は以下のように計算される。
Figure 2021533618
ここで、W,Hは、それぞれ予測されるべきブロックの幅及び高さである。
一例では、アスペクト比は、
Figure 2021533618
ここで、W,Hは、それぞれ予測されるべきブロックの幅及び高さである。
一例では、予測されるべきブロックの主対角線の角度は、アスペクト比に基づき決定される。
一例では、ブロックのイントラ予測モードの閾値は、予測されるべきブロックの主対角線の角度に基づき決定される。
一例では、補間フィルタを選択するステップは、使用中の参照サンプルがどの辺に属するかに依存する。
一例では、イントラ方向に対応する角度を有する直線は、ブロックを2つの領域に分割する。
一例では、異なる領域に属する参照サンプルは、異なる補間フィルタを用いて予測される。
一例では、フィルタは、キュービック補間フィルタ又はガウス補間フィルタを含む。
本願の一実装形式では、フレームはピクチャと同じである。
本願の一実装形式では、VER_IDXに対応する値は50であり、HOR_IDXに対応する値は18であり、VDIA_IDXに対応する値は66であり、この値は角度モードに対応する値の中で最大値であってよく、イントラモード2に対応する値2は角度モードに対応する値の中で最小値であってよく、DIA_IDXに対応する値は34である。
本開示は、イントラモードシグナリング方式の向上を目標とする。本開示では、ビデオ復号方法及びビデオデコーダが提案される。
本願の別の態様では、上述の復号方法を実行するよう構成される処理回路を含むデコーダが開示される。
本願の別の態様では、上述の復号方法を実行するためのプログラムコードを含むコンピュータプログラムプロダクトが開示される。
本願の別の態様では、ビデオデータを復号するデコーダが開示される。前記デコーダは、1つ以上のプロセッサと、プロセッサに結合されプロセッサによる実行のためのプログラミングを格納する非一時的コンピュータ可読記憶媒体であって、該プログラミングは、プロセッサにより実行されると、上述の復号方法を実行するようデコーダを構成する、非一時的コンピュータ可読記憶媒体と、を含む。
処理回路は、ハードウェアで、又はハードウェアとソフトウェアとの組み合わせで、例えばソフトウェアプログラマブルプロセッサ等により、実装できる。
処理回路は、ハードウェアで、又はハードウェアとソフトウェアとの組み合わせで、例えばソフトウェアプログラマブルプロセッサ等により、実装できる。
H.264/AVC及びHEVCは、イントラ予測処理で使用される前に、参照サンプルに低域通過フィルタが適用され得ることを指定する。参照サンプルフィルタを使用するか否かの決定は、イントラ予測モード及びブロックサイズにより決定される。このメカニズムは、モード依存イントラ平滑化(Mode Dependent Intra Smoothing (MDIS))と呼ばれてよい。MDISに関連する複数の方法も存在する。例えば、適応型参照サンプル平滑化(Adaptive Reference Sample Smoothing (ARSS))方法は、明示的に(つまり、フラグがビットストリームに含まれる)又は暗示的に(つまり、例えば、シグナリングオーバヘッドを削減するために、ビットストリームにフラグを入れることを回避するために、データ隠蔽が使用される)、予測サンプルがフィルタリングされるか否かをシグナリングしてよい。この場合、エンコーダは、全ての可能なイントラ予測モードについてレート歪み(Rate−Distortion (RD))コストをテストすることにより、平滑化について決定を行ってよい。
図4A及び4Bに示すように、JEM(JEM−7.2)の最新バージョンは、スキューイントラ予測方向に対応する幾つかのモードを有する。これらのモードのうちのいずれかでは、ブロックの辺の中の対応する位置が分数である場合、ブロックの中でサンプルを予測するために、近隣参照サンプルのセットの補間が実行されるべきである。HEVC及びVVCは、2つの隣接参照サンプルの間の線形補間を使用する。JEMは、より高度な4タップ補間フィルタを使用する。フィルタ係数は、幅又は高さ値に依存してガウス又はキュービック係数のいずれかとなるよう選択される。幅又は高さを使用するかについての決定は、主要な参照辺の選択についての決定と調和させられる。イントラ予測モードが対角モードより大きい又は等しいとき、参照サンプルの上辺が、主な参照辺として選択され、使用中の補間フィルタを決定するために幅値が選択される。或いは、主な辺参照は、ブロックの左側から選択され、高さはフィルタ選択処理を制御する。具体的に、選択された辺の長さが8サンプル以下である場合、キュービック補間4タップが適用される。その他の場合、補間フィルタは4タップガウスフィルタである。
32×4ブロックの場合の対角モード(45°として示される)より小さい及び大きいモードの補間フィルタ選択の一例は、図15に示される。
VVCでは、4分木及び2分木の両方に基づくQTBTとして知られるパーティションメカニズムが使用される。図16に示すように、QTBTパーティショニングは、正方形だけでなく長方形のブロックも提供できる。勿論、HEVC/H.264規格で使用される従来の4分木に基づくパーティショニングと比べて、幾らかのシグナリングオーバヘッド及びエンコーダ側での増大する計算の複雑さは、QTBTパーティショニングの代償である。それでもなお、QTBTに基づくパーティショニングは、より良いセグメント化特性を有し、従って、従来の4分木より有意に高い符号化効率を実証する。
しかしながら、VVCは、その現在の状態では、参照サンプルの両辺(左及び上の辺)に同じフィルタを適用する。ブロックが垂直方向又は水平方向に向けられているかに関わらず、参照サンプルフィルタは、両方の参照サンプルの辺について同じである。
本文書では、用語「垂直方向に向けられたブロック」(「ブロックの垂直方向」)及び「水平方向に向けられたブロック」(「ブロックの水平方向」)は、QTBTフレームワークにより生成された長方形ブロックに適用される。これらの用語は、図17に示すのと同じ意味を有する。
本開示は、ブロックの方向を考慮するために、異なる参照サンプルフィルタを選択するメカニズムを提案する。具体的には、ブロックの幅及び高さは、個別にチェックされる。従って、異なる参照サンプルフィルタは、予測されるべきブロックの異なる辺に位置する参照サンプルに適用される。
従来技術を復習すると、補間フィルタ選択は主な参照辺選択についての決定と調和させられると説明された。これらの決定の両方は、現在、イントラ予測モードの対角(45度)方向との比較に依存する。
しかしながら、この設計は細長いブロックについて深刻な欠点を有することが分かる。図18から、モード比較基準を用いて、短い辺が主な参照として選択された場合でも、依然として、予測ピクセルの大部分が、より長い辺の参照サンプルから導出されるであろうこと(破線領域として示される)が分かる。
本開示は、補間フィルタ選択処理の間に、イントラ予測モードを閾値設定する代替方向を使用すること提案する。具体的に、方向は、予測されるべきブロックの主対角線の角度に対応する。例えば、サイズ32×4及び4×32のブロックでは、参照サンプルフィルタを決定するために使用される閾値モードmTは、図19に示されるように定義される。
閾値イントラ予測角度の特定の値は、次式を用いて計算され得る。
Figure 2021533618
ここで、W及びHはそれぞれブロック幅及び高さである。
本開示の別の実施形態は、使用されている参照サンプルがどの辺に属するかに依存して異なる補間フィルタの使用することである。この決定の一例は図20に示される。
イントラ方向mに対応する角度を有する直線は、予測ブロックを2つの領域に分割する。異なる領域に属するサンプルは、異なる補間フィルタを用いて予測される。
(BMS1.0で定義されたイントラ予測モードのセットについて)mの例示的な値、及び対応する角度は、表4に示される。角度αは図19〜20に示されるように与えられる。
[表4](BMS1.0で定義されたイントラ予測モードのセットについて)mの例示的な値
Figure 2021533618
既存の技術及びソリューションと比べて、本開示は、異なる補間フィルタを用いて予測されるブロック内のサンプルを使用する。ここで、サンプルを予測するために使用される補間フィルタはブロック形状、水平又は垂直である方向、及びイントラ予測モード角度に従い選択される。
本開示は、参照サンプルフィルタリングの段階で適用されてよい。特に、補間フィルタ選択処理について上述したのと同様のルールを用いて、参照サンプル平滑化フィルタを決定することが可能である。
補間フィルタリングに加えて、参照サンプルフィルタリングは、また、イントラ予測器内でサンプルを予測する直前に、参照サンプルに適用できる。参照サンプルフィルタリングの後に取得されたフィルタリング済み参照サンプルは、イントラ予測モードの選択された方向に従いイントラ予測器内でそれらを対応するサンプルにコピーするため、又は更なる補間フィルタリングのために、使用できる。以下のフィルタは、このように参照サンプルに適用できる。
[表5]例示的な参照サンプルフィルタ
Figure 2021533618
方向予測の結果は、以下を含む異なる手段により取得された予測の結果と組み合わせられ得る。
・境界平滑化、
・PDPC及び簡易PDPC。
境界平滑化及びPDPCの場合、予測ブロックの幾つかの第1列又は幾つかの第1行が、近隣サンプルから生成された追加予測信号と組み合わせられる。
簡易PDPCの特定の実装は、イントラ予測モードに依存して異なる方法で実行され得る。
平面、DC、HOR/VERイントラ予測モード(図4A及び図4Bにそれぞれ0、1、18、50として示される)について、以下のステップが実行される。
(x,y)に位置する予測サンプルP(x,y)は以下のように計算される。
Figure 2021533618
ここで、Rx,−1、R−1,yは、現在サンプル(x,y)の上及び左に位置する参照サンプルを表し、R−1,−1は現在ブロックの左上角の位置する参照サンプルを表す。DCモード重みは以下のように計算される。
Figure 2021533618
平面モードではwTL=0であり、一方で水平モードではwTL=wTであり、垂直モードではwTL=wLである。1個の4×4ブロックの内側の(0,0)及び(1,0)位置のDCモードPDPC重み(wL,wT,wTL)が示される。
対角(図4A及び図4Bで2及び66として示される)及び隣接モード(図4A又は図4Bで58より小さくなく且つ10より大きくない方向モード)では、処理は以下に説明するように実行される。
図22(a)は、右上対角モードに対するPDPCの拡張について、参照サンプルRx,−1、R−1,y、及びR−1,−1の定義を示す。予測サンプルpred(x’,y’)は、予測ブロック内の(x’,y’)に位置する。参照サンプルRx,−1の座標xは、x=x’+y’+1により与えられ、参照サンプルR−1,yの座標yは、同様にy=x’+y’+1により与えられる。
右上対角モードのPDPC重みは、
Figure 2021533618
同様に、図22(b)は、左下対角モードに対するPDPCの拡張について、参照サンプルRx,−1、R−1,y、及びR−1,−1の定義を示す。参照サンプルRx,−1の座標xは、x=x’+y’+1により与えられ、参照サンプルR−1,yの座標yは、y=x’+y’+1により与えられる。右上対角モードのPDPC重みは、
Figure 2021533618
隣接右上対角モードの場合は、図22(c)に示される。隣接右上対角モードのPDPC重みは、
Figure 2021533618
同様に、隣接左下対角モードの場合は、図22(d)に示される。隣接左下対角モードのPDPC重みは、
Figure 2021533618
最後の2つの場合の参照サンプル座標は、角度モードイントラ予測のために既に使用された表を用いて計算される。分数参照サンプル座標が計算される場合、参照サンプルの線形補間が使用される。
しかしながら、方向イントラ予測のための入力処理として使用される近隣サンプルの処理(例えば、フィルタリング)は、PDPC又は簡易PDPCの入力に渡されるものと異なってよい。例えば、方向イントラ予測は、フィルタリング済み参照サンプルを使用し、一方で、PDPC又は簡易PDPCは未フィルタリングサンプルを使用し得る。特に、方向イントラ予測モードが、整数サンプルサブピクセルオフセットを有する広角モードである場合(intraPredAngle、表Xに示され更に説明される)、参照サンプルはフィルタリングされ、一方でPDPCは未フィルタリング参照サンプルを使用し得る。
簡易PDPCの場合、現在の実装は図23に示される。
図23で、破線ボックスは、以下のうちの1つを指定し得る。
・簡易PDPC処理、
・PDPC処理(例えば、JEMで指定される)、
・境界平滑化(例えば、HEVCで指定される)。
イントラ予測の結果を更新するために線形結合を使用する他の方法。
これらの場合の全部で、この処理は、更新ステップ、つまり、イントラ予測及び追加部分生成ステップの出力の線形結合を含む。
特定の実装では、「参照サンプルフィルタリング#1」及びイントラ予測のステップは、サブピクセル補間フィルタ係数を参照サンプルフィルタの係数により畳み込みすることによりマージされ得る。しかしながら、非分数変位を有するイントラ予測モードでは(intraPredAngleが32の倍数である場合)、図23に示すように、この場合のフィルタリング動作は、参照サンプル毎ではなく予測サンプル毎に実行されるので、このマージは冗長である。
図23から、参照サンプルは、指定されたintraPredModeに依存して、異なる方法でフィルタリングされ得ることが分かる。例えば、参照サンプルに適用されるフィルタについての決定は、表Xに従い行われ得る。表Xは以下の表記を用いる。
・「S」は、決定がブロックサイズに依存することを意味する。このサイズ依存性は、以下のように実行される。(log2(nTbW)+Log2(nTbH))>>1に等しく設定されたブロックサイズパラメータnTbSは、所定の閾値Tと比較される。nTbS>Tの場合、「1」の値について更に説明されるのと同じ処理が適用される。或いは、nTbS≦Tの場合、「0」の値について更に説明されるのと同じ処理が適用される。ここで、nTbW及びnTbHは、それぞれ予測ブロックの幅及び高さを示し、「>>」は右シフト演算を示す。Tの値は、例えば2に設定され、又は(例えば、HEVCのMDISの場合に行われるように)イントラ予測モードに依存して定義され得る。
・「1」は、処理が有効にされることを意味する。参照サンプルフィルタリングの場合、「1」の値は、参照サンプルが[1 2 1]フィルタにより処理されることを意味する。
・「0」は、処理が無効にされることを意味する。参照サンプルフィルタリングの場合、「1」の値は、参照サンプルが[1]フィルタにより処理されること、つまりフィルタリングが参照サンプルに適用されないことを意味する。
[表X](図4Bに示すような)方向intraPredModeに依存する参照サンプルフィルタリングの決定
Figure 2021533618
本発明の実施形態は、方向予測の出力及び予測ブロックの視覚的品質を向上するために使用される追加予測信号の組み合わせにより、参照サンプル処理の統一を目指す。この統一の結果、参照サンプルは1回だけ処理され、この処理の結果は、方向イントラ予測処理及び追加予測の生成の両方により再利用される(図24を参照)。
図24に示す場合では、参照サンプルフィルタリングの1回のみのステップしか必要ないことが分かる。従って、フィルタリング決定は、表Yに従い行われる。
[表Y](図4Bに示すような)方向intraPredModeに依存する参照サンプルフィルタリングの決定
Figure 2021533618
簡易PDPCの場合の追加部分は、VVC仕様で指定されたように実行され得る。更に、以下の表記が使用される。
Figure 2021533618
Floor(x)は、x以下の最大整数である。
Log2(x)は、2を底とするxの対数である。
intraPredAngleは、表X又は表Yで指定された角度パラメータである。
A=C?B:Dは、三項代入演算であり、ここで条件Cが真の場合、AはBに等しく設定される。或いは、条件Cが偽の場合、AはDに等しく設定される。
INTRA_PLANARは、平面イントラ予測モード()である。
INTRA_DCは、DCイントラ予測モードである。
INTRA_ANGULARXXは、方向イントラ予測モードのうちの1つであり、ここでXXは、図4Bに示されるその番号及び対応する方向を示す。
以上の表記が与えられると、簡易PDPCのステップは以下の通り定義され得る。
この処理への入力は:
・イントラ予測モードpredModeIntra、
・変換ブロック幅を指定する変数nTbW、
・変換ブロック高さを指定する変数nTbH、
・参照サンプル幅を指定する変数refW、
・参照サンプル高さを指定する変数refH、
・予測サンプルpredSamples[x][y]、ここでx=0...nTbW−1、y=0...nTbH−1、
・近隣サンプルp[x][y]、ここで、x=−1、y=−1...refH−1、及びx=0...refW−1、y=−1、
・現在ブロックの色成分を指定する変数cIdx。
この処理の出力は、変更された予測サンプルpredSamples[x][y]、ここでx=0...nTbW−1、y=0...nTbH−1である。
cIdxの値に依存して、関数clip1Cmpは以下の通り設定される。
・cIdxが0に等しい場合、clip1CmpはClip1に等しく設定され、
・その他の場合、clip1CmpはClip1に等しく設定される。
変数nScaleは以下に設定される:
Figure 2021533618
参照サンプル配列mainRef[x]及びsideRef[y]、ここでx=0...refW−1及びy=0...refH−1は、以下のように導出される:
Figure 2021533618
変数refL[x][y]、refT[x][y]、wT[y]、wL[x]、及びwTL[x][y]、ここでx=0...nTbW−1、y=0...nTbH−1は、以下のように導出される:
・predModeIntraがINTRA_PLANAR、INTRA_DC、INTRA_ANGULAR18、又はINTRA_ANGULAR50に等しい場合、以下が適用される:
Figure 2021533618
・或いは、predModeIntraがINTRA_ANGULAR2、又はINTRA_ANGULAR66に等しい場合、以下が適用される:
Figure 2021533618
・或いは、predModeIntraがINTRA_ANGULAR10より小さい又は等しい場合、以下の順序のステップが適用される:
1.変数dXPos[y]、dXFrac[y]、dXInt[y]、及びdX[x][y]は、invAngleを用いて以下のように導出される:
Figure 2021533618
2.変数refL[x][y]、refT[x][y]、wT[y]、wL[x]、及びwTL[x][y]は、以下のように導出される:
Figure 2021533618
・或いは、predModeIntraがINTRA_ANGULAR58(図4Bを参照)より大きい又は等しい場合、以下の順序のステップが適用される:
1.変数dYPos[x]、dYFrac[x]、dYInt[x]、及びdY[x][y]は、intraPredModeに依存して以下に指定されるようにinvAngleを用いて以下のように導出される:
Figure 2021533618
2.変数refL[x][y]、refT[x][y]、wT[y]、wL[x]、及びwTL[x][y]は、以下のように導出される:
Figure 2021533618
・その他の場合、refL[x][y]、refT[x][y]、wT[y]、wL[x]、及びwTL[x][y]は、全部0に等しく設定される。変更された予測サンプルpredSamples[x][y]の値、ここでx=0...nTbW−1、y=0...nTbH−1、は以下のように導出される:
Figure 2021533618
割り当て式1で、上述の簡易PDPCは、線形補間の代わりに最近接近隣補間を使用してよい:
Figure 2021533618
同様に、割り当て式2も、最近接近隣補間を使用し得る:
Figure 2021533618
従って、エンコーダ及びデコーダ側の両方で、提案された方法は、入力データとして以下を使用する:
・方向イントラ予測モード(図4A及び図4Bに示されるpredModeIntraとして更に示される)、
・ブロックサイズパラメータnTbS、これは、(log2(nTbW)+Log2(nTbH))>>1に等しく設定され、ここで、nTbW及びnTbHは、それぞれ予測ブロックの幅及び高さを示し、「>>」は右シフト演算を示す。
以下のステップは、イントラ予測方法を実施するために実行されてよい。
ステップ1。参照サンプル、イントラ予測モードintraPredMode及び/又はブロック寸法(幅及び高さ)に基づき、参照サンプルフィルタリングを実行する。
ステップ2。intraPredAngleに従い、処理済み(フィルタリング済み又は未フィルタリング参照サンプル)参照サンプル(ステップ1の結果)に基づき、方向イントラ予測を実行する。
ステップ3。ステップ2で取得された結果を、以下であり得る予測組み合わせにより更新する:
・PDPC、
・簡易PDPC。
ここで、ステップ3で使用される入力参照サンプルは、整数勾配広角モード(例えば、表6及び7で指定されるように、−14、−12、−10、−6、72、76、78、80)について、ステップ1で取得されステップ2で使用されたのと同じ参照サンプルである。
参照サンプルフィルタリングは以下を含んでよい:
predModeIntraに基づき、フィルタリング済み又は未フィルタリング参照サンプルバッファが使用されるべきかを決定する。これは、以下の表5にリストされたフィルタのうちの1つを適用することにより実行され得る。VVCでは、インデックス0及び1を有するフィルタが使用される。例えば、参照サンプルは、predModeが2、34、又は66に等しいとき、及びnTbS>2のときに、フィルタリングされる(表5のフィルタインデックス「1」が使用される)。
上述の方法の代替的実施形態は、このステップで、イントラ予測モードpredModeIntra(IntraPredModeとも記述される)の代わりに、角度パラメータ(intraPredAngleとして更に示される)を使用することである。この場合、intraPredAngleの値が32の倍数である場合、及びnTbS>2のとき、参照サンプルは、フィルタリングされる(表5のフィルタインデックス「1」が使用される)。
提案された方法の使用を可能にするVCC仕様の変更は、簡易PDPCを記載するセクションにおいて、「近隣サンプルp[x][y]」を「参照サンプルp[x][y]」で置き換えることを含んでよい。
角度パラメータintraPredAngleは、5ビットに等しい分数部分の長さを有する固定点表現で予測サンプルの2つの隣接する行の間のサブピクセルオフセットを示す。このパラメータは、イントラ予測モードから導出され得、predModeIntraから導出される。predModeIntraからのintraPredAngleの例示的な導出は、例えば表8に示されるように、LUTにより定義され得る。
[表8]intraPredAngleをpredModeIntraから導出するための例示的なLUT
Figure 2021533618
例えば、記載の方法に関連する開示は、該方法を実行するよう構成される対応する装置又はシステムについても当てはまる可能性があり、逆も同様であることが理解される。例えば、特定の方法のステップが記載される場合、ユニットが明示的に記載され又は図中に示されない場合でも、対応する装置は記載された方法のステップを実行するためのユニットを含んでよい。更に、本願明細書で説明される種々の例示的な態様の特徴は、特に断りのない限り、互いに結合されてよいことが理解される。
ビデオ符号化とは、通常は、ビデオ又はビデオシーケンスを形成する、ピクチャのシーケンスの処理のことを言う。用語ピクチャ、画像又はフレームは、ビデオ符号化の分野において同義的に使用されてよく/使用され、本願においても同様である。各ピクチャは、標準的に、重なり合わないブロックのセットにパーティションされる。ピクチャの符号化/復号は、標準的に、ブロックレベルで実行される。ここで、例えば、インターフレーム予測又はイントラフレーム予測が、予測ブロックを生成するために使用され、予測ブロックを現在ブロック(現在処理されている/処理されるべきブロック)から減算し、残差ブロックを取得し、これは更に変換され量子化されて、送信されるべきデータの量を削減する(圧縮)。一方で、デコーダ側では、符号化/圧縮ブロックに逆の処理が適用されて、提示のためにブロックを再構成する。
本発明は、以下の実施形態を更に提供する。
実施形態1。イントラ予測の方法であって、前記方法は、
参照サンプルを処理するステップと、
イントラ予測に従い、前記処理された参照サンプルに基づき、方向イントラ予測を実行するステップと、
前記処理された参照サンプルに基づき、追加予測を実行するステップと、を含む方法。
実施形態2。参照サンプルを処理する前記ステップは、参照サンプルフィルタリング又はサブピクセル補間フィルタリングを含む、実施形態1に記載の方法。
実施形態3。前記方向イントラ予測モードは、
A.垂直又は水平モード、
B.45°の倍数である角度を表す対角モード、
C.残りの方向モード、
のうちの少なくとも1つのグループに含まれる、実施形態1に記載の方法。
実施形態4。前記方向イントラ予測モードが、グループAに属するとして分類されるとき、イントラ予測器を生成するために参照サンプルにフィルタが適用されない、実施形態3に記載の方法。
実施形態5。前記方向モードがグループBに含まれるとき、前記選択された方向に従い、フィルタされた値をイントラ予測器にコピーするために、参照サンプルフィルタが参照サンプルに適用される(補間フィルタは適用されない)、実施形態3に記載の方法。
実施形態6。前記方向モードがグループCに属するとして分類されるとき、選択された方向に従い、参照サンプルの間の分数又は整数位置に含まれる予測サンプルを生成するために、イントラ参照サンプル補間フィルタのみが参照サンプルに適用される(参照サンプルフィルタリングは実行されない)、実施形態3に記載の方法。
実施形態7。参照サンプル、イントラ予測モード(IntraPredMode)、又はブロックサイズパラメータ、のうちの少なくとも1つに基づき参照サンプルフィルタリングを実行する、実施形態1〜6のいずれか1つに記載の方法。
実施形態8。前記処理された参照サンプルは、フィルタリング済み参照サンプル又は未フィルタリング参照サンプルを含む、実施形態7に記載の方法。
実施形態9。前記方法は、前記predModeIntraに基づき、フィルタリング済み又は未フィルタリング参照サンプルバッファが使用されるかを決定すること、を更に含む実施形態7に記載の方法。
実施形態10。インデックス0又は1を有するフィルタが使用される、実施形態9に記載の方法。
実施形態11。参照サンプルは、predModeが2、34、又は66に等しいとき、及びnTbS>2のときに、フィルタリングされる(表5のフィルタインデックス「1」が使用される)、実施形態9に記載の方法。
実施形態12。前記方法は、前記ブロックサイズパラメータに基づき、フィルタリング済み又は未フィルタリング参照サンプルバッファが使用されるかを決定するステップであって、前記ブロックサイズパラメータは角度パラメータ(intraPredAngle)である、ステップ、を更に含む実施形態7に記載の方法。
実施形態13。前記intraPredAngleの値が32の倍数であるとき、及びnTbS>2のとき、参照サンプルは、フィルタリングされる(表5のフィルタインデックス「1」が使用される)、実施形態12に記載の方法。
実施形態14。前記追加予測は、位置依存予測組み合わせ(Position−Dependent Prediction Combination (PDPC))又は簡易PDPCである、実施形態1〜13のいずれか1つに記載の方法。
実施形態15。前記イントラ予測及び前記追加予測は、並列に実行される、実施形態1〜14のいずれか1つに記載の方法。
実施形態16。前記方向イントラ予測は、整数勾配広角モード(例えば、表X及びYで指定されたような−14、−12、−10、−6、72、76、78、80)を含む、実施形態1〜15のいずれか1つに記載の方法。
上述の方法を実行するよう構成される処理回路を含むデコーダ又はエンコーダ。
本開示では、上述の方法を実行するためのプログラムコードを含むコンピュータプログラムプロダクトが開示される。
本開示では、ビデオデータを復号するデコーダが開示される。前記デコーダは、
1つ以上のプロセッサと、
プロセッサに結合されプロセッサによる実行のためのプログラミングを格納する非一時的コンピュータ可読記憶媒体であって、該プログラミングは、プロセッサにより実行されると、上述の方法を実行するようデコーダを構成する、非一時的コンピュータ可読記憶媒体と、
を含む。
図25は、ビデオの現在ピクチャの中の現在画像ブロックのイントラ予測のための機器2500の例示的な構造を示すブロック図である。一例では、機器2500は、図2のイントラ予測ユニット254に対応してよい。別の例では、機器2500は、図3のイントラ予測ユニット354に対応してよい。機器2500は、上述の方法を実行するよう構成され、
ブロックのイントラ予測モードを取得するよう構成される取得ユニット2502と、
ブロックのイントラ予測モードが広角モードであるとき、フィルタリング済み参照サンプルに基づき、ブロックの予測サンプルを取得するよう構成される広角予測ユニット2504と、
を含んでよい。
機器2500は、ブロックのイントラ予測モードが広角モードであるかを決定するよう構成される決定ユニット(図25に示されない)を更に含んでよい。
図26は、種々の実施形態を実装するために使用可能な機器1500のブロック図である。機器1500は、図1に示すようなソース装置102、又は図2に示すようなビデオエンコーダ200、又は図1に示すような宛先装置104、又は図3に示すようなビデオデコーダ300であってよい。更に、機器1500は、記載された要素のうちの1つ以上をホスティングできる。幾つかの実施形態では、機器1500は、スピーカ、マイクロフォン、マウス、タッチスクリーン、キーバッド、キーボード、プリンタ、ディスプレイ、等のような1つ以上の入力/出力装置を備える。機器1500は、バスに接続された、1つ以上の中央処理ユニット(central processing unit (CPU))1510、メモリ1520、大容量記憶1530、ビデオアダプタ1540、及び/又はI/Oインタフェース1560を含んでよい。バスは、メモリバス又はメモリ制御部、周辺機器バス、ビデオバス等を含む、任意の種類の幾つかのバスアーキテクチャのうちの1つ以上である。
CPU1510は、任意の種類の電子データプロセッサを有してよい。メモリ1520は、静的ランダムアクセスメモリ(static random access memory (SRAM))、動的ランダムアクセスメモリ(dynamic random access memory (DRAM))、同期DRAM(synchronous DRAM (SDRAM))、読み出し専用メモリ(read−only memory (ROM))、それらの組み合わせ、等のような任意の種類のシステムメモリであり又は有してよい。一実施形態では、メモリ1520は、ブートアップで使用するためのROM、及びプログラムの実行中に使用するためのプログラム及びデータ記憶のためのDRAMを含んでよい。実施形態では、メモリ1520は、非一時的である。大容量記憶1530は、データ、プログラム、及び他の情報を格納し、データ、プログラム、及び他の情報をバスを介してアクセス可能にする任意の種類の記憶装置を含む。大容量記憶1530は、例えば、固体ドライブ、ハードディスクドライブ、磁気ディスクドライブ、光ディスクドライブ、等のうちの1つ以上を含む。
ビデオアダプタ1540及びI/Oインタフェース1560は、外部入力及び出力装置を機器1500に接続するためのインタフェースを提供する。例えば、機器1500は、SQLコマンドインタフェースをクライアントに提供してよい。図示のように、入力及び出力装置の例は、ビデオアダプタ1540に接続されたディスプレイ1590、及びI/Oインタフェース1560に接続されたマウス/キーボード/プリンタ1570の任意の組み合わせを含む。他の装置が機器1500に接続されてよく、追加又はより少ないインタフェースカードが利用されてよい。例えば、シリアルインタフェースカード(図示しない)は、プリンタのためのシリアルインタフェースを提供するために使用されてよい。
機器1500は、イーサネットケーブル等のような有線リンク及び/又はノード又は1つ以上のネットワーク1580にアクセスするための無線リンクを含む1つ以上のネットワークインタフェース1550も含む。ネットワークインタフェース1550は、機器1500がネットワーク1580を介して遠隔ユニットと通信することを可能にする。例えば、ネットワークインタフェース1550は、データベースへの通信を提供してよい。一実施形態では、機器1500は、データ処理及び他の処理ユニットのような遠隔装置、インターネット、遠隔記憶設備、等との通信のためにローカルエリアネットワーク又は広域ネットワークに接続される。
以下は、上述の実施形態に示されたような符号化方法及び復号方法の適用、及びそれらを使用するシステムの説明である。
図27は、コンテンツ配信サービスを実現するコンテンツ供給システム3100を示すブロック図である。このコンテンツ供給システム3100は、キャプチャ装置3102、端末装置3106を含み、及び任意的にディスプレイ3126を含む。キャプチャ装置3102は、通信リンク3104を介して端末装置3106と通信する。通信リンクは、上述の通信チャネル13を含んでよい。通信リンク3104は、限定ではないが、WIFI、イーサネット、ケーブル、無線(3G/4G/5G)、USB、又はそれらの任意の種類の組み合わせ、等を含む。
キャプチャ装置3102は、データを生成し、上述の実施形態で示されたような符号化方法によりデータを符号化してよい。或いは、キャプチャ装置3102は、データをストリーミングサーバ(図に示されない)へ配信してよく、サーバは、データを符号化し、符号化データを端末装置3106へ送信する。キャプチャ装置3102は、限定ではないが、カメラ、スマートフォン又はPad、コンピュータ又はラップトップ、ビデオ会議システム、PDA、車載装置、又はそれらのいずれかの組み合わせ、等を含む。例えば、キャプチャ装置3102は、上述のようなソース装置102を含んでよい。データがビデオを含むとき、キャプチャ装置3102に含まれるビデオエンコーダ20は、実際に、ビデオ符号化処理を実行してよい。データがオーディオ(つまり、音声)を含むとき、キャプチャ装置3102に含まれるオーディオエンコーダは、実際に、オーディオ符号化処理を実行してよい。幾つかの実用的なシナリオでは、キャプチャ装置3102は、符号化ビデオ及びオーディオデータを、それらを一緒に多重化することにより、配信する。他の実用的なシナリオでは、例えば、ビデオ会議システムで、符号化オーディオデータ及び符号化ビデオデータは、多重化されない。キャプチャ装置3102は、符号化オーディオデータ及び符号化ビデオデータを端末装置3106へ別個に配信する。
コンテンツ供給システム3100では、端末装置310は、符号化データを受信し再生する。端末装置3106は、上述の符号化データを復号する能力のある、スマートフォン又はPad3108、コンピュータ又はラップトップ3110、ネットワークビデオレコーダ(network video recorder (NVR))/デジタルビデオレコーダ(digital video recorder (DVR))3112、TV3114、セットトップボックス(set top box (STB))3116、ビデオ会議システム3118、ビデオ監視システム3120、パーソナルデジタルアシスタント(personal digital assistant (PDA))3122、車載装置3124、又はそれらの任意の組み合わせ等のような、データ受信及び復元能力を備えた装置であり得る。例えば、端末装置3106は、上述のような宛先装置14を含んでよい。符号化データがビデオを含むとき、端末装置に含まれるビデオデコーダ30は、ビデオ復号を実行するために優先される。符号化データがオーディオを含むとき、端末装置に含まれるオーディオデコーダは、オーディオ復号処理を実行するために優先される。
ディスプレイを備える端末装置、例えば、スマートフォン、又はPad3108、コンピュータ又はラップトップ3110、ネットワークビデオレコーダ(network video recorder (NVR))/デジタルビデオデコーダ(digital video recorder (DVR))3122、TV3114、パーソナルデジタルアシスタント(personal digital assistant (PDA))3122、又は車載装置3124では、端末装置は復号データを自身のディスプレイに供給できる。ディスプレイを備えない端末装置、例えばSTB3116、ビデオ会議システム3118、又はビデオ監視システム3120では、外部ディスプレイ3126は、復号データを受信し表示するために内部で連絡される。
このシステム内の各装置が符号化又は復号を実行するとき、上述の実施形態において示されたように、ピクチャ符号化装置又はピクチャ復号装置が使用できる。
図28は、端末装置3106の例の構造を示す図である。端末装置3106がキャプチャ装置3102からストリームを受信した後に、プロトコル進行ユニット3202は、ストリームの送信プロトコルを分析する。プロトコルは、限定ではないが、リアルタイムストリーミングプロトコル(Real Time Streaming Protocol (RTSP))、ハイパーテキスト転送プロトコル(Hyper Text Transfer Protocol (HTTP))、HTTPライブストリーミングプロトコル(HTTP Live streaming protocol (HLS))、MPEG−DASH、リアルタイムトランスポートプロトコル(Real−time Transport protocol (RTP))、リアルタイムメッセージングプロトコル(Real Time Messaging Protocol (RTMP))、又はそれらの任意の種類の組み合わせ、等を含む。
プロトコル処理ユニット3202がストリームを処理した後に、ストリームファイルが生成される。ファイルは、逆多重化ユニット3204へと出力される。逆多重化ユニット3204は、多重化データを符号化オーディオデータ及び符号化ビデオデータに分離できる。上述のように、幾つかの実用的なシナリオでは、例えば、ビデオ会議システムで、符号化オーディオデータ及び符号化ビデオデータは、多重化されない。この状況では、符号化データは、逆多重化ユニット3204を通らずに、ビデオデコーダ3206及びオーディオデコーダ3208へと送信される。
逆多重化処理により、ビデオエレメンタリストリーム(elementary stream (ES))、オーディオES、及任意のサブタイトルが生成される。上述の実施形態において説明したようなビデオデコーダ30を含むビデオデコーダ3206は、上述の実施形態において示したような復号方法によりビデオESを復号して、ビデオフレームを生成し、このデータを同期ユニット3212に供給する。オーディオデコーダ3208は、オーディオESを復号してオーディオフレームを生成し、このデータを同期ユニット3212に供給する。或いは、ビデオフレームは、同期ユニット3212にそれを供給する前に、バッファ(図Yに示されない)に格納してよい。同様に、オーディオフレームは、同期ユニット3212にそれを供給する前に、バッファ(図Yに示されない)に格納してよい。
同期ユニット3212は、ビデオフレーム及びオーディオフレームを同期化し、ビデオ/オーディオをビデオ/オーディオディスプレイ3214に供給する。例えば、同期ユニット3212は、ビデオ及びオーディオ情報の提示を同期化する。情報は、符号化オーディオ及び視覚データの提示に関するタイムスタンプ、及びデータストリーム自体の配信に関するタイムスタンプを用いてシンタックス内に符号化してよい。
サブタイトルがストリームに含まれる場合、サブタイトルデコーダ3210は、サブタイトルを復号し、それをビデオフレーム及びオーディオフレームと同期化させ、ビデオ/オーディオ/サブタイトルをビデオ/オーディオ/サブタイトルディスプレイ3216に供給する。
本発明は、上述のシステムに限定されず、上述の実施形態におけるピクチャ符号化装置又はピクチャ復号装置のいずれも、他のシステム、例えば車両システムに組み込むことができる。
本開示に記載された主題及び動作の実装は、デジタル電子回路で、又は本開示に開示された構造及びそれらの構造的均等物を含む、コンピュータソフトウェア、ファームウェア、又はハードウェアで、又はそれらの1つ以上の組み合わせで、実装されてよい。本開示に記載された主題の実装は、データ処理機器による実行のための、又はその動作を制御するための、コンピュータ記憶媒体上に符号化された1つ以上のコンピュータプログラム、つまり、コンピュータプログラム命令の1つ以上のモジュールとして実装されてよい。代替又は追加で、プログラム命令は、人工的に生成された伝搬信号、例えば、データ処理機器による実行のために適切な受信側機器へ伝送するために情報を符号化するために生成される、機械により生成された電気、光、又は電磁信号に符号化されてよい。コンピュータ記憶媒体、例えば、コンピュータ可読媒体は、コンピュータ可読記憶装置、コンピュータ可読記憶基板、ランダム又はシリアルアクセスメモリアレイ若しくは装置、又はそれらの1つ以上の組み合わせであってよく、又はそれに含まれてよい。更に、コンピュータ記憶媒体は伝搬信号ではないが、コンピュータ記憶媒体は、人工的に生成された伝搬信号内に符号化されたコンピュータプログラム命令のソース又は宛先であってよい。コンピュータ記憶媒体は、1つ以上の別個の物理及び/又は非一時的構成要素又は媒体(例えば、複数のCD、ディスク、又は他の記憶装置)であってもよく、又はそれに含まれてよい。
幾つかの実装では、本開示に記載された動作は、クラウドコンピューティングネットワーク内のサーバ上で提供されるホスティングされたサービスとして実装されてよい。例えば、コンピュータ可読記憶媒体は、論理的にグループ化され、クラウドコンピューティングネットワーク内でアクセス可能であってよい。クラウドコンピューティングネットワーク内のサーバは、クラウドに基づくサービスを提供するクラウドコンピューティングプラットフォームを含んでよい。用語「クラウド」、「クラウドコンピューティング」、及び「クラウドに基づく」は、本開示の範囲から逸脱することなく、必要に応じて同義的に使用されてよい。クラウドに基づくサービスは、クライアントコンピュータ上でローカルに実行されるアプリケーションを拡張し、補強し、又は置き換えるために、サーバにより提供されクライアントプラットフォームにネットワークに渡り配信されるホスティングされたサービスであってよい。回路はクラウドに基づくサービスを使用して、そうでなければリソースが回路に配信され得るまでに長い期間のかかる、ソフトウェアアップグレード、アプリケーション、及び他のリソースを迅速に受信してよい。
コンピュータプログラム(プログラム、ソフトウェア、ソフトウェアアプリケーション、スクリプト、又はコードとしても知られる)は、コンパイルされた又はインタープリットされた言語、宣言型又は手続き型言語を含む任意の形式のプログラミング言語で記述されてよく、それは、スタンドアロンプログラム又はモジュール、コンポーネント、サブルーチン、オブジェクト、又はコンピューティング環境内での使用に適する他のユニットを含む任意の形式で展開されてよい。コンピュータプログラムは、ファイルシステム内のファイルに対応してよいが、そうする必要はない。プログラムは、他のプログラム又はデータ(例えば、マークアップ言語文書内に格納された1つ以上のスクリプト)を保持するファイルの一部に、対象のプログラムに専用の単一のファイルに、又は複数の連携ファイル(例えば、1つ以上モジュール、サブプログラム、又はコードの部分を格納するファイル)に、格納されてよい。コンピュータプログラムは、1つのコンピュータ上で、又は1つの場所に置かれる若しくは複数の場所に分散されて通信ネットワークにより相互接続される複数のコンピュータ上で、実行されるよう展開されてよい。
本開示に記載の処理及びロジックフローは、入力データに作用し及び出力を生成することにより動作を実行する1つ以上のコンピュータプログラムを実行する1つ以上のプログラマブルプロセッサにより実行されてよい。特定用途論理回路、例えば、FPGA(field programmable gate array)又はASIC(application−specific integrated circuit)により、処理及びロジックフローが実行されてもよく、それとして機器が実装されてもよい。
コンピュータプログラムの実行に適するプロセッサは、例として、汎用及び特定用途向けマイクロプロセッサの両方、及び任意の種類のデジタルコンピュータの任意の1つ以上のプロセッサを含む。通常、プロセッサは、命令及びデータを読み出し専用メモリ又はランダムアクセスメモリ又はその両者から受信する。コンピュータの基本的要素は、命令に従い動作を実行するプロセッサ、及び命令及びデータを格納する1つ以上のメモリ装置である。通常、コンピュータは、データを格納する1つ以上の大容量記憶装置、例えば、磁気、光磁気ディスク、又は光ディスク、も含み、又はそれらからデータを受信し又はそれらへデータを転送するために又はその両方のために動作可能に結合される。しかしながら、コンピュータはこのような装置を有する必要はない。更に、コンピュータは、別の装置、例えば、少数の例を挙げると、携帯電話機、パーソナルデジタルアシスタント(personal digital assistant (PDA))、モバイルオーディオ又はビデオプレイヤ、ゲームコンソール、全地球測位システム(Global Positioning System (GPS))受信機、又はポータブル記憶装置(例えば、ユニバーサルシリアルバス(universal serial bus (USB))フラッシュドライブ)、に埋め込まれてよい。コンピュータプログラム命令及びデータを格納するのに適する装置は、例として半導体メモリ装置、例えばEPROM、EEPROM,及びフラッシュメモリ装置、磁気ディスク、例えば内部ハードディスク又は取り外し可能ディスク、光磁気ディスク、及びCD−ROM及びDVD−ROMディスクを含む、全ての形式の不揮発性メモリ、媒体、及びメモリ装置を含む。プロセッサ及びメモリは、特定用途向け論理回路により補足され、又はその中に組み込まれてよい。
本開示は多数の特定の実装の詳細を含むが、これらは、任意の実装の又は請求され得るものの範囲に対する限定としてではなく、むしろ、特定の実装の特定の実装に固有の特徴の説明として考えられるべきである。別個の実装の文脈で本開示に記載された特定の特徴は、単一の実装で組み合わされて実装されてもよい。反対に、単一の実装の文脈で記載された種々の特徴は、複数の実装で別個に又は任意の適切な部分的組み合わせで実装されてもよい。更に、特徴は特定の組み合わせで動作するよう上述され、当初はそのようなものとして請求されることさえあり得るが、請求される組み合わせからの1つ以上の特徴は、場合によっては、組み合わせから切り離されてよく、請求される組み合わせは、部分的組み合わせ又は部分的組み合わせの変形に向けられてよい。
同様に、動作は、図中に特定の順序で示されるが、これは、望ましい結果を達成するために、そのような動作が示された特定の順序で又はシーケンシャルな順序で実行されること、又は全ての図示の動作が実行されること、が要求されると理解されるべきではない。特定の環境では、マルチタスク及び並列処理が有利であり得る。更に、上述の実装における種々のシステムコンポーネントの分離は、そのような分離が全ての実装で要求されると理解されるべきではなく、記載されたプログラムコンポーネント及びシステムが通常、単一のソフトウェアプロダクトに一緒に統合され又は複数のソフトウェアプロダクトにパッケージされてよいことが理解されるべきである。
上述したように、主題の特定の実装が記載された。他の実装は、以下の請求の範囲の範囲内にある。場合によっては、請求項に記載された動作は、異なる順序で実行されてもよく、それでもなお望ましい結果を達成し得る。更に、添付の図面に示された処理は、必ずしも、望ましい結果を達成するために示された特定の順序又はシーケンシャルな順序を必要としない。特定の実装では、マルチタスク及び並列処理が有利であり得る。
幾つかの実施形態が本開示において提供されたが、開示のシステム及び方法は、本開示の精神又は範囲から逸脱することなく、多くの他の特定の形式で実施され得ることが理解されるべきである。本発明の例は、例示的であり限定的ではないと考えられるべきであり、本願明細書に与えられた詳細事項に限定されることを意図しない。例えば、種々の要素又はコンポーネントは、組み合わされ、又は別のシステムに統合されてよく、或いは、特定の特徴は、省略され又は実施されなくてよい。
更に、種々の実施形態において個別の又は分離していると説明され示された技術、システム、サブシステム、及び方法は、本開示の範囲から逸脱することなく、他のシステム、モジュール、技術、又は方法と組み合わされ又は統合されてよい。互いに結合され又は直接結合され又は通信するとして示され又は議論された他のアイテムは、間接的に結合され又は、電気的、機械的、又はその他にかかわらず何らかのインタフェース、装置、又は中間コンポーネントを通じて通信してよい。変更、代用、及び改造の他の例は、当業者により確認され、本願明細書に開示した精神および範囲から逸脱することなく行われ得る。
[技術分野]
本開示は、画像及び/又はビデオ符号化及び復号の技術分野に関し、特に、イントラ/インター予測のための方法及び機器に関する。

Claims (17)

  1. ブロックのイントラ予測の方法であって、前記方法は、
    前記ブロックのイントラ予測モードを取得するステップと、
    前記ブロックの前記イントラ予測モードが広角モードであるとき、フィルタリング済み参照サンプルに基づき、前記ブロックの予測サンプルを取得するステップと、
    を含む方法。
  2. 前記ブロックの前記イントラ予測モードは、整数勾配広角モードである、請求項1に記載の方法。
  3. 前記整数勾配広角モードは、−14、−12、−10、−6、72、76、78、80のうちの少なくとも1つである、請求項2に記載の方法。
  4. 前記参照サンプルをフィルタリングする前記フィルタは、以下の係数:[1,2,1]/4により定義される、請求項1〜3のいずれか一項に記載の方法。
  5. 前記方法は、
    前記ブロックの前記イントラ予測モードが広角モードであるかに基づき、フィルタリング済み又は未フィルタリング参照サンプルバッファが使用されるかを決定するステップ、を更に含む請求項1〜4のいずれかに記載の方法。
  6. 位置依存予測組み合わせ(PDPC)は、前記ブロックの前記イントラ予測モードが広角モードか、及び前記参照サンプルから取得された前記ブロックの前記予測サンプルに基づき、フィルタリング済みの又は未フィルタリングの参照サンプルについて実行される、請求項1〜5のいずれかに記載の方法。
  7. 前記方法は、
    前記ブロックの前記イントラ予測モードが広角モードであるかを決定するステップ、を更に含む請求項1〜6のいずれかに記載の方法。
  8. ブロックのイントラ予測のための機器であって、前記機器は、
    前記ブロックのイントラ予測モードを取得するよう構成される取得ユニットと、
    前記ブロックの前記イントラ予測モードが広角モードであるとき、フィルタリング済み参照サンプルに基づき、前記ブロックの予測サンプルを取得するよう構成される広角予測ユニットと、
    を含む機器。
  9. 前記ブロックの前記イントラ予測モードは、整数勾配広角モードである、請求項8に記載の機器。
  10. 前記整数勾配広角モードは、−14、−12、−10、−6、72、76、78、80のうちの少なくとも1つである、請求項9に記載の機器。
  11. 前記参照サンプルをフィルタリングする前記フィルタは、以下の係数:[1,2,1]/4により定義される、請求項8〜10のいずれか一項に記載の機器。
  12. 前記機器は、
    前記ブロックの前記イントラ予測モードが広角モードであるかを決定するよう構成される決定ユニット、を更に含む請求項8〜11のいずれかに記載の機器。
  13. 前記決定ユニットは、前記ブロックの前記イントラ予測モードが広角モードか否かに基づき、フィルタリング済み又は未フィルタリング参照サンプルバッファが使用されるかを決定するよう更に構成される、請求項12に記載の機器。
  14. 位置依存予測組み合わせ(PDPC)は、前記ブロックの前記イントラ予測モードが広角モードか、及び前記参照サンプルから取得された前記ブロックの前記予測サンプルに基づき、フィルタリング済みの又は未フィルタリングの参照サンプルについて実行される、請求項8〜13のいずれかに記載の機器。
  15. 請求項1乃至7のいずれか一項に記載の方法を実行する処理回路を含むエンコーダ。
  16. 請求項1乃至7のいずれか一項に記載の方法を実行する処理回路を含むデコーダ。
  17. 請求項1乃至7のいずれか一項に記載の方法を実行するためのプログラムコードを含むコンピュータプログラムプロダクト。
JP2021504520A 2018-11-14 2019-11-14 イントラ予測のための方法及び機器 Active JP7177242B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2022180464A JP2023022071A (ja) 2018-11-14 2022-11-10 イントラ予測のための方法及び機器

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201862767496P 2018-11-14 2018-11-14
US62/767,496 2018-11-14
PCT/RU2019/050214 WO2020101545A1 (en) 2018-11-14 2019-11-14 Method and apparatus for intra prediction

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2022180464A Division JP2023022071A (ja) 2018-11-14 2022-11-10 イントラ予測のための方法及び機器

Publications (2)

Publication Number Publication Date
JP2021533618A true JP2021533618A (ja) 2021-12-02
JP7177242B2 JP7177242B2 (ja) 2022-11-22

Family

ID=70731882

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2021504520A Active JP7177242B2 (ja) 2018-11-14 2019-11-14 イントラ予測のための方法及び機器
JP2022180464A Pending JP2023022071A (ja) 2018-11-14 2022-11-10 イントラ予測のための方法及び機器

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2022180464A Pending JP2023022071A (ja) 2018-11-14 2022-11-10 イントラ予測のための方法及び機器

Country Status (12)

Country Link
US (2) US11689729B2 (ja)
EP (1) EP3864847A4 (ja)
JP (2) JP7177242B2 (ja)
KR (2) KR102571856B1 (ja)
CN (1) CN112997497A (ja)
AU (2) AU2019381145B2 (ja)
BR (1) BR112020025155A2 (ja)
CA (1) CA3119645C (ja)
CL (1) CL2021001265A1 (ja)
MX (1) MX2021001514A (ja)
NZ (1) NZ776204A (ja)
WO (1) WO2020101545A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220224938A1 (en) * 2021-01-08 2022-07-14 Offinno, LLC Intra Prediction Signaling

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016530779A (ja) * 2013-07-19 2016-09-29 クゥアルコム・インコーポレイテッドQualcomm Incorporated イントラ予測フィルタリングの無効化

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8619857B2 (en) * 2010-04-09 2013-12-31 Sharp Laboratories Of America, Inc. Methods and systems for intra prediction
US10362314B2 (en) * 2015-11-27 2019-07-23 Mediatek Inc. Apparatus and method for video coding by intra-prediction
FI20175006A1 (en) * 2017-01-03 2019-02-15 Nokia Technologies Oy Video and image coding using wide-angle intra-prediction
CN110199523B (zh) 2017-01-13 2023-06-13 Vid拓展公司 用于帧内平面编码的预测方法
KR102361010B1 (ko) * 2017-06-21 2022-02-09 엘지전자 주식회사 영상 코딩 시스템에서 인트라 예측에 따른 영상 디코딩 방법 및 장치
EP3496401A1 (en) * 2017-12-05 2019-06-12 Thomson Licensing Method and apparatus for video encoding and decoding based on block shape
US11128872B2 (en) * 2018-07-16 2021-09-21 Qualcomm Incorporated Position dependent intra prediction combination with wide angle intra prediction
US10834393B2 (en) * 2018-09-10 2020-11-10 Tencent America LLC Intra interpolation filter for multi-line intra prediction
US11303885B2 (en) 2018-10-25 2022-04-12 Qualcomm Incorporated Wide-angle intra prediction smoothing and interpolation

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016530779A (ja) * 2013-07-19 2016-09-29 クゥアルコム・インコーポレイテッドQualcomm Incorporated イントラ予測フィルタリングの無効化

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
BROSS, BENJAMIN ET AL.: "Versatile Video Coding (Draft 3)", JOINT VIDEO EXPERTS TEAM (JVET) OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 11 12TH MEETING: MACA, vol. JVET-L1001 (version 2), JPN6022009046, 8 November 2018 (2018-11-08), ISSN: 0004723001 *

Also Published As

Publication number Publication date
US20210127122A1 (en) 2021-04-29
KR20230127376A (ko) 2023-08-31
WO2020101545A1 (en) 2020-05-22
MX2021001514A (es) 2021-04-13
JP2023022071A (ja) 2023-02-14
NZ776204A (en) 2023-02-24
CA3119645A1 (en) 2020-05-22
EP3864847A4 (en) 2021-12-15
AU2019381145B2 (en) 2022-11-17
US20230421776A1 (en) 2023-12-28
KR20210016615A (ko) 2021-02-16
CN112997497A (zh) 2021-06-18
JP7177242B2 (ja) 2022-11-22
US11689729B2 (en) 2023-06-27
KR102571856B1 (ko) 2023-08-28
EP3864847A1 (en) 2021-08-18
BR112020025155A2 (pt) 2021-05-18
CA3119645C (en) 2024-05-28
AU2019381145A1 (en) 2021-06-10
AU2023200908B2 (en) 2024-06-06
AU2023200908A1 (en) 2023-03-16
CL2021001265A1 (es) 2021-10-22

Similar Documents

Publication Publication Date Title
JP7375125B2 (ja) ルーマおよびクロマ成分についてibc専用バッファおよびデフォルト値リフレッシュを使用するエンコーダ、デコーダおよび対応する方法
JP7343573B2 (ja) 逆量子化のための装置及び方法
JP7366149B2 (ja) 行列ベースのイントラ予測と二次変換コア選択を調和させるエンコーダ、デコーダ、および対応する方法
JP7250917B2 (ja) 補間フィルタを使用するイントラ予測のための方法および装置
KR102525179B1 (ko) 파티션 제한 요소들 간의 관계
KR102625986B1 (ko) 인트라 서브파티션 코딩 툴로 인한 서브파티션 경계를 위한 디블로킹 필터
JP2022524357A (ja) エンコーダ、デコーダ、及び対応するインター予測方法
JP2022522571A (ja) 任意のctuサイズのためのibc検索範囲最適化を用いるエンコーダ、デコーダおよび対応する方法
JP2022511850A (ja) エンコーダ、デコーダ、及びデブロッキングフィルタの境界強度導出の対応する方法
JP2021535679A (ja) イントラ予測のための方法及び装置
JP2022526304A (ja) イントラ予測のための方法および装置
JP2023169242A (ja) 予測のための方法及び装置
US20230421776A1 (en) Method and apparatus for video intra prediction
WO2020061949A1 (en) Encoding method, decoding method, encoder, and decoder

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210127

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210127

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220303

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220308

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220602

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20221011

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20221110

R150 Certificate of patent or registration of utility model

Ref document number: 7177242

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150