JP2022507985A - ピクチャのブロックのイントラ予測の方法 - Google Patents

ピクチャのブロックのイントラ予測の方法 Download PDF

Info

Publication number
JP2022507985A
JP2022507985A JP2021529421A JP2021529421A JP2022507985A JP 2022507985 A JP2022507985 A JP 2022507985A JP 2021529421 A JP2021529421 A JP 2021529421A JP 2021529421 A JP2021529421 A JP 2021529421A JP 2022507985 A JP2022507985 A JP 2022507985A
Authority
JP
Japan
Prior art keywords
sample
block
intra
prediction
value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2021529421A
Other languages
English (en)
Other versions
JP7401542B2 (ja
Inventor
コンスタンチノヴィッチ フィリポフ,アレクセイ
アレクシエーヴィッチ ルフィツスキー,ヴァシリー
チェン,ジエンローァ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Publication of JP2022507985A publication Critical patent/JP2022507985A/ja
Priority to JP2023206545A priority Critical patent/JP2024019425A/ja
Application granted granted Critical
Publication of JP7401542B2 publication Critical patent/JP7401542B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/11Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/105Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/107Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124Quantisation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/96Tree coding, e.g. quad-tree coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本開示は、ピクチャのブロックをイントラ予測する方法及び装置を提供する。当該方法は、前記ブロックのサンプルについて、DCイントラ予測モードを用いるイントラ予測により、1つ以上の参照サンプル値から予測サンプル値を取得するステップと、前記予測サンプル値をサンプル重み係数により乗算して、加重予測サンプル値を生じるステップと、前記加重予測サンプル値に加算値を加算して、非正規化予測サンプル値を生じるステップと、前記非正規化予測サンプル値の整数表現の算術右シフトにより前記非正規化予測サンプル値を正規化するステップと、を含み、前記サンプル重み係数は、((2<<p)-wL-wT)であり、pは前記サンプル重み係数のパラメータであり、wLは水平重み係数であり、wTは垂直重み係数である。

Description

本開示は、画像及び/又はビデオコーディング及び復号の技術分野に関し、特に、イントラ予測のための方法及び機器に関する。
デジタルビデオは、DVDディスクの導入以来、広く使用されている。送信前、ビデオは符号化され、伝送媒体を用いて送信される。視聴者は、ビデオを受信し、視聴装置を用いてビデオを復号し表示する。何年にも渡り、例えばより高い解像度、色深さ及びフレームレートにより、ビデオの品質は向上してきた。これは、今日インターネット及びモバイル通信ネットワークを介して一般に伝送されているより大きなデータストリームをもたらした。
より高い解像度のビデオは、しかしながら、標準的に、それらがより多くの情報を有するので、より多くの帯域幅を必要とする。帯域幅要件を低減するために、ビデオの圧縮を含むビデオコーディング規格が導入されている。ビデオが符号化されると、帯域幅要件(又は記憶の場合には対応するメモリ要件)が低減される。時に、この低減は品質を犠牲にする。従って、ビデオコーディング規格は、帯域幅要件と品質との間のバランスを見い出そうとする。
高効率ビデオコーディング(High Efficiency Video Coding (HEVC))は、当業者に一般に知られているビデオコーディング規格の例である。HEVCでは、コーディング単位(coding unit (CU))を予測単位(prediction units (PU))又は変換単位(transform unit (TU))に分割する。バーサタイルビデオコーディング(Versatile Video Coding (VVC))次世代規格は、共同ビデオ探索チーム(Joint Video Exploration Team (JVET))として知られているパートナーシップで一緒に作業しているITU-Tビデオコーディング専門家グループ(Video Coding Experts Group (VCEG))及びISO/EIC動画像専門家グループ(ISO/IEC Moving Picture Experts Group (MPEG))標準化組織の最新の共同ビデオプロジェクトである。VVCは、ITU-T H.266/次世代ビデオコーディング(Next Generation Video Coding (NGVC))規格とも呼ばれる。VVCでは、複数のパーティションタイプの概念、つまり、CU、PU、及びTU概念の分離は、必要に応じて、最大変換長に対して大きすぎるサイズを有するCUの場合を除き、除去されるべきであり、CUパーティション形状のより多くの柔軟性をサポートする。
これらのコーディング単位(coding unit (CU))(ブロックとも呼ばれる)の処理は、それらのサイズ、空間的位置、及びエンコーダにより指定されるコーディングモードに依存する。コーディングモードは、予測タイプ:イントラ予測及びインター予測モードに従い2つのグループに分類できる。イントラ予測モードは、同じピクチャ(フレーム又は画像とも呼ばれる)のサンプルを用いて、参照サンプルを生成し、再構成されているブロックのサンプルの予測値を計算する。イントラ予測は、空間予測とも呼ばれる。インター予測モードは、時間的予測のために設計され、現在ピクチャのブロックのサンプルを予測するために前又は次のピクチャの参照サンプルを使用する。
ITU-T VCEG(Q6/16)及びISO/EIC MPEG(JTC 1/SC29/WG11)は、現在のHEVC規格(スクリーンコンテンツコーディング及び高ダイナミックレンジコーディングのための、その現在の拡張及び目先の拡張を含む)のものを有意に超える圧縮能力を有する将来のビデオコーディング技術の標準化の潜在的な必要性を研究している。グループは、当分野のそれらの専門家により提案された圧縮技術設計を評価するために、共同ビデオ探索チーム(Joint Video Exploration Team (JVET))として知られている共同連携努力においてこの探求活動に一緒に取り組んでいる。
VTM(Versatile Test Model)バージョン3.0は、93個のイントラ予測モード、並びに、4タップサブピクセルイントラ補間フィルタリング及び位置依存予測の組合せ(position-dependent prediction combination (PDPC))を含む幾つかのイントラ円滑化ツールを使用する。PDPCは、DC、平面、又は角度イントラ予測モードの結果である予測サンプルの変更の統一されたメカニズムとして提案されている。
本願の実施形態は、ピクチャの現在ブロックの改良されたイントラ予測のための機器及び方法を提供する。本発明は、独立請求項に定められる。従属請求項は、有利な実施形態を記載する。更なる実装形式は説明及び図面から明らかである。
第1の態様によると、ピクチャのブロックのイントラ予測の方法であって、前記ブロックのサンプルについて、
DCイントラ予測モードを用いるイントラ予測により、1つ以上の参照サンプル値から予測サンプル値を取得するステップと、
前記予測サンプル値をサンプル重み係数により乗算して、加重予測サンプル値を生じるステップと、
前記加重予測サンプル値に加算値を加算して、非正規化予測サンプル値を生じるステップと、
前記非正規化予測サンプル値の整数表現の算術右シフトにより前記非正規化予測サンプル値を正規化するステップと、
を含み、
前記サンプル重み係数は、((2<<p)-wL-wT)であり、
pは前記サンプル重み係数のパラメータであり、
wLは水平重み係数であり、
wTは垂直重み係数である、方法が提供される。
第2の態様によると、ピクチャの第1ブロック及び第2ブロックのイントラ予測の方法であって、当該方法は、前記第1ブロックのサンプルについて、及び前記第2ブロックのサンプルについて、
イントラ予測モードを用いるイントラ予測により、1つ以上の参照サンプル値から予測サンプル値を取得するステップ(S100)と、
前記予測サンプル値をサンプル重み係数により乗算して、加重予測サンプル値を生じるステップと、
前記加重予測サンプル値に加算値を加算して、非正規化予測サンプル値を生じるステップと、
前記非正規化予測サンプル値の整数表現の算術右シフトにより前記非正規化予測サンプル値を正規化するステップと、
を含み、
前記サンプル重み係数は、((2<<p)-wL-wT)であり、
pは前記サンプル重み係数のパラメータであり、
wLは水平重み係数であり、
wTは垂直重み係数であり、
前記第1ブロックについて前記予測サンプル値を取得するために使用される前記イントラ予測モードはDCイントラ予測モードであり、前記第2ブロックについて前記予測サンプル値を取得するために使用される前記イントラ予測モードは平面イントラ予測モードである、方法が提供される。
例えば、前記サンプル重み係数の前記パラメータは、前記サンプル重み係数の精度である。
幾つかの実施形態では、前記正規化予測サンプル値は、予測処理の最終結果であってよい。
第1の態様又は第2の態様による方法は、現在ブロックの改良されたイントラ予測を可能にでき、現在サンプルのDCイントラ予測の場合に、誤った予測サンプル値の発生が防がれ得る。
実施形態では、平面イントラ予測メカニズムが前記加算値を計算するために使用される。
これは、非正規化予測サンプル値の決定のために使用される、平面イントラ予測メカニズムが加算値の計算のために再利用され得るので、イントラ予測のための手順を簡略化することにより、低減された複雑さの程度を可能にできる。
実施形態では、前記サンプル重み係数は(64-wL-wT)である。
実施形態では、前記加算値は、前記参照サンプルのうちの1つ以上に依存する被加数を含む1つ以上の被加数の和である。
例えば、前記1つ以上の被加数は、丸め込みオフセットを含んでよい。
丸め込みオフセットを加算することは、非正規化予測サンプルの整数表現の算術右シフトの結果が正しく丸め込まれることを可能し得る。
実施形態では、1つ以上の参照サンプルに依存する前記被加数は、wL×R-1,y+wT×Rx,-1であり、Rx,-1及びR-1,yは、前記予測サンプルの上及び左に位置する最も近い参照サンプルの値を表す。
実施形態では、前記ピクチャはビデオシーケンスの部分である。
実施形態では、前記水平重み係数wL及び垂直重み係数wTは、2のべき乗である。
これは、前記重み係数による乗算の計算が、前記重み係数の乗算されるべき係数の整数表現のシフト演算を用いて実装できるようにする。
実施形態では、前記水平重み係数はwL=(2<<(p-1))>>((x<<1)>>nScale)であり、xは前記サンプルの水平座標であり、
前記垂直重み係数はwT=(2<<(p-1))>>((y<<1)>>nScale)であり、yは前記サンプルの垂直座標であり、
nScaleはスケールパラメータである。
実施形態では、前記スケールパラメータnScaleは前記ブロックのサイズから導出される。
前記ブロックの前記サイズから前記パラメータnScaleを導出することは、水平及び垂直重みを適切な方法で計算することを可能にでき、それにより、予測精度を向上する。
実施形態では、前記スケールパラメータnScaleは((Log2(nTbW)+Log2(nTbH)-2)>>2)として決定され、nTbWは前記ブロックの幅であり、nTbHは前記ブロックの高さである。
実施形態では、正規化予測サンプル値は前記予測サンプル値から計算され、(wL×R-1,y+wT×Rx,-1+(64-wL-wT)×P(x,y)+32)>>6を計算することを含み、
P(x,y)は前記予測サンプル値であり、
x,-1、R-1,yは、前記予測サンプルの上及び左に位置する最も近い参照サンプルの値を表し、
wLは水平重み係数であり、
wTは垂直重み係数である。
実施形態では、前記加算される丸め込みオフセットは32である。
これは、右シフト演算の正しく丸め込まれた計算結果が>>6であることを可能にし得る。
実施形態では、前記非正規化予測サンプル値の前記正規化は、正規化予測サンプル値を生じる。
実施形態では、前記ブロックの前記複数のサンプルは、前記ブロックの全てのサンプルを含む。
更に、ピクチャの符号化又は復号の方法であって、
上述のいずれか1つのステップを実行することにより、正規化予測サンプル値を取得するステップと、
前記正規化予測サンプル値に残差値を加算して、再構成サンプル値を生じるステップと、
を含む方法が提供される。
第3の態様によると、ピクチャを符号化又は復号する装置であって、前記装置は、上述の方法のうちのいずれか1つを実行するよう構成される処理回路を含む装置が提供される。
実施形態では、前記処理回路は、1つ以上のプロセッサと、前記1つ以上のプロセッサに接続された非一時的コンピュータ可読媒体と、を含み、前記非一時的コンピュータ可読媒体は、前記1つ以上のプロセッサにより実行されると、前記装置に前記方法を実行させるプログラムコードを運ぶ。
第4の態様によると、非一時的コンピュータ可読媒体であって、前記非一時的コンピュータ可読媒体は、コンピュータ装置により実行されると、前記コンピュータ装置に上述の方法のうちのいずれか1つを実行させるプログラムコードを運ぶ、非一時的コンピュータ可読媒体が提供される。
第5の態様によると、上述の方法のうちのいずれか1つを実行するためのプログラムコードを含むコンピュータプログラムが提供される。
態様によると、エンコーダ装置であって、前記エンコーダ装置は、ピクチャのブロックのイントラ予測を実行するよう構成され、
DCイントラ予測モードを用いるイントラ予測により、1つ以上の参照サンプル値から予測サンプル値を取得するよう構成される取得器と、
前記予測サンプル値をサンプル重み係数により乗算して、加重予測サンプル値を生じるよう構成される乗算器と、
前記加重予測サンプル値に加算値を加算して、非正規化予測サンプル値を生じるよう構成される加算器と、
前記非正規化予測サンプル値の整数表現の算術右シフトにより前記非正規化予測サンプル値を正規化するよう構成される正規化器と、
を含み、
前記サンプル重み係数は、((2<<p)-wL-wT)であり、
pは前記サンプル重み係数のパラメータであり、
wLは水平重み係数であり、
wTは垂直重み係数である、エンコーダ装置が提供される。
態様によると、エンコーダ装置であって、前記エンコーダ装置は、ピクチャの第1ブロック及び第2ブロックのイントラ予測を実行するよう構成され、
イントラ予測モードを用いるイントラ予測により、1つ以上の参照サンプル値から予測サンプル値を取得するよう構成される取得器と、
前記予測サンプル値をサンプル重み係数により乗算して、加重予測サンプル値を生じるよう構成される乗算器と、
前記加重予測サンプル値に加算値を加算して、非正規化予測サンプル値を生じるよう構成される加算器と、
前記非正規化予測サンプル値の整数表現の算術右シフトにより前記非正規化予測サンプル値を正規化するよう構成される正規化器と、
を含み、
前記サンプル重み係数は、((2<<p)-wL-wT)であり、
pは前記サンプル重み係数のパラメータであり、
wLは水平重み係数であり、
wTは垂直重み係数である、エンコーダ装置が提供される。前記第1ブロックのサンプルについて前記予測サンプル値を取得するために使用される前記イントラ予測モードはDCイントラ予測モードであり、前記第2ブロックのサンプルについて前記予測サンプル値を取得するために使用されるイントラ予測モードは平面イントラ予測モードである。
態様によると、デコーダ装置であって、前記デコーダ装置は、ピクチャのブロックのイントラ予測を実行するよう構成され、
DCイントラ予測モードを用いるイントラ予測により、1つ以上の参照サンプル値から予測サンプル値を取得するよう構成される取得器と、
前記予測サンプル値をサンプル重み係数により乗算して、加重予測サンプル値を生じるよう構成される乗算器と、
前記加重予測サンプル値に加算値を加算して、非正規化予測サンプル値を生じるよう構成される加算器と、
前記非正規化予測サンプル値の整数表現の算術右シフトにより前記非正規化予測サンプル値を正規化するよう構成される正規化器と、
を含み、
前記サンプル重み係数は、((2<<p)-wL-wT)であり、
pは前記サンプル重み係数のパラメータであり、
wLは水平重み係数であり、
wTは垂直重み係数である、デコーダ装置が提供される。
態様によると、デコーダ装置であって、前記デコーダ装置は、ピクチャの第1ブロック及び第2ブロックのイントラ予測を実行するよう構成され、
イントラ予測モードを用いるイントラ予測により、1つ以上の参照サンプル値から予測サンプル値を取得するよう構成される取得器と、
前記予測サンプル値をサンプル重み係数により乗算して、加重予測サンプル値を生じるよう構成される乗算器と、
前記加重予測サンプル値に加算値を加算して、非正規化予測サンプル値を生じるよう構成される加算器と、
前記非正規化予測サンプル値の整数表現の算術右シフトにより前記非正規化予測サンプル値を正規化するよう構成される正規化器と、
を含み、
前記サンプル重み係数は、((2<<p)-wL-wT)であり、
pは前記サンプル重み係数のパラメータであり、
wLは水平重み係数であり、
wTは垂直重み係数である、デコーダ装置が提供される。前記第1ブロックのサンプルについて前記予測サンプル値を取得するために使用される前記イントラ予測モードはDCイントラ予測モードであり、前記第2ブロックのサンプルについて前記予測サンプル値を取得するために使用されるイントラ予測モードは平面イントラ予測モードである。
態様によると、ピクチャのブロックのイントラ予測のための予測装置であって、
前記ブロックのサンプルについて、DCイントラ予測モードを用いるイントラ予測により、1つ以上の参照サンプル値から予測サンプル値を取得するよう構成される取得器と、
前記予測サンプル値をサンプル重み係数により乗算して、加重予測サンプル値を生じるよう構成される乗算器と、
前記加重予測サンプル値に加算値を加算して、非正規化予測サンプル値を生じるよう構成される加算器と、
前記非正規化予測サンプル値の整数表現の算術右シフトにより前記非正規化予測サンプル値を正規化するよう構成される正規化器と、
を含み、
前記サンプル重み係数は、((2<<p)-wL-wT)であり、
pは前記サンプル重み係数のパラメータであり、
wLは水平重み係数であり、
wTは垂直重み係数である、予測装置が提供される。
態様によると、ピクチャの第1ブロック及び第2ブロックのイントラ予測のための予測装置であって、
前記第1ブロック及び前記第2ブロックのサンプルについて、イントラ予測モードを用いるイントラ予測により、1つ以上の参照サンプル値から予測サンプル値を取得するよう構成される取得器と、
前記予測サンプル値をサンプル重み係数により乗算して、加重予測サンプル値を生じるよう構成される乗算器と、
前記加重予測サンプル値に加算値を加算して、非正規化予測サンプル値を生じるよう構成される加算器と、
前記非正規化予測サンプル値の整数表現の算術右シフトにより前記非正規化予測サンプル値を正規化するよう構成される正規化器と、
を含み、
前記サンプル重み係数は、((2<<p)-wL-wT)であり、
pは前記サンプル重み係数のパラメータであり、
wLは水平重み係数であり、
wTは垂直重み係数である、予測装置が提供される。前記第1ブロックについて前記予測サンプル値を取得するために使用される前記イントラ予測モードはDCイントラ予測モードであり、前記第2ブロックについて前記予測サンプル値を取得するために使用されるイントラ予測モードは平面イントラ予測モードである。
態様によると、ピクチャのブロックのイントラ予測の方法は、前記ブロックのサンプル(x,y)について、
DCイントラ予測モードを用いるイントラ予測により1つ以上の参照サンプル値から予測サンプル値P(x,y)を取得するステップと、
前記予測サンプル値P(x,y)に基づき及び参照サンプル値R(x,-1)及びR(-1,y)に基づき、結果予測サンプル値P’(x,y)を生成するステップであって、
P’(x,y)=(wL×R(-1,y)+wT×R_(x,-1)+(64-wL-wT)×P(x,y)+32))>>6であり、
前記参照サンプル値R(x,-1)は、前記ブロックの上に位置するサンプル(x,-1)の値であり、前記参照サンプル値R(-1,y)は、前記ブロックの左に位置するサンプル(-1,y)の値であり、wLは水平重み係数であり、wTは垂直重み係数である、ステップと、を含む。
1つ以上の実施形態の詳細は、添付の図面及び以下の説明において説明される。他の特徴、目的、及び利点は、説明、図面、及び請求項から明らかになるだろう。
以下では、本開示の実施形態は、添付の図面及び図を参照して更に詳細に説明される。
本開示の実施形態を実施するよう構成されるビデオコーディングシステムの例を示すブロック図である。 本開示の実施形態を実施するよう構成されるビデオコーディングシステムの別の例を示すブロック図である。 本開示の実施形態を実施するよう構成されるビデオエンコーダの例を示すブロック図である。 本開示の実施形態を実施するよう構成されるビデオデコーダの例示的な構造を示すブロック図である。 符号化機器又は復号機器の例を示すブロック図である。 符号化機器又は復号機器の別の例を示すブロック図である。 角度イントラ予測方向及びモード、並びに垂直予測方向のpangの関連する値の例を示す。 4×4ブロックのpref~p1,refの変換の例を示す。 水平角度予測のp1,refの構成の例を示す。 垂直角度予測のp1,refの構成の例を示す。 JEM及びBMS-1における角度イントラ予測方向及び関連するイントラ予測モードの例を示す。 VTM-2における角度イントラ予測方向及び関連するイントラ予測モードの例を示す。 VTM-3における角度イントラ予測方向及び関連するイントラ予測モードの例を示す。 HEVCにおける角度イントラ予測方向及び関連するイントラ予測モードの例を示す。 QTBTの例を示す。 4×4ブロックの内部の(0,0)及び(1,0)位置のDCモードPDPC重みの例を示す。 主参照辺の参照サンプルからのブロックのイントラ予測の例を示す。 実施形態によるピクチャのブロックをイントラ予測する方法を示す。 実施形態によるエンコーダ装置又はデコーダ装置を示す。 実施形態によるエンコーダ装置又はデコーダ装置を示す。 4×4ブロックの内部の(0,0)及び(1,0)位置のDCモードPDPC重みの。を示す; サンプルのイントラ予測の例を示す。
以下では、明示的に断りのない場合、同一の参照符号は同一の又は少なくとも機能的に等価な特徴を表す。
以下の説明では、本開示の部分を形成し、図示により本開示の実施形態の特定の態様又は本開示の実施形態が使用され得る特定の態様を示す、添付の図面を参照する。本開示の実施形態は、他の態様で使用され、図に示されない構造的又は論理的変化を含んでよいことが理解される。以下の詳細な説明は、従って、限定的意味と考えられるべきではなく、本開示の範囲は添付の特許請求の範囲により定められる。
例えば、記載の方法に関連する開示は、方法を実行するよう構成される対応する装置又はシステムについても当てはまり、逆も同様である。例えば、1又は複数の特定の方法のステップが説明される場合、1つ以上のユニットが明示的に説明され又は図示されない場合でも、対応する装置は、説明される1又は複数の方法のステップを実行するために、1又は複数のユニット、例えば機能ユニットを含んでよい(例えば、1つのユニットが1又は複数のステップを実行し、又は複数のユニットの各々が複数のステップのうちの1つ以上を実行する)。他方で、例えば、特定の機器が1又は複数のユニット、例えば機能ユニットに基づき説明される場合、1又は複数のステップが明示的に説明され又は図示されない場合でも、対応する方法は、1又は複数のユニットの機能を実行するための1つのステップを含んでよい(例えば、1つのステップが1又は複数のユニットの機能を実行し、又は複数のステップの各々が複数のユニットのうちの1つ以上の機能を実行する)。更に、ここで説明される種々の例示的な実施形態及び/又は態様の特徴は、特に断りのない限り、互いに結合されてよいことが理解される。
ビデオコーディングは、標準的に、ビデオ又はビデオシーケンスを形成する、ピクチャのシーケンスの処理を表す。用語「ピクチャ」の代わりに、用語「フレーム」又は「画像」がビデオコーディングの分野では同義語として使用され得る。ビデオコーディング(又は一般的にコーディング)は、ビデオ符号化及びビデオ復号の2つの部分を含む。ビデオ符号化は、ソース側で実行され、標準的に、元のビデオピクチャを処理して(例えば、圧縮による)、(より効率的な記憶及び/又は伝送のために)ビデオピクチャを表現するために必要なデータ量を削減することを含む。ビデオ復号は、宛先側で実行され、標準的に、エンコーダと比べて逆の処理を含み、ビデオピクチャを再構成する。ビデオピクチャ(又は一般的にピクチャ)の「コーディング」を参照する実施形態は、ビデオピクチャ又はそれぞれのビデオシーケンスの「符号化」又は「復号」に関連すると理解されるべきである。符号化部分及び復号部分の結合は、コーデック(CODEC (Coding and Decoding))とも呼ばれる。
無損失ビデオコーディングの場合には、元のビデオピクチャが再構成可能であり、再構成されたビデオピクチャは、元のビデオピクチャと同じ品質を有する(伝送損失、又は記憶若しくは伝送中に他のデータ損失が無いと仮定する)。損失ビデオコーディングの場合には、例えば量子化による更なる圧縮が実行され、ビデオピクチャを表現するデータ量を削減する。これは、デコーダで完全に再構成できず、再構成されたビデオピクチャの品質は、元のビデオピクチャの品質と比べて低い又は悪い。
幾つかのビデオコーディング規格は、「損失ハイブリッドビデオコーデック」のグループに属する(例えば、サンプルドメインにおける空間及び時間予測と、変換ドメインにおける量子化を適用する2D変換コーディングと、を結合する)。ビデオシーケンスの各ピクチャは、標準的に、重なり合わないブロックのセットにパーティションされ、コーディングは、標準的に、ブロックレベルで実行される。言い換えると、エンコーダにおいて、例えば空間(イントラピクチャ)予測及び/又は時間(インターピクチャ)予測を用いて予測ブロックを生成し、予測ブロックを現在ブロック(現在処理されている/処理されるべきブロック)から減算して残差ブロックを取得し、残差ブロックを変換し、及び変換ドメインで残差ブロックを量子化して、伝送されるべきデータ量を削減し(圧縮)することにより、ビデオは標準的にブロック(ビデオブロック)レベルで処理され、つまり符号化される。一方で、デコーダにおいて、エンコーダと比べて逆の処理が、符号化又は圧縮されたブロックに対して適用されて、提示するために現在ブロックを再構成する。更に、エンコーダは、デコーダ処理ループを複製して、後続のブロックを処理し、例えば、コーディングするために、両方が同一の予測(例えば、イントラ及びインター予測)及び/又は再構成を生成するようにする。
ビデオコーディングシステム10の以下の実施形態では、ビデオエンコーダ20及びビデオデコーダ30は図1~3に基づき説明される。
図1Aは、本願の技術を利用し得る例示的なコーディングシステム10、例えばビデオコーディングシステム10(又は略してコーディングシステム10)を示す概略的ブロック図である。ビデオコーディングシステム10のビデオエンコーダ20(又は略してエンコーダ20)及びビデオデコーダ30(又は略してデコーダ30)は、本願で説明される種々の例に従う技術を実行するよう構成され得る装置の例を表す。
図1Aに示すように、コーディングシステム10は、符号化ピクチャデータ21を、例えばコーディングピクチャデータ13を復号する宛先装置14に提供するよう構成されるソース装置12を含む。
ソース装置12は、エンコーダ20を含み、追加で、任意で、ピクチャソース16、プリプロセッサ(又は前処理ユニット)18、例えばピクチャプリプロセッサ18、及び通信インタフェース又は通信ユニット22を含んでよい。
ピクチャソース16は、任意の種類のピクチャキャプチャ装置、例えば現実のピクチャをキャプチャするカメラ、及び/又は任意の種類のピクチャ生成装置、例えばコンピュータアニメーションピクチャを生成するコンピュータグラフィックプロセッサ、又は現実世界のピクチャ、コンピュータの生成したピクチャ(例えば、スクリーンコンテンツ、仮想現実(virtual reality (VR))ピクチャ)及び/又はそれらの任意の組み合わせ(例えば、拡張現実(augmented reality (AR))ピクチャ)を取得し及び/又は提供する任意の種類の他の装置、を含み又はそれであってよい。ピクチャソースは、前述のピクチャのうちのいずれかを格納する任意の種類のメモリ又は記憶であってよい。
プリプロセッサ18及び前処理ユニット18により実行される処理と対照的に、ピクチャ又はピクチャデータ17は、生ピクチャ又は生ピクチャデータ17とも呼ばれてよい。
プリプロセッサ18は、(生)ピクチャデータ17を受信し、ピクチャデータ17に前処理を実行して、前処理済みピクチャ19又は前処理済みピクチャデータ19を取得するよう構成される。プリプロセッサ18により実行される前処理は、例えばトリミング、色形式変換(例えば、RGBからYCbCrへ)、色補正、又はノイズ除去を含んでよい。前処理ユニット18は任意的コンポーネントであってよいことが理解できる。
ビデオエンコーダ20は、前処理済みピクチャデータ19を受信し、符号化ピクチャデータ21を提供するよう構成される(更なる詳細は、例えば図2に基づき後述される)。
ソース装置12の通信インタフェース22は、符号化ピクチャデータ21を受信し、符号化ピクチャデータ21(又はその任意の更なる処理済みバージョン)を通信チャネル13を介して別の装置、例えば宛先装置14又は任意の他の装置へ記憶又は直接再構成のために送信するよう構成されてよい。
宛先装置14は、デコーダ30(例えば、ビデオデコーダ30)を含み、追加で、つまり任意で、通信インタフェース又は通信ユニット28、ポストプロセッサ32(又は後処理ユニット32)、及びディスプレイ装置34を含んでよい。
宛先装置14の通信インタフェース28は、符号化ピクチャデータ21(又はその任意の更なる処理済みバージョン)を、例えばソース装置12から直接に又は任意の他のソース、例えば記憶装置、例えば符号化ピクチャデータ記憶装置から受信し、符号化ピクチャデータ21をデコーダ30へ提供するよう構成される。
通信インタフェース22及び通信インタフェース28は、符号化ピクチャデータ21又は符号化データ13を、ソース装置12と宛先装置14との間の直接通信リンク、例えば直接有線又は無線接続、又は任意の種類のネットワーク、例えば有線又は無線ネットワーク、又はそれらの任意の組み合わせ、又は任意の種類の私設又は公衆ネットワーク、又はそれらの任意の種類の組み合わせを介して送信又は受信するよう構成されてよい。
通信インタフェース22は、例えば、符号化ピクチャデータ21を適切な形式、例えばパケットにパッケージし、及び/又は通信リンク又は通信ネットワークを介して送信するために、任意の種類の送信符号化若しくは処理を用いて符号化ピクチャデータを処理するよう構成されてよい。
通信インタフェース28は、通信インタフェース22の相手方を形成し、例えば、送信されたデータを受信し、任意の種類の対応する送信復号若しくは処理を用いて送信データを処理し、及び/又はパッケージ解除して符号化ピクチャデータ21を取得するよう構成されてよい。
通信インタフェース22及び通信インタフェース28の両方は、図1Aでソース装置12から宛先装置14を指す通信チャネル13の矢印により示されるように、単方向通信インタフェース、又は、双方向通信インタフェースとして構成されてよく、例えば接続を確立するため、通信リンク及び/又はデータ送信、例えば符号化ピクチャデータ送信に関連する任意の他の情報に肯定応答しこれを交換するために、例えばメッセージを送信し及び受信するよう構成されてよい。
デコーダ30は、符号化ピクチャデータ21を受信し、復号ピクチャデータ31又は復号ピクチャ31を提供するよう構成される(更なる詳細は、例えば図3又は図5に基づき後述される)。
宛先装置14のポストプロセッサ32は、復号ピクチャデータ31(再構成ピクチャデータとも呼ばれる)、例えば復号ピクチャ31を後処理して、後処理済みピクチャデータ33、例えば後処理済みピクチャ33を取得するよう構成される。後処理ユニット32により実行される後処理は、例えば色形式変換(例えば、YCbCrからRGBへ)、色補正、トリミング、又は再サンプリング、又は、例えば復号ピクチャデータ31を例えばディスプレイ装置34による表示のために準備するための任意の他の処理、を含んでよい。
宛先装置14のディスプレイ装置34は、例えばユーザ又はビューアにピクチャを表示するために、後処理済みピクチャデータ33を受信するよう構成される。ディスプレイ装置34は、再構成ピクチャを提示する任意の種類のディスプレイ、例えば内蔵又は外部ディスプレイ又はモニタであり又はそれを含んでよい。ディスプレイは、例えば液晶ディスプレイ(liquid crystal displays (LCD))、有機発光ダイオード(organic light emitting diodes (OLED))ディスプレイ、プラズマディスプレイ、プロジェクタ、マイクロLEDディスプレイ、シリコン上の液晶(liquid crystal on silicon (LCoS))、デジタル光プロセッサ(digital light processor(DLP))又は任意の種類の他のディスプレイを含んでよい。
図1Aはソース装置12及び宛先装置14を別個の装置として示すが、装置の実施形態は、ソース装置12又は対応する機能と宛先装置14又は対応する機能の両方又は両方の機能を含んでもよい。このような実施形態では、ソース装置12又は対応する機能及び宛先装置14又は対応する機能は、同じハードウェア及び/又はソフトウェア又は別個のハードウェア及び/又はソフトウェアを用いて又はそれらの任意の組み合わせにより実装されてよい。
説明に基づき当業者に明らかなように、図1Aに示されるようなソース装置12及び/又は宛先装置14内の異なるユニット又は機能の存在及び(正確な)分割は、実際の装置及び用途に依存して変化してよい。
エンコーダ20(例えば、ビデオエンコーダ20)及びデコーダ30(例えば、ビデオデコーダ30)はそれぞれ、1つ以上のマイクロプロセッサ、デジタル信号プロセッサ(digital signal processors (DSP))、特定用途向け集積回路(application-specific integrated circuits (ASIC))、フィールドプログラマブルゲートアレイ(field-programmable gate arrays (FPGA))、個別ロジック、ハードウェア、又はそれらの任意の組み合わせのような、図1Bに示すような様々な適切な回路のうちのいずれかとして実装されてよい。技術が部分的にソフトウェアで実装される場合、装置は、適切な非一時的コンピュータ可読記憶媒体内のソフトウェアのための命令を格納してよく、命令をハードウェアで1つ以上のプロセッサを用いて実行して、本開示の技術を実行してよい。前述のいずれか(ハードウェア、ソフトウェア、ハードウェアとソフトウェアとの組み合わせ、等を含む)は、1つ以上のプロセッサであると考えられてよい。ビデオエンコーダ20及びビデオデコーダ30の各々は、1つ以上のエンコーダ又はデコーダに含まれてよく、いずれも、結合されたエンコーダ/デコーダ(encoder/decoder (CODEC))の部分としてそれぞれの装置内に統合されてよい。
ソース装置12及び宛先装置14は、任意の種類のハンドヘルド又は固定装置、例えばノートブック又はラップトップコンピュータ、移動電話機、スマートフォン、タブレット又はタブレットコンピュータ、カメラ、デスクトップコンピュータ、セットトップボックス、テレビジョン、ディスプレイ装置、デジタルメディアプレイヤ、ビデオゲームコンソール、ビデオストリーミング装置(例えば、コンテンツサービスサーバ、又はコンテンツ配信サーバ)、ブロードキャスト受信装置、ブロードキャスト送信装置、等を含む、広範な装置のうちのいずれかを含んでよく、任意の種類のオペレーティングシステムを使用してよく又は使用しなくてよい。幾つかの場合には、ソース装置12及び宛先装置14は、無線通信のために装備されてよい。従って、ソース装置12及び宛先装置14は、無線通信装置であってよい。
幾つかの場合には、図1Aに示されるビデオコーディングシステム10は単に例であり、本願の技術は、必ずしも符号化装置と復号装置との間の任意のデータ通信を含まないビデオコーディング設定(例えば、ビデオ符号化又はビデオ復号)に適用してよい。他の例では、データはローカルメモリから読み出される、ネットワークを介してストリーミングされる、等である。ビデオ符号化装置は、データを符号化しメモリに格納してよく、及び/又は復号装置はデータをメモリから読み出し復号してよい。幾つかの例では、符号化及び復号は、互いに通信しないが単にデータをメモリへと符号化し及び/又はメモリからデータを読み出し復号する装置により実行される。
図1Bは、例示的な実施形態による、図2のエンコーダ20及び/又は図3のデコーダ30を含む別の例示的なビデオコーディングシステム40の説明図である。システム40は、本願において説明される種々の例に従う技術を実施できる。図示の実装では、ビデオコーディングシステム40は、画像装置41、ビデオエンコーダ100、ビデオデコーダ30(及び/又は処理ユニット46の論理回路47により実装されるビデオコーダ)、アンテナ42、1つ以上のプロセッサ43、1つ以上のメモリストア44、及び/又はディスプレイ装置45を含んでよい。
図示のように、画像装置41、アンテナ42、処理ユニット46、論理回路47、ビデオエンコーダ20、ビデオデコーダ30、プロセッサ43、メモリストア44、及び/又はディスプレイ装置45は、互いに通信可能であってよい。議論されるように、ビデオエンコーダ20及びビデオデコーダ30の両方と共に示されるが、ビデオコーディングシステム40は、種々の例においてビデオエンコーダ20のみ又はビデオデコーダ30のみを含んでよい。
示されるように幾つかの例では、ビデオコーディングシステム40はアンテナ42を含んでよい。アンテナ42は、例えばビデオデータの符号化されたビットストリームを送信又は受信するよう構成されてよい。更に、幾つかの例では、ビデオコーディングシステム40はディスプレイ装置45を含んでよい。ディスプレイ装置45は、ビデオデータを提示するよう構成されてよい。示されるように、幾つかの例では、論理回路47は処理ユニット46により実装されてよい。処理ユニット46は、特定用途向け集積回路(application-specific integrated circuit (ASIC))ロジック、グラフィックプロセッサ、汎用プロセッサ、等を含んでよい。ビデオコーディングシステム40も、同様に特定用途向け集積回路(application-specific integrated circuit (ASIC))ロジック、グラフィックプロセッサ、汎用プロセッサ、等を含んでよい任意的なプロセッサ43を含んでよい。幾つかの例では、論理回路47は、ハードウェア、ビデオコーディング専用ハードウェア、等により実装されてよく、プロセッサ43は、汎用ソフトウェア、オペレーティングシステム、等を実装してよい。更に、メモリストア44は、揮発性メモリ(例えば、静的ランダムアクセスメモリ(Static Random Access Memory (SRAM))、動的ランダムアクセスメモリ(Dynamic Random Access Memory (DRAM)、等)又は不揮発性メモリ(例えば、フラッシュメモリ、等)、等のような任意の種類のメモリであってよい。非限定的な例では、メモリストア44はキャッシュメモリにより実装されてよい。幾つかの例では、論理回路47は、(例えば画像バッファの実装のために)メモリストア44にアクセスしてよい。他の例では、論理回路47及び/又は処理ユニット46は、画像バッファ等の実装のためにメモリストア(例えばキャッシュ等)を含んでよい。
幾つかの例では、論理回路により実装されるビデオエンコーダ20は、(例えば、処理ユニット46又はメモリストア44のいずれかによる)画像バッファ、及び(例えば、処理ユニット46による)グラフィック処理ユニットを含んでよい。グラフィック処理ユニットは、画像バッファに通信可能に結合されてよい。グラフィック処理ユニットは、図2に関して議論したような種々のモジュール及び/又はここで説明される任意の他のエンコーダシステム若しくはサブシステムを実現するために、論理回路47により実装されるようなビデオエンコーダ20を含んでよい。論理回路は、ここで議論されるような種々の動作を実行するよう構成されてよい。
ビデオデコーダ30は、図3のデコーダ30に関して議論したような種々のモジュール及び/又はここで説明された任意の他のデコーダシステム若しくはサブシステムを実現するために、論理回路47により実装されるのと同様の方法で実装されてよい。幾つかの例では、ビデオデコーダ30は、論理回路を介して実装されてよく、(例えば、処理ユニット420又はメモリストア44のいずれかによる)画像バッファ、及び(例えば、処理ユニット46による)グラフィック処理ユニットを含んでよい。グラフィック処理ユニットは、画像バッファに通信可能に結合されてよい。グラフィック処理ユニットは、図3に関して議論されるような種々のモジュール及び/又はここで説明される任意の他のデコーダシステム若しくはサブシステムを実現するために、論理回路47により実装されるようなビデオデコーダ30を含んでよい。
幾つかの例では、ビデオコーディングシステム40のアンテナ42は、ビデオデータの符号化されたビットストリームを受信するよう構成されてよい。議論されるように、符号化されたビットストリームは、コーディングパーティションに関連するデータ(例えば、変換係数又は量子化変換係数、(議論されるような)任意的な指示子、及び/又はコーディングパーティションを定めるデータ)のような、ここで議論されるビデオフレームの符号化に関連するデータ、指示子、インデックス値、モード選択データ、等を含んでよい。ビデオコーディングシステム40は、アンテナ42に結合され符号化されたビットストリームを復号するよう構成されるビデオデコーダ30も含んでよい。ディスプレイ装置45は、ビデオフレームを提示するよう構成される。
説明の便宜上、本開示の実施形態は、ここで、例えば高効率ビデオコーディング(High-Efficiency Video Coding (HEVC))、又はバーサタイルビデオコーディング(Versatile Video coding(VVC))のリファレンスソフトウェア、ITU-Tビデオコーディング専門家グループ(ITU-T Video Coding Experts Group (VCEG))及びISO/IEC動画専門家グループ(Motion Picture Experts Group (MPEG))のビデオコーディングに関する共同作業部会(Joint Collaboration Team on Video Coding (JCT-VC))により開発された次世代ビデオコーディング規格を参照して説明される。当業者は、本開示の実施形態がHEVC又はVVCに限定されないことを理解するだろう。
エンコーダ及び符号化方法
図2は、本願の技術を実施するよう構成される例示的なビデオエンコーダ20の概略的ブロック図を示す。図2の例では、ビデオエンコーダ20は、入力201(又は入力インタフェース201)、残差計算ユニット204、変換処理ユニット206、量子化ユニット208、逆量子化ユニット210及び逆変換処理ユニット212、再構成ユニット214、ループフィルタユニット220、復号ピクチャバッファ(decoded picture buffer (DPB))230、モード選択ユニット260、エントロピー符号化ユニット270、出力272(又は出力インタフェース272)を含む。モード選択ユニット260は、インター予測ユニット244、イントラ予測処理ユニット254、及びパーティションユニット262を含んでよい。インター予測ユニット244は、動き推定ユニット及び動き補償ユニット(図示しない)を含んでよい。図2に示すビデオエンコーダ20は、ハイブリッドビデオエンコーダ又はハイブリッドビデオコーデックに従うビデオエンコーダとも呼ばれてよい。
残差計算ユニット204、変換処理ユニット206、量子化ユニット208、モード選択ユニット260は、エンコーダ20の順方向信号経路を形成するとして参照されてよい。一方で、逆量子化ユニット210、逆変換処理ユニット212、再構成ユニット214、バッファ216、ループフィルタ220、復号ピクチャバッファ(decoded picture buffer (DPB))230、インター予測処理ユニット244、及びイントラ予測ユニット254は、ビデオエンコーダ20の逆方向信号経路を形成するとして参照されてよく、ビデオエンコーダ20の逆方向信号経路はデコーダの信号経路に対応する(図3のビデオデコーダ30を参照)。逆量子化ユニット210、逆変換処理ユニット212、再構成ユニット214、ループフィルタ220、復号ピクチャバッファ(decoded picture buffer (DPB))230、インター予測ユニット244、及びイントラ予測ユニット254は、ビデオエンコーダ20の「内蔵デコーダ」を形成するとも表される。
ピクチャ及びピクチャパーティション(ピクチャ及びブロック)
エンコーダ20は、例えば入力201により、ピクチャ17(又はピクチャデータ17)、例えばビデオ又はビデオシーケンスを形成するピクチャのシーケンスのピクチャを受信するよう構成されてよい。受信したピクチャ又はピクチャデータは、前処理済みピクチャ19(又は前処理済みピクチャデータ19)であってもよい。簡単のために、以下の説明はピクチャ17を参照する。ピクチャ17は、(特に、ビデオコーディングでは、現在ピクチャを他のピクチャ、例えば同じビデオシーケンス、つまり現在ピクチャも含むビデオシーケンスの前に符号化された及び/又は復号されたピクチャと区別するために)現在ピクチャ又は被コーディングピクチャとも呼ばれてよい。
(デジタル)ピクチャは、強度値を有するサンプルの2次元配列又は行列と考えられる又は考えることができる。配列の中のサンプルは、ピクセル(pixel)(ピクチャ要素の短縮形)又はペル(pel)とも呼ばれてよい。配列又はピクチャの水平及び垂直方向(又は軸)にあるサンプルの数は、ピクチャのサイズ及び/又は解像度を定める。色の表現のために、標準的に3つの色成分が利用される。つまり、ピクチャは、3つのサンプル配列で表現され又はそれを含んでよい。RBG形式又は色空間では、ピクチャは、対応する赤、緑、及び青色サンプル配列を含む。しかしながら、ビデオコーディングでは、各ピクセルは、標準的に、輝度及び色度形式、又は色空間、例えば、Y(時には代わりにLが使用される)により示される輝度成分とCb及びCrにより示される2つの色度成分とを含むYCbCrで表現される。輝度(又は略してルマ)成分Yは、明るさ又はグレーレベル強度(例えば、グレイスケールピクチャのような)を表現する。一方で、2つの色度(又は略してクロマ)成分Cb及びCrは、色度又は色情報成分を表現する。従って、YCbCr形式のピクチャは、輝度サンプル値(Y)の輝度サンプル配列と、色度値(Cb及びCr)の2つの色度サンプル配列とを含む。RGB形式のピクチャは、YCbCr形式に転換され又は変換されてよく、逆も同様であり、処理は色転換又は変換としても知られる。ピクチャが単色である場合、ピクチャは、輝度サンプル配列のみを含んでよい。従って、ピクチャは、例えば、単色形式のルマサンプルの配列又はルマサンプルの配列、及び4:2:0、4:2:2、及び4:4:4色形式のクロマサンプルの2つの対応する配列であってよい。
ビデオエンコーダ20の実施形態は、ピクチャ17を複数の(標準的には重なり合わない)ピクチャブロック203にパーティションするよう構成されるピクチャパーティションユニット(図2に示されない)を含んでよい。これらのブロックは、ルートブロック、マクロブロック(H.264/AVC)又はコーディング木ブロック(coding tree block (CTB))又はコーディング木単位(coding tree unit (CTU))(H.265/HEVC及びVVC)と呼ばれてもよい。ピクチャパーティションユニットは、同じブロックサイズをビデオシーケンスの全部のピクチャ、及びブロックサイズを定める対応するグリッドに対して使用し、又はピクチャ又はピクチャのサブセット若しくはグループ間のブロックサイズを変更し、各ピクチャを対応するブロックにパーティションするよう構成されてよい。
更なる実施形態では、ビデオエンコーダは、ピクチャ17のブロック203、例えばピクチャ17を形成する1つの、幾つかの、又は全部のブロックを直接受信するよう構成されてよい。ピクチャブロック203は、現在ピクチャブロック又は被コーディングピクチャブロックとも呼ばれてよい。
ピクチャ17と同様に、ピクチャブロック203は、ここでも、強度値(サンプル値)を有するサンプルの2次元配列又は行列であり又は考えることができるが、ピクチャ17より小さい次元である。言い換えると、ブロック203は、例えば1つのサンプル配列(例えば、単色ピクチャ17の場合にはルマ配列、又はカラーピクチャの場合にはルマ若しくはクロマ配列)、又は3つのサンプル配列(例えば、カラーピクチャ17の場合には、ルマ及び2つのクロマ配列)、又は適用される色形式に依存して任意の他の数の及び/又は種類の配列を含んでよい。ブロック203の水平及び垂直方向(又は軸)にあるサンプルの数は、ブロック203のサイズを定める。従って、ブロックは、例えばサンプルのM×N(M列×N行)配列、又は変換係数のM×N配列であってよい。
図2に示すようなビデオエンコーダ20の実施形態は、ブロック毎にピクチャ17を符号化するよう構成されてよい。例えば、符号化及び予測がブロック203毎に実行される。
残差計算
残差計算ユニット204は、残差ブロック205(残差205とも呼ばれる)を、ピクチャブロック203及び予測ブロック265(予測ブロック265に関する更なる詳細は後に提供される)に基づき、例えば予測ブロック265のサンプル値をピクチャブロック203のサンプル値からサンプル毎に(ピクセル毎に)減算してサンプルドメインにおける残差ブロック205を取得することにより、計算するよう構成されてよい。
変換
変換処理ユニット206は、変換、例えば離散コサイン変換(discrete cosine transform (DCT))又は離散サイン変換(discrete sine transform (DST))を残差ブロック205のサンプル値に対して適用して、変換ドメインにおける変換係数207を取得するよう構成されてよい。変換係数207は、変換残差係数とも呼ばれ、変換ドメインにおける残差ブロック205を表してよい。
変換処理ユニット206は、H.265/HEVCのために指定された変換のようなDCT/DSTの整数近似を適用するよう構成されてよい。直交DCT変換と比べて、このような整数近似は、標準的に、特定の因子によりスケーリングされる。順方向及び逆変換により処理される残差ブロックのノルムを維持するために、追加スケーリング因子が変換処理の部分として適用される。スケーリング因子は、標準的に、スケーリング因子がシフト演算について2のべき乗である、変換係数のビット深さ、精度と実装コストとの間のトレードオフ、等のような特定の制約に基づき選択される。特定のスケーリング因子は、例えば、例えば逆変換処理ユニット212による逆変換(及び例えばビデオデコーダ30における逆変換処理ユニット312による対応する逆変換)のために指定され、例えばエンコーダ20における変換処理ユニット206による順方向変換のための対応するスケーリング因子が相応して指定されてよい。
ビデオエンコーダ20の実施形態(それぞれ、変換処理ユニット206)は、変換パラメータ、例えば、変換又は複数の変換のタイプ、例えば直接又はエントロピー符号化ユニット270により符号化又は圧縮される、を出力するよう構成されてよい。その結果、例えば、ビデオデコーダ30は、復号のために変換パラメータを受信し使用してよい。
量子化
量子化ユニット208は、変換係数207を量子化して、例えばスカラー量子化又はベクトル量子化を適用することにより、量子化済み係数209を取得するよう構成されてよい。量子化済み係数209は、量子化済み変換係数209又は量子化済み残差係数209とも呼ばれてよい。
量子化処理は、変換係数207の一部又は全部に関連するビット深さを低減してよい。例えば、nビットの変換係数は、量子化の間、mビットの変換係数に切り捨てられてよい。ここで、nはmより大きい。量子化の程度は、量子化パラメータ(quantization parameter (QP))を調整することにより、変更されてよい。例えば、スカラー量子化では、より精細な又は粗い量子化を達成するために異なるスケーリングが適用されてよい。量子化ステップサイズが小さいほど、精細な量子化に対応する。一方で、量子化ステップサイズが大きいほど、粗い量子化に対応する。適用可能な量子化ステップサイズは、量子化パラメータ(quantization parameter (QP))により示されてよい。量子化パラメータは、例えば、適用可能な量子化ステップサイズの所定のセットに対するインデックスであってよい。例えば、小さい量子化パラメータは、精細な量子化(小さい量子化ステップサイズ)に対応してよく、大きな量子化パラメータは粗い量子化(大きな量子化ステップサイズ)に対応してよい。逆も同様である。量子化は、量子化ステップサイズによる除算を含んでよい。例えば逆量子化ユニット210による対応する及び/又は逆の逆量子化は、量子化ステップサイズによる乗算を含んでよい。幾つかの規格、例えば、HEVCに従う実施形態は、量子化ステップサイズを決定するために量子化パラメータを使用するよう構成されてよい。通常、量子化ステップサイズは、除算を含む式の不動点近似を用いて、量子化パラメータに基づき計算されてよい。量子化ステップサイズ及び量子化パラメータの式の不動点近似において使用されるスケーリングのために変更され得る残差ブロックの水準を復元するために、量子化及び逆量子化のための追加のスケーリング因子が導入されてよい。1つの例示的な実装では、逆変換及び逆量子化のスケーリングは結合されてよい。代替として、カスタマイズされた量子化テーブルが使用され、エンコーダからデコーダへ、例えばビットストリームの中でシグナリングされてよい。量子化は、損失動作であり、損失は量子化ステップサイズの増大に伴い増大する。
ビデオエンコーダ20の実施形態(それぞれ、量子化ユニット208)は、量子化パラメータ(quantization parameters (QP))、例えば直接又はエントロピー符号化ユニット270により符号化される、を出力するよう構成されてよい。その結果、例えば、ビデオデコーダ30は、復号のために量子化パラメータを受信し適用してよい。
逆量子化
逆量子化ユニット210は、例えば、量子化ユニット208と同じ量子化ステップサイズに基づき又はそれを用いて、量子化ユニット208により適用された量子化方式の逆を適用することにより、量子化された係数に対して量子化ユニット208の逆量子化を適用して、逆量子化された係数211を取得するよう構成される。逆量子化された係数211は、逆量子化された残差係数211とも呼ばれ、標準的には量子化による損失のために変換係数と同じではないが、変換係数207に対応してよい。
逆変換
逆変換処理ユニット212は、変換処理ユニット206により適用された変換の逆変換、例えば逆離散コサイン変換(inverse discrete cosine transform (DCT))又は逆離散サイン変換(inverse discrete sine transform (DST))又は他の逆変換を適用して、サンプルドメインにおける再構成残差ブロック213(又は対応する逆量子化済み係数213)を取得するよう構成される。再構成残差ブロック213は、変換ブロック213とも呼ばれてよい。
再構成
再構成ユニット214(例えば、加算器又はアナログ加算器214)は、変換ブロック213(つまり再構成残差ブロック213)を予測ブロック265に加算して、例えば再構成残差ブロック213のサンプル値と予測ブロック265のサンプル値とをサンプル毎に加算することにより、サンプルドメインにおける再構成ブロック215を取得するよう構成される。
フィルタリング
ループフィルタユニット220(又は略して「ループフィルタ」220)は、再構成ブロック215をフィルタリングして、フィルタリング済みブロック221を取得するよう、又は通常、再構成サンプルをフィルタリングしてフィルタリング済みサンプルを取得するよう構成される。ループフィルタユニットは、例えば、ピクセル遷移を円滑化し、又はその他の場合にはビデオ品質を向上するよう構成される。ループフィルタユニット220は、デブロッキングフィルタ、サンプル適応オフセット(sample-adaptive offset (SAO))フィルタ又は1つ以上の他のフィルタ、例えば双方向フィルタ、適応ループフィルタ(adaptive loop filter (ALF))、先鋭化、円滑化フィルタ若しくは共同フィルタ、又はそれらの任意の組合せのような1つ以上のループフィルタを含んでよい。ループフィルタユニット220はインループフィルタであるとして図2に示されるが、他の構成では、ループフィルタユニット220は後置きループフィルタとして実装されてよい。フィルタリング済みブロック221は、フィルタリング済み再構成ブロック221と呼ばれてもよい。復号ピクチャバッファ230は、ループフィルタユニット220がフィルタリング動作を再構成コーディングブロックに対して実行した後に、再構成コーディングブロックを格納してよい。
ビデオエンコーダ20の実施形態(それぞれ、ループフィルタユニット220)は、例えば直接に又はエントロピー符号化ユニット270により符号化された(サンプル適応オフセット情報のような)ループフィルタパラメータを出力するよう構成されてよい。その結果、例えば、デコーダ30は、復号のために同じループフィルタパラメータ又はそれぞれのループフィルタを受信し適用してよい。
復号ピクチャバッファ
復号ピクチャバッファ(decoded picture buffer (DPB))230は、ビデオエンコーダ20によるビデオデータの符号化のために、参照ピクチャ又は一般的に参照ピクチャデータを格納するメモリであってよい。DPB230は、同期RAM(synchronous DRAM (SDRAM))を含む動的ランダムアクセスメモリ(dynamic random access memory (DRAM))、磁気抵抗RAM(magnetoresistive RAM (MRAM))、抵抗RAM(resistive RAM (RRAM))、又は他の種類のメモリ装置のような、種々のメモリ装置のうちのいずれかにより形成されてよい。復号ピクチャバッファ(decoded picture buffer (DPB))230は、1つ以上のフィルタリング済みブロック221を格納するよう構成されてよい。復号ピクチャバッファ230は、同じ現在ピクチャの又は異なるピクチャ、例えば前の再構成ピクチャの他の前のフィルタリング済みブロック、例えば前の再構成及びフィルタリング済みブロック221を格納するよう更に構成されてよく、完全な前に再構成された、つまり復号されたピクチャ(及び対応する参照ブロック及びサンプル)、及び/又は部分的に再構成された現在ピクチャ(及び対応する参照ブロック及びサンプル)を、例えばインター予測のために提供してよい。復号ピクチャバッファ(decoded picture buffer (DPB))230は、1つ以上のフィルタリングされていない再構成ブロック215、又は一般的には、例えば再構成ブロック215がループフィルタユニット220によりフィルタリングされない場合には、フィルタリングされていない再構成サンプルを、又は再構成ブロック又はサンプルの任意の他の更に処理されたバージョンを格納するよう構成されてもよい。
モード選択(パーティション及び予測)
モード選択ユニット260は、パーティションユニット262、インター予測ユニット244、及びイントラ予測ユニット254を含み、元のピクチャデータ、例えば元のブロック203(現在ピクチャ17の現在ブロック203)、及び再構成ピクチャデータ、例えば同じ(現在)ピクチャの及び/又は1つ又は複数の前の復号ピクチャからの、例えば復号ピクチャバッファ230若しくは他のバッファ(例えば、図示されないラインバッファ)からのフィルタリング済み及び/又はフィルタリングされていない再構成サンプル又はブロック、を受信し又は取得するよう構成される。再構成ピクチャデータは、予測ブロック265又は予測子265を取得するために、予測、例えばインター予測又はイントラ予測のために参照ピクチャデータとして使用される。
モード選択ユニット260は現在ブロック予測モードのパーティション(パーティションしないことを含む)、及び予測モード(例えば、イントラ又はインター予測モード)を決定又は選択し、残差ブロック205の計算のため及び再構成ブロック215の再構成のために使用される対応する予測ブロック265を生成するよう構成されてよい。
モード選択ユニット260の実施形態は、最良の一致又は言い換えると最小残差(最小残差は送信又は記憶のためのより良い圧縮を意味する)又は最小シグナリングオーバヘッド(最小シグナリングオーバヘッドは送信又は記憶のためのより良い圧縮を意味する)を提供する又は両者を考慮する若しくはバランスを取るパーティション及び予測モードを(例えば、モード選択ユニット260によりサポートされる又は利用可能なものから)選択するよう構成されてよい。モード選択ユニット260は、レート歪み最適化(rate distortion optimization (RDO))に基づき、パーティション及び予測モードを決定するよう、つまり、最小レート歪みを提供する予測モードを選択するよう構成されてよい。この文脈における「最良」、「最小」、「最適」、等のような用語は、全体的な「最良」、「最小」、「最適」、等を必ずしも表さないが、閾値を超える又はそれより下である値のような終了若しくは選択基準、又は「準最適選択」をもたらす可能性があるが複雑さ及び処理時間を削減する他の制約の充足も表してよい。
言い換えると、パーティションユニット262は、例えば4分木パーティション(quad-tree (QT))、2分木パーティション(binary-tree (BT))又は3分木パーティション(triple-tree(TT))、又はそれらの任意の組み合わせを繰り返し使用して、ブロック203を更に小さいブロックパーティション又はサブブロックにパーティションし、例えば各ブロックパーティション又はサブブロックに対して予測を実行するよう構成されてよい。ここで、モード選択は、パーティション済みブロック203の木構造の選択を含み、予測モードはブロックパーティション又はサブブロックの各々に適用される。
以下では、例示的なビデオエンコーダ20により実行される(例えば、パーティションユニット260による)パーティション及び(インター予測ユニット244及びイントラ予測ユニット254による)予測処理が更に詳細に説明される。
パーティション
パーティションユニット262は、現在ブロック203を更に小さいパーティション、例えば正方形又は長方形サイズのより小さいブロックにパーティションして(又は分割して)よい。これらの更に小さいブロック(これは、サブブロックとも呼ばれてよい)は、一層小さいパーティションに更にパーティションされてよい。これは、木パーティション又は階層木パーティションとも呼ばれる。ここで、例えばルート木レベル0(階層レベル0、深さ0)にあるルートブロックは、再帰的にパーティションされて、例えば、次のより下の木レベルにある2つ以上のブロック、例えば木レベル1(階層レベル1、深さ1)にあるノードにパーティションされてよい。ここで、例えば終了基準が充足された、例えば最大木深さ又は最小ブロックサイズに達したために、例えばパーティションが終了するまで、これらのブロックは、再び、次のより下のレベル、例えば木レベル2(階層レベル2、深さ2)の2つ以上のブロックにパーティションされてよい、等である。更にパーティションされないブロックは、木のリーフブロック又はリーフノードとも呼ばれる。2個のパーティションへのパーティションを用いる木は、2分木(binary-tree (BT))と呼ばれ、3個のパーティションへのパーティションを用いる木は3分木(ternary-tree (TT))と呼ばれ、4個のパーティションへのパーティションを用いる木は4分木(quad-tree (QT))と呼ばれる。
前述のように、用語「ブロック」は、ここで使用されるとき、ピクチャの部分、特に正方形又は長方形部分であってよい。例えばHEVC及びVVCを参照すると、ブロックは、コーディング木単位(coding tree unit (CTU))、コーディング単位(coding unit (CU))、予測単位(prediction unit (PU))、及び変換単位(transform unit (TU))、及び/又は対応するブロック、例えばコーディング木ブロック(coding tree block (CTB))、コーディングブロック(coding block (CB))、変換ブロック(transform block (TB))、又は予測ブロック(prediction block (PB))であり又は対応してよい。
例えば、コーディング木単位(coding tree unit (CTU))は、ルマサンプルのCTB、3個のサンプル配列を有するピクチャのクロマサンプルの2個の対応するCTB、又は単色ピクチャのサンプルのCTB、又は3個の別個の色平面及びサンプルをコーディングするために使用されるシンタックス構造を用いてコーディングされるピクチャであり又はそれを含んでよい。相応して、コーディング木単位(coding tree block (CTB))は、何らかの値のNについてサンプルのN×Nブロックであってよい。その結果、CTBへの成分の分割はパーティションである。コーディング単位(coding unit (CU))は、ルマサンプルのコーディングブロック、3個のサンプル配列を有するピクチャのクロマサンプルの2個の対応するコーディングブロック、又は単色ピクチャのサンプルのコーディングブロック、又は3個の別個の色平面及びサンプルをコーディングするために使用されるシンタックス構造を用いてコーディングされるピクチャであり又はそれを含んでよい。相応して、コーディングブロック(coding block (CB))は、何らかの値のM及びNについてサンプルのM×Nブロックであってよい。その結果、コーディングブロックへのCTBの分割はパーティションである。
例えばHEVCに従う実施形態では、コーディング木単位(coding tree unit)は、コーディング木として示される4分木構造を用いてCUに分割されてよい。ピクチャ領域をインターピクチャ(時間)又はイントラピクチャ(空間)予測を用いてコーディングするかの決定は、CUレベルで行われる。各CUは、PU分割タイプに従い、1、2、又は4個のPUに更に分割できる。1個のPU内で、同じ予測処理が適用され、関連情報がPU毎にデコーダへ送信される。PU分割タイプに基づき予測処理を適用することにより、残差ブロックを取得した後に、CUは、CUのコーディング木と同様の別の4分木構造に従い、変換単位(transform unit (TU))にパーティションできる。
例えばバーサタイルビデオコーディング(Versatile Video Coding (VVC))と呼ばれる現在策定中の最新のビデオコーディング規格に従う実施形態では、4分木及び2分木(Quad-tree and binary tree (QTBT))パーティションが、コーディングブロックをパーティションするために使用される。QTBTブロック構造では、CUは正方形又は長方形形状のいずれかを有し得る。例えば、コーディング木単位(coding tree unit (CTU))は、先ず、4分木構造によりパーティションされる。4分木のリーフノードは、2分木又は3分木(又はトリプル)木構造により更にパーティションされる。パーティション木のリーフノードは、コーディング単位(coding unit (CU))と呼ばれ、任意の更なるパーティションを伴わず、予測及び変換処理のためにセグメント化が使用される。これは、CU、PU、及びTUが、QTBTコーディングブロック構造において同じブロックサイズを有することを意味する。同時に、多重パーティション、例えば3分木パーティションも、QTBTブロック構造と一緒に使用するために提案された。
一例では、ビデオエンコーダ20のモード選択ユニット260は、ここに記載のパーティション技術の任意の組み合わせを実行するよう構成されてよい。
上述のように、ビデオエンコーダ20は、最良の又は最適な予測モードを決定し又は(予め決定された)予測モードのセットから選択するよう構成される。予測モードのセットは、例えばイントラ予測モード及び/又はインター予測モードを含んでよい。
イントラ予測
イントラ予測モードのセットは、35個の異なるイントラ予測モード、例えばDC(又は平均)モード及び平面モードのような無指向性モード、又は例えばHEVCで定義されたような指向性モードを含んでよく、又は67個の異なるイントラ予測モード、例えばDC(又は平均)モード及び平面モードのような無指向性モード、又は例えばVVCのために定義されたような指向性モードを含んでよい。
イントラ予測ユニット254は、イントラ予測モードのセットのうちのイントラ予測モードに従いイントラ予測ブロック265を生成するために、同じ現在ピクチャの近隣ブロックの再構成サンプルを使用するよう構成される。
イントラ予測ユニット254(又は一般的にモード選択ユニット260)は、イントラ予測パラメータ(又は一般的にブロックについて選択されたイントラ予測モードを示す情報)を、エントロピー符号化ユニット270に、符号化ピクチャデータ21に含めるためにシンタックス要素266の形式で出力するよう更に構成される。その結果、例えば、ビデオデコーダ30は、復号のために予測パラメータを受信し及び使用してよい。
インター予測
インター予測モード(又は可能なもの)のセットは、利用可能な参照ピクチャ(つまり、例えばDBP230に格納された、前の少なくとも部分的に復号されたピクチャ)及び他のインター予測パラメータに、例えば、参照ピクチャの全体又は部分のみが、例えば参照ピクチャの現在ブロックの領域周辺の検索ウインドウ領域が最良の適合する参照ブロックを検索するために使用されるか、及び/又は、例えば、ピクセル補間、例えばハーフ/セミペル及び/又は4分の1ペル補間が適用されるか否かに依存する。
上述の予測モードに加えて、スキップモード及び/又は直接モードが適用されてよい。
インター予測ユニット244は、動き推定(motion estimation (ME))ユニット及び動き補償(motion compensation (MC))ユニット(両者は図2に示されない)を含んでよい。動き推定ユニットは、ピクチャブロック203(現在ピクチャ17の現在ブロック203)、及び復号ピクチャ231、又は前の再構成ブロックのうちの少なくとも1つ又は複数、例えば他の/異なる前の復号ピクチャ231のうちの1又は複数の再構成ブロックを、動き推定のために受信し又は取得するよう構成されてよい。例えば、ビデオシーケンスは、現在ピクチャ及び前の復号ピクチャ231を含んでよく、又は言い換えると、現在ピクチャ及び前の復号ピクチャ231は、ビデオシーケンスを形成するピクチャのシーケンスの一部であり又はそれを形成してよい。
エンコーダ20は、例えば、複数の他のピクチャの同じ又は異なるピクチャの複数の参照ブロックから、参照ブロックを選択し、参照ピクチャ(又は参照ピクチャインデックス)及び/又は参照ブロックの位置(x,y座標)と現在ブロックの位置との間のオフセット(空間オフセット)を、インター予測パラメータとして動き推定ユニットに提供するよう構成されてよい。このオフセットは、動きベクトル(motion vector (MV))とも呼ばれる。
動き補償ユニットは、インター予測パラメータを取得し、例えば受信し、インター予測パラメータに基づき又はそれを用いてインター予測を実行して、インター予測ブロック265を取得するよう構成される。動き補償ユニットにより実行される動き補償は、動き推定により決定された動き/ブロックベクトルに基づき、予測ブロックをフェッチし又は生成し、場合によってはサブピクセル精度への補間を実行することを含んでよい。補間フィルタリングは、既知のピクセルサンプルから追加ピクセルサンプルを生成してよく、従ってピクチャブロックをコーディングするために使用され得る候補予測ブロックの数を増大させる可能性がある。現在ピクチャブロックのPUの動きベクトルを受信すると、動き補償ユニットは、参照ピクチャリストのうちの1つの中で動きベクトルの指す予測ブロックの位置を特定してよい。
動き補償ユニットは、ビデオスライスのピクチャブロックを復号する際にビデオデコーダ30による使用のために、ブロック及びビデオスライスに関連するシンタックス要素も生成してよい。
エントロピーコーディング
エントロピー符号化ユニット270は、例えばエントロピー符号化アルゴリズム又は方式(例えば、可変長コーディング(variable length coding (VLC))方式、コンテキスト適応型VLC方式(context adaptive VLC (CAVLC))、算術コーディング方式、二値化、コンテキスト適応型バイナリ算術コーディング(context adaptive binary arithmetic coding (CABAC))、シンタックスに基づくコンテキスト適応型バイナリ算術コーディング(syntax-based context-adaptive binary arithmetic coding (SBAC))、確率区間パーティショニングエントロピー(probability interval partitioning entropy (PIPE))コーディング又は別のエントロピー符号化方法若しくは技術)を、量子化済み残差係数209、インター予測パラメータ、イントラ予測パラメータ、ループフィルタパラメータ及び/又は他のシンタックス要素に、適用して又はバイパスして(圧縮しない)、出力272により例えば符号化ビットストリーム21の形式で出力され得る符号化ピクチャデータ21を取得するよう構成される。その結果、例えば、ビデオデコーダ30は、復号のためにパラメータを受信し使用してよい。符号化ビットストリーム21は、ビデオデコーダ30へと伝送され、又はビデオデコーダ30による後の伝送又は読み出しのためにメモリに格納されてよい。
ビデオエンコーダ20の他の構造的変形は、ビデオストリームを符号化するために使用され得る。例えば、非変換に基づくエンコーダ20は、変換処理ユニット206を有しないで、特定のブロック又はフレームについて、残差信号を直接量子化できる。別の実装では、エンコーダ20は、単一のユニットに結合された、量子化ユニット208及び逆量子化ユニット210を有し得る。
デコーダ及び復号方法
図3は、本願の技術を実施するよう構成されるビデオデコーダ30の例を示す。ビデオデコーダ30は、復号ピクチャ331を取得するために、例えばエンコーダ20により符号化された符号化ピクチャデータ21(例えば、符号化ビットストリーム21)を受信するよう構成される。符号化ピクチャデータ又はビットストリームは、符号化ピクチャデータを復号するための情報、例えば符号化ビデオスライスのピクチャブロックを示すデータ及び関連するシンタックス要素を含む。
図3の例では、デコーダ30は、エントロピー復号ユニット304、逆量子化ユニット310、逆変換処理ユニット312、再構成ユニット314(例えば、加算器314)、ループフィルタ320、復号ピクチャバッファ(decoded picture buffer (DBP))330、インター予測ユニット344、及びイントラ予測ユニット354を含む。インター予測ユニット344は、動き補償ユニットであり又は含んでよい。ビデオデコーダ30は、幾つかの例では、図2からビデオエンコーダ100に関して説明した符号化パスに対して通常相互的な復号パスを実行してよい。
エンコーダ20に関して説明したように、逆量子化ユニット210、逆変換処理ユニット212、再構成ユニット214、ループフィルタ220、復号ピクチャバッファ(decoded picture buffer (DPB))230、インター予測ユニット344、及びイントラ予測ユニット354は、ビデオエンコーダ20の「内蔵デコーダ」を形成するとも表される。従って、逆量子化ユニット310は逆量子化ユニット110と機能的に同一であってよく、逆変換処理ユニット312は逆変換処理ユニット212と機能的に同一であってよく、再構成ユニット314は再構成ユニット214と機能的に同一であってよく、ループフィルタ320はループフィルタ220と機能的に同一であってよく、復号ピクチャバッファ330は復号ピクチャバッファ230と機能的に同一であってよい。従って、それぞれのユニット及びビデオ20エンコーダの機能について提供された説明は、相応して、ビデオデコーダ30のそれぞれのユニット及び機能に適用する。
エントロピー復号
エントロピー復号ユニット304は、ビットストリーム21(又は一般的に符号化ピクチャデータ21)をパースし、例えば符号化ピクチャデータ21にエントロピー復号を実行して、例えば量子化済み係数309及び/又は復号コーディングパラメータ(図3に示されない)、例えばインター予測パラメータ(例えば、参照ピクチャインデックス及び動きベクトル)、イントラ予測パラメータ(例えば、イントラ予測モード又はインデックス)、変換パラメータ、量子化パラメータ、ループフィルタパラメータ、及び/又は他のシンタックス要素、のうちのいずれか又は全部を取得するよう構成される。エントロピー復号ユニット304は、エンコーダ20のエントロピー符号化ユニット270に関して説明したような符号化方式に対応する復号アルゴリズム又は方式を適用するよう構成されてよい。エントロピー復号ユニット304は、インター予測パラメータ、イントラ予測パラメータ、及び/又は他のシンタックス要素をモード適用ユニット360に、及び他のパラメータをデコーダ30の他のユニットに提供するよう更に構成されてよい。ビデオデコーダ30は、ビデオスライスレベル及び/又はビデオブロックレベルのシンタックス要素を受信してよい。
逆量子化
逆量子化ユニット310は、量子化パラメータ(quantization parameter (QP))(又は一般的に逆量子化に関する情報)及び量子化済み係数を、符号化ピクチャデータ21から(例えばエントロピー復号ユニット304により例えばパース及び/又は復号することにより)受信し、及び量子化パラメータに基づき逆量子化を復号量子化済み係数309に適用して、変換係数311とも呼ばれてよい逆量子化済み係数311を取得するよう構成されてよい。逆量子化処理は、ビデオスライス内の各ビデオブロックに対して、ビデオエンコーダ20により決定された量子化パラメータを使用して、量子化の程度、及び同様に適用されるべき逆量子化の程度を決定することを含んでよい。
逆変換
逆変換処理ユニット312は、変換係数311とも呼ばれる逆量子化済み係数311を受信し、サンプルドメインにおいて再構成残差ブロック213を取得するために逆量子化済み係数311に変換を適用するよう構成されてよい。再構成残差ブロック213は、変換ブロック313とも呼ばれてよい。変換は、逆変換、例えば、逆DCT、逆DST、逆整数変換、又は概念的に同様の逆変換処理であってよい。逆変換処理ユニット312は、変換パラメータ又は対応する情報を、符号化ピクチャデータ21から(例えばエントロピー復号ユニット304により例えばパース及び/又は復号することにより)受信して、逆量子化済み係数311に適用されるべき変換を決定するよう更に構成されてよい。
再構成
再構成ユニット314(例えば、加算器又はアナログ加算器314)は、再構成残差ブロック313を予測ブロック365に加算して、例えば再構成残差ブロック313のサンプル値と予測ブロック365のサンプル値とを加算することにより、サンプルドメインにおける再構成ブロック315を取得するよう構成されてよい。
フィルタリング
ループフィルタユニット320(コーディングループ内にある又はコーディングループの後にある)は、再構成ブロック315をフィルタリングしてフィルタリング済みブロック321を取得し、例えばピクセル遷移を円滑化するよう又はその他の場合にビデオ品質を向上するよう構成される。ループフィルタユニット320は、デブロッキングフィルタ、サンプル適応オフセット(sample-adaptive offset (SAO))フィルタ又は1つ以上の他のフィルタ、例えば双方向フィルタ、適応ループフィルタ(adaptive loop filter (ALF))、先鋭化、円滑化フィルタ若しくは共同フィルタ、又はそれらの任意の組合せのような1つ以上のループフィルタを含んでよい。ループフィルタユニット320はインループフィルタであるとして図3に示されるが、他の構成では、ループフィルタユニット320は後置きループフィルタとして実装されてよい。
復号ピクチャバッファ
ピクチャの復号ビデオブロック321は、次に、他のピクチャのための後の動き補償のための参照ピクチャとして及び/又はそれぞれディスプレイ出力のために復号ピクチャ331を格納する復号ピクチャバッファ330に格納される。
デコーダ30は、ユーザへの提示又は閲覧のために、復号ピクチャ311を、例えば出力312を介して出力するよう構成される。
予測
インター予測ユニット344は、インター予測ユニット244と(特に動き補償ユニットと)同一であってよく、イントラ予測ユニット354は、インター予測ユニット254と機能的に同一であってよく、パーティション及び/又は予測パラメータ又は符号化ピクチャデータ21から(例えばエントロピー復号ユニット304により例えばパース及び/又は復号することにより)受信したそれぞれの情報に基づき、分割又はパーティション決定及び予測を実行する。モード選択ユニット360は、再構成ピクチャ、ブロック、又はそれぞれの(フィルタリング済み又は未フィルタリング)サンプルに基づき、ブロック毎に予測(イントラ又はインター予測)を実行して、予測ブロック365を取得するよう構成されてよい。
ビデオスライスがイントラコーディング(intra coded (I))スライスとしてコーディングされるとき、モード選択ユニット360のイントラ予測ユニット354は、シグナリングされたイントラ予測モード及び現在ピクチャの前の復号ブロックからのデータに基づき、現在ビデオスライスのピクチャブロックについて予測ブロック365を生成するよう構成される。ビデオピクチャがインターコーディング(つまり、B又はP)スライスとしてコーディングされるとき、モード選択ユニット360のインター予測ユニット344(例えば動き補償ユニット)は、動きベクトル及びエントロピー復号ユニット304から受信した他のシンタックス要素に基づき、現在ビデオスライスのビデオブロックについて予測ブロック365を生成するよう構成される。インター予測では、予測ブロックは、参照ピクチャリストのうちの1つの中の参照ピクチャのうちの1つから生成されてよい。ビデオデコーダ30は、DPB330に格納された参照ピクチャに基づき、規定の構成技術を用いて、参照フレームリスト:リスト0及びリスト1を構成してよい。
モード選択ユニット360は、動きベクトル及び他のシンタックス要素をパースすることにより、現在ビデオスライスのビデオブロックについて予測情報を決定し、予測情報を使用して、復号中の現在ビデオブロックについて予測ブロックを生成するよう構成される。例えば、モード選択ユニット360は、受信したシンタックス要素のうちの幾つかを使用して、ビデオスライスのビデオブロックをコーディングするために使用される予測モード(例えば、イントラ又はインター予測)、インター予測スライスタイプ(例えば、Bスライス、Pスライス、又はGPBスライス)、スライスの参照ピクチャリストのうちの1つ以上の構成情報、スライスの各インター符号化ビデオブロックの動きベクトル、スライスの各インターコーディングビデオブロックのインター予測状態、及び現在ビデオスライス内のビデオブロックを復号するための他の情報を決定する。
ビデオデコーダ30の他の変形は、符号化ピクチャデータ21を復号するために使用され得る。例えば、デコーダ30は、ループフィルタユニット320を有しないで、出力ビデオストリームを生成できる。例えば、非変換に基づくデコーダ30は、逆変換処理ユニット312を有しないで、特定のブロック又はフレームについて、残差信号を直接逆量子化できる。別の実装では、ビデオデコーダ30は、単一のユニットに結合された、逆量子化ユニット310及び逆変換処理ユニット312を有し得る。
図4は、本開示の実施形態によるビデオコーディング装置400の概略図である。ビデオコーディング装置400は、ここに説明したような開示の実施形態を実施するのに適する。一実施形態では、ビデオコーディング装置400は、図1Aのビデオデコーダ30のようなデコーダ、又は図1Aのビデオエンコーダ20のようなエンコーダであってよい。
ビデオコーディング装置400は、データを受信するためのイングレスポート410(又は入力ポート410)及び受信機ユニット(receiver unit (Rx))420と、データを処理するためのプロセッサ、論理ユニット、又は中央処理ユニット(central processing unit (CPU))430と、データを送信するための送信機ユニット(transmitter unit (Tx))440及びイグレスポート450(又は出力ポート460)と、データを格納するためのメモリ460と、を含む。ビデオコーディング装置400は、イングレスポート410、受信機ユニット420、送信機ユニット440、及びイグレスポート450に接続された、光若しくは電気信号のイグレス若しくはイングレスのための光-電気(optical-to-electrical (OE))コンポーネント及び電気-光(electrical-to-optical (EO))コンポーネントも含んでよい。
プロセッサ430は、ハードウェア及びソフトウェアにより実装される。プロセッサ430は、1つ以上のCPUチップ、コア(例えば、マルチコアプロセッサ)、FPGA、ASIC、及びDSPとして実装されてよい。プロセッサ430は、イングレスポート410、受信機ユニット420、送信機ユニット440、イグレスポート450、及びメモリ460と通信する。プロセッサ430は、コーディングモジュール470を含む。コーディングモジュール470は、上述の開示の実施形態を実装する。例えば、コーディングモジュール470は、種々のコーディング動作を実装し、処理し、準備し、又は提供する。コーディングモジュール470の中に含まれるものは、従って、ビデオコーディング装置400の機能に実質的な改良を提供し、ビデオコーディング装置400の異なる状態への変換をもたらす。代替として、コーディングモジュール470は、メモリ460に格納されプロセッサ430により実行される命令として実装される。
メモリ460は、1つ以上のディスク、テープドライブ、及び固体ドライブを含んでよく、プログラムが実行のために選択されるとき該プログラムを格納するため及びプログラムの実行中に読み出される命令及びデータを格納するためのオーバフローデータ記憶装置として使用されてよい。メモリ460は、例えば、揮発性及び/又は不揮発性であってよく、読み出し専用メモリ(read-only memory (ROM))、ランダムアクセスメモリ(random access memory (RAM))、三値連想メモリ(ternary content-addressable memory (TCAM))、及び/又は静的ランダムアクセスメモリ(static random-access memory (SRAM))であってよい。
図5は、例示的な実施形態による図1Aからのソース装置12及び宛先装置14の一方又は両方として使用されてよい機器500の簡略ブロック図である。機器500は、上述の本開示の技術を実装できる。機器500は、複数のコンピューティング装置を含むコンピューティングシステムの形式、又は単一コンピューティング装置、例えば移動電話機、タブレットコンピュータ、ラップトップコンピュータ、ノートブックコンピュータ、デスクトップコンピュータ、等の形式であり得る。
機器500内のプロセッサ502は、中央処理ユニットであり得る。代替として、プロセッサ502は、現在存在する又は将来開発される情報を操作し又は処理できる任意の他の種類の装置又は複数の装置であり得る。開示の実装は図示のように単一のプロセッサ、例えばプロセッサ502により実施できるが、速度及び効率における利益は、1つより多くのプロセッサを用いて達成できる。
機器500内のメモリ504は、一実装では、読み出し専用メモリ(read only memory (ROM))装置又はランダムアクセスメモリ(random access memory, RAM)装置であり得る。任意の他の適切な種類の記憶装置が、メモリ504として使用できる。メモリ504は、バス512を用いてプロセッサ502によりアクセスされるコード及びデータ506を含み得る。メモリ504は、オペレーティングシステム508及びアプリケーションプログラム510を更に含み得る。アプリケーションプログラム510は、プロセッサ502がここに記載の方法を実行することを可能にする少なくとも1つのプログラムを含む。例えば、アプリケーションプログラム510は、ここに記載の方法を実行するビデオコーディングアプリケーションを更に含むアプリケーション1~Nを含むことができる。機器500は、例えばモバイルコンピューティング装置と共に使用されるメモリカードであり得る2次記憶514の形式の追加メモリも含み得る。ビデオ通信セッションは有意な量の情報を含み得るので、それらは、全体又は部分的に2次記憶514に格納され、処理のために必要に応じてメモリ504にロードされ得る。
機器500は、ディスプレイ518のような1つ以上の出力装置も含み得る。ディスプレイ518は、一例では、タッチ入力を感知するよう動作するタッチ感応要素とディスプレイを結合するタッチ感応ディスプレイであってよい。ディスプレイ518は、バス512を介してプロセッサ502と結合され得る。ユーザが機器500をプログラミングし又は使用することを可能にする他の出力装置は、ディスプレイ518に加えて又はその代替として提供され得る。出力装置がディスプレイである又はそれを含むとき、ディスプレイは、液晶ディスプレイ(liquid crystal display, LCD)、陰極線管(cathode-ray tube, CRT)ディスプレイ、プラズマディスプレイ、又は有機LED(organic LED, OLED)ディスプレイのような発光ダイオード(light emitting diode, LED)ディスプレイを含む種々の方法で実装できる。
機器500は、また、画像感知装置520、例えばカメラ、又は機器500を操作しているユーザの画像のような画像を感知できる現存の若しくは将来開発される任意の他の画像感知装置520を含み又はそれと通信できる。画像感知装置520は、機器500を操作するユーザに向けられるように位置決めされ得る。一例では、画像感知装置520の位置及び光軸は、視野がディスプレイ518のすぐ隣にある領域を含み及びそれからディスプレイ518が見えるよう構成され得る。
機器500は、また、音声感知装置522、例えばマイクロフォン、又は機器500の近くの音声を感知できる現存の若しくは将来開発される任意の他の音声感知装置を含み又はそれと通信できる。音声感知装置522は、機器500を操作しているユーザに向けられるよう位置決めでき、ユーザが機器500を操作している間にユーザにより生成される音声、例えば会話又は他の発言を受信するよう構成できる。
図5は機器500のプロセッサ502及びメモリ504を単一のユニットに統合されているように示すが、他の構成が利用できる。プロセッサ502の動作は、ローカルエリア又は他のネットワークに渡り又は直接結合され得る複数の機械(各機械は1つ以上のプロセッサを有する)に渡り分散できる。メモリ504は、ネットワークに基づくメモリ又は機器500の動作を実行する複数の機械の中のメモリのように、複数の機械に渡り分散できる。ここでは単一のバスとして示されるが機器500のバス512は複数のバスで構成できる。更に、2次記憶514は、機器500の他のコンポーネントに直接接続でき、又はネットワークを介してアクセスでき、メモリカードのような単一の統合ユニット又は複数のメモリカードのような複数のユニットを含むことができる。機器500は、従って、様々な構成で実装できる。
位置依存予測の組合せ(Position-dependent prediction combination (PDPC))
ビデオコーディングの近年の発展において、予測のためのより高度な技術及び方式が出現している。
1つのこのような技術は、位置依存予測の組合せ(Position-dependent prediction combination (PDPC))である。PDPCは、特定の問題を解決し、イントラ予測を向上するために考案された方式である。PDPC方式では、画像又はビデオコーダは、フィルタリング済み参照サンプル、未フィルタリング参照サンプル、及び現在ブロックの中の予測サンプルの位置に基づき、予測サンプルの値を決定する。PDPC方式の使用は、コーディング効率利得に関連し得る。例えば、同じ量のビデオデータが、より少ないビットを用いて符号化され得る。
H.264/AVC及びHEVCのようなビデオコーディング方式は、ブロックに基づくハイブリッドビデオコーディングの成功した原理に沿って設計されている。この原理を用いて、ピクチャは、先ずブロックにパーティションされ、次に、各ブロックはイントラピクチャ又はインターピクチャ予測を用いて予測される。
H.261以降の幾つかのビデオコーディング規格は、「損失ハイブリッドビデオコーデック」のグループに属する(つまり、サンプルドメイン(sample domain)における空間及び時間予測と、変換ドメインにおける量子化を適用する2D変換コーディングと、を結合する)。ビデオシーケンスの各ピクチャは、標準的に、重なり合わないブロックのセットにパーティションされ、コーディングは、標準的に、ブロックレベルで実行される。言い換えると、エンコーダにおいて、例えば空間(イントラピクチャ)予測及び時間(インターピクチャ)予測を用いて予測ブロックを生成し、予測ブロックを現在ブロック(現在処理されている/処理されるべきブロック)から減算して残差ブロックを取得し、残差ブロックを変換し、及び変換ドメインで残差ブロックを量子化して、伝送されるべきデータ量を削減し(圧縮)することにより、ビデオは標準的にブロック(ピクチャブロック)レベルで処理され、つまり符号化される。一方で、デコーダにおいて、エンコーダと比べて逆の処理が、符号化又は圧縮されたブロックに対して部分的に適用されて、提示するために現在ブロックを再構成する。更に、エンコーダは、デコーダ処理ループを複製して、後続のブロックを処理する、つまりコーディングするために、両方が同一の予測(例えば、イントラ及びインター予測)及び/又は再構成を生成するようにする。
ここで使用されるとき、用語「ブロック」はピクチャ又はフレームの一部であってよい。説明の便宜上、本開示の実施形態は、ここで、高効率ビデオコーディング(High-Efficiency Video Coding, HEVC)、又はITU-Tビデオコーディング専門家グループ(ITU-T Video Coding Experts Group (VCEG))及びISO/IEC動画専門家グループ(Motion Picture Experts Group (MPEG))のビデオコーディングに関する共同作業部会(Joint Collaboration Team on Video Coding (JCT-VC))により開発されたバーサタイルビデオコーディングのリファレンスソフトウェアを参照して説明される。当業者は、本開示の実施形態がHEVC又はVVCに限定されないことを理解するだろう。CU、PU、及びTUを参照し得る。HEVCでは、CTUは、コーディング木として示される4分木構造を用いてCUに分割される。ピクチャ領域をインターピクチャ(時間)又はイントラピクチャ(空間)予測を用いてコーディングするかの決定は、CUレベルで行われる。各CUは、PU分割タイプに従い、1、2、又は4個のPUに更に分割できる。1個のPU内で、同じ予測処理が適用され、関連情報がPU毎にデコーダへ送信される。PU分割タイプに基づき予測処理を適用することにより、残差ブロックを取得した後に、CUは、CUのコーディング木と同様の別の4分木構造に従い、変換単位(transform unit (TU))にパーティションできる。ビデオ圧縮技術の最新の進展では、4分木及び2分木(Qual-tree and binary tree (QTBT))パーティションが、コーディングブロックをパーティションするために使用される。QTBTブロック構造では、CUは正方形又は長方形形状のいずれかを有し得る。例えば、コーディング木単位(coding tree unit (CTU))は、先ず、4分木構造によりパーティションされる。4分木のリーフノードは、2分木構造により更にパーティションされる。2分木のリーフノードは、コーディング単位(coding unit (CU))と呼ばれ、更なるパーティションを伴わず、予測及び変換処理のためにセグメント化が使用される。これは、CU、PU、及びTUが、QTBTコーディングブロック構造において同じブロックサイズを有することを意味する。同時に、多重パーティション、例えば3分木パーティションも、QTBTブロック構造と一緒に使用するために提案された。
ITU-T VCEG(Q6/16)及びISO/EIC MPEG(JTC 1/SC29/WG11)は、現在のHEVC規格(スクリーンコンテンツコーディング及び高ダイナミックレンジコーディングのための、その現在の拡張及び目先の拡張を含む)のものを有意に超える圧縮能力を有する将来のビデオコーディング技術の標準化の潜在的な必要性を研究している。グループは、当分野のそれらの専門家により提案された圧縮技術設計を評価するために、共同ビデオ探索チーム(Joint Video Exploration Team (JVET))として知られている共同連携努力においてこの探求活動に一緒に取り組んでいる。
一例では、双方向イントラ予測では、対角上から対角下までの異なる予測角度を表すイントラ予測モードが利用可能である。予測角度の定義のために、32サンプルグリッド上でオフセット値pangが定義される。pangの対応するイントラ予測モードへの関連付けは、垂直予測モードについて図6に視覚化される。水平予測モードについては、方式は垂直方向へと反転され、pang値が相応して割り当てられる。上述のように、角度予測モードは、全ての適用可能なイントラ予測ブロックサイズについて利用可能である。それらは、予測角度の定義のために同じ32サンプルグリッドを使用してよい。図6の32サンプルグリッドに渡るpang値の分布は、垂直方向周りの予測角度の向上した解像度、及び対角方向に向かう予測角度のより粗い解像度を明らかにしている。水平方向も同じである。この設計は、多くのビデオコンテンツで、略水平及び垂直構造が、対角構造に比べて重要な役割を果たすという観察に由来する。
例では、水平及び垂直予測方向については、予測のために使用されるべきサンプルの選択は直接的であるが、このタスクは角度予測の場合により多くの労力を要する。モード11~25では、角度方向にある予測サンプルprefのセット(主参照辺としても知られる)から現在ブロックBcを予測するとき、prefの垂直及び水平部分の両方のサンプルが関連し得る。prefのブランチのいずれかにあるそれぞれのサンプルの位置の決定は何らかの計算労力を必要とするので、HEVCイントラ予測のために統一された1次元予測参照が設計された。方式は、図7に視覚化される。実際の予測動作を実行する前に、参照サンプルprefのセットは、1次元ベクトルp1,refにマッピングされる。マッピングのために使用される投射は、それぞれのイントラ予測モードのイントラ予測角度により示される方向に依存する。予測のために使用されるべきprefの部分からの参照サンプルのみが、p1,refにマッピングされる。角度予測モード毎の参照サンプルのp1,refへの実際のマッピングは、それぞれ水平及び垂直角度予測方向について、図8及び9に示される。参照サンプルセットp1,refは、予測ブロックについて1回構成される。予測は、次に、以下に詳述するように、セットの中の2個の近隣参照サンプルから導出される。図8及び9から分かるように、1次元参照サンプルセットは、全部のイントラ予測モードについて完全に満たされない。対応するイントラ予測方向の投射範囲内にある位置のみが、セットに含まれる。
水平及び垂直予測モードの両方の予測は、ブロックのx及びy座標をスワップするだけで、同じ方法で実行される。p1,refからの予測は、1/32ペルの精度で実行される。角度パラメータpangの値に依存して、p1,refの中のサンプルオフセットiidx、及び位置(x,y)にあるサンプルの重み係数ifactが決定される。ここで、垂直モードの導出が提供される。水平モードの導出は、従って以下の通りであり、x及びyをスワップさせる。
Figure 2022507985000002

factが0に等しくない、つまり予測がp1,refの中の完全なサンプル位置に正確に当てはまらない場合、p1,refの中の2つの近隣サンプル位置の間の線形重み付けは次のように実行される。
Figure 2022507985000003

ここで、0≦x、y<Ncである。留意すべきことに、iidx及びifactの値はyにのみ依存し、従って、(垂直予測モードでは)行毎に1回計算する必要があるだけである。
VTM-1.0(Versatile Test Model)は35個のイントラモードを使用し、一方で、BMS(Benchmark Set)は67個のイントラモードを使用する。イントラ予測は、所与のフレームのみが含まれ得る場合に圧縮効率を向上するために、多くのビデオコーディングの枠組みの中で使用されるメカニズムである。
図10Aは、例えばVVCのために提案されているような67個のイントラ予測モードの例を示す。67個のイントラ予測モードのうちの複数のイントラ予測モードは、平面モード(インデックス0)、DCモード(インデックス1)、及びインデックス2~66を有する角度モードを含む。ここで、図10Aの左下の角度モードはインデックス2を表し、インデックスの番号付けは、インデックス66が図10Aの最も右上の角度モードになるまでインクリメントされる。
図10Aに示すように、JEMの最新バージョンは、スキューイントラ予測方向に対応する幾つかのモードを有する。これらのモードのうちのいずれかでは、ブロックの辺の中の対応する位置が分数である場合、ブロックの中でサンプルを予測するために、近隣参照サンプルのセットの補間が実行されるべきである。HEVC及びVVCは、2つの隣接参照サンプルの間の線形補間を使用する。JEMは、より高度な4タップ補間フィルタを使用する。フィルタ係数は、幅又は高さ値に依存してガウス又はキュービック係数のいずれかとなるよう選択される。幅又は高さを使用するかについての決定は、主参照辺の選択についての決定と調和する。イントラ予測モードが対角モードより大きい又は等しいとき、参照サンプルの上辺が、主参照辺として選択され、使用中の補間フィルタを決定するために幅値が選択される。或いは、主参照辺は、ブロックの左側から選択され、高さはフィルタ選択処理を制御する。具体的に、選択された辺の長さが8サンプル以下である場合、キュービック補間4タップが適用される。或いは、補間フィルタは4タップガウスフィルタである。
JEMで使用される特定のフィルタ係数は表1に与えられる。予測サンプルは、サブピクセルオフセット及びフィルタタイプに従い、表1から選択された係数による畳み込みにより、以下のように計算される。
Figure 2022507985000004

この式で、「>>」はビット毎の右シフト演算を示す。
キュービックフィルタが選択された場合、予測サンプルは、シーケンスパラメータセット(sequence parameter set (SPS))で定義される又は選択されたコンポーネントのビット深さから導出される許容値範囲に更にクリッピングされる。
SPSは、コーディングビデオシーケンスの中で使用される特徴及びアクティブにされたツールを指定してよい。ビットストリーム全体に関連するビデオパラメータセット(video parameter set (VPS))と対照的に、SPS情報は、レイヤ識別子により指定されるレイヤにのみ適用される。例えば、SPSの中で指定される特徴は、色形式及びビット深さ、並びにコーディングピクチャのサンプル解像度を含む。
表1 JEMで使用されるイントラ予測補間フィルタ
Figure 2022507985000005
6ビット精度を有する補間フィルタの別のセットは、表2に提示される。
表2 6ビット精度を有する補間フィルタのセット
Figure 2022507985000006
イントラ予測サンプルは、サブピクセルオフセット及びフィルタタイプに従い、表2から選択された係数による畳み込みにより、以下のように計算される。
Figure 2022507985000007

この式で、「>>」はビット毎の右シフト演算を示す。
6ビット精度を有する補間フィルタの別のセットは、表3に提示される。
表3 6ビット精度を有する補間フィルタのセット
Figure 2022507985000008
図11は、HEVC UIP方式で使用される複数のイントラ予測モードの概略図を示す。輝度ブロックについて、イントラ予測モードは、最大36個のイントラ予測モードを含んでよく、これらは3個の無指向性モードと33個の指向性モードを含んでよい。無指向性モードは、平面予測モード、平均(DC)予測モード、及びルマからのクロマ(LM)予測モードを含んでよい。平面予測モードは、ブロックの境界から導出された水平及び垂直勾配を有するブロック振幅表面を想定することにより、予測を実行してよい。DC予測モードは、ブロック境界の平均値に一致する値を有する平面ブロック表面を想定することにより、予測を実行してよい。LM予測モードは、ブロックのクロマ値がブロックのルマ値に一致することを想定することにより、予測を実行してよい。指向性モードは、図11に示されるように隣接ブロックに基づき予測を実行してよい。
H.264/AVC及びHEVCは、参照サンプルがイントラ予測処理で使用される前に、参照サンプルに低域通過フィルタが適用され得ることを指定する。参照サンプルフィルタを使用するか否かの決定は、イントラ予測モード及びブロックサイズにより決定される。このメカニズムは、モード依存イントラ平滑化(Mode Dependent Intra Smoothing (MDIS))と呼ばれてよい。MDISに関連する複数の方法も存在する。例えば、適応型参照サンプル平滑化(Adaptive Reference Sample Smoothing (ARSS))方法は、明示的に(例えば、フラグがビットストリームに含まれる)又は暗示的に(例えば、シグナリングオーバヘッドを削減するために、ビットストリームにフラグを入れることを回避するために、データ隠蔽が使用される)、予測サンプルがフィルタリングされるか否かをシグナリングしてよい。この場合、エンコーダは、全ての可能なイントラ予測モードについてレート歪み(Rate-Distortion (RD))コストをテストすることにより、平滑化について決定を行ってよい。
図10Aは、例えばVVCのために提案されているような67個のイントラ予測モードの例を示す。67個のイントラ予測モードのうちの複数のイントラ予測モードは、平面モード(インデックス0)、DCモード(インデックス1)、及びインデックス2~66を有する角度モードを含む。ここで、図10Aの左下の角度モードはインデックス2を表し、インデックスの番号付けは、インデックス66が図10Aの最も右上の角度モードになるまでインクリメントされる。
図10B及び図10Cに示すように、第2バージョンから、VVCは、広角方向(破線として示される)を含むスキューイントラ予測方向に対応する幾つかのモードを有する。これらのモードのうちのいずれかでは、ブロックの辺の中の対応する位置が分数である場合、ブロックの中でサンプルを予測するために、近隣参照サンプルのセットの補間が実行されるべきである。HEVC及びVVCは、2つの隣接参照サンプルの間の線形補間を使用する。JEMは、より高度な4タップ補間フィルタを使用する。フィルタ係数は、幅又は高さ値に依存してガウス又はキュービック係数のいずれかとなるよう選択される。幅又は高さを使用するかについての決定は、主参照辺の選択についての決定と調和する。イントラ予測モードが対角モードより大きい又は等しいとき、参照サンプルの上辺が、主参照辺として選択され、使用中の補間フィルタを決定するために幅値が選択される。或いは、主参照辺は、ブロックの左側から選択され、高さはフィルタ選択処理を制御する。具体的に、選択された辺の長さが8サンプル以下である場合、キュービック補間4タップが適用される。或いは、補間フィルタは4タップガウスフィルタである。
VVCでは、4分木及び2分木の両方に基づくQTBTとして知られるパーティションメカニズムが使用される。図12に示すように、QTBTパーティショニングは、正方形だけでなく長方形のブロックも提供できる。勿論、HEVC/H.265規格で使用される従来の4分木に基づくパーティショニングと比べて、何らかのシグナリングオーバヘッド及びエンコーダ側での増大する計算の複雑さは、QTBTパーティショニングの代償である。しかしながら、QTBTに基づくパーティショニングは、より良いセグメント化特性を有し、従って、従来の4分木より有意に高いコーディング効率を実証する。
パーティションのために使用される木のリーフは、Z走査順に処理されている。その結果、現在リーフに対応する現在ブロックは、現在ブロックがスライスの境界上に位置しない限り、符号化又は復号処理の間に既に再構成された左及び上近隣ブロックを有する。これは、図12にも示される。図12の右部分に示される木のリーフの左から右への走査は、この図の左部分に示されるブロックの空間Z走査順に対応する。4分木又はマルチタイプ木の場合に同じ走査が適用される。
指向性イントラ予測では、参照サンプルは、前に再構成された近隣ブロックのサンプルから取得される。ブロックのサイズ及びイントラ予測モードに依存して、予測サンプルの値を取得するために使用される前に、フィルタが、参照サンプルに適用され得る。
境界平滑化及びPDPCの場合、予測ブロックの幾つかの第1列及び幾つかの第1行が、近隣サンプルから生成された追加予測信号と組み合わせられる。
簡易PDPCの特定の実装は、イントラ予測モードに依存して異なる方法で実行され得る。
平面、DC、HOR/VER(水平/垂直)イントラ予測モード(図10B及び図10Cにそれぞれ0、1、18、50として示される)について、以下のステップが実行される。
(x,y)に位置する予測サンプルP^(x,y)は以下のように計算される。
Figure 2022507985000009

ここで、Rx,-1、R-1,yは、現在サンプル(x,y)の上及び左に位置する参照サンプルを表し、R-1,-1は現在ブロックの左上角に位置する参照サンプルを表す。P(x,y)は、上述のように平面、DC、又はHOR/VERイントラ予測モードを適用するとき、予測サンプルの値を示す。関数clip1Cmpは以下のように設定される。
Figure 2022507985000010

BitDepthは、ルマサンプルのビット深さである。
BitDepthは、クロマサンプルのビット深さである。
BitDepthY及びBitDepthは、ビットストリームのシーケンスパラメータセット(sequence parameter set (SPS))の中でシグナリングされ得る。
Clip1Y(x)及びClip1C(x)の代替の定義が可能である。特に、F. Galpin, P. Bordes, and F. Le Leannec in contribution JVET-C0040 “Adaptive Clipping in JEM2.0”に記載されるように、Clip1Cmp(x)=Clip3(min,max,x)である。
ここで、minは、成分ID Cについて現在スライスの中で使用される下限のクリッピング境界である。
maxは、成分ID Cについて現在スライスの中で使用される上限のクリッピング境界である。
Cは色成分である(例えば、ルマではY、クロマではCb及びCr)。
「x>>y 」は、x×yの2進数の2の補数整数表現の算術右シフトである。この関数は、yの非負整数値についてのみ定義される。右シフトの結果としての最上位ビット(most significant bit (MSB))へとシフトされたビットは、シフト演算の前のxのMSBに等しい値を有する。
DCモード重みは以下のように計算される。
Figure 2022507985000011

平面モードではwTL=0であり、水平モードではwTL=wTであり、水平モードではwTL=wLである。例として、図13に、1個の4×4ブロックの内側の(0,0)及び(1,0)位置のDCモードPDPC重み(wL,wT,wTL)が示される。この図から、例えば式(1)に定義されるようなクリッピング演算が必須であることが分かる。しかしながら、従来のPDPC実装は、クリッピング手順の結果がbitDepth又はbitDepthにより定められる範囲から外れ得る以下の例で説明される潜在的な欠陥を有する。
-1,y=0、Rx,-1=0、R-1,-1=100、P(x,y)=0が与えられると、図13に示すように、式(1)から、4×4予測ブロックの(0,0)位置について以下が分かる。
Figure 2022507985000012

上述の例から分かるように、負値「-4×100+32=-368」は、算術ビットシフトを用いて右シフトされている。実装に依存して、負値の算術右ビットシフトは、(例えば、C/C++プログラミング言語の場合に)異なる出力を生じ得る。従って、負値を右へシフトすることの結果は正符号及び特定の実装ではゼロではない大きさを有し得るので、Clip1Cmp()の出力が常に0であることが保証されないことがある。
PDCPにおいて実行されるクリッピングに関連する問題が、平面イントラ予測の場合に説明されたが、同様の状況はDCイントラ予測を用いるPDPCについても生じ得る。
対角(図10B及び図10Cで2及び66として示される)及び隣接モード(図10B又は図10Cで58より小さくなく且つ10より大きくない指向性モード)では、処理は以下に説明するように同じ式(1)を用いて実行される。
図14Aは、右上対角モードに対するPDPCの拡張について、参照サンプルRx,-1、R-1,y、及びR-1,-1の定義を示す。予測サンプルpred(x’,y’)は、予測ブロック内の(x’,y’)に位置する。参照サンプルRx,-1の座標xは、x=x’+y’+1により与えられ、参照サンプルR-1,yの座標yは、同様にy=x’+y’+1により与えられる。
右上対角モードのPDPC重みは、
Figure 2022507985000013
同様に、図14Bは、左下対角モードに対するPDPCの拡張について、参照サンプルRx,-1、R-1,y、及びR-1,-1の定義を示す。参照サンプルRx,-1の座標xは、x=x’+y’+1により与えられ、参照サンプルR-1,yの座標yは、y=x’+y’+1により与えられる。右上対角モードのPDPC重みは、
Figure 2022507985000014

隣接右上対角モードの場合は、図14Cに示される。隣接右上対角モードのPDPC重みは、
Figure 2022507985000015

同様に、隣接左下対角モードの場合は図14Dに示される。隣接左下対角モードのPDPC重みは、
Figure 2022507985000016

最後の2つの場合の参照サンプル座標は、角度モードイントラ予測のために既に使用された表を用いて計算される。分数参照サンプル座標が計算される場合、参照サンプルの線形補間が使用される。
簡易PDPCは、VVC仕様で指定されたように実行され得る。更に、以下の表記が使用される。
Figure 2022507985000017

Floor(x)は、x以下の最大整数である。
Log2(x)は、2を底とするxの対数である。
intraPredAngleは、表4で指定された角度パラメータである。
A=C?B:Dは、三項代入演算であり、条件Cが真の場合、AはBに等しく設定される。或いは、条件Cが偽の場合、AはDに等しく設定される。
INTRA_PLANARは、平面イントラ予測モード()である。
INTRA_DCは、DCイントラ予測モードである。
INTRA_ANGULARXXは、方向イントラ予測モードのうちの1つであり、XXは、図10B又は10Cに示されるその番号及び対応する方向を示す。
項がここで説明されない場合、その定義はVVC仕様またはHEVC/H.265規格仕様の中に見付けることができることが理解される。
以上の表記が与えられると、簡易PDPCのステップは以下の通り定義され得る。
この処理への入力は:
・イントラ予測モードpredModeIntra、
・変換ブロック幅を指定する変数nTbW、
・変換ブロック高さを指定する変数nTbH、
・参照サンプル幅を指定する変数refW、
・参照サンプル高さを指定する変数refH、
・予測サンプル:
Figure 2022507985000018

・近隣サンプル:
Figure 2022507985000019

・現在ブロックの色成分を指定する変数cIdx。
この処理の出力は、以下の変更された予測サンプルである。
Figure 2022507985000020
cIdxの値に依存して、関数clip1Cmpは以下の通り設定される。
・cIdxが0に等しい場合、clip1CmpはClip1に等しく設定される。
・その他の場合、clip1CmpはClip1に等しく設定される。
変数nScaleは以下に設定される:
Figure 2022507985000021

参照サンプルアレイ
Figure 2022507985000022

は、以下のように導出される:
Figure 2022507985000023
変数
Figure 2022507985000024

は、以下のように導出される。
Figure 2022507985000025

Figure 2022507985000026

Figure 2022507985000027

Figure 2022507985000028

Figure 2022507985000029

変更された予測サンプルの値
Figure 2022507985000030

は、以下のように導出される。
Figure 2022507985000031

上述の式1の割り当てで、簡易PDPCは、線形補間の代わりに最近接近隣補間を使用してよい:
Figure 2022507985000032

同様に、上述の式2の割り当てで、簡易PDPCも最近接近隣補間を使用し得る:
Figure 2022507985000033

従って、エンコーダ及びデコーダ側の両方で、方法は、入力データとして以下を使用する:
・指向性イントラ予測モード(図10B及び図10Cに示されるpredModeIntraとして更に示される)、
・ブロックサイズパラメータnTbS、これは、(log2(nTbW)+Log2(nTbH))>>1に等しく設定され、ここで、nTbW及びnTbHは、それぞれ予測ブロックの幅及び高さを示し、「>>」は右シフト演算を示す。
方法の使用を可能にするVVC仕様の変更は、簡易PDPCを記載するセクションにおいて、「近隣サンプルp[x][y]」を「参照サンプルp[x][y]」で置き換えることを含んでよい。
角度パラメータintraPredAngleは、5ビットに等しい分数部分の長さを有する固定点表現で予測サンプルの2つの隣接する行の間のサブピクセルオフセットを示す。このパラメータ(intraPredAngle)は、イントラ予測モード(predModeIntra)から導出され得る。predModeIntraからのintraPredAngleの例示的な導出は、例えば表4に示されるように、ルックアップテーブル(look-up-table (LUT))により定義され得る。
表4 intraPredAngleをpredModeIntraから導出するための例示的なLUT
Figure 2022507985000034
現在HEVC及びVVCドラフト仕様から、平面イントラ予測モードが使用される。VVCドラフト3の部分は、参考のために以下に組み込まれる。
8.2.4.2.5.INTRA_PLANARイントラ予測モードの仕様
この処理への入力は:
・変換ブロック幅を指定する変数nTbW、
・変換ブロック高さを指定する変数nTbH、
・近隣サンプル:
Figure 2022507985000035

この処理の出力は、以下の予測サンプルである:
Figure 2022507985000036

予測サンプルの値
Figure 2022507985000037

は、以下のように導出される。
Figure 2022507985000038
本開示は、誤った予測サンプル値を生じ得る、PDPCを用いてDCイントラ予測を適用するときの、負値のシフト演算に関する上述の問題を解決する。
提供されるソリューションは、式(1)の欠陥を有しない代替のPDPC方法に関連する。
具体的に、方法は、図15のフローチャートに示すような以下のステップを含む。ピクチャのブロックをイントラ予測する図示の方法は、ブロックの複数のサンプルからの各サンプルについて実行される。
ステップS100で、1つ以上の参照サンプル値からの予測サンプル値は、DCイントラ予測モードを用いてイントラ予測により取得される。
更に、ステップS110で、予測サンプル値は、サンプル重み係数により乗算されて、加重予測サンプル値を生じる。特に、サンプル重み係数は、((2<<p)-wL-wT)のように計算される。ここで、pはサンプル重み係数の精度であり、wLは水平重み係数であり、wTは垂直重み係数である。
ステップS120で、加算値が加重予測サンプル値に加算されて、非正規化予測サンプル値を生じる。
ステップS130で、非正規化予測サンプル値は、非正規化予測サンプル値の整数表現の算術右シフトにより正規化される。
従って、図示の方法により、正規化予測サンプル値が決定されてよく、PDPCの枠組みの中でDCイントラ予測を適用すると同時に、必ずしもクリッピング手順を必要としない決定方法を実行することにより誤った予測値の発生を防ぐ。
図示の方法のステップに先行して、及び図示の方法のステップに続いて、更なる処理が適用されてよいことに留意する。
例えば、残差値が正規化予測サンプル値に加算されてよく、再構成サンプル値を生じる。
実施形態では、加算値は、丸め込みオフセットを含んでよい。算術右シフト演算は、2のべき乗による除算に対応し、標準的に切り捨てられた値を生じる。適正に丸め込まれた結果を保証するために、丸め込みオフセットは、右シフト演算を実行する前に加算されてよい。丸め込みオフセット値は、右シフト演算を実行した後の整数値の半分に対応する。従って、丸め込みオフセットは、適正に丸め込まれた結果値を保証する。例えば、6ビットの右シフトの場合、これは2=64による除算に対応し、丸め込みオフセットは32であり得る。
別の実施形態では、ピクチャの第1ブロック及び第2ブロックをイントラ予測する方法が提供される。第1ブロックの複数のサンプルからの各サンプルについて、及び第2ブロックの複数のサンプルからの各サンプルについて、図15に示したステップ及び上述のステップが実行され、第1ブロックについて予測サンプル値を取得するために使用されるイントラ予測モードがDCイントラ予測モードであり、第2ブロックについて予測サンプル値を取得するために使用されるイントラ予測モードが平面イントラ予測モードである点が異なる。
具体的に、第1ブロックの各サンプルについて、ステップS100で、予測サンプル値は、1つ以上の参照サンプル値から、DCイントラ予測モードを用いてイントラ予測により取得される。更に、第2ブロックの各サンプルについて、ステップS100で、予測サンプル値は、1つ以上の参照サンプル値から、平面イントラ予測モードを用いてイントラ予測により取得される。
実施形態では、記載の方法は、ピクチャを符号化する又は復号する方法に含まれてよい。具体的に、予測サンプル値は、上述の方法のうちの任意の1つのステップを実行することにより取得されてよい。更に、取得された正規化予測サンプル値に残差値を加算することにより、再構成サンプル値が取得されてよい。
本開示の実施形態は、ハードウェア設計簡略化及び実行されるべき条件チェックの数の低減という技術的利点を可能にし得る。平面及びDCイントラ予測モードについて予測サンプル値を取得するために実行されるステップは、指向性イントラ予測のステップと異なる。イントラ予測の例示的なハードウェア実装は、以下の少なくとも2個のモジュールを含み得る。
・指向性イントラ予測モジュール、
・無指向性イントラ予測モジュール。
この理由により、先ず第一に、これらのグループの各々の中でPDPCフィルタリングを調和させることが望ましい。DCモードについてのPDPCの複雑さが平面モードについてのPDPCの複数さを超えるという事実を考慮して、本開示は、DCモードのためのPDPC処理を簡略化することを可能にする。
2個のモジュールは、本発明の実施形態に従い、それら自体のPDPCフィルタリング処理を実装し得る。従来のソリューションは、無指向性イントラ予測モジュールにおけるPDPCフィルタリングにおいて、イントラ予測モードがDCであるか平面であるかの追加チェックを実行すること、又はDC及び平面イントラ予測モードのために別個のPDPCフィルタリングモジュールを実装すること、のいずれかが必要であった。これは、ハードウェアの複雑さ及びエネルギ消費の増大を引き起こす。従って、DC及び平面モードの両方についてPDPCを調和させることは、DC及び平面イントラ予測モードについてPDPC処理(ハードウェアの場合には対応するモジュール)を共有することを可能にし得る。
本開示による実施形態の別の技術的利点は、簡略化されたエンコーダのイントラ予測設計において使用されるときに明らかになる。DCイントラ予測モードは、標準的に、最も計算上単純なイントラ予測モードであり、従って、最悪の場合には、PDPCフィルタリングの複雑さはDCモード自体の複雑さを超えることがある。条件チェックの数及び/又はDCモードの演算量を削減することにより、本開示に従い、イントラ予測の全体的な複雑さは、特に、イントラ予測モードの制約されたセットにより動作する所謂「レイジー」エンコーダにおいて実施される簡略化された符号化のシナリオで、低減され得る。
提案される方法は、PDPC処理が該モジュールにより処理される両方のイントラ予測モードについて同じである無指向性イントラ予測方法の中で定義することにより実施されてよい。言い換えると、本開示の実施形態は、PDPC処理がDC及び平面イントラ予測モードについて同じになるように、無指向性イントラ予測モジュールにのみ変更を導入することにより、実現され得る。
重み係数wL及びwTは、それぞれ2のべき乗であってよく、シフト演算を用いてそれらによる乗算の実装を可能にし得る。この定義は、ハードウェアフレンドリであり、向上した処理効率を可能にし得る。従って、DCイントラ予測モードを使用するときのPDPC処理を、平面イントラ予測モードを使用するときのPDPC処理と調和させることは、例えばPDPCを用いるイントラ予測を簡略化し得る。上述の方法は、例えば図16Aに示したような予測装置、エンコーダ装置、又はデコーダ装置により実行されてよい。
予測、エンコーダ又はデコーダ装置1000は、取得器1010、乗算器1020、加算器1030、及び正規化器1040を含む。取得器1010は、予測サンプル値を、1つ以上の参照サンプル値から、DCイントラ予測モードを用いてイントラ予測により取得するよう構成される。乗算器1020は、予測サンプル値を、サンプル重み係数により乗算して、加重予測サンプル値を生じるよう構成される。特に、重み係数は((2<<p)-wL-wT)であり、pはサンプル重み係数のパラメータ(例えば、精度)であり、wLは水平重み係数であり、wTは垂直重み係数である。加算器1030は、加算値を加重予測サンプル値に加算して、非正規化予測サンプル値を生じるよう構成される。正規化器1040は、非正規化予測サンプル値の整数表現の算術右シフトにより、非正規化予測サンプル値を正規化するよう構成される。
同様に、実施形態では、予測、エンコーダ、又はデコーダ装置1000の取得器1010は、第1ブロックの複数のサンプルの各サンプルについて及び第2ブロックの複数のサンプルからの各サンプルについて、予測サンプル値を、イントラ予測モードを用いるイントラ予測により1つ以上の参照サンプル値から取得するよう構成されてよい。サンプルの予測値を取得するために使用されるイントラ予測モードは、第1ブロックについてDCイントラ予測モード、及び第2ブロックについて平面イントラ予測モードであってよい。乗算器1020は、予測サンプル値を、サンプル重み係数により乗算して、加重予測サンプル値を生じるよう構成される。特に、重み係数は((2<<p)-wL-wT)であり、pはサンプル重み係数のパラメータ(例えば、精度)であり、wLは水平重み係数であり、wTは垂直重み係数である。加算器1030は、加算値を加重予測サンプル値に加算して、非正規化予測サンプル値を生じるよう構成される。正規化器1040は、非正規化予測サンプル値の整数表現の算術右シフトにより、非正規化予測サンプル値を正規化するよう構成される。
予測、エンコーダ、又はデコーダ装置1000は、実施形態では、正規化予測サンプル値に残差値を更に加算して、再構成サンプル値を生じてよい。
記載の方法の実施形態では、水平重み係数wLは、左参照サンプルの値に適用されて、加重左参照サンプル値を生じる係数であってよい。更に、垂直重み係数wTは、上参照サンプルの値に適用されて、加重上参照サンプル値を生じる係数であってよい。
具体的に、例えば、加重左及び上参照サンプル値は、それぞれ左及び上参照サンプル値の、対応する水平及び垂直重み係数wL及びwTとの乗算により取得されてよい。
更に、実施形態では、加算値が取得されてよく、加重上参照サンプル値及び加重左参照サンプル値の和を含む。
デコーダ装置1000のエンコーダの機能的コンポーネントは、図16Bに示すような上述の方法のうちの任意の1つを実行するよう構成される処理回路1040により実装されてよい。
実施形態では、処理回路は、1つ以上のプロセッサ1050と、1つ以上のプロセッサ1050に接続される非一時的コンピュータ可読記憶媒体1060と、を含んでよい。記憶媒体は、プロセッサにより実行されると該プロセッサに上述の方法のうちの任意の1つを実行させるプログラムコードを含む。
特定の実施形態では、方法は、以下のステップを含んでよい。
(x,y)に位置する正規化予測サンプルP^(x,y)は以下のように計算されてよい。
Figure 2022507985000039

ここで、Rx,-1、R-1,yは、それぞれ、現在サンプル(x,y)の上方(上)及び左に位置する参照サンプルを表す。P(x,y)は、DCイントラ予測モードを用いて予測される予測サンプルの値を示す。上述の式では、加重予測サンプルは、(64-wL-wT)×P(x,y)により表され、加算値はwL×R-1,y+wT×Rx,-1+32により表される。正規化は、ビット毎の右シフト演算>>6により表される。しかしながら、本開示は、加算値の特定の定義、6ビットのシフト演算に限定されない。
式(2)を用いる実施形態では、予測サンプルP(x,y)の値が常に有効な値の範囲内に、つまりピクセル値の最小と最大との間にあるので、関数clip1Cmpが使用されないことに、留意する価値がある。しかしながら、本開示は、クリッピング演算を実行しないことに限定されず、クリッピングは依然として適用されてよい。
例えば、正規化予測サンプル値は、予測サンプル値から計算されてよく、以下を計算することを含む。
Figure 2022507985000040

この実装形式では、正規化は、右シフト演算子>>6により実現される。本開示は、以上で与えられた特定の計算に限定されず、数学的に等価な計算が実行されてよい。
従って、上記のクリッピング演算の使用により、誤った正のゼロではない予測サンプル値の発生をもたらす負値の問題は、予測サンプル値の上述の計算を適用することにより防ぐことができる。
上述の式で、「x>>y 」は、x×yの2進数の2の補数整数表現の算術右シフトである。この関数は、yの非負整数値についてのみ定義される。右シフトの結果としての最上位ビット(most significant bit (MSB))へとシフトされたビットは、シフト演算前のxのMSBに等しい値を有する。
DCモード重みは以下のように計算されてよい。
Figure 2022507985000041

例として、図17に、1個の4×4ブロックの内側の(0,0)及び(1,0)位置のDCモードPDPC重み(wL,wT)が示される。この例では、重みwL及びwTの値は、座標(0,0)にある予測サンプルについて、32である。更に、例では、座標(1,0)にある予測サンプルについて、重みwLの値は8であり、重みwTの値は32である。図13に示す座標(0,0)及び(1,0)にある予測サンプルについての重みと比べて、左上参照サンプルは使用されず、このサンプル(左上参照サンプル)についての重みは指定されないことに気づき得る。しかしながら、本開示は、記載のDCモードPDPC重み計算手順に限定されず、該DCモードPDPC重みは異なる方法で又は異なる式を適用することにより決定されてよい。
提供される方法は、VVC仕様の一部の形式で表現され得る。
位置依存イントラ予測サンプルフィルタリング処理
この処理への入力は:
・イントラ予測モードpredModeIntra、
・変換ブロック幅を指定する変数nTbW、
・変換ブロック高さを指定する変数nTbH、
・参照サンプル幅を指定する変数refW、
・参照サンプル高さを指定する変数refH、
・予測サンプル:
Figure 2022507985000042

・近隣サンプル:
Figure 2022507985000043

・現在ブロックの色成分を指定する変数cIdx。
この処理の出力は、以下の変更された予測サンプルである。
Figure 2022507985000044
cIdxの値に依存して、関数clip1Cmpは以下の通り設定される。
・cIdxが0に等しい場合、clip1CmpはClip1に等しく設定される。
・その他の場合、clip1CmpはClip1に等しく設定される。
変数nScaleは以下に設定される:
Figure 2022507985000045

参照サンプル配列
Figure 2022507985000046

は、以下のように導出される:
Figure 2022507985000047

変数
Figure 2022507985000048

は、以下のように導出される。
Figure 2022507985000049

Figure 2022507985000050

Figure 2022507985000051

Figure 2022507985000052

Figure 2022507985000053

図18は、上述の方法を示す。破線により、従来のPDPCにおいて実行されるが、係数wTLが使用されないために必要ないので必ずしも提案される方法では実行されない、クリッピングのステップが示される。
図示の方法への入力は、参照サンプル値であり、図中にref[]として示される。上記の参照サンプルを用いて、現在サンプルについてイントラ予測が実行される。特に、現在サンプル値のイントラ予測は、DCイントラ予測モードを用いて実行されてよい。更に、加算値は、それぞれ、対応する左重みwL[x]及びwT[y]と一緒に、左及び上参照サンプル値refL[x][y]及びrefT[x],[y]を用いて計算される。イントラ予測サンプル値は、重み係数(64-wL[x]-wT[y])により乗算される。続いて、加算値は、加重予測サンプル値に加算される。次に、加算値が加算された加重予測サンプル値は必ずしも正規化値を表さないので、図中に「>>」により示されるビット毎の右シフト演算を適用することにより、正規化処理が実行される。結果として生じる正規化予測サンプル値は、更なるクリッピング演算が必要ない(図では、不必要なクリッピング演算は破線により示される)。
図示の例では重み係数は(64-wL[x]-wT[x])であるが、本開示はそれに限定されない。特に、サンプル重み係数は、異なる精度を示してよい。言い換えると、サンプル重み係数は、((2<<p)-wL-wT)のように表されてよく、pはその精度である。更に、必要ではないが、クリッピング処理は依然として実行されてよい。
図14では、参照サンプルは、予測サンプルを生成するために、イントラ予測処理により使用される。各予測サンプルは、サンプル重み係数を用いて更に重み付けされる。サンプル重み係数は、例えば(64-wL[x]-wT[y])に等しくてよい。同じ参照サンプルが、x及びtに依存して予測サンプルの各々について加算値を計算するために使用される。ここで、x及びyは、予測ブロック内の予測サンプルの位置を定める。これらの加算値は、対応する加重予測サンプルに加算される。この演算から生じる各サンプルは、次に、サンプル重み係数の所定の精度に従い、それを右シフトすることにより正規化される。例えば、サンプル重み係数が(64-wL[x]-wT[y]))のように定められる場合、精度は6ビットである。従って、このステップで、6による右シフトは、出力値の可能な最小及び最大値が参照サンプルの可能な最小及び最大値と同じであることを保証するために実行される。しかしながら、本開示は、6ビットの精度に限定されず、任意の他の精度が適用されてよい。
提案されるソリューションの有利な効果のうちの1つは、平面イントラ予測メカニズムが加算値を計算するために再利用できることである。具体的に、平面イントラ予測は、水平及び垂直予測サンプル値を導出するために次式を使用してよい。
Figure 2022507985000054

上述の2つの式(8-82)及び(8-83)から、predV[x][y]がpredV[x][y]と同じ列に位置する参照サンプルp[x][-1]を使用すること、及びpredH[x][y]がpredH[x][y]と同じ行に位置する参照サンプルp[-1][y]を使用することが分かる。更に、左シフト演算は、最終ステップとして実行され、従って、それらが再利用されている中間の計算に影響を与えないので、スキップできる。
上述の式(8-82)及び(8-83)では、predVは、平面イントラ予測を適用することにより決定された垂直予測サンプル値を示し、predHは、平面イントラ予測を適用することにより決定された水平予測サンプル値を示す。更に、nTbW及びnTbHは、平面イントラ予測を実行するときの、それぞれ現在ブロックの幅及び高さを示す。しかしながら、nTbW、nTbH、x、及びyの変数は、平面イントラ予測方法の入力であり、従って、相応して調整され得る。このため、(nTbW-1-x)をDにより、(nTbH-1-y)をDにより、入力変数で代用することが可能である。左下及び右上参照サンプルは、これらが使用されていないパラメータであるので、0に設定され得る。
上述の考察に鑑み、上述の式(8-82)及び(8-83)は、その入力が予め決定されていることに従い、書き換えられてよい。
Figure 2022507985000055
従って、加重予測サンプル値に加算されるべき加算値を決定するために以下の統合が実行され得る。
・水平モード(モード18)の場合の加算値は、以下のように計算され得る:
Figure 2022507985000056

・垂直モード(モード50)の場合の加算値は、以下のように計算され得る:
Figure 2022507985000057

・DCモード(モード1)の場合の加算値は、V+Vのように計算され得る。ここで、D及びDは前述の2つの場合のように設定される。つまり、DがwT[y]に等しく設定され、及びDがwL[y]に等しく設定される。
参照サンプル選択の代替により、PDPC処理のために指定される全部のイントラ予測モードについて、統合が実行され得ることが示され得る。
別の実施形態では、PDPC処理は、以下のように指定されてよい。
位置依存イントラ予測サンプルフィルタリング処理
この処理への入力は:
・イントラ予測モードpredModeIntra、
・変換ブロック幅を指定する変数nTbW、
・変換ブロック高さを指定する変数nTbH、
・参照サンプル幅を指定する変数refW、
・参照サンプル高さを指定する変数refH、
・予測サンプル:
Figure 2022507985000058

・近隣サンプル:
Figure 2022507985000059

この処理の出力は、以下の変更された予測サンプルである。
Figure 2022507985000060

変数nScaleは、以下のように導出される。
Figure 2022507985000061

Figure 2022507985000062

Figure 2022507985000063

参照サンプル配列mainRef[x]及びsideRef[y]、ここでx=0...refW-1及びy=0...refH-1は、以下のように導出される:
Figure 2022507985000064

変数refL[x][y]、refT[x][y]、wT[y]、及びwL[x]、ここでx=0...nTbW-1、y=0...nTbH-1は、以下のように導出される:
Figure 2022507985000065

Figure 2022507985000066

Figure 2022507985000067

Figure 2022507985000068

Figure 2022507985000069

変更された予測サンプルの値
Figure 2022507985000070

は、以下のように導出される。
Figure 2022507985000071

以上では、関数Clip1は、例えば更に上述したような(clip1Cmp)のように定義されてよい。
本開示の実施形態は主にビデオコーディングに基づき説明されたが、留意すべきことに、コーディングシステム10、エンコーダ20、及びデコーダ30(及び相応してシステム10)の実施形態、並びにここに説明された他の実施形態は、静止画処理又はコーディング、つまりビデオコーディングにおけるような任意の先行する又は連続するピクチャと独立した個々のピクチャの処理又はコーディングのために構成されてもよい。一般的に、ピクチャ処理コーディングが単一のピクチャ17に限定される場合、インター予測ユニット244(エンコーダ)及び344(デコーダ)のみが利用可能である必要はない。ビデオエンコーダ20及びビデオデコーダ30の全ての他の機能(ツール又は技術とも呼ばれる)は、静止画処理、例えば残差計算204/304、変換206、量子化208、逆量子化210/310、(逆)変換212/312、パーティション262/362、イントラ予測254/354、及び/又はループフィルタ220、320、及びエントロピーコーディング270及びエントロピー復号304のために等しく使用されてよい。
例えばエンコーダ20及びデコーダ30の実施形態、及び例えばエンコーダ20及びデコーダ30を参照してここに説明した機能は、ハードウェア、ソフトウェア、ファームウェア、又はそれらの任意の組合せで実装されてよい。ソフトウェアで実装される場合、機能は、1つ以上の命令又はコードとしてコンピュータ可読媒体に格納され又は通信媒体を介して送信され、ハードウェアに基づく処理ユニットにより実行されてよい。コンピュータ可読媒体は、データ記憶媒体のような有形媒体に対応するコンピュータ可読記憶媒体、又は例えば通信プロトコルに従いある場所から別の場所へのコンピュータプログラムの転送を実現する任意の媒体を含む通信媒体、を含んでよい。この方法では、コンピュータ可読媒体は、一般的に、(1)非一時的である有形コンピュータ可読記憶媒体、又は(2)信号若しくは搬送波のような通信媒体、に対応してよい。データ記憶媒体は、本開示で説明された技術の実装のために命令、コード、及び/又はデータ構造を読み出すために、1つ以上のコンピュータ又は1つ以上のプロセッサによりアクセス可能な任意の利用可能な媒体であってよい。コンピュータプログラムプロダクトは、コンピュータ可読媒体を含んでよい。
例により、限定ではなく、このようなコンピュータ可読記憶媒体は、RAM、ROM、EEPROM、CD-ROM、又は他の光ディスク記憶、磁気ディスク記憶、又は他の磁気記憶装置、フラッシュメモリ、又は所要のプログラムコードを命令又はデータ構造の形式で格納するために使用可能な、コンピュータによりアクセス可能な任意の他の媒体、を含み得る。また、任意の接続は、適正にコンピュータ可読媒体と呼ばれる。例えば命令がウェブサイト、サーバ、又は他のリモートソースから、同軸ケーブル、光ファイバケーブル、より対線、デジタル加入者線(digital subscriber line (DSL))、又は赤外線、無線、及びマイクロ波のような無線技術を用いて送信される場合、同軸ケーブル、光ファイバケーブル、より対線、DSL、又は赤外線、無線、及びマイクロ波のような無線技術は、媒体の定義に含まれる。しかしながら、理解されるべきことに、コンピュータ可読記憶媒体及びデータ記憶媒体は、接続、搬送波、信号、又は他の一時的媒体を含まないが、代わりに非一時的有形記憶媒体を対象とする。ディスク(disk)及びディクス(disc)は、ここで使用されるとき、コンパクトディスク(compact disc (CD))、レーザディスク、光ディスク、デジタルバーサタイルディスク(digital versatile disc (DVD))、フロッピーディスク、及びブルーレイディスクを含み、ディスク(disk)は通常データを磁気的に再生し、ディスク(disc)はデータをレーザにより光学的に再生する。前述の結合も、コンピュータ可読媒体の範囲に含まれるべきである。
命令は、1つ以上のデジタル信号プロセッサ(digital signal processor (DSP))、汎用マイクロプロセッサ、特定用途向け集積回路(application specific integrated circuit (ASIC))、フィールドプログラマブルロジックアレイ(field programmable logic array (FPGA))、又は他の等価な集積又は個別論理回路、のような1つ以上のプロセッサにより実行されてよい。従って、用語「プロセッサ」は、ここで使用されるとき、前述の構造のうちのいずれか、又はここに記載される技術の実装に適する任意の他の構造を表してよい。更に、幾つかの態様では、ここに説明された機能は、符号化及び復号又は結合されたコーデックに組み込まれるために構成される専用ハードウェア及び/又はソフトウェアモジュール内で提供されてよい。更に、技術は、全部、1つ以上の回路又は論理素子で実装され得る。本開示で言及される処理回路は、ハードウェア及びソフトウェアを含んでよい。
本開示の技術は、無線ハンドセット、集積回路(integrated circuit (IC))、又はICのセット(例えば、チップセット)を含む種々の装置又は機器の中で実装されてよい。種々のコンポーネント、モジュール、又はユニットは、開示の技術を実行するよう構成される装置の機能的側面を強調するために、本開示で説明されたが、異なるハードウェアユニットによる実現を必ずしも要求しない。むしろ、上述のように、種々のユニットは、適切なソフトウェア及び/又はファームウェアと組み合わせて、コーデックハードウェアユニット内で結合され、又は上述のような1つ以上のプロセッサを含む相互運用ハードウェアユニットの集合により提供されてよい。
更なる実施形態は、以下に纏められる。
ピクチャのブロックのイントラ予測の方法であって、
前記ブロックの複数のサンプルからの各サンプルについて、
DCイントラ予測モード、平面イントラ予測モード、及び角度イントラ予測モードのうちの1つを用いてイントラ予測により、1つ以上の参照サンプル値から予測サンプル値を取得するステップと、
前記予測サンプル値をサンプル重み係数により乗算して、加重予測サンプル値を生じるステップと、
前記加重予測サンプル値に加算値を加算して、非正規化予測サンプル値を生じるステップと、
前記非正規化予測サンプル値の整数表現の算術右シフトにより、前記非正規化予測サンプル値を正規化して、正規化予測サンプル値を生じるステップと、
を含む方法が提供される。
実施形態では、前記ピクチャはビデオシーケンスの部分である。
実施形態では、前記サンプル重み係数は、((2<<p)-wL-wT)であり、
pは前記サンプル重み係数の精度であり、
wLは水平重み係数であり、
wTは垂直重み係数である。
実施形態では、前記水平重み係数は以下であり、
Figure 2022507985000072

前記垂直重み係数は以下であり、
Figure 2022507985000073

yは前記サンプルの垂直座標であり、
nScaleはスケールパラメータである。
実施形態では、前記スケールパラメータnScaleは前記ブロックのサイズから導出される。
実施形態では、前記スケールパラメータnScaleは以下のように決定され、
Figure 2022507985000074

nTbWは前記ブロックの幅であり、nTbHは前記ブロックの高さである。
実施形態では、前記正規化予測サンプル値は前記予測サンプル値から以下のように計算され、
Figure 2022507985000075

ここで、
P^(x,y)は前記正規化予測サンプル値であり、
P(x,y)は前記予測サンプル値であり、
x,-1,R-1,yは前記予測サンプルの上及び左に位置する最も近い参照サンプルの値を表し、
wLは水平重み係数であり、
wTは垂直重み係数である。
実施形態では、前記水平重み係数は以下であり、
Figure 2022507985000076

前記垂直重み係数は以下であり、
Figure 2022507985000077

yは前記サンプルの垂直座標であり、
nScaleはスケールパラメータである。
実施形態では、前記スケールパラメータnScaleは前記ブロックのサイズから導出される。
実施形態では、前記スケールパラメータnScaleは以下のように決定され、
Figure 2022507985000078

nTbWは前記ブロックの幅であり、nTbHは前記ブロックの高さである。
実施形態では、前記ブロックの前記複数のサンプルは、前記ブロックの全てのサンプルを含む。
更に、ピクチャを符号化又は復号する装置であって、前記装置は、上述の方法のうちのいずれか1つを実行するよう構成される処理回路を含む装置が提供される。
実施形態では、前記処理回路は、1つ以上のプロセッサと、前記1つ以上のプロセッサに接続された非一時的コンピュータ可読媒体と、を含み、前記非一時的コンピュータ可読媒体は、前記1つ以上のプロセッサにより実行されると、前記装置に前記方法を実行させるプログラムコードを運ぶ。
更に、非一時的コンピュータ可読媒体であって、コンピュータ装置により実行されると前記コンピュータ装置に上述の方法のうちのいずれか1つを実行させるプログラムコードを運ぶ、非一時的コンピュータ可読媒体が提供される。
略語の定義、及び用語集
JEM-Joint Exploration Model (the software codebase for future video coding exploration)
JVET-Joint Video Experts Team
LUT-Look-Up Table
PDPC-Position-dependent prediction combination
PPS-Picture parameter set
QT-Quad Tree
QTBT-Quad Tree plus Binary Tree
RDO-Rate-distortion Optimization
ROM-Read-Only Memory
SPS-Sequence parameter set
VTM-VVC Test Model
VVC-Versatile Video Coding, the standardization project developed by JVET.
CTU/CTB-Coding Tree Unit/Coding Tree Block
CU/CB-Coding Unit/Coding Block
PU/PB-Prediction Unit/Prediction Block
TU/TB-Transform Unit/Transform Block
HEVC-High Efficiency Video Coding
図1Aに示すように、コーディングシステム10は、符号化ピクチャデータ21を、例えばコーディングピクチャデータ21を復号する宛先装置14に提供するよう構成されるソース装置12を含む。
左下対角モードのPDPC重みは、
Figure 2022507985000101
エンコーダ又はデコーダ装置1000機能的コンポーネントは、図16Bに示すような上述の方法のうちの任意の1つを実行するよう構成される処理回路1040により実装されてよい。

Claims (18)

  1. ピクチャのブロックのイントラ予測の方法であって、前記ブロックのサンプルについて、
    DCイントラ予測モードを用いるイントラ予測により、1つ以上の参照サンプル値から予測サンプル値を取得するステップと、
    前記予測サンプル値をサンプル重み係数により乗算して、加重予測サンプル値を生じるステップと、
    前記加重予測サンプル値に加算値を加算して、非正規化予測サンプル値を生じるステップと、
    前記非正規化予測サンプル値の整数表現の算術右シフトにより前記非正規化予測サンプル値を正規化するステップと、
    を含み、
    前記サンプル重み係数は、((2<<p)-wL-wT)であり、
    pは前記サンプル重み係数のパラメータであり、
    wLは水平重み係数であり、
    wTは垂直重み係数である、方法。
  2. ピクチャの第1ブロック及び第2ブロックのイントラ予測の方法であって、前記第1ブロックのサンプルについて、及び前記第2ブロックのサンプルについて、
    イントラ予測モードを用いるイントラ予測により、1つ以上の参照サンプル値から予測サンプル値を取得するステップと、
    前記予測サンプル値をサンプル重み係数により乗算して、加重予測サンプル値を生じるステップと、
    前記加重予測サンプル値に加算値を加算して、非正規化予測サンプル値を生じるステップと、
    前記非正規化予測サンプル値の整数表現の算術右シフトにより前記非正規化予測サンプル値を正規化するステップと、
    を含み、
    前記サンプル重み係数は、((2<<p)-wL-wT)であり、
    pは前記サンプル重み係数のパラメータであり、
    wLは水平重み係数であり、
    wTは垂直重み係数であり、
    前記第1ブロックについて前記予測サンプル値を取得するために使用される前記イントラ予測モードはDCイントラ予測モードであり、前記第2ブロックについて前記予測サンプル値を取得するために使用される前記イントラ予測モードは平面イントラ予測モードである、方法。
  3. 平面イントラ予測メカニズムが前記加算値を計算するために使用される、請求項1又は2に記載の方法。
  4. 前記サンプル重み係数は(64-wL-wT)である、請求項1~3のいずれか一項に記載の方法。
  5. 前記加算値は、前記参照サンプルのうちの1つ以上に依存する被加数を含む1つ以上の被加数の和である、請求項1~4のいずれか一項に記載の方法。
  6. 1つ以上の参照サンプルに依存する前記被加数は、wL×R-1,y+wT×Rx,-1であり、Rx,-1及びR-1,yは、前記予測サンプルの上及び左に位置する最も近い参照サンプルの値を表す、請求項5に記載の方法。
  7. 前記水平重み係数wL及び/又は前記垂直重み係数wTは2のべき乗である、請求項1~6のいずれか一項に記載の方法。
  8. 前記水平重み係数はwL=(2<<(p-1))>>((x<<1)>>nScale)であり、xは前記サンプルの水平座標であり、
    前記垂直重み係数はwT=(2<<(p-1))>>((y<<1)>>nScale)であり、yは前記サンプルの垂直座標であり、
    nScaleはスケールパラメータである、請求項1~7のいずれか一項に記載の方法。
  9. 前記スケールパラメータnScaleは前記ブロックのサイズから導出される、請求項8に記載の方法。
  10. 前記スケールパラメータnScaleは((Log2(nTbW)+Log2(nTbH)-2)>>2)として決定され、nTbWは前記ブロックの幅であり、nTbHは前記ブロックの高さである、請求項8に記載の方法。
  11. 正規化予測サンプル値は前記予測サンプル値から計算され、(wL×R-1,y+wT×Rx,-1+(64-wL-wT)×P(x,y)+32)>>6を計算することを含み、
    P(x,y)は前記予測サンプル値であり、
    x,-1、R-1,yは、前記予測サンプルの上及び左に位置する最も近い参照サンプルの値を表し、
    wLは前記水平重み係数であり、
    wTは前記垂直重み係数である、
    請求項1~10のいずれか一項に記載の方法。
  12. ピクチャの符号化又は復号の方法であって、
    請求項1~11のいずれか一項に記載の方法のステップを実行することにより、正規化予測サンプル値を取得するステップと、
    前記正規化予測サンプル値に残差値を加算して、再構成サンプル値を生じるステップと、
    を含む方法。
  13. 請求項1~12のいずれか一項に記載の方法を実行するよう構成される処理回路を含む、ピクチャの符号化又は復号のための装置。
  14. 前記処理回路は、1つ以上のプロセッサと、前記1つ以上のプロセッサに接続された非一時的コンピュータ可読媒体と、を含み、前記非一時的コンピュータ可読媒体は、前記1つ以上のプロセッサにより実行されると、前記装置に請求項1~13のいずれか一項に記載の方法を実行させるプログラムコードを運ぶ、請求項13に記載の装置。
  15. コンピュータ装置により実行されると、前記コンピュータ装置に請求項1~12のいずれか一項に記載の方法を実行させるプログラムコードを運ぶ非一時的コンピュータ可読媒体。
  16. 請求項1~12のいずれか一項に記載の方法を実行するためのプログラムコードを含むコンピュータプログラム。
  17. ピクチャのブロックのイントラ予測のための予測装置であって、
    前記ブロックのサンプルについて、DCイントラ予測モードを用いるイントラ予測により、1つ以上の参照サンプル値から予測サンプル値を取得するよう構成される取得器と、
    前記予測サンプル値をサンプル重み係数により乗算して、加重予測サンプル値を生じるよう構成される乗算器と、
    前記加重予測サンプル値に加算値を加算して、非正規化予測サンプル値を生じるよう構成される加算器と、
    前記非正規化予測サンプル値の整数表現の算術右シフトにより前記非正規化予測サンプル値を正規化するよう構成される正規化器と、
    を含み、
    前記サンプル重み係数は、((2<<p)-wL-wT)であり、
    pは前記サンプル重み係数のパラメータであり、
    wLは水平重み係数であり、
    wTは垂直重み係数である、予測装置。
  18. ピクチャの第1ブロック及び第2ブロックのイントラ予測のための予測装置であって、
    前記第1ブロックのサンプル又は前記第2ブロックのサンプルについて、イントラ予測モードを用いるイントラ予測により、1つ以上の参照サンプル値から予測サンプル値を取得するよう構成される取得器と、
    前記予測サンプル値をサンプル重み係数により乗算して、加重予測サンプル値を生じるよう構成される乗算器と、
    前記加重予測サンプル値に加算値を加算して、非正規化予測サンプル値を生じるよう構成される加算器と、
    前記非正規化予測サンプル値の整数表現の算術右シフトにより前記非正規化予測サンプル値を正規化するよう構成される正規化器と、
    を含み、
    前記サンプル重み係数は、((2<<p)-wL-wT)であり、
    pは前記サンプル重み係数のパラメータであり、
    wLは水平重み係数であり、
    wTは垂直重み係数であり、
    前記第1ブロックについて前記予測サンプル値を取得するために使用される前記イントラ予測モードはDCイントラ予測モードであり、前記第2ブロックについて前記予測サンプル値を取得するために使用される前記イントラ予測モードは平面イントラ予測モードである、予測装置。
JP2021529421A 2018-11-26 2019-11-26 ピクチャのブロックのイントラ予測の方法 Active JP7401542B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2023206545A JP2024019425A (ja) 2018-11-26 2023-12-07 ピクチャのブロックのイントラ予測の方法

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201862771451P 2018-11-26 2018-11-26
US62/771,451 2018-11-26
PCT/RU2019/050227 WO2020111982A1 (en) 2018-11-26 2019-11-26 Method of intra predicting a block of a picture

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2023206545A Division JP2024019425A (ja) 2018-11-26 2023-12-07 ピクチャのブロックのイントラ予測の方法

Publications (2)

Publication Number Publication Date
JP2022507985A true JP2022507985A (ja) 2022-01-18
JP7401542B2 JP7401542B2 (ja) 2023-12-19

Family

ID=70853105

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2021529421A Active JP7401542B2 (ja) 2018-11-26 2019-11-26 ピクチャのブロックのイントラ予測の方法
JP2023206545A Pending JP2024019425A (ja) 2018-11-26 2023-12-07 ピクチャのブロックのイントラ予測の方法

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2023206545A Pending JP2024019425A (ja) 2018-11-26 2023-12-07 ピクチャのブロックのイントラ予測の方法

Country Status (11)

Country Link
US (2) US11553174B2 (ja)
EP (2) EP3874747A4 (ja)
JP (2) JP7401542B2 (ja)
KR (1) KR102661224B1 (ja)
CN (4) CN115695784A (ja)
AU (1) AU2019390215B2 (ja)
BR (1) BR112021010123A2 (ja)
CA (1) CA3121219A1 (ja)
MX (1) MX2021006089A (ja)
SG (1) SG11202105452VA (ja)
WO (1) WO2020111982A1 (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3861749A1 (en) * 2018-10-01 2021-08-11 InterDigital VC Holdings, Inc. Directions for wide angle intra prediction
WO2020118287A1 (en) * 2018-12-07 2020-06-11 Interdigital Vc Holdings, Inc. Managing coding tools combinations and restrictions
JP2022537173A (ja) 2019-06-20 2022-08-24 インターデジタル ブイシー ホールディングス フランス,エスアーエス 位置依存イントラ予測コンビネーションを用いたピクチャ符号化及び復号の方法及びデバイス
WO2020263646A1 (en) * 2019-06-24 2020-12-30 Interdigital Vc Holdings, Inc. Method and apparatus for signaling decoding data using high level syntax elements
EP3987800A4 (en) * 2019-06-24 2023-03-29 Sharp Kabushiki Kaisha SYSTEMS AND METHODS FOR PERFORMING INTRA PREDICTION CODING IN VIDEO CODING
TW202118300A (zh) * 2019-09-24 2021-05-01 法商內數位Vc控股法國公司 同質語法
US20220103825A1 (en) * 2020-09-30 2022-03-31 Qualcomm Incorporated Constraining operational bit depth of adaptive loop filtering for coding of video data at different bit depth

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5158003B2 (ja) * 2009-04-14 2013-03-06 ソニー株式会社 画像符号化装置と画像符号化方法およびコンピュータ・プログラム
TR201807094T4 (tr) * 2010-08-17 2018-06-21 M&K Holdings Inc Bi̇r i̇ç tahmi̇n modunu geri̇ yüklemek i̇çi̇n yöntem
WO2012088211A1 (en) * 2010-12-21 2012-06-28 Docomo Communications Laboratories Usa Inc. Enhanced intra-prediction coding using planar representations
WO2017035831A1 (en) * 2015-09-06 2017-03-09 Mediatek Inc. Adaptive inter prediction
US10425648B2 (en) * 2015-09-29 2019-09-24 Qualcomm Incorporated Video intra-prediction using position-dependent prediction combination for video coding
US20190068967A1 (en) 2016-02-03 2019-02-28 Sharp Kabushiki Kaisha Predicted-image generation device, video decoding device, and video coding device
KR101899101B1 (ko) * 2016-06-01 2018-09-14 서울대학교 산학협력단 인공 신경망 기반 예측 모델 생성 장치 및 방법
CN107071417B (zh) * 2017-04-10 2019-07-02 电子科技大学 一种用于视频编码的帧内预测方法
US10638126B2 (en) * 2017-05-05 2020-04-28 Qualcomm Incorporated Intra reference filter for video coding
US10965941B2 (en) * 2017-10-09 2021-03-30 Qualcomm Incorporated Position-dependent prediction combinations in video coding
US11611757B2 (en) * 2018-04-02 2023-03-21 Qualcomm Incorproated Position dependent intra prediction combination extended with angular modes
US10911765B2 (en) * 2018-08-01 2021-02-02 Tencent America LLC Method and apparatus for video coding
CN118214860A (zh) * 2018-10-12 2024-06-18 英迪股份有限公司 图像解码和编码方法、数字存储介质、发送比特流的方法
CA3117933C (en) 2018-11-08 2023-05-23 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Image signal encoding/decoding method and apparatus therefor
US11652984B2 (en) * 2018-11-16 2023-05-16 Qualcomm Incorporated Position-dependent intra-inter prediction combination in video coding

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
XIN ZHAO, ET AL.: "EE1 related: Simplification and extension of PDPC", JOINT VIDEO EXPLORATION TEAM (JVET) OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 11, vol. JVET-H0057_r1, JPN6022041753, 18 October 2017 (2017-10-18), ISSN: 0004893811 *
Y. CHEN, ET AL.: "Description of SDR, HDR and 360° video coding technology proposal by Qualcomm and Technicolor - low", JOINT VIDEO EXPLORATION TEAM (JVET) OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 11, vol. JVET-J0021, JPN6022041754, 14 April 2018 (2018-04-14), pages 12 - 13, ISSN: 0004893812 *

Also Published As

Publication number Publication date
CN112889281A (zh) 2021-06-01
KR102661224B1 (ko) 2024-04-26
CA3121219A1 (en) 2020-06-04
EP3874747A1 (en) 2021-09-08
US11553174B2 (en) 2023-01-10
CN115695783A (zh) 2023-02-03
EP4358511A1 (en) 2024-04-24
JP7401542B2 (ja) 2023-12-19
CN115695784A (zh) 2023-02-03
CN116132667A (zh) 2023-05-16
US20230107125A1 (en) 2023-04-06
BR112021010123A2 (pt) 2021-08-24
US20210281835A1 (en) 2021-09-09
CN112889281B (zh) 2022-11-18
WO2020111982A1 (en) 2020-06-04
SG11202105452VA (en) 2021-06-29
EP3874747A4 (en) 2021-12-29
KR20210090700A (ko) 2021-07-20
AU2019390215B2 (en) 2023-04-06
AU2019390215A1 (en) 2021-06-17
JP2024019425A (ja) 2024-02-09
MX2021006089A (es) 2021-09-10

Similar Documents

Publication Publication Date Title
US11070799B2 (en) Encoder, decoder and corresponding methods for intra prediction
JP7401542B2 (ja) ピクチャのブロックのイントラ予測の方法
JP7508645B2 (ja) モードおよびサイズに依存したブロックレベル制限の方法および装置
KR20230170817A (ko) 비디오 디코딩 방법 및 비디오 디코더
US11589055B2 (en) Method and apparatus of mode- and size-dependent block-level restrictions for position dependent prediction combination
KR20210126771A (ko) 인트라 예측 모드에 관련된 인코더, 디코더 및 대응하는 방법들
US11758137B2 (en) Encoder, decoder and corresponding methods using DCT2 enabled high level flag
US20240015304A1 (en) Method and apparatus for intra prediction
KR102631517B1 (ko) 픽처 분할 방법 및 장치
KR20220024900A (ko) 비선형 적응 루프 필터의 클리핑 레벨
US11438629B2 (en) Method and apparatus for hierarchical signaling of enabling and disabling prediction mechanisms for video coding
WO2021054868A1 (en) Method and apparatus for intra prediction

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210726

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210726

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220819

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221011

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20230111

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230313

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230711

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231005

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20231107

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20231207

R150 Certificate of patent or registration of utility model

Ref document number: 7401542

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150