JP7325540B2 - ブロックベース予測 - Google Patents
ブロックベース予測 Download PDFInfo
- Publication number
- JP7325540B2 JP7325540B2 JP2021566185A JP2021566185A JP7325540B2 JP 7325540 B2 JP7325540 B2 JP 7325540B2 JP 2021566185 A JP2021566185 A JP 2021566185A JP 2021566185 A JP2021566185 A JP 2021566185A JP 7325540 B2 JP7325540 B2 JP 7325540B2
- Authority
- JP
- Japan
- Prior art keywords
- vector
- prediction
- matrix
- samples
- block
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
- G06F17/10—Complex mathematical operations
- G06F17/16—Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
- H04N19/423—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
- G06F17/10—Complex mathematical operations
- G06F17/15—Correlation function computation including computation of convolution operations
- G06F17/156—Correlation function computation including computation of convolution operations using a domain transform, e.g. Fourier transform, polynomial transform, number theoretic transform
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F7/00—Methods or arrangements for processing data by operating upon the order or content of the data handled
- G06F7/38—Methods or arrangements for performing computations using exclusively denominational number representation, e.g. using binary, ternary, decimal representation
- G06F7/48—Methods or arrangements for performing computations using exclusively denominational number representation, e.g. using binary, ternary, decimal representation using non-contact-making devices, e.g. tube, solid state device; using unspecified devices
- G06F7/483—Computations with numbers represented by a non-linear combination of denominational numbers, e.g. rational numbers, logarithmic number system or floating-point numbers
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Mathematical Physics (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computational Mathematics (AREA)
- Mathematical Analysis (AREA)
- Mathematical Optimization (AREA)
- Pure & Applied Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- General Engineering & Computer Science (AREA)
- Algebra (AREA)
- Databases & Information Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Medical Informatics (AREA)
- Nonlinear Science (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
- Compression Of Band Width Or Redundancy In Fax (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Error Detection And Correction (AREA)
Description
本発明にかかるさらなる実施形態は、本出願の従属請求項の主題によって定義される。
本発明にかかる実施形態は、ピクチャを符号化するための本明細書に記載の方法を使用して符号化されたピクチャを有するデータストリームに関する。
1 序論
本開示は、復号および/または符号化システムおよび/または方法の特徴を明示的または暗黙的に説明することにも留意されたい。
以下では、ブロックベースの予測を使用するときに、より効果的な圧縮を実現するのに役立つことができる様々な例について説明する。いくつかの例は、イントラ予測モードのセットを費やすことによって高い圧縮効率を達成する。後者は、例えばヒューリスティックに設計された他のイントラ予測モードに追加されることも、排他的に提供されることもできる。そして、他の例でさえも、ここで記載される専門分野の双方を利用する。しかしながら、これらの実施形態の振動として、イントラ予測は、代わりに別のピクチャ内の参照サンプルを使用することによってインター予測に変換されることができる。
ALWIPに関するいくつかの非限定的な例は、本明細書で説明される技術を具現化するためにALWIPが必ずしも必要ではない場合であっても、本明細書で説明される。
ハードウェアフレンドリな実装などの効率的な実装を可能にするブロックベースの予測概念が求められている。
この目的は、本出願の独立請求項の主題によって達成される。
以下にさらに説明される実施改善の主題を形成することができるイントラ予測モードは、コーデックの他のイントラ予測モードに対して相補的とすることができる。したがって、それらは、HEVCコーデックおよびJEM参照ソフトウェアで定義されたDC予測モード、平面予測モード、または角度予測モードを補完することができる。以降、後者の3種類のイントラ予測モードは、従来のイントラ予測モードと呼ぶものとする。したがって、イントラモードの所与のブロックについて、装置によってサポートされるイントラ予測モードのうちの1つが使用されるべきか否かを示すフラグが復号器によって解析される必要がある。
装置は、2つ以上のALWIPモードを含むことができる。したがって、装置によってサポートされるALWIPモードのうちの1つが使用されるべきであることを復号器が知っている場合、復号器は、装置によってサポートされるALWIPモードのうちのどれが使用されるべきかを示す追加情報を解析する必要がある。
図2は、データストリーム12からピクチャを復号するための復号器54を示している。復号器54は、ピクチャの所定のブロック18を復号するように構成されることができる。特に、予測器44は、線形またはアフィン線形変換[例えば、ALWIP]を使用して所定のブロック18に隣接するP個の隣接サンプルのセットを所定のブロックのサンプルのQ個の予測値のセットにマッピングするように構成されることができる。
例では、ALWIP行列17Mは、非対角または非ブロック対角であってもよい。
4つの既に予測された隣接サンプルから4×4ブロック18を予測するためのALWIP行列17Mの例は、以下であってもよい:
{
{ 37,59,77,28},
{ 32,92,85,25},
{ 31,69,100,24},
{ 33,36,106,29},
{ 24,49,104,48},
{ 24,21,94,59},
{ 29,0,80,72},
{ 35,2,66,84},
{ 32,13,35,99},
{ 39,11,34,103},
{ 45,21,34,106},
{ 51,24,40,105},
{ 50,28,43,101},
{ 56,32,49,101},
{ 61,31,53,102},
{ 61,32,54,100}
}。
5.1 方法または装置の説明
CE3-1.2.1において試験されたアフィン線形加重イントラ予測(ALWIP)モードは、以下の変更を除いて、試験CE3-2.2.2の下でJVET-L0199において提案されたものと同じとすることができる:
さらに、試験CE3-1.2.1は、ALWIPについての以下の符号化器最適化を含む:
・EMTイントラ高速およびPBイントラ高速は、結合モードリストのためにサポートされ、フルRDチェックの数を減らすための追加の最適化を有する。
・利用可能な左および上のブロックのMPMのみが、従来のモードの場合と同じ手法にしたがって、ALWIPのフルRD推定のためのリストに追加される。
離散コサイン変換を呼び出す計算を除いて、試験CE3-1.2.1では、予測信号を生成するためにサンプルあたり最大12回の乗算が必要であった。さらに、それぞれ16ビットの合計136492個のパラメータが必要であった。これは、0.273メガバイトのメモリに相当する。
試験の評価は、VTMソフトウェアバージョン3.0.1を用いたイントラ専用(AI)およびランダムアクセス(RA)構成について、共通の試験条件JVET-J1010[2]にしたがって実施された。対応するシミュレーションは、Linux(登録商標) OSおよびGCC 7.2.1コンパイラを備えたIntel Xeonクラスタ(E5-2697A v4、AVX2オン、ターボブーストオフ)上で実行された。
CE2で試験された技術は、JVET-L0199[1]に記載されている「アフィン線形イントラ予測」に関連しているが、以下のようにメモリ要件および計算複雑性の点でそれを単純化する:
CTUに記憶されるよりもメモリが少ない。
ここでは、ALWIP予測を用いていくつかの予測(例えば、図6に示すように)を実行する方法について説明する。
原則として、図6を参照すると、予測対象のM×Nブロック18のQ=M*N値を取得するために、Q×P ALWIP予測行列17MのQ*PサンプルとP×1 隣接ベクトル17PのPサンプルとの乗算が実行されるべきである。したがって、一般に、予測対象のM×Nブロック18のQ=M*N個の値のそれぞれを取得するためには、少なくともP=M+N個の値の乗算が必要である。
したがって、M×Nブロック18を予測するために必要な乗算数Q*Pを低減することが好ましい。
特に、図7.1~図7.4を参照すると、符号化器または復号器は、
および/または
である、サイズ
を有する縮小されたブロックである場合、乗算の回数をさらに減らすことさえ可能である(すなわち、ALWIPによって直接予測されるサンプルは、実際に予測されるブロック18のサンプルの数よりも少ない)。したがって、
を設定すると、これは、Q*Pred乗算の代わりにQred*Pred乗算(Qred*Pred<Q*Pred<Q*Pである)を使用することによってALWIP予測を取得する。この乗算は、寸法
を有する縮小ブロックを予測する。それにもかかわらず、縮小された
予測ブロックから最終的なM×N予測ブロックへのアップサンプリング(例えば、補間によって取得される)を実行する(例えば、後続のステップ813において)ことが可能である。
また、加算は、多くの計算労力なしに容易に実行されることができる非常に簡単な演算である。
最初に2つのサンプルの値を加算する、
次いで、和の値を半分にする(例えば、右シフトによって)。
あるいは、以下のことが可能である:
サンプルのそれぞれを最初に半分にする(例えば、左シフトによって)、
1つのサンプル量およびサンプルのグループ(例えば、互いに隣接するサンプル)を選択するだけでよいため、ダウンサンプリング(例えば、ステップ811において)の際にさらに容易な演算が実行されることができる。
したがって、ここで、実行されるべき乗算の数を低減するための技術を定義することが可能である。これらの技術のいくつかは、とりわけ、以下の原理のうちの少なくとも1つに基づいてもよい:
、Pred=Nred+Mredであり、
および/または
および/またはMred<Mおよび/またはNred<Nである)を有するALWIP行列が適用されることができる。したがって、境界ベクトル17Pは、サイズPred×1を有し、Pred<P乗算のみを意味する(Pred=Mred+NredおよびP=M+N)。
Pred×1境界ベクトル17Pは、例えば、
ダウンサンプリングによって(例えば、境界のいくつかのサンプルのみを選択することによって)、および/または
境界の複数のサンプルを平均することによって(これは、乗算なしで加算およびシフトによって容易に取得されることができる)、
元の境界17から容易に取得されることができる。
である
および/または
である)のみを予測することが可能である。予測対象のブロック18の残りのサンプルは、例えば、予測対象の残りのQ-Qred値の支持値としてQred個のサンプルを使用する補間によって取得される。
のようにも示される。以下を参照)。選択は、以下のスキームにしたがって実行されてもよい:各寸法(例えば、予測対象のブロック18の高さ/幅の対)について、ALWIP行列17Mは、例えば、3組の行列S0、S1、S2のうちの1つの中から選択される(3つのセットS0、S1、S2のそれぞれは、同じ寸法の複数のALWIP行列17Mをグループ化することができ、予測のために選択されるALWIP行列は、それらのうちの1つになる)。
によっても示される、以下を参照)の値は、特定の選択されたALWIP行列(Ak)に関連付けられてもよく、インデックス(例えば、データストリーム12でシグナリングされてもよい)に基づいてもよい。
したがって、本技術を使用することと本技術を使用しないこととの比較がここで再開される:
本技術を使用しない場合:
寸法M=4、N=4を有するブロックである予測対象のブロック18、
予測対象のQ=M*N=4*4=16個の値、
P=M+N=4+4=8個の境界サンプル
P=予測対象のQ=16個の値のそれぞれについての8回の乗算、
P*Q=8*16=128回の乗算の総数、
本技術を使用する場合、以下を有する:
寸法M=4、N=4を有するブロックである予測対象のブロック18、
最後の予測対象のQ=M*N=4*4=16個の値、
境界ベクトルの縮小寸法:Pred=Mred+Nred=2+2=4、
ALWIPによる予測対象のQ=16個の値のそれぞれについてPred=4回の乗算、
Pred*Q=4*16=64回の乗算の総数(128の半分!)
乗算回数と取得される最終値の数との比は、Pred*Q/Q=4であり、すなわち、予測対象の各サンプルについてP=8の乗算の半分である!
したがって、本技術を使用することと使用しないこととを比較すると、以下の通りである:
本技術を使用しない場合:
寸法M=8、N=8を有するブロックである予測対象のブロック18、および
予測対象のブロック18のQ=M*N=8*8=64個のサンプル、
境界17のP=M+N=8+8=16個のサンプル、
予測対象のQ=64個の値のそれぞれについてのP=16回の乗算、
P*Q=16*64=1028回の乗算の総数
乗算回数と取得される最終値の数との比は、P*Q/Q=16である
本技術を使用する場合:
寸法M=8、N=8を有する、予測対象のブロック18
最後の予測対象のQ=M*N=8*8=64個の値、
Pred<Pである、境界のPred=Mred+Nred=4+4=8個のサンプル
予測対象の4×4縮小ブロックのQred=16個の値のそれぞれについてPred=8回の乗算(スキーム106では灰色の正方形によって形成される)、
Pred*Qred=8*16=128回の乗算の総数(1024を大幅に下回る!)
したがって、本明細書に提示される技術は、前の技術よりも8倍電力要求が少ない。
したがって、本技術を使用することと使用しないこととを比較すると、以下の通りである:
本技術を使用しない場合:
寸法M=4、N=8を有するブロックである、予測対象のブロック18
予測対象のQ=M*N=4*8=32個の値、
境界のP=M+N=4+8=12個のサンプル、
予測対象のQ=32個の値のそれぞれについてのP=12回の乗算、
P*Q=12*32=384回の乗算の総数
乗算回数と取得される最終値の数との比は、P*Q/Q=12である
本技術を使用する場合:
寸法M=4、N=8を有するブロックである、予測対象のブロック18
最後の予測対象のQ=M*N=4*8=32個の値、
Pred<Pである、境界のPred=M+Nred=4+4=8個のサンプル
予測対象の縮小ブロックのQred=16個の値のそれぞれについてPred=8回の乗算、
Qred*Pred=16*8=128回の乗算の総数(384未満!)
したがって、本技術では、計算労力が1/3に低減される。
したがって、本技術を使用することと使用しないこととを比較すると、以下の通りである:
本技術を使用しない場合:
寸法M=16、N=16を有するブロックである、予測対象のブロック18
予測対象のQ=M*N=16*16=256個の値、
境界のP=M+N=16*16=32個のサンプル、
予測対象のQ=256個の値のそれぞれについてのP=32回の乗算、
P*Q=32*256=8192回の乗算の総数
乗算回数と取得される最終値の数との比は、P*Q/Q=32である
本技術を使用する場合:
寸法M=16、N=16を有するブロックである、予測対象のブロック18
最後の予測対象のQ=M*N=16*16=256個の値、
Pred<Pである、境界のPred=Mred+Nred=4+4=8個のサンプル
予測対象の縮小ブロックのQred=64個の値のそれぞれについてPred=8回の乗算、
Qred*Pred=64*4=256回の乗算の総数(8192未満!)
したがって、本技術によって必要とされる計算電力は、従来の技術よりも16倍小さい!
したがって、
ことによって、隣接する複数のサンプル(17)を使用してピクチャの所定のブロック(18)を予測することが可能である。
幅
(Nでも示される)および高さ
(Mでも示される)の矩形ブロックのサンプルを予測するために、アフィン線形加重イントラ予測(ALWIP)は、ブロックの左のH個の再構成された隣接する境界サンプルの1つのラインおよびブロックの上の
個の再構成された隣接する境界サンプルの1つのラインを入力として取得することができる。再構成されたサンプルが利用できない場合、それらは、従来のイントラ予測で行われるように生成されることができる。
予測信号(例えば、完全なブロック18の値)の生成は、以下の3つのステップのうちの少なくともいくつかに基づくことができる:
以下であるようなものとすることができる。さらに、境界に対する平均化演算および縮小予測信号の線形補間は、加算およびビットシフトのみを使用して実行される。換言すれば、例では、ALWIPモードにはサンプル当たり最大4回の乗算が必要である。
、
から取得されることができる。
は、図7.1にかかる技術を実行するために、それぞれが16行および4列と、それぞれがサイズ16の18個のオフセットベクトル
{0,...,n0-1}とを有することができる
(例えば、
=16または
=18または別の数)行列
{0,...,n0-1}を含む(例えば、以下からなる)ことができる。このセットの行列およびオフセットベクトルは、サイズ
のブロック18について使用される。境界ベクトルがPred=4ベクトルに縮小されると(図7.1のステップ811について)、縮小されたサンプルセット102のPred=4個のサンプルを、予測対象の4×4ブロック18のQ=16個のサンプルに直接マッピングすることが可能である。
は、図7.2または7.3にかかる技術を実行するために、それぞれが
行および8列と、それぞれがサイズ16の18個のオフセットベクトル
{0,...,n1-1}とを有することができるn1(例えば、
=8または
=18または別の数)行列
{0,...,n1-1}を含む(例えば、以下からなる)ことができる。このセットS1の行列およびオフセットベクトルは、サイズ
、4×16、4×32、4×64、16×4、32×4、64×4、8
および8
のブロックに使用されることができる。さらに、それはまた、
を有するサイズ
のブロック、すなわち、サイズが4×16または16×4、4×32または32×4および4×64または64×4のブロックにも使用されることができる。16×8行列は、図7.2および図7.3で取得されるように、4×4ブロックであるブロック18の縮小バージョンを指す。
は、n2(例えば、
=6または
=18または別の数)個の行列
{0,...,n2-1}を含む(例えば、からなる)ことができ、そのそれぞれは、64行および8列と、サイズ64の18個のオフセットベクトル
{0,...,n2-1}とを有することができる。64×8行列は、例えば図7.4において取得されるような8×8ブロックであるブロック18の縮小バージョンを指す。このセットの行列およびオフセットベクトルは、サイズ
のブロックに使用されることができる。
これらの行列およびオフセットベクトルのセットまたは一部の行列およびオフセットベクトルは、他の全てのブロック形状に使用されてもよい。
ここでは、ステップ811に関して特徴が提供される。
上記で説明したように、境界サンプル(17a、17c)は、平均化および/またはダウンサンプリング(例えば、P個のサンプルからPred<P個のサンプル)されることができる。
(例えば、17c)および
(例えば、17a)は、より小さい境界
および
に縮小され、縮小されたセット102に到達することができる。ここで、
および
は、双方とも4×4ブロックの場合は2サンプルからなり、他の場合は双方とも4サンプルからなる。
4×4ブロックの場合、
、
は、
および
の中から選択されてもよく、
は、
および
の中から選択されてもよい。同様に
を定義することも可能である。
および
は、縮小された境界ベクトル
(縮小されたセット102に関連付けられている)に連結されてもよく、これもまた17Pで示される。したがって、縮小された境界ベクトル
は、形状
のブロック(図7.1の例)についてはサイズ4(Pred=4)とすることができ、他の全ての形状のブロック(図7.2~7.4の例)についてはサイズ8(Pred=8)とすることができる。
ここで、
(または行列のセットにおける行列の数)である場合、
を定義することが可能である。
の転置モードに対応する
である場合、
を定義することが可能である。
のような式の代わりに、それぞれ行列S0、S1、S2の各セットの行列の数である
0、
1、
2とすることが可能である)。さらに、セットは、それぞれ異なる数の行列を有することができる(例えば、S0は16個の行列を有し、S1は8個の行列を有し、S2は6個の行列を有することができる)。
ここでは、ステップ812に関して特徴が提供される。
縮小された入力ベクトル
(境界ベクトル17P)のうちの1つは、縮小された予測信号
を生成することができる。後者の信号は、幅
および高さ
のダウンサンプリングされたブロック上の信号とすることができる。ここで、
および
は、以下のように定義されることができる:
、
である場合
そうでない場合。
は、他の全ての場合にW=H=4および8列である場合に
行および4列を有することができる行列(例えば、予測行列17M)であり、
はサイズ
からなることができるベクトルである。
の場合、Aは4列および16行を有することができ、したがって、その場合には
を計算するためにサンプルあたり4回の乗算が必要とされることができる。他の全ての場合において、Aは8列を有することができ、これらの場合において、
を有すること、すなわち、これらの場合においても、
を計算するためにサンプルあたり最大4回の乗算が必要であることを検証することができる。
は、以下のように、セット
、
の1つから取得されることができる。
、
である場合、全ての他の場合に
および
である場合、
を設定することによってインデックス
を定義する。さらに、
である場合、
とすることができ、その他の場合には
とすることができる。次に、
または
および
である場合、
および
とすることができる。
=2および
である場合、
を、
の各行を除外することによって生じ、W=4の場合、ダウンサンプリングされたブロック内の奇数x座標に対応し、またはH=4の場合、ダウンサンプリングされたブロック内の奇数y座標に対応する行列とする。
である場合、縮小された予測信号をその転置信号によって置き換える。代替例では、異なる戦略が実行されてもよい。例えば、より大きな行列のサイズを縮小する(「除外する」)代わりに、Wred=4およびHred=4であるS1のより小さな行列(idx=1)が使用される。すなわち、そのようなブロックは、ここではS2ではなくS1に割り当てられる。
のような式の代わりに、それぞれ行列S0、S1、S2の各セットの行列の数である
0、
1、
2とすることが可能である)。さらに、セットは、それぞれ異なる数の行列を有することができる(例えば、S0は16個の行列を有し、S1は8個の行列を有し、S2は6個の行列を有することができる)。
ここでは、ステップ812に関して特徴が提供される。
大きなブロックにおけるサブサンプリングされた予測信号の補間では、平均化された境界の第2のバージョンが必要とされることができる。すなわち、
および
である場合、W
を書き込み、
の場合には、
を定義する。
および
である場合、同様に
を定義する。
も同様に定義されることができる。
の生成において除外されたサンプル位置において、最終的な予測信号は、
からの線形補間によって生じることができる(例えば、図7.2~図7.4の例のステップ813)。いくつかの例では、
である場合、この線形補間は不要とすることができる(例えば、図7.1の例)。
であると仮定する。次に、
である場合、
の垂直アップサンプリングが実行されることができる。その場合、
は、以下のように上に1ライン分拡張されることができる。
である場合、
は幅
を有することができ、例えば上記で定義されたように、平均化された境界信号
によって上に拡張されることができる。
である場合、
は幅
からなり、例えば上記で定義されたように、平均化された境界信号
によって上に拡張される。
の第1のラインについて
を書き込むことができる。次に、幅
および高さ
のブロック上の信号
は、以下のように与えられることができる。
[x][2*y+1]=
[x][y]、
[x][2*y]=
[x][y-1]+
[x][y]+1)>>1、
ここで、
および
である。後者のプロセスは、2k
Hred=Hになるまでk回実行されることができる。したがって、H
またはH
である場合、最大で1回実行されることができる。H
である場合、2回実行されることができる。H
である場合、3回実行されることができる。次に、垂直アップサンプリングの結果に水平アップサンプリング動作が適用されることができる。後者のアップサンプリング動作は、予測信号の全境界左を使用することができる。最後に、
である場合、最初に水平方向に(必要に応じて)アップサンプリングし、次に垂直方向にアップサンプリングすることによって同様に進めることができる。
しかしながら、異なる技術が実装されてもよく、例えば、元の境界サンプルが第1および第2の補間の双方に使用されてもよく、順序は固定されてもよく、例えば、最初に水平、次に垂直(他の場合には、最初に垂直、次に水平)であってもよい。
したがって、補間順序(水平/垂直)および縮小/元の境界サンプルの使用が変更されることができる。
平均化、行列ベクトル乗算、および線形補間の全プロセスは、図7.1~図7.4の異なる形状について示されている。残りの形状は、図示された事例の1つのように扱われることに留意されたい。
ブロックが与えられると、ALWIPは、図7.1の技術を使用して境界の各軸に沿って2つの平均をとることができる。得られた4つの入力サンプルは、行列ベクトル乗算に入力される。行列は、セット
から取得される。オフセットを加えた後、これは、16個の最終予測サンプルをもたらすことができる。予測信号の生成には、線形補間は不要である。したがって、サンプルあたり(
回の乗算の総数が実行される。例えば、図7.1を参照されたい。
ブロックが与えられると、ALWIPは、境界の各軸に沿って4つの平均をとることができる。結果として取得される8つの入力サンプルは、図7.2の技術を使用して、行列ベクトル乗算に入力される。行列は、セット
から取得される。これは、予測ブロックの奇数位置に16個のサンプルをもたらす。したがって、サンプルあたり(
回の乗算の総数が実行される。オフセットを追加した後、これらのサンプルは、例えば、上境界を使用して垂直に、および例えば、左境界を使用して水平に補間されることができる。例えば、図7.2を参照されたい。
ブロックが与えられると、ALWIPは、図7.3の技術を使用することによって、境界の横軸に沿った4つの平均および左境界上の4つの元の境界値をとることができる。得られた8つの入力サンプルは、行列ベクトル乗算に入力される。行列は、セット
から取得される。これは、予測ブロックの奇数水平位置および各垂直位置に16個のサンプルをもたらす。したがって、サンプルあたり(
回の乗算の総数が実行される。オフセットを追加した後、これらのサンプルは、例えば左境界を使用して水平方向に補間される。例えば、図7.3を参照されたい。
転置された事例はそれに応じて処理される。
ブロックが与えられると、ALWIPは、境界の各軸に沿って4つの平均をとることができる。結果として取得される8つの入力サンプルは、図7.2の技術を使用して行列ベクトル乗算に入力される。行列は、セット
から取得される。これは、予測ブロックの奇数位置に64個のサンプルをもたらす。したがって、サンプルあたり(
回の乗算の総数が実行される。オフセットを追加した後、これらのサンプルは、例えば、上境界を使用して垂直方向に補間され、左境界を使用して水平方向に補間される。例えば、図7.2を参照されたい。例えば、図7.4を参照されたい。
より大きな形状の場合、手順は本質的に同じとすることができ、サンプルあたりの乗算数が2未満であることを確認することは容易である。
W×8ブロックの場合、奇数水平および各垂直位置にサンプルが与えられるため、水平補間のみが必要である。したがって、これらの場合、サンプルあたりせいぜい(
回の乗算が実行される。
を、ダウンサンプリングされたブロックの水平軸に沿った奇数エントリに対応する各行を除外することによって生じる行列とする。したがって、出力サイズは、32とすることができ、ここでも水平補間のみが実行されたままである。サンプルあたりせいぜい(
回の乗算が実行されることができる。
転置された事例は、それに応じて処理されることができる。
全ての可能な提案されたイントラ予測モードに必要なパラメータは、セット
、
に属する行列およびオフセットベクトルによって構成されることができる。全ての行列係数およびオフセットベクトルは、10ビット値として記憶されることができる。したがって、上記の説明によれば、それぞれが10ビット精度の合計14400個のパラメータが、提案された方法に必要とされることができる。これは、0.018メガバイトのメモリに対応する。現在、標準4:2:0のクロマサブサンプリングにおけるサイズ
のCTUは、それぞれ10ビットの24576個の値からなることが指摘される。したがって、提案されたイントラ予測ツールのメモリ要件は、最後の会議で採用された現在のピクチャ参照ツールのメモリ要件を超えない。また、従来のイントラ予測モードは、部分角度位置を有する角度予測モードのためのPDPCツールまたは4タップ補間フィルタに起因して、サンプルあたり4回の乗算を必要とすることが指摘される。したがって、演算の複雑さに関して、提案された方法は、従来のイントラ予測モードを超えない。
ルマブロックについては、例えば35個のALWIPモードが提案されている(他の数のモードが使用されてもよい)。イントラモードの各符号化ユニット(CU)について、ALWIPモードが、対応する予測ユニット(PU)に適用されるべきであるか否かを示すフラグが、ビットストリームで送信される。後者のインデックスの信号伝達は、最初のCE試験と同じ方法でMRLと調和させることができる。ALWIPモードが適用されることになる場合、ALWIPモードのインデックス
は、3 MPMSを有するMPMリストを使用してシグナリングされることができる。
にALWIPモード
を割り当てることができるテーブル、例えば3つの固定テーブル
、
が存在することができる
幅
および高さ
の各PUについて、3つのセットのうちのどれからALWIPパラメータが上記のセクション4のように解釈されるべきかを示す
を定義およびインデックス付けする。上記の予測ユニット
が利用可能であり、現在のPUと同じCTUに属し、イントラモードにある場合、
である場合、およびALWIPがALWIPモード
によって
に適用される場合、
とする
上記のPUが利用可能であり、現在のPUと同じCTUに属し、イントラモードにある場合、および従来のイントラ予測モード
が上記のPUに適用される場合、
とする
他の全ての場合において、
とし、
これは、このモードが利用できないことを意味する。同じように、ただし、左PUが現在のPUと同じCTUに属する必要があるという制限なしに、モード
を導出する
最後に、3つの固定デフォルトリスト
、
が提供され、そのそれぞれは3つの異なるALWIPモードを含む。デフォルトリスト
およびモード
および
のうち、デフォルト値で-1を置換するとともに繰り返しを排除することによって、3つの異なるMPMを構築する。
提案されたALWIPモードは、以下のように従来のイントラ予測モードのMPMベースの符号化と調和されることができる。従来のイントラ予測モードのルマおよびクロマMPMリスト導出プロセスは、固定テーブル
、
を使用し、所与のPU上のALWIPモード
を従来のイントラ予測モード
のうちの1つにマッピングすることができる。
を使用する隣接ルマブロックに遭遇するときはいつでも、このブロックは、従来のイントラ予測モード
を使用しているかのように扱われることができる。クロマMPMリスト導出のために、現在のルマブロックがLWIPモードを使用するときはいつでも、同じマッピングを使用してALWIPモードを従来のイントラ予測モードに変換することができる。
ALWIPモードは、MPMおよび/またはマッピングテーブルを使用することなく、従来のイントラ予測モードと調和させることができることは明らかである。例えば、クロマブロックについて、現在のルマブロックがALWIPモードを使用するときはいつでも、ALWIPモードが平面イントラ予測モードにマッピングされることが可能である。
以下に説明する実施形態をさらに拡張するための基礎を形成することができるため、上記の例を簡単に要約する。
ピクチャ10の所定のブロック18を予測するために、複数の隣接サンプル17a、cを使用することが使用される。
ピクチャは、異なるブロックサイズの複数のブロックに細分割されることができ、これら複数のブロックは、所定のブロックを含む。次に、ブロック18の線形またはアフィン線形変換は、所定のブロックの幅Wおよび高さHに応じて選択され、その結果、所定のブロックの幅Wおよび高さHが幅/高さ対の第1のセット内にある限り、所定のブロックに対して選択された線形またはアフィン線形変換は、線形またはアフィン線形変換の第1のセットから選択され、所定のブロックの幅Wおよび高さHが幅/高さ対の第1のセットとは異なる幅/高さ対の第2のセット内にある限り、線形またはアフィン線形変換の第2のセットが選択される。同様に、後に、アフィン/線形変換が他のパラメータ、すなわちCの重み、ならびに任意選択的にオフセットおよびスケールパラメータによって表されることが明らかになる。
所定のブロックの幅Wおよび高さHが幅/高さの対の第1のセット内にある限り、線形またはアフィン線形変換の第1のセット、
所定のブロックの幅Wおよび高さHが、幅/高さ対の第1のセットとは異なる幅/高さ対の第2のセット内にある限り、線形またはアフィン線形変換の第2のセット、および
所定のブロックの幅Wおよび高さHが、幅/高さ対の第1および第2のセットとは異なる1つ以上の幅/高さ対の第3のセット内にある限り、線形またはアフィン線形変換の第3のセット、から選択される。
第1および第2のセットの幅/高さ対のそれぞれは、WpがHpに等しくない第1の幅/高さ対Wp、Hpと、Hq=WpおよびWq=Hpである第2の幅/高さ対Wq、Hqとを含むことができる。
所定のブロックについて、線形またはアフィン線形変換の所定のセットのうちのどの線形またはアフィン線形変換がブロック18に対して選択されるべきかを示すセットインデックスがデータストリーム内で送信されることができる。
が行列ベクトル積の入力を示す場合、すなわち、
がその後に
からブロックの左および上の(平均化された)境界サンプルの連結を示す場合、ステップ2において計算された(縮小された)予測信号は、ビットシフト、オフセットベクトルの加算、および整数との乗算のみを使用して計算されるべきである。理想的には、ステップ2の予測信号は、
のように与えられ、ここで、
は0とすることができるオフセットベクトルであり、
はいくつかの機械学習ベースの訓練アルゴリズムによって導出される。しかしながら、そのような訓練アルゴリズムは、通常、浮動小数点精度で与えられる行列
のみをもたらす。したがって、式
がこれらの整数演算を使用して十分に近似されるように、前述の意味で整数演算を指定するという問題に直面する。ここで、これらの整数演算は、ベクトル
の均一な分布を仮定して式
を近似するように必ずしも選択されるのではなく、典型的には、式
が近似される入力ベクトル
が自然映像信号からの(平均化された)境界サンプルであり、
の成分
間のいくつかの相関を予測することができることを考慮することに言及することが重要である。
実施形態によれば、装置1000は、浮動小数点演算なしで行列ベクトル積404を計算するように構成される。
実施形態によれば、装置1000は、予測ベクトル406に基づいて所定のブロック18のサンプルを予測する際に、予測ベクトル406に基づいて所定のブロック18の少なくとも1つのサンプル位置を計算するために補間を使用するように構成され、その各成分は、所定のブロック18内の対応する位置に関連付けられる。補間は、図7.1~図7.4に示す実施形態のうちのいずれかに関して説明したように実行されることができる。
実施形態Iにかかる可能な解決策:平均値の減算および加算
上記のシナリオで使用可能な式
の整数近似の1つの可能な組み込みは、サンプル値ベクトル400の第
の成分
、すなわち
の所定の成分1500を、
の成分の平均値
、すなわち所定値1400で置き換え、他の全ての成分からこの平均値を減算することである。換言すれば、可逆線形変換403は、図10aに示すように、さらなるベクトル402の所定の成分1500がaになり、所定の成分1500を除くさらなるベクトル402の他の成分のそれぞれが、サンプル値ベクトルの対応する成分マイナスaに等しくなるように定義され、aは、例えば、サンプル値ベクトル400の成分の算術平均または加重平均などの平均である所定値1400である。入力に対するこの演算は、特に
の寸法
が2の累乗である場合に明らかな整数実装を有する可逆変換
403によって与えられる。
であるため、入力
に対してそのような変換を行う場合、行列ベクトル積
の整数近似を見つける必要があり、ここで
および
である。行列ベクトル積
は、矩形ブロック、すなわち所定のブロック上の予測を表し、
は、そのブロックの(例えば、平均化された)境界サンプルによって構成されるため、
の全てのサンプル値が等しい場合、すなわち、全ての
について、
である場合、予測信号
内の各サンプル値は、
に近いか、または
に正確に等しくなければならないことを予測すべきである。これは、
の、すなわちさらなる行列1200の第
の列、すなわち所定の成分に対応する列が、1のみからなる列に非常に近いかまたは等しいことを予測すべきであることを意味する。したがって、
)である場合、すなわち整数行列1300が、その第
の列が1からなり、その他の列の全てが0である行列である場合、
である
)yと書き込むと、図10bに示すように、
の、すなわち所定の予測行列405の第
の列は、かなり小さいエントリを有するか、または0であると予測すべきである。さらに、
の成分は相関があるため、各
について、
の第iの成分
はxの第iの成分よりも絶対値がはるかに小さいことが多いことを予測することができる。行列
は整数行列であるため、
の整数近似が与えられる場合、
の整数近似が達成され、上記の引数により、
の各エントリを適切な方法で量子化することによって生じる量子化誤差は、
の
のそれぞれの結果として生じる量子化の誤差に僅かに影響を与えるだけであることを予測することができる。
である必要はない。式
の本明細書に記載された整数近似はまた、所定値1400の以下の代替的な定義を用いて達成されることができる:
式
の整数近似の別の可能な組み込みでは、
の第
の成分
は変更されないままであり、同じ値
が他の全ての成分から減算される。すなわち、各
について
および
である。換言すれば、所定値1400は、所定の成分1500に対応するサンプル値ベクトル400の成分とすることができる。
所定値1400は、例えば、2bitdepth-1に等しい。この場合、さらなるベクトル402は、i>0の場合、y0=2bitdepth-1およびyi=xi-x0によって定義されることができる。
1500は、2bitdepth-1マイナス所定の成分1500に対応するサンプル値ベクトル400の成分
に等しく、さらなるベクトル402の他の全ての成分は、サンプル値ベクトル400の対応する成分マイナス所定の成分1500に対応するサンプル値ベクトル400の成分に等しい。
例えば、所定値1400は、所定のブロックのサンプルの予測値との偏差が小さいと有利である。
換言すれば、さらなるベクトル402の所定の成分1500に対応する所定の予測行列405の列412、すなわち第i0の列内の所定の予測行列C 405の各行列成分を、可逆線形変換403の1(すなわち、行列B)倍と合計して得られる行列、すなわちさらなる行列B 1200は、例えば、図9、図10aおよび図10bに示すように、機械学習予測行列A 1100の量子化バージョンに対応する。第i0の列412内の所定の予測行列C 405の各行列成分を1と合計することは、図10bに示すように、所定の予測行列405と整数行列1300との合計に対応することができる。図9に示すように、機械学習予測行列A 1100は、さらなる行列1200の可逆線形変換403の倍の結果に等しくすることができる。これは、
に起因する。所定の予測行列405は、例えば、量子化行列、整数行列および/または固定小数点行列であり、これにより、機械学習予測行列A 1100の量子化バージョンが実現されることができる。
低複雑度実装(スカラ値を加算および乗算する複雑さの観点、ならびにパーテイキング行列のエントリに必要な記憶装置の観点から)では、整数演算のみを使用して行列乗算404を実行することが望ましい。
、すなわち、
の近似を計算するために、実施形態によれば、整数のみに対する演算を使用して、実数値
は、整数値
にマッピングされなければならない。これは、例えば、一様スカラ量子化によって、または値
間の特定の相関を考慮することによって行うことができる。整数値は、例えば、それぞれが固定数のビットn_bit、例えばn_bits=8で記憶されることができる固定小数点数を表す。
最終_オフセット=1<<(右_シフト_結果-1);
0...m-1におけるiについて
{
アキュムレータ=0
0...n-1におけるjについて
{
アキュムレータ:=アキュムレータ+y[j]*C[i,j]
}
z[i]=(アキュムレータ+最終_オフセット)>>右_シフト_結果;
}
Cの整数によって表現可能な実数値の範囲の増加を可能にするために、図11および図12の実施形態に示すように、2つの追加の行列
および
が使用されることができ、その結果、行列ベクトル積
の
の各係数
は、
によって与えられる。
値
および
は、それ自体が整数値である。例えば、これらの整数は、固定数のビット、例えば8ビット、または例えば値
を記憶するために使用されるのと同じ数のビットn_bitでそれぞれ記憶することができる固定小数点数を表すことができる。
ならびに値
および
を使用して所定の予測行列405を表し、さらなるベクトル402の成分および予測パラメータおよびそれから生じる中間結果に対して乗算および加算を実行することによって行列ベクトル積404を計算するように構成され、予測パラメータの絶対値は、nビットの固定小数点数表現によって表すことができ、nは14以下、あるいは10以下、あるいは8以下である。例えば、さらなるベクトル402の成分は、予測パラメータと乗算されて、中間結果として積を生成し、これは、加算の影響を受けるか、または加算の加数を形成する。
をスケーリングするための所定の予測行列405の1つ以上の対応する行列成分に関連付けられる。追加的または代替的に、予測パラメータは、1つ以上のオフセット、例えば値offseti,jを含み、そのそれぞれは、所定の予測行列405の1つ以上の対応する行列成分に関連付けられた重み、例えば整数値
をオフセットするための所定の予測行列405の1つ以上の対応する行列成分に関連付けられる。
および
に必要な記憶量を低減するために、それらの値は、インデックスi,jの特定のセットに対して一定であるように選択されることができる。例えば、図11に示すように、それらのエントリは列ごとに一定であってもよく、行ごとに一定であってもよく、全てのi,jについて一定であってもよい。
および
は、図12に示すように、ある予測モードの行列の全ての値に対して一定である。したがって、k=0..K-1のK個の予測モードがある場合、モードkの予測を計算するために単一の値
および単一の値
のみが必要である。
および/または
は、全ての行列ベースのイントラ予測モードについて一定、すなわち同一である。追加的または代替的に、
および/または
は、全てのブロックサイズについて一定、すなわち同一であることが可能である。
およびスケール表現
を用いて、(1)における計算は、以下のように修正されることができる:
(2)
最終_オフセット=0;
0...n-1におけるiについて
{
最終_オフセット:=最終_オフセット-y[i];
}
最終_オフセット*=最終_オフセット*オフセット*スケール;
最終_オフセット+=1<<(右_シフト_結果-1);
0...m-1におけるiについて
{
アキュムレータ=0
0...n-1におけるjについて
{
アキュムレータ:=アキュムレータ+y[j]*C[i,j]
}
z[i]=(アキュムレータ*スケール+最終_オフセット)>>右_シフト_結果;
}
上記の解決策は、以下の実施形態を意味する:
1.セクションIに記載されているような予測方法であって、セクションIのステップ2において、関与する行列ベクトル積の整数近似に対して以下が行われる:
である、固定
について、(平均化された)境界サンプル
から、ベクトル
が計算され、
の場合、
であり、
であり、
は、
の平均値を示す。そして、ベクトル
は、セクションIのステップ2からの(ダウンサンプリングされた)予測信号
が
のように与えられるように行列ベクトル積
(の整数実現)の入力として機能する。この式において、
は、(ダウンサンプリングされた)予測信号の領域内の各サンプル位置について
に等しい信号を示す。(例えば、図10bを参照されたい)
である、固定
について、(平均化された)境界サンプル
から、ベクトル
が計算され、
の場合、
であり、
の場合、
であり、
は、
の平均値を示す。そして、ベクトル
は、セクションIのステップ2からの(ダウンサンプリングされた)予測信号
が
のように与えられるように行列ベクトル積
(の整数実現)の入力として機能する。この式において、
は、(ダウンサンプリングされた)予測信号の領域内の各サンプル位置について
に等しい信号を示す。(例えば、図10cを参照されたい)
を使用し、行列ベクトル積
の整数実現は、行列ベクトル積
内の係数
を使用することによって与えられる。(例えば、図12を参照されたい)
の省略によるベクトル402から生じるベクトル402の縮小バージョンによって、すなわち、この縮小ベクトル410に、第i0の列412を除外することによってCから生じる縮小行列C’を乗算することによって行われることができる。
装置は、複数の参照サンプル17からサンプル値ベクトルpTemp[x]400を形成するように構成される。pTemp[x]が2*boundarySizeであると仮定すると、pTemp[x]は、例えば、直接コピーによって、またはサブサンプリングもしくはプールによって、所定のブロックの先頭に位置する隣接サンプル、x=0..boundarySize-1を有するredT[x]、続いて所定のブロックの左に位置する隣接サンプル、x=0..boundarySize-1を有するredL[x](例えば、転置=0の場合)によって、または転置処理(例えば、転置=1の場合)の場合にはその逆によってポピュレートされることができる。
-mipSizeIdが2に等しい場合、以下が適用される:
p[x]=pTemp[x+1]-pTemp[0]
-そうでない場合(mipSizeIdが2未満)、以下が適用される:
p[0]=(1<<(BitDepth-1))-pTemp[0]
p[x]=pTemp[x]-pTemp[0] x=1..inSize-1の場合
1.x=0..predSize-1、y=0..predSize-1である行列ベースのイントラ予測サンプルpredMip[x][y]は、以下のように導出される:
-変数modeIdは、predModeIntraと等しく設定される。
-x=0..inSize-1、y=0..predSize*predSize-1の重み行列mWeight[x][y]は、mipSizeIdとmodeIdを入力としてMIP重み行列導出プロセスを呼び出すことによって導出される。
-x=0..predSize-1、y=0..predSize-1である行列ベースのイントラ予測サンプルpredMip[x][y]は、以下のように導出される:
oW=32-32*(
)
predMip[x][y]=(((
)+
oW)>>6)+pTemp[0]
)+oW)>>6)のみが予測ベクトルとして理解され、装置は、予測ベクトルに基づいて所定のブロックのサンプルを予測する際に、予測ベクトルの各成分について、それぞれの成分とaとの和、例えば、pTemp[0]を計算するように構成される。
predMip[x][y]=Clip1(predMip[x][y])
predTemp[y][x]=predMip[x][y]
predMip=predTemp
-変換ブロック幅を指定するnTbWがpredSizeよりも大きいか、変換ブロック高さを指定するnTbHがpredSizeよりも大きい場合、MIP予測アップサンプリングプロセスは、入力ブロックサイズpredSize、x=0..predSize-1、y=0..predSize-1を有する行列ベースのイントラ予測サンプルpredMip[x][y]、変換ブロック幅nTbW、変換ブロック高さnTbH、x=0..nTbW-1を有する上位参照サンプルrefT[x]、およびy=0..nTbH-1を有する左参照サンプルrefL[y]を入力として呼び出され、出力は予測サンプルアレイpredSamplesである。
-そうでない場合、x=0..nTbW-1、y=0..nTbH-1であるpredSamples[x][y]は、predMip[x][y]と等しく設定される。
換言すれば、装置は、予測ベクトルpredMipに基づいて所定のブロックのサンプルpredSamplesを予測するように構成される。
[1]P.Helleら、「Non-linear weighted intra prediction」、JVET-L0199,、マカオ、中国、2018年10月。
[2]F.Bossen、J.Boyce、K.Suehring、X.Li,V.Seregin、「JVET common test conditions and software reference configurations for SDR video」、JVET-K1010、リュブリャナ、スロベニア、2018年7月。
一般に、例は、プログラム命令を備えたコンピュータプログラム製品として実装されることができ、プログラム命令は、コンピュータプログラム製品がコンピュータ上で実行されると、方法の1つを実行するために機能する。プログラム命令は、例えば、機械可読媒体に記憶されてもよい。
他の例は、機械可読キャリアに記憶された、本明細書に記載の方法の1つを実行するためのコンピュータプログラムを備える。
したがって、方法のさらなる例は、本明細書に記載の方法の1つを実行するためのコンピュータプログラムを表すデータストリームまたは信号のシーケンスである。データストリームまたは信号のシーケンスは、例えば、インターネットなどのデータ通信接続を介して転送されることができる。
さらなる例は、本明細書に記載の方法のうちの1つを実行するためのコンピュータプログラムをその上にインストールしたコンピュータを備える。
等しいまたは同等の要素または等しいまたは同等の機能を有する要素は、異なる図で発生する場合であっても、等しいまたは同等の参照符号によって以下の説明で示されている。
Claims (23)
- 複数の参照サンプル(17a、c)を使用してピクチャ(10)の所定のブロック(18)を予測するための装置(1000)であって、
前記複数の参照サンプル(17a、c)からサンプル値ベクトル(102,400)を形成し(100)、
前記サンプル値ベクトル(102、400)から、前記サンプル値ベクトル(102、400)が所定の可逆線形変換(403)によってマッピングされるさらなるベクトル(402)を導出し、
予測ベクトル(406)を取得するために、前記さらなるベクトル(402)と所定の予測行列(405)との間の行列ベクトル積(404)を計算し、
前記予測ベクトル(406)に基づいて前記所定のブロック(18)のサンプルを予測する、ように構成されている、装置(1000)。 - 前記所定の可逆線形変換(403)が、
前記さらなるベクトル(402)の所定の成分(1500)がaまたは定数マイナスaとなり、
前記所定の成分(1500)を除く前記さらなるベクトル(402)の他の成分のそれぞれが、前記サンプル値ベクトル(102,400)の対応する成分マイナスaに等しく、
式中、aが所定値(1400)である、ように定義される、請求項1に記載の装置(1000)。 - 前記所定値(1400)が、
前記サンプル値ベクトル(102、400)の成分の算術平均または加重平均などの平均、
デフォルト値、
前記ピクチャ(10)が符号化されるデータストリームでシグナリングされる値、および
前記所定の成分(1500)に対応する前記サンプル値ベクトル(102、400)の成分、のうちの1つである、請求項2に記載の装置(1000)。 - 前記所定の可逆線形変換(403)が、
前記さらなるベクトル(402)の所定の成分(1500)がaまたは定数マイナスaとなり、
前記所定の成分(1500)を除く前記さらなるベクトル(402)の他の成分のそれぞれが、前記サンプル値ベクトル(102,400)の対応する成分マイナスaに等しく、
式中、aが前記サンプル値ベクトル(102、400)の成分の算術平均である、ように定義される、請求項1に記載の装置(1000)。 - 前記所定の可逆線形変換(403)が、
前記さらなるベクトル(402)の所定の成分(1500)がaまたは定数マイナスaとなり、
前記所定の成分(1500)を除く前記さらなるベクトル(402)の他の成分のそれぞれが、前記サンプル値ベクトル(102、400)の対応する成分マイナスaに等しく、
aが前記所定の成分(1500)に対応する前記サンプル値ベクトル(102、400)の成分である、ように定義され、
前記装置(1000)が、
それぞれが前記さらなるベクトル(402)の一方の成分に関連付けられた複数の可逆線形変換を含み、
前記サンプル値ベクトル(102、400)の成分から前記所定の成分(1500)を選択し、
前記所定の可逆線形変換(403)として前記所定の成分(1500)に関連付けられた前記複数の可逆線形変換のうちの前記可逆線形変換を使用する、ように構成されている、請求項1に記載の装置(1000)。 - 前記さらなるベクトル(402)の前記所定の成分(1500)に対応する前記所定の予測行列(405)の列内の前記所定の予測行列(405)の行列成分が全て0であり、前記装置(1000)が、
前記列(412)を除外することによって前記所定の予測行列(405)から結果として生じる縮小予測行列(405)と、前記所定の成分(1500)を除外することによって前記さらなるベクトル(402)から結果として生じるなおさらなるベクトル(410)との間の行列ベクトル積(407)を計算することによって乗算を実行することによって前記行列ベクトル積(404)を計算するように構成されている、請求項2から5のいずれか一項に記載の装置(1000)。 - 前記予測ベクトル(406)に基づいて前記所定のブロック(18)の前記サンプルを予測する際に、
前記予測ベクトル(406)の各成分について、前記それぞれの成分とaとの和を計算するように構成されている、請求項2から6のいずれか一項に記載の装置(1000)。 - 前記さらなるベクトル(402)の前記所定の成分(1500)に対応する前記所定の予測行列(405)の列内の前記所定の予測行列(405)の各行列成分を、前記所定の可逆線形変換(403)の1倍と合計した行列が、機械学習予測行列(1100)の量子化バージョンに対応する、請求項2から7のいずれか一項に記載の装置(1000)。
- 前記サンプル値ベクトル(102、400)の各成分について、前記複数の参照サンプル(17a、c)から前記サンプル値ベクトル(102、400)を形成し(100)、
前記複数の参照サンプル(17a、c)のうちの一方の参照サンプルを前記サンプル値ベクトル(102、400)の前記それぞれの成分として採用し、および/または
前記サンプル値ベクトル(102、400)の2つ以上の成分を平均化して、前記サンプル値ベクトル(102、400)の前記それぞれの成分を取得する、
ように構成されている、請求項1から8のいずれか一項に記載の装置(1000)。 - 前記複数の参照サンプル(17a、c)が、前記所定のブロック(18)の外縁に沿って前記ピクチャ(10)内に配置される、請求項1から9のいずれか一項に記載の装置(1000)。
- 固定小数点演算を使用して前記行列ベクトル積(404)を計算するように構成されている、請求項1から10のいずれか一項に記載の装置(1000)。
- 浮動小数点演算を使用せずに前記行列ベクトル積(404)を計算するように構成されている、請求項1から11のいずれか一項に記載の装置(1000)。
- 前記所定の予測行列(405)の固定小数点数表現を記憶するように構成されている、請求項1から12のいずれか一項に記載の装置(1000)。
- 予測パラメータを使用して前記所定の予測行列(405)を表し、前記さらなるベクトル(402)の前記成分、ならびに前記予測パラメータおよびそれから生じる中間結果に対して乗算および加算を実行することによって前記行列ベクトル積(404)を計算するように構成され、前記予測パラメータの絶対値が、nビットの固定小数点数表現によって表されることができ、nが14以下、あるいは10以下、あるいは8以下である、請求項1から13のいずれか一項に記載の装置(1000)。
- 前記予測パラメータが、
それぞれが前記所定の予測行列(405)の対応する行列成分に関連付けられた重みを含む、請求項14に記載の装置(1000)。 - 前記予測パラメータが、
それぞれが前記所定の予測行列(405)の1つ以上の対応する行列成分に関連付けられた前記重みをスケーリングするために前記所定の予測行列(405)の前記1つ以上の対応する行列成分に関連付けられた1つ以上のスケーリング係数、および/または
それぞれが前記所定の予測行列(405)の1つ以上の対応する行列成分に関連付けられた前記重みをオフセットするために前記所定の予測行列(405)の前記1つ以上の対応する行列成分に関連付けられた1つ以上のオフセット、をさらに含む、請求項15に記載の装置(1000)。 - 前記予測ベクトル(406)に基づいて前記所定のブロック(18)の前記サンプルを予測する際に、
各成分が前記所定のブロック(18)内の対応する位置に関連付けられている前記予測ベクトル(406)に基づいて前記所定のブロック(18)の少なくとも1つのサンプル位置を計算するために補間を使用するように構成されている、請求項1から16のいずれか一項に記載の装置(1000)。 - ピクチャを符号化するための装置であって、
予測信号を取得するために、請求項1から17のいずれか一項に記載の複数の参照サンプル(17a、c)を使用して前記ピクチャの所定のブロック(18)を予測するための装置と、
前記予測信号を補正するために、前記所定のブロックの予測残差を符号化するように構成されたエントロピー符号化器と、を備える、装置。 - ピクチャを復号するための装置であって、
予測信号を取得するために、請求項1から17のいずれか一項に記載の複数の参照サンプル(17a、c)を使用して前記ピクチャの所定のブロック(18)を予測するための装置と、
前記所定のブロックに対する予測残差を復号するように構成されたエントロピー復号器と、
前記予測残差を使用して前記予測信号を補正する予測補正器と、を備える、装置。 - 複数の参照サンプル(17a、c)を使用してピクチャの所定のブロック(18)を予測するための方法(2000)であって、
前記複数の参照サンプルからサンプル値ベクトル(102,400)を形成すること(2100、100)と、
前記サンプル値ベクトル(102、400)から、前記サンプル値ベクトルが所定の可逆線形変換(403)によってマッピングされるさらなるベクトル(402)を導出すること(2200)と、
予測ベクトル(406)を取得するために、前記さらなるベクトル(402)と所定の予測行列(405)との間の行列ベクトル積(404)を計算すること(2300)と、
前記予測ベクトル(406)に基づいて前記所定のブロックのサンプルを予測すること(2400)と、を含む、方法(2000)。 - ピクチャを符号化するための方法であって、
予測信号を取得するために、請求項20に記載の方法(2000)にしたがって複数の参照サンプル(17a、c)を使用して前記ピクチャの所定のブロック(18)を予測することと、
前記予測信号を補正するために、前記所定のブロックの予測残差をエントロピー符号化することと、を含む、方法。 - ピクチャを復号するための方法であって、
予測信号を取得するために、請求項20に記載の方法(2000)に対して複数の参照サンプル(17a、c)を使用して前記ピクチャの所定のブロック(18)を予測することと、
前記所定のブロックに対する予測残差をエントロピー復号することと、
前記予測残差を使用して前記予測信号を補正することと、を含む、方法。 - コンピュータ上で実行されると、請求項20から22のいずれか一項に記載の方法を実行するためのプログラムコードを有するコンピュータプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2023125709A JP2023145655A (ja) | 2019-05-10 | 2023-08-01 | ブロックベース予測 |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP19173830 | 2019-05-10 | ||
EP19173830.1 | 2019-05-10 | ||
PCT/EP2020/063018 WO2020229394A1 (en) | 2019-05-10 | 2020-05-11 | Matrix-based intra prediction |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2023125709A Division JP2023145655A (ja) | 2019-05-10 | 2023-08-01 | ブロックベース予測 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2022531902A JP2022531902A (ja) | 2022-07-12 |
JP7325540B2 true JP7325540B2 (ja) | 2023-08-14 |
Family
ID=66483932
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021566185A Active JP7325540B2 (ja) | 2019-05-10 | 2020-05-11 | ブロックベース予測 |
JP2023125709A Pending JP2023145655A (ja) | 2019-05-10 | 2023-08-01 | ブロックベース予測 |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2023125709A Pending JP2023145655A (ja) | 2019-05-10 | 2023-08-01 | ブロックベース予測 |
Country Status (9)
Country | Link |
---|---|
US (1) | US20220058239A1 (ja) |
EP (1) | EP3967037A1 (ja) |
JP (2) | JP7325540B2 (ja) |
KR (1) | KR20220013941A (ja) |
CN (1) | CN114073087A (ja) |
BR (1) | BR112021022540A2 (ja) |
MX (1) | MX2021013521A (ja) |
TW (2) | TWI816439B (ja) |
WO (1) | WO2020229394A1 (ja) |
Families Citing this family (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3935836A4 (en) | 2019-04-12 | 2022-06-08 | Beijing Bytedance Network Technology Co., Ltd. | INTRA PREDICTION CALCULATION BASED ON A MATRIX |
EP3939270A4 (en) | 2019-04-16 | 2022-05-11 | Beijing Bytedance Network Technology Co., Ltd. | MATRIX DERIVATION IN AN INTRA CODING MODE |
WO2020221373A1 (en) | 2019-05-01 | 2020-11-05 | Beijing Bytedance Network Technology Co., Ltd. | Matrix-based intra prediction using filtering |
CN117097912A (zh) | 2019-05-01 | 2023-11-21 | 北京字节跳动网络技术有限公司 | 基于矩阵的帧内预测的上下文编码 |
CN113812155B (zh) * | 2019-05-11 | 2023-10-27 | 北京字节跳动网络技术有限公司 | 多种帧间编解码方法之间的交互 |
CN117412039A (zh) * | 2019-05-22 | 2024-01-16 | 北京字节跳动网络技术有限公司 | 使用上采样的基于矩阵的帧内预测 |
WO2020239017A1 (en) | 2019-05-31 | 2020-12-03 | Beijing Bytedance Network Technology Co., Ltd. | One-step downsampling process in matrix-based intra prediction |
WO2020244610A1 (en) | 2019-06-05 | 2020-12-10 | Beijing Bytedance Network Technology Co., Ltd. | Context determination for matrix-based intra prediction |
WO2021083188A1 (en) | 2019-10-28 | 2021-05-06 | Beijing Bytedance Network Technology Co., Ltd. | Syntax signaling and parsing based on colour component |
WO2022119301A1 (ko) * | 2020-12-01 | 2022-06-09 | 현대자동차주식회사 | 인트라 예측을 이용하는 비디오 코딩 방법 및 장치 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2022516846A (ja) | 2019-04-04 | 2022-03-03 | テンセント・アメリカ・エルエルシー | アフィン線形加重イントラ予測モードのための簡易シグナリング方法 |
US20220116606A1 (en) | 2019-06-25 | 2022-04-14 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Coding using matrix based intra-prediction and secondary transforms |
JP2022539937A (ja) | 2019-07-10 | 2022-09-14 | オッポ広東移動通信有限公司 | 画像成分予測方法、符号化器、復号化器、並びに記憶媒体 |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9491460B2 (en) * | 2013-03-29 | 2016-11-08 | Qualcomm Incorporated | Bandwidth reduction for video coding prediction |
TWI557724B (zh) * | 2013-09-27 | 2016-11-11 | 杜比實驗室特許公司 | 用於將 n 聲道音頻節目編碼之方法、用於恢復 n 聲道音頻節目的 m 個聲道之方法、被配置成將 n 聲道音頻節目編碼之音頻編碼器及被配置成執行 n 聲道音頻節目的恢復之解碼器 |
US10235338B2 (en) * | 2014-09-04 | 2019-03-19 | Nvidia Corporation | Short stack traversal of tree data structures |
WO2016167538A1 (ko) * | 2015-04-12 | 2016-10-20 | 엘지전자(주) | 비디오 신호의 인코딩, 디코딩 방법 및 그 장치 |
US10425648B2 (en) * | 2015-09-29 | 2019-09-24 | Qualcomm Incorporated | Video intra-prediction using position-dependent prediction combination for video coding |
US10390048B2 (en) * | 2016-02-15 | 2019-08-20 | Qualcomm Incorporated | Efficient transform coding using optimized compact multi-pass transforms |
CN116708773A (zh) * | 2016-07-18 | 2023-09-05 | 韩国电子通信研究院 | 图像编码/解码方法和装置以及存储比特流的记录介质 |
CN108289222B (zh) * | 2018-01-26 | 2020-01-14 | 嘉兴学院 | 一种基于结构相似度映射字典学习的无参考图像质量评价方法 |
-
2020
- 2020-05-11 EP EP20723434.5A patent/EP3967037A1/en active Pending
- 2020-05-11 BR BR112021022540A patent/BR112021022540A2/pt unknown
- 2020-05-11 WO PCT/EP2020/063018 patent/WO2020229394A1/en unknown
- 2020-05-11 TW TW111122604A patent/TWI816439B/zh active
- 2020-05-11 TW TW109115576A patent/TWI771679B/zh active
- 2020-05-11 MX MX2021013521A patent/MX2021013521A/es unknown
- 2020-05-11 JP JP2021566185A patent/JP7325540B2/ja active Active
- 2020-05-11 CN CN202080049956.4A patent/CN114073087A/zh active Pending
- 2020-05-11 KR KR1020217040261A patent/KR20220013941A/ko unknown
-
2021
- 2021-11-05 US US17/520,012 patent/US20220058239A1/en active Pending
-
2023
- 2023-08-01 JP JP2023125709A patent/JP2023145655A/ja active Pending
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2022516846A (ja) | 2019-04-04 | 2022-03-03 | テンセント・アメリカ・エルエルシー | アフィン線形加重イントラ予測モードのための簡易シグナリング方法 |
US20220116606A1 (en) | 2019-06-25 | 2022-04-14 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Coding using matrix based intra-prediction and secondary transforms |
JP2022539937A (ja) | 2019-07-10 | 2022-09-14 | オッポ広東移動通信有限公司 | 画像成分予測方法、符号化器、復号化器、並びに記憶媒体 |
Non-Patent Citations (2)
Title |
---|
Jonathan Pfaff, et al.,CE3: Affine linear weighted intra prediction (CE3-4.1, CE3-4.2),Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11 14th Meeting: Geneva, CH, 19-27 March 2019,JVET-N0217,URL:http://phenix.it-sudparis.eu/jvet/doc_end_user/documents/14_Geneva/wg11/JVET-N0217-v3.zip,2019年03月25日,pp. 1~17,学術文献等DB |
Philipp Helle, et al.,CE3-related: Non-linear weighted intra prediction (cross-check report in JVET-K0262),Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11 11th Meeting: Ljubljana, SI, 10-18 July 2018,JVET-K0196-v3,URL:http://phenix.it-sudparis.eu/jvet/doc_end_user/documents/11_Ljubljana/wg11/JVET-K0196-v3.zip,2018年07月11日,pp. 1~7,学術文献等DB |
Also Published As
Publication number | Publication date |
---|---|
TWI816439B (zh) | 2023-09-21 |
CN114073087A (zh) | 2022-02-18 |
MX2021013521A (es) | 2022-01-24 |
BR112021022540A2 (pt) | 2021-12-28 |
TW202101992A (zh) | 2021-01-01 |
US20220058239A1 (en) | 2022-02-24 |
TW202315408A (zh) | 2023-04-01 |
EP3967037A1 (en) | 2022-03-16 |
TWI771679B (zh) | 2022-07-21 |
KR20220013941A (ko) | 2022-02-04 |
JP2023145655A (ja) | 2023-10-11 |
JP2022531902A (ja) | 2022-07-12 |
WO2020229394A1 (en) | 2020-11-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7325540B2 (ja) | ブロックベース予測 | |
US11503339B2 (en) | Intra predictions using linear or affine transforms with neighbouring sample reduction | |
JP7477538B2 (ja) | 行列ベースのイントラ予測および二次変換を使用したコーディング | |
JP7455869B2 (ja) | イントラ予測を用いた符号化 | |
JP2023519945A (ja) | 4:4:4のクロマフォーマット及びシングルツリーの場合のすべてのチャネルに対するmip | |
TW202423121A (zh) | 使用內預測之寫碼技術 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220107 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20220520 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230123 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230221 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230518 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230704 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230801 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7325540 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |