JP2022525550A - 映像符号化における幾何学的区分モード - Google Patents
映像符号化における幾何学的区分モード Download PDFInfo
- Publication number
- JP2022525550A JP2022525550A JP2021556565A JP2021556565A JP2022525550A JP 2022525550 A JP2022525550 A JP 2022525550A JP 2021556565 A JP2021556565 A JP 2021556565A JP 2021556565 A JP2021556565 A JP 2021556565A JP 2022525550 A JP2022525550 A JP 2022525550A
- Authority
- JP
- Japan
- Prior art keywords
- motion
- coded block
- current coded
- index
- storage unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/109—Selection of coding mode or of prediction mode among a plurality of temporal predictive coding modes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/136—Incoming video signal characteristics or properties
- H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/136—Incoming video signal characteristics or properties
- H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
Description
本出願は、2020年11月6日に出願された、発明の名称を「GEOMETRIC PARTITIONING MODE IN VIDEO CODING」とする米国特許出願第17/091,253号の利益を主張するものであり、米国特許出願第17/091,253号は、2019年11月21日に出願された、発明の名称を「SIMPLIFICATION FOR GEO/WEDGE INTER BLOCK」とする米国仮特許出願第62/938,894号の利益を主張するものである。先行出願の開示は、参照によりその全体が本明細書に組み込まれる。
図2は、本開示の一実施形態による通信システム(200)の簡略化されたブロック図を図示する。通信システム(200)は、例えばネットワーク(250)を介して互いに通信することができる複数の端末装置を含む。例えば、通信システム(200)は、ネットワーク(250)を介して相互接続された端末装置(210)および(220)の第1のペアを含む。図2の例では、端末装置(210)および(220)の第1のペアは、データを一方向送信することを実行する。例えば、端末装置(210)は、ネットワーク(250)を介して他の端末装置(220)に送信するために映像データ(例えば、端末装置(210)によって取り込まれた映像ピクチャのストリーム)を符号化してもよい。符号化された映像データは、1つ以上の符号化された映像ビットストリームの形式で送信することができる。端末装置(220)は、ネットワーク(250)から符号化された映像データを受信し、符号化された映像データを復号して映像ピクチャを復元し、復元された映像データに応じて映像ピクチャを表示することができる。一方向データ送信は、メディアサービングアプリケーションなどにおいて一般的である場合がある。
開示された主題は、VVCの関連で使用されてもよい。
場合によっては、インター予測のために、TPMをサポートすることができる。TPMは、8×8以上のCUにのみ適用できる。TPMは、通常マージモード、MMVDモード、CIIPモード、およびサブブロックマージモードなどの他のマージモードと共に、1つの種類のマージモードとしてCUレベルフラグを使用して、シグナリングすることができる。
単予測候補リストは、拡張されたマージ予測処理に従って構築されたマージ候補リストから直接、導出してもよい。三角形単予測候補リストにおける単予測動きのインデックスをNと表す。N番目の拡張されたマージ候補のLX動きベクトルは、XがNのパリティに等しく、TPMに対するN番目の単予測動きベクトルとして使用される。これらの動きベクトルは、図9では「X」でマークされている。N個の拡張されたマージ候補の対応するLX動きベクトルが存在しない場合、同じ候補のL(1-X)個の動きベクトルが、TPMに対する単予測動きベクトルとして代わりに使用される。
各三角形区分自体の動きパラメータを使用して各三角形区分を予測した後、混合処理を2つの予測信号に適用して、対角エッジまたは反対角エッジの周りのサンプルを導出してもよい。図10Aおよび図10Bに示すように、以下の加重値、ルマに対しては{7/8,6/8,5/8,4/8,3/8,2/8,1/8}、およびクロマに対しては{6/8,4/8,2/8}が混合処理で使用される。
幾何学的マージモード(GEO)に関連する技術は、(i)~(iii)で説明され、(i)~(iii)は、(i)Han Gao、Semih Esenlik、Elena Alshina、Anand Meher Kotra、Biao Wang、Max Blaser、Johannes Sauer著、「CE4:CE4-1.1、CE4-1.2 and CE4-1.14:Geometric Merge Mode(GEO)」、JVET-P0068、Joint Video Experts Team(JVET)of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11、16th Meeting:Geneva、CH、2019年10月1-11日、(ii)Han Gao、Semih Esenlik、Elena Alshina、Anand Meher Kotra、Biao Wang、Max Blaser、Johannes Sauer著、「Simplified GEO without multiplication and minimum blending mask storage」、JVET-P0884、Joint Video Experts Team(JVET)of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11,16th Meeting:Geneva,CH,2019年10月1-11日、(iii)Kevin Reuze1、Chun-Chi Chen2、Han Huang3、Wei-Jung Chien、Vadim Seregin、Marta Karczewicz、Ru-Ling Liao4、Jie Chen5、Yan Ye、Jiancong Luo、Max Blaser、Johannes Sauer著、ITU-T SG 16 WP 3およびISO/IEC JTC 1/SC 29/WG 11、16th Meeting:Geneva、CH、2019年10月1-11日、である。JVET-P0068、JVET-P0884、およびJVET-P0085の文献は、参照により本明細書に組み込まれる。
IV.1 混合加重計算
GEOでは、最終サンプル予測子PBは、式6に従って、2つの3ビット混合マスク(すなわち、加重値または加重係数)W0およびW1と2つの予測子P0およびP1とを用いて導出してもよい。
PB=(W0P0+W1P1+4)≫3 (式6)
rho=distanceIdx*(stepDis[whRatio][angleN]≪scaleIdx)+(Dis[displacementX]≪wIdx)+(Dis[displacementY]≪hIdx)
weightIdx=((x≪1)+1)*Dis[displacementX]+((y≪1)+1))*Dis[displacementY]-rho、およびweightIdxAbs=Clip3(0,26,(abs(weightIdx)+4)≫3)
事前計算された混合マスクの格納要件を削減するために、最小混合マスク格納方法は、混合加重格納のための84~91%のメモリ要件削減を達成することができる。
rho=(Dis[displacementX]≪8)+(Dis[displacementY]≪8)
offsetY=(256-nCbH)≫1+angleIdx<16?(distanceIdx*nCbH)≫3:-((distanceIdx*nCbH)≫3)。
offsetX=(256-nCbW)≫1+angleIdx<16?(distanceIdx*nCbW)≫3:-((distanceIdx*nCbW)≫3)、offsetY=(256-nCbH)≫1。
weightIdx=(((x+offsetX)≪1)+1)*Dis[displacementX]+(((y+offsetY)≪1)+1))*Dis[displacementY]-rho、weightIdxAbs=Clip3(0,26,abs(weightIdx))
sampleWeightL[x][y]=weightIdx≦0?GeoFilter[weightIdxAbs]:8-GeoFilter[weightIdxAbs]
V.1 TPMのような動きベクトル導出
場合によっては、4×4の動き格納ユニットの4つの角のルミナンスサンプル加重を合計してもよい。合計を2つの閾値と比較して、2つの単予測動き情報、および双予測動き情報のうちの1つが格納されているか否かを決定してもよい。双予測動き情報は、TPMと同じ処理を使用して導出してもよい。
場合によっては、動きベクトル格納処理はさらに単純化される。4×4動き格納ユニットの中心位置と分割境界との間の距離を計算し、固定閾値と比較して、4×4動き格納ユニットに対して単予測動き情報、または双予測動き情報が格納されるか否かを決定してもよい。距離の符号は、どの単予測動き情報を単予測格納ケースに格納するかを示す。混合マスクと動き格納の依存性を取り除くことができる。
rho=distanceIdx*(stepDis[whRatio][angleN]≪scaleIdx)+(Dis[displacementX]≪wIdx)+(Dis[displacementY]≪hIdx)
motionOffset=3*Dis[displacementX]+3*Dis[displacementY]
動きフィールド格納のためのマスクを格納するのに必要なメモリを削減するために、処理において、動きフィールド格納のマスクに対して、事前定義されたマスクからのすべての情報を導出してもよい。この処理は、MergeWedgeFlag[xCb][yCb]=1で符号化ユニットを復号するときに呼び出される。この処理への入力は、現在のピクチャの左上ルマサンプルに対する現在の符号化ブロックの左上サンプルを指定するルマ位置(xCb,yCb)と、ルマサンプルの現在の符号化ブロックの幅を指定する変数cbWidthと、ルマサンプルの現在の符号化ブロックの高さを指定する変数cbHeightと、1/16分数サンプル精度mvAおよびmvBのルマ動きベクトルと、参照インデックスrefIdxAおよびrefIdxBと、予測リストフラグpredListFlagAおよびpredListFlagBとを含む。
motionOffset=3*Dis[displacementX]+3*Dis[displacementY]
motionIdx=(((xSbIdx+offsetX)≪3)+1)*Dis[displacementX]+(((xSbIdx+offsetY≪3)+1))*Dis[displacementY]-rho+motionOffset
セクションIII、IV、およびVで説明しているようなGEOでは、加重サンプル予測処理および動きフィールド格納決定は計算コストが高い。いくつかの例では(例えば、第IV.1セクションおよび第V.1セクションで説明しているように)、混合加重および格納された動きベクトルタイプが動作中に計算される場合、サイズがW×Hのサンプルのブロックの乗算、シフト、および加算の数は、以下の通りとすることができる。
乗算:3+2×W×H+0×(W×H/16)
シフト:6+3×W×H+8×(W×H/16)
加算:10+6×W×H+7×(W×H/16)
例えば、8×8ブロックに対しては、サンプルごとに2.04回の乗算、3.09回のシフトおよび6.16回の加算が必要である。さらに、いくつかの例では、3つのルックアップテーブルが動作中の計算に使用される。式4のρは浮動小数点演算を伴う複雑な関数であり、ルックアップテーブルを使用して実現される。他の2つのルックアップテーブルは、混合加重インデックスを混合加重値に変換するための、cos[.]値ルックアップテーブルおよび変換テーブルを含む。したがって、各GEO符号化されたブロックに対する混合加重マスクおよび動きベクトルタイプマスクを動作中に計算することは計算上要求が厳しい。
-混合加重に対して:(8×8+8×16+8×32+8×64+16×8+16×16+16×32+16×64+32×8+32×16+32×32+32×64+64×8+64×16+64×32+64×64+64×128+128×64+128×128)×140×4=26,414,080ビット=3,301,760バイト≒3.3メガバイト
-動きフィールド格納に対して:(2×2+2×4+2×8+2×16+4×2+4×4+4×8+4×16+8×2+8×4+8×8+8×16+16×2+16×4+16×8+16×16+16×32+32×16+32×32)×140×2=825,440ビット=103,180バイト≒103キロバイト
-混合加重に対して:(M×M)×N×4
-動きフィールド格納に対して:(M×M)/16×N×2
一実施形態では、式5の値ρmarginは、分割境界(区分エッジ)が符号化ブロックの角に近くなりすぎることを回避するために使用され、一定ではない。例えば、値ρmarginは、ブロック幅、および/または高さ、および/またはφ(分割境界の角度)に応じて変化してもよい。
一実施形態では、混合加重インデックス計算中にコサイン計算のためのルックアップテーブルのみが使用される。その結果、混合加重マスクを格納するために大きなテーブルをチェックすることなく、すべての加重インデックス計算を動作中に実施してもよい。
一実施形態では、浮動小数点演算を回避するために、混合加重インデックスを導出するための構成要素をスケールアップすることができ、加重インデックスのスケールアップされた値が得られる。スケールアップされた値は、後でその正常値範囲にスケールバックすることができる。
一実施形態では、分割境界の角度φの象限に応じて、異なる式を使用して加重インデックス計算を実施してもよい。例えば、分割境界計算に対して、cos(φ)および
一実施形態では、加重インデックスwIdx(x,y)は、行ごとに計算してもよく、すなわち、現在の行wIdx(x,y)の値は、前の行wIdx(x,y-1)の値に基づいて導出される。あるいは、加重インデックスwIdx(x,y)は列ごとに計算してもよく、すなわち、現在の列wIdx(x,y)の加重インデックスは、前の列wIdx(x-1,y)の加重インデックスに基づいて導出される。
一実施形態では、符号化ブロックの位置(x,y)における加重インデックスは、座標(x,y)およびコサインテーブルに応じて、(ブロックサイズ、距離オフセットρ、区分角度φに基づいて決定してもよい)特定の加重インデックス値wIdx(0,0)から導出してもよい。このようにして、符号化ブロックの各サンプルの加重インデックスを独立して導出してもよい。
一実施形態では、最終的な混合加重変換に対するルックアップテーブルに基づく加重インデックスは、計算に基づく変換に置き換えられる。ルックアップテーブルをチェックする動作が取り除かれているので、各サンプルの最終的な加重係数を並行して導出してもよい。
weight(x,y)=(2idx2wShiftBit+2-wIdx(x,y))≫idx2wShiftBit (式34)
weight(x,y)=4-wIdx(x,y) (式35)
idx2wShiftBit=m+3 (式36)
weight(x,y)=(2m+5-wIdx(x,y))≫(m+3) (式37)
一実施形態では、動きインデックスを決定するためにルックアップテーブルを用いない計算方法を使用することができる。例えば、現在の符号化ブロックの動き格納ユニットの動きインデックスは、例えば、動き格納ユニットの座標(xsb,ysb)、および現在の符号化ブロックの(nおよびiで表される)区分距離オフセットρ、現在の符号化ブロックの区分角度φ、および現在の符号化ブロックのブロックサイズに基づいて決定してもよい。結果として、現在の符号化ブロックの動きインデックスmotionIdx(xsb,ysb)を独立して(並列に)同時に導出してもよい。
一実施形態では、符号化ブロックの、動き格納ユニット(サブブロック)のmotionIdx(xsb,ysb)によって表す動きインデックスは、サブブロック内のサンプル位置の混合加重インデックスから直接導出される。このようにして、動きインデックスを決定するための計算コストを節約または削減することができる。
motionldx(1,0)=wIdx((1≪2)+2,(0≪2)+2)=wIdx(6,2)(式41)
図12は、本開示のいくつかの実施形態による処理(1200)の概要を示すフローチャートを示す。様々な実施形態では、処理(1200)は、端末装置(210)、(220)、(230)および(240)の処理回路と、映像デコーダ(310)の機能を実行する処理回路と、映像デコーダ(410)の機能を実行する処理回路となどの処理回路によって実行される。いくつかの実施形態では、処理(1200)はソフトウェア命令で実施され、したがって、処理回路がソフトウェア命令を実行すると、処理回路は処理(1200)を実行する。処理(1200)は(S1201)から開始し、(S1210)に進む。
前述の技術は、コンピュータ可読命令を使用し、1つ以上のコンピュータ可読媒体に物理的に格納されたコンピュータソフトウェアとして実現してもよい。例えば、図13は、開示された主題の特定の実施形態を実現するのに適切なコンピュータシステム(1300)を示す。
ASIC:特定用途向け集積回路
BMS:ベンチマークの組
CANBus:コントローラエリアネットワークバス
CD:コンパクトディスク
CPU:中央処理装置
CRT:ブラウン管
CTB:符号化ツリーブロック
CTU:符号化ツリーユニット
CU:符号化ユニット
DVD:デジタル映像ディスク
FPGA:フィールドプログラマブルゲートエリア
GEO:幾何学的マージモード
GOP:ピクチャのグループ
GPU:グラフィック処理装置
GSM:グローバル移動体通信システム
HDR:高ダイナミックレンジ
HEVC:高効率映像符号化
HRD:仮想参照デコーダ
IC:集積回路
JEM:Joint Exploration Model
JVET:Joint Video Exploration Team
LAN:ローカルエリアネットワーク
LCD:液晶ディスプレイ
LTE:ロングタームエボリューション
MV:動きベクトル
OLED:有機発光ダイオード
PB:予測ブロック
PCI:周辺構成要素相互接続
PLD:プログラマブルロジック装置
PU:予測ユニット
RAM:ランダムアクセスメモリ
ROM:読取り専用メモリ
SDR:標準ダイナミックレンジ
SEI:付加拡張情報
SNR:信号雑音比
SSD:ソリッドステートドライブ
TPM:三角形区分モード
TU:変換ユニット
USB:ユニバーサルシリアルバス
VUI:映像ユーザビリティ情報
VVC:Versatile Video Coding
210 端末装置
220 端末装置
230 端末装置
240 端末装置
250 通信ネットワーク
301 映像ソース
302 ストリーム
303 映像エンコーダ
304 映像ビットストリーム
305 ストリーミングサーバ
306 クライアントサブシステム
307 映像データ
308 クライアントサブシステム
309 映像データ
310 映像デコーダ
311 映像ピクチャ
312 ディスプレイ
313 キャプチャサブシステム
320 電子装置
330 電子装置
401 チャネル
410 映像デコーダ
412 レンダリング装置
415 バッファメモリ
420 パーサー
421 シンボル
430 電子装置
431 受信器
451 スケーラ/逆変換ユニット
452 イントラピクチャ予測ユニット
453 動き補償予測ユニット
455 集約器
456 ループフィルタユニット
457 参照ピクチャメモリ
458 現在のピクチャバッファ
501 映像ソース
503 映像エンコーダ
520 電子装置
530 ソース符号化器
532 符号化エンジン
533 ローカル映像デコーダ
534 参照ピクチャメモリ
535 予測器
540 送信器
543 映像シーケンス
545 エントロピー符号化器
550 制御器
560 通信路
603 映像エンコーダ
621 全体制御器
622 イントラエンコーダ
623 残差計算器
624 残差エンコーダ
625 エントロピーエンコーダ
626 スイッチ
628 残差デコーダ
630 インターエンコーダ
710 映像デコーダ
771 エントロピーデコーダ
772 イントラデコーダ
773 残差デコーダ
774 再構築モジュール
780 インターデコーダ
1200 処理
1300 コンピュータシステム
1301 キーボード
1302 マウス
1303 トラックパッド
1305 ジョイスティック
1306 マイクロフォン
1307 スキャナ
1308 カメラ
1309 スピーカ
1310 視覚出力装置スクリーン
1321 光学媒体
1322 USBメモリ
1323 外付けソリッドステートドライブ
1340 コア
1343 フィールドプログラマブルゲートエリア
1344 ハードウェアアクセラレータ
1345 読取り専用メモリROM
1346 ランダムアクセスメモリ
1347 コア内部大容量ストレージ
1348 システムバス
1349 周辺機器用バス
1350 グラフィックスアダプタ
1354 ネットワークインタフェース
1355 通信ネットワーク
Claims (20)
- 映像デコーダでの映像復号の方法であって、
幾何学的区分モードでの予測のために、区分エッジに沿って第1の部分および第2の部分に区分された現在の符号化ブロックに関連付けられた符号化された映像のビットストリームから、シンタックス要素を受信するステップと、
前記現在の符号化ブロックのサンプル位置での加重インデックスを決定するステップであって、前記加重インデックスが、前記現在の符号化ブロックの前記第1の部分および前記第2の部分に対応する2つの予測信号を混合するための混合加重を導出するために使用される、ステップと、
第1の動き格納ユニットの動きインデックスに基づいて、前記現在の符号化ブロックの動きフィールドの前記第1の動き格納ユニットに対して、格納された動きベクトルタイプを決定するステップであって、前記現在の符号化ブロックの前記サンプル位置での前記加重インデックスが、前記第1の動き格納ユニットの前記動きインデックスとして使用される、ステップと、
前記現在の符号化ブロックの前記動きフィールドの前記第1の動き格納ユニットに対して決定された前記格納された動きベクトルタイプに基づいて、前記現在の符号化ブロックの前記動きフィールドを格納するステップとを含む方法。 - 前記加重インデックスが前記第1の動き格納ユニットの前記動きインデックスとして使用される前記現在の符号化ブロックの前記サンプル位置が、前記符号化ブロックの前記動きフィールドの前記第1の動き格納ユニット内のサンプル位置である、請求項1に記載の方法。
- 前記加重インデックスが前記第1の動き格納ユニットの前記動きインデックスとして使用される前記現在の符号化ブロックの前記サンプル位置が、前記符号化ブロックの前記動きフィールドの前記第1の動き格納ユニットの中心位置に隣接するサンプル位置である、請求項1に記載の方法。
- 前記第1の動き格納ユニットが4×4サンプルのサイズを有し、前記加重インデックスが前記第1の動き格納ユニットの前記動きインデックスとして使用される前記現在の符号化ブロックの前記サンプル位置が、前記符号化ブロックの前記動きフィールドの前記第1の動き格納ユニット内の座標(2,2)のサンプル位置である、請求項1に記載の方法。
- 前記第1の動き格納ユニットが、4×4サンプルのサイズを有し、前記現在の符号化ブロックの前記動きフィールドの(xsb,ysb)の位置にあり、前記現在の符号化ブロックの前記サンプル位置が、前記現在の符号化ブロックの((xsb≪2)+2,(ysb≪2)+2)の座標を有し、((xsb≪2)+2,(ysb≪2)+2)の前記座標における前記加重インデックスが、前記第1の動き格納ユニットの前記動きインデックスとして使用される、請求項1に記載の方法。
- 前記現在の符号化ブロックの前記サンプル位置での前記加重インデックスを、前記2つの予測信号を混合するための前記混合加重に変換する計算を実行するステップであって、前記変換が、ルックアップテーブルを使用せずに、前記現在の符号化ブロックの前記サンプル位置での前記加重インデックスの線形関数に基づく、ステップをさらに含む、請求項1に記載の方法。
- 前記現在の符号化ブロックの前記サンプル位置での前記加重インデックスを決定する前記ステップが、
前記現在の符号化ブロックの角から前記区分エッジをシフトするために使用される値ρmarginに基づいて前記現在の符号化ブロックの前記サンプル位置での前記加重インデックスを決定するステップであって、前記値ρmarginが、前記現在の符号化ブロックの幅または高さ、および前記区分エッジの角度に応じて変化する、ステップを含む、請求項1に記載の方法。 - 前記現在の符号化ブロックの前記サンプル位置での前記加重インデックスを決定する前記ステップが、
固定オフセット値を有する前記現在の符号化ブロックの前記サンプル位置の左または上の隣接するサンプルの加重インデックスに基づいて、前記現在の符号化ブロックの前記サンプル位置での前記加重インデックスを決定するステップを含む、請求項1に記載の方法。 - 前記現在の符号化ブロックの前記サンプル位置での前記加重インデックスを決定する前記ステップが、
前記現在の符号化ブロックの(0,0)の座標における加重インデックスに基づいて前記現在の符号化ブロックの前記サンプル位置での前記加重インデックスを決定するステップを含む、請求項1に記載の方法。 - 映像復号の装置であって、
幾何学的区分モードでの予測のために、区分エッジに沿って第1の部分と第2の部分に区分された現在の符号化ブロックに関連付けられた符号化された映像のビットストリームからシンタックス要素を受信し、
前記現在の符号化ブロックのサンプル位置での加重インデックスを決定し、前記加重インデックスが、前記現在の符号化ブロックの前記第1の部分および前記第2の部分に対応する2つの予測信号を混合するための混合加重を導出するために使用され、
前記第1の動き格納ユニットの動きインデックスに基づいて、前記現在の符号化ブロックの動きフィールドの第1の動き格納ユニットに対して格納された動きベクトルタイプを決定し、前記現在の符号化ブロックの前記サンプル位置での前記加重インデックスが、前記第1の動き格納ユニットの前記動きインデックスとして使用され、
前記現在の符号化ブロックの前記動きフィールドの前記第1の動き格納ユニットに対して決定された前記格納された動きベクトルタイプに基づいて、前記現在の符号化ブロックの前記動きフィールドを格納するように構成された回路を備える、映像復号の装置。 - 前記加重インデックスが前記第1の動き格納ユニットの前記動きインデックスとして使用される前記現在の符号化ブロックの前記サンプル位置が、前記符号化ブロックの前記動きフィールドの前記第1の動き格納ユニット内のサンプル位置である、請求項14に記載の装置。
- 前記加重インデックスが前記第1の動き格納ユニットの前記動きインデックスとして使用される前記現在の符号化ブロックの前記サンプル位置が、前記符号化ブロックの前記動きフィールドの前記第1の動き格納ユニットの中心位置に隣接するサンプル位置である、請求項14に記載の装置。
- 前記第1の動き格納ユニットが4×4サンプルのサイズを有し、前記加重インデックスが前記第1の動き格納ユニットの前記動きインデックスとして使用される前記現在の符号化ブロックの前記サンプル位置が、前記符号化ブロックの前記動きフィールドの前記第1の動き格納ユニット内の座標(2,2)のサンプル位置である、請求項14に記載の装置。
- 前記第1の動き格納ユニットが、4×4サンプルのサイズを有し、前記現在の符号化ブロックの前記動きフィールドの(xsb,ysb)の位置にあり、前記現在の符号化ブロックの前記サンプル位置が、前記現在の符号化ブロックの((xsb≪2)+2,(ysb≪2)+2)の座標を有し、((xsb≪2)+2,(ysb≪2)+2)の前記座標における前記加重インデックスが、前記第1の動き格納ユニットの前記動きインデックスとして使用される、請求項14に記載の装置。
- 前記回路が、
前記現在の符号化ブロックの前記サンプル位置での前記加重インデックスを、前記2つの予測信号を混合するための前記混合加重に変換する計算を実行し、前記変換が、ルックアップテーブルを使用せずに、前記現在の符号化ブロックの前記サンプル位置での前記加重インデックスの線形関数に基づくようにさらに構成される、請求項14に記載の装置。 - プロセッサによって実行されるとき、前記プロセッサに映像復号の方法を実行させる命令を格納する非一時的コンピュータ可読媒体であって、前記方法が、
幾何学的区分モードでの予測のために、区分エッジに沿って第1の部分および第2の部分に区分された現在の符号化ブロックに関連付けられた符号化された映像のビットストリームから、シンタックス要素を受信するステップと、
前記現在の符号化ブロックのサンプル位置での加重インデックスを決定するステップであって、前記加重インデックスが、前記現在の符号化ブロックの前記第1の部分および前記第2の部分に対応する2つの予測信号を混合するための混合加重を導出するために使用される、ステップと、
前記第1の動き格納ユニットの動きインデックスに基づいて、前記現在の符号化ブロックの動きフィールドの第1の動き格納ユニットに対して、格納された動きベクトルタイプを決定するステップであって、前記現在の符号化ブロックの前記サンプル位置での前記加重インデックスが、前記第1の動き格納ユニットの前記動きインデックスとして使用される、ステップと、
前記現在の符号化ブロックの前記動きフィールドの前記第1の動き格納ユニットに対して決定された前記格納された動きベクトルタイプに基づいて、前記現在の符号化ブロックの前記動きフィールドを格納するステップとを含む、非一時的コンピュータ可読媒体。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022168513A JP7372425B2 (ja) | 2019-11-21 | 2022-10-20 | 映像符号化における幾何学的区分モード |
JP2023180609A JP2023179754A (ja) | 2019-11-21 | 2023-10-19 | 映像符号化における幾何学的区分モード |
Applications Claiming Priority (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201962938894P | 2019-11-21 | 2019-11-21 | |
US62/938,894 | 2019-11-21 | ||
US17/091,253 | 2020-11-06 | ||
US17/091,253 US11533498B2 (en) | 2019-11-21 | 2020-11-06 | Geometric partitioning mode in video coding |
PCT/US2020/060281 WO2021101791A1 (en) | 2019-11-21 | 2020-11-12 | Geometric partitioning mode in video coding |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022168513A Division JP7372425B2 (ja) | 2019-11-21 | 2022-10-20 | 映像符号化における幾何学的区分モード |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2022525550A true JP2022525550A (ja) | 2022-05-17 |
JP7164732B2 JP7164732B2 (ja) | 2022-11-01 |
Family
ID=75974416
Family Applications (3)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021556565A Active JP7164732B2 (ja) | 2019-11-21 | 2020-11-12 | 映像符号化における幾何学的区分モード |
JP2022168513A Active JP7372425B2 (ja) | 2019-11-21 | 2022-10-20 | 映像符号化における幾何学的区分モード |
JP2023180609A Pending JP2023179754A (ja) | 2019-11-21 | 2023-10-19 | 映像符号化における幾何学的区分モード |
Family Applications After (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022168513A Active JP7372425B2 (ja) | 2019-11-21 | 2022-10-20 | 映像符号化における幾何学的区分モード |
JP2023180609A Pending JP2023179754A (ja) | 2019-11-21 | 2023-10-19 | 映像符号化における幾何学的区分モード |
Country Status (9)
Country | Link |
---|---|
US (3) | US11533498B2 (ja) |
EP (1) | EP4062636A4 (ja) |
JP (3) | JP7164732B2 (ja) |
KR (1) | KR20210103571A (ja) |
CN (2) | CN118354068A (ja) |
AU (2) | AU2020387376B2 (ja) |
CA (2) | CA3137048C (ja) |
SG (1) | SG11202111082VA (ja) |
WO (1) | WO2021101791A1 (ja) |
Families Citing this family (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20230135185A (ko) * | 2019-06-21 | 2023-09-22 | 후아웨이 테크놀러지 컴퍼니 리미티드 | 서브 블록 파티셔닝 모드를 위한 인코더, 디코더 및 대응 방법 |
US11575905B2 (en) * | 2019-11-27 | 2023-02-07 | Hfi Innovation Inc. | Method and apparatus of unified weight and motion indexes derivation for geometric merge mode in video coding |
US11496755B2 (en) * | 2019-12-28 | 2022-11-08 | Tencent America LLC | Method and apparatus for video coding |
WO2023284817A1 (en) * | 2021-07-15 | 2023-01-19 | Beijing Bytedance Network Technology Co., Ltd. | Method, apparatus, and medium for video processing |
US11949863B2 (en) * | 2021-08-02 | 2024-04-02 | Tencent America LLC | Geometric partition mode with intra block copy |
WO2023055193A1 (ko) * | 2021-10-01 | 2023-04-06 | 현대자동차주식회사 | 결합된 인트라/인터 예측 모드 또는 기하학적 분할 모드에 움직임 벡터 차분을 사용한 머지 모드를 적용하는 비디오 부호화/복호화 방법 및 장치 |
WO2023200907A1 (en) * | 2022-04-14 | 2023-10-19 | Beijing Dajia Internet Information Technology Co., Ltd. | Methods and devices for geometric partitioning mode with adaptive blending |
US20230388484A1 (en) * | 2022-05-24 | 2023-11-30 | Tencent America LLC | Method and apparatus for asymmetric blending of predictions of partitioned pictures |
WO2023250047A1 (en) * | 2022-06-21 | 2023-12-28 | Beijing Dajia Internet Information Technology Co., Ltd. | Methods and devices for motion storage in geometric partitioning mode |
WO2024078630A1 (en) * | 2022-10-14 | 2024-04-18 | Douyin Vision Co., Ltd. | Method, apparatus, and medium for video processing |
Family Cites Families (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7376186B2 (en) * | 2002-07-15 | 2008-05-20 | Thomson Licensing | Motion estimation with weighting prediction |
US20130107938A9 (en) * | 2003-05-28 | 2013-05-02 | Chad Fogg | Method And Apparatus For Scalable Video Decoder Using An Enhancement Stream |
JP2009545920A (ja) * | 2006-08-02 | 2009-12-24 | トムソン ライセンシング | ビデオ符号化処理のためにアダブティブなジオメトリック分割を行う方法および装置 |
CN101822056B (zh) * | 2007-10-12 | 2013-01-02 | 汤姆逊许可公司 | 用于视频编解码几何划分的双向预测模式划分的方法和装置 |
JP5826747B2 (ja) | 2009-06-26 | 2015-12-02 | トムソン ライセンシングThomson Licensing | 適応的な幾何学的な分割を使用した映像符号化及び復号化の方法及び装置 |
JP5757218B2 (ja) * | 2011-10-28 | 2015-07-29 | アイコム株式会社 | 通信機および通信方法 |
US20140044162A1 (en) * | 2012-08-08 | 2014-02-13 | Qualcomm Incorporated | Adaptive inference mode information derivation in scalable video coding |
US20160307368A1 (en) * | 2015-04-17 | 2016-10-20 | Lytro, Inc. | Compression and interactive playback of light field pictures |
WO2019154139A1 (en) | 2018-02-08 | 2019-08-15 | Jiaxing Super Lighting Electric Appliance Co., Ltd | Led lamp |
WO2020094050A1 (en) * | 2018-11-06 | 2020-05-14 | Beijing Bytedance Network Technology Co., Ltd. | Using inter prediction with geometric partitioning for video processing |
CN111434110B (zh) * | 2018-11-06 | 2023-06-20 | 北京字节跳动网络技术有限公司 | 用于视频处理的方法、装置和存储介质 |
CN117880495A (zh) * | 2018-12-03 | 2024-04-12 | 北京字节跳动网络技术有限公司 | 候选的最大数量的指示方法 |
CN113302919A (zh) * | 2019-01-17 | 2021-08-24 | 北京字节跳动网络技术有限公司 | 在视频处理中使用虚拟候选预测和加权预测 |
WO2020263467A1 (en) * | 2019-06-24 | 2020-12-30 | Alibaba Group Holding Limited | Method and apparatus for motion field storage in video coding |
US20200402546A1 (en) * | 2019-06-24 | 2020-12-24 | Seagate Technology Llc | Reducing base deck porosity |
US11405619B2 (en) * | 2019-09-23 | 2022-08-02 | Qualcomm Incorporated | Geometric partition mode with simplified motion field storage and motion compensation in video coding |
CA3152728A1 (en) * | 2019-10-03 | 2021-04-08 | Han GAO | Coding process for geometric partition mode |
WO2021068922A1 (en) * | 2019-10-10 | 2021-04-15 | Beijing Bytedance Network Technology Co., Ltd. | Deblocking of blocks coded in geometry partition mode |
WO2021068897A1 (en) * | 2019-10-10 | 2021-04-15 | Huawei Technologies Co., Ltd. | Method and apparatus of harmonizing triangular merge mode with weighted prediction |
-
2020
- 2020-11-06 US US17/091,253 patent/US11533498B2/en active Active
- 2020-11-12 EP EP20889260.4A patent/EP4062636A4/en active Pending
- 2020-11-12 CA CA3137048A patent/CA3137048C/en active Active
- 2020-11-12 JP JP2021556565A patent/JP7164732B2/ja active Active
- 2020-11-12 CN CN202410534891.2A patent/CN118354068A/zh active Pending
- 2020-11-12 AU AU2020387376A patent/AU2020387376B2/en active Active
- 2020-11-12 CA CA3207974A patent/CA3207974A1/en active Pending
- 2020-11-12 WO PCT/US2020/060281 patent/WO2021101791A1/en unknown
- 2020-11-12 SG SG11202111082VA patent/SG11202111082VA/en unknown
- 2020-11-12 KR KR1020217024025A patent/KR20210103571A/ko not_active Application Discontinuation
- 2020-11-12 CN CN202080033192.XA patent/CN113796083B/zh active Active
-
2022
- 2022-10-20 JP JP2022168513A patent/JP7372425B2/ja active Active
- 2022-10-27 US US17/975,385 patent/US11979592B2/en active Active
-
2023
- 2023-03-28 AU AU2023201880A patent/AU2023201880A1/en active Pending
- 2023-10-19 JP JP2023180609A patent/JP2023179754A/ja active Pending
-
2024
- 2024-01-29 US US18/425,564 patent/US20240195997A1/en active Pending
Non-Patent Citations (4)
Title |
---|
HAN GAO, ET AL.: ""CE4: CE4-1.1, CE4-1.2 and CE4-1.14: Geometric Merge Mode (GEO)"", JVET-P0068, vol. version 2, JPN6022039519, 25 September 2019 (2019-09-25), pages 1 - 7, ISSN: 0004877872 * |
JIANLE CHEN, ET AL.: ""Algorithm description for Versatile Video Coding and Test Model 10 (VTM 10)"", JVET-S2002, vol. version 2, JPN6022039523, 10 October 2020 (2020-10-10), pages 1 - 8, ISSN: 0004877875 * |
KEVIN REUZE, ET AL.: ""Simplified GEO without multiplication and minimum blending mask storage (harmonization of JVET-P010", JVET-P0885, vol. version 4, JPN6022039522, 11 October 2019 (2019-10-11), pages 1 - 7, ISSN: 0004877874 * |
RU-LING LIAO, ET AL.: ""CE4-related: Simplification of blending weights and motion field storage in geometric merge mode"", JVET-P0304, vol. version 2, JPN6022039520, 2 October 2019 (2019-10-02), pages 1 - 7, ISSN: 0004877873 * |
Also Published As
Publication number | Publication date |
---|---|
AU2020387376B2 (en) | 2023-01-05 |
CN113796083B (zh) | 2024-04-12 |
US20210160520A1 (en) | 2021-05-27 |
WO2021101791A1 (en) | 2021-05-27 |
CN113796083A (zh) | 2021-12-14 |
US20240195997A1 (en) | 2024-06-13 |
CA3137048A1 (en) | 2021-05-27 |
JP7372425B2 (ja) | 2023-10-31 |
JP2023179754A (ja) | 2023-12-19 |
US11533498B2 (en) | 2022-12-20 |
CA3207974A1 (en) | 2021-05-27 |
US11979592B2 (en) | 2024-05-07 |
AU2023201880A1 (en) | 2023-05-04 |
CA3137048C (en) | 2023-08-29 |
KR20210103571A (ko) | 2021-08-23 |
EP4062636A1 (en) | 2022-09-28 |
CN118354068A (zh) | 2024-07-16 |
JP2022183333A (ja) | 2022-12-08 |
JP7164732B2 (ja) | 2022-11-01 |
US20230068035A1 (en) | 2023-03-02 |
AU2020387376A1 (en) | 2021-10-28 |
EP4062636A4 (en) | 2024-02-21 |
SG11202111082VA (en) | 2021-11-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112789850B (zh) | 一种视频编解码方法、装置、设备和介质 | |
JP7372425B2 (ja) | 映像符号化における幾何学的区分モード | |
CN113196756A (zh) | 视频编解码的方法和装置 | |
CN113519159B (zh) | 视频编解码的方法和装置 | |
CN112272949A (zh) | 用于视频编码的方法和装置 | |
JP2022526161A (ja) | ビデオ・コーディング方法及び装置 | |
CN111885387A (zh) | 用于仿射光流预测值细化的视频解码方法和装置 | |
US11483551B2 (en) | Method and apparatus for video coding | |
JP2022506681A (ja) | アフィンモデルの動きベクトルに対する制約 | |
JP7080434B2 (ja) | サブブロックの動きベクトル予測の方法、並びにその装置及びコンピュータプログラム | |
JP7130882B2 (ja) | 映像コーディングのための方法、装置、及びコンピュータプログラム | |
JP2022524107A (ja) | イントラピクチャブロック補償のための予測候補リストサイズシグナリングのための方法および装置 | |
CN113366847B (zh) | 用于视频编解码的方法、装置及可读介质 | |
CN113545079A (zh) | 视频编解码的方法和装置 | |
JP2022501959A (ja) | ビデオ符号化及び復号のための方法および装置 | |
JP2022522683A (ja) | ビデオコーディングのための方法並びにその、装置およびコンピュータプログラム | |
JP2022526380A (ja) | スキップモードフラグを伝達するための方法、装置及びコンピュータプログラム | |
JP2021516933A (ja) | ビデオ符号化の方法および装置 | |
JP2023527671A (ja) | 動きベクトル差シグナリングを用いたジオメトリ分割モードおよびマージモード | |
RU2774871C1 (ru) | Преобразование декодированного вектора блока для внутренней компенсации блоков изображения | |
RU2773732C1 (ru) | Режим геометрического разделения при кодировании видеоданных |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210917 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210917 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220920 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20221020 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7164732 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |