JP2022513715A - 無指向性媒体符号化及び復号のためのラップアラウンドパディングの方法 - Google Patents
無指向性媒体符号化及び復号のためのラップアラウンドパディングの方法 Download PDFInfo
- Publication number
- JP2022513715A JP2022513715A JP2021531786A JP2021531786A JP2022513715A JP 2022513715 A JP2022513715 A JP 2022513715A JP 2021531786 A JP2021531786 A JP 2021531786A JP 2021531786 A JP2021531786 A JP 2021531786A JP 2022513715 A JP2022513715 A JP 2022513715A
- Authority
- JP
- Japan
- Prior art keywords
- padding
- image
- wraparound
- subregions
- sub
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 72
- 238000003709 image segmentation Methods 0.000 claims description 24
- 239000011449 brick Substances 0.000 claims description 7
- 239000000523 sample Substances 0.000 description 63
- 230000008569 process Effects 0.000 description 32
- 230000033001 locomotion Effects 0.000 description 23
- 230000006835 compression Effects 0.000 description 19
- 238000007906 compression Methods 0.000 description 19
- 238000010586 diagram Methods 0.000 description 17
- 238000003860 storage Methods 0.000 description 17
- 238000004891 communication Methods 0.000 description 15
- 230000006854 communication Effects 0.000 description 15
- 230000005540 biological transmission Effects 0.000 description 13
- 241000023320 Luma <angiosperm> Species 0.000 description 12
- OSWPMRLSEDHDFF-UHFFFAOYSA-N methyl salicylate Chemical compound COC(=O)C1=CC=CC=C1O OSWPMRLSEDHDFF-UHFFFAOYSA-N 0.000 description 12
- 238000005516 engineering process Methods 0.000 description 11
- 238000006243 chemical reaction Methods 0.000 description 10
- 238000012545 processing Methods 0.000 description 8
- 239000013598 vector Substances 0.000 description 8
- 230000002093 peripheral effect Effects 0.000 description 7
- 238000013139 quantization Methods 0.000 description 5
- 238000012986 modification Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 230000002123 temporal effect Effects 0.000 description 4
- 238000012546 transfer Methods 0.000 description 4
- 230000000007 visual effect Effects 0.000 description 4
- 230000002457 bidirectional effect Effects 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 239000007787 solid Substances 0.000 description 3
- 230000006399 behavior Effects 0.000 description 2
- 239000012634 fragment Substances 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 238000002156 mixing Methods 0.000 description 2
- 238000010295 mobile communication Methods 0.000 description 2
- 239000013074 reference sample Substances 0.000 description 2
- 230000002441 reversible effect Effects 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 239000000779 smoke Substances 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 230000001052 transient effect Effects 0.000 description 2
- 230000007175 bidirectional communication Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000009795 derivation Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 230000000977 initiatory effect Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000012856 packing Methods 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 238000013138 pruning Methods 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000000153 supplemental effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/563—Motion estimation with padding, i.e. with filling of non-object values in an arbitrarily shaped picture block or region for estimation purposes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
- H04N19/192—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding the adaptation method, adaptation tool or adaptation type being iterative or recursive
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/46—Embedding additional information in the video signal during the compression process
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
- H04N19/91—Entropy coding, e.g. variable length coding [VLC] or arithmetic coding
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
Description
本出願は米国特許法第119条のもと、米国特許商標庁に2018年12月31日に出願された米国仮特許出願第62/787,063号、及び米国特許商標庁に2019年12月11日に出願された米国特許出願第16/710,936号の優先権を主張し、これらの特許の開示内容は、参照することによってその全体が本明細書に組み込まれる。
360度映像は、正距円筒投影(equirectangular projection、ERP)などの3D-2D投影方法を使用して、2D映像上にマッピングされる。投影された映像は、従来の2D映像エンコーダによって符号化及び復号され、2D映像を3D表面に再投影することによってレンダリングされる。その後、符号化された領域を個別につなぎ合わせることによって、再投影プロセスからシームの視覚的アーティファクトが生じる。
図2は、本開示の実施形態による、通信システム(200)の簡素化されたブロック図を示す。システム(200)は、ネットワーク(250)を介して相互接続された、少なくとも2つの端末(210、220)を含んでもよい。データの一方向伝送の場合、第1の端末(210)は、ネットワーク(250)を介してもう一方の端末(220)に送信する映像データをローカル位置で符号化してもよい。第2の端末(220)は、ネットワーク(250)からもう一方の端末の符号化された映像データを受信し、符号化されたデータを復号して、回復された映像データを表示してもよい。一方向のデータ伝送は、媒体供給用途などにおいて一般的であろう。
if ref_wraparound_offset is present
wrapAroundOffset=ref_wraparound_offset
else if left_wraparound_padding_width and right_wraparound_padding_width are present
wrapAroundOffset=pic_width_in_luma_samples-(left_wraparound_padding_width+right_wraparound_padding_width)
else
wrapAroundOffset=pic_width_in_luma_samples
ルマサンプル補間プロセス
このプロセスに対する入力は、
-完全サンプルユニット(xIntL,yIntL)におけるルマ位置
-分数サンプルユニット(xFracL,yFracL)におけるルマ位置
-ルマ参照サンプル配列refPicLXL
このプロセスの出力は、予測されたルマサンプル値predSampleLXL
変数shift1、shift2、及びshift3は、以下の通り導出される。
-変数shift1はMin(4,BitDepthY-8)に設定され、変数shift2は6に設定され、変数shift3はMax(2,14-BitDepthY)に設定される。
-変数picWはpic_width_in_luma_samplesに設定され、変数picHはpic_height_in_luma_samplesに設定される。
-変数xOffsetはwrapAroundOffsetに設定される。
xFracL又はyFracLと等しいそれぞれの1/16分数サンプル位置pに対するルマ補間フィルタ係数fL[p]を以下に指定する。
予測されるルマサンプル値predSampleLXLは、以下の通り導出される。
-xFracL及びyFracLの両方が0であれば、以下が適用される。
-sps_ref_wraparound_enabled_flagが0であれば、predSampleLXLの値は以下の通り導出される。
predSampleLXL=refPicLXL[Clip3(0,picW-1,xIntL)][Clip3(0,picH-1,yIntL)]<<shift3
-或いは、predSampleLXLの値は以下の通り導出される。
predSampleLXL=refPicLXL[ClipH(xOffset,picW,xIntL)][Clip3(0,picH-1,yIntL)]<<shift3
-或いはxFracLが0でなく、yFracLが0であれば、以下が適用される。
-yPosLの値は、以下の通り導出される。
yPosL=Clip3(0,picH-1,yIntL)
-sps_ref_wraparound_enabled_flagが0であれば、predSampleLXLの値は以下の通り導出される。
predSampleLXL=(fL[xFracL][0]*refPicLXL[Clip3(0,picW-1,xIntL-3)][yPosL]+
fL[xFracL][1]*refPicLXL[Clip3(0,picW-1,xIntL-2)][yPosL]+
fL[xFracL][2]*refPicLXL[Clip3(0,picW-1,xIntL-1)][yPosL]+
fL[xFracL][3]*refPicLXL[Clip3(0,picW-1,xIntL)][yPosL]+
fL[xFracL][4]*refPicLXL[Clip3(0,picW-1,xIntL+1)][yPosL]+
fL[xFracL][5]*refPicLXL[Clip3(0,picW-1,xIntL+2)][yPosL]+
fL[xFracL][6]*refPicLXL[Clip3(0,picW-1,xIntL+3)][yPosL]+
fL[xFracL][7]*refPicLXL[Clip3(0,picW-1,xIntL+4)][yPosL])>>shift1
-或いはpredSampleLXLの値は以下の通り導出される。
predSampleLXL=(fL[xFracL][0]*refPicLXL[ClipH(xOffset,picW,xIntL-3)][yPosL]+
fL[xFracL][1]*refPicLXL[ClipH(xOffset,picW,xIntL-2)][yPosL]+
fL[xFracL][2]*refPicLXL[ClipH(xOffset,picW,xIntL-1)][yPosL]+
fL[xFracL][3]*refPicLXL[ClipH(xOffset,picW,xIntL)][yPosL]+
fL[xFracL][4]*refPicLXL[ClipH(xOffset,picW,xIntL+1)][yPosL]+
fL[xFracL][5]*refPicLXL[ClipH(xOffset,picW,xIntL+2)][yPosL]+
fL[xFracL][6]*refPicLXL[ClipH(xOffset,picW,xIntL+3)][yPosL]+
fL[xFracL][7]*refPicLXL[ClipH(xOffset,picW,xIntL+4)][yPosL])>>shift1
-或いはxFracLが0であり、yFracLが0でない場合は、predSampleLXLの値は以下の通り導出される。
-sps_ref_wraparound_enabled_flagが0であれば、xPosLの値は以下の通り導出される。
xPosL=Clip3(0,picW-1,xIntL)
-或いは、xPosLの値は以下の通り導出される。
xPosL=ClipH(xOffset,picW,xIntL)
-予測されるルマサンプル値predSampleLXLは以下の通り導出される。
predSampleLXL=(fL[yFracL][0]*refPicLXL[xPosL][Clip3(0,picH-1,yIntL-3)]+
fL[yFracL][1]*refPicLXL[xPosL][Clip3(0,picH-1,yIntL-2)]+
fL[yFracL][2]*refPicLXL[xPosL][Clip3(0,picH-1,yIntL-1)]+
fL[yFracL][3]*refPicLXL[xPosL][Clip3(0,picH-1,yIntL)]+
fL[yFracL][4]*refPicLXL[xPosL][Clip3(0,picH-1,yIntL+1)]+
fL[yFracL][5]*refPicLXL[xPosL][Clip3(0,picH-1,yIntL+2)]+
fL[yFracL][6]*refPicLXL[xPosL][Clip3(0,picH-1,yIntL+3)]+
fL[yFracL][7]*refPicLXL[xPosL][Clip3(0,picH-1,yIntL+4)])>>shift1
-或いはxFracLが0でなく、yFracLが0でない場合は、predSampleLXLの値は以下の通り導出される。
-sps_ref_wraparound_enabled_flagが0であれば、n=0~7のサンプル配列temp[n]は以下の通り導出される。
yPosL=Clip3(0,picH-1,yIntL+n-3)
temp[n]=(fL[xFracL][0]*refPicLXL[Clip3(0,picW-1,xIntL-3)][yPosL]+
fL[xFracL][1]*refPicLXL[Clip3(0,picW-1,xIntL-2)][yPosL]+
fL[xFracL][2]*refPicLXL[Clip3(0,picW-1,xIntL-1)][yPosL]+
fL[xFracL][3]*refPicLXL[Clip3(0,picW-1,xIntL)][yPosL]+
fL[xFracL][4]*refPicLXL[Clip3(0,picW-1,xIntL+1)][yPosL]+
fL[xFracL][5]*refPicLXL[Clip3(0,picW-1,xIntL+2)][yPosL]+
fL[xFracL][6]*refPicLXL[Clip3(0,picW-1,xIntL+3)][yPosL]+
fL[xFracL][7]*refPicLXL[Clip3(0,picW-1,xIntL+4)][yPosL])>>shift1
-或いは、n=0~7のサンプル配列temp[n]は以下の通り導出される。
yPosL=Clip3(0,picH-1,yIntL+n-3)
temp[n]=(fL[xFracL][0]*refPicLXL[ClipH(xOffset,picW,xIntL-3)][yPosL]+
fL[xFracL][1]*refPicLXL[ClipH(xOffset,picW,xIntL-2)][yPosL]+
fL[xFracL][2]*refPicLXL[ClipH(xOffset,picW,xIntL-1)][yPosL]+
fL[xFracL][3]*refPicLXL[ClipH(xOffset,picW,xIntL)][yPosL]+
fL[xFracL][4]*refPicLXL[ClipH(xOffset,picW,xIntL+1)][yPosL]+
fL[xFracL][5]*refPicLXL[ClipH(xOffset,picW,xIntL+2)][yPosL]+
fL[xFracL][6]*refPicLXL[ClipH(xOffset,picW,xIntL+3)][yPosL]+
fL[xFracL][7]*refPicLXL[ClipH(xOffset,picW,xIntL+4)][yPosL])>>shift1
-予測されるルマサンプル値predSampleLXLは以下の通り導出される。
predSampleLXL=(fL[yFracL][0]*temp[0]+
fL[yFracL][1]*temp[1]+
fL[yFracL][2]*temp[2]+
fL[yFracL][3]*temp[3]+
fL[yFracL][4]*temp[4]+
fL[yFracL][5]*temp[5]+
fL[yFracL][6]*temp[6]+
fL[yFracL][7]*temp[7])>>shift2
クロマサンプル補間プロセス
このプロセスに対する入力は、
-完全サンプルユニット(xIntC,yIntC)におけるクロマ位置
-1/32分数サンプルユニット(xFracC,yFracC)におけるクロマ位置
-クロマ参照サンプル配列refPicLXC
である。
このプロセスの出力は、予測されたクロマサンプル値predSampleLXC
変数shift1、shift2、及びshift3は、以下の通り導出される。
-変数shift1はMin(4,BitDepthC-8)に設定され、変数shift2は6に設定され、変数shift3はMax(2,14-BitDepthC)に設定される。
-変数picWCはpic_width_in_luma_samples/SubWidthCに設定され、変数picHCはpic_height_in_luma_samples/SubHeightCに設定される。
-変数xOffsetCはwrapAroundOffset/SubWidthCに設定される。
xFracC又はyFracCと等しいそれぞれの1/32分数サンプル位置pに対するルマ補間フィルタ係数fC[p]を以下に指定する。
予測されるクロマサンプル値predSampleLXCは、以下の通り導出される。
-xFracC及びyFracCの両方が0であれば、以下が適用される。
-sps_ref_wraparound_enabled_flagが0であれば、predSampleLXCの値は以下の通り導出される。
predSampleLXC=refPicLXC[Clip3(0,picWC-1,xIntC)][Clip3(0,picHC-1,yIntC)]<<shift3
-或いは、predSampleLXCの値は以下の通り導出される。
predSampleLXC=refPicLXC[ClipH(xOffsetC,picWC,xIntC)][Clip3(0,picHC-1,yIntC)]<<shift3
-或いはxFracCが0でなく、yFracCが0であれば以下が適用される。
-yPosCの値は以下の通り導出される。
yPosC=Clip3(0,picHC-1,yIntC)
-sps_ref_wraparound_enabled_flagが0であれば、predSampleLXCの値は以下の通り導出される。
predSampleLXC=(fC[xFracC][0]*refPicLXC[Clip3(0,picWC-1,xIntC-1)][yIntC]+
fC[xFracC][1]*refPicLXC[Clip3(0,picWC-1,xIntC)][yIntC]+
fC[xFracC][2]*refPicLXC[Clip3(0,picWC-1,xIntC+1)][yIntC]+
fC[xFracC][3]*refPicLXC[Clip3(0,picWC-1,xIntC+2)][yIntC])>>shift1
-或いは、predSampleLXCの値は以下の通り導出される。
predSampleLXC=(fC[xFracC][0]*refPicLXC[ClipH(xOffsetC,picWC,xIntC-1)][yPosC]+
fC[xFracC][1]*refPicLXC[ClipH(xOffsetC,picWC,xIntC)][yPosC]+
fC[xFracC][2]*refPicLXC[ClipH(xOffsetC,picWC,xIntC+1)][yPosC]+
fC[xFracC][3]*refPicLXC[ClipH(xOffsetC,picWC,xIntC+2)][yPosC])>>shift1
-或いはxFracCが0であり、yFracCが0でなければ、predSampleLXCの値は以下の通り導出される。
-sps_ref_wraparound_enabled_flagが0であれば、xPosCの値は以下の通り導出される。
xPosC=Clip3(0,picWC-1,xIntC)
-或いは、xPosCの値は以下の通り導出される。
xPosC=ClipH(xOffsetC,picWC,xIntC)
-予測されるクロマサンプル値predSampleLXCは以下の通り導出される。
predSampleLXC=(fC[yFracC][0]*refPicLXC[xPosC][Clip3(0,picHC-1,yIntC-1)]+
fC[yFracC][1]*refPicLXC[xPosC][Clip3(0,picHC-1,yIntC)]+
fC[yFracC][2]*refPicLXC[xPosC][Clip3(0,picHC-1,yIntC+1)]+
fC[yFracC][3]*refPicLXC[xPosC][Clip3(0,picHC-1,yIntC+2)])>>shift1
-或いはxFracCが0でなく、かつyFracCが0でなければ、predSampleLXCの値は以下の通り導出される。
-sps_ref_wraparound_enabled_flagが0であれば、n=0~3のサンプル配列temp[n]は以下の通り導出される。
yPosC=Clip3(0,picHC-1,yIntC+n-1)
temp[n]=(fC[xFracC][0]*refPicLXC[Clip3(0,picWC-1,xIntC-1)][yPosC]+
fC[xFracC][1]*refPicLXC[Clip3(0,picWC-1,xIntC)][yPosC]+
fC[xFracC][2]*refPicLXC[Clip3(0,picWC-1,xIntC+1)][yPosC]+
fC[xFracC][3]*refPicLXC[Clip3(0,picWC-1,xIntC+2)][yPosC])>>shift1
-或いは、n=0~3のサンプル配列temp[n]は以下の通り導出される。
yPosC=Clip3(0,picHC-1,yIntC+n-1)
temp[n]=(fC[xFracC][0]*refPicLXC[ClipH(xOffsetC,picWC,xIntC-1)][yPosC]+
fC[xFracC][1]*refPicLXC[ClipH(xOffsetC,picWC,xIntC)][yPosC]+
fC[xFracC][2]*refPicLXC[ClipH(xOffsetC,picWC,xIntC+1)][yPosC]+
fC[xFracC][3]*refPicLXC[ClipH(xOffsetC,picWC,xIntC+2)][yPosC])>>shift1
-予測されるクロマサンプル値predSampleLXCは、以下の通り導出される。
predSampleLXC=(fC[yFracC][0]*temp[0]+
fC[yFracC][1]*temp[1]+
fC[yFracC][2]*temp[2]+
fC[yFracC][3]*temp[3])>>shift2
実施形態では、参照画像は、動き補償予測用の現画像と同一であってもよい。現画像が参照画像のときは、現画像の境界にラップアラウンドパディングが適用されてもよい。
102 H.265によるNALユニットヘッダの構文解析図
200 通信システム
210 第1の端末
220 第2の端末
230 端末
240 端末
250 通信ネットワーク
301 映像ソース(カメラ)
302 映像サンプルストリーム
303 エンコーダ
304 映像ビットストリーム
305 ストリーミングサーバ
306 ストリーミングクライアント
307 映像ビットストリームのコピー
308 ストリーミングクライアント
309 映像ビットストリームのコピー
310 デコーダ
311 映像サンプルストリーム
312 表示装置
313 捕捉サブシステム
410 受信機
412 チャネル
415 バッファメモリ
420 構文解析器(映像デコーダ)
421 シンボル
451 スケーラ/逆変換ユニット
452 イントラ画像予測ユニット
453 動き補償予測ユニット
455 集約装置
456 ループフィルタユニット
457 参照画像バッファ、参照画像メモリ
458 現在の参照画像
530 ソースエンコーダ、映像エンコーダ
532 符号化エンジン
533 ローカル映像デコーダ
534 参照画像メモリ、参照画像キャッシュ
535 予測子
540 送信機
543 映像シーケンス
545 エントロピーエンコーダ
550 コントローラ
560 通信チャネル
601 seq_parameter_set_rbsp()
602 sps_ref_wraparound_enabled_flag
603 ref_wraparound_offset
701 seq_parameter_set_rbsp()
702 sps_ref_wraparound_enabled_flag
703 left_wraparound_padding_width
704 right_wraparound_padding_width
800 プロセス
900 コンピュータシステム
901 キーボード
902 マウス
903 トラックパッド
905 ジョイスティック
906 マイク
907 スキャナ
908 カメラ
909 音声出力装置
910 タッチスクリーン
920 光学媒体
921 CD/DVDなどの媒体
922 USBメモリ
923 ソリッドステートドライブ
940 コア
941 中央処理ユニット(CPU)
942 グラフィック処理ユニット(GPU)
943 FPGA
944 アクセラレータ
945 読出し専用メモリ(ROM)
946 ランダムアクセスメモリ(RAM)
947 大容量記憶装置
949 周辺バス
950 グラフィックアダプタ
954 ネットワークインターフェース
955 通信ネットワーク
1248 システムバス
Claims (20)
- 少なくとも1つのプロセッサを使用して映像を復号するために、符号化された現画像を再構築する方法であって、前記方法は、
前記現画像に対応する画像分割情報を復号するステップと、
前記画像分割情報を使用して、前記現画像の複数のサブ領域にパディングが適用されるかどうかを決定するステップと、
パディングが適用されないという決定に基づき、前記複数のサブ領域をパディングせずに前記複数のサブ領域を復号するステップと、
パディングが適用されるという決定に基づき、前記画像分割情報を使用して、前記パディングがラップアラウンドパディングを含むかどうかを決定するステップと、
前記パディングがラップアラウンドパディングを含まないという決定に基づき、前記複数のサブ領域に反復パディングを適用し、前記反復パディングを使用して前記複数のサブ領域を復号するステップと、
前記パディングがラップアラウンドパディングを含むという決定に基づき、前記複数のサブ領域に前記ラップアラウンドパディングを適用し、前記ラップアラウンドパディングを使用して前記複数のサブ領域を復号するステップと、
前記復号された複数のサブ領域に基づき、前記現画像を再構築するステップとを含む、方法。 - 前記画像分割情報が、前記現画像に対応する画像パラメータセットに含まれる、請求項1に記載の方法。
- 前記画像分割情報が、前記画像パラメータセットに含まれる少なくとも1つのフラグを含む、請求項2に記載の方法。
- 前記複数のサブ領域が、ブリック、タイル、スライス、タイルグループ、サブ画像、又はサブ層のうちの少なくとも1つを含む、請求項1に記載の方法。
- 前記パディングが、複数のサブ領域のうち、サブ領域の境界に適用される、請求項1に記載の方法。
- 前記境界が、前記サブ領域の垂直境界である、請求項5に記載の方法。
- 前記境界が、前記サブ領域の水平境界である、請求項5に記載の方法。
- 前記パディングが、複数のサブ領域のうち、サブ領域の垂直境界、及び前記サブ領域の水平境界に適用される、請求項1に記載の方法。
- 前記画像分割情報が、ラップアラウンドパディングのオフセット値を示す、請求項1に記載の方法。
- 前記画像分割情報が、左パディング幅情報及び右パディング幅情報を示す、請求項1に記載の方法。
- 映像を復号するために、符号化された現画像を再構築する装置であって、前記装置は、
プログラムコードを記憶するように構成された、少なくとも1つのメモリと、
前記プログラムコードを読み出し、前記プログラムコードによって命令された通りに動作するように構成された、少なくとも1つのプロセッサとを備え、前記プログラムコードは、
前記少なくとも1つのプロセッサに、前記現画像に対応する画像分割情報を復号させるように構成された、第1の復号コードと、
前記画像分割情報を使用して、前記少なくとも1つのプロセッサに、前記現画像の複数のサブ領域にパディングが適用されるかどうかを決定させるように構成された、第1の決定コードと、
パディングが適用されないという決定に基づいて、前記少なくとも1つのプロセッサに、前記複数のサブ領域をパディングせずに前記複数のサブ領域を復号させるように構成された、第2の復号コードと、
パディングが適用されるという決定に基づき、前記画像分割情報を使用して、前記パディングがラップアラウンドパディングを含むかどうかを決定するように構成された、第2の決定コードと、
前記パディングがラップアラウンドパディングを含まないという決定に基づき、前記少なくとも1つのプロセッサに、前記複数のサブ領域に反復パディングを適用し、前記反復パディングを使用して前記複数のサブ領域を復号させるように構成された、第1の反復コードと、
前記パディングがラップアラウンドパディングを含むという決定に基づき、前記少なくとも1つのプロセッサに、前記複数のサブ領域にラップアラウンドパディングを適用し、前記ラップアラウンドパディングを使用して前記複数のサブ領域を復号させるように構成された、第2の反復コードと、
前記復号された複数のサブ領域に基づき、前記少なくとも1つのプロセッサに前記現画像を再構築させるように構成された、再構築コードとを含む、装置。 - 前記画像分割情報が、前記現画像に対応する画像パラメータセットに含まれる、請求項11に記載の装置。
- 前記複数のサブ領域が、ブリック、タイル、スライス、タイルグループ、サブ画像、又はサブ層のうちの少なくとも1つを含む、請求項11に記載の装置。
- 前記パディングが、複数のサブ領域のうちのサブ領域の境界に適用される、請求項11に記載の装置。
- 前記境界が、前記サブ領域の垂直境界である、請求項14に記載の装置。
- 前記境界が、前記サブ領域の水平境界である、請求項14に記載の装置。
- 前記パディングが、複数のサブ領域のうち、サブ領域の垂直境界、及び前記サブ領域の水平境界に適用される、請求項11に記載の装置。
- 前記画像分割情報が、ラップアラウンドパディングのオフセット値を示す、請求項11に記載の装置。
- 前記画像分割情報が、左パディング幅情報及び右パディング幅情報を示す、請求項11に記載の装置。
- 命令を記憶する非一時的なコンピュータ可読媒体であって、前記命令は、映像を復号するために符号化された現画像を再構築する装置の1つ以上のプロセッサによって実行されると、前記1つ以上のプロセッサに、
前記現画像に対応する画像分割情報を復号させ、
前記画像分割情報を使用して、前記現画像の複数のサブ領域にパディングが適用されるかどうかを決定させ、
パディングが適用されないという決定に基づき、前記複数のサブ領域をパディングせずに前記複数のサブ領域を復号させ、
パディングが適用されるという決定に基づき、前記画像分割情報を使用して、前記パディングがラップアラウンドパディングを含むかどうかを決定させ、
前記パディングがラップアラウンドパディングを含まないという決定に基づき、前記複数のサブ領域に反復パディングを適用し、前記反復パディングを使用して前記複数のサブ領域を復号させ、
前記パディングがラップアラウンドパディングを含むという決定に基づき、前記複数のサブ領域に前記ラップアラウンドパディングを適用し、前記ラップアラウンドパディングを使用して前記複数のサブ領域を復号させ、
前記復号された複数のサブ領域に基づき、前記現画像を再構築させる、1つ以上の命令を含む、非一時的なコンピュータ可読媒体。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022115640A JP7342210B2 (ja) | 2018-12-31 | 2022-07-20 | 無指向性媒体符号化及び復号のためのラップアラウンドパディングの方法 |
JP2023140481A JP7516637B2 (ja) | 2018-12-31 | 2023-08-30 | 無指向性媒体符号化のためのラップアラウンドパディングの方法 |
Applications Claiming Priority (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201862787063P | 2018-12-31 | 2018-12-31 | |
US62/787,063 | 2018-12-31 | ||
US16/710,936 | 2019-12-11 | ||
US16/710,936 US11252434B2 (en) | 2018-12-31 | 2019-12-11 | Method for wrap-around padding for omnidirectional media coding |
PCT/US2019/068678 WO2020142360A1 (en) | 2018-12-31 | 2019-12-27 | Method for wrap-around padding for omnidirectional media coding |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022115640A Division JP7342210B2 (ja) | 2018-12-31 | 2022-07-20 | 無指向性媒体符号化及び復号のためのラップアラウンドパディングの方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2022513715A true JP2022513715A (ja) | 2022-02-09 |
JP7110490B2 JP7110490B2 (ja) | 2022-08-01 |
Family
ID=71121895
Family Applications (3)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021531786A Active JP7110490B2 (ja) | 2018-12-31 | 2019-12-27 | 無指向性媒体符号化及び復号のためのラップアラウンドパディングの方法 |
JP2022115640A Active JP7342210B2 (ja) | 2018-12-31 | 2022-07-20 | 無指向性媒体符号化及び復号のためのラップアラウンドパディングの方法 |
JP2023140481A Active JP7516637B2 (ja) | 2018-12-31 | 2023-08-30 | 無指向性媒体符号化のためのラップアラウンドパディングの方法 |
Family Applications After (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022115640A Active JP7342210B2 (ja) | 2018-12-31 | 2022-07-20 | 無指向性媒体符号化及び復号のためのラップアラウンドパディングの方法 |
JP2023140481A Active JP7516637B2 (ja) | 2018-12-31 | 2023-08-30 | 無指向性媒体符号化のためのラップアラウンドパディングの方法 |
Country Status (6)
Country | Link |
---|---|
US (2) | US11252434B2 (ja) |
EP (1) | EP3906673A4 (ja) |
JP (3) | JP7110490B2 (ja) |
KR (2) | KR102656160B1 (ja) |
CN (1) | CN113228633B (ja) |
WO (1) | WO2020142360A1 (ja) |
Families Citing this family (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TWI822863B (zh) * | 2018-09-27 | 2023-11-21 | 美商Vid衡器股份有限公司 | 360度視訊寫碼樣本導出 |
US11095916B2 (en) * | 2019-07-23 | 2021-08-17 | Qualcomm Incorporated | Wraparound motion compensation in video coding |
US20220385888A1 (en) * | 2019-09-20 | 2022-12-01 | Electronics And Telecommunications Research Institute | Image encoding/decoding method and device, and recording medium storing bitstream |
US11375238B2 (en) * | 2019-09-20 | 2022-06-28 | Tencent America LLC | Method for padding processing with sub-region partitions in video stream |
WO2021060505A1 (ja) * | 2019-09-27 | 2021-04-01 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ | 符号化装置、復号装置、符号化方法、および復号方法 |
US20220400287A1 (en) * | 2019-11-15 | 2022-12-15 | Hfi Innovation Inc. | Method and Apparatus for Signaling Horizontal Wraparound Motion Compensation in VR360 Video Coding |
WO2021100863A1 (en) * | 2019-11-22 | 2021-05-27 | Sharp Kabushiki Kaisha | Systems and methods for signaling tiles and slices in video coding |
EP4074042A4 (en) * | 2019-12-17 | 2023-01-25 | Alibaba Group Holding Limited | METHODS OF ACHIEVING MOTION COMPENSATION WITH ENVELOPMENT |
US11425420B2 (en) * | 2019-12-27 | 2022-08-23 | Qualcomm Incorporated | Wraparound offsets for reference picture resampling in video coding |
JP2023521295A (ja) | 2020-03-26 | 2023-05-24 | アリババ グループ ホウルディング リミテッド | 映像符号化データをシグナリングするための方法 |
JP2023524000A (ja) * | 2020-05-19 | 2023-06-08 | グーグル エルエルシー | 品質正規化ビデオコード変換のための動的パラメータ選択 |
WO2024091399A1 (en) * | 2022-10-24 | 2024-05-02 | Op Solutions, Llc | Systems and methods for region packing based encoding and decoding |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2022500914A (ja) * | 2018-09-14 | 2022-01-04 | ヴィド スケール インコーポレイテッド | フレキシブルグリッドリージョンのための方法および装置 |
JP2022501905A (ja) * | 2018-09-27 | 2022-01-06 | ヴィド スケール インコーポレイテッド | 360度ビデオコード化のためのサンプル導出 |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20120082216A1 (en) * | 2010-10-01 | 2012-04-05 | General Instrument Corporation | Coding and decoding utilizing picture boundary padding in flexible partitioning |
US9641866B2 (en) | 2011-08-18 | 2017-05-02 | Qualcomm Incorporated | Applying partition-based filters |
US20150071357A1 (en) * | 2013-09-12 | 2015-03-12 | Qualcomm Incorporated | Partial intra block copying for video coding |
KR20240044535A (ko) | 2016-02-09 | 2024-04-04 | 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베. | 효율적인 감소성 또는 효율적인 랜덤 액세스를 허용하는 픽처/비디오 데이터 스트림들에 대한 개념 |
FI20165256L (fi) * | 2016-03-24 | 2017-09-25 | Nokia Technologies Oy | Laitteisto, menetelmä ja tietokoneohjelma videokoodaukseen ja -dekoodaukseen |
US11778231B2 (en) * | 2016-05-26 | 2023-10-03 | Vid Scale, Inc. | Geometric conversion for 360-degree video coding |
CN109076215A (zh) * | 2016-08-23 | 2018-12-21 | 深圳市大疆创新科技有限公司 | 用于提高对弯曲视图视频进行编码/解码的效率的***和方法 |
US10728573B2 (en) * | 2017-09-08 | 2020-07-28 | Qualcomm Incorporated | Motion compensated boundary pixel padding |
US11689724B2 (en) * | 2018-11-02 | 2023-06-27 | Sharp Kabushiki Kaisha | Systems and methods for reference offset signaling in video coding |
-
2019
- 2019-12-11 US US16/710,936 patent/US11252434B2/en active Active
- 2019-12-27 CN CN201980084988.5A patent/CN113228633B/zh active Active
- 2019-12-27 KR KR1020217016175A patent/KR102656160B1/ko active IP Right Grant
- 2019-12-27 WO PCT/US2019/068678 patent/WO2020142360A1/en unknown
- 2019-12-27 EP EP19907708.2A patent/EP3906673A4/en active Pending
- 2019-12-27 KR KR1020247011356A patent/KR20240051290A/ko active Search and Examination
- 2019-12-27 JP JP2021531786A patent/JP7110490B2/ja active Active
-
2021
- 2021-12-23 US US17/560,831 patent/US12034968B2/en active Active
-
2022
- 2022-07-20 JP JP2022115640A patent/JP7342210B2/ja active Active
-
2023
- 2023-08-30 JP JP2023140481A patent/JP7516637B2/ja active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2022500914A (ja) * | 2018-09-14 | 2022-01-04 | ヴィド スケール インコーポレイテッド | フレキシブルグリッドリージョンのための方法および装置 |
JP2022501905A (ja) * | 2018-09-27 | 2022-01-06 | ヴィド スケール インコーポレイテッド | 360度ビデオコード化のためのサンプル導出 |
Non-Patent Citations (9)
Title |
---|
BYEONGDOO CHOI, ET AL., "AHG12: ON PADDING PROCESSING WITH SUBPICTURES", vol. JVET-P0220 (version 1), JPN6022024980, 27 September 2019 (2019-09-27), pages 1 - 3, ISSN: 0004802446 * |
JIANLE CHEN, ET AL., "ALGORITHM DESCRIPTION FOR VERSATILE VIDEO CODING AND TEST MODEL 3 (VTM 3)", vol. JVET-L1002 (version 2), JPN6022024986, 24 December 2018 (2018-12-24), pages 1 - 46, ISSN: 0004802451 * |
PHILIPPE HANHART, ET AL., "AHG8: GEOMETRY PADDING FOR PERP", vol. JVET-J0044 (version 2), JPN6022024984, 11 April 2018 (2018-04-11), pages 1 - 5, ISSN: 0004802449 * |
PHILIPPE HANHART, ET AL., "AHG8: HORIZONTAL GEOMETRY PADDING FOR PERP", vol. JVET-K0333 (version 3), JPN6022024985, 10 July 2018 (2018-07-10), pages 1 - 4, ISSN: 0004802450 * |
PHILIPPE HANHART, ET AL.: ""CE13: PERP with horizontal geometry padding of reference pictures (Test 3.3)"", DOCUMENT: JVET-L0231-R1, vol. JVET-L0231 (version 4), JPN6022024979, 11 October 2018 (2018-10-11), pages 1 - 8, XP030195383, ISSN: 0004802445 * |
PHILIPPE HANHART, ET AL.: ""CE13: PERP with horizontal geometry padding of reference pictures (Test 3.3)"", DOCUMENT: JVET-L0231-R2, vol. JVET-L0231 (version 4), JPN6022024978, 11 October 2018 (2018-10-11), pages 1 - 8, XP030195383, ISSN: 0004802444 * |
XIAOYU XIU, ET AL., "DESCRIPTION OF SDR, HDR, AND 360° VIDEO CODING TECHNOLOGY PROPOSAL BY INTERDIGITAL COMMUNICATIONS, vol. JVET-J0015 (version 3), JPN6022024983, 14 April 2018 (2018-04-14), pages 16 - 24, ISSN: 0004802448 * |
YUWEN HE, ET AL., "AHG8: GEOMETRY PADDING FOR 360 VIDEO CODING", vol. JVET-D0075 (version 3), JPN6022024982, 15 October 2016 (2016-10-15), pages 1 - 10, ISSN: 0004802447 * |
YUWEN HE, ET AL.: ""Motion Compensated Prediction with Geometry Padding for 360 Video Coding"", PROCEEDINGS OF 2017 IEEE VISUAL COMMUNICATIONS AND IMAGE PROCESSING (VCIP 2017), JPN6022024987, 13 December 2017 (2017-12-13), pages 1 - 4, XP033325766, ISSN: 0004802452, DOI: 10.1109/VCIP.2017.8305088 * |
Also Published As
Publication number | Publication date |
---|---|
WO2020142360A1 (en) | 2020-07-09 |
KR102656160B1 (ko) | 2024-04-11 |
KR20210077769A (ko) | 2021-06-25 |
US20220116642A1 (en) | 2022-04-14 |
JP7516637B2 (ja) | 2024-07-16 |
US11252434B2 (en) | 2022-02-15 |
US12034968B2 (en) | 2024-07-09 |
EP3906673A4 (en) | 2022-03-16 |
CN113228633B (zh) | 2024-05-03 |
EP3906673A1 (en) | 2021-11-10 |
JP7110490B2 (ja) | 2022-08-01 |
JP2023162361A (ja) | 2023-11-08 |
CN113228633A (zh) | 2021-08-06 |
JP2022141847A (ja) | 2022-09-29 |
KR20240051290A (ko) | 2024-04-19 |
JP7342210B2 (ja) | 2023-09-11 |
US20200213617A1 (en) | 2020-07-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7342210B2 (ja) | 無指向性媒体符号化及び復号のためのラップアラウンドパディングの方法 | |
JP7234373B2 (ja) | タイル及びサブ画像の分割 | |
AU2023201375B2 (en) | Signaling of adaptive picture size in video bitstream | |
JP2022521943A (ja) | ビデオストリームにおけるサブ領域パーティションでパディング処理する方法、装置及びコンピュータプログラム | |
CN113892260A (zh) | 用于随机存取点和图片类型的标识的方法 | |
US11677972B2 (en) | Identifying tile from network abstraction unit header | |
CN112005549B (zh) | 一种帧内-帧间预测控制方法、装置、设备及存储介质 | |
JP2022521519A (ja) | ビデオビットストリームにおけるインターレイヤ予測のシグナリング | |
US20230075516A1 (en) | System and method for decoding including network abstraction layer unit structure with picture header | |
CN113491128A (zh) | 语法控制的已解码图片缓冲器管理的方法 | |
RU2785364C1 (ru) | Способ циклической компенсации движения с передискретизацией опорного изображения | |
CN110636296B (zh) | 视频解码方法、装置、计算机设备以及存储介质 | |
JP2022530762A (ja) | 符号化映像ストリームにおける長方形スライス分割を信号送信する方法、コンピュータシステム、およびコンピュータプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210603 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210603 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220620 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220720 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7110490 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |