JP2024026864A - クロマ成分を予測するビデオ符号化及び復号方法、及びクロマ成分を予測するビデオ符号化及び復号装置 - Google Patents
クロマ成分を予測するビデオ符号化及び復号方法、及びクロマ成分を予測するビデオ符号化及び復号装置 Download PDFInfo
- Publication number
- JP2024026864A JP2024026864A JP2024006377A JP2024006377A JP2024026864A JP 2024026864 A JP2024026864 A JP 2024026864A JP 2024006377 A JP2024006377 A JP 2024006377A JP 2024006377 A JP2024006377 A JP 2024006377A JP 2024026864 A JP2024026864 A JP 2024026864A
- Authority
- JP
- Japan
- Prior art keywords
- component
- coding unit
- chroma
- information
- residual samples
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 176
- 241000023320 Luma <angiosperm> Species 0.000 description 36
- OSWPMRLSEDHDFF-UHFFFAOYSA-N methyl salicylate Chemical compound COC(=O)C1=CC=CC=C1O OSWPMRLSEDHDFF-UHFFFAOYSA-N 0.000 description 36
- 238000010586 diagram Methods 0.000 description 25
- 238000013139 quantization Methods 0.000 description 25
- 238000000638 solvent extraction Methods 0.000 description 16
- 230000002123 temporal effect Effects 0.000 description 11
- 230000009977 dual effect Effects 0.000 description 10
- 238000001914 filtration Methods 0.000 description 10
- 230000014509 gene expression Effects 0.000 description 10
- 238000001824 photoionisation detection Methods 0.000 description 8
- 230000009466 transformation Effects 0.000 description 8
- 238000006243 chemical reaction Methods 0.000 description 7
- IESVDEZGAHUQJU-ZLBXKVHBSA-N 1-hexadecanoyl-2-(4Z,7Z,10Z,13Z,16Z,19Z-docosahexaenoyl)-sn-glycero-3-phosphocholine Chemical compound CCCCCCCCCCCCCCCC(=O)OC[C@H](COP([O-])(=O)OCC[N+](C)(C)C)OC(=O)CC\C=C/C\C=C/C\C=C/C\C=C/C\C=C/C\C=C/CC IESVDEZGAHUQJU-ZLBXKVHBSA-N 0.000 description 4
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 4
- 230000002457 bidirectional effect Effects 0.000 description 4
- 238000013500 data storage Methods 0.000 description 4
- 230000001419 dependent effect Effects 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 230000011218 segmentation Effects 0.000 description 4
- 238000003491 array Methods 0.000 description 3
- 238000005192 partition Methods 0.000 description 3
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 239000004615 ingredient Substances 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000001174 ascending effect Effects 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000001151 other effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/136—Incoming video signal characteristics or properties
- H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
- H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
- H04N19/196—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computing Systems (AREA)
- Theoretical Computer Science (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Color Television Systems (AREA)
Abstract
【課題】 クロマ成分を予測するビデオ符号化及び復号方法、及びクロマ成分を予測するビデオ符号化及び復号装置を提供する。【解決手段】 符号化単位の予測タイプ、Cr成分のためのcbf情報及びCb成分のためのcbf情報に基づいて、Cr成分のレジデュアルサンプルの加重値及びCb成分のレジデュアルサンプルの加重値を決定し、ビットストリームから、現在ブロックのクロマジョイントレジデュアルサンプルを獲得し、現在ブロックのクロマジョイントレジデュアルサンプル及びCr成分のレジデュアルサンプルの加重値を用いて、Cr成分のレジデュアルサンプルを復元し、現在ブロックのクロマジョイントレジデュアルサンプル及びCb成分のレジデュアルサンプルの加重値を用いて、Cb成分のレジデュアルサンプルを復元するためのビデオ復号方法が提案される。【選択図】 図17
Description
本発明は、映像の符号化及び復号分野に係り、さらに具体的に、クロマ成分を予測するビデオを符号化及び復号する方法及び装置に関する。
高い画質のビデオは、符号化時に多量のデータが要求される。しかし、ビデオデータを伝達するために許容される帯域幅は限定されており、ビデオデータ伝送時に適用されるデータレートが制限されうる。したがって、効率的なビデオデータの伝送のために、画質の劣化を最小化しながら、圧縮率を増加させたビデオデータの符号化及び復号方法が必要である。
ビデオデータは、ピクセル間の空間的重複性及び時間的重複性を除去することで圧縮されうる。隣接したピクセル間に共通の特徴を有することが一般的であるので、隣接したピクセル間の重複性を除去するために、ピクセルからなるデータ単位で符号化情報が伝送される。
データ単位に含まれたピクセルのピクセル値は、直接伝送されず、ピクセル値を獲得するのに必要な方法が伝送される。ピクセル値を原本値と類似して予測する予測方法がデータ単位ごとに決定され、予測方法についての符号化情報が符号化器から復号器に伝送される。また、予測値が原本値と完全に同一ではないので、原本値と予測値との差に係わるレジデュアルデータが符号化器から復号器に伝送される。
予測が正確になるほど予測方法を特定するのに必要な符号化情報が増加するが、レジデュアルデータのサイズが減少する。したがって、符号化情報とレジデュアルデータのサイズを考慮して予測方法が決定される。特に、ピクチャーから分割されたデータ単位は、多様な大きさを有するが、データ単位が大きいほど予測正確度の減少可能性が高いが、一方、符号化情報が減少する。したがって、ピクチャーの特性に合わせてブロックのサイズが決定される。
また、予測方法には、イントラ予測とインター予測がある。イントラ予測は、ブロックが周辺ピクセルからブロックのピクセルを予測する方法である。インター予測は、ブロックの含まれたピクチャーが参照する他のピクチャーのピクセルを参照してピクセルを予測する方法である。したがって、イントラ予測によって空間的重複性が除去され、インター予測によって時間的重複性が除去される。
予測方法の数が増加するほど予測方法を示すための符号化情報の量は増加する。したがって、ブロックに適用される符号化情報も他のブロックから予測して符号化情報のサイズを減らすことができる。
人間の視覚が認知できない限度でビデオデータの損失が許容されるところ、レジデュアルデータを変換及び量子化過程によって損失圧縮(lossy compression)してレジデュアルデータ量を減少させうる。
一実施例によるピクチャーのクロマ成分、すなわち、Cr成分及びCb成分を効率的に符号化及び復号することを技術的課題とする。
本発明の一実施例によるビデオ復号方法は、ビットストリームから現在ブロックを含む符号化単位の予測タイプを示す情報を獲得する段階;前記ビットストリームから、前記現在ブロックのCr成分のためのcbf情報及びCb成分のためのcbf情報を獲得する段階;前記符号化単位の予測タイプ、前記Cr成分のためのcbf情報及び前記Cb成分のためのcbf情報に基づいて、前記Cr成分のレジデュアルサンプルの加重値及び前記Cb成分のレジデュアルサンプルの加重値を決定する段階;前記ビットストリームから、前記現在ブロックのクロマジョイントレジデュアルサンプルを獲得する段階;及び前記現在ブロックのクロマジョイントレジデュアルサンプル及び前記Cr成分のレジデュアルサンプルの加重値を用いて前記Cr成分のレジデュアルサンプルを復元し、前記現在ブロックのクロマジョイントレジデュアルサンプル及び前記Cb成分のレジデュアルサンプルの加重値を用いて前記Cb成分のレジデュアルサンプルを復元する段階;を含む。
一実施例によるクロマ成分を予測するビデオ符号化方法、復号方法、符号化装置及び復号装置は、クロマ成分を予測するCb成分及びCr成分間の類似性を用いて効果的にクロマ成分を符号化及び復号する方法を提供する。
但し、一実施例によるクロマ成分を予測するビデオ符号化方法、復号方法、符号化装置及び復号装置が達成可能な効果は、以上で言及したものに制限されず、言及していないさらに他の効果は、下記記載から本発明が属する技術分野で通常の知識を有する者に明確に理解されるであろう。
本明細書で引用される図面をより十分に理解するために、各図面の簡単な説明が提供される。
一実施例による映像復号装置の概略的なブロック図である。
一実施例による映像復号方法のフローチャートである。
一実施例によって映像復号装置が現在符号化単位を分割して少なくとも1つの符号化単位を決定する過程を示す図面である。
一実施例によって映像復号装置が非正方形である符号化単位を分割して少なくとも1つの符号化単位を決定する過程を示す図面である。
一実施例によって映像復号装置がブロック形態情報及び分割形態モード情報のうち、少なくとも1つに基づいて符号化単位を分割する過程を示す図面である。
一実施例によって映像復号装置が奇数個の符号化単位のうち、所定の符号化単位を決定するための方法を示す図面である。
一実施例によって映像復号装置が現在符号化単位を分割して複数個の符号化単位を決定する場合、複数個の符号化単位が処理される順序を示す図面である。
一実施例によって映像復号装置が所定の順序による符号化単位の処理が不可能な場合、現在符号化単位が奇数個の符号化単位に分割されるものであることを決定する過程を示す図面である。
一実施例によって映像復号装置が第1符号化単位を分割して少なくとも1つの符号化単位を決定する過程を示す図面である。
一実施例によって映像復号装置が第1符号化単位が分割されて決定された非正方形の第2符号化単位が所定の条件を満足する場合、第2符号化単位の分割可能な形態が制限されることを示す図面である。
一実施例によって分割形態モード情報が4個の正方形の符号化単位に分割することを示すことができない場合、映像復号装置が正方形の符号化単位を分割する過程を示す図面である。
一実施例によって複数個の符号化単位間の処理順序が符号化単位の分割過程によっても異なることを示す図面である。
一実施例によって符号化単位が再帰的に分割されて複数個の符号化単位が決定される場合、符号化単位の形態及び大きさが異なることによって符号化単位の深度が決定される過程を示す図面である。
一実施例によって符号化単位の形態及び大きさによって決定される深度及び符号化単位の区分のためのインデックス(part index,以下PID)を示す図面である。
一実施例によってピクチャーに含まれる複数個の所定のデータ単位によって複数個の符号化単位が決定されたことを示す図面である。
映像符号化及び復号システムを示すブロック図である。
一実施例によるビデオ復号装置を示すブロック図である。
一実施例によるビデオ復号方法を示すフローチャートである。
一実施例によるビデオ符号化装置を示すブロック図である。
一実施例によるビデオ符号化方法を示すフローチャートである。
一実施例によるCb成分、Cr成分、及びクロマ符号化成分間の関係を示すグラフである。
一実施例によるCb成分、Cr成分及びクロマ符号化成分間の関係式を示す図面である。
一実施例によるtransform unit syntaxを示す図面である。
一実施例によるCb cbf値、Cr cbfの組合わせに係わって、Cb成分、Cr成分及びクロマ符号化成分間の関係式を示す図面である。
本発明で提供される一実施例による動き情報の復号方法は、ビットストリームから現在ブロックを含む符号化単位の予測タイプを示す情報を獲得する段階;前記ビットストリームから、前記現在ブロックのCr成分のためのcbf情報及びCb成分のためのcbf情報を獲得する段階;前記符号化単位の予測タイプ、前記Cr成分のためのcbf情報及び前記Cb成分のためのcbf情報に基づいて、前記Cr成分のレジデュアルサンプルの加重値及び前記Cb成分のレジデュアルサンプルの加重値を決定する段階;前記ビットストリームから、前記現在ブロックのクロマジョイントレジデュアルサンプルを獲得する段階;及び、前記現在ブロックのクロマジョイントレジデュアルサンプル及び前記Cr成分のレジデュアルサンプルの加重値を用いて前記Cr成分のレジデュアルサンプルを復元し、前記現在ブロックのクロマジョイントレジデュアルサンプル及び前記Cb成分のレジデュアルサンプルの加重値を用いて前記Cb成分のレジデュアルサンプルを復元する段階;を含んでもよい。
一実施例によって前記Cr成分のレジデュアルサンプルの加重値及び前記Cb成分のレジデュアルサンプルの加重値を決定する段階は、前記符号化単位の予測タイプ、前記Cr成分のためのcbf情報及び前記Cb成分のためのcbf情報に基づいて、前記現在ブロックで前記Cb成分のレジデュアルサンプル及び対応する前記Cr成分のレジデュアルサンプルを示すために、1つのクロマサンプルが符号化されるか否かを示すクロマジョイント情報を獲得する段階;及び前記クロマジョイント情報が前記現在ブロックにおいて1つのクロマサンプルが符号化されることを示すとき、前記符号化単位の予測タイプ、前記Cr成分のためのcbf情報及び前記Cb成分のためのcbf情報に基づいて、前記Cr成分のレジデュアルサンプルの加重値及び前記Cb成分のレジデュアルサンプルの加重値を決定する段階;を含んでもよい。
一実施例によって前記Cr成分のレジデュアルサンプルの加重値は、-1/2であり、前記Cb成分のレジデュアルサンプルの加重値は、1である。
一実施例によって前記Cr成分のレジデュアルサンプルの加重値は、-1であり、前記Cb成分のレジデュアルサンプルの加重値は、1である。
一実施例によって前記Cr成分のレジデュアルサンプルの加重値は、1であり、前記Cb成分のレジデュアルサンプルの加重値は、-1/2である。
一実施例によって前記Cr成分のレジデュアルサンプルの加重値及び前記Cb成分のレジデュアルサンプルの加重値を決定する段階は、前記符号化単位の予測タイプが、イントラ予測モードであるか、あるいは、インター予測モードであるかによって、前記Cr成分のレジデュアルサンプルの加重値及び前記Cb成分のレジデュアルサンプルの加重値の組合わせに対応するジョイントモードの個数を異なって設定する段階を含んでもよい。
一実施例によって、前記Cr成分のレジデュアルサンプルの加重値及び前記Cb成分のレジデュアルサンプルの加重値を決定する段階は、前記符号化単位の予測タイプがイントラ予測モードであるとき、前記Cr成分のためのcbf情報及び前記Cb成分のためのcbf情報に基づいて、多数のジョイントモードのうち、1つを選択し、前記選択された1つのジョイントモードによって前記Cr成分のレジデュアルサンプルの加重値及び前記Cb成分のレジデュアルサンプルの加重値を決定する段階を含む。
一実施例による前記Cr成分のレジデュアルサンプルの加重値及び前記Cb成分のレジデュアルサンプルの加重値を決定する段階は、前記符号化単位の予測タイプがインター予測モードであるとき、許容される1つのジョイントモードによって前記Cr成分のレジデュアルサンプルの加重値及び前記Cb成分のレジデュアルサンプルの加重値を決定する段階を含む。
一実施例による前記ビデオ復号方法は、前記クロマジョイント情報、前記Cr成分のためのcbf情報、及び前記Cb成分のためのcbf情報に基づいて、前記Cr成分のレジデュアルサンプルの加重値及び前記Cb成分のレジデュアルサンプルの加重値を含むジョイントモードを決定する段階;及び前記ジョイントモードに基づいて、前記現在ブロックのための量子化パラメータを決定する段階;を含む。
本発明で提案する一実施例によるビデオ復号装置は、ビットストリームから現在ブロックを含む符号化単位の予測タイプを示す情報を獲得し、前記ビットストリームから、前記現在ブロックのCr成分のためのcbf情報及びCb成分のためのcbf情報を獲得し、前記ビットストリームから、前記現在ブロックのクロマジョイントレジデュアルサンプルを獲得する獲得部;及び前記符号化単位の予測タイプ、前記Cr成分のためのcbf情報及び前記Cb成分のためのcbf情報に基づいて、前記Cr成分のレジデュアルサンプルの加重値及び前記Cb成分のレジデュアルサンプルの加重値を決定し、前記現在ブロックのクロマジョイントレジデュアルサンプル及び前記Cr成分のレジデュアルサンプルの加重値を用いて前記Cr成分のレジデュアルサンプルを復元し、前記現在ブロックのクロマジョイントレジデュアルサンプル及び前記Cb成分のレジデュアルサンプルの加重値を用いて前記Cb成分のレジデュアルサンプルを復元する復号部;を含む。
一実施例による前記獲得部は、前記ビットストリームから、前記符号化単位の予測タイプ、前記Cr成分のためのcbf情報及び前記Cb成分のためのcbf情報に基づいて、前記現在ブロックで前記Cb成分のレジデュアルサンプル及び対応する前記Cr成分のレジデュアルサンプルを示すために、1つのクロマサンプルが符号化されるか否かを示すクロマジョイント情報を獲得し、前記復号部は、前記クロマジョイント情報が、1つのクロマサンプルが符号化されることを示すとき、前記符号化単位の予測タイプ、前記Cr成分のためのcbf情報及び前記Cb成分のためのcbf情報に基づいて、前記Cr成分のレジデュアルサンプルの加重値及び前記Cb成分のレジデュアルサンプルの加重値を決定し、前記符号化単位の予測タイプが、イントラ予測モードであるか、あるいは、インター予測モードであるかによって、前記Cr成分のレジデュアルサンプルの加重値及び前記Cb成分のレジデュアルサンプルの加重値の組合わせに対応するジョイントモードの個数を異なって設定することができる。
一実施例による前記復号部は、前記符号化単位の予測タイプがインター予測モードであるとき、許容される1つのジョイントモードによって前記Cr成分のレジデュアルサンプルの加重値及び前記Cb成分のレジデュアルサンプルの加重値を決定する。
本発明で提案する一実施例によるビデオ符号化方法は、現在ブロックを含む符号化単位の予測タイプを決定する段階;前記現在ブロックのCr成分のためのcbf情報及びCb成分のためのcbf情報を決定する段階;前記符号化単位の予測タイプ、前記Cr成分のためのcbf情報及び前記Cb成分のためのcbf情報に基づいて、前記Cr成分のレジデュアルサンプルの加重値及び前記Cb成分のレジデュアルサンプルの加重値を決定する段階;及び前記現在ブロックのクロマジョイントレジデュアルサンプルを生成する段階;を含み、前記現在ブロックのクロマジョイントレジデュアルサンプル及び前記Cr成分のレジデュアルサンプルの加重値を用いて前記Cr成分のレジデュアルサンプルが復元され、前記現在ブロックのクロマジョイントレジデュアルサンプル及び前記Cb成分のレジデュアルサンプルの加重値を用いて前記Cb成分のレジデュアルサンプルが復元されうる。
一実施例による前記ビデオ符号化方法は、前記現在ブロックで前記Cb成分のレジデュアルサンプル及び対応する前記Cr成分のレジデュアルサンプルを示すために、1つのクロマサンプルが符号化されるか否かを示すクロマジョイント情報を生成する段階をさらに含み、前記現在ブロックにおいて1つのクロマサンプルが符号化されるとき、前記符号化単位の予測タイプ、前記Cr成分のためのcbf情報及び前記Cb成分のためのcbf情報に基づいて、前記Cr成分のレジデュアルサンプルの加重値及び前記Cb成分のレジデュアルサンプルの加重値が決定され、前記符号化単位の予測タイプが、イントラ予測モードであるか、あるいは、インター予測モードであるかによって、前記Cr成分のレジデュアルサンプルの加重値及び前記Cb成分のレジデュアルサンプルの加重値の組合わせに対応するジョイントモードの個数を異なって設定することができる。
一実施例によって前記Cr成分のレジデュアルサンプルの加重値及び前記Cb成分のレジデュアルサンプルの加重値を決定する段階は、前記符号化単位の予測タイプがイントラ予測モードであるとき、前記Cr成分のためのcbf情報及び前記Cb成分のためのcbf情報に基づいて、多数のジョイントモードのうち、1つを選択し、前記選択されたジョイントモードによって前記Cr成分のレジデュアルサンプルの加重値及び前記Cb成分のレジデュアルサンプルの加重値を決定する段階;及び前記符号化単位の予測タイプがインター予測モードであるとき、許容される1つのジョイントモードによって前記Cr成分のレジデュアルサンプルの加重値及び前記Cb成分のレジデュアルサンプルの加重値を決定する段階;を含む。
本発明の一実施例によるビデオ復号方法をコンピュータで具現するためのプログラムが記録されたコンピュータで読み取り可能な記録媒体が開示される。
本発明の一実施例によるビデオ符号化方法をコンピュータで具現するためのプログラムが記録されたコンピュータで読み取り可能な記録媒体が開示される。
本発明は、多様な変更を加え、様々な実施例を有することができるところ、特定の実施例を図面に例示し、これを詳細な説明を通じて詳細に説明する。しかし、これは、本開示の実施形態について限定しようとするものではなく、本開示は、複数の実施例の思想及び技術範囲に含まれる全ての変更、均等物ないし代替物を含むと理解されねばならない。
実施例を説明する際に、関連した公知技術に係わる具体的な説明が本開示の要旨を不要に不明にすると判断される場合、その詳細な説明を省略する。また、明細書の説明過程で用いられる数字(例えば、第1、第2など)は、1つの構成要素を他の構成要素と区分するための識別記号に過ぎない。
また、本明細書において、一構成要素が他の構成要素と「連結される」または「接続される」などと言及されたときには、前記一構成要素が前記他の構成要素と直接連結されるか、または直接接続されるが、特に反対となる記載が存在しない限り、中間にさらに他の構成要素を媒介して連結されるか、または接続されると理解されねばならない。
また、本明細書において、「~部(ユニット)」、「モジュール」などと表現される構成要素は、2個以上の構成要素が1つの構成要素に組み合わせられるか、または、1つの構成要素がさらに細分化された機能別に2個以上にも分化されうる。また、以下で説明する構成要素それぞれは、担当する主機能以外にも他の構成要素が担当する機能のうち、一部または全部の機能をさらに遂行し、構成要素それぞれが担当する主機能のうち、一部機能が他の構成要素によって専担して遂行されてもよいということは言うまでもない。
また、本明細書において、「映像(image)」または「ピクチャー」は、ビデオの静止映像であるか、動画、すなわち、ビデオそのものを示す。
また、本明細書において「サンプル」は、映像のサンプリング位置に割り当てられたデータであって、プロセッシング対象となるデータを意味する。例えば、空間領域の映像において画素値、変換領域上の変換係数がサンプルでもある。そのような少なくとも1つのサンプルを含む単位をブロックであると定義する。
また、本明細書において、「現在ブロック(Current Block)」は、符号化または復号しようとする現在映像の最大符号化単位、符号化単位、予測単位または、変換単位のブロックを意味する。
また、本明細書において、ある動きベクトルがリスト0方向であるということは、リスト0に含まれた参照ピクチャー内のブロックを示すために用いられる動きベクトルということを意味し、ある動きベクトルがリスト1方向であるということは、リスト1に含まれた参照ピクチャー内のブロックを示すために用いられる動きベクトルであるということを意味する。また、ある動きベクトルが単方向であるということは、リスト0またはリスト1に含まれた参照ピクチャー内のブロックを示すために用いられる動きベクトルであるということを意味し、ある動きベクトルが双方向であるということは、動きベクトルがリスト0方向の動きベクトルとリスト1方向の動きベクトルを含むということを意味する。
以下、図1ないし図16に基づいて一実施例によって映像符号化装置及び映像復号装置、映像符号化方法及び映像復号方法が説明される。図3ないし図16に基づいて一実施例によって映像のデータ単位を決定する方法が説明され、図17ないし図28を参照して、一実施例によるタイル及びタイルグループを用いるビデオ符号化/復号方法が後述される。
以下、図1及び図2を参照して本開示の一実施例によって多様な形態の符号化単位に基づいて適応的に選択するための方法及び装置が説明される。
図1は、一実施例によって映像復号装置を概略的に示すブロック図である。
映像復号装置100は、受信部110及び復号部120を含む。受信部110及び復号部120は、少なくとも1つのプロセッサを含んでもよい。また、受信部110及び復号部120は、少なくとも1つのプロセッサが遂行する命令語を保存するメモリを含んでもよい。
受信部110は、ビットストリームを受信することができる。ビットストリームは、後述する映像符号化装置2200が映像を符号化した情報を含む。また、ビットストリームは、映像符号化装置2200から伝送されうる。映像符号化装置2200及び映像復号装置100は、有線または無線で連結され、受信部110は、有線または無線を通じてビットストリームを受信することができる。受信部110は、光学メディア、ハードディスクのような記録媒体からビットストリームを受信することができる。復号部120は、受信されたビットストリームから獲得された情報に基づいて映像を復元することができる。復号部120は、映像を復元するためのシンタックスエレメントをビットストリームから獲得することができる。復号部120は、シンタックスエレメントに基づいて映像を復元することができる。
映像復号装置100の動作については、図2と共にさらに詳細に説明する。
図2は、一実施例によって映像復号方法を示すフローチャートである。
本発明の一実施例によれば、受信部110は、ビットストリームを受信する。
映像復号装置100は、ビットストリームから符号化単位の分割形態モードに対応するビンストリングを獲得する段階(210)を遂行する。映像復号装置100は、符号化単位の分割規則を決定する段階(220)を遂行する。また、映像復号装置100は、分割形態モードに対応するビンストリング及び前記分割規則のうち、少なくとも1つに基づいて、符号化単位を複数の符号化単位に分割する段階(230)を遂行する。映像復号装置100は、分割規則を決定するために、符号化単位の幅及び高さの比率による、前記符号化単位のサイズの許容可能な第1範囲を決定することができる。映像復号装置100は、分割規則を決定するために、符号化単位の分割形態モードによる、符号化単位のサイズの許容可能な第2範囲を決定することができる。
以下、本開示の一実施例によって符号化単位の分割について詳細に説明する。
まず、1枚のピクチャー(Picture)は、1つ以上のスライスあるいは、1つ以上のタイルに分割されうる。1つのスライスあるいは、1つのタイルは、1つ以上の最大符号化単位(Coding Tree Unit; CTU)のシーケンスでもある。最大符号化単位(CTU)と対比される概念として、最大符号化ブロック(Coding Tree Block; CTB)がある。
最大符号化ブロック(CTB)は、NxN個のサンプルを含むNxNブロックを意味する(Nは、整数)。各カラー成分は、1つ以上の最大符号化ブロックに分割されうる。
ピクチャーが3個のサンプルアレイ(Y、Cr、Cb成分別サンプルアレイ)を有する場合、最大符号化単位(CTU)とは、ルマサンプルの最大符号化ブロック及びそれに対応するクロマサンプルの2個の最大符号化ブロックと、ルマサンプル、クロマサンプルを符号化するのに用いられるシンタックス構造を含む単位である。ピクチャーがモノクロームピクチャーである場合に最大符号化単位とは、モノクロームサンプルの最大符号化ブロックとモノクロームサンプルを符号化するのに用いられるシンタックス構造を含む単位である。ピクチャーがカラー成分別に分離されるカラープレーンに符号化されるピクチャーである場合に最大符号化単位とは、当該ピクチャーとピクチャーのサンプルを符号化するのに用いられるシンタックス構造を含む単位である。
1つの最大符号化ブロック(CTB)は、MxN個のサンプルを含むMxN符号化ブロック(coding block)に分割されうる(M、Nは、整数)。
ピクチャーがY、Cr、Cb成分別サンプルアレイを有する場合に符号化単位(CodingUnit;CU)とは、ルマサンプルの符号化ブロック及びそれに対応するクロマサンプルの2個の符号化ブロックと、ルマサンプル、クロマサンプルを符号化するのに用いられるシンタックス構造を含む単位である。ピクチャーがモノクロームピクチャーである場合に符号化単位とは、モノクロームサンプルの符号化ブロックとモノクロームサンプルを符号化するのに用いられるシンタックス構造を含む単位である。ピクチャーがカラー成分別に分離するカラープレーンに符号化されるピクチャーである場合に符号化単位とは、当該ピクチャーとピクチャーのサンプルを符号化するのに用いられるシンタックス構造を含む単位である。
前述したように、最大符号化ブロックと最大符号化単位は、互いに区別される概念であり、符号化ブロックと符号化単位は、互いに区別される概念である。すなわち、(最大)符号化単位は、当該サンプルを含む(最大)符号化ブロックとそれに対応するシンタックス構造を含むデータ構造を意味する。しかし、当業者が(最大)符号化単位または(最大)符号化ブロックが所定個数のサンプルを含む所定サイズのブロックを指称するということを理解することができるので、以下、明細書では、最大符号化ブロックと最大符号化単位、または符号化ブロックと符号化単位を特別な事情がない限り、区別せず、言及する。
映像は、最大符号化単位(Coding Tree Unit; CTU)に分割されうる。最大符号化単位のサイズは、ビットストリームから獲得された情報に基づいて決定されうる。最大符号化単位の形状は、同一サイズの正方形を有することができる。しかし、それに限定されるものではない。
例えば、ビットストリームからルマ符号化ブロックの最大サイズに係わる情報が獲得されうる。例えば、ルマ符号化ブロックの最大サイズに係わる情報が示すルマ符号化ブロックの最大サイズは、4x4、8x8、16x16、32x32、64x64、128x128、256x256のうち、1つでもある。
例えば、ビットストリームから2分割が可能なルマ符号化ブロックの最大サイズとルマブロックサイズ差に係わる情報が獲得されうる。ルマブロックサイズ差に係わる情報は、ルマ最大符号化単位と2分割が可能な最大ルマ符号化ブロックとのサイズ差を示すことができる。したがって、ビットストリームから獲得された2分割が可能なルマ符号化ブロックの最大サイズに係わる情報とルマブロックサイズ差に係わる情報を結合すれば、ルマ最大符号化単位のサイズが決定されうる。ルマ最大符号化単位のサイズを利用すれば、クロマ最大符号化単位のサイズも決定することができる。例えば、カラーフォーマットによってY:Cb:Cr比率が4:2:0であれば、クロマブロックのサイズは、ルマブロックのサイズの半分でもあるし、同じくクロマ最大符号化単位のサイズは、ルマ最大符号化単位のサイズの半分でもある。
一実施例によれば、バイナリー分割(binary split)が可能なルマ符号化ブロックの最大サイズに係わる情報は、ビットストリームから獲得するので、バイナリー分割が可能なルマ符号化ブロックの最大サイズは、可変的にも決定される。これと異なって、ターナリー分割(ternary split)が可能なルマ符号化ブロックの最大サイズは固定されうる。例えば、Iピクチャーでターナリー分割が可能なルマ符号化ブロックの最大サイズは、32x32であり、PピクチャーまたはBピクチャーでターナリー分割が可能なルマ符号化ブロックの最大サイズは、64x64でもある。
また、最大符号化単位は、ビットストリームから獲得された分割形態モード情報に基づいて符号化単位で階層的に分割されうる。分割形態モード情報として、クアッド分割(quad split)如何を示す情報、多分割如何を示す情報、分割方向情報及び分割タイプ情報のうち、少なくとも1つがビットストリームから獲得されうる。
例えば、クアッド分割(quad split)如何を示す情報は、現在符号化単位がクアッド分割(QUAD_SPLIT)されるか否かを示す。
現在符号化単位がクアッド分割されなければ、多分割如何を示す情報は、現在符号化単位がこれ以上分割されないか(NO_SPLIT)、それともバイナリー/ターナリー分割されるかを示す。
現在符号化単位がバイナリー分割されるか、ターナリー分割されれば、分割方向情報は、現在符号化単位が水平方向または垂直方向のうち、1つに分割されることを示す。
現在符号化単位が水平または、垂直方向に分割されれば、分割タイプ情報は、現在符号化単位をバイナリー分割)またはターナリー分割に分割することを示す。
分割方向情報及び分割タイプ情報によって、現在符号化単位の分割モードが決定されうる。現在符号化単位が水平方向にバイナリー分割される場合の分割モードは、バイナリー水平分割(SPLIT_BT_HOR)、水平方向にターナリー分割される場合のターナリー水平分割(SPLIT_TT_HOR)、垂直方向にバイナリー分割される場合の分割モードは、バイナリー垂直分割(SPLIT_BT_VER)及び垂直方向にターナリー分割される場合の分割モードは、ターナリー垂直分割(SPLIT_BT_VER)に決定されうる。
映像復号装置100は、ビットストリームから分割形態モード情報を1つのビンストリングから獲得する。映像復号装置100が受信したビットストリームの形態は、Fixed length binary code, Unary code, Truncated unary code、既決定のバイナリーコードなどを含んでもよい。ビンストリングは、情報を2進数の羅列で示したものである。ビンストリングは、少なくとも1つのビットで構成されうる。映像復号装置100は、分割規則に基づいてビンストリングに対応する分割形態モード情報を獲得することができる。映像復号装置100は、1つのビンストリングに基づいて、符号化単位をクアッド分割するか否か、または分割方向及び分割タイプを決定することができる。
符号化単位は、最大符号化単位よりも小さいか、同一である。例えば、最大符号化単位も最大サイズを有する符号化単位なので、符号化単位の1つである。最大符号化単位に係わる分割形態モード情報が分割されていないことを示す場合、最大符号化単位で決定される符号化単位は、最大符号化単位と同じ大きさを有する。最大符号化単位に係わる分割形態モード情報が分割されることを示す場合、最大符号化単位は、符号化単位に分割されうる。また、符号化単位に係わる分割形態モード情報が分割を示す場合、符号化単位は、さらに小さいサイズの符号化単位に分割されうる。但し、映像の分割は、それに限定されるものではなく、最大符号化単位及び符号化単位は、区別されない場合もある。符号化単位の分割については、図3ないし図16でさらに詳細に説明する。
また、符号化単位から予測のための1つ以上の予測ブロックが決定されうる。予測ブロックは、符号化単位と同一であるか、小さい。また、符号化単位から変換のための1つ以上の変換ブロックが決定される。変換ブロックは、符号化単位と同一であるか、小さい。
変換ブロックと予測ブロックの形状及び大きさは、互いに関係ない。
他の実施例において、符号化単位が予測ブロックとして符号化単位を用いて予測が遂行されうる。また、符号化単位が変換ブロックとして符号化単位を用いて変換が遂行されうる。
符号化単位の分割については、図3ないし図16でさらに詳細に説明する。本開示の現在ブロック及び周辺ブロックは、最大符号化単位、符号化単位、予測ブロック及び変換ブロックのうち、1つを示す。また、現在ブロックまたは現在符号化単位は、現在復号または、符号化が進められるブロックまたは現在分割が進められているブロックである。周辺ブロックは、現在ブロック以前に復元されたブロックでもある。周辺ブロックは、現在ブロックから空間的または時間的に隣接してもよい。周辺ブロックは、現在ブロックの左下側、左側、左上側、上側、右上側、右側、右下側のうち、1つに位置しうる。
図3は、一実施例によって映像復号装置が現在符号化単位を分割して少なくとも1つの符号化単位を決定する過程を示す。
ブロック形態は、4Nx4N、4Nx2N、2Nx4N、4NxN、Nx4N、32NxN、Nx32N、16NxN、Nx16N、8NxNまたは、Nx8Nを含んでもよい。ここで、Nは、正の整数でもある。ブロック形態情報は、符号化単位の形状、方向、幅、及び高さの比率、またはサイズのうち、少なくとも1つを示す情報である。
符号化単位の形状は、正方形(square)及び非正方形(non-square)を含んでもよい。符号化単位の幅及び高さの長さが同一である場合(すなわち、符号化単位のブロック形態が4Nx4Nである場合)、映像復号装置100は、符号化単位のブロック形態情報を正方形に決定する。映像復号装置100は、符号化単位の形状を非正方形に決定する。
符号化単位の幅及び高さの長さが異なる場合(すなわち、符号化単位のブロック形態が4Nx2N、2Nx4N、4NxN、Nx4N、32NxN、Nx32N、16NxN、Nx16N、8NxNまたは、Nx8Nである場合)、映像復号装置100は、符号化単位のブロック形態情報を非正方形に決定する。符号化単位の形状が非正方形である場合、映像復号装置100は、符号化単位のブロック形態情報のうち、幅及び高さの比率を、1:2、2:1、1:4、4:1、1:8、8:1、1:16、16:1、1:32、32:1のうち、少なくとも1つに決定する。また、符号化単位の幅の長さ及び高さの長さに基づいて、映像復号装置100は、符号化単位が水平方向であるか、垂直方向であるかを決定する。また、符号化単位の幅の長さ、高さの長さまたは広さのうち、少なくとも1つに基づいて、映像復号装置100は、符号化単位のサイズを決定することができる。
一実施例によって映像復号装置100は、ブロック形態情報を用いて符号化単位の形態を決定し、分割形態モード情報を用いて符号化単位が如何なる形態に分割されるかを決定する。すなわち、映像復号装置100が用いるブロック形態情報が如何なるブロック形態を示すかによって、分割形態モード情報が示す符号化単位の分割方法が決定されうる。
映像復号装置100は、ビットストリームから分割形態モード情報を獲得することができる。しかし、それに限定されるものではなく、映像復号装置100及び映像符号化装置2200は、ブロック形態情報に基づいて予め約束された分割形態モード情報を決定する。映像復号装置100は、最大符号化単位または最小符号化単位に対して予め約束された分割形態モード情報を決定する。例えば、映像復号装置100は、最大符号化単位に対して分割形態モード情報をクアッド分割(quad split)に決定することができる。また、映像復号装置100は、最小符号化単位に対して分割形態モード情報を「分割しない」と決定しうる。具体的に、映像復号装置100は、最大符号化単位のサイズを256x256と決定しうる。映像復号装置100は、予め約束された分割形態モード情報をクアッド分割と決定することができる。クアッド分割は、符号化単位の幅及び高さをいずれも二等分する分割形態モードである。映像復号装置100は、分割形態モード情報に基づいて256x256サイズの最大符号化単位から128x128サイズの符号化単位を獲得することができる。また、映像復号装置100は、最小符号化単位のサイズを4x4と決定することができる。映像復号装置100は、最小符号化単位に対して「分割しない」を示す分割形態モード情報を獲得することができる。
一実施例によって、映像復号装置100は、現在符号化単位が正方形であることを示すブロック形態情報を用いることができる。例えば、映像復号装置100は、分割形態モード情報によって正方形の符号化単位を分割しないか、垂直に分割するか、水平に分割するか、4個の符号化単位に分割するかなどを決定する。図3を参照すれば、現在符号化単位300のブロック形態情報が正方形を示す場合、復号部120は、分割されていないことを示す分割形態モード情報によって現在符号化単位300と同じ大きさを有する符号化単位310aを分割しないか、所定の分割方法を示す分割形態モード情報に基づいて分割された符号化単位310b、310c、310d、310e、310fなどを決定することができる。
図3を参照すれば、映像復号装置100は、一実施例によって垂直方向に分割されることを示す分割形態モード情報に基づいて現在符号化単位300を垂直方向に分割した2つの符号化単位310bを決定する。映像復号装置100は、水平方向に分割されることを示す分割形態モード情報に基づいて現在符号化単位300を水平方向に分割した2つの符号化単位310cを決定することができる。映像復号装置100は、垂直方向及び水平方向に分割されることを示す分割形態モード情報に基づいて現在符号化単位300を垂直方向及び水平方向に分割した4つの符号化単位310dを決定する。映像復号装置100は、一実施例によって垂直方向にターナリー(ternary)分割されることを示す分割形態モード情報に基づいて現在符号化単位300を垂直方向に分割した3つの符号化単位310eを決定することができる。映像復号装置100は、水平方向にターナリー分割されることを示す分割形態モード情報に基づいて現在符号化単位300を水平方向に分割した3つの符号化単位310fを決定することができる。但し、正方形の符号化単位が分割される分割形態は、上述した形態に限定して解釈されてはならず、分割形態モード情報が示すことができる多様な形態が含まれる。正方形の符号化単位が分割される所定の分割形態は、以下で多様な実施例を通じて具体的に説明する。
図4は、一実施例によって映像復号装置が非正方形である符号化単位を分割して少なくとも1つの符号化単位を決定する過程を図示する。
一実施例によって映像復号装置100は、現在符号化単位が非正方形であることを示すブロック形態情報を用いることができる。映像復号装置100は、分割形態モード情報によって非正方形の現在符号化単位を分割しないか、所定の方法で分割するかを決定する。図4を参照すれば、現在符号化単位400または450のブロック形態情報が非正方形を示す場合、映像復号装置100は、分割されていないことを示す分割形態モード情報によって現在符号化単位400または450と同じ大きさを有する符号化単位410または460を決定するか、所定の分割方法を示す分割形態モード情報に基づいて分割された符号化単位420a、420b、430a、430b、430c、470a、470b、480a、480b、480cを決定する。非正方形の符号化単位が分割される所定の分割方法は、以下で多様な実施例を通じて具体的に説明する。
一実施例によって映像復号装置100は、分割形態モード情報を用いて符号化単位が分割される形態を決定し、その場合、分割形態モード情報は、符号化単位が分割されて生成される少なくとも1つの符号化単位の個数を示す。図4を参照すれば、分割形態モード情報が2つの符号化単位に現在符号化単位400または450が分割されることを示す場合、映像復号装置100は、分割形態モード情報に基づいて現在符号化単位400または450を分割して現在符号化単位に含まれる2つの符号化単位420a、420b、または470a、470bを決定する。
一実施例によって映像復号装置100が分割形態モード情報に基づいて非正方形の現在符号化単位400または450を分割する場合、映像復号装置100は、非正方形の現在符号化単位400または450の長辺の位置を考慮して現在符号化単位を分割することができる。例えば、映像復号装置100は、現在符号化単位400または450の形態を考慮して、現在符号化単位400または450の長辺を分割する方向に現在符号化単位400または450を分割して複数個の符号化単位を決定することができる。
一実施例によって、分割形態モード情報が奇数個のブロックに符号化単位を分割(ターナリー分割)することを示す場合、映像復号装置100は、現在符号化単位400または450に含まれる奇数個の符号化単位を決定する。例えば、分割形態モード情報が3個の符号化単位に現在符号化単位400または450を分割することを示す場合、映像復号装置100は、現在符号化単位400または450を3個の符号化単位430a、430b、430c、480a、480b、480cに分割することができる。
一実施例によって、現在符号化単位400または450の幅及び高さの比率が4:1または1:4でもある。幅及び高さの比率が4:1である場合、幅の長さが高さの長さよりも長いので、ブロック形態情報は、水平方向でもある。幅及び高さの比率が1:4である場合、幅の長さが高さの長さよりも短いので、ブロック形態情報は、垂直方向でもある。映像復号装置100は、分割形態モード情報に基づいて現在符号化単位を奇数個のブロックに分割することを決定する。また、映像復号装置100は、現在符号化単位400または450のブロック形態情報に基づいて現在符号化単位400または450の分割方向を決定する。例えば、現在符号化単位400が垂直方向である場合、映像復号装置100は、現在符号化単位400を水平方向に分割して符号化単位430a、430b、430cを決定することができる。また、現在符号化単位450が水平方向である場合、映像復号装置100は、現在符号化単位450を垂直方向に分割して符号化単位480a、480b、480cを決定することができる。
一実施例によって映像復号装置100は、現在符号化単位400または450に含まれる奇数個の符号化単位を決定し、決定された符号化単位のサイズがいずれも同一ではない。例えば、決定された奇数個の符号化単位430a、430b、430c、480a、480b、480cのうち、所定の符号化単位430bまたは、480bのサイズは、他の符号化単位430a、430c、480a、480cとは異なる大きさを有する。すなわち、現在符号化単位400または450が分割されて決定されうる符号化単位は、複数種のサイズを有し、場合によっては、奇数個の符号化単位430a、430b、430c、480a、480b、480cがそれぞれ互いに異なる大きさを有する。
一実施例によって分割形態モード情報が奇数個のブロックに符号化単位が分割されることを示す場合、映像復号装置100は、現在符号化単位400または450に含まれる奇数個の符号化単位を決定し、かつ映像復号装置100は、分割して生成される奇数個の符号化単位のうち、少なくとも1つの符号化単位に対して所定の制限を置くことができる。図4を参照すれば、映像復号装置100は、現在符号化単位400または450が分割されて生成された3個の符号化単位430a、430b、430c、480a、480b、480cのうち、中央に位置する符号化単位430b、480bに対する復号過程を他の符号化単位430a、430c、480a、480cと異なって遂行することができる。例えば、映像復号装置100は、中央に位置する符号化単位430b、480bに対しては、他の符号化単位430a、430c、480a、480cと異なって、それ以上分割されないように制限するか、所定の回数だけ分割されるように制限することができる。
図5は、一実施例によって映像復号装置がブロック形態情報及び分割形態モード情報のうち、少なくとも1つに基づいて符号化単位を分割する過程を図示する。
一実施例によって映像復号装置100は、ブロック形態情報及び分割形態モード情報のうち、少なくとも1つに基づいて正方形の第1符号化単位500を符号化単位に分割するか、分割しないことと決定する。一実施例によって分割形態モード情報が水平方向に第1符号化単位500を分割することを示す場合、映像復号装置100は、第1符号化単位500を水平方向に分割して第2符号化単位510を決定する。一実施例によって用いられる第1符号化単位、第2符号化単位、第3符号化単位は、符号化単位間の分割前後関係を理解するために用いられた用語である。例えば、第1符号化単位を分割すれば、第2符号化単位が決定され、第2符号化単位が分割されれば、第3符号化単位が決定されうる。以下では、用いられる第1符号化単位、第2符号化単位、及び第3符号化単位の関係は、上述した特徴によるものと理解されうる。
一実施例によって映像復号装置100は、決定された第2符号化単位510を分割形態モード情報に基づいて、符号化単位に分割するか、分割しないことに決定する。図5を参照すれば、映像復号装置100は、分割形態モード情報に基づいて、第1符号化単位500を分割して決定された非正方形の第2符号化単位510を少なくとも1つの第3符号化単位520a、520b、520c、520dなどに分割するか、第2符号化単位510を分割しない。映像復号装置100は、分割形態モード情報を獲得し、映像復号装置100は、獲得した分割形態モード情報に基づいて、第1符号化単位500を分割して多様な形態の複数個の第2符号化単位(例えば、510)を分割し、第2符号化単位510は、分割形態モード情報に基づいて、第1符号化単位500が分割された方式によって分割されうる。一実施例によって、第1符号化単位500が第1符号化単位500に係わる分割形態モード情報に基づいて、第2符号化単位510に分割された場合、第2符号化単位510も第2符号化単位510に係わる分割形態モード情報に基づいて、第3符号化単位(例えば、520a、520b、520c、520dなど)に分割される。すなわち、符号化単位は、符号化単位それぞれに係わる分割形態モード情報に基づいて再帰的に分割されうる。したがって、非正方形の符号化単位で正方形の符号化単位が決定され、そのような正方形の符号化単位が再帰的に分割されて非正方形の符号化単位が決定されうる。
図5を参照すれば、非正方形の第2符号化単位510が分割されて決定される奇数個の第3符号化単位520b、520c、520dのうち、所定の符号化単位(例えば、中央に位置する符号化単位または正方形の符号化単位)は、再帰的に分割されうる。一実施例によって奇数個の第3符号化単位520b、520c、520dのうち、1つである非正方形の第3符号化単位520bは、水平方向に分割されて複数個の第4符号化単位に分割されうる。複数個の第4符号化単位530a、530b、530c、530dのうち、1つである非正方形の第4符号化単位530bまたは530dは、再び複数個の符号化単位に分割されうる。例えば、非正方形の第4符号化単位530bまたは530dは、奇数個の符号化単位に再び分割されうる。符号化単位の再帰的分割に用いられる方法については、多様な実施例を通じて後述する。
一実施例によって映像復号装置100は、分割形態モード情報に基づいて、第3符号化単位520a、520b、520c、520dなどそれぞれを符号化単位に分割する。また、映像復号装置100は、分割形態モード情報に基づいて、第2符号化単位510を分割しないことに決定する。映像復号装置100は、一実施例によって非正方形の第2符号化単位510を奇数個の第3符号化単位520b、520c、520dに分割する。映像復号装置100は、奇数個の第3符号化単位520b、520c、520dのうち、所定の第3符号化単位に対して所定の制限を置く。例えば、映像復号装置100は、奇数個の第3符号化単位520b、520c、520dのうち、中央に位置する符号化単位520cに対しては、それ以上分割されないように制限するか、または設定可能な回数に分割されねばならないものと制限することができる。
図5を参照すれば、映像復号装置100は、非正方形の第2符号化単位510に含まれる奇数個の第3符号化単位520b、520c、520dのうち、中央に位置する符号化単位520cは、それ以上分割されないか、所定の分割形態に分割(例えば、4個の符号化単位にのみ分割するか、第2符号化単位510が分割された形態に対応する形態に分割)されることに制限するか、所定の回数にのみ分割(例えば、n回だけ分割、n>0)することに制限することができる。但し、中央に位置した符号化単位520cに対する前記制限は、単なる実施例に過ぎないので、上述した実施例によって制限されて解釈されてはならず、中央に位置した符号化単位520cが他の符号化単位520b、520dと異なって復号される多様な制限を含むと解釈されねばならない。
一実施例によって映像復号装置100は、現在符号化単位を分割するために用いられる分割形態モード情報を現在符号化単位内の所定の位置で獲得しうる。
図6は、一実施例によって映像復号装置が奇数個の符号化単位のうち、所定の符号化単位を決定するための方法を図示する。
図6を参照すれば、現在符号化単位600、650の分割形態モード情報は、現在符号化単位600、650に含まれる複数個のサンプルのうち、所定位置のサンプル(例えば、中央に位置するサンプル640、690)で獲得されうる。但し、そのような分割形態モード情報のうち、少なくとも1つが獲得される現在符号化単位600内の所定位置が図6で図示する中央に位置に限定して解釈されてはならず、所定位置には、現在符号化単位600内に含まれる多様な位置(例えば、最上端、最下端、左側、右側、左上端、左下端、右上端または、右下端など)が含まれると解釈されねばならない。映像復号装置100は、所定位置から獲得される分割形態モード情報を獲得して現在符号化単位を多様な形態及びサイズの符号化単位に分割するか、分割しないことに決定することができる。
一実施例によって映像復号装置100は、現在符号化単位が所定の個数の符号化単位に分割された場合、そのうち、1つの符号化単位を選択することができる。複数個の符号化単位のうち、1つを選択するための方法は、様々であり、そのような方法に係わる説明は、以下の多様な実施例を通じて後述する。
一実施例によって映像復号装置100は、現在符号化単位を複数個の符号化単位に分割し、所定位置の符号化単位を決定することができる。一実施例によって映像復号装置100は、奇数個の符号化単位のうち、中央に位置する符号化単位を決定するために奇数個の符号化単位それぞれの位置を示す情報を用いることができる。図6を参照すれば、映像復号装置100は、現在符号化単位600または現在符号化単位650を分割して奇数個の符号化単位620a、620b、620c、または奇数個の符号化単位660a、660b、660cを決定することができる。映像復号装置100は、奇数個の符号化単位620a、620b、620c、または奇数個の符号化単位660a、660b、660cの位置に係わる情報を用いて中央符号化単位620b、または中央符号化単位660bを決定することができる。例えば、映像復号装置100は、符号化単位620a、620b、620cに含まれる所定サンプルの位置を示す情報に基づいて符号化単位620a、620b、620cの位置を決定することで、中央に位置する符号化単位620bを決定することができる。具体的に、映像復号装置100は、符号化単位620a、620b、620cの左上端のサンプル630a、630b、630cの位置を示す情報に基づいて符号化単位620a、620b、620cの位置を決定することで、中央に位置する符号化単位620bを決定することができる。
一実施例によって符号化単位620a、620b、620cにそれぞれ含まれる左上端のサンプル630a、630b、630cの位置を示す情報は、符号化単位620a、620b、620cのピクチャー内での位置または座標に係わる情報を含んでもよい。一実施例によって符号化単位620a、620b、620cにそれぞれ含まれる左上端のサンプル630a、630b、630cの位置を示す情報は、現在符号化単位600に含まれる符号化単位620a、620b、620cの幅または、高さを示す情報を含み、そのような幅または、高さは、符号化単位620a、620b、620cのピクチャー内における座標間の差を示す情報に該当しうる。すなわち、映像復号装置100は、符号化単位620a、620b、620cのピクチャー内での位置または座標に係わる情報を直接用いるか、座標間の差値に対応する符号化単位の幅または、高さに係わる情報を用いることで、中央に位置する符号化単位620bを決定することができる。
一実施例によって、上端符号化単位620aの左上端のサンプル630aの位置を示す情報は、(xa、ya)座標を示し、中央符号化単位620bの左上端のサンプル530bの位置を示す情報は、(xb、yb)座標を示し、下端符号化単位620cの左上端のサンプル630cの位置を示す情報は、(xc、yc)座標を示すことができる。映像復号装置100は、符号化単位620a、620b、620cにそれぞれ含まれる左上端のサンプル630a、630b、630cの座標を用いて中央符号化単位620bを決定することができる。例えば、左上端のサンプル630a、630b、630cの座標を昇順または降順に整列したとき、中央に位置するサンプル630bの座標である(xb、yb)を含む符号化単位620bを現在符号化単位600が分割されて決定された符号化単位620a、620b、620cのうち、中央に位置する符号化単位と決定する。但し、左上端のサンプル630a、630b、630cの位置を示す座標は、ピクチャー内における絶対的な位置を示す座標を示し、さらに上端符号化単位620aの左上端のサンプル630aの位置を基準に、中央符号化単位620bの左上端のサンプル630bの相対的位置を示す情報である(dxb、dyb)座標、下端符号化単位620cの左上端のサンプル630cの相対的位置を示す情報である(dxc、dyc)座標を利用してもよい。また、符号化単位に含まれるサンプルの位置を示す情報として当該サンプルの座標を用いることで、所定位置の符号化単位を決定する方法が上述した方法に限定して解釈されてはならず、サンプルの座標を用いることができる多様な算術的方法に解釈されねばならない。
一実施例によって映像復号装置100は、現在符号化単位600を複数個の符号化単位620a、620b、620cに分割し、符号化単位620a、620b、620cのうち、所定の基準によって符号化単位を選択することができる。例えば、映像復号装置100は、符号化単位620a、620b、620cのうち、異なるサイズの符号化単位620bを選択することができる。
一実施例によって映像復号装置100は、上端符号化単位620aの左上端サンプル630a位置を示す情報である(xa、ya)座標、中央符号化単位620bの左上端サンプル630bの位置を示す情報である(xb、yb)座標、下端符号化単位620cの左上端サンプル630cの位置を示す情報である(xc、yc)座標を用いて符号化単位620a、620b、620cそれぞれの幅または、高さを決定することができる。映像復号装置100は、符号化単位620a、620b、620cの位置を示す座標である(xa、ya)、(xb、yb)、(xc、yc)を用いて符号化単位620a、620b、620cそれぞれのサイズを決定することができる。一実施例によって、映像復号装置100は、上端符号化単位620aの幅を現在符号化単位600の幅と決定する。映像復号装置100は、上端符号化単位620aの高さをyb-yaと決定する。一実施例によって映像復号装置100は、中央符号化単位620bの幅を現在符号化単位600の幅と決定する。映像復号装置100は、中央符号化単位620bの高さをyc-ybと決定する。一実施例によって映像復号装置100は、下端符号化単位の幅または、高さは、現在符号化単位の幅または、高さと上端符号化単位620a及び中央符号化単位620bの幅及び高さを用いて決定する。映像復号装置100は、決定された符号化単位620a、620b、620cの幅及び高さに基づいて、他の符号化単位と異なる大きさを有する符号化単位を決定することができる。図6を参照すれば、映像復号装置100は、上端符号化単位620a及び下端符号化単位620cのサイズと異なる大きさを有する中央符号化単位620bを所定位置の符号化単位と決定する。但し、上述した映像復号装置100が他の符号化単位と異なる大きさを有する符号化単位を決定する過程は、サンプル座標に基づいて決定する符号化単位のサイズを用いて所定位置の符号化単位を決定する一実施例に過ぎないので、所定のサンプル座標によって決定する符号化単位のサイズを比較して、所定位置の符号化単位を決定する多様な過程が用いられる。
映像復号装置100は、左側符号化単位660aの左上端のサンプル670aの位置を示す情報である(xd、yd)座標、中央符号化単位660bの左上端のサンプル670bの位置を示す情報である(xe、ye)座標、右側符号化単位660cの左上端のサンプル670cの位置を示す情報である(xf、yf)座標を用いて符号化単位660a、660b、660cそれぞれの幅または、高さを決定することができる。映像復号装置100は、符号化単位660a、660b、660cの位置を示す座標である(xd、yd)、(xe、ye)、(xf、yf)を用いて符号化単位660a、660b、660cそれぞれのサイズを決定する。
一実施例によって、映像復号装置100は、左側符号化単位660aの幅をxe-xdと決定する。映像復号装置100は、左側符号化単位660aの高さを現在符号化単位650の高さと決定する。一実施例によって、映像復号装置100は、中央符号化単位660bの幅をxf-xeと決定する。映像復号装置100は、中央符号化単位660bの高さを現在符号化単位600の高さと決定する。一実施例によって映像復号装置100は、右側符号化単位660cの幅または、高さは、現在符号化単位650の幅または、高さと左側符号化単位660a及び中央符号化単位660bの幅及び高さを用いて決定することができる。映像復号装置100は、決定された符号化単位660a、660b、660cの幅及び高さに基づいて他の符号化単位と異なる大きさを有する符号化単位を決定する。図6を参照すれば、映像復号装置100は、左側符号化単位660a及び右側符号化単位660cのサイズと異なる大きさを有する中央符号化単位660bを所定位置の符号化単位と決定する。但し、上述した映像復号装置100が他の符号化単位と異なる大きさを有する符号化単位を決定する過程は、サンプル座標に基づいて決定する符号化単位のサイズを用いて所定位置の符号化単位を決定する一実施例に過ぎないので、所定のサンプル座標によって決定する符号化単位のサイズを比較して、所定位置の符号化単位を決定する多様な過程が用いられる。
但し、符号化単位の位置を決定するために考慮するサンプルの位置は、上述した左上端に限定して解釈されてはならず、符号化単位に含まれる任意のサンプルの位置に係わる情報が用いられると解釈されうる。
一実施例によって、映像復号装置100は、現在符号化単位の形態を考慮して、現在符号化単位が分割されて決定される奇数個の符号化単位のうち、所定位置の符号化単位を選択することができる。例えば、現在符号化単位が、幅が高さよりも長い非正方形であれば、映像復号装置100は、水平方向に沿って所定位置の符号化単位を決定することができる。すなわち、映像復号装置100は、水平方向に位置を異ならせる符号化単位のうち、1つを決定して当該符号化単位に対する制限を置くことができる。現在符号化単位の高さが、幅よりも長い非正方形であれば、映像復号装置100は、垂直方向に沿って所定位置の符号化単位を決定することができる。すなわち、映像復号装置100は、垂直方向に位置を異ならせる符号化単位のうち、1つを決定して当該符号化単位に対する制限を置くことができる。
一実施例によって映像復号装置100は、偶数個の符号化単位のうち、所定位置の符号化単位を決定するために、偶数個の符号化単位それぞれの位置を示す情報を用いることができる。映像復号装置100は、現在符号化単位を分割(バイナリー分割)して偶数個の符号化単位を決定することができるし偶数個の符号化単位の位置に係わる情報を用いて所定位置の符号化単位を決定する。これに係わる具体的な過程は、図6において上述した奇数個の符号化単位のうち、所定位置(例えば、中央位置)の符号化単位を決定する過程に対応する過程であるので、省略する。
一実施例によって、非正方形の現在符号化単位を複数個の符号化単位に分割した場合、複数個の符号化単位のうち、所定位置の符号化単位を決定するために、分割過程で所定位置の符号化単位に係わる所定の情報を用いることができる。例えば、映像復号装置100は、現在符号化単位が複数個に分割された符号化単位のうち、中央に位置する符号化単位を決定するために、分割過程で中央符号化単位に含まれたサンプルに保存されたブロック形態情報及び分割形態モード情報のうち、少なくとも1つを用いることができる。
図6を参照すれば、映像復号装置100は、分割形態モード情報に基づいて現在符号化単位600を複数個の符号化単位620a、620b、620cに分割し、複数個の符号化単位620a、620b、620cのうち、中央に位置する符号化単位620bを決定する。また、映像復号装置100は、分割形態モード情報が獲得される位置を考慮して、中央に位置する符号化単位620bを決定する。すなわち、現在符号化単位600の分割形態モード情報は、現在符号化単位600の中央に位置するサンプル640で獲得され、前記分割形態モード情報に基づいて現在符号化単位600が複数個の符号化単位620a、620b、620cに分割された場合、前記サンプル640を含む符号化単位620bを中央に位置する符号化単位と決定する。但し、中央に位置する符号化単位と決定するために用いられる情報が分割形態モード情報に限定して解釈されてはならず、多様な種類の情報が中央に位置する符号化単位を決定する過程で用いられる。
一実施例によって所定位置の符号化単位を識別するための所定の情報は、決定しようとする符号化単位に含まれる所定のサンプルで獲得されうる。図6を参照すれば、映像復号装置100は、現在符号化単位600が分割されて決定された複数個の符号化単位620a、620b、620cのうち、所定位置の符号化単位(例えば、複数個に分割された符号化単位のうち、中央に位置する符号化単位)を決定するために、現在符号化単位600内の所定位置のサンプル(例えば、現在符号化単位600の中央に位置するサンプル)で獲得される分割形態モード情報を用いることができる。すなわち、映像復号装置100は、現在符号化単位600のブロック形態を考慮して、前記所定位置のサンプルを決定し、映像復号装置100は、現在符号化単位600が分割されて決定される複数個の符号化単位620a、620b、620cのうち、所定の情報(例えば、分割形態モード情報)が獲得されるサンプルが含まれた符号化単位620bを決定して所定の制限を置くことができる。図6を参照すれば、一実施例によって映像復号装置100は、所定の情報が獲得されるサンプルとして現在符号化単位600の中央に位置するサンプル640を決定し、映像復号装置100は、そのようなサンプル640が含まれる符号化単位620bを復号過程での所定の制限を置くことができる。但し、所定の情報が獲得されるサンプルの位置は、上述した位置に限定して解釈されてはならず、制限を置くために決定しようとする符号化単位620bに含まれる任意の位置のサンプルと解釈されうる。
一実施例によって、所定の情報が獲得されるサンプルの位置は、現在符号化単位600の形態によって決定する。一実施例によって、ブロック形態情報は、現在符号化単位の形態が正方形であるか、あるいは非正方形であるかを決定し、形態によって所定の情報が獲得されるサンプルの位置を決定する。例えば、映像復号装置100は、現在符号化単位の幅に係わる情報及び高さに係わる情報のうち、少なくとも1つを用いて現在符号化単位の幅及び高さのうち、少なくとも1つを半分に分割する境界上に位置するサンプルを所定の情報が獲得されるサンプルと決定する。さらに他の例として、映像復号装置100は、現在符号化単位に係わるブロック形態情報が非正方形であることを示す場合、現在符号化単位の長辺を半分に分割する境界を含むサンプルのうち、1つを所定の情報が獲得されるサンプルと決定する。
一実施例によって映像復号装置100は、現在符号化単位を複数個の符号化単位に分割した場合、複数個の符号化単位のうち、所定位置の符号化単位を決定するために、分割形態モード情報を用いる。一実施例によって映像復号装置100は、分割形態モード情報を符号化単位に含まれた所定位置のサンプルで獲得し、映像復号装置100は、現在符号化単位が分割されて生成された複数個の符号化単位を、複数個の符号化単位それぞれに含まれた所定位置のサンプルから獲得される分割形態モード情報を用いて分割することができる。すなわち、符号化単位は、符号化単位それぞれに含まれた所定位置のサンプルから獲得される分割形態モード情報を用いて再帰的に分割されうる。符号化単位の再帰的分割過程については、図5を通じて上述したので、詳細な説明は省略する。
一実施例によって映像復号装置100は、現在符号化単位を分割して少なくとも1つの符号化単位を決定し、そのような少なくとも1つの符号化単位が復号される順序を所定のブロック(例えば、現在符号化単位)によって決定することができる。
図7は、一実施例によって映像復号装置が現在符号化単位を分割して複数個の符号化単位を決定する場合、複数個の符号化単位が処理される順序を図示する。
一実施例によって映像復号装置100は、分割形態モード情報によって第1符号化単位700を垂直方向に分割して第2符号化単位710a、710bを決定したり、第1符号化単位700を水平方向に分割して第2符号化単位730a、730bを決定したり、第1符号化単位700を垂直方向及び水平方向に分割して第2符号化単位750a、750b、750c、750dを決定したりもする。
図7を参照すれば、映像復号装置100は、第1符号化単位700を垂直方向に分割して決定された第2符号化単位710a、710bを水平方向710cに処理されるように順序を決定する。映像復号装置100は、第1符号化単位700を水平方向に分割して決定された第2符号化単位730a、730bの処理順序を垂直方向730cに決定することができる。映像復号装置100は、第1符号化単位700を垂直方向及び水平方向に分割して決定された第2符号化単位750a、750b、750c、750dを1行に位置する符号化単位が処理された後、次の行に位置する符号化単位が処理される所定の順序(例えば、ラスタースキャン順序((raster scan order)またはzスキャン順序(z scan order)750eなど)によっても決定しうる。
一実施例によって映像復号装置100は、符号化単位を再帰的に分割することができる。図7を参照すれば、映像復号装置100は、第1符号化単位700を分割して複数個の符号化単位710a、710b、730a、730b、750a、750b、750c、750dを決定し、決定された複数個の符号化単位710a、710b、730a、730b、750a、750b、750c、750dそれぞれを再帰的に分割する。複数個の符号化単位710a、710b、730a、730b、750a、750b、750c、750dを分割する方法は、第1符号化単位700を分割する方法に対応する方法にもなる。これにより、複数個の符号化単位710a、710b、730a、730b、750a、750b、750c、750dは、それぞれ独立して複数個の符号化単位に分割されうる。図7を参照すれば、映像復号装置100は、第1符号化単位700を垂直方向に分割して第2符号化単位710a、710bを決定し、また第2符号化単位710a、710bそれぞれを独立して分割するか、分割しないことに決定することができる。
一実施例によって映像復号装置100は、左側の第2符号化単位710aを水平方向に分割して第3符号化単位720a、720bに分割し、右側の第2符号化単位710bは、分割しない。
一実施例によって符号化単位の処理順序は、符号化単位の分割過程に基づいて決定されうる。すなわち、分割された符号化単位の処理順序は、分割される直前の符号化単位の処理順序に基づいて決定されうる。映像復号装置100は、左側の第2符号化単位710aが分割されて決定された第3符号化単位720a、720bが処理される順序を右側の第2符号化単位710bと独立して決定することができる。左側の第2符号化単位710aが水平方向に分割されて第3符号化単位720a、720bが決定されたので、第3符号化単位720a、720bは、垂直方向720cに処理されうる。また、左側の第2符号化単位710a及び右側の第2符号化単位710bが処理される順序は、水平方向710cに該当するので、左側の第2符号化単位710aに含まれる第3符号化単位720a、720bが垂直方向720cに処理された後、右側符号化単位710bが処理されうる。上述した内容は、符号化単位がそれぞれ分割前の符号化単位によって処理順序が決定される過程を説明するためのものなので、上述した実施例に限定して解釈されてはならず、多様な形態に分割されて決定される符号化単位が所定の順序によって独立して処理可能な多様な方法として用いられると解釈されねばならない。
図8は、一実施例によって映像復号装置が所定の順序による符号化単位の処理が不可能な場合、現在符号化単位が奇数個の符号化単位に分割されるものであることを決定する過程を図示する。
一実施例によって映像復号装置100は、獲得された分割形態モード情報に基づいて現在符号化単位が奇数個の符号化単位に分割されることを決定する。図8を参照すれば、正方形の第1符号化単位800が非正方形の第2符号化単位810a、810bに分割され、第2符号化単位810a、810bはそれぞれ独立して第3符号化単位820a、820b、820c、820d、820eに分割されうる。一実施例によって映像復号装置100は、第2符号化単位のうち、左側符号化単位810aは、水平方向に分割して複数個の第3符号化単位820a、820bを決定し、右側符号化単位810bは、奇数個の第3符号化単位820c、820d、820eに分割することができる。
一実施例によって映像復号装置100は、第3符号化単位820a、820b、820c、820d、820eが所定の順序によって処理されるか否かを判断して、奇数個に分割された符号化単位の存否を決定する。図8を参照すれば、映像復号装置100は、第1符号化単位800を再帰的に分割して第3符号化単位820a、820b、820c、820d、820eを決定する。映像復号装置100は、ブロック形態情報及び分割形態モード情報のうち、少なくとも1つに基づいて、第1符号化単位800、第2符号化単位810a、810bまたは第3符号化単位820a、820b、820c、820d、820eが分割される形態のうち、奇数個の符号化単位に分割されるか否かを決定する。例えば、第2符号化単位810a、810bのうち、右側に位置する符号化単位が奇数個の第3符号化単位820c、820d、820eに分割される。第1符号化単位800に含まれる複数個の符号化単位が処理される順序は、所定の順序(例えば、z-スキャン順序(z-scan order)830)になり、映像復号装置100は、右側第2符号化単位810bが奇数個に分割されて決定された第3符号化単位820c、820d、820eが前記所定の順序によって処理される条件を満足するか否かを判断することができる。
一実施例によって映像復号装置100は、第1符号化単位800に含まれる第3符号化単位820a、820b、820c、820d、820eが所定の順序によって処理される条件を満足するか否かを決定し、前記条件は、第3符号化単位820a、820b、820c、820d、820eの境界によって第2符号化単位810a、810bの幅及び高さのうち、少なくとも1つを半分に分割するか否かに係わる。例えば、非正方形の左側第2符号化単位810aの高さを半分に分割して決定する第3符号化単位820a、820bは、条件を満足する。右側第2符号化単位810bを3個の符号化単位に分割して決定する第3符号化単位820c、820d、820eの境界が右側第2符号化単位810bの幅または、高さを半分に分割できないので、第3符号化単位820c、820d、820eは、条件を満足していないと決定する。映像復号装置100は、そのような条件不満足の場合、スキャン順序の断絶(disconnection)と判断し、判断結果に基づいて、右側第2符号化単位810bは、奇数個の符号化単位に分割されることに決定する。一実施例によって映像復号装置100は、奇数個の符号化単位に分割される場合、分割された符号化単位のうち、所定位置の符号化単位に対して所定の制限を置くことができ、そのような制限内容または所定位置などについては、多様な実施例を通じて上述したので、詳細な説明は省略する。
図9は、一実施例によって映像復号装置が第1符号化単位を分割して少なくとも1つの符号化単位を決定する過程を図示する。
一実施例によって映像復号装置100は、受信部110を通じて獲得した分割形態モード情報に基づいて、第1符号化単位900を分割することができる。正方形の第1符号化単位900は、4個の正方形を有する符号化単位に分割されか、または非正方形の複数個の符号化単位に分割される。例えば、図9を参照すれば、第1符号化単位900は、正方形であり、分割形態モード情報が非正方形の符号化単位に分割されることを示す場合、映像復号装置100は、第1符号化単位900を複数個の非正方形の符号化単位に分割することができる。具体的に、分割形態モード情報が第1符号化単位900を水平方向または垂直方向に分割して奇数個の符号化単位を決定することを示す場合、映像復号装置100は、正方形の第1符号化単位900を奇数個の符号化単位、例えば、垂直方向に分割されて決定された第2符号化単位910a、910b、910cまたは水平方向に分割されて決定された第2符号化単位920a、920b、920cに分割することができる。
一実施例によって映像復号装置100は、第1符号化単位900に含まれる第2符号化単位910a、910b、910c、920a、920b、920cが所定の順序によって処理される条件を満足するか否かを決定し、前記条件は、第2符号化単位910a、910b、910c、920a、920b、920cの境界によって第1符号化単位900の幅及び高さのうち、少なくとも1つを半分に分割するか否かに係わる。図9を参照すれば、正方形の第1符号化単位900を垂直方向に分割して決定する第2符号化単位910a、910b、910cの境界が第1符号化単位900の幅を半分に分割できないので、第1符号化単位900は、所定の順序によって処理される条件を満足していないと決定する。また、正方形の第1符号化単位900を水平方向に分割して決定する第2符号化単位920a、920b、920cの境界が第1符号化単位900の幅を半分に分割できないので、第1符号化単位900は、所定の順序によって処理される条件を満足していないと決定する。映像復号装置100は、そのような条件不満足の場合、スキャン順序の断絶(disconnection)と判断し、判断結果に基づいて第1符号化単位900は、奇数個の符号化単位に分割されることに決定することができる。一実施例によって映像復号装置100は、奇数個の符号化単位に分割される場合、分割された符号化単位のうち、所定位置の符号化単位に対して所定の制限を置くことができ、そのような制限内容または所定位置などについては、多様な実施例を通じて上述したので、詳細な説明は省略する。
一実施例によって、映像復号装置100は、第1符号化単位を分割して多様な形態の符号化単位を決定することができる。
図9を参照すれば、映像復号装置100は、正方形の第1符号化単位900、非正方形の第1符号化単位930または950を多様な形態の符号化単位に分割することができる。
図10は、一実施例によって映像復号装置が第1符号化単位が分割されて決定された非正方形の第2符号化単位が所定の条件を満足する場合、第2符号化単位の分割可能な形態が制限されることを図示する。
一実施例によって映像復号装置100は、受信部110を通じて獲得した分割形態モード情報に基づいて正方形の第1符号化単位1000を非正方形の第2符号化単位1010a、1010b、1020a、1020bに分割すると決定する。第2符号化単位1010a、1010b、1020a、1020bは、独立して分割されうる。これにより、映像復号装置100は、第2符号化単位1010a、1010b、1020a、1020bそれぞれに係わる分割形態モード情報に基づいて複数個の符号化単位に分割するか、分割しないと決定する。一実施例によって映像復号装置100は、垂直方向に第1符号化単位1000が分割されて決定された非正方形の左側第2符号化単位1010aを水平方向に分割して第3符号化単位1012a、1012bを決定することができる。但し、映像復号装置100は、左側第2符号化単位1010aを水平方向に分割した場合、右側第2符号化単位1010bは、左側第2符号化単位1010aが分割された方向と同一に水平方向に分割されないように制限することができる。もし、右側第2符号化単位1010bが同一方向に分割されて第3符号化単位1014a、1014bが決定された場合、左側第2符号化単位1010a及び右側第2符号化単位1010bが水平方向にそれぞれ独立して分割されることにより、第3符号化単位1012a、1012b、1014a、1014bが決定されうる。しかし、これは、映像復号装置100が分割形態モード情報に基づいて、第1符号化単位1000を4個の正方形の第2符号化単位1030a、1030b、1030c、1030dに分割したものと同じ結果であり、これは、映像復号側面で非効率的でもある。
一実施例によって映像復号装置100は、水平方向に第1符号化単位1000が分割されて決定された非正方形の第2符号化単位1020aまたは1020bを垂直方向に分割して第3符号化単位1022a、1022b、1024a、1024bを決定する。但し、映像復号装置100は、第2符号化単位のうち、1つ(例えば、上端第2符号化単位1020a)を垂直方向に分割した場合、上述した理由によって他の第2符号化単位(例えば、下端符号化単位1020b)は、上端第2符号化単位1020aが分割された方向と同一に垂直方向に分割されないように制限することができる。
図11は、一実施例によって分割形態モード情報が4個の正方形の符号化単位に分割することを示すことができない場合、映像復号装置が正方形の符号化単位を分割する過程を図示する。
一実施例によって映像復号装置100は、分割形態モード情報に基づいて、第1符号化単位1100を分割して第2符号化単位1110a、1110b、1120a、1120bを決定する。分割形態モード情報には、符号化単位が分割される多様な形態に係わる情報が含まれうるが、多様な形態に係わる情報には、正方形の4個の符号化単位に分割するための情報が含まれない場合がある。そのような分割形態モード情報によれば、映像復号装置100は、正方形の第1符号化単位1100を4個の正方形の第2符号化単位1130a、1130b、1130c、1130dに分割することができない。分割形態モード情報に基づいて映像復号装置100は、非正方形の第2符号化単位1110a、1110b、1120a、1120bを決定することができる。
一実施例によって映像復号装置100は、非正方形の第2符号化単位1110a、1110b、1120a、1120bをそれぞれ独立して分割する。再帰的な方法を通じて第2符号化単位1110a、1110b、1120a、1120bのそれぞれが所定の順序に分割され、これは、分割形態モード情報に基づいて、第1符号化単位1100が分割される方法に対応する分割方法でもある。
例えば、映像復号装置100は、左側第2符号化単位1110aが水平方向に分割されて正方形の第3符号化単位1112a、1112bを決定し、右側第2符号化単位1110bが水平方向に分割されて正方形の第3符号化単位1114a、1114bを決定する。また、映像復号装置100は、左側第2符号化単位1110a及び右側第2符号化単位1110bがいずれも水平方向に分割されて正方形の第3符号化単位1116a、1116b、1116c、1116dを決定する。そのような場合、第1符号化単位1100が4個の正方形の第2符号化単位1130a、1130b、1130c、1130dに分割されたものと同じ形態に符号化単位が決定される。
さらに他の例として、映像復号装置100は、上端第2符号化単位1120aが垂直方向に分割されて正方形の第3符号化単位1122a、1122bを決定し、下端第2符号化単位1120bが垂直方向に分割されて正方形の第3符号化単位1124a、1124bを決定する。また、映像復号装置100は、上端第2符号化単位1120a及び下端第2符号化単位1120がいずれも垂直方向に分割されて正方形の第3符号化単位1126a、1126b、1126a、1126bを決定してもよい。そのような場合、第1符号化単位1100が4個の正方形の第2符号化単位1130a、1130b、1130c、1130dに分割されたものと同じ形態に符号化単位が決定される。
図12は、一実施例によって複数個の符号化単位間の処理順序が符号化単位の分割過程によっても異なることを示す図面である。
一実施例によって映像復号装置100は、分割形態モード情報に基づいて、第1符号化単位1200を分割する。ブロック形態が正方形であり、分割形態モード情報が、第1符号化単位1200が水平方向及び垂直方向のうち、少なくとも1つの方向に分割されることを示す場合、映像復号装置100は、第1符号化単位1200を分割して第2符号化単位(例えば、1210a、1210b、1220a、1220bなど)を決定することができる。図12を参照すれば、第1符号化単位1200が水平方向または垂直方向のみに分割されて決定された非正方形の第2符号化単位1210a、1210b、1220a、1220bは、それぞれに係わる分割形態モード情報に基づいて独立して分割されうる。例えば、映像復号装置100は、第1符号化単位1200が垂直方向に分割されて生成された第2符号化単位1210a、1210bを水平方向にそれぞれ分割して第3符号化単位1216a、1216b、1216c、1216dを決定し、第1符号化単位1200が水平方向に分割されて生成された第2符号化単位1220a、1220bを水平方向にそれぞれ分割して第3符号化単位1226a、1226b、1226c、1226dを決定することができる。そのような第2符号化単位1210a、1210b、1220a、1220bの分割過程は、図11と係わって上述したので、詳細な説明は省略する。
一実施例によって映像復号装置100は、所定の順序によって符号化単位を処理することができる。所定の順序による符号化単位の処理に係わる特徴は、図7と係わって上述したので、詳細な説明は省略する。図12を参照すれば、映像復号装置100は、正方形の第1符号化単位1200を分割して4個の正方形の第3符号化単位1216a、1216b、1216c、1216d、1226a、1226b、1226c、1226dを決定する。一実施例によって映像復号装置100は、第1符号化単位1200が分割される形態によって第3符号化単位1216a、1216b、1216c、1216d、1226a、1226b、1226c、1226dの処理順序を決定する。
一実施例によって映像復号装置100は、垂直方向に分割されて生成された第2符号化単位1210a、1210bを水平方向にそれぞれ分割して第3符号化単位1216a、1216b、1216c、1216dを決定し、映像復号装置100は、左側第2符号化単位1210aに含まれる第3符号化単位1216a、1216cを垂直方向に先に処理した後、右側第2符号化単位1210bに含まれる第3符号化単位1216b、1216dを垂直方向に処理する順序1217によって第3符号化単位1216a、1216b、1216c、1216dを処理することができる。
一実施例によって映像復号装置100は、水平方向に分割されて生成された第2符号化単位1220a、1220bを垂直方向にそれぞれ分割して第3符号化単位1226a、1226b、1226c、1226dを決定し、映像復号装置100は、上端第2符号化単位1220aに含まれる第3符号化単位1226a、1226bを水平方向に先に処理した後、下端第2符号化単位1220bに含まれる第3符号化単位1226c、1226dを水平方向に処理する順序1227によって第3符号化単位1226a、1226b、1226c、1226dを処理する。
図12を参照すれば、第2符号化単位1210a、1210b、1220a、1220bがそれぞれ分割されて正方形の第3符号化単位1216a、1216b、1216c、1216d、1226a、1226b、1226c、1226dが決定されうる。垂直方向に分割されて決定された第2符号化単位1210a、1210b及び水平方向に分割されて決定された第2符号化単位1220a、1220bは、互いに異なる形態によって分割されたものであるが、以後に決定される第3符号化単位1216a、1216b、1216c、1216d、1226a、1226b、1226c、1226dによれば、結局、同じ形態の符号化単位に第1符号化単位1200が分割された結果となる。これにより、映像復号装置100は、分割形態モード情報に基づいて互いに異なっている過程を通じて再帰的に符号化単位を分割することで、結果的に同じ形態の符号化単位を決定しても、同じ形態に決定された複数個の符号化単位を互いに異なる順序で処理することができる。
図13は、一実施例によって符号化単位が再帰的に分割されて複数個の符号化単位が決定される場合、符号化単位の形態及び大きさが異なることにより、符号化単位の深度が決定される過程を示す。
一実施例によって映像復号装置100は、符号化単位の深度を所定の基準によって決定することができる。例えば、所定の基準は、符号化単位の長辺の長さになる。映像復号装置100は、現在符号化単位の長辺の長さが分割される前の符号化単位の長辺の長さよりも2n(n>0)倍に分割された場合、現在符号化単位の深度は、分割される前の符号化単位の深度よりもnだけ深度が増加したと決定する。以下では、深度が増加した符号化単位を下位深度の符号化単位と表現する。
図13を参照すれば、一実施例によって正方形であることを示すブロック形態情報(例えば、ブロック形態情報は、「0:SQUARE」を示す)に基づいて映像復号装置100は、正方形である第1符号化単位1300を分割して下位深度の第2符号化単位1302、第3符号化単位1304などを決定する。正方形の第1符号化単位1300のサイズを2Nx2Nとすれば、第1符号化単位1300の幅及び高さを1/2倍に分割して決定された第2符号化単位1302は、NxNのサイズを有する。また、第2符号化単位1302の幅及び高さを1/2サイズに分割して決定された第3符号化単位1304は、N/2xN/2のサイズを有する。その場合、第3符号化単位1304の幅及び高さは、第1符号化単位1300の1/4倍に該当する。第1符号化単位1300の深度がDである場合、第1符号化単位1300の幅及び高さの1/2倍である第2符号化単位1302の深度は、D+1でもあり、第1符号化単位1300の幅及び高さの1/4倍である第3符号化単位1304の深度は、D+2でもある。
一実施例によって非正方形を示すブロック形態情報(例えば、ブロック形態情報は、高さが幅よりも長い非正方形であることを示す「1:NS_VER´または、幅が高さよりも長い非正方形であることを示す「2:NS_HOR」を示す)に基づいて、映像復号装置100は、非正方形である第1符号化単位1310または1320を分割して下位深度の第2符号化単位1312または1322、第3符号化単位1314または1324などを決定する。
映像復号装置100は、Nx2Nサイズの第1符号化単位1310の幅及び高さのうち、少なくとも1つを分割して第2符号化単位(例えば、1302、1312、1322)を決定する。すなわち、映像復号装置100は、第1符号化単位1310を水平方向に分割してNxNサイズの第2符号化単位1302またはNxN/2サイズの第2符号化単位1322を決定し、水平方向及び垂直方向に分割してN/2xNサイズの第2符号化単位1312を決定する。
一実施例によって映像復号装置100は、2NxNサイズの第1符号化単位1320の幅及び高さのうち、少なくとも1つを分割して第2符号化単位(例えば、1302、1312、1322)を決定してもよい。すなわち、映像復号装置100は、第1符号化単位1320を垂直方向に分割してNxNサイズの第2符号化単位1302または、N/2xNサイズの第2符号化単位1312を決定し、水平方向及び垂直方向に分割してNxN/2サイズの第2符号化単位1322を決定する。
一実施例によって映像復号装置100は、NxNサイズの第2符号化単位1302の幅及び高さのうち、少なくとも1つを分割して第3符号化単位(例えば、1304、1314、1324)を決定する。すなわち、映像復号装置100は、第2符号化単位1302を垂直方向及び水平方向に分割してN/2xN/2サイズの第3符号化単位1304を決定するか、N/4xN/2サイズの第3符号化単位1314を決定するか、N/2xN/4サイズの第3符号化単位1324を決定することができる。
一実施例によって映像復号装置100は、N/2xNサイズの第2符号化単位1312の幅及び高さのうち、少なくとも1つを分割して第3符号化単位(例えば、1304、1314、1324)を決定してもよい。すなわち、映像復号装置100は、第2符号化単位1312を水平方向に分割してN/2xN/2サイズの第3符号化単位1304またはN/2xN/4サイズの第3符号化単位1324を決定するか、垂直方向及び水平方向に分割してN/4xN/2サイズの第3符号化単位1314を決定する。
一実施例によって映像復号装置100は、NxN/2サイズの第2符号化単位1322の幅及び高さのうち、少なくとも1つを分割して第3符号化単位(例えば、1304、1314、1324)を決定してもよい。すなわち、映像復号装置100は、第2符号化単位1322を垂直方向に分割してN/2xN/2サイズの第3符号化単位1304またはN/4xN/2サイズの第3符号化単位1314を決定するか、垂直方向及び水平方向に分割してN/2xN/4サイズの第3符号化単位1324を決定する。
一実施例によって映像復号装置100は、正方形の符号化単位(例えば、1300、1302、1304)を水平方向または垂直方向に分割する。例えば、2Nx2Nサイズの第1符号化単位1300を垂直方向に分割してNx2Nサイズの第1符号化単位1310を決定するか、水平方向に分割して2NxNサイズの第1符号化単位1320を決定する。一実施例によって深度が符号化単位の最長辺の長さに基づいて決定する場合、2Nx2Nサイズの第1符号化単位1300が水平方向または垂直方向に分割されて決定される符号化単位の深度は、第1符号化単位1300の深度と同一でもある。
一実施例によって第3符号化単位1314または1324の幅及び高さは、第1符号化単位1310または1320の1/4倍に該当する。第1符号化単位1310または1320の深度がDである場合、第1符号化単位1310または1320の幅及び高さの1/2倍である第2符号化単位1312または1322の深度は、D+1でもあり、第1符号化単位1310または1320の幅及び高さの1/4倍である第3符号化単位1314または1324の深度は、D+2でもある。
図14は、一実施例によって符号化単位の形態及び大きさによって決定される深度及び符号化単位の区分のためのインデックス(part index,以下PID)を図示する。
一実施例によって映像復号装置100は、正方形の第1符号化単位1400を分割して多様な形態の第2符号化単位を決定する。図14を参照すれば、映像復号装置100は、分割形態モード情報によって第1符号化単位1400を垂直方向及び水平方向のうち、少なくとも1つの方向に分割して第2符号化単位1402a、1402b、1404a、1404b、1406a、1406b、1406c、1406dを決定する。すなわち、映像復号装置100は、第1符号化単位1400に係わる分割形態モード情報に基づいて、第2符号化単位1402a、1402b、1404a、1404b、1406a、1406b、1406c、1406dを決定する。
一実施例によって正方形の第1符号化単位1400に係わる分割形態モード情報によって決定される第2符号化単位1402a、1402b、1404a、1404b、1406a、1406b、1406c、1406dは、長辺の長さに基づいて深度が決定されうる。例えば、正方形の第1符号化単位1400の一辺の長さと非正方形の第2符号化単位1402a、1402b、1404a、1404bの長辺の長さが同一なので、第1符号化単位1400と非正方形の第2符号化単位1402a、1402b、1404a、1404bの深度は、Dであって、同一であるとも見られる。一方、映像復号装置100が分割形態モード情報に基づいて、第1符号化単位1400を4個の正方形の第2符号化単位1406a、1406b、1406c、1406dに分割した場合、正方形の第2符号化単位1406a、1406b、1406c、1406dの一辺の長さは、第1符号化単位1400の一辺の長さの1/2倍なので、第2符号化単位1406a、1406b、1406c、1406dの深度は、第1符号化単位1400の深度であるDよりも1深度下位であるD+1の深度でもある。
一実施例によって映像復号装置100は、高さが幅よりも長い形態の第1符号化単位1410を分割形態モード情報によって水平方向に分割して複数個の第2符号化単位1412a、1412b、1414a、1414b、1414cに分割する。一実施例によって映像復号装置100は、幅が高さよりも長い形態の第1符号化単位1420を分割形態モード情報によって垂直方向に分割して複数個の第2符号化単位1422a、1422b、1424a、1424b、1424cに分割することができる。
一実施例によって非正方形の第1符号化単位1410または1420に係わる分割形態モード情報によって決定される第2符号化単位1412a、1412b、1414a、1414b、1414c.1422a、1422b、1424a、1424b、1424cは、長辺の長さに基づいて深度が決定されうる。例えば、正方形の第2符号化単位1412a、1412bの一辺の長さは、高さが幅よりも長い非正方形の第1符号化単位1410の一辺の長さの1/2倍なので、正方形の第2符号化単位1412a、1412bの深度は、非正方形の第1符号化単位1410の深度Dよりも1深度下位の深度であるD+1である。
また、映像復号装置100が分割形態モード情報に基づいて非正方形の第1符号化単位1410を奇数個の第2符号化単位1414a、1414b、1414cに分割することができる。奇数個の第2符号化単位1414a、1414b、1414cは、非正方形の第2符号化単位1414a、1414c及び正方形の第2符号化単位1414bを含んでもよい。その場合、非正方形の第2符号化単位1414a、1414cの長辺の長さ及び正方形の第2符号化単位1414bの一辺の長さは、第1符号化単位1410の一辺の長さの1/2倍なので、第2符号化単位1414a、1414b、1414cの深度は、第1符号化単位1410の深度であるDよりも1深度下位であるD+1の深度でもある。映像復号装置100は、第1符号化単位1410と係わる符号化単位の深度を決定する前記方式に対応する方式で、幅が高さよりも長い非正方形の第1符号化単位1420と係わる符号化単位の深度を決定することができる。
一実施例によって映像復号装置100は、分割された符号化単位の区分のためのインデックス(PID)を決定するに当たって、奇数個に分割された符号化単位が互いに同じ大きさではない場合、符号化単位間のサイズの比率に基づいて、インデックスを決定することができる。図14を参照すれば、奇数個に分割された符号化単位1414a、1414b、1414cのうち、中央に位置する符号化単位1414bは、他の符号化単位1414a、1414cと幅は同一であるが、高さが、他の符号化単位1414a、1414cの高さの2倍でもある。すなわち、その場合、中央に位置する符号化単位1414bは、他の符号化単位1414a、1414cの2つを含む。したがって、スキャン順序によって中央に位置する符号化単位1414bのインデックス(PID)が1であれば、その次の順序に位置する符号化単位1414cは、インデックスが2増加した3でもある。すなわち、インデックスの値の不連続性が存在する。一実施例によって映像復号装置100は、そのような分割された符号化単位間の区分のためのインデックスの不連続性の存否に基づいて奇数個に分割された符号化単位が互いに同じサイズではないかということを決定する。
一実施例によって映像復号装置100は、現在符号化単位から分割されて決定された複数個の符号化単位を区分するためのインデックスの値に基づいて特定分割形態に分割されたか否かを決定する。図14を参照すれば、映像復号装置100は、高さが幅よりも長い長方形の第1符号化単位1410を分割して偶数個の符号化単位1412a、1412bを決定するか、奇数個の符号化単位1414a、1414b、1414cを決定する。映像復号装置100は、複数個の符号化単位それぞれを区分するために、各符号化単位を示すインデックス(PID)を用いることができる。一実施例によってPIDは、それぞれの符号化単位の所定位置のサンプル(例えば、左上端サンプル)で獲得されうる。
一実施例によって映像復号装置100は、符号化単位の区分のためのインデックスを用いて分割されて決定された符号化単位のうち、所定位置の符号化単位を決定することができる。一実施例によって高さが幅よりも長い長方形の第1符号化単位1410に係わる分割形態モード情報が3個の符号化単位に分割されることを示す場合、映像復号装置100は、第1符号化単位1410を3個の符号化単位1414a、1414b、1414cに分割する。映像復号装置100は、3個の符号化単位1414a、1414b、1414cそれぞれに対するインデックスを割り当てることができる。映像復号装置100は、奇数個に分割された符号化単位のうち、中央符号化単位を決定するために各符号化単位に対するインデックスを比較することができる。映像復号装置100は、符号化単位のインデックスに基づいてインデックスのうち、中央値に該当するインデックスを有する符号化単位1414bを、第1符号化単位1410が分割されて決定された符号化単位のうち、中央位置の符号化単位として決定する。一実施例によって映像復号装置100は、分割された符号化単位の区分のためのインデックスを決定するに当たって、符号化単位が互いに同じ大きさではない場合、符号化単位間のサイズの比率に基づいて、インデックスを決定する。図14を参照すれば、第1符号化単位1410が分割されて生成された符号化単位1414bは、他の符号化単位1414a、1414cと幅は同一であるが、高さの異なる符号化単位1414a、1414cの高さの2倍でもある。その場合、中央に位置する符号化単位1414bのインデックス(PID)が1であれば、その次の順序に位置する符号化単位1414cは、インデックスが2増加した3でもある。そのように、均一にインデックスが増加していて増加幅が異なる場合、映像復号装置100は、他の符号化単位と異なる大きさを有する符号化単位を含む複数個の符号化単位に分割されたと決定する。一実施例によって、分割形態モード情報が奇数個の符号化単位に分割されることを示す場合、映像復号装置100は、奇数個の符号化単位のうち、所定位置の符号化単位(例えば、中央符号化単位)が他の符号化単位と大きさが異なる形態に現在符号化単位を分割する。その場合、映像復号装置100は、符号化単位に対するインデックス(PID)を用いて異なる大きさを有する中央符号化単位を決定する。但し、上述したインデックス、決定しようとする所定位置の符号化単位のサイズまたは位置は、一実施例を説明するために特定したものなので、それに限定して解釈されてはならず、多様なインデックス、符号化単位の位置及び大きさが用いられると解釈されねばならない。
一実施例によって映像復号装置100は、符号化単位の再帰的な分割が開始される所定のデータ単位を用いることができる。
図15は、一実施例によってピクチャーに含まれる複数個の所定のデータ単位によって複数個の符号化単位が決定されたことを図示する。
一実施例によって所定のデータ単位は、符号化単位が分割形態モード情報を用いて再帰的に分割され始めるデータ単位に定義されうる。すなわち、現在ピクチャーを分割する複数個の符号化単位が決定される過程で用いられる最上位深度の符号化単位に該当する。以下、説明の便宜上、そのような所定のデータ単位を基準データ単位と指称する。
一実施例によって基準データ単位は、所定のサイズ及び形態を示す。一実施例によって基準符号化単位は、MxNのサンプルを含んでもよい。ここで、M及びNは、互いに同一でもあり、2の乗数で表現される整数でもある。すなわち、基準データ単位は、正方形または非正方形を示し、次いで、整数個の符号化単位に分割されうる。
一実施例によって映像復号装置100は、現在ピクチャーを複数個の基準データ単位に分割する。一実施例によって映像復号装置100は、現在ピクチャーを分割する複数個の基準データ単位をそれぞれの基準データ単位に係わる分割形態モード情報を用いて分割する。そのような基準データ単位の分割過程は、クアッドツリー(quad-tree)構造を用いた分割過程に対応しうる。
一実施例によって映像復号装置100は、現在ピクチャーに含まれる基準データ単位が有する最小サイズを予め決定される。これにより、映像復号装置100は、最小サイズ以上のサイズを有する多様なサイズの基準データ単位を決定し、決定された基準データ単位を基準に分割形態モード情報を用いて少なくとも1つの符号化単位を決定する。
図15を参照すれば、映像復号装置100は、正方形の基準符号化単位1500を利用し、または非正方形の基準符号化単位1502を利用してもよい。一実施例によって基準符号化単位の形態及び大きさは、少なくとも1つの基準符号化単位を含む多様なデータ単位(例えば、シーケンス(sequence)、ピクチャー(Picture)、スライス(slice)、スライスセグメント(slice segment)、タイル(tile)、タイルグループ(tile group)、最大符号化単位など)によっても決定される。
一実施例によって映像復号装置100の受信部110は、基準符号化単位の形態に係わる情報及び基準符号化単位のサイズに係わる情報のうち、少なくとも1つを前記多様なデータ単位ごとにビットストリームから獲得することができる。正方形の基準符号化単位1500に含まれる少なくとも1つの符号化単位が決定される過程は、図3の現在符号化単位300が分割される過程を通じて上述しており、非正方形の基準符号化単位1502に含まれる少なくとも1つの符号化単位が決定される過程は、図4の現在符号化単位400または450が分割される過程を通じて上述したので、詳細な説明は省略する。
一実施例によって映像復号装置100は、所定の条件に基づいて予め決定される一部データ単位によって基準符号化単位のサイズ及び形態を決定するために、基準符号化単位のサイズ及び形態を識別するためのインデックスを用いる。すなわち、受信部110は、ビットストリームから前記多様なデータ単位(例えば、シーケンス、ピクチャー、スライス、スライスセグメント、タイル、タイルグループ、最大符号化単位など)のうち、所定の条件(例えば、スライス以下のサイズを有するデータ単位)を満足するデータ単位として、スライス、スライスセグメント、タイル、タイルグループ、最大符号化単位などごとに、基準符号化単位のサイズ及び形態の識別のためのインデックスのみを獲得することができる。映像復号装置100は、インデックスを用いることで、前記所定の条件を満足するデータ単位ごとに基準データ単位のサイズ及び形態を決定することができる。基準符号化単位の形態に係わる情報及び基準符号化単位のサイズに係わる情報を相対的に小さいサイズのデータ単位ごとにビットストリームから獲得して用いる場合、ビットストリームの利用効率がよくない場合もあるので、基準符号化単位の形態に係わる情報及び基準符号化単位のサイズに係わる情報を直接獲得する代わりに、前記インデックスのみを獲得して用いることができる。その場合、基準符号化単位のサイズ及び形態を示すインデックスに対応する基準符号化単位のサイズ及び形態のうち、少なくとも1つは、予め決定されてもよい。すなわち、映像復号装置100は、既決定の基準符号化単位のサイズ及び形態のうち、少なくとも1つをインデックスによって選択することで、インデックス獲得の基準になるデータ単位に含まれる基準符号化単位のサイズ及び形態のうち、少なくとも1つを決定することができる。
一実施例によって映像復号装置100は、1つの最大符号化単位に含む少なくとも1つの基準符号化単位を用いることができる。すなわち、映像を分割する最大符号化単位には、少なくとも1つの基準符号化単位が含まれ、それぞれの基準符号化単位の再帰的な分割過程を通じて符号化単位が決定されうる。一実施例によって最大符号化単位の幅及び高さのうち、少なくとも1つは、基準符号化単位の幅及び高さのうち、少なくとも1つの整数倍に該当する。一実施例によって基準符号化単位のサイズは、最大符号化単位をクアッドツリー構造によってn回分割したサイズでもある。すなわち、映像復号装置100は、最大符号化単位をクアッドツリー構造によってn回分割して基準符号化単位を決定し、多様な実施例によって基準符号化単位をブロック形態情報及び分割形態モード情報のうち、少なくとも1つに基づいて分割する。
一実施例によって映像復号装置100は、現在符号化単位の形態を示すブロック形態情報または現在符号化単位を分割する方法を示す分割形態モード情報をビットストリームから獲得して用いる。分割形態モード情報は、多様なデータ単位に係わるビットストリームに含まれうる。例えば、映像復号装置100は、シーケンスパラメータセット(sequence parameter set)、ピクチャーパラメータセット(picture parameter set)、ビデオパラメータセット(video parameter set)、スライスヘッダ(slice header)、スライスセグメントヘッダ(slice segment header)、タイルヘッダ(tile header)、タイルグループヘッダ(tile group header)に含まれた分割形態モード情報を用いることができる。さらに、映像復号装置100は、最大符号化単位、基準符号化単位、プロセッシングブロックごとに、ビットストリームからブロック形態情報または分割形態モード情報に対応するシンタックスエレメントをビットストリームから獲得して用いることができる。
以下、本発明の一実施例による分割規則を決定する方法について詳細に説明する。
映像復号装置100は、映像の分割規則を決定する。分割規則は、映像復号装置100及び映像符号化装置2200の間に予め決定されていてもよい。映像復号装置100は、ビットストリームから獲得された情報に基づいて映像の分割規則を決定する。映像復号装置100は、シーケンスパラメータセット(sequence parameter set)、ピクチャーパラメータセット(picture parameter set)、ビデオパラメータセット(video parameter set)、スライスヘッダ(slice header)、スライスセグメントヘッダ(slice segment header)、タイルヘッダ(tile header)、タイルグループヘッダ(tile group header)のうち、少なくとも1つから獲得された情報に基づいて分割規則を決定する。映像復号装置100は、分割規則をフレーム、スライス、タイル、テンポラルレイヤ(Temporal layer)、最大符号化単位または符号化単位によって異なっても決定しうる。
映像復号装置100は、符号化単位のブロック形態に基づいて分割規則を決定することができる。ブロック形態は、符号化単位のサイズ、形状、幅及び高さの比率、方向を含んでもよい。映像復号装置100は、符号化単位のブロック形態に基づいて分割規則を決定することを予め決定することができる。しかし、それに限定されるものではない。映像復号装置100は、受信されたビットストリームから獲得された情報に基づいて、分割規則を決定することができる。
符号化単位の形状は、正方形(square)及び非正方形(non-square)を含んでもよい。符号化単位の幅及び高さの長さが同一である場合、映像復号装置100は、符号化単位の形状を正方形に決定することができる。また、符号化単位の幅及び高さの長さが同一ではない場合、映像復号装置100は、符号化単位の形状を非正方形に決定することができる。
符号化単位のサイズは、4x4、8x4、4x8、8x8、16x4、16x8、...、256x256の多様な大きさを含んでもよい。符号化単位のサイズは、符号化単位の長辺の長さ、短辺の長さまたは広さによって分類されうる。映像復号装置100は、同じグループに分類された符号化単位に同じ分割規則を適用することができる。例えば、映像復号装置100は、同じ長辺の長さを有する符号化単位を同じ大きさに分類することができる。また、映像復号装置100は、同じ長辺の長さを有する符号化単位について同じ分割規則を適用することができる。
符号化単位の幅及び高さの比率は、1:2、2:1、1:4、4:1、1:8、8:1、1:16、16:1、32:1または1:32などを含んでもよい。また、符号化単位の方向は、水平方向及び垂直方向を含んでもよい。水平方向は、符号化単位の幅の長さが高さの長さよりも長い場合を示す。垂直方向は、符号化単位の幅の長さが高さの長さよりも短い場合を示す。
映像復号装置100は、符号化単位のサイズに基づいて分割規則を適応的に決定する。映像復号装置100は、符号化単位のサイズに基づいて許容可能な分割形態モードを異なっても決定しうる。例えば、映像復号装置100は、符号化単位のサイズに基づいて分割が許容されるか否かを決定する。映像復号装置100は、符号化単位のサイズによって分割方向を決定する。映像復号装置100は、符号化単位のサイズによって許容可能な分割タイプを決定することができる。
符号化単位のサイズに基づいて分割規則を決定することは、映像復号装置100の間に既決定の分割規則でもある。また、映像復号装置100は、ビットストリームから獲得された情報に基づいて、分割規則を決定することができる。
映像復号装置100は、符号化単位の位置に基づいて分割規則を適応的に決定することができる。映像復号装置100は、符号化単位が映像で占める位置に基づいて分割規則を適応的に決定することができる。
また、映像復号装置100は、互いに異なる分割経路で生成された符号化単位が同じブロック形態を有さないように分割規則を決定することができる。但し、それに限定されるものではなく、互いに異なる分割経路で生成された符号化単位は、同じブロック形態を有することができる。互いに異なる分割経路で生成された符号化単位は、互いに異なる復号処理順序を有することができる。復号処理順序については、図12と共に説明したので、詳細な説明は省略する。
図16は、映像符号化及び復号システムを示すブロック図である。
映像符号化及び復号システム1600の符号化端1610は、映像の符号化されたビットストリームを伝送し、復号端1650は、ビットストリームを受信して復号することで復元映像を出力する。ここで、復号端1650は、映像復号装置100に類似した構成でもある。
符号化端1610において、予測符号化部1615は、インター予測及びイントラ予測を通じて参照映像を出力し、変換及び量子化部1616は、参照映像と現在入力映像間のレジデュアルデータを量子化された変換係数で量子化して出力する。エントロピー符号化部1625は、量子化された変換係数を符号化して変換してビットストリームに出力する。量子化された変換係数は、逆量子化及び逆変換部1630を経て空間領域のデータに復元され、復元された空間領域のデータは、デブロッキングフィルタリング1635及びループフィルタリング部1640を経て復元映像に出力される。復元映像は、予測符号化部1615を経て次の入力映像の参照映像として使用される。
復号端1650に受信されたビットストリームのうち、符号化された映像データは、エントロピー復号部1655、及び逆量子化及び逆変換部1660を経て空間領域のレジデュアルデータに復元される。予測復号部1675から出力された参照映像及びレジデュアルデータが組合わせられて空間領域の映像データが構成され、デブロッキングフィルタリング1665及びループフィルタリング部1670は、空間領域の映像データに対してフィルタリングを遂行して現在原本映像に対する復元映像を出力する。復元映像は、予測復号部1675によって次の原本映像に対する参照映像として用いられる。
符号化端1610のループフィルタリング部1640は、ユーザ入力または、システム設定によって入力されたフィルター情報を用いてループフィルタリングを遂行する。ループフィルタリング部1640によって使用されたフィルター情報は、エントロピー符号化部1610に出力され、符号化された映像データと共に復号端1650に伝送される。復号端1650のループフィルタリング部1670は、復号端1650から入力されたフィルター情報に基づいてループフィルタリングを遂行することができる。
以下、図17ないし図20を参照して、本明細書で開示された一実施例によってピクチャーのクロマ成分を符号化または復号するための方法及び装置が上述される。
図17は、一実施例によるビデオ復号装置を示すブロック図である。
図17を参照すれば、一実施例によるビデオ復号装置1700は、獲得部1710及び復号部1720を含んでもよい。
一実施例によるビデオ復号装置1700は、獲得部1710及び復号部1720を制御する中央プロセッサ(図示せず)を含んでもよい。または、獲得部1710及び復号部1720がそれぞれの自体プロセッサ(図示せず)によって作動され、プロセッサ(図示せず)が相互有機的に作動することにより、ビデオ復号装置1700が全体として作動してもよい。または、ビデオ復号装置1700の外部プロセッサ(図示せず)の制御によって、獲得部1710及び復号部1720が制御される。
ビデオ復号装置1700は、獲得部1710及び復号部1720の入出力データが保存される1つ以上のデータ保存部(図示せず)を含んでもよい。ビデオ復号装置1700は、データ保存部(図示せず)のデータ入出力を制御するメモリ制御部(図示せず)を含んでもよい。
ビデオ復号装置1700は、映像復号を通じて映像を復元するために、内部に搭載されたビデオデコーディングプロセッサまたは外部のビデオデコーディングプロセッサと連携して作動することで、予測を含む映像復号動作を遂行する。一実施例によるビデオ復号装置1700の内部ビデオデコーディングプロセッサは、別個のプロセッサだけではなく、中央演算装置またはグラフィック演算装置が映像デコーディングプロセッシングモジュールを含むことで、基本的な映像復号動作を具現してもよい。
ビデオ復号装置1700は、前述した映像復号装置100に含まれる。例えば、獲得部1710は、図1に図示された映像復号装置100のビットストリーム獲得部110に含まれ、復号部1720は、映像復号装置100の復号部120に含まれうる。
ビデオ復号装置1700は、映像の符号化結果として生成されたビットストリームを獲得し、ビットストリームに含まれた情報に基づいて符号化単位の予測タイプに係わる情報を復号することができる。例えば、予測タイプに係わる情報は、イントラ予測タイプ及びインター予測タイプのうち、1つを示すことができる。符号化単位は、映像からツリー構造によって分割されて生成されるブロックに対応する。
獲得部1710は、シーケンスパラメータセット(sequence parameter set)、ピクチャーパラメータセット(picture parameter set)、ビデオパラメータセット(video parameter set)、スライスヘッダ(slice header)及びスライスセグメントヘッダ(slice segment header)のうち、少なくとも1つに含まれたブロック形態情報及び/または分割形態モードに係わる情報に基づいて現在ブロックを決定する。さらに、ブロック位置判断部1710は、最大符号化単位、基準符号化単位、プロセッシングブロックごとに、ビットストリームからブロック形態情報または分割形態モードに係わる情報に対応するシンタックスエレメントをビットストリームから獲得して現在ブロックを決定するのに用いることができる。
一実施例による獲得部1710は、ビットストリームから現在ブロックのCr成分のためのcbf情報及びCb成分のためのcbf情報を獲得することができる。現在ブロックは、符号化単位から生成されたブロックであって、逆量子化及び逆変換のための変換単位でもある。
Cr成分のためのcbf情報(以下、「Cr cbf情報」と記載する)は、現在ブロックが変換係数レベルが0ではないCr成分を含むか否かを示す。例えば、Cr cbf情報が0であれば、現在ブロックが変換係数レベルが0ではないCr成分を含まないことを示し、Cr cbf情報が1であれば、現在ブロックが変換係数レベルが0ではないCr成分を含むことを示す。同様に、Cb成分のためのcbf情報(以下、「Cb cbf情報」と記載する)は、現在ブロックが変換係数レベルが0ではないCb成分を含むか否かを示す。例えば、Cb cbf情報が0であれば、現在ブロックが変換係数レベルが0ではないCb成分を含まないことを示し、Cb cbf情報が1であれば、現在ブロックが変換係数レベルが0ではないCb成分を含むことを示す。
一般的に現在変換ブロックのためのcbf情報が1であれば、変換係数レベルをビットストリームから獲得し、復号部1720は、獲得された変換係数レベルを用いてルマ成分のレジデュアルサンプルを復元することができる。
一実施例によるビデオ復号装置1700は、Cb成分のレジデュアルサンプル及びCr成分のレジデュアルサンプルを復元するために、Cb成分の変換係数レベル及びCr成分の変換係数レベルを個別的にビットストリームから獲得するか、一種類のクロマ変換係数レベルだけビットストリームから獲得することができる。
以下、一種のクロマ変換係数レベルとしてクロマジョイントレジデュアルサンプルが用いられる実施例が詳述される。
一実施例による獲得部1710は、ビットストリームから、現在ブロックのクロマジョイントレジデュアルサンプルを獲得することができる。現在ブロックのクロマジョイントレジデュアルサンプルは、現在ブロックのCb成分のレジデュアルサンプル値とCr成分のレジデュアルサンプル値とを用いて決定されたサンプル値でもある。したがって、Cb成分のレジデュアルサンプル値と、それに対応するCr成分のレジデュアルサンプル値とを示すために、1つのクロマサンプル値だけがビットストリームから獲得されうる。もし、現在ブロックのサイズがルマ8x8ブロック及びクロマブロック4x4であれば、総16個のクロマジョイントレジデュアルサンプルがビットストリームから獲得されうる。
一実施例による復号部1720は、符号化単位の予測タイプ、Cr cbf情報及びCb cbf情報に基づいて、Cr成分のレジデュアルサンプルの加重値及びCb成分のレジデュアルサンプルの加重値を決定することができる。復号部1720は、現在ブロックのクロマジョイントレジデュアルサンプル及びCr成分のレジデュアルサンプルの加重値を用いてCr成分のレジデュアルサンプルを復元することができる。同様に、復号部1720は、現在ブロックのクロマジョイントレジデュアルサンプル及びCb成分のレジデュアルサンプルの加重値を用いてCb成分のレジデュアルサンプルを復元することができる。
まず、一実施例による獲得部1710は、ビットストリームから、Cb成分のレジデュアルサンプル値と、それに対応するCr成分のレジデュアルサンプル値を示すために、1つのクロマサンプル値だけ符号化されるか否かを示すクロマジョイント情報を獲得することができる。
例えば、クロマジョイント情報が1を示せば、現在ブロックにおいて1つのクロマサンプルが符号化されることを示すと解釈されうる。その場合、獲得部1710がビットストリームから1つのクロマサンプル値を獲得し、復号部1720は、獲得された1つのクロマサンプル値を用いてCb成分のレジデュアルサンプル値とそれに対応するCr成分のレジデュアルサンプル値を復元することができる。その場合、復号部1720は、符号化単位の予測タイプ、Cr成分のためのcbf情報、及びCb成分のためのcbf情報に基づいて、Cr成分のレジデュアルサンプルの加重値及びCb成分のレジデュアルサンプルの加重値を決定することができる。具体的に、一実施例による復号部1720は、クロマジョイント情報が、1つのクロマサンプルが符号化されることを示すとき、符号化単位の予測タイプ、Cr cbf情報及びCb cbf情報に基づいて、Cr成分のレジデュアルサンプルの加重値及びCb成分のレジデュアルサンプルの加重値を決定することができる。
一実施例によって、符号化単位の予測タイプがイントラ予測モードであるとき、復号部1720は、Cr cbf情報及びCb cbf情報に基づいて多数のジョイントモードのうち、1つのジョイントモードを選択し、選択されたジョイントモードによってCr成分のレジデュアルサンプルの加重値及びCb成分のレジデュアルサンプルの加重値を決定することができる。
一実施例によって、符号化単位の予測タイプがインター予測モードであるとき、復号部1720は、許容される1つのジョイントモードに含まれるCr成分のレジデュアルサンプルの加重値及びCb成分のレジデュアルサンプルの加重値を決定することができる。
このように予測タイプ、Cr cbf、及びCb cbfによって決定されたCr成分のレジデュアルサンプルの加重値及びCb成分のレジデュアルサンプルの組合わせによって、復号部1720は、現在ブロックのクロマジョイントレジデュアルサンプル及びCr成分のレジデュアルサンプルの加重値を用いてCr成分のレジデュアルサンプルを復元し、現在ブロックのクロマジョイントレジデュアルサンプル及びCb成分のレジデュアルサンプルの加重値を用いてCb成分のレジデュアルサンプルを復元することができる。
一実施例によってクロマジョイント情報が0を示せば、獲得部1710は、Cb成分の変換係数レベルとCr成分の変換係数レベルを個別的にビットストリームから獲得することができる。獲得部1710は、Cb成分の変換ブロックのための変換係数レベルをビットストリームから獲得し、復号部1720は、獲得された変換係数レベルを用いてCb成分のレジデュアルサンプルを復元することができる。同様に、獲得部1710がCr成分の変換ブロックのための変換係数レベルをビットストリームから獲得し、復号部1720は、獲得された変換係数レベルを用いてCr成分のレジデュアルサンプルを復元することができる。
一実施例によって、符号化単位の予測タイプが、イントラ予測モードであるか、あるいはインター予測モードであるかによって、Cr成分のレジデュアルサンプルの加重値及びCb成分のレジデュアルサンプルの加重値の組合わせに対応するジョイントモードの個数が異なっても設定される。一実施例による復号部1720は、符号化単位の予測タイプがイントラ予測モードであるとき、Cr成分のためのcbf情報及びCb成分のためのcbf情報に基づいて、多数のジョイントモードのうち、1つを選択し、選択された1つのジョイントモードによってCr成分のレジデュアルサンプルの加重値及びCb成分のレジデュアルサンプルの加重値を決定することができる。一実施例による復号部1720は、符号化単位の予測タイプがインター予測モードであるとき、許容される1つのジョイントモードによってCr成分のレジデュアルサンプルの加重値及びCb成分のレジデュアルサンプルの加重値を決定することができる。
一実施例による復号部1720は、クロマジョイント情報、Cr成分のためのcbf情報及びCb成分のためのcbf情報に基づいて、Cr成分のレジデュアルサンプルの加重値及びCb成分のレジデュアルサンプルを含むジョイントモードを決定し、ジョイントモードに基づいて現在ブロックのための量子化パラメータを決定することができる。
一実施例による復号部1720は、現在ブロックの動きベクトルを用いて参照ピクチャー内の参照ブロックを決定し、参照ブロックに含まれた参照サンプルから現在ブロックに対応する予測サンプルを決定することができる。
現在ブロックの予測モードがスキップモードではない場合、ビデオ復号装置1700は、ビットストリームから獲得された現在ブロックの変換係数に対して逆量子化及び逆変換を遂行して、レジデュアルサンプルを獲得することができる。復号部1720は、現在ブロックの予測サンプルに現在ブロックのレジデュアルサンプルを組み合わせて現在ブロックの復元サンプルを決定することができる。
以下、クロマ成分のレジデュアルサンプルを復号するためのビデオ復号方法を図18を参照して後述する。
図18は、一実施例によるビデオ復号方法を示すフローチャートである。
段階1810において、獲得部1710は、ビットストリームから現在ブロックを含む符号化単位の予測タイプを示す情報を獲得することができる。
段階1820において、獲得部1710は、ビットストリームから現在ブロックのCr cbf情報及びCb cbf情報を獲得することができる。
段階1830において、復号部1720は、符号化単位の予測タイプ、Cr cbf情報及びCb cbf情報に基づいて、Cr成分のレジデュアルサンプルの加重値及びCb成分のレジデュアルサンプルの加重値を決定する。
一実施例による獲得部1710は、ビットストリームから現在ブロックでCb成分のレジデュアルサンプル及び対応するCr成分のレジデュアルサンプルを示すために、1つのクロマサンプルが符号化されるか否かを示すクロマジョイント情報を獲得することができる。クロマジョイント情報が現在ブロックにおいて1つのクロマサンプルが符号化されることを示すとき、復号部1720は、符号化単位の予測タイプ、Cr cbf情報及びCb cbf情報に基づいて、Cr成分のレジデュアルサンプルの加重値及びCb成分のレジデュアルサンプルの加重値を決定することができる。
例えば、符号化単位の予測タイプ、Cr cbf情報及びCb cbf情報に基づいて、Cr成分のレジデュアルサンプルの加重値及びCb成分のレジデュアルサンプルの加重値の組合わせのうち、1つが選択されうる。
具体的に、符号化単位の予測タイプがイントラ予測モードであるとき、復号部1720は、Cr cbf情報及びCb cbf情報に基づいて多数のジョイントモードのうち、1つのジョイントモードを選択し、選択されたジョイントモードによってCr成分のレジデュアルサンプルの加重値及びCb成分のレジデュアルサンプルの加重値を決定することができる。一方、符号化単位の予測タイプがインター予測モードであるとき、復号部1720は、許容される1つのジョイントモードに対応するCr成分のレジデュアルサンプルの加重値及びCb成分のレジデュアルサンプルの加重値を決定することができる。
一実施例によるCr成分のレジデュアルサンプルの加重値は、-1/2であり、Cb成分のレジデュアルサンプルの加重値は、1でもある。他の実施例によるCr成分のレジデュアルサンプルの加重値は、-1であり、Cb成分のレジデュアルサンプルの加重値は、1でもある。さらに他の実施例によるCr成分のレジデュアルサンプルの加重値は、1であり、Cb成分のレジデュアルサンプルの加重値は、-1/2でもある。
他の例において、ジョイントモードによってCr成分のレジデュアルサンプルの加重値及びCb成分のレジデュアルサンプルの加重値の組合わせが異なってもいる。例えば、3種ジョイントモード別に、Cr成分のレジデュアルサンプルの加重値及びCb成分のレジデュアルサンプルの加重値の3種組合わせが{-1/2, 1}, {-1, 1}, {1, -1/2}に設定されうる。3種ジョイントモードのうち、選択された1つのモードによってCr成分のレジデュアルサンプルの加重値及びCb成分のレジデュアルサンプルの加重値が決定されうる。
段階1840において、獲得部1710は、ビットストリームから現在ブロックのクロマジョイントレジデュアルサンプルを獲得することができる。
段階1850において、復号部1720は、現在ブロックのクロマジョイントレジデュアルサンプル及びCr成分のレジデュアルサンプルの加重値を用いてCr成分のレジデュアルサンプルを復元する。復号部1720は、現在ブロックのクロマジョイントレジデュアルサンプル及びCb成分のレジデュアルサンプルの加重値を用いてCb成分のレジデュアルサンプルを復元する。
具体的に、現在ブロックのクロマジョイントレジデュアルサンプルにCr成分のレジデュアルサンプルの加重値を適用した加重和の結果値が、Cr成分のレジデュアルサンプルと決定されうる。同様に、現在ブロックのクロマジョイントレジデュアルサンプルにCb成分のレジデュアルサンプルの加重値を適用した加重和の結果値がCb成分のレジデュアルサンプルと決定されうる。
一実施例による復号部1720は、現在ブロックの動きベクトルを用いて現在ブロックを復元することができる。復号部1720は、現在ブロックの動きベクトルを用いて参照ピクチャー内の参照ブロックを決定し、参照ブロックに含まれた参照サンプルから現在ブロックに対応する予測サンプルを決定する。復号部1720は、スキップモードを除いた予測モードで現在ブロックの予測サンプルと現在ブロックのレジデュアルサンプルとを加えて、現在ブロックの復元サンプルを決定する。スキップモードのようにレジデュアルサンプルがない場合、現在ブロックの予測サンプルだけで現在ブロックの復元サンプルが決定される。現在ブロックが復元されることで、現在ブロックを含む現在ピクチャーが復元されうる。
一実施例による復号部1720は、クロマジョイント情報、Cr cbf情報及びCb cbf情報に基づいて、Cr成分のレジデュアルサンプルの加重値及びCb成分のレジデュアルサンプルの加重値を用いるジョイントモードを決定し、決定されたジョイントモードに基づいて現在ブロックのための量子化パラメータを決定する。例えば、特定ジョイントモードが決定されるとき、クロマ成分のための量子化パラメータが個別的に決定されうる。復号部1720は、クロマ成分のための量子化パラメータを用いて、現在ブロックのクロマジョイントレジデュアルサンプルの変換係数に対して逆量子化を遂行することができる。復号部1720は、変換係数に逆量子化及び逆変換を遂行してクロマジョイントレジデュアルサンプルを復元し、クロマジョイントレジデュアルサンプルに対してCr成分のレジデュアルサンプルの加重値及びCb成分のレジデュアルサンプルの加重値を適用することで、Cr成分のレジデュアルサンプル及びCb成分のレジデュアルサンプルを復元することができる。
以下、ピクチャーをタイルに分割してタイル別に符号化を遂行するビデオ符号化装置を図19を参照して後述する。
図19は、一実施例によるビデオ符号化装置を示すブロック図である。
一実施例によるビデオ符号化装置1900は、予測部1910及びレジデュアル符号化部1920を含んでもよい。
ビデオ符号化装置1900は、インター予測を遂行して決定された動き情報を符号化してビットストリームの形態にも出力する。
一実施例によるビデオ符号化装置1900は、ブロック位置判断部1910及びインター予測遂行部1920を制御する中央プロセッサ(図示せず)を含んでもよい。または、予測部1910及びレジデュアル符号化部1920がそれぞれの自体プロセッサ(図示せず)によって作動し、プロセッサ(図示せず)が相互有機的に作動することにより、ビデオ符号化装置1900が全体として作動されうる。または、ビデオ符号化装置1900の外部プロセッサ(図示せず)の制御によって、予測部1910及びレジデュアル符号化部1920が制御されうる。
ビデオ符号化装置1900は、予測部1910及びレジデュアル符号化部1920の入出力データが保存される1つ以上のデータ保存部(図示せず)を含んでもよい。ビデオ符号化装置1900は、データ保存部(図示せず)のデータ入出力を制御するメモリ制御部(図示せず)を含んでもよい。
ビデオ符号化装置1900は、映像符号化のために、内部に搭載されたビデオエンコーディングプロセッサまたは外部のビデオエンコーディングプロセッサと連携して作動することで、予測を含む映像符号化動作を遂行することができる。一実施例によるビデオ符号化装置1900の内部ビデオエンコーディングプロセッサは、別個のプロセッサだけではなく、中央演算装置またはグラフィック演算装置が映像エンコーディングプロセッシングモジュールを含むことで、基本的な映像符号化動作を具現することができる。
一実施例による予測部1910は、現在ブロックを含む符号化単位の予測タイプを決定する。
予測部1910は、現在ブロックの動きベクトルが示す参照ブロックのサンプルを現在ブロックの予測サンプルと決定する。レジデュアル符号化部1920は、現在ブロックの原本サンプルと予測サンプルとの差であるレジデュアルサンプルを決定することができる。レジデュアル符号化部1920は、現在ブロックのレジデュアルサンプルに対して変換及び量子化を遂行して生成された変換係数を符号化することができる。
但し、一実施例によるビデオ符号化装置1900は、Cb成分のレジデュアルサンプルとCr成分のレジデュアルサンプルを、原本サンプルと予測サンプルとの差である実際レジデュアルサンプルと異なって決定して符号化することができる。レジデュアル符号化部1920は、Cb成分のレジデュアルサンプルの実際値とCr成分のレジデュアルサンプルの実際値の代わりに、1つのクロマジョイントレジデュアルサンプルを符号化することができる。
一実施例によるレジデュアル符号化部1920は、現在ブロックのCr cbf情報及びCb cbf情報を決定することができる。一実施例によるレジデュアル符号化部1920は、符号化単位の予測タイプ、Cr cbf情報及びCb cbf情報に基づいて、Cr成分のレジデュアルサンプルの加重値及びCb成分のレジデュアルサンプルの加重値を決定することができる。
一実施例によるレジデュアル符号化部1920は、現在ブロックのクロマジョイントレジデュアルサンプルを生成することができる。ビデオ符号化装置1900は、実際Cb成分のレジデュアルサンプルとCr成分のレジデュアルサンプルを知っているが、符号化効率のために符号化されるクロマジョイントレジデュアルサンプルを決定することができる。ビデオ復号装置1700において、現在ブロックのクロマジョイントレジデュアルサンプル及びCr成分のレジデュアルサンプルの加重値を用いてCr成分のレジデュアルサンプルが復元され、現在ブロックのクロマジョイントレジデュアルサンプル及びCb成分のレジデュアルサンプルの加重値を用いて前記Cb成分のレジデュアルサンプルが復元されることを考慮して、レジデュアル符号化部1920は、Cb成分のレジデュアルサンプルの実際値とCr成分のレジデュアルサンプルの実際値とを用いて、クロマジョイントレジデュアルサンプルを決定することができる。
また、一実施例によるレジデュアル符号化部1920は、符号化単位の予測タイプ、Cr cbf情報及びCb cbf情報に基づいて、Cr成分のレジデュアルサンプルの加重値及びCb成分のレジデュアルサンプルの加重値を決定することができる。
一実施例によるレジデュアル符号化部1920は、符号化単位の予測タイプが、イントラ予測モードであるか、あるいはインター予測モードであるかによって、Cr成分のレジデュアルサンプルの加重値及びCb成分のレジデュアルサンプルの加重値の組合わせに対応するジョイントモードの個数を異なって設定することができる。
レジデュアル符号化部1920は、符号化単位の予測タイプがイントラ予測モードであるとき、Cr成分のためのcbf情報及び前記Cb成分のためのcbf情報に基づいて、多数のジョイントモードのうち、1つを選択し、選択されたジョイントモードによってCr成分のレジデュアルサンプルの加重値及びCb成分のレジデュアルサンプルの加重値を決定することができる。符号化単位の予測タイプがインター予測モードであるとき、許容される1つのジョイントモードによってCr成分のレジデュアルサンプルの加重値及びCb成分のレジデュアルサンプルの加重値を決定することができる。
また、ビデオ符号化装置1900は、現在ブロックでCb成分のレジデュアルサンプル及び対応するCr成分のレジデュアルサンプルを示すために、1つのクロマサンプルが符号化されるか否かを示すクロマジョイント情報を生成することができる。
以下、ビデオ符号化装置1900がクロマ成分のレジデュアルサンプルを含むビデオ符号化を遂行する過程を図20を参照して後述する。
図20は、一実施例によるビデオ符号化方法を示すフローチャートである。
段階2010において、予測部1910は、現在ブロックを含む符号化単位の予測タイプを決定することができる。ビデオ符号化装置1900は、現在ブロックを含む符号化単位の予測タイプがインター予測モードであるか、またはイントラ予測モードであるかを示す予測タイプ情報を符号化することができる。
段階2020において、レジデュアル符号化部1920は、現在ブロックのCr cbf情報及びCb cbf情報を決定することができる。例えば、現在ブロックが変換係数レベルが0ではないCr成分を含むか否かを示すために、レジデュアル符号化部1920は、Cr cbf情報を符号化することができる。例えば、現在ブロックが変換係数レベルが0ではないCr成分を含まなければ、レジデュアル符号化部1920は、Cr cbf情報が0を示すように符号化することができる。現在ブロックが変換係数レベルが0ではないCr成分を含めば、レジデュアル符号化部1920は、Cr cbf情報が1を示すように符号化することができる。同様に、現在ブロックが変換係数レベルが0ではないCb成分を含むか否かを示すために、レジデュアル符号化部1920は、Cb cbf情報を符号化することができる。例えば、現在ブロックが変換係数レベルが0ではないCb成分を含まなければ、レジデュアル符号化部1920は、Cb cbf情報が0を示すように符号化することができる。現在ブロックが変換係数レベルが0ではないCb成分を含めば、レジデュアル符号化部1920は、Cb cbf情報が1を示すように符号化することができる。
段階2030において、レジデュアル符号化部1920は、符号化単位の予測タイプ、Cr cbf情報及びCb cbf情報に基づいて、Cr成分のレジデュアルサンプルの加重値及びCb成分のレジデュアルサンプルの加重値を決定することができる。
一実施例によるCr成分のレジデュアルサンプルの加重値は、-1/2であり、Cb成分のレジデュアルサンプルの加重値は、1でもある。他の実施例によるCr成分のレジデュアルサンプルの加重値は、-1であり、Cb成分のレジデュアルサンプルの加重値は、1でもある。さらに他の実施例によるCr成分のレジデュアルサンプルの加重値は、1であり、Cb成分のレジデュアルサンプルの加重値は、-1/2でもある。
レジデュアル符号化部1920は、符号化単位の予測タイプがイントラ予測モードであるとき、Cr成分のためのcbf情報及び前記Cb成分のためのcbf情報に基づいて、多数のジョイントモードのうち、1つを選択し、選択されたジョイントモードによってCr成分のレジデュアルサンプルの加重値及びCb成分のレジデュアルサンプルの加重値を決定することができる。符号化単位の予測タイプがインター予測モードであるとき、許容される1つのジョイントモードによってCr成分のレジデュアルサンプルの加重値及びCb成分のレジデュアルサンプルの加重値を決定することができる。
他の例において、Cr成分のレジデュアルサンプルの加重値及びCb成分のレジデュアルサンプルの加重値の組合わせが多数提供され、多数のジョイントモード別に加重値組合のうち、1つの組合わせが選択されうる。例えば、Cr成分のレジデュアルサンプルの加重値及びCb成分のレジデュアルサンプルの加重値の組合わせが{-1/2, 1}, {-1, 1}, {1, -1/2}のうち、1つの組合わせがジョイントモード別に選択されうる。3個のジョイントモードのうち、選択された1つのモードによってCr成分のレジデュアルサンプルの加重値及びCb成分のレジデュアルサンプルの加重値が決定されうる。
さらに具体的な例において、符号化単位の予測タイプがイントラ予測モードであるとき、レジデュアル符号化部1920は、Cr cbf情報及びCb cbf情報に基づいて多数のジョイントモードのうち、1つのジョイントモードを選択し、選択されたジョイントモードによるCr成分のレジデュアルサンプルの加重値及びCb成分のレジデュアルサンプルの加重値を決定する。一方、符号化単位の予測タイプがインター予測モードであるとき、レジデュアル符号化部1920は、許容される1つのジョイントモードによるCr成分のレジデュアルサンプルの加重値及びCb成分のレジデュアルサンプルの加重値を決定することができる。
段階2040において、レジデュアル符号化部1920は、現在ブロックのクロマジョイントレジデュアルサンプルを生成する。一実施例において、レジデュアル符号化部1920は、Cb成分のレジデュアルサンプルの実際値とCr成分のレジデュアルサンプルの実際値の代わりに、1つのクロマジョイントレジデュアルサンプルを符号化することができる。もし、現在ブロックのサイズがルマ8x8ブロック及びクロマブロック4x4であれば、総16個のクロマジョイントレジデュアルサンプルがビットストリームから獲得されうる。
ビデオ復号装置1700において現在ブロックのクロマジョイントレジデュアルサンプル及びCr成分のレジデュアルサンプルの加重値を用いてCr成分のレジデュアルサンプルが復元され、現在ブロックのクロマジョイントレジデュアルサンプル及び前記Cb成分のレジデュアルサンプルの加重値を用いて、前記Cb成分のレジデュアルサンプルが復元されることを考慮して、レジデュアル符号化部1920は、Cb成分のレジデュアルサンプルの実際値とCr成分のレジデュアルサンプルの実際値を用いてクロマジョイントレジデュアルサンプルを決定する。
ビデオ符号化装置1900は、現在ブロックでCb成分のレジデュアルサンプル及び対応するCr成分のレジデュアルサンプルを示すために、1つのクロマサンプルが符号化されるか否かを示すクロマジョイント情報を生成する。現在ブロックにおいてCb成分のレジデュアルサンプル及び対応するCr成分のレジデュアルサンプルを示すために、1つのクロマサンプルが符号化される場合、段階2030及び2040が遂行されうる。
一実施例によるレジデュアル符号化部1920は、クロマジョイント情報、Cr cbf情報及びCb cbf情報に基づいて、Cr成分のレジデュアルサンプルの加重値及びCb成分のレジデュアルサンプルの加重値を用いるジョイントモードを決定し、決定されたジョイントモードに基づいて現在ブロックのための量子化パラメータを決定することができる。例えば、特定ジョイントモードが決定されるとき、クロマ成分のための量子化パラメータが個別的に決定されうる。レジデュアル符号化部1920は、量子化パラメータを用いてクロマジョイントレジデュアルサンプルの変換係数に対して量子化を遂行することができる。量子化された変換係数が変換係数レベルというシンタックスエレメントに符号化されうる。
以下、図21及び図22を参照してCb成分のレジデュアルサンプルとCb成分のレジデュアルサンプルを用いてクロマジョイントレジデュアルサンプルを決定し、クロマジョイントレジデュアルサンプルを用いてCb成分のレジデュアルサンプルとCb成分のレジデュアルサンプルとを復元する過程を説明する。
図21は、一実施例によるCb成分、Cr成分及びクロマ符号化成分間の関係に係わるグラフを図示する。
グラフ2100は、ビデオ符号化装置1900でCr成分のレジデュアルサンプルの実際値2120とCb成分のレジデュアルサンプルの実際値2110とクロマジョイントレジデュアルサンプル2140の関係を図示する。一実施例によるビデオ符号化装置1900は、Cr成分のレジデュアルサンプルの実際値2120に-1を乗算した値2130と、Cb成分のレジデュアルサンプルの実際値2110との平均値をクロマジョイントレジデュアルサンプル2140と決定しうる。
グラフ2200は、ビデオ復号装置1700でCr成分のレジデュアルサンプルの実際値2120とCb成分のレジデュアルサンプルの実際値2110とクロマジョイントレジデュアルサンプル2140との関係を示す。
ビデオ復号装置1700において、Cb成分のレジデュアルサンプル加重値は、1、Cr成分のレジデュアルサンプル加重値は、-1に決定しうる。
したがって、獲得部1710がクロマジョイントレジデュアルサンプル2140を獲得すれば、復号部1720は、クロマジョイントレジデュアルサンプル2140と同じ値をCb成分のレジデュアルサンプル2160の復元値に決定し、クロマジョイントレジデュアルサンプル2140に-1を乗算して生成された値をCr成分のレジデュアルサンプル2170の復元値と決定しうる。
図22は、一実施例によるCb成分、Cr成分及びクロマ符号化成分間の関係式を示す図面である。
図22に図示された関係式において、Cbは、Cb成分のレジデュアルサンプルの復元値、Crは、Cr成分のレジデュアルサンプルの復元値を示す。jointCbは、クロマジョイントレジデュアルサンプルを示し、weightTable(corrIdx)は、Cr成分のレジデュアルサンプル加重値を示す。
最初の関係式によれば、Cb成分のレジデュアルサンプル加重値は、1であるので、クロマジョイントレジデュアルサンプルjointCbと同じ値がCb成分のレジデュアルサンプルの復元値Cbと決定されうる。
二番目の関係式によれば、Cr成分のレジデュアルサンプル加重値は、weightTable(corrIdx)であるので、クロマジョイントレジデュアルサンプルjointCbに加重値を適用した加重和がCr成分のレジデュアルサンプルの復元値Crに決定されうる。weightTable(corrIdx)は、多数の加重値を含むテーブルであって、多数の加重値のうち、インデックスcorrIdxによって決定された1つの加重値をCr成分のレジデュアルサンプル加重値に決定されうる。その場合、Cb成分のレジデュアルサンプル加重値は、1に固定されていると見られる。
図21及び図22において例示された加重値は、一実施例に過ぎず、本開示の思想で可能なジョイントモードは、これに限定されない。例えば、weightTableは、{ -1, 1, -2, -1/2, -4, 1/4… }でもある。その場合、Cb成分のレジデュアルサンプル加重値は、1に固定されており、Cr成分のレジデュアルサンプル加重値は、{ -1, 1, -2, -1/2, -4, 1/4… }のうち、1つに決定されうる。他の例として、Cb、Crレジデュアルサンプルのためのジョイントモードが{(1, ±1/2), (1, ±1), (±1/2, 1)}に設定されており、予測タイプ、Cb cbf及びCr cbfによってジョイントモードのうち、1つが決定されうる。
図23は、一実施例によるtransform unit syntaxを図示する。
ビデオ復号装置1700は、transform unit syntax 2300からシンタックスエレメントtu_cbf_cb、tu_cbf_cr及びtu_joint_cbcr_residual_flagを獲得することができる。
tu_cbf_cbは、Cb cbf情報に対応するシンタックスエレメントであり、現在変換ブロックが変換係数レベルが0ではないCb成分を含むか否かを示すことができる。tu_cbf_crは、Cr cbf情報に対応するシンタックスエレメントであり、現在変換ブロックが変換係数レベルが0ではないCr成分を含むか否かを示すことができる。tu_joint_cbcr_residual_flagは、クロマジョイント情報に対応するシンタックスエレメントであり、現在変換ブロックでCb成分のレジデュアルサンプル及び対応するCr成分のレジデュアルサンプルを示すために、1つのクロマサンプルが符号化されるか否かを示すことができる。
ビデオ復号装置1700がtransform unit syntax 2300を復号する以前にシーケンスパラミットセット(sequence parameter set)からsps_joint_cbcr_enabled_flagを獲得することができる。sps_joint_cbcr_enabled_flagが1を示す場合、現在シーケンスに含まれたブロックでCb成分のレジデュアルサンプル及び対応するCr成分のレジデュアルサンプルを示すために、1つのクロマサンプルが符号化されるクロマジョイント方式が許容されることを意味する。
したがって、ビデオ復号装置1700は、まずsps_joint_cbcr_enabled_flagを通じて、現在シーケンスでクロマジョイント方式が許容され(sps_joint_cbcr_enabled_flag&&)、現在変換ブロックを含む符号化単位の予測タイプがイントラ予測タイプであり(( CuPredMode[ chType ][ x0 ][ y0 ] = = MODE_INTRA) &&, Cr cbf情報またはCb cbf情報が1である場合(tu_cbf_cb[xC][yC]||tu_cbf_cr[xC][yC])に、tu_joint_cbcr_residual_flag、すなわち、クロマジョイント情報を獲得することができる。また、現在変換ブロックを含む符号化単位の予測タイプがインター予測タイプである場合には、Cr cbf情報及びCb cbf情報がいずれも1である場合(tu_cbf_cb[xC][yC] && tu_cbf_cr[xC][yC] )にのみ、tu_joint_cbcr_residual_flag、すなわち、クロマジョイント情報を獲得することができる。
したがって、符号化単位の予測タイプがイントラ予測タイプであり、現在ブロックにCr成分のレベルが1である変換係数が存在するか、Cb成分のレベルが1である変換係数が存在する場合に、クロマジョイント情報を通じてCb成分のレジデュアルサンプル及び対応するCr成分のレジデュアルサンプルを示すために、1つのクロマサンプルが符号化されるか否かが決定されうる。符号化単位の予測タイプがインター予測タイプであり、現在ブロックにCr成分のレベルが1である変換係数が存在し、Cb成分のレベルが1である変換係数が存在する場合に、クロマジョイント情報を通じてCb成分のレジデュアルサンプル及び対応するCr成分のレジデュアルサンプルを示すために、1つのクロマサンプルが符号化されるか否かが決定されうる。ここで、獲得されたクロマジョイント情報が0を示せば、ビットストリームからCb成分のレジデュアルサンプル及び対応するCr成分のレジデュアルサンプルがそれぞれ獲得されねばならないということを意味する。一方、クロマジョイント情報が1を示せば、ビットストリームから1つのクロマサンプルを獲得し、これにより、Cb成分のレジデュアルサンプル及び対応するCr成分のレジデュアルサンプルが復元されることを意味する。
図24は、一実施例によるCb cbf値、Cr cbfの組合わせにCb成分、Cr成分及びクロマ符号化成分間の関係式を示す図面である。
図23を参照して説明したように、Cb cbf情報tu_cbf_cbとCr cbf情報tu_cbf_crが獲得されれば、Cb cbf情報とCr cbf情報によってCb成分のレジデュアルサンプルの復元値resCbとCr成分のレジデュアルサンプルの復元値resCrを決定するための加重値が決定されうる。
例えば、tu_cbf_cbが1及びtu_cbf_crが0であるとき、Cb成分のレジデュアルサンプルの復元値resCbは、クロマジョイントレジデュアルサンプルresJointCと同じ値に決定され、Cr成分のレジデュアルサンプルの復元値resCrは、クロマジョイントレジデュアルサンプルresJointCに±1/2を乗算した値に決定されうる。その場合、Cb成分の加重値は、1、Cr成分の加重値は、±1/2であり、ジョイントモードインデックスが1である。
例えば、tu_cbf_cbが1及びtu_cbf_crが1であるとき、Cb成分のレジデュアルサンプルの復元値resCbは、クロマジョイントレジデュアルサンプルresJointCと同じ値に決定され、Cr成分のレジデュアルサンプルの復元値resCrは、クロマジョイントレジデュアルサンプルresJointCに±1を乗算した値に決定されうる。その場合、Cb成分の加重値は、1、Cr成分の加重値は±1であり、ジョイントモードインデックスが2である。
例えば、tu_cbf_cbが0であり、tu_cbf_crが1であるとき、Cb成分のレジデュアルサンプルの復元値resCbは、クロマジョイントレジデュアルサンプルresJointCに±1/2を乗算した値に決定され、Cr成分のレジデュアルサンプルの復元値resCrは、クロマジョイントレジデュアルサンプルresJointCと同じ値に決定されうる。その場合、Cb成分の加重値は、±1/2、Cr成分の加重値は、1であり、ジョイントモードインデックスが3である。
符号化単位の予測タイプがイントラ予測モードである場合、ジョイントモードインデックスが1、2、3がいずれも可能である。すなわち、符号化単位の予測タイプがイントラ予測モードである場合には、ジョイントモードインデックスによってCb成分の加重値及びCr成分の加重値がそれぞれ決定されうる。
但し、符号化単位の予測タイプがインター予測モードである場合、ジョイントモードインデックス2のみ許容される。したがって、符号化単位の予測タイプがインター予測モードである場合には、ジョイントモードインデックスが2である場合、すなわち、tu_cbf_cbが1、及びtu_cbf_crが1であるときのみ、クロマジョイント方式が許容され、Cb成分の加重値は、1、Cr成分の加重値は±1に決定されうる。
以上、ビデオ符号化装置1900は、Cb成分のレジデュアルサンプルの実際値とCr成分のレジデュアルサンプルの実際値の代わりに、1つのクロマジョイントレジデュアルサンプルを符号化し、ビデオ復号装置1700は、ビットストリームから1つのクロマジョイントレジデュアルサンプルを獲得し、1つのクロマジョイントレジデュアルサンプルからCb成分のレジデュアルサンプルの復元値とCr成分のレジデュアルサンプルの復元値とを決定する方法が提案された。
Cb成分のレジデュアルサンプル及びCr成分のレジデュアルサンプルが1つのジョイントレジデュアルサンプルに符号化されることで、個別的に符号化することに比べて、ビットレートが節約されうる。ビデオ符号化装置1900でCb成分のレジデュアルサンプルの実際値とCr成分のレジデュアルサンプルの実際値を如何なる関係式によって組み合わせてクロマジョイントレジデュアルサンプルを決定するか、またはビデオ復号装置1700でジョイントレジデュアルサンプルを用いてCb成分のレジデュアルサンプル及びCr成分のレジデュアルサンプルを復元するかによって、符号化効率がさらに高くなる。
以下、前記実施例を変形して、ビデオ符号化装置1900は、Cb成分のレジデュアルサンプルの実際値とCr成分のレジデュアルサンプルの実際値の代わりに、クロマジョイントサンプル値を符号化し、ビデオ復号装置1700は、ビットストリームから獲得されたクロマジョイントサンプル値を用いてCb成分のレジデュアルサンプルの復元値とCr成分のレジデュアルサンプルの復元値とを決定する多様な方法を提案する。
まず、クロマジョイント情報が獲得される位置が多様に変更されうる。
図23による実施例では、ルマcbf情報、Cb cbf情報とCr cbf情報がビットストリームから獲得された後、Cb cbf情報とCr cbf情報によってクロマジョイント情報がビットストリームから獲得されうる。
他の実施例によれば、まずルマcbf情報及びCb cbf情報が獲得された後、Cb cbf情報が1であれば、クロマジョイント情報が獲得され、Cb cbf情報が0であり、クロマジョイント情報が0であれば、Cr cbf情報が獲得されうる。その場合、Cb cbf情報は、1個のビン(bin)で構成された2進列に復号され、クロマジョイント情報は、2個のビンで構成された2進列、Cr cbf情報が2/3個のビンで構成された2進列に復号されうる。
他の実施例によれば、ジョイントクロマ情報の符号化回数を減らすために、Cb cbf情報よりも先にジョイントクロマ情報を復号することができる。具体的に、ルマcbfとクロマジョイント情報が獲得され、クロマジョイント情報が1であれば、Cb cbf情報値を1に決定し、Cr cbf情報値を0に決定することができる。但し、クロマジョイント情報が0であれば、Cb cbf情報とCr cbf情報をそれぞれビットストリームから獲得することができる。その場合、クロマジョイント情報は、1個のビンで構成された2進列、Cb cbf情報は、1/2個のビンで構成された2進列に復号され、Cr cbf情報が1/2個のビンで構成された2進列に復号されうる。
以下、クロマジョイント情報のコンテクストモデリング方式について説明する。
一実施例によるクロマジョイント情報を獲得するために、CABAC復号方式に基づいてエントロピー復号を遂行することができる。その場合、クロマジョイント情報を復号するために、コンテクストインデックスが決定されうる。
例えば、クロマジョイント情報を復号するためのコンテクストインデックスは、ブロックを含む符号化単位の予測タイプが、イントラ予測モードであるか、あるいはインター予測モードであるかに基づいて決定されうる。
他の例として、クロマジョイント情報を復号するためのコンテクストインデックスは、ブロックのサイズに基づいて決定されうる。具体的な例として、ブロックの幅をW、ブロックの高さをHとするとき、log2WはWにlog2を適用した値、log2HはHにlog2を適用した値でもある。コンテクストインデックスは、log2W及びlog2Hのうち、小さい値に基づいて決定されうる。他の例として、コンテクストインデックスは、log2W及びlog2Hのうち、大きい値に基づいて決定されうる。他の例として、コンテクストインデックスは、log2W及びlog2Hの平均値に基づいて決定しうる。他の例として、コンテクストインデックスは、log2Wとlog2Hとを加えた値に基づいて決定されうる。
他の例として、クロマジョイント情報を復号するためのコンテクストインデックスは、ブロックの高さと幅の比率に基づいて決定されうる。
他の例として、クロマジョイント情報を復号するためのコンテクストインデックスは、ブロックのインター予測方向が単方向予測タイプであるか、または双方向予測タイプであるかに基づいて決定されうる。
他の例として、現在ブロックのクロマジョイント情報を復号するためのコンテクストインデックスが隣接ブロックのクロマジョイント情報に基づいて決定されうる。
他の例として、現在ブロックのクロマジョイント情報を復号するためのコンテクストインデックスが隣接ブロックの符号化情報に基づいて決定されうる。具体的な例として、隣接ブロックのcbf情報に基づいて現在ブロックのクロマジョイント情報を復号するためのコンテクストインデックスが決定されうる。他の例として、隣接ブロックの予測タイプが、イントラ予測モードであるか、あるいはインター予測モードであるかに基づいて、現在ブロックのクロマジョイント情報を復号するためのコンテクストインデックスが決定されうる。他の例として、隣接ブロックの変換タイプに基づいて現在ブロックのクロマジョイント情報を復号するためのコンテクストインデックスが決定されうる。
他の例として、現在ブロックのクロマジョイント情報を復号するためのコンテクストインデックスが現在ブロックの変換タイプに基づいて決定されうる。例えば、現在ブロックの変換タイプが変換スキップタイプであるか、サブブロック変換タイプであるか、二次変換タイプであるか、またはブロック形態による変換タイプであるかに基づいて、コンテクストインデックスが決定されうる。
他の例として、既定の符号化モードに基づいて現在ブロックのクロマジョイント情報を復号するためのコンテクストインデックスが決定されうる。具体的な例として、現在ブロックの符号化モードが MHintraモード、TriangleIntraモード、Affineモード、IBC (Intra BC)モード、SMVD(Symmetric motion vector difference)モード、MMVD (Merge with motion vector difference)モード、DMVR(Decoder-side Motion Vector Refinement)モード、CCLM(Cross-component Linear Model )モード、PDPC(Position dependent (intra) prediction combination)モード、MultiRefIntra (Multi Reference Line intra prediction)モード、intraSubPartitionモード、inloop reshaperモード、OBMC (Overlapped Block Motion Compensation)モード、transformSkipモード、SBT (Sub-block transform )モードのうち、いずれのモードが使用されるか否かに基づいてコンテクストインデックスが決定されうる。
他の例として、現在ブロックのMTS(multiple transform selection)インデックスに基づいて現在ブロックのクロマジョイント情報を復号するためのコンテクストインデックスが決定されうる。
他の例として、上記で提案された多様な条件のうち、2つ以上の条件の組合わせに基づいて現在ブロックのクロマジョイント情報を復号するためのコンテクストインデックスが決定されうる。
以下、ブロックにおいてCb成分のレジデュアルサンプル及び対応するCr成分のレジデュアルサンプルを示すために1つのクロマサンプルが符号化されるクロマジョイント方式が適用されうる条件に係わる多様な実施例について説明する。
一実施例によるビデオ復号装置1700は、符号化単位の予測タイプがイントラ予測モードまたはインター予測モードである場合、ブロックサイズに対する制限なしに、クロマジョイント方式が適用されるか否かが決定されうる。
他の例として、ブロックのサイズに基づいてクロマジョイント方式が適用されるか否かが決定されうる。具体的な例として、ブロックの幅をW、ブロックの高さをHとするとき、log2Wは、Wにlog2を適用した値、log2Hは、Hにlog2を適用した値でもある。log2W及びlog2Hのうち、小さい値に基づいてクロマジョイント方式が適用されるか否かが決定されうる。他の例として、log2W及びlog2Hのうち、大きい値に基づいてクロマジョイント方式が適用されるか否かが決定されうる。他の例として、log2W及びlog2Hの平均値に基づいてクロマジョイント方式が適用されるか否かが決定されうる。他の例として、log2Wとlog2Hを加えた値に基づいてクロマジョイント方式が適用されるか否かが決定されうる。
他の例として、ブロックの形態に基づいてクロマジョイント方式が適用されるか否かが決定されうる。
他の例として、インター予測モードのブロックである場合、予測方向が単方向予測タイプか双方向予測タイプであるかに基づいてクロマジョイント方式が適用されるか否かが決定されうる。
他の例として、ブロックの高さと幅の比率に基づいて、クロマジョイント方式が適用されるか否かが決定されうる。
他の例として、現在ブロックの変換タイプに基づいてクロマジョイント方式が適用されるか否かが決定されうる。例えば、現在ブロックの変換タイプが変換スキップタイプであるか、サブブロック変換タイプであるか、2次変換タイプであるか、またはブロック形態による変換タイプであるかに基づいて、クロマジョイント方式が適用されるか否かが決定されうる。
他の例として、Cb成分の変換係数の個数またはCr成分の変換係数の個数に基づいてクロマジョイント方式が適用されるか否かが決定されうる。
他の例として、既定の符号化モードに基づいてクロマジョイント方式が適用されるか否かが決定されうる。具体的な例として、現在ブロックの符号化モードが MHintraモード、TriangleIntraモード、Affineモード、IBC (Intra BC)モード、SMVD(Symmetric motion vector difference)モード、MMVD (Merge with motion vector difference)モード、DMVR(Decoder-side Motion Vector Refinement)モード、CCLM(Cross-component Linear Model )モード、PDPC(Position dependent (intra) prediction combination)モード、MultiRefIntra (Multi Reference Line intra prediction)モード、intraSubPartitionモード、inloop reshaperモード、OBMC (Overlapped Block Motion Compensation)モード、transformSkipモード、SBT (Sub-block transform )モードのうち、いずれのモードが使用されるか否かに基づいてクロマジョイント方式が適用されるか否かが決定されうる。
他の例として、スライスレベルでクロマジョイント方式が適用されるか否かが決定されうる。スライスヘッダで獲得されたフラグによって現在スライスに含まれたブロックでクロマジョイント方式の適用が許容されうる。
他の例として、テンポラルレイヤレベルでクロマジョイント方式が適用されるか否かが決定されうる。
他の例として、現在スライスが参照可能なスライスであるか、参照不可能なスライスであるかに基づいて、クロマジョイント方式が適用されるか否かが決定されうる。
他の例として、現在ブロックのサブブロック別にクロマジョイント方式が適用されるか否かを示す情報が獲得されうる。したがって、変換ブロックのサブブロックごとにクロマジョイント方式が適用されるか否かが決定されうる。
他の例として、前記条件のうち、2つ以上の条件の組合わせに基づいて、クロマジョイント方式が適用されるか否かが決定されうる。
クロマジョイント方式が適用されるか否かを決定するための前述した多様な条件を表現するための具体的な条件文は、次の通りである。
- If intraTU only
- If interTU only || inter_slice only
- If intraTU && size > threshold || interTU && size > threshold
- If intraTU && size < threshold || interTU && size < threshold
- If tu_width != tu_height
- If tu_width == tu_height
- If ratio(tu_width, tu_height) > threshold
- If interTU && predType==UniPred
- If !(interTU && predType==BiPred)
- If TU is not transform skip mode
- If TU is transform skip mode
- If no secondary transform is applied
- If no SBT is applied
- If SBT is applied
- If number of coeff. of Cb < threshold
- If number of coeff. of Cb > threshold
- If number of coeff. of Y < threshold
- If number of coeff. of Y > threshold
- If cbfCb==0 & cbf(cr)==1 || cbfCb==1 & cbf(cr)==0
以下、他の実施例によってビデオ符号化装置1900がクロマジョイントレジデュアルサンプルを決定する方法と、ビデオ復号装置1700がクロマジョイントレジデュアルサンプルを用いてCb成分のレジデュアルサンプルとCr成分のレジデュアルサンプルとを復元する過程を詳述する。
- If interTU only || inter_slice only
- If intraTU && size > threshold || interTU && size > threshold
- If intraTU && size < threshold || interTU && size < threshold
- If tu_width != tu_height
- If tu_width == tu_height
- If ratio(tu_width, tu_height) > threshold
- If interTU && predType==UniPred
- If !(interTU && predType==BiPred)
- If TU is not transform skip mode
- If TU is transform skip mode
- If no secondary transform is applied
- If no SBT is applied
- If SBT is applied
- If number of coeff. of Cb < threshold
- If number of coeff. of Cb > threshold
- If number of coeff. of Y < threshold
- If number of coeff. of Y > threshold
- If cbfCb==0 & cbf(cr)==1 || cbfCb==1 & cbf(cr)==0
以下、他の実施例によってビデオ符号化装置1900がクロマジョイントレジデュアルサンプルを決定する方法と、ビデオ復号装置1700がクロマジョイントレジデュアルサンプルを用いてCb成分のレジデュアルサンプルとCr成分のレジデュアルサンプルとを復元する過程を詳述する。
他の実施例によるビデオ符号化装置1900は、Cb成分のレジデュアルサンプルの実際値resCbとCr成分のレジデュアルサンプルの実際値resCrとを用いて、下記のようにクロマジョイントレジデュアルサンプルresJointを決定することができる。
resJoint=(resCb*3-resCr)/4
resJoint=(resCb-resCr*3)/4
ビデオ符号化装置1900は、前記2つのresJointのうち、RDコストが低い値をクロマジョイントレジデュアルサンプルとして符号化することができる。
resJoint=(resCb-resCr*3)/4
ビデオ符号化装置1900は、前記2つのresJointのうち、RDコストが低い値をクロマジョイントレジデュアルサンプルとして符号化することができる。
他の実施例によるビデオ復号装置1700は、ルマ成分のサンプルの復元値またはCb成分のサンプルの復元値に基づいて、Cr成分のレジデュアルサンプルを復元する方法を決定することができる。
他の例として、ビデオ復号装置1700は、ルマ成分のレジデュアルサンプルの復元値またはCb成分のレジデュアルサンプルの復元値に基づいて、Cr成分のレジデュアルサンプルを復元する方法を決定することができる。
他の例として、ビデオ復号装置1700は、ルマ成分の詳細情報またはCb成分の詳細情報に基づいて、Cr成分のレジデュアルサンプルを復元する方法を決定することができる。例えば、詳細情報は、ルマ成分またはCb成分のマグニチュード、平均、分散、グラジエント、高周波成分及び低周波成分のうち、少なくとも1つを含んでもよい。
他の例として、ビデオ復号装置1700は、現在ブロックのサブブロック別に、各サブブロックのコンテンツ特性に基づいて、Cr成分のレジデュアルサンプルを復元する方法を決定することができる。例えば、各サブブロックのコンテンツは、当該サブブロックのルマ成分またはCb成分のサンプルの復元値またはルマ成分またはCb成分のレジデュアルサンプルの復元値でもある。各サブブロックのコンテンツの特性は、当該サブブロックのマグニチュード、平均、分散、グラジエント、高周波成分、及び低周波成分のうち、少なくとも1つを含んでもよい。
他の例として、ビデオ符号化装置1900は、クロマジョイントレジデュアルサンプルとクロマジョイントレジデュアルサンプル差分を符号化することができる。クロマジョイントレジデュアルサンプル差分は、クロマジョイントレジデュアルサンプルとCr成分のレジデュアルサンプルとの差値を示す。ビデオ符号化装置1900は、Cr成分のレジデュアルサンプルが符号化されたか否かを示すフラグを符号化することができる。その場合、ビデオ復号装置1700は、ビットストリームから前記フラグを獲得し、前記フラグを通じてCr成分のレジデュアルサンプルが符号化されていないことが決定されるならば、クロマジョイントレジデュアルサンプルjointCbと、クロマジョイントレジデュアルサンプル差分diff_jointCb_Crとをビットストリームから獲得することができる。ビデオ復号装置1700は、Cb成分のレジデュアルサンプルの復元値Cbと、Cr成分のレジデュアルサンプルの復元値Crとを次の数式によって決定することができる。(Cb = 2*jointCb+Cr, Cr = jointCb - diff_jointCb_Cr)
さらに他の例として、ビデオ符号化装置1900は、Cb成分のレジデュアルサンプルとCr成分のレジデュアルサンプルとの平均値を符号化し、Cb成分のレジデュアルサンプルとCr成分のレジデュアルサンプルとの差分の1/2値を符号化することができる。また、ビデオ符号化装置1900は、Cr成分のレジデュアルサンプルが符号化されたか否かを示すフラグを符号化することができる。その場合、ビデオ復号装置1700は、ビットストリームから前記フラグを獲得し、前記フラグを通じてCr成分のレジデュアルサンプルが符号化されないことが決定されるならば、前記平均値ave_CbCrと差分の1/2値diff_CbCrをビットストリームから獲得することができる。ビデオ復号装置1700は、Cb成分のレジデュアルサンプルの復元値CbとCr成分のレジデュアルサンプルの復元値Crを次の数式によって決定することができる(Cb = ave_CbCr+diff_CbCr, Cr = ave_CbCr-diff_CbCr)。その場合、ave_CbCr値は、Cb及びCrと同一でもあり、Cb成分の加重値及びCr成分の加重値の組合わせが、(1、1)(1、-1)に制限されない。
さらに他の例として、ビデオ符号化装置1900は、Cb成分のレジデュアルサンプルとCr成分のレジデュアルサンプルとの平均値を符号化し、Cb成分のレジデュアルサンプルとCr成分のレジデュアルサンプルとの差分の1/2値を符号化することができる。また、ビデオ符号化装置1900は、Cr成分のレジデュアルサンプルが符号化されたか否かを示すフラグを符号化することができる。その場合、ビデオ復号装置1700は、ビットストリームから前記フラグを獲得し、前記フラグを通じてCr成分のレジデュアルサンプルが符号化されないことが決定されるならば、前記平均値ave_CbCrと差分の1/2値diff_CbCrをビットストリームから獲得することができる。ビデオ復号装置1700は、Cb成分のレジデュアルサンプルの復元値CbとCr成分のレジデュアルサンプルの復元値Crを次の数式によって決定することができる(Cb = ave_CbCr+diff_CbCr, Cr = ave_CbCr-diff_CbCr)。その場合、ave_CbCr値は、Cb及びCrと同一でもあり、Cb成分の加重値及びCr成分の加重値の組合わせが、(1、1)(1、-1)に制限されない。
さらに他の例として、ビデオ符号化装置1900は、Cb成分のレジデュアルサンプルと同じ値のクロマジョイントレジデュアルサンプルが符号化されうる。また、ビデオ符号化装置1900は、クロマジョイント加重値インデックスを符号化することができる。その場合、ビデオ復号装置1700は、ビットストリームからクロマジョイントレジデュアルサンプルを獲得し、クロマジョイントレジデュアルサンプルと同じ値のCb成分のレジデュアルサンプルを復元することができる。また、ビデオ復号装置1700は、ビットストリームからクロマジョイント加重値インデックスを獲得し、加重値テーブルのうち、加重値インデックスが示すクロマジョイント加重値を獲得することができる。ビデオ復号装置1700は、クロマジョイント加重値とクロマジョイントレジデュアルサンプルを乗算して生成された値をCr成分のレジデュアルサンプルの復元値に決定しうる。この際、加重値テーブルは{-1, 1, -2, -1/2, -4, 1/4 ..}を含み、0から増加する各クロマジョイント加重値インデックスは、加重値テーブルのうち、各加重値を指すことができる。すなわち、ビットストリームから獲得したクロマジョイント加重値インデックスが0であれば、クロマジョイントレジデュアルサンプルに-1を乗算して生成された値をCr成分のレジデュアルサンプルの復元値に決定することができる。
さらに他の例として、ビデオ符号化装置1900は、Cr成分のレジデュアルサンプルと同じ値のクロマジョイントレジデュアルサンプルが符号化されうる。また、ビデオ符号化装置1900は、クロマジョイント加重値インデックスを符号化することができる。その場合、ビデオ復号装置1700は、ビットストリームからクロマジョイントレジデュアルサンプルを獲得し、クロマジョイントレジデュアルサンプルと同じ値のCr成分のレジデュアルサンプルを復元することができる。また、ビデオ復号装置1700は、ビットストリームからクロマジョイント加重値インデックスを獲得し、加重値テーブルのうち、加重値インデックスが示すクロマジョイント加重値を獲得することができる。ビデオ復号装置1700は、クロマジョイント加重値とクロマジョイントレジデュアルサンプルを乗算して生成された値をCb成分のレジデュアルサンプルの復元値に決定することができる。この際、加重値テーブルは、{-1, 1, -2, -4 ..}を含み、0から増加する各クロマジョイント加重値インデックスは、加重値テーブルのうち、各加重値を指すことができる。すなわち、ビットストリームから獲得したクロマジョイント加重値インデックスが0であれば、クロマジョイントレジデュアルサンプルに-1を乗算して生成された値をCb成分のレジデュアルサンプルの復元値に決定することができる。一般的に、Cr成分のサンプルがCb成分のサンプルよりも小さいので、加重値テーブルに含まれたクロマジョイント加重値の絶対値は、1よりも大きいか、同一である。
以上の実施例では、空間ドメインでのクロマレジデュアルサンプルを符号化及び復号する方法を説明した。以下、変換ドメインでのクロマ変換係数を符号化及び復号する方法を説明する。Cb成分の変換係数のうち、一部を用いて、Cr成分の変換係数が符号化/復号されうる。
一実施例によるビデオ符号化装置1900は、Cb成分の変換係数を符号化し、Cr成分の変換係数は、符号化しない。ビデオ復号装置1700は、ビットストリームから獲得したCb成分の変換係数を復号してCb成分の変換係数の復元値を決定することができる。ビデオ復号装置1700は、Cb成分の変換係数の低周波成分を用いてCr成分の変換係数を復元することができる。他の例として、Cb成分の変換係数に所定加重値を乗算した値をCr成分の変換係数の復元値に決定することができる。
他の実施例によるビデオ符号化装置1900は、Cb成分の変換係数及びCb成分のレジデュアル成分を符号化し、Cr成分の変換係数、レジデュアル成分及びCr cbf情報は、符号化しない。ビデオ復号装置1700は、ビットストリームから獲得したCb成分の変換係数を復号してCb成分の変換係数の復元値を決定することができる。ビデオ復号装置1700は、Cb成分の変換係数の低周波成分を用いてCr成分の変換係数を復元することができる。他の例として、Cb成分の変換係数に所定加重値を乗算した値をCr成分の変換係数の復元値に決定することができる。
以下、所定のジョイントモードのクロマジョイント方式が遂行可能であるとき、Cb成分のためのデルタ量子化パラメータを用いてクロマ成分のための量子化パラメータを決定するための多様な実施例について説明する。
一実施例によれば、ビデオ復号装置1900は、dQPが2であるとき、Cb成分のためのクロマジョイント量子化パラメータQPcbからdelQPを差し引いた値をクロマジョイント量子化パラメータQPjointと決定することができる。例えば、ジョイントモードインデックスが1であるとき、ビデオ復号装置1900は、クロマジョイント量子化パラメータQPjointを用いてCb成分の変換係数及びCr成分の変換係数に逆量子化を遂行することができる。
他の例として、クロマ成分のためのdQPは、変換ブロックシンタックスを通じて獲得されうる。したがって、ビデオ復号装置1900は、変換単位ごとにクロマ成分のためのdQPを獲得して、現在変換単位に含まれたCb成分及びCr成分のdQPを決定することができる。
他の例として、クロマ成分のためのdQPは、予測ブロックシンタックスを通じて獲得されうる。したがって、ビデオ復号装置1900は、予測単位ごとにクロマ成分のためのdQPを獲得して、現在予測単位に含まれたCb成分及びCr成分のdQPを決定することができる。
他の例として、クロマ成分のためのdQPは、コーディングブロックシンタックスを通じて獲得されうる。したがって、ビデオ復号装置1900は、符号化単位ごとにクロマ成分のためのdQPを獲得して、現在符号化単位に含まれたCb成分及びCr成分のdQPを決定することができる。
他の例として、クロマ成分のためのdQPは、マキシマムコーディングブロックシンタックスを通じて獲得されうる。したがって、ビデオ復号装置1900は、最大符号化単位ごとにクロマ成分のためのdQPを獲得して、現在最大符号化単位に含まれたCb成分及びCr成分のdQPを決定することができる。
他の例として、クロマ成分のためのdQPは、スライスヘッダシンタックスを通じて獲得されうる。したがって、ビデオ復号装置1900は、スライスごとにクロマ成分のためのdQPを獲得して、現在スライスに含まれたCb成分及びCr成分のdQPを決定することができる。
他の例として、クロマ成分のためのdQPは、テンポラルレイヤごとに獲得されうる。したがって、ビデオ復号装置1900は、現在テンポラルレイヤに含まれたCb成分及びCr成分のdQPを決定することができる。
例えば、前記クロマ成分のためのdQPは、Cb成分のためのQPとルマ成分のためのQPとの差値でもある。他の例として、前記クロマ成分のためのQPは、クロマ成分のためのQPとデフォルトQPとの差値でもある。
他の例として、ビデオ復号装置1700は、クロマ成分のためのdQPを符号化単位の予測タイプに基づいて決定しうる。例えば、符号化単位の予測タイプがイントラ予測モードである場合にクロマ成分のためのdQPは、2に決定され、イントラ予測モードではない場合にクロマ成分のためのdQPは、1に決定されうる。
他の例として、ビデオ復号装置1700は、クロマ成分のためのdQPをブロックサイズに基づいて決定しうる。例えば、ブロックサイズが16x16より大きいか、同一であれば、クロマ成分のためのdQPは、1に決定され、ブロックサイズが16x16より小さければ、クロマ成分のためのdQPは、2に決定されうる。
他の例として、ビデオ復号装置1700は、クロマ成分のためのdQPをブロックの所定符号化モードに基づいて決定しうる。具体的な例として、現在ブロックの符号化モードは、 MHintraモード、TriangleIntraモード、Affineモード、IBC (Intra BC)モード、SMVD(Symmetric motion vector difference)モード、MMVD (Merge with motion vector difference)モード、DMVR(Decoder-side Motion Vector Refinement)モード、CCLM(Cross-component Linear Model )モード、PDPC(Position dependent (intra) prediction combination)モード、MultiRefIntra (Multi Reference Line intra prediction)モード、intraSubPartitionモード、inloop reshaperモード、OBMC (Overlapped Block Motion Compensation)モード、transformSkipモード、SBT (Sub-block transform )モードのうち、少なくともいずれか1つでもある。例えば、現在ブロックの所定符号化モードのインデックスが1である場合、クロマ成分のためのdQPは、1に決定され、インデックスが1ではない場合、クロマ成分のためのdQPは、2に決定されうる。
他の例として、ビデオ復号装置1700は、クロマ成分のためのdQPを現在テンポラルレイヤの識別情報に基づいて決定しうる。例えば、現在ブロックを含むテンポラルレイヤの識別情報が2より大きければ、クロマ成分のためのdQPは、0に決定され、識別情報が2よりも小さいか、同一であれば、クロマ成分のためのdQPは、2に決定されうる。他の例として、現在ブロックを含むテンポラルレイヤの識別情報が0であれば、クロマ成分のためのdQPは、2に決定され、識別情報が0ではなく、3より小さければ、クロマ成分のためのdQPは、1に決定されうる。識別情報が3より大きいか、同一であれば、クロマ成分のためのdQPは、0に決定されうる。
他の例として、ビデオ復号装置1700は、現在ブロックのクロマ成分のためのdQPを隣接ブロックの量子化パラメータまたは量子化パラメータ差分値に基づいて決定することができる。
以下、クロマジョイント方式で多数のジョイントモードが用いられる場合と1つのジョイントモードが用いられる場合を所定条件によって選択する方法に係わる実施例を詳述する。
ビデオ符号化装置1900は、クロマジョイントモードによって、クロマジョイントレジデュアルサンプルCを符号化するか、第1クロマジョイントレジデュアルサンプルC1と第2クロマジョイントレジデュアルサンプルC2を符号化することができる。第1モード及び第3モードにおいて、クロマジョイントレジデュアルサンプルCが決定されて符号化されうる。ビデオ符号化装置1900は、Cb成分のレジデュアルサンプルの実際値に-1を乗算した値をCr成分のレジデュアルサンプルであると仮定し、Cb成分のレジデュアルサンプルと同じ値をクロマジョイントレジデュアルサンプルCに決定して符号化することができる。第2モードにおいて、第1クロマジョイントレジデュアルサンプルC1は、Cb成分のレジデュアルサンプルの実際値とCr成分のレジデュアルサンプルの実際値との平均値になるように決定することができる(すなわち、c1=(cb+cr)/2)。第2クロマジョイントレジデュアルサンプルC2は、Cb成分のレジデュアルサンプルの実際値とCr成分のレジデュアルサンプルの実際値の負数値との平均値になるように決定することができる(すなわち、c2=(cb-cr)/2)。
一例として、ビデオ復号装置1700で2種のクロマジョイントモードが可能である。第1モードにおいてCb成分のレジデュアルサンプルは、クロマジョイントレジデュアルサンプルと同じ値に復元され、Cr成分のレジデュアルサンプルは、クロマジョイントレジデュアルサンプルに-1を乗算した値に復元されうる(cb=c、cr=-c)。第2モードにおいて、Cb成分のレジデュアルサンプルは、第1クロマジョイントレジデュアルサンプルと第2クロマジョイントレジデュアルサンプルとを合わせた値に復元され、Cr成分のレジデュアルサンプルは、第1クロマジョイントレジデュアルサンプルから第2クロマジョイントレジデュアルサンプルを差し引いた値に復元されうる(cb=c1+c2、cr=c1-c2)。符号化単位の予測タイプがイントラ予測モードである場合、ビデオ復号装置1700は、ビットストリームからクロマジョイントモードインデックスを獲得し、クロマジョイント方式は、第1モードと第2モードのうち、モードインデックスが示す方式によって、Cb成分のレジデュアルサンプルとCr成分のレジデュアルサンプルとを復元することができる。符号化単位の予測タイプがインター予測モードである場合、ビデオ復号装置1700は、モードインデックスなしに第2モードによってCb成分のレジデュアルサンプルとCr成分のレジデュアルサンプルを復元することができる。
他の例として、ビデオ復号装置1700において3種クロマジョイントモードが可能である。第1モードにおいて、Cb成分のレジデュアルサンプルは、クロマジョイントレジデュアルサンプルと同じ値に復元され、Cr成分のレジデュアルサンプルは、クロマジョイントレジデュアルサンプルに-1を乗算した値に復元されうる(cb=c、cr=-c)。第2モードにおいて、Cb成分のレジデュアルサンプルは、第1クロマジョイントレジデュアルサンプルと第2クロマジョイントレジデュアルサンプルとを合わせた値に復元され、Cr成分のレジデュアルサンプルは、第1クロマジョイントレジデュアルサンプルから第2クロマジョイントレジデュアルサンプルを差し引いた値に復元されうる(cb=c1+c2、cr=c1-c2)。第3モードにおいて、Cb成分のレジデュアルサンプルは、クロマジョイントレジデュアルサンプルと同じ値に復元され、Cr成分のレジデュアルサンプルは、クロマジョイントレジデュアルサンプルに-1/2を乗算した値に復元されうる(cb=c、cr=-1/2c)。符号化単位の予測タイプがイントラ予測モードであり、イントラ予測方向がプラナモードまたはDCモードである場合、ビデオ復号装置1700は、モードインデックスを獲得せずとも、第1モードによってCb成分のレジデュアルサンプルとCr成分のレジデュアルサンプルを復元することができる。符号化単位の予測タイプがイントラ予測モードであり、イントラ予測方向が方向性モードである場合、ビデオ復号装置1700は、ビットストリームからクロマジョイントモードインデックスを獲得し、第1モードと第3モードのうち、モードインデックスが示す方式によって、Cb成分のレジデュアルサンプルとCr成分のレジデュアルサンプルを復元することができる。符号化単位の予測タイプがインター予測モードである場合、ビデオ復号装置1700は、モードインデックスを獲得せずとも、第2モードによってCb成分のレジデュアルサンプルとCr成分のレジデュアルサンプルとを復元することができる。
以下、クロマジョイント方式で所定条件によって多数のジョイントモードが用いられる場合に係わる実施例を詳述する。
前述した実施例において、ビデオ符号化装置1900は、第1、2、3モードによってクロマジョイントレジデュアルサンプルCを符号化するか、第1クロマジョイントレジデュアルサンプルC1と第2クロマジョイントレジデュアルサンプルC2を符号化することができるということは、本実施例において同様に適用される。前述した実施例のビデオ復号装置1700において、3種のクロマジョイントモードでクロマジョイントレジデュアルサンプルC、第1クロマジョイントレジデュアルサンプルC1、及び第2クロマジョイントレジデュアルサンプルC2のうち、少なくとも1つを用いて、Cb成分のレジデュアルサンプルとCr成分のレジデュアルサンプルとを復元する方式も、本実施例において同様に適用される。
符号化単位の予測タイプがイントラ予測モードである場合、ビデオ復号装置1700は、ビットストリームからクロマジョイントモードインデックスを獲得し、第1モードと第2モードのうち、モードインデックスが示す方式によって、Cb成分のレジデュアルサンプルとCr成分のレジデュアルサンプルとを復元することができる。符号化単位の予測タイプがインター予測モードである場合、ビデオ復号装置1700は、ビットストリームからクロマジョイントモードインデックスを獲得し、第1モードと第3モードのうち、モードインデックスが示す方式によって、Cb成分のレジデュアルサンプルとCr成分のレジデュアルサンプルとを復元することができる。
以下、クロマジョイント方式でクロマジョイントモードインデックスなしに所定条件で多数のジョイントモードが用いられる場合に係わる実施例を詳述する。
前述した実施例において、ビデオ符号化装置1900は、第1、2、3モードによってクロマジョイントレジデュアルサンプルCを符号化するか、第1クロマジョイントレジデュアルサンプルC1と第2クロマジョイントレジデュアルサンプルC2を符号化することができるということは、本実施例において同様に適用される。前述した実施例において、ビデオ復号装置1700で3種のクロマジョイントモードでクロマジョイントレジデュアルサンプルC、第1クロマジョイントレジデュアルサンプルC1及び第2クロマジョイントレジデュアルサンプルC2のうち、少なくとも1つを用いて、Cb成分のレジデュアルサンプルとCr成分のレジデュアルサンプルとを復元する方式も、本実施例において同様に適用される。ビデオ復号装置1700は、符号化単位の予測タイプがイントラ予測モードであり、イントラ予測方向がプラナモードまたはDCモードである場合、モードインデックスを獲得せずとも、第1モードによってCb成分のレジデュアルサンプルとCr成分のレジデュアルサンプルとを復元することができる。符号化単位の予測タイプがイントラ予測モードであり、イントラ予測方向が方向性モードである場合、ビデオ復号装置1700は、モードインデックスを獲得せずとも、第2モードによって、Cb成分のレジデュアルサンプルとCr成分のレジデュアルサンプルとを復元することができる。符号化単位の予測タイプがインター予測モードである場合、ビデオ復号装置1700は、モードインデックスを獲得せずとも、第3モードによってCb成分のレジデュアルサンプルとCr成分のレジデュアルサンプルとを復元することができる。
第1クロマジョイントレジデュアルサンプルC1及び第2クロマジョイントレジデュアルサンプルC2のうち、少なくとも1つを用いてCb成分のレジデュアルサンプルとCr成分のレジデュアルサンプルを復元するための関係式は、前に説明した実施例に限定されず、多様な関係式が適用されうる。例えば、cb=w1*c1+w2*c2、cr=w3*c1+w4*c2のように加重値w1、w2、w3、w4を変形して多様な関係式が用いられる。
また、前述した実施例において、クロマジョイントモードインデックスなしに多数のジョイントモードのうち、1つのモードのみ選択するための条件について、以下多様な実施例を後述する。
例えば、ブロックを含む符号化単位の予測タイプが、イントラ予測モードであるか、あるいはインター予測モードであるかに基づいて、多数のジョイントモードのうち、1つのモードが決定されうる。
他の例として、ブロックのサイズに基づいて、多数のジョイントモードのうち、1つのモードが決定されうる。具体的な例として、ブロックの幅をW、ブロックの高さをHとするとき、log2Wは、Wにlog2を適用した値、log2Hは、Hにlog2を適用した値でもある。log2W及びlog2Hのうち、小さい値に基づいて、多数のジョイントモードのうち、1つのモードが決定されうる。他の例として、log2W及びlog2Hのうち、大きい値に基づいて、多数のジョイントモードのうち、1つのモードが決定されうる。他の例として、log2W及びlog2Hの平均値に基づいて、多数のジョイントモードのうち、1つのモードが決定されうる。他の例として、log2Wとlog2Hを加えた値に基づいて、多数のジョイントモードのうち、1つのモードが決定されうる。
他の例として、ブロックの高さと幅の比率に基づいて、多数のジョイントモードのうち、1つのモードが決定されうる。
他の例として、ブロックのインター予測方向が単方向予測タイプであるか、または双方向予測タイプであるかに基づいて、多数のジョイントモードのうち、1つのモードが決定されうる。
他の例として、隣接ブロックのクロマジョイント情報に基づいて、現在ブロックのための多数のジョイントモードのうち、1つのモードが決定されうる。
他の例として、隣接ブロックの符号化情報に基づいて、現在ブロックのための多数のジョイントモードのうち、1つのモードが決定されうる。具体的な例として、隣接ブロックのcbf情報に基づいて多数のジョイントモードのうち、現在ブロックのための1つのモードが決定されうる。他の例として、隣接ブロックの予測タイプが、イントラ予測モードであるか、あるいはインター予測モードであるかに基づいて、多数のジョイントモードのうち、現在ブロックのための1つのモードが決定されうる。他の例として、隣接ブロックの変換タイプに基づいて、多数のジョイントモードのうち、現在ブロックのための1つのモードが決定されうる。他の例として、現在ブロックの変換タイプに基づいて、多数のジョイントモードのうち、1つのモードが決定されうる。例えば、現在ブロックの変換タイプが変換スキップタイプであるか、サブブロック変換タイプであるか、二次変換タイプであるか、またはブロック形態による変換タイプであるかに基づいて、多数のジョイントモードのうち、1つのモードが決定されうる。
他の例として、既定の符号化モードに基づいて、多数のジョイントモードのうち、1つのモードが決定されうる。具体的な例として、現在ブロックの符号化モードが MHintraモード、TriangleIntraモード、Affineモード、IBC (Intra BC)モード、SMVD(Symmetric motion vector difference)モード、MMVD (Merge with motion vector difference)モード、DMVR(Decoder-side Motion Vector Refinement)モード、CCLM(Cross-component Linear Model )モード、PDPC(Position dependent (intra) prediction combination)モード、MultiRefIntra (Multi Reference Line intra prediction)モード、intraSubPartitionモード、inloop reshaperモード、OBMC (Overlapped Block Motion Compensation)モード、transformSkipモード、SBT (Sub-block transform )モードのうち、いずれのモードが使用されるか否かに基づいて、多数のジョイントモードのうち、1つのモードが決定されうる。
他の例として、現在ブロックのMTS(multiple transform selection)インデックスに基づいて、多数のジョイントモードのうち、現在ブロックのための1つのモードが決定されうる。
他の例として、スライスごとに多数のジョイントモードのうち、現在スライスに含まれたブロックで使用される1つのモードが決定されうる。
他の例として、テンポラルレイヤレベルで多数のジョイントモードのうち、現在テンポラルレイヤに含まれたブロックで使用される1つのモードが決定されうる。
他の例として、現在スライスが参照可能なスライスであるか、参照不可能なスライスであるかに基づいて、多数のジョイントモードのうち、1つのモードが決定されうる。
他の例として、Cb成分の変換係数の個数またはCr成分の変換係数の個数に基づいて、多数のジョイントモードのうち、1つのモードが決定されうる。
他の例として、インター予測モードのブロックである場合、予測方向が単方向予測タイプか双方向予測タイプであるかに基づいて、多数のジョイントモードのうち、1つのモードが決定されうる。
他の例として、現在ブロックのCb cbf情報とCr cbf情報に基づいて、多数のジョイントモードのうち、1つのモードが決定されうる。
他の例として、前記提案された多様な条件のうち、2つ以上の条件の組合わせに基づいて、多数のジョイントモードのうち、1つのモードが決定されうる。
一方、上述した本開示の実施例は、コンピュータで実行可能なプログラムで作成可能であり、作成されたプログラムは、媒体に保存されうる。
媒体は、コンピュータで実行可能なプログラムを保存し続けるか、実行またはダウンロードのために臨時保存することでもある。また、媒体は、単一または複数のハードウェアが結合された形態の多様な記録手段または保存手段でもあるが、あるコンピュータシステムに直接接続される媒体に限定されず、ネットワーク上に分散存在するものでもある。媒体の例示としては、ハードディスク、フロッピィーディスク及び磁気テープのような磁気媒体、CD-ROM及びDVDのような光記録媒体、フロプティカルディスク(floptical disk)のような磁気光媒体(magneto-optical medium)、及びROM、RAM、フラッシュメモリなどを含み、プログラム命令語が保存されるように構成されたものでもある。また、他の媒体の例示として、アプリケーションを流通するアプリストアやその他の多様なソフトウェアを供給ないし流通するサイト、サーバなどで管理する記録媒体ないし保存媒体も挙げられる。
以上、本開示の技術的思想を望ましい実施例を挙げて詳細に説明したが、本開示の技術的思想は、前記実施例に限定されず、本開示の技術的思想の範囲内で当分野で通常の知識を有する者によって様々な変形及び変更が可能である。
1710 獲得部
1720 復号部
1720 復号部
Claims (4)
- 現在ブロックを含む符号化単位の予測タイプがイントラモードであるとき、前記現在ブロックでCb成分のレジデュアルサンプルとCr成分のレジデュアルサンプルとを表現するために、1つのブロックのクロマレジデュアルサンプルが符号化されるか否かを示すクロマジョイント情報を、前記Cr成分のためのcbf情報に基づいてビットストリームから獲得する段階と、
前記クロマジョイント情報が前記現在ブロックで前記Cb成分のレジデュアルサンプルと前記Cr成分のレジデュアルサンプルとを表現するために、前記1つのブロックのクロマレジデュアルサンプルが符号化されることを示すとき、前記Cr成分のためのcbf情報及び前記Cb成分のためのcbf情報に基づいて、前記Cr成分のレジデュアルサンプルの加重値を決定する段階と、
前記ビットストリームから前記現在ブロックのクロマレジデュアルサンプルを獲得する段階と、
前記現在ブロックのクロマレジデュアルサンプル及び前記Cr成分のレジデュアルサンプルの加重値を用いて前記Cr成分のレジデュアルサンプルを復元する段階と、を含むことを特徴とするビデオ復号方法。 - ビデオ復号装置において、
現在ブロックを含む符号化単位の予測タイプがイントラモードであるとき、前記現在ブロックでCb成分のレジデュアルサンプルとCr成分のレジデュアルサンプルとを表現するために、1つのブロックのクロマレジデュアルサンプルが符号化されるか否かを示すクロマジョイント情報を前記Cr成分のためのcbf情報に基づいてビットストリームから獲得し、前記現在ブロックのクロマレジデュアルサンプルを獲得する獲得部と、
前記クロマジョイント情報が前記現在ブロックで前記Cb成分のレジデュアルサンプルと前記Cr成分のレジデュアルサンプルとを表現するために、前記1つのブロックのクロマレジデュアルサンプルが符号化されることを示すとき、前記Cr成分のためのcbf情報及び前記Cb成分のためのcbf情報に基づき、前記Cr成分のレジデュアルサンプルの加重値を決定し、前記現在ブロックのクロマレジデュアルサンプル及び前記Cr成分のレジデュアルサンプルの加重値を用いて前記Cr成分のレジデュアルサンプルを復元する復号部と、を含むことを特徴とするビデオ復号装置。 - 現在ブロックを含む符号化単位の予測タイプがイントラモードであるとき、前記現在ブロックでCb成分のレジデュアルサンプルとCr成分のレジデュアルサンプルとを表現するために、1つのブロックのクロマレジデュアルサンプルが符号化されるか否かを示すクロマジョイント情報を前記Cr成分のためのcbf情報に基づいて符号化する段階と、
前記現在ブロックで前記Cb成分のレジデュアルサンプルと前記Cr成分のレジデュアルサンプルとを表現するために、前記1つのブロックのクロマレジデュアルサンプルが符号化されるとき、前記Cr成分のためのcbf情報に基づき、前記Cr成分のレジデュアルサンプルの加重値を決定する段階と、
前記現在ブロックのクロマジョイントレジデュアルサンプル及び前記Cr成分のレジデュアルサンプルの加重値を用いて前記現在ブロックのクロマレジデュアルサンプルを符号化する段階と、を含むことを特徴とするビデオ符号化方法。 - ビデオ符号化方法によって生成されたビットストリームを記録媒体に保存する方法において、
前記ビデオ符号化方法は、現在ブロックを含む符号化単位の予測タイプがイントラモードであるとき、前記現在ブロックでCb成分のレジデュアルサンプルとCr成分のレジデュアルサンプルとを表現するために、1つのブロックのクロマレジデュアルサンプルが符号化されるか否かを示すクロマジョイント情報を前記Cr成分のためのcbf情報に基づいて符号化する段階と、
前記現在ブロックで前記Cb成分のレジデュアルサンプルと前記Cr成分のレジデュアルサンプルとを表現するために、前記1つのブロックのクロマレジデュアルサンプルが符号化されるとき、前記Cr成分のためのcbf情報に基づき、前記Cr成分のレジデュアルサンプルの加重値を決定する段階と、
前記現在ブロックのクロマジョイントレジデュアルサンプル及び前記Cr成分のレジデュアルサンプルの加重値を用いて前記現在ブロックのクロマレジデュアルサンプルを符号化する段階と、
前記クロマジョイント情報及び前記クロマレジデュアルサンプルを含むビットストリームを前記記録媒体に保存する段階と、を含むことを特徴とする方法。
Applications Claiming Priority (6)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201962811672P | 2019-02-28 | 2019-02-28 | |
US62/811,672 | 2019-02-28 | ||
US201962840003P | 2019-04-29 | 2019-04-29 | |
US62/840,003 | 2019-04-29 | ||
JP2021549642A JP7425080B2 (ja) | 2019-02-28 | 2020-02-28 | クロマ成分を予測するビデオ符号化及び復号方法、及びクロマ成分を予測するビデオ符号化及び復号装置 |
PCT/KR2020/002929 WO2020175970A1 (ko) | 2019-02-28 | 2020-02-28 | 크로마 성분을 예측하는 비디오 부호화 및 복호화 방법, 및 크로마 성분을 예측하는 비디오 부호화 및 복호화 장치 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021549642A Division JP7425080B2 (ja) | 2019-02-28 | 2020-02-28 | クロマ成分を予測するビデオ符号化及び復号方法、及びクロマ成分を予測するビデオ符号化及び復号装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2024026864A true JP2024026864A (ja) | 2024-02-28 |
Family
ID=72239725
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021549642A Active JP7425080B2 (ja) | 2019-02-28 | 2020-02-28 | クロマ成分を予測するビデオ符号化及び復号方法、及びクロマ成分を予測するビデオ符号化及び復号装置 |
JP2024006377A Pending JP2024026864A (ja) | 2019-02-28 | 2024-01-18 | クロマ成分を予測するビデオ符号化及び復号方法、及びクロマ成分を予測するビデオ符号化及び復号装置 |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021549642A Active JP7425080B2 (ja) | 2019-02-28 | 2020-02-28 | クロマ成分を予測するビデオ符号化及び復号方法、及びクロマ成分を予測するビデオ符号化及び復号装置 |
Country Status (7)
Country | Link |
---|---|
US (1) | US12022060B2 (ja) |
EP (1) | EP3934251A4 (ja) |
JP (2) | JP7425080B2 (ja) |
KR (2) | KR20220151233A (ja) |
CN (1) | CN113545059A (ja) |
BR (1) | BR112021016917A2 (ja) |
WO (1) | WO2020175970A1 (ja) |
Families Citing this family (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3935842A1 (en) * | 2019-03-05 | 2022-01-12 | FRAUNHOFER-GESELLSCHAFT zur Förderung der angewandten Forschung e.V. | Use-case driven context model selection for hybrid video coding tools |
TWI815259B (zh) * | 2019-03-12 | 2023-09-11 | 弗勞恩霍夫爾協會 | 用於影像及視訊寫碼之選擇性成分間變換(ict)技術 |
JP2020195013A (ja) * | 2019-05-24 | 2020-12-03 | シャープ株式会社 | 画像復号装置および画像符号化装置 |
EP3997872A4 (en) | 2019-08-14 | 2022-10-26 | Beijing Bytedance Network Technology Co., Ltd. | WEIGHTING FACTORS FOR FILTERING PREDICTION SAMPLES IN INTRA MODE |
CN117376556A (zh) * | 2019-08-14 | 2024-01-09 | 北京字节跳动网络技术有限公司 | 位置相关帧内预测样点滤波 |
CN113632471B (zh) | 2019-08-23 | 2024-02-27 | 腾讯美国有限责任公司 | 视频编解码的方法和装置 |
US11722675B2 (en) * | 2020-12-29 | 2023-08-08 | Qualcomm Incorporated | Sign prediction for multiple color components in video coding |
US20220353547A1 (en) * | 2021-04-16 | 2022-11-03 | Tencent America LLC | Entropy coding of sign map for transform coefficients |
KR102561479B1 (ko) | 2022-11-30 | 2023-07-31 | 문영철 | 순환형 작물재배시스템 |
Family Cites Families (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1214649C (zh) * | 2003-09-18 | 2005-08-10 | 中国科学院计算技术研究所 | 用于视频预测残差系数编码的熵编码方法 |
KR101138392B1 (ko) | 2004-12-30 | 2012-04-26 | 삼성전자주식회사 | 색차 성분의 상관관계를 이용한 컬러 영상의 부호화,복호화 방법 및 그 장치 |
US7970219B2 (en) | 2004-12-30 | 2011-06-28 | Samsung Electronics Co., Ltd. | Color image encoding and decoding method and apparatus using a correlation between chrominance components |
KR101601840B1 (ko) * | 2009-02-23 | 2016-03-22 | 에스케이 텔레콤주식회사 | 채널 상관 관계를 이용한 영상 부호화/복호화 장치 및 방법과 그를 위한 컴퓨터로 읽을 수 있는 기록매체 |
KR20140018873A (ko) * | 2011-04-07 | 2014-02-13 | 엘지전자 주식회사 | 영상 정보 부호화 방법 및 복호화 방법 |
RU2602834C2 (ru) * | 2011-10-19 | 2016-11-20 | Кт Корпорейшен | Способ и устройство для кодирования/декодирования видеоданных |
US9807401B2 (en) * | 2011-11-01 | 2017-10-31 | Qualcomm Incorporated | Transform unit partitioning for chroma components in video coding |
WO2013107027A1 (en) | 2012-01-19 | 2013-07-25 | Mediatek Singapore Pte. Ltd. | Methods and apparatuses of cbf coding in hevc |
US9467701B2 (en) | 2012-04-05 | 2016-10-11 | Qualcomm Incorporated | Coded block flag coding |
WO2013157829A1 (ko) | 2012-04-16 | 2013-10-24 | 한국전자통신연구원 | 부호화 방법 및 복호화 방법 그리고 이를 이용하는 장치 |
CN108712652A (zh) | 2012-06-29 | 2018-10-26 | 韩国电子通信研究院 | 视频编码方法和计算机可读介质 |
US10455228B2 (en) * | 2016-03-21 | 2019-10-22 | Qualcomm Incorporated | Determining prediction parameters for non-square blocks in video coding |
WO2017173593A1 (en) * | 2016-04-06 | 2017-10-12 | Mediatek Singapore Pte. Ltd. | Separate coding secondary transform syntax elements for different color components |
US10812807B2 (en) | 2016-06-03 | 2020-10-20 | Lg Electronics Inc. | Intra-prediction method and apparatus in image coding system |
KR102601268B1 (ko) | 2017-02-24 | 2023-11-10 | 주식회사 케이티 | 비디오 신호 처리 방법 및 장치 |
US10523966B2 (en) * | 2017-03-31 | 2019-12-31 | Mediatek Inc. | Coding transform blocks |
US10638126B2 (en) * | 2017-05-05 | 2020-04-28 | Qualcomm Incorporated | Intra reference filter for video coding |
RU2759218C2 (ru) * | 2017-06-21 | 2021-11-11 | Вид Скейл, Инк. | Адаптивное квантование для кодирования 360-градусного видео |
US11516512B2 (en) * | 2019-03-04 | 2022-11-29 | Alibaba Group Holding Limited | Method and system for processing video content |
EP4055827A4 (en) * | 2019-12-09 | 2023-01-18 | ByteDance Inc. | USING QUANTIFICATION GROUPS IN VIDEO CODING |
-
2020
- 2020-02-28 CN CN202080017377.1A patent/CN113545059A/zh active Pending
- 2020-02-28 US US17/434,684 patent/US12022060B2/en active Active
- 2020-02-28 JP JP2021549642A patent/JP7425080B2/ja active Active
- 2020-02-28 WO PCT/KR2020/002929 patent/WO2020175970A1/ko unknown
- 2020-02-28 KR KR1020227038487A patent/KR20220151233A/ko active Application Filing
- 2020-02-28 KR KR1020217016261A patent/KR102464910B1/ko active IP Right Grant
- 2020-02-28 BR BR112021016917A patent/BR112021016917A2/pt unknown
- 2020-02-28 EP EP20762119.4A patent/EP3934251A4/en active Pending
-
2024
- 2024-01-18 JP JP2024006377A patent/JP2024026864A/ja active Pending
Also Published As
Publication number | Publication date |
---|---|
US12022060B2 (en) | 2024-06-25 |
CN113545059A (zh) | 2021-10-22 |
KR102464910B1 (ko) | 2022-11-09 |
EP3934251A4 (en) | 2022-11-30 |
US20220046232A1 (en) | 2022-02-10 |
JP2022523378A (ja) | 2022-04-22 |
BR112021016917A2 (pt) | 2021-11-03 |
EP3934251A1 (en) | 2022-01-05 |
KR20210071081A (ko) | 2021-06-15 |
WO2020175970A1 (ko) | 2020-09-03 |
KR20220151233A (ko) | 2022-11-14 |
JP7425080B2 (ja) | 2024-01-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7425080B2 (ja) | クロマ成分を予測するビデオ符号化及び復号方法、及びクロマ成分を予測するビデオ符号化及び復号装置 | |
JP7464684B2 (ja) | 動き情報の符号化方法、復号方法、符号化装置及び復号装置並びに記録媒体 | |
JP7491929B2 (ja) | 三角予測モードを利用する映像符号化装置及び映像復号装置、及びそれによる映像符号化方法及び映像復号方法 | |
KR102657549B1 (ko) | 양자화 파라미터를 획득하기 위한 비디오 복호화 방법 및 장치, 양자화 파라미터를 전송하기 위한 비디오 부호화 방법 및 장치 | |
KR102487598B1 (ko) | 부호화 방법 및 그 장치, 복호화 방법 및 그 장치 | |
EP3657797A2 (en) | Method for encoding and decoding motion information, and apparatus for encoding and decoding motion information | |
JP7522151B2 (ja) | 映像の符号化及び復号のための映像の分割方法及びその装置 | |
EP3691274A1 (en) | Encoding method and apparatus therefor, and decoding method and apparatus therefor | |
EP3846473A1 (en) | Video encoding method and encoding device, and video decoding method and decoding device considering hardware design | |
EP3893503A1 (en) | Video encoding method and decoding method using tiles and slices, and video encoding device and decoding device using tiles and slices | |
EP3833020A1 (en) | Method and device for encoding image and method and device for decoding image on basis of sub-block | |
EP4044597A1 (en) | Image decoding device using tool set and image decoding method thereby, and image encoding device and image encoding method thereby | |
CA3171107A1 (en) | Device and method for encoding motion vector, and device and method for decoding motion vector | |
KR102553148B1 (ko) | 블록 형태별로 블록 크기가 설정되는 비디오 부호화 방법 및 장치, 비디오 복호화 방법 및 장치 | |
KR102606802B1 (ko) | 영상으로부터 다양한 형태로 분할된 블록들을 이용하는 비디오 부호화 방법 및 장치, 비디오 복호화 방법 및 장치 | |
JP2024102351A (ja) | 三角予測モードを利用する映像符号化装置及び映像復号装置、及びそれによる映像符号化方法及び映像復号方法 | |
KR20230054914A (ko) | 영상 부호화 방법 및 장치, 영상 복호화 방법 및 장치 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20240118 |