KR20240104116A - 샘플 영역 병합 - Google Patents
샘플 영역 병합 Download PDFInfo
- Publication number
- KR20240104116A KR20240104116A KR1020247016941A KR20247016941A KR20240104116A KR 20240104116 A KR20240104116 A KR 20240104116A KR 1020247016941 A KR1020247016941 A KR 1020247016941A KR 20247016941 A KR20247016941 A KR 20247016941A KR 20240104116 A KR20240104116 A KR 20240104116A
- Authority
- KR
- South Korea
- Prior art keywords
- blocks
- block
- information
- subset
- data stream
- Prior art date
Links
- 238000005070 sampling Methods 0.000 claims abstract description 19
- 238000000034 method Methods 0.000 claims description 167
- 238000003491 array Methods 0.000 claims description 94
- 230000008569 process Effects 0.000 claims description 47
- 238000000638 solvent extraction Methods 0.000 claims description 37
- 238000000605 extraction Methods 0.000 claims description 31
- 238000012545 processing Methods 0.000 claims description 31
- 230000010354 integration Effects 0.000 abstract description 5
- 230000004913 activation Effects 0.000 abstract 1
- 239000000523 sample Substances 0.000 description 281
- 230000033001 locomotion Effects 0.000 description 65
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 41
- 230000011664 signaling Effects 0.000 description 38
- 238000003780 insertion Methods 0.000 description 32
- 230000037431 insertion Effects 0.000 description 32
- 238000005192 partition Methods 0.000 description 31
- 239000013598 vector Substances 0.000 description 27
- 230000001419 dependent effect Effects 0.000 description 24
- 230000008901 benefit Effects 0.000 description 23
- 241000023320 Luma <angiosperm> Species 0.000 description 20
- OSWPMRLSEDHDFF-UHFFFAOYSA-N methyl salicylate Chemical compound COC(=O)C1=CC=CC=C1O OSWPMRLSEDHDFF-UHFFFAOYSA-N 0.000 description 20
- 230000005540 biological transmission Effects 0.000 description 19
- 239000000284 extract Substances 0.000 description 15
- 238000010586 diagram Methods 0.000 description 13
- 230000001965 increasing effect Effects 0.000 description 13
- 230000009466 transformation Effects 0.000 description 13
- 230000006872 improvement Effects 0.000 description 12
- 230000001364 causal effect Effects 0.000 description 11
- 238000004590 computer program Methods 0.000 description 11
- 230000006978 adaptation Effects 0.000 description 10
- 230000003595 spectral effect Effects 0.000 description 10
- 238000013459 approach Methods 0.000 description 8
- 230000011218 segmentation Effects 0.000 description 8
- 230000003044 adaptive effect Effects 0.000 description 7
- 238000012790 confirmation Methods 0.000 description 7
- 238000003860 storage Methods 0.000 description 6
- 230000000694 effects Effects 0.000 description 5
- 238000009795 derivation Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 238000005259 measurement Methods 0.000 description 4
- 238000012795 verification Methods 0.000 description 4
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 3
- 238000012937 correction Methods 0.000 description 3
- 238000013507 mapping Methods 0.000 description 3
- 238000013139 quantization Methods 0.000 description 3
- 238000000926 separation method Methods 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 238000013075 data extraction Methods 0.000 description 2
- 238000000354 decomposition reaction Methods 0.000 description 2
- 238000006073 displacement reaction Methods 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 230000008092 positive effect Effects 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 230000002123 temporal effect Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000003416 augmentation Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000013213 extrapolation Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000007274 generation of a signal involved in cell-cell signaling Effects 0.000 description 1
- 230000001939 inductive effect Effects 0.000 description 1
- 238000005304 joining Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 230000010076 replication Effects 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/02—Marketing; Price estimation or determination; Fundraising
- G06Q30/0241—Advertisements
- G06Q30/0251—Targeted advertisements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/02—Marketing; Price estimation or determination; Fundraising
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/06—Buying, selling or leasing transactions
- G06Q30/0601—Electronic shopping [e-shopping]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/129—Scanning of coding units, e.g. zig-zag scan of transform coefficients or flexible macroblock ordering [FMO]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/13—Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/136—Incoming video signal characteristics or properties
- H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
- H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/136—Incoming video signal characteristics or properties
- H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/146—Data rate or code amount at the encoder output
- H04N19/147—Data rate or code amount at the encoder output according to rate distortion criteria
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
- H04N19/192—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding the adaptation method, adaptation tool or adaptation type being iterative or recursive
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
- H04N19/196—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
- H04N19/196—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters
- H04N19/197—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters including determination of the initial value of an encoding parameter
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/46—Embedding additional information in the video signal during the compression process
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/46—Embedding additional information in the video signal during the compression process
- H04N19/463—Embedding additional information in the video signal during the compression process by compressing encoding parameters before transmission
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/513—Processing of motion vectors
- H04N19/517—Processing of motion vectors by encoding
- H04N19/52—Processing of motion vectors by encoding by predictive encoding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
- H04N19/96—Tree coding, e.g. quad-tree coding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Theoretical Computer Science (AREA)
- Business, Economics & Management (AREA)
- Computing Systems (AREA)
- Finance (AREA)
- Accounting & Taxation (AREA)
- Strategic Management (AREA)
- Development Economics (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Economics (AREA)
- Marketing (AREA)
- General Business, Economics & Management (AREA)
- Game Theory and Decision Science (AREA)
- Entrepreneurship & Innovation (AREA)
- General Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Mechanical Treatment Of Semiconductor (AREA)
Abstract
일 실시예에 따르면 정보 샘플들의 배열이 세부분할된 단순 연결 영역들의 바람직한 병합 또는 그룹화가 감소된 데이터 양으로 코딩된다. 이를 위해, 단순 연결 영역들 각각에 대해, 미리 결정된 단순 연결 영역에 대해, 미리 결정된 단순 연결 영역에 대해 미리 결정된 상대적인 위치적 관계를 갖는 복수의 단순 연결 영역들 내의 단순 연결 영역들의 확인 및 활성화가 정의된다. 즉, 만일 그 개수가 0이라면, 미리 결정된 단순 연결 영역에 대한 병합 지시자가 데이터 스트림 내에 존재하지 않을 수 있다. 더 추가적인 실시예들에 따르면, 멀티-트리 세부분할을 이용해, 단순 연결 영역들이 다른 사이즈들을 갖도록 반복적으로(recursively) 멀티-구획함(partitioning)으로써 2-차원의 정보 신호의 공간적 샘플링을 나타내는 샘플들의 단순 연결 영역들로의 공간적 세부-분할이 데이터 스트림 내에 포함된 구문 요소들의 제1 부분집합에 따라 수행되고, 뒤를 이어, 제1 부분집합으로부터 분리된, 데이터 스트림 내 구문 요소들의 제2 부분집합에 따라, 정보 샘플들의 배열의, 그 통합은 복수의 단순 연결 영역들인, 단순 연결 영역들의 분리 부분집합들로의 중간 세부분할을 획득하기 위해 복수의 단순 연결 영역들의 공간적으로 이웃하는 단순 연결 영역들의 결합이 이루어진다. 데이터 스트림으로부터 샘플들의 배열을 복원할 때 중간 세부-분할이 사용된다.
Description
본 발명은 비디오 또는 스틸 픽쳐들와 같이, 2차원적으로 샘플링된 정보 신호들을 위한 코딩 기법들과 관련된다.
이미지와 비디오 코딩에 있어서, 픽쳐들 또는 픽쳐들을 위한 샘플 배열들의 특정한 집합들은 보통 특정한 코딩 파라미터들과 연관된 블록들로 분해된다. 픽쳐들은 보통 다중 샘플 배열들로 구성된다. 게다가, 픽쳐는 또한 추가적인 보조의(auxiliary) 샘플 배열들과 연관되고, 이는 예를 들어, 투명도 정보 또는 깊이 맵들을 명시할 수 있다. 픽쳐의 샘플 배열들(보조의 샘플 배열들을 포함하여)은 적어도 하나의 소위 평면 그룹들로 그룹될 수 있으며, 여기서, 각 평면 그룹은 적어도 하나의 샘플 배열들로 구성된다. 픽쳐의 평면 그룹들은 독립적으로 또는 픽쳐가 하나 이상의 평면 그룹들과 연관된 경우, 동일한 픽쳐의 다른 평면 그룹들로부터 예측과 함께 코딩될 수 있다. 각 평면 그룹은 보통 블록들로 분해된다. 블록들(또는 샘플 배열들의 상응하는 블록들)은 인터-픽쳐(inter-picture) 예측 또는 인트라-픽쳐(intra-picture) 예측에 의해 예측된다. 블록들은 다른 사이즈들을 가질 수 있고, 사각 또는 직사각형일 수 있다. 블록들로의 픽쳐의 분할은 구문에 의해 고정되거나, 또는 그것은 비트스트림내에 시그널링될 수 있다. 미리 정의된 사이즈들의 블록들로 세부분할하는 신호인 구문 요소(syntax element)들이 종종 전송된다. 이와 같은 구문 요소들은, 즉, 예측의 목적을 위하여, 블록이 더 작은 블록들로 세부분할되는지 및 코딩 파라미터들과 어떻게 연관되는지 나타낸다. 블록(또는 샘플 배열들에 상응하는 블록들)의 모든 샘플들을 위하여, 연관된 코딩 파라미터들의 디코딩이 어떤 방식으로 특정된다. 예를 들어, 블록 안에 모든 샘플들은, 참조 인덱스들(이미 코딩된 픽쳐들의 집합에서 참조 픽쳐를 확인하는), 움직임 파라미터들(참조 픽쳐와 현재 픽쳐 사이에서 블록들의 움직임을 위한 측정을 명시하는), 인터폴레이션 필터, 인트라 예측 모드들 등을 명시하는 파라미터들과 같은 예측 파라미터들의 동일한 집합을 이용하여 예측될 수 있다. 움직임 파라미터들은 수평 및 수직 성분을 가진 변위 벡터들에 의해 표현되거나, 6개의 요소들로 구성된 아핀(affine) 움직임 파라미터들과 같은 고차의 움직임 파라미터들에 의해 표현될 수 있다. 또한, 특정 예측 파라미터들의 하나 이상의 집합(참조 인덱스들 및 움직임 파라미터들과 같이)은 단일의 블록에 연관된다. 그러한 경우에, 이들 특정 예측 파라미터들의 각 집합을 위하여, 블록(또는 샘플 배열들의 상응하는 블록들)을 위한 단일의 중간의(intermediate) 예측 신호가 생성되고, 최종 예측 신호가 상기 중간의 신호들을 겹치는 것을 포함하는 결합에 의해 만들어진다. 상응하는 가중치 파라미터들 및 잠재적으로 또한 일정한 오프셋(offset)(가중된 합에 추가된)은 픽쳐, 또는 참조 픽쳐, 또는 참조 픽쳐들의 집합들을 위해 고정되거나, 또는 그들은 상응하는 블록을 위한 예측 파라미터들의 집합에 포함될 수 있다. 원본 블록들(또는 샘플 배열들의 상응하는 블록들)과 그들의 예측 신호들간의 차이는, 또한, 잔차 신호(residual signal)로서 참조되고, 보통 변환되고 양자화된다. 종종, 2차원 변환이 잔차 신호(또는 잔차 블록을 위해 상응하는 샘플 배열들)에 적용된다. 변환 코딩을 위하여, 블록들(또는 샘플 배열들에 상응하는 블록들)은, 예측 파라미터들의 특정한 집합이 사용되도록, 변환이 적용되기 전에 더 나뉘어질 수 있다. 변환 블록들은 예측을 위하여 사용되는 블록과 동일하거나 또는 더 작을 수 있다. 변환 블록은 예측을 위하여 사용되는 블록들의 하나 이상을 포함하는 것이 가능하다. 각각 다른 변환 블록들은 다른 사이즈들을 가질 수 있고, 변환 블록들은 사각 또는 직사각형으로 표현될 수 있다. 변환 후에, 결과로 초래된 변환 계수들은 양자화되고 소위 변환 계수 레벨들이 획득된다. 예측 파라미터들뿐 아니라 변환 계수 레벨들, 그리고, 만약 존재하면, 세부분할 정보가 엔트로피 코딩된다.
이미지, 비디오 코딩 표준에 있어서, 블록들로 세부분할하는 픽쳐(또는 평면 그룹)를 위해 구문에 의해 제공된 가능성들은 매우 제한적이다. 보통, 그것은 미리 정의된 사이즈의 블록이 더 작은 블록들로 세부분할될 수 있는지( 및 잠재적으로 어떻게)를 단지 명시할 수 있다. 예를 들어, H.264에서 가장 큰 블록 사이즈는 16×16이다. 16×16 블록들은 또한 매크로블록들로서 나타나고 각 픽쳐는 첫 단계에서 매크로블록들로 나뉠 수 있다. 각 16×16 매크로블록을 위하여, 그것이 16×16 블록으로서, 또는 두 개의 16×8 블록들로서, 또는 두 개의 8×16 블록들로서, 또는 네 개의 8×8 블록들로서 코딩될 지에 대해 시그럴링될 수 있다. 만약, 16×16 블록이 네 개의 8×8 블록으로 세부분할되면, 이들 8×8 블록들의 각각은 하나의 8×8 블록으로서, 또는 두 개의 8×4 블록들로서, 또는 두 개의 4×8 블록들로서, 또는 네 개의 4×4 블록들로서 코딩될 수 있다. 최신의 이미지 및 비디오 코딩 표준들에서 블록들로의 분할을 명시하기 위한 가능성들의 작은 집합은 세부분할 정보를 시그널링하기 위한 보조 정보를 작게 유지할 수 있는 이점이 있으나, 다음에서 설명하는 바와 같이 블록들을 위한 예측 파라미터들을 전송하기 위하여 요구되는 비트율이 중요할 수 있다는 단점을 가진다. 예측 정보를 시그널링하기 위한 보조 정보 율은 보통 블록을 위한 전체의 비트율의 중요한 총계를 나타낼 수 있다. 그리고 코딩 효율은, 보조 정보가 감소할 때, 증가할 수 있고, 예를 들어, 더 큰 블록 사이즈들을 사용함에 의해 성취될 수 있다. 비디오 시퀀스의 실제 이미지들 또는 픽쳐들은 특정한 특성들과 함께 임의로 형상화된 객체(object)들로 구성된다. 예를 들면, 이와 같은 객체들 또는 객체들의 부분들은 특유의 텍스쳐 또는 특유의 음직임에 의해 특징될 수 있다. 그리고 일반적으로, 예측 파라미터들의 동일한 집합이 이와 같은 객체 또는 객체의 부분에 적용될 수 있다. 그러나, 객체의 경계는 보통 큰 예측 블록들(즉, H.264에서 16×16 매크로블록들)을 위해 가능한 블록 경계와 일치하지 않는다. 인코더는 보통 특정한 율-왜곡(rate-distortion) 비용 측정의 최소에서 결과되는 세부분할(가능성들의 제한된 집합 사이에서)을 결정한다. 임의적으로 형상화된 객체들을 위하여 이것은 많은 작은 블록들로 결과될 수 있다. 그리고, 이러한 작은 블록들의 각각은, 전송이 필요한, 예측 파라미터들의 집합과 연관되기 때문에, 보조 정보율은 전체 비트율의 중요한 부분이 될 수 있다. 그러나 작은 블록들의 몇몇은 여전히 동일한 객체의 영역들 또는 객체의 부분을 나타내기 때문에, 획득된 블록들의 개수를 위한 예측 파라미터들은 동일하거나 매우 유사하다.
즉, 세부분할 또는 픽쳐를 더 작은 부분들 또는 타일들 또는 블록들로 타일링(tiling)하는 것은 코딩 효율 및 코딩 복잡도에 상당한 영향을 준다. 상술한 개요와 같이. 픽쳐/비디오 매체에 이러한 코딩 파라미터들의 더 좋은 적응성을 가능하게 함에 의해, 더 작은 블록들의 높은 개수로 픽쳐의 세부분할은 코딩 파라미터들의 공간적으로 더 좋은 설정을 가능하게 한다. 반면에, 더 좋은 입상도(granularity)에서 코딩 파라미터들을 세팅하는 것은, 필수적인 설정들 상에 디코더에 알리기 위해 필수적인 보조 정보 총계에 높은 부담을 준다. 심지어, 인코더가 픽쳐/비디오를 공간적으로 블록들로 세부분할하는 어떤 자유가, 가능한 코딩 파라미터 설정들의 총계를 엄청나게 증가시키고, 그렇게 함으로써 일반적으로 가장 좋은 율/왜곡으로 이어지는 코딩 파라미터 설정을 위한 탐색이 심지어 더 어려워지도록 할 수 있다.
본 발명은, 제한되지 않으나, 비디오 또는 스틸 픽쳐들의 픽쳐들과 같은, 공간적으로 샘플링된 2차원적인 정보 신호를 표현하는 정보 샘플들의 배열을 코딩하기 위한 코딩 기법을 제공하는 데 목적이 있고, 더 좋은 율 왜곡 비율을 위해 및/또는, 인코딩 복잡도와 성취할 수 있는 율 왜곡 비율 간의 더 좋은 절충을 달성할 수 있다.
이러한 목적은 청구항 1,8 또는 9에 따른 디코더, 청구항 20, 22, 23또는 24에 따른 인코더, 청구항 19, 20, 25 및 26 중 어느 한항에 따른 방법들, 청구항 27에 따른 컴퓨터 프로그램 및 청구항 28 또는 30에 따른 데이터 스트림에 의해 성취된다.
실시예에 따르면, 정보 샘플들의 배열이 세부분할된 단순 연결 영역들의 바람직한 병합 또는 그룹핑은, 감소된 데이터 총계를 가지고 코딩된다. 이러한 목적을 위하여, 미리 결정된 단순 연결 영역에 대해, 미리 결정된 상대적인 지역 관계는 미리 결정된 단순 연결 영역에 미리 결정된 상대적인 지역 관계를 가진 복수의 단순 연결 영역들 내에서 단순 연결 영역들의 확인이 가능하도록 정의된다. 즉, 개수가 제로라면, 미리 결정된 단순 연결 영역을 위한 병합 지시자(indicator)는 데이터 스트림 내에 부재할 수 있다. 더 나아가, 만약 미리 결정된 단순 연결 영역에 미리 결정된 상대적인 지역관계를 가진 단순 연결 영역의 개수가 하나라면, 단순 연결 영역의 코딩 파라미터들은 어떤 추가 구문 요소에 대한 필요없이 미리 결정된 단순 연결 영역을 위한 코딩 파라미터들을 위한 예측을 위하여 적용되거나 또는 사용될 수 있다. 그렇지 않으면, 즉, 미리 결정된 단순 연결 영역들에 대하여 미리 결정된 상대적인 지역 관계를 가진 단순 연결 영역들의 개수가 하나보다 크다면, 비록 이러한 확인된 단순 연결 영역들과 연관된 코딩 파라미터들이 서로 동일하더라도, 추가 구문 요소의 도입이 억제될 수 있다.
일 실시예에 따르면, 인접한 단순 연결 영역들의 코딩 파라미터들이 서로 일치하지 않는다면, 참조 이웃 확인자는 미리 결정된 단순 연결 영역에 미리 결정된 상대적인 지역 관계를 가진 단순 연결 영역들의 개수의 진부분집합(proper subset)을 확인할 수 있고, 이러한 진부분집합은 코딩 파라미터들을 적용하거나, 미리 결정된 단순 연결 영역의 코딩 파라미터들을 예측할 때 사용된다.
다른 실시예에 따르면, 회귀적인(recursive) 다중-분할에 의한 다른 사이즈들의 복수의 단순 연결 영역들로의 2차원 정보 신호의 공간적 샘플링을 나타내는 샘플들의 지역의 공간적인 세부분할이 데이터 스트림에 포함된 구문 요소들의 제 1 부분집합에 따라 수행되고, 복수의 단순 연결 영역의 결합인, 단순 연결 영역들의 분리된 집합들로 샘플들의 배열의 중간 수준의 세부분할을 획득하기 위하여, 제 1 부분집합으로부터 분리된 데이터 스트림 안에서 구문 요소들의 제 2 부분집합에 따른 공간적으로 인접한 단순 연결 영역들의 결합에 의해 뒤이어 수행된다. 중간 세부분할은, 데이터 스트림으로부터 샘플들의 배열을 복원할 때 사용된다. 이것은 너무 정밀한 세부분할은 뒤이은 병합에 의해 보상될 수 있다는 사실에 기인하여, 세부분할에 대한 최적화가 덜 중요할 수 있다. 더욱이, 세부분할과 병합의 결합은, 구문 요소들의 분리된 집합들의 사용에 의한 세부분할 및 병합의 연속(concatenation)이, 2차원 정보 신호의 실제적인 문맥에 효과적이거나 중간 수준의 세부분할의 더 좋은 적용을 가능하게 하도록 회귀적인 다중-분할의 방식에 의해 불가능한 중간 세부분할을 성취할 수 있다. 장점들과 비교하면, 병합을 상세하게 표시하기 위한 구문 요소들의 추가적인 부분집합으로부터 기인한 추가적인 오버헤드는 무시할 수 있다.
실시예에 따르면, 공간적으로 샘플링된 정보 신호를 나타내는 정보 샘플들의 배열은, 트리 루트(tree root) 영역들의 회귀적인 다중-분할에 의한 다른 사이즈들의 더 작은 단순 연결 영역(simply connected region)들 내로 트리 루트 영역들의 적어도 하나의 부분집합(subset)에서, 데이터-스트림에서 추출된 멀티-트리-세부분할(muli-tree-sub-division) 정보에 따라, 다음 세부분할와 함께 공간적으로 트리 루트 영역 안에 처음으로 있다. 율-왜곡 의미에서 너무 정밀한 세부분할 및 너무 거친 세부분할 간의 좋은 절충을 발견하기 위하여, 타당한 코딩 복잡도에서, 정보 샘플들의 배열이 공간적으로 세부분할된 트리 루트 영역들의 최대 영역 사이즈는, 데이터 스트림 안에 포함되고 디코딩 측에서 데이터 스트림에서 추출된다. 따라서, 디코더는 데이터 스트림으로부터 최대 영역 사이즈 및 멀티-트리-세부분할 정보를 추출하는 추출부, 트리 루트 영역들의 부분집합을 회귀적인 다중-분할에 의한 다른 사이즈들의 더 작은 단순 연결 영역들 내로 트리 루트 영역들의 적어도 하나의 부분집합에서, 멀티-트리-세부분할 정보에 따라, 공간적으로 샘플링된 정보 신호로 표현되는 정보 샘플들의 배열을 최대 영역 사이즈 및 세부분할의 트리 루트 영역들로 공간적으로 나누는 세부 분할부(sub-divider); 및 더 작은 단순 연결 영역들로 세부분할을 이용하여 데이터 스트림으로부터 정보 샘플들의 배열을 복원하는 복원부를 포함할 수 있다.
실시예에 따르면, 데이터 스트림은 또한, 트리 루트 영역들의 부분집합이 회귀적 다중 분할되도록 하여 상향 조정한 최대 계층을 포함한다. 이러한 조치에 의해, 다중-트리-세부분할 정보의 시그널링은 코딩을 위하여 더 쉽고 덜 비트를 필요로 한다.
게다가, 복원부는, 중간의(intermediate) 세부분할에 따른 입상도(granularity)에서 하나 이상의 다음의 조치들을 수행한다.: 적어도, 사용될 인트라 및 인터 예측 모드, 사이의 예측 모드의 결정; 스펙트랄(spectral)에서 공간 도메인으로 변환, 인터-예측을 위한 파라미터들의 수행 및/또는 설정; 인트라 예측을 위한 파라미터들의 수행 및/또는 수행.
게다가, 추출부는, 데이터 스트림으로부터 깊이-우선 횡단 순서(depth-first traversal order)에서 분할된 트리블록들의 리프(leaf) 영역들과 연관된 구문 요소들을 추출할 수 있다. 이러한 조치에 의해, 추출부는, 너비-우선 횡단 순서(breadth-first traversal order)를 이용하는 것보다 더 높은 가능성을 가진 이미 코딩된 인접한 리프 영역들의 구문 요소들의 통계를 이용할 수 있다.
다른 실시예에 따르면, 추가 세부 분할부는, 심지어 더 작은 단순 연결 영역들 내에 더 작은 단순 연결 영역들의 적어도 하나의 부분집합에서, 추가(further) 멀티-트리 세부분할 정보에 따라, 세부분할하기 위하여 사용된다. 두번째-단계 세부분할은 스펙트랄로부터 공간적 도메인으로 재변환을 수행하는 복원부에 의해 사용되는데 반하여, 첫-단계 세부분할은 정보 샘플들의 영역의 예측을 수행하기 위한 복원부에 의해 사용될 수 있다. 예측 세부분할에 상대적으로 종속적인 잔여의 세부분할을 정의하는 것은 비트를 덜 소비하는 전체적인 세부분할의 코딩을 제공하고, 다른 한편으로, 종속으로부터 기인한 잔여 세부분할을 위한 제한 또는 자유는 일반적으로 코딩 효율에 미세한 부정적인 영향을 단지 가지며, 비슷한 움직임 보상 파라미터들은 가진 픽쳐의 부분들은 비슷한 스펙트랄 특성들을 가진 부분보다 크다.
다른 실시예에 따르면, 추가 최대 영역 사이즈는 데이터 스트림 안에 포함되고, 추가 최대 영역 사이즈는, 심지어 더 작은 단순 연결 영역 내에 추가 멀티-트리 세부분할 정보에 따른 트리 루트 세부 영역들의 적어도 하나의 부분집합에서 세부분할하기 이전에 더 작은 단순 연결 영역들이 처음으로 분할된 트리 루트 세부 영역들의 사이즈를 정의한다. 이것은, 차례 차례로, 한편으로 예측 세부분할 및 다른 한편으로 잔여 세부분할의 최대 영역 사이즈들의 독립적인 설정할 수 있고, 이리하여, 더 나은 율/왜곡 절충을 발견할 수 있다.
본 발명의 다른 실시예에 따르면, 데이터 스트림은, 다중-트리 세부분할 정보를 형성하는 구문 요소들의 제 2 부분집합으로부터 분리된 구문 요소들의 제 1 부분집합을 포함하고, 여기서, 샘플들의 배열의 중간 세부분할을 획득하도록 다중-트리 세부분할의 더 작은 단순 연결 영역들에 공간적으로 인접하게, 구문 요소들의 제 1 부분집합에 따라, 디코딩 측에서 병합부(merger)가 결합할 수 있다. 복원부는 중간 세부분할을 사용하여 샘플들의 배열을 복원할 수 있다. 이러한 조치에 의해, 인코더는, 최적의 율/왜곡 절충을 발견하면서 정보 샘플들의 배열 특성의 공간적인 분포에 효과적인 세부분할을 맞추기 더 쉽다. 예를 들어, 만약에 최대 영역 사이즈가 높으면, 트리 루트 영역들이 더 확장됨에 기인하여 멀티-트리 세부분할 정보가 더 복잡하게 될 수 있다. 다른 한편으로, 그러나, 만약 최대 영역 사이즈가 작다면, 인접한 트리 루트 영역들은 비슷한 특성들을 가진 정보 콘텐츠에 연관되어 이러한 트리 루트 영역들은 또한 함께 처리될 수 있다. 병합은 전술한 극단들 사이의 이러한 갭(gap)을 채우고, 그렇게 함으로써, 입상도(granularity)의 거의 최적의 세부분할을 할 수 있다. 인코더의 관점에서, 구문 요소들의 병합은, 인코더가 잘못되게 너무 정밀한 세부분할을 사용하기 때문에, 더 여유 있거나 계산적으로 덜 복잡한 인코딩 절차를 허용할 수 있고, 병합 구문 요소들을 설정하기 이전에 설정된 구문 요소들의 단지 작은 부분에 맞추거나 맞추지 않고 구문 요소들을 나중에 병합하도록 설정함에 의해, 이러한 에러는 나중에 보상될 수 있다.
다른 실시예에 따르면, 최대 영역 사이즈 및 멀티-트리-세부분할 정보는 예측 세부분할보다 오히려 잔여의 세부분할을 위하여 사용될 수 있다.
공간적으로 샘플링된 정보 신호를 나타내는 정보 샘플들의 배열의 쿼드트리(quadtree) 세부분할의 단순 연결 영역들을 다루기 위한 깊이-우선 횡단 순서는 너비-우선 횡단 순서보다 오히려 실시예에 따라 사용된다. 깊이-우선 횡단 순서를 사용함에 의해, 각 단순 연결 영역은, 이미 횡단된 인접한 단순 연결 영역들을 가질 더 높은 확률을 가져 이러한 인접한 단순 연결 영역들에 대한 정보가 각 현재 단순 연결 영역을 복원할 때 긍정적으로 이용된다.
정보 샘플들의 배열이, 다른 사이즈들의 더 작은 단순 연결 영역들 내에 트리 루트 영역들의 적어도 하나의 부부집합에서 다음의 세부분할을 가진 제로-차(zero-order) 계층 사이즈의 트리 루트 영역들의 규칙적인 배열로 처음으로 나뉠 때, 복원부는, 지그재그(zigzag) 스캔 순서에서 다음 트리 루트 영역으로 더 진행되지 전에 깊이-우선 횡단 순서에서 단순 연결된 리프 영역들을 다루면서, 각각의 트리 루트 영역이 분할되도록, 트리 루트 영역들을 스캔하기 위하여 지그재그 스캔을 사용할 수 있다. 게다가, 깊이-우선 횡단 순서에 일치하여, 동일한 계층적 레벨의 단순 연결된 리프 영역들이 지그재그 스캔 순서로 횡단될 수 있다. 이리하여, 인접한 단순 연결된 리프 영역들을 가질 증가된 가능성이 유지된다.
실시예에 따라, 비록 멀티-트리 구조의 노드들과 연관된 플래그(flags)들이 연속하여 깊이-우선 횡단 순서로 배열되더라도, 플래그들의 연속한 코딩은, 멀티-트리 구조의 동일한 계층적 레벨 안에 놓인 멀티-트리 구조의 노드들과 연관된 플래그들을 위한 동일하고, 그러나 멀티-트리 구조의 다른 계층적 레벨들에 놓인 멀티-트리 구조의 노드들의 위해 다른, 확률 추정 문맥(contexts)들을 사용하고, 그렇게 함으로써 제공되어진 문맥들의 개수들과 다른 한편으로 플래그들의 실제적인 심볼 통계에 적응 사이의 좋은 절충을 허용할 수 있다.
실시예에 따르면, 사용되는 미리 결정된 플래그를 위한 확률 추정 문맥들은, 또한, 깊이-우선 횡단 순서에 일치하는 미리 결정된 플래그를 처리하고, 미리 결정된 플래그에 상응한 지역에 미리 결정된 상대 위치 관계를 가진 트리 루트 영역의 지역들에 상응하는 플래그들에 의존한다. 진행되어온 측면에 근본하는 아이디어와 비슷하게, 깊이-우선 횡단 순서의 사용은, 이미 코딩된 플래그들이 미리 결정된 플래그에 상응하는 인접한 지역에 상응하는 플래그들을 포함하여 이러한 지식이 미리 결정된 플래그를 위해 사용되는 문맥에 더 잘 적응하여 사용될 높은 확률을 보장한다.
미리 결정된 플래그를 위한 문맥을 설정하기 위해 사용되는 플래그들은, 미리 결정된 플래그에 상응하는 지역의 맨 위 및/또는 왼쪽에 놓인 지역에 상응할 수 있다. 게다가, 문맥을 선택하기 위해 사용되는 플래그들은 미리 결정된 플래그가 연관된 노드로서 동일한 계층적 레벨에 속하는 플래그들로 제한될 수 있다.
실시예에 따르면, 코딩된 시그널링은, 가장 높은 계층적 레벨의 표시 및 가장 높은 계층적 레벨과 일치하지 않은 멀티-트리 구조의 노드들과 연관된 플래그들의 시퀀스를 포함하고, 각각의 플래그는 연관된 노드들이 중간의 노드인지 자식 노드인지 명시하고, 연속적으로 디코딩되고, 깊이-우선 또는 너비-우선 첫번째 횡단 순서로, 데이터 스트림으로부터 플래그들의 시퀀스가 발생하고, 가장 높은 계층적 레벨의 노드들을 스킵하고 동일한 리프 노드들을 자동적으로 정하면서, 그렇게 함으써 코딩율을 감소시킨다.
다른 실시예에 따르면, 멀티-트리 구조의 코딩된 시그널링은 가장 높은 계층적 레벨의 표시를 포함할 수 있다. 이러한 조치에 의해, 가장 높은 계층적 레벨의 블록들의 추가적인 분할이 그래도 배제됨에 따라 가장 높은 계층적 레벨보다 다른 계층적 레벨들에 플래그들의 존재를 제한할 수 있다.
리프(leaf) 노드들의 세컨더리 세부분할의 부분인 공간적 멀티-트리 세부분할과 프라이머리(primary) 멀티-트리 세부분할의 분할되지 않은 트리 루트 영역들의 경우에, 세컨더리(secondary) 세부분할의 코딩 플래그들을 위해 사용되는 문맥은, 문맥이 동일한 사이즈의 지역들과 연관된 플래그들을 위해 동일하도록 선택될 수 있다.
다른 실시예에 따르면, 정보 샘플들의 배열이 세부분할된 단순 연결 영역들의 바람직한 병합 또는 그룹핑은, 데이터의 감소된 총량을 가지고 코딩된다. 이러한 목적을 위하여, 단순 연결 영역들을 위하여, 미리 결정된 단순 연결 영역에 미리 결정된 상대적인 지역적 관계를 가진 복수의 단순 연결 영역들 안에서 단순 연결 영역들의, 미리 결정된 단순 연결 영역을 위하여, 미리 결정된 상대적인 위치적 관계는 어떤 확인을 가능하게 정의된다. 즉, 만약 개수가 제로라면, 미리 결정된 단순 연결 영역을 위한 병합 표시기(indicator)는 데이터 스트림 안에서 부재할 수 있다. 더 나아가, 만약 미리 결정된 상대적인 지역 관계를 가진 단순 연결 영역들의 개수가 하나라면, 단순 연결 영역의 코딩 파라미터들은, 어떤 추가 구문 요소를 위한 필요없이 미리 결정된 단순 연결 영역을 위한 코딩 파라미터들을 위한 예측을 위하여 적용되거나 또는 사용될 수 있다. 그렇지 않으면, 즉, 미리 결정된 단순 연결 영역들에 대하여 미리 결정된 상대적인 지역 관계를 가진 단순 연결 영역들의 개수가 하나보다 크다면, 비록 이러한 확인된 단순 연결 영역들과 연관된 코딩 파라미터들이 서로 각각 동일하더라고, 추가 구문 요소의 도입이 억제될 수 있다.
실시예에 따르면, 인접한 단순 연결 영역들의 코딩 파라미터들이 서로 각각이 일치하지 않는다면, 참조 이웃 확인자는 미리 결정된 단순 연결 영역에 미리 결정된 상대적인 지역 관계를 가진 단순 연결 영역들의 개수의 진부분집합(proper subset)을 확인할 수 있고, 이러한 진부분집합은 코딩 파라미터들을 적용하거나, 미리 결정된 단순 연결 영역의 코딩 파라미터들을 예측할 때 사용된다.
다른 실시예에 따르면, 회귀적인 다중-분할에 의한 다른 사이즈들의 복수의 단순 연결 영역들로 2차원 정보 신호의 공간적 샘플링을 나타내는 샘플들의 지역의 공간적인 세부분할은 데이터 스트림에 포함된 구문 요소들의 제 1 부분집합에 따라 수행되고, 복수의 단순 연결 영역의 결합인, 단순 연결 영역들의 분리된 집합들로 샘플들의 배열의 중간 수준의 세부분할을 획득하기 위하여, 제 1 부분집합으로부터 분리된 데이터 스트림 안에서 구문 요소들의 제 2 부분집합에 따른 공간적으로 인접한 단순 연결 영역들의 결합에 의해 뒤이어 수행된다. 중간 세부분할은, 데이터 스트림으로부터 샘플들의 배열을 복원할 때 사용된다. 이것은 너무 정밀한 세부분할은 뒤이은 병합에 의해 보상될 수 있다는 사실에 기인하여, 세부분할에 대한 최적화가 덜 중요할 수 있다. 더욱이, 세부분할과 병합의 결합은, 구문 요소들의 분리된 집합들의 사용에 의한 세부분할 및 병합의 연속이, 2차원 정보 신호의 실제적인 문맥에 효과적이거나 중간 수준의 세부분할의 더 좋은 적용을 가능하게 하도록 회귀적인 다중-분할의 방식에 의해 불가능한 중간 세부분할을 성취할 수 있다. 장점들을 비교하면, 병합을 상세하게 표시하기 위한 구문 요소들의 추가적인 부분집합으로부터 기인한 추가적인 오버헤드는 무시할 수 있다.
본 발명의 실시예에 따른 방법 및 장치를 이용할 경우, 평면들의 코딩 파라미터들 간의 연관관계를 통하여 리던던시 감소시킬 수 있다.
또한, 본 발명에 따른 평면 간 예측을 통하여 더 나은 율 왜곡 비율을 성취할 수 있다.
본 발명의 바람직한 실시예는 다음의 도면들에 대해 설명한다.
도 1은 본 발명의 실시예에 따른 인코더의 블록도이다.
도 2는 본 발명의 실시예에 따른 디코더의 블록도이다.
도 3a 내지 3c는 쿼드트리 세부분할을 위한 실시예를 도식적으로 나타내는 것으로, 도 3a는 제 1 계층적 레벨을, 도 3b는 제 2 계층적 레벨을, 도 3c는 제 3 계층적 레벨을 나타낸다.
도 4는 본 발명의 실시예에 따라 도 3a 내지 도 3b의 실시예에 따른 쿼드트리 세부분할을 위한 트리 구조를 도식적으로 나타낸다.
도 5a 및 도 5b는 도 3a 내지 도 3c의 쿼드트리 세부분할 및 리프 블록들을 인덱싱하는 인덱스들을 가진 트리 구조를 도식적으로 설명한다.
도 6a 및 도 6b는 다른 실시예들 각각에 따라, 도 4의 트리 구조를 나타내는 플래그들의 이진 일련들 또는 시퀀스들 및 도 3a 내지 도 3c의 쿼드트리 세부분할을 도식적으로 나타낸다.
도 7은 실시예에 따라 데이터 스트림 추출부에 의해 수행되는 단계들을 나타내는 흐름도이다.
도 8은 다른 실시예에 따른 데이터 스트림 추출부의 기능을 나타내는 흐름도이다.
도 9a 및 도9b는 실시예에 따라 강조되는 미리 결정된 블록을 위한 인접한 후보 블록들을 가진 쿼드트리 세부분할들을 설명하는 도면이다.
도 10은 다른 실시예에 따라 데이터 스트림 추출부의 기능을 나타내는 흐름도이다.
도 11은 실시예에 따라 평면들 및 평면 그룹들로부터 픽쳐의 구성을 설명하고, 평면 간 적용/예측을 사용한 코딩을 설명하는 도면이다.
도 12a 및 도 12b는 실시예에 따라 계승 기법(inheritance scheme)을 설명하기 위한 서브트리 구조 및 상응하는 세부분할을 도식적으로 설명한다.
도 12c 및 도 12d는 실시예에 따라 각각, 적응 및 예측을 가진 계승 기법을 설명하기 위한 서브트리 구조를 도식적으로 설명한다.
도 13은 실시예에 따라 인코더에 의한 계승 기법의 실현을 수행하는 단계를 나타내는 흐름도이다.
도 14a 및 도 14b는 실시예에 따라 인터-예측과 관련된 계승 기법을 실행하는 가능성을 설명하기 위한 프라이머리 세부분할 및 세컨더리 세부분할을 나타낸다.
도 15는 실시예에 따라 계승 기법과 관련된 디코딩 절차를 설명하는 블록도이다.
도 16은 인트라 예측을 되도록 하는 세부 영역들과 함께, 실시예에 따라 멀티트리 세부분할의 세부 영역들 중에서 스캔 순서를 도식적으로 설명한다.
도 17은 실시예에 따른 디코더의 블록도이다.
도 18a 내지 도 18c는 다른 실시예에 따른 세부분할들의 다른 가능들을 설명하는 도면이다.
도 19는 본 발명의 실시예에 따른 인코더의 블록도이다.
도 20은 본 발명의 다른 실시예에 따른 디코더의 블록도이다.
도 21은 본 발명의 다른 실시예에 따른 인코더의 블록도이다.
도 1은 본 발명의 실시예에 따른 인코더의 블록도이다.
도 2는 본 발명의 실시예에 따른 디코더의 블록도이다.
도 3a 내지 3c는 쿼드트리 세부분할을 위한 실시예를 도식적으로 나타내는 것으로, 도 3a는 제 1 계층적 레벨을, 도 3b는 제 2 계층적 레벨을, 도 3c는 제 3 계층적 레벨을 나타낸다.
도 4는 본 발명의 실시예에 따라 도 3a 내지 도 3b의 실시예에 따른 쿼드트리 세부분할을 위한 트리 구조를 도식적으로 나타낸다.
도 5a 및 도 5b는 도 3a 내지 도 3c의 쿼드트리 세부분할 및 리프 블록들을 인덱싱하는 인덱스들을 가진 트리 구조를 도식적으로 설명한다.
도 6a 및 도 6b는 다른 실시예들 각각에 따라, 도 4의 트리 구조를 나타내는 플래그들의 이진 일련들 또는 시퀀스들 및 도 3a 내지 도 3c의 쿼드트리 세부분할을 도식적으로 나타낸다.
도 7은 실시예에 따라 데이터 스트림 추출부에 의해 수행되는 단계들을 나타내는 흐름도이다.
도 8은 다른 실시예에 따른 데이터 스트림 추출부의 기능을 나타내는 흐름도이다.
도 9a 및 도9b는 실시예에 따라 강조되는 미리 결정된 블록을 위한 인접한 후보 블록들을 가진 쿼드트리 세부분할들을 설명하는 도면이다.
도 10은 다른 실시예에 따라 데이터 스트림 추출부의 기능을 나타내는 흐름도이다.
도 11은 실시예에 따라 평면들 및 평면 그룹들로부터 픽쳐의 구성을 설명하고, 평면 간 적용/예측을 사용한 코딩을 설명하는 도면이다.
도 12a 및 도 12b는 실시예에 따라 계승 기법(inheritance scheme)을 설명하기 위한 서브트리 구조 및 상응하는 세부분할을 도식적으로 설명한다.
도 12c 및 도 12d는 실시예에 따라 각각, 적응 및 예측을 가진 계승 기법을 설명하기 위한 서브트리 구조를 도식적으로 설명한다.
도 13은 실시예에 따라 인코더에 의한 계승 기법의 실현을 수행하는 단계를 나타내는 흐름도이다.
도 14a 및 도 14b는 실시예에 따라 인터-예측과 관련된 계승 기법을 실행하는 가능성을 설명하기 위한 프라이머리 세부분할 및 세컨더리 세부분할을 나타낸다.
도 15는 실시예에 따라 계승 기법과 관련된 디코딩 절차를 설명하는 블록도이다.
도 16은 인트라 예측을 되도록 하는 세부 영역들과 함께, 실시예에 따라 멀티트리 세부분할의 세부 영역들 중에서 스캔 순서를 도식적으로 설명한다.
도 17은 실시예에 따른 디코더의 블록도이다.
도 18a 내지 도 18c는 다른 실시예에 따른 세부분할들의 다른 가능들을 설명하는 도면이다.
도 19는 본 발명의 실시예에 따른 인코더의 블록도이다.
도 20은 본 발명의 다른 실시예에 따른 디코더의 블록도이다.
도 21은 본 발명의 다른 실시예에 따른 인코더의 블록도이다.
도면들의 설명에 따르면, 이러한 도면들의 몇몇에서 발생하는 요소들은 일반적인 참조 개수들에 의해 표시되고, 이러한 요소들의 반복되는 설명은 피한다. 오히려, 하나의 도면 안에 표시된 요소에 대한 설명이 다른 도면들에 또한 적용된다. 이러한 다른 도면들에 제시된 설명들에 한하여 각각의 요소가 발생하도록, 그것들로부터 편차를 표시한다.
게다가, 도 1 내지 도 11에 대해 설명한 인코더와 디코더의 요소들과 함께 다음의 설명이 시작된다. 실시예들은 이러한 도면들에 대해 설명하고, 본 출원의 많은 측면들과 결합하고, 그러나, 또한 코딩 기법 안에서 개별적으로 수행된다면 장점이 있고, 따라서, 다음의 도면들에 대해서, 실시예들은, 다른 의미에서 도 1 및 도 11에 대해 설명하는 실시예의 관념을 나타내는 이러한 실시예들의 각각과 함께 정확히 언급된 측면들을 이용하여 간단히 논의된다.
도 1은 본 발명의 일 실시예에 따른 인코더를 도시한다. 도 1의 인코더(10)는 예측부(12), 잔차 프리코더(residual precoder)(14), 잔차 복원부(16), 데이터 스트림 삽입부(18) 및 블록 분할부(20)를 포함한다. 인코더(10)는 시공간적으로 샘플링된 정보 신호를 데이터 스트림(22)으로 코딩을 위한 것이다. 시공간적으로 샘플링된 정보 신호는, 예를 들어, 비디오(즉, 픽쳐(picture)들의 시퀀스)일 수 있다. 각 픽쳐는 이미지 샘플들의 배열을 나타낸다. 예를 들어, 시공간적 정보 신호의 다른 예들은, 예를 들어, 빛의 시간(time-of-light) 카메라들에 의해 캡쳐된 깊이 이미지들을 포함할 수 있다. 추가적으로, 공간적으로 샘플링된 정보 신호는, 예를 들어, 프레임별 크로마(chroma) 샘플들의 두 개의 배열들과 함께 루마(luma) 샘플들의 배열을 포함하는 컬러 비디오의 경우와 같이, 프레임별 하나 이상의 배열 또는 타임 스탬프(time stamp)를 포함하는 것을 주의해야 한다. 또한, 즉, 루마(luma) 및 크로마(chroma)와 같은 상기 정보 신호의 상기 다른 구성 요소들을 위한 공간적 샘플링 율(rate)은 서로 다를 수 있다. 공간적인 해상도에 동일하게 적용된다. 또한, 비디오는 깊이 또는 투명도(transparency) 정보와 같이 추가적으로 공간적으로 샘플링된 정보를 수반할 수 있다. 그러나, 다음의 설명은 하나 이상의 평면의 처리로 전환을 이용하는 본 출원의 최우선의 주요 이슈들을 잘 이해하는 목적을 위한 이들의 배열들 중 하나의 프로세싱(processing)에 초점을 맞출 것이다.
도 1의 인코더(10)는 데이터 스트림(22)의 구문(syntax) 요소들이 전체 픽쳐들 및 개별적인 이미지 샘플들 간에 놓인 입상도(granularity)에서 픽쳐들을 설명하도록 데이터 스트림(22)을 생성하도록 구성된다. 이러한 목적을 위하여, 분할부(20)는 각 픽쳐(24)를 서로 다른 크기들(26)의 단순 연결 영역들로 세부분할(sub-divide)하도록 구성된다. 다음에서, 이들 영역들은 단순히 블록들 또는 세부(sub) 영역들(26)로 불러질 수 있다.
아래 더 상세한 설명에서 서술되어 질 것으로서, 분할부(20)는 픽쳐(24)를 서로 다른 크기들의 블록들(26)로 세부분할하기 위해 멀티-트리 세부분할(multi-tree sub-division)을 사용할 수 있다. 심지어 더 정확하게 되기 위해, 도면 1 내지 11에 관하여 아래 서술된 상세 실시예들은 대부분 쿼드트리(quadtree) 세부분할을 사용한다. 아래 더 상세한 설명에서 설명되어 질 것으로서, 분할부(20)는 픽쳐들(24)을 병합부(30)에 의해 뒤따르는 방금 언급된 블록들(26)로 세부분할하기 위한 세부 분할부(28)의 연속을 포함하며, 병합부(30)는 세부 분할부(28)에 의해 정의되는 세부분할 및 픽쳐들(24)의 비세부분할(non-sub-division) 간에 위치하는 효과적인 세부분할 또는 입상도를 획득하기 위해 이들 블록들(26)의 그룹들을 결합하는 것을 가능하게 한다.
도 1에서 점선으로 표시된 것으로서, 예측부(12), 잔차 프리코더(14), 잔차 복원부(16) 및 데이터 스트림 삽입부(18)는 분할부(20)에 의해 정의되는 픽쳐 세부분할들 상에서 동작한다. 예를 들어, 아래 더 상세한 설명에서 설명되어 질 것으로서, 개별 세부 영역이 선택된 예측 모드에 따라 개별 세부 영역을 위해 상응하는 예측 파라미터들의 설정을 이용하여 인트라(intra) 픽쳐 예측되어야 하는지 또는 인터(inter) 픽쳐 예측되어야 하는지에 대해, 예측부(12)는 예측 세부분할의 개별적인 세부 영역들을 위한 결정을 하도록 분할부(20)에 의해 정의되는 예측 세부분할을 사용한다.
다음으로, 상기 잔차 프리코더(14)는 예측부(12)에 의해 제공되는 픽쳐들(24)의 예측의 잔차를 인코딩하기 위해 픽쳐들(24)의 잔차 세부분할을 사용할 수 있다. 잔차 복원부(16)는 잔차 프리코더(14)에 의한 구문 요소들 출력으로부터 잔차를 복원하고, 또한 잔차 복원부(16)는 앞서 언급된 잔차 세부분할 상에서 동작한다. 데이터 스트림 삽입부(18)는, 잔차 프리코더(14) 및 예측부(12)에 의한 구문 요소들의 출력의 삽입을 위한 시택스 요소들 중, 예를 들어, 엔트로피(entropy) 인코딩과 같은 수단에 의해 데이터 스트림(22)으로의 삽입 순서 및 이웃 관계의 결정을 위해, 앞서 언급된 상기 세부분할들, 즉, 세부분할 및 잔차 세부분할을 이용할 수 있다.
도 1에서 도시한 것으로, 인코더(10)는 원본 정보 신호가 인코더(10)로 들어가는 입력(32)을 포함한다. 감산부(34), 잔차 프리코더(14) 및 데이터 스트림 삽입부(18)는 코딩된 데이터 스트림(22)이 출력되는 데이터 스트림 삽입부(18)의 출력 및 입력(32) 간에 언급된 순서 내에 순차적으로 연결된다. 감산부(34) 및 잔차 프리코더(14)는 잔차 복원부(16), 가산부(36) 및 예측부(12)에 의해 폐쇄되는 예측 루프(loop)의 부분이며, 잔차 복원부(16), 가산부(36) 및 예측부(12)는 잔차 프리코더(14)의 출력 및 감산부(34)의 변환 출력 간의 언급된 순서 내에 순차척으로 연결된다. 예측부(12)의 출력은 가산부(36)의 추가적인 출력에 또한 연결된다. 게다가, 예측부(12)는 출력(32)으로 직접적으로 연결된 입력을 포함하며, 그리고 선택적 인루프 필터(optional in-loop filter)(38)를 통해 가산부(36)의 출력으로 또한 연결되는 더 추가적인 입력을 포함할 수 있다. 추가적으로, 예측부(12)는 동작 중 보조 정보를 생성하고, 따라서 예측부(12)의 출력은 데이터 스트림 삽입부(18)로 또한 결합된다. 유사하게, 분할부(20)는 데이터 스트림 삽입부(18)의 다른 입력에 연결되는 출력을 포함한다.
인코더(10)의 구조를 설명하는 동작의 모드는 다음에서 더 상세하게 설명된다.
앞서 설명된 것으로서, 분할부(20)는 각 픽쳐(24)를 위하여, 세부 영역들(26)로 어떻게 동일하게 세부분할되는지 결정한다. 예측을 위해 사용되는 픽쳐(24)의 세부분할(sub-division)에 따라, 예측부(12)는 이러한 세부분할에 상응하는 각 세부 영역에 대해, 개별 세부 영역을 예측하기 위한 방법을 결정한다. 예측부(12)는 감산부(34)의 인버팅 입력 또는 가산부(36)의 추가적인 입력을 위한 세부 영역의 예측을 데이터 스트림 삽입부(18)로 출력하고, 예측부(12)가 비디오의 미리 인코딩된 부분들로부터 이러한 예측을 획득하는 방법을 반영한 예측 정보를 데이터 스트림 삽입부(18)로 출력한다.
감산부(34)의 출력에서, 예측 잔차는 이와 같이 획득되며, 여기서 잔차 프리코더(14)는 분할부(20)에 의해 또한 규정된 잔차 세부분할에 따라 이러한 예측 잔차를 처리한다. 도 3 내지 10에 관하여 더 상세하게 아래에서 설명된 것으로서, 각 예측 세부 영역이 작은 잔차 세부 영역들로 추가적으로 세부분할되거나 잔차 세부 영역으로서 채택되도록, 잔차 프리코더(14)에 의해 사용되는 픽쳐(24)에 대한 잔차 세부분할은 예측부(12)에 의해 사용되는 예측 세부분할에 관련되어 질 수 있다. 그러나, 전체적으로 독립적인 예측 또는 잔차 세부분할들은 또한 가능할 수 있다.
잔차 프리코더(14)는 각 잔차 세부 영역을 다음과 같은 2차원 변환 또는, 본질적으로 관련되는, 생성한 변환 블록들의 상기 생성한 변환 계수들의 양자화에 의한 스펙트랄(spectral) 도메인을 위한 공간으로부터 변환되게 하며, 그것으로 인해 상기 양자화 노이즈로부터 왜곡이 생성된다. 예를 들어, 데이터 스트림 삽입부(18)는 앞서 언급된 변환 계수들을 설명하는 구문 요소들을, 예를 들어, 엔트로피 인코딩. #을 사용함에 의해 데이터 스트림(22)으로 무손실 인코딩을 할 수 있을 것이다.
다음으로, 잔차 복원부(16)는 재변환에 따른 재양자화를 사용함에 의해 변환 계수들을 잔차 신호로 복원하며, 여기서 잔차 신호는 예측 잔차의 획득을 위한 감산부(34)에 의해 사용되는 예측을 이용하는 가산부(36) 내에서 결합되며, 그로 인해 가산부(36)의 출력에서 현재 픽쳐의 세부 영역 또는 복원된 부분을 획득한다. 예측부(12)는 인트라 예측을 위해 복원된 픽쳐 세부 영역을 직접적으로 사용할 수 있으며, 그것은 인접한 이미 복원된 예측 세부 영역들로부터 외삽에 의한 특정 예측 세부 영역을 예측하기 위한 것이다. 그러나, 인트라 예측은 인접의 대상으로부터 현재 세부 영역의 스펙트럼의 예측에 의한 스펙트랄 도메인 내에서 수행하며, 또한 직접 이론상으로 가능할 수 있을 것이다.
인터 예측에 대해, 예측부(12)는 선택적인 인루프 필터(38)에 의해 필터링된 적이 있는 동일한 대상에 따른 버전(version) 내에서 이미 인코딩되어 복원된 픽쳐들을 사용할 수 있을 것이다. 예를 들어, 인루프 필터(38)는 전에 언급된 상기 양자화 노이즈 형태로 유리하게 적용되는 전달 함수(transfer function)를 가지는 적응적 필터 및/또는 디블록킹(de-blocking) 필터를 포함할 수 있을 것이다.
예측부(12)는 픽쳐(24) 내에서 원본 샘플들을 비교하는 방법에 의한 특정 예측 세부 영역을 예측하는 방법으로 드러나는 예측 파라미터들을 선택한다. 아래 더 상세하게 서술되는 것으로서, 예측 파라미터들은, 인트라 픽쳐 예측 및 인터 픽쳐 예측과 같은, 각 예측 세부 영역을 위한 예측 모드의 표시(indication)를 포함할 수 있을 것이다. 인트라 픽쳐 예측의 경우, 예측 파라미터들은 인트라 예측으로 주로 확장되기 위한 예측 세부 영역 내에서 에지(edge)들에 따른 각도의 표시를 또한 포함할 수 있을 것이며, 그리고 인터 픽쳐 예측, 움직임(motion) 벡터들, 움직임 픽쳐 인덱스들(indices) 및, 최종적으로, 고차원 움직임 변환 파라미터들의 경우, 및 인트라 및/또는 인터 픽쳐 예측의 경우, 현재 예측 세부 영역을 기반으로 복원된 이미지 샘플들의 필터링을 위한 선택적 필터 정보가 예측된다.
아래 더 상세한 설명에서 서술되어 질 것으로서, 분할부(20)에 의해 정의되는 앞서 언급된 세부분할들은 잔차 프리코더(14), 예측부(12) 및 데이터 스트림 삽입부(18)에 의해 최대로 달성 가능한 율/왜곡 비율(rate/distortion ratio)에 상당히 영항을 미친다. 매우 정밀한 세부분할의 경우, 데이터 스트림(22)으로 삽입되는 분할부(12)에 의한 예측 파라미터들(40) 출력은 비록 예측부(12)에 의해 획득한 예측이 더 좋더라도 매우 높은 코딩 율을 필요로 하며, 그리고 잔차 프리코더(14)에 의해 코딩되는 잔차 신호는 동일하게 적은 비트들에 의해 코딩되기 위해 더 적어질 수 있다. 매우 거친 세부분할의 경우, 반대로 적용된다. 추가적으로, 방금 언급된 관념은 유사한 방법으로 잔차 세부분할을 위해 또한 적용되며, 개별적인 변환 블록들의 우수한 입상도를 사용한 픽쳐의 변환은 변환들의 계산을 위한 낮은 복잡성 및 생성된 변환의 증가된 공간적 해상도를 야기한다. 즉, 작은 잔차 세부 영역들은 더 일치되기 위한 개별적인 잔차 세부 영역들 내의 내용(content)의 스펙트랄 왜곡을 활성화한다. 그러나, 스펙트랄 해상도는 감소되며, 그리고 중요한 또는 중요하지 않은(즉, '0'으로 양자화) 사이의 비율 계수들은 나빠질 수 있다. 즉, 변환의 입상도는 픽쳐 내용에 국부적으로 적용되어야 한다. 게다가, 더 정밀한 입상도의 긍정적인 효과로부터 독립하게, 더 정밀한 입상도는 디코더로 선택되는 세부분할을 나타내기 위해 필요한 보조 정보의 양을 규칙적으로 증가시킨다. 아래 상세한 설명에서 서술되어 질 것으로, 아래 설명된 실시예들은, 코딩된 데이터 스트림(22)으로 세부분할 정보를 삽입하기 위한 데이터 스트림 삽입부를 지시함에 의해 디코딩 측에서 사용되기 위한 세부분할들을 시그널링하고 인코딩되기 위한 정보 신호의 내용으로 세부분할들을 매우 효율적으로 적응시키기 위한 능력을 가진 인코더(10)를 제공한다. 상세한 설명은 아래 제시된다.
그러나, 상세한 설명에서 분할부(20)의 세부분할을 정의하기 전, 본 발명의 실시예에 상응하는 디코더는 도 2와 관련되어 더 상세하게 설명된다.
도 2의 디코더는 참조 부호 100에 의해 표시되고, 추출부(102), 분할부(104), 잔차 복원부(106), 가산부(108), 예측부(110), 선택적 인루프 필터(112) 및 선택적 포스트(post) 필터(114)를 포함한다. 추출부(102)는 디코더(100)의 입력(116)에서 코딩된 데이터 스트림을 수신하고, 코딩된 데이터 스트림 세부분할 정보(118), 예측 파라미터들(120) 및 잔차 데이터(122)로부터 추출부(102)가 픽쳐 분할부(104), 예측부(110) 및 잔차 복원부(106)로 출력하는 것을 각각 추출한다. 잔차 복원부(106)는 가산부(108)의 제1 출력과 연결되는 출력을 가진다. 가산부(108)의 다른 입력 및 그것의 출력은 예측 루프로 연결되며, 선택적 인루프 필터(112) 및 예측부(110)는 가산부(108)의 출력으로부터 예측부(110)로 연결된 바이패스(by-pass) 경로를 이용하여 언급된 순서에서 순차적으로 예측 루프에 연결되며, 이는 도 1의 가산부(36) 및 예측부(12) 간의 상기 언급된 연결들과 직접적으로 유사하며, 환언하면 인트라 픽쳐 예측을 위한 대상 및 인터 픽쳐 예측을 위한 다른 대상이다. 가산부(108)의 출력 또는 인루프 필터(112)의 출력 중 어느 하나는 디코더(100)의 출력(124)으로 연결될 수 있을 것이며, 디코더(100)에서 복원 정보 신호는, 예를 들어, 재생성 디바이스(device)로 출력된다. 선택적 포스트 필터(114)는 출력(124)에서 복원 신호의 시각적 인상의 시각적 품질을 향상시키도록 출력(124)을 야기하는 경로로 연결될 수 있을 것이다.
일반적으로 말하자면, 잔차 복원부(106), 가산부(108) 및 예측부(110)는 도 1의 요소들 16, 36 및 12와 같이 행동한다. 즉, 상기 언급된 도 1의 요소들의 동작을 동일하게 모방한다. 이러한 목적을 위하여, 예측부(12)가 수행 또는 수행하는 것을 결정, 및 잔차 프리코더(14)가 수행하는 것으로 동일한 입상도에서 수신한 변환 계수들의 재변환을 위한 결정과 같은 방법으로 예측 세부 영역들을 예측하기 위해, 잔차 복원부(106) 및 예측부(110)는 추출부(102)로부터 세부분할 정보(118)에 따른 픽쳐 분할부(104)에 의해 규정된 세부분할 및 예측 파라미터들(120)에 의해 각각 제어된다. 다음으로, 픽쳐 분할부(104)는 세부분할 정보(118) 상에 의존함에 의해 동기된 방법으로 도 1의 분할부(20)에 의해 선택된 세부분할들을 재건한다. 다음으로, 추출부는 예를 들어 문맥(context) 선택, 이웃 영역 결정, 확률 추정, 데이터 스트림의 구문 분석(parsing) 등에 관하여 데이터 추출을 제어하기 위해 세부분할 정보를 사용할 수 있을 것이다.
몇몇의 편차들은 상기 실시예들 상에서 수행될 수 있을 것이다. 일부는 세부 분할부(28)에 의해 수행되는 세부분할 및 병합부(30)에 의해 수행되는 병합에 관한 다음의 상세한 설명 내에서 언급되고, 다른 것들은 다음의 도 12 내지 16에 관하여 설명된다. 어떤 장애들이 없는 경우, 모든 그들의 편차들은 개별적 또는 부분집합(subset)들로 도 1 및 도 2의 상기 언급된 설명에 각각 적용될 수 있을 것이다. 예를 들어, 분할부들(20 및 104)은 오직 픽쳐마다 예측 세부분할 및 잔차 세부분할을 결정하지 않을 수 있다. 더 정확히 말하면, 또한 그들은 선택적 인루프 필터(38 및 112)를 위한 필터 세부분할을 각각 결정할 수 있을 것이고, 예측을 위한 다른 세부분할들로부터 독립성 또는 의존성, 또는 잔차 코딩 중 하나를 각각 결정할 수 있을 것이다. 게다가, 그것들의 요소들에 의한 세부분할 또는 세부분할들의 결정은 프레임 기준에 의한 프레임 상에서 수행되지 않을 수 있을 것이다. 더 정확히 말하면, 특정 프레임을 위해 결정된 세부분할 또는 세부분할들은 단지 뒤이은 새로운 세부분할의 변환과 함께 다음의 프레임들의 특정 수를 위해 재사용 또는 적용될 수 있을 수 것이다.
세부 영역들로 픽쳐들의 분할에 관한 더 상세한 설명에서, 다음의 설명은 세부분할 부분 상에 먼저 초점을 맞추며, 세부 분할부(28 및 104a)는 세부분할 부분에 대한 책임을 맡는다. 그러므로, 병합 프로세스가 설명되며, 병합부(30) 및 병합부(104b)는 병합 프로세스에 대한 책임을 맡는다. 마지막으로, 인터 평면 채택/예측이 설명된다.
픽쳐는 이미지 또는 비디오 데이터의 잔차 코딩 및 예측의 목적을 위한 아마도 서로 다른 크기들의 다수의 블록들로 나누어지도록, 상기 방법에서 세부 분할부(28 및 104a)는 상기 픽쳐들을 분할한다. 전에 언급한 것으로서, 픽쳐(24)는 이미지 샘플 값들(values)의 하나 이상의 배열들로서 사용할 수 있을 것이다. 예를 들어, YUV/YCbCr 컬러 공간의 경우, 상기 첫 번째 배열은 상기 루마 채널(luma channel)들을 나타낼 수 있을 것이고, 반면에 다른 두 개의 배열들은 크로마(channel) 채널들을 나타낸다. 이들의 배열들은 다른 차원들을 가질 수 있을 것이다. 모든 배열들은 적어도 하나의 연속되는 평면들이 존재하는 각 평면 그룹과 함께 적어도 하나의 평면 그룹들로 그룹을 형성할 수 있을 것이며, 그래서 각 평면은 하나 또는 오직 하나의 평면 그룹 내에 포함될 수 있다. 아래의 각 평면 그룹에 대해 적용된다. 특정 평면 그룹의 첫 번째 배열은 그 평면 그룹의 프라이머리(primary) 배열로 불리어질 수 있을 것이다. 아마도 다음의 배열들은 종속 배열들이다. 프라이머리 배열의 블록 분할은 아래에서 가장 좋게 설명되는 쿼드트리(quadtree) 기법을 기반으로 수행될 수 있을 것이다. 종속 배열들의 블록 분할은 프라이머리 배열의 분할을 기반으로 도출될 수 있을 것이다.
아래 설명되는 실시예들에 따르면, 세부 분할부(28 및104a)들은 프라이머리 배열을 동일한 크기의 다수의 사각 블록들로 분할하기 위해 구성되며, 다음에서 소위 트리블록들(treeblocks)로 불린다. 쿼드트리가 사용되는 경우, 트리블록들의 에지(edge) 길이는 16, 32 또는 64와 같이 보통 두 배이다. 그러나, 완전성의 목적을 위해, 많은 수의 리프(leaf)들을 가지는 트리들 또는 이진 트리들과 같은 여러 트리 타입들의 사용이 가능할 수 있다. 게다가, 트리의 자식들의 수는 트리의 레벨 및 트리가 나타내는 신호에 따라 다양해질 수 있다.
이것에 비하면, 상기 언급된 것으로서, 샘플들의 배열은 각각 깊이 맵(map)들 또는 라이트필드(lightfield)들과 같이 비디오 시퀀스(sequence)들과 다른 정보를 또한 나타낼 수 있을 것이다. 간단하게, 다음의 설명은 멀티(multi)-트리들에 대한 대표 예로서 쿼드트리에 초점을 맞춘다. 쿼드트리들은 각 내부의 노드에 정확히 4개의 자식을 가지는 트리들이다. 각 트리블록들은 프라이머리 쿼드트리의 각 리프들에서 종속 쿼드트리들과 함께 프라이머리(primary) 쿼드트리를 구성한다. 프라이머리 쿼드트리는 예측을 위한 주어진 트리블록의 상기 세부분할을 결정하고, 반면에 종속 쿼드트리는 잔차 코딩의 상기 목적을 위한 주어진 예측 블록의 세부분할을 결정한다.
프라이머리 쿼드트리의 루트(root) 노드는 완전한 트리블록에 상응한다. 예를 들어, 도 3a는 트리블록(150)을 도시한다. 각 픽쳐는 이러한 트리블록들(150)의 열(column)들 및 줄(line)들의 규칙적인 격자(grid)로 분할되는 것을 상기해야 하며, 그래서 동일하게, 예를 들어, 틈이 없이 샘플들의 배열을 포함한다. 그러나, 아래에서 보여주는 모든 블록 세부분할들에 대해 주의해야 하며, 오버랩(overlap)없이 끊김 없는 세부분할은 중요하지 않다. 오히려, 이웃하는 블록은 서로 오버랩될 수 있을 것이고, 동시에 리프가 없는 블록은 이웃하는 리프 블록의 적합한 세부 부분이다.
트리블록(150)의 쿼드트리 구조를 따라, 각 노드는 4개의 자식 노드들로 더 나누어질 수 있고, 이것은 프라이머리 쿼드트리의 경우 각 트리블록(150)은 트리블록(150)의 절반의 너비 및 절반의 높이를 가지는 4개의 세부 블록들로 나누어질 수 있다. 도 3a에서, 이들의 세부 블록들은 참조 번호 152a 내지 152d로 표시된다. 동일한 방식으로, 이들의 각 세부 블록들은 원본 세부 블록들의 절반의 너비 및 절반의 높이를 가지는 4개의 더 작은 세부 블록들로 더 나누어질 수 있다. 도 3d에서, 이것은 세부 블록(152c)에 대한 본보기로 보여지며, 세부 블록(152c)은 4개의 작은 세부 블록(154a 내지 154d)들로 세부분할된다. 도 3에서 도시한 것에 한하여, 도 3a 내지 3c는 트리블록(150)이 그것의 4개의 세부 블록들(152a 내지 152d)로 먼저 나누어지는 방법의 본보기를 보여주고, 뒤이어 좌하단(lower-left)의 세부 블록(152c)은 4개의 작은 세부 블록(154a 내지 154d)으로 더 나누어질 수 있고, 마지막으로 이들의 더 작은 세부 블록들의 우상단(upper-right)의 블록(154b)은 원본 트리블록(150)의 1/8의 너비 및 1/8의 높이의 4개의 블록들로 한번 더 나뉘어지며, 이들의 매우 작은 블록들은 156a 내지 156d로 표기된다.
도 4는 도 3a 내지 3c에서 도시된 것처럼 본보기의 쿼드트리 기반 분할을 위한 근본적인 트리 구조를 도시한다. 트리 노드들 옆의 수들은 세부분할 플래그(flag)로 불리는 값들이며, 세부분할 플래그는 뒤에서 더 상세하게 설명되어 질 것이며, 그때 쿼드트리 구조의 시그널링(signaling)이 논의될 것이다. 쿼드트리의 루트 노드는 상기 도면(“레벨 0”으로 표기된)의 위에서 표현된다. 이 루트 노드의 레벨 1에서 4개의 가지들은 도 3a에서 도시된 것처럼 4개의 세부블록들과 상응한다. 이들 삼사분면의 세부 블록들은 도 3b에서 그것의 4개의 세부 블록들로 더 세부분할되는 것으로서, 또한 도 4에서 레벨 1의 세 번째 노드는 4개의 가지들을 가진다. 다시, 도 3에서 두 번째(우상단(top-right)) 자식 노드의 세부분할와 상응하여, 쿼드트리 계층의 레벨 2에서 두 번째 노드에 연결된 4개의 세부 가지들이 존재한다. 레벨 3의 상기 노드들은 더 세부분할되지 않는다.
프라이머리 쿼드트리의 각 리프들은 다양한 크기의 블록에 상응하며, 개별적인 예측 파라미터들은 다양한 크기의 블록을 위해 구체화될 수 있다(즉, 인트라 또는 인터, 예측 모드, 움직임 파라미터 등). 다음에서, 이들 블록들은 예측 블록들로 불린다. 특히, 이들 리프 블록들은 도 3c에 도시된 블록들이다. 도 1 및 2의 설명을 다시 간략히 언급하면, 분할부(20) 또는 세부 분할부(28)는 방금 설명한 상기 쿼드트리 세부분할을 결정한다. 세부 분할부(152a 내지 152d)는, 상기에서 이미 나타낸 것으로 매우 정밀한 예측 세부분할 및 매우 거친 예측 세부분할 간의 최적의 트레이드오프(tradeoff)를 찾기 위한 목적과 함께, 트리블록(150), 세부 블록들(152a 내지 152d), 작은 세부 블록들(154a 내지 154d) 등에 대한 세부분할 또는 추가적 분할의 결정을 수행한다. 다음으로, 예측부(12)는, 예를 들어, 예측 세부분할에 따른 입상도에서 상기 언급된 예측 파라미터들 또는 도 3에서 도시된 블록들에 의해 표현되는 각 예측 세부 영역들에 대한 결정을 하기 위해, 규정된 예측 세부분할을 사용한다.
도 3c에 도시된 상기 예측 블록들은 잔차 코딩의 목적을 위해 더 작은 블록들로 추가적으로 분할될 수 있다. 각 예측 블록에 대해, 즉, 프라이머리 쿼드트리의 각 리프 노드에 대해, 상응하는 세부분할은 잔차 코딩을 위한 적어도 하나 이상의 종속 쿼드트리(들)에 의해 결정된다. 예를 들어, 16×16의 최대 잔차 블록 크기가 허용되는 경우, 주어진 32×32 예측 블록은 4개의 16×16 블록들로 나누어질 수 있으며, 각 4개의 16×16 블록들은 잔차 코딩을 위한 종속 쿼드트리에 의해 결정된다. 이러한 예에서 각 16×16 블록은 종속 쿼드트리의 루트 노드에 상응한다.
주어진 트리블록을 예측 블록들로 세부분할하는 경우에 대해 방금 설명한 것처럼, 각 예측 블록은 종속 쿼드트리 분해(들)의 사용에 의해 다수의 잔차 블록들로 나누어질 수 있다. 종속 쿼드트리의 각 리프는 잔차 블록에 상응하며, 개별적인 잔차 코딩 파라미터들은 잔차 프리코더(14)에 의해 잔차 블록을 위해 구체화될 수 있으며(즉, 변환 모드, 변환 계수들, 등), 다음에서, 잔차 코딩 파라미터들은 잔차 복원부들(16 및 106)을 각각 제어한다.
환언하면, 세부 분할부(28)는 각 픽쳐 또는 각 픽쳐들의 각 그룹을 위한 픽쳐를 트리블록(150)의 규칙적인 배열로 먼저 분리함에 의한 종속 잔차 세부분할 및 예측 세부분할을 결정하도록 구성될 수 있으며, 예측 세부분할을 획득하기 위해 쿼드트리 세부분할에 의한 이들 트리블록들의 부분 집합을 유사한 방법으로 이들 예측 블록들의 부분 집합의 뒤이은 추가적인 세부분할과 함께 예측 블록들로 귀납적으로 분할하며, 예측 블록들은 각각의 트리블록에서 분할이 수행되지 않은 경우에 트리블록들일 수 있고, 또는 쿼드트리 세부분할의 리프 블록들일 수 있으며, 예측 블록이 종속 잔차 세부분할의 최대 크기보다 큰 경우, 잔차 블록들을 획득하기 위해 상기 쿼드트리 세부분할 절차에 따른 이들 세부 트리블록들의 부분 집합을 뒤이어 세부분할하는 것과 함께 각각의 예측 블록을 세부 트리블록들의 규칙적인 배열로 먼저 분할하며, 잔차 블록들은 각각의 예측 블록에서 세부 트리블록들로 분할이 수행되지 않은 경우에 예측 블록들일 수 있으며, 잔차 블록들은 각각의 세부 트리블록에서 더 작은 영역들로 분할이 수행되지 않은 경우에 세부 트리블록들일 수 있으며, 또는 잔차 쿼드트리 세부분할의 리프 블록들일 수 있다.
상기에서 간략하게 서술된 것처럼, 프라이머리 배열을 위해 선택된 세부분할들 종속 배열들 상으로 매핑(mapping)될 수 있을 것이다. 이것은 프라이머리 배열로서 동일한 차원의 종속 배열들을 고려할 때 용이하다. 그러나, 종속 배열들의 차원들과 프라이머리 배열의 차원이 서로 다른 경우에 특별한 측정들이 수행되어야 한다. 일반적으로 말하면, 서로 다른 차원의 경우 종속 배열들 상으로 프라이머리 배열 세부분할의 매핑은 공간적 매핑(즉, 종속 배열들 상으로 프라이머리 배열 세부분할의 블록 경계들의 공간적 매핑)에 의해 수행될 수 있을 것이다. 특히, 각 종속 배열에 대해, 수평 방향 및 수직 방향 내에 스케일링(scaling) 인자가 존재할 수 있으며, 스케일링 인자는 종속 배열을 위한 프라이머리 배열의 차원의 비율을 결정한다. 예측 및 잔차 코딩을 위한 세부 블록들로의 종속 배열의 분할은 상대적인 스케일링 인자에 의해 스케일이 조절된 종속 배열의 생성된 트리블록들과 함께 각각 프라이머리 배열의 각 결합된 트리블록들의 종속 쿼드트리(들) 및 프라이머리 쿼드트리에 의해 결정될 수 있다. 수평 방향 및 수직 방향 내의 스케일링 인자가 다른 경우(예를 들어, 4:2:2 크로마 세부 샘플링), 종속 배열의 잔차 블록들 및 생성된 예측은 더 이상 사각형들이 아닐 수 있다. 이러한 경우, 비-사각형 잔차 블록을 사각 블록들로 분할해야 하는지 여부를 적응적으로 선택하거나(전체 시퀀스를 위한, 시퀀스로부터 벗어난 하나(one)의 픽쳐 또는 각 하나(single)의 예측에 대한 하나(one)의 픽쳐 또는 잔차 블록 중 하나), 또는 미리 결정하는 것이 가능하다. 첫 번째 경우, 예를 들어, 인코더 및 디코더는 사각형 블록들로의 세부분할을 승인할 수 있으며, 언제나 매핑된 블록은 사각형이 아니다. 두 번째 경우, 세부 분할부(28)는 데이터 스트림 삽입부(18) 및 데이터 스트림(22)을 통해 세부 분할부(104a)에 선택에 대한 신호를 보낼 수 있다. 예를 들어, 4:2:2 크로마 세부 샘플링의 경우, 종속 배열들은 프라이머리 배열과 동일한 높이와 프라이머리 배열의 절반의 너비를 가지며, 잔차 블록들은 2배의 너비를 가질 수 있다. 그 블록을 수직으로 분할함에 의해, 그것은 두 개의 사각형 블록들을 다시 획득할 수 있다.
상기 언급된 것으로, 세부 분할부(28) 또는 분할부(20) 각각은 데이터 스트림(22)을 통해 세부 분할부(104a)로 쿼드트리 기반의 분리에 대한 신호를 보낸다. 마지막으로, 세부 분할부(28)는 픽쳐들(24)을 위해 선택된 세부분할들에 대해 데이터 스트림 삽입부(18)에 알린다. 다음으로, 데이터 스트림 삽입부는 프라이머리(primary) 및 세컨더리(secondary) 쿼드트리의 구조, 그리고 따라서, 데이터 스트림 또는 비트 스트림(22) 내의 잔차 코딩, 또는 예측을 위한 다양한 크기의 블록들로 픽쳐 배열이 분할을, 각각 디코딩 측으로 전송한다.
최소 및 최대 허용 블록 크기들은 보조 정보로서 전송되며, 그리고 픽쳐와 픽쳐 간에 교환될 수 있을 것이다. 또는, 최소 및 최대 허용 블록 크기들은 인코더 및 디코더에서 고정될 수 있다. 이들 최소 및 최대 블록 크기는 예측 및 잔차 블록들을 위해 다르게 될 수 있다. 쿼드트리 구조의 시그널링을 위한 쿼드트리는 가로지르도록 하며, 그리고 각 노드를 위한 쿼드트리는 그 특정 노드가 쿼드트리의 리프 노드인지(즉, 상응하는 블록이 더 이상 세부분할되지 않음) 또는 특정 노드가 그것의 4개의 자식 노드들로 분기되는지를(즉, 상응하는 블록이 절반 크기로 4개의 세부 블록들로 분리됨) 명시하도록 한다.
하나의 픽쳐내의 시그널링은 도 5a의 140에 도시된 바와 같이 왼쪽에서부터 오른쪽으로 위쪽에서부터 아래쪽으로와 같은 래스터 스캔(raster scan) 순서로 트리블록에 의한 트리블록을 수행한다. 또한, 이러한 스캔 방식은 우하단(bottom-right)으로부터 좌상단(top-left)까지 또는 체크보드 센스(checkerboard sense)처럼 다를 수 있다. 바람직한 실시예에서, 각 트리블록 그리고 따라서 각 쿼드트리는 세부분할 정보의 시그널링을 위한 깊이-우선 순서(depth-first order)로 가로지르게 된다.
바람직한 실시예에서, 세부분할 정보(즉, 트리의 구조)뿐만 아니라 예측 데이터 등(즉, 트리의 리프 노드들과 연관된 페이로드(payload))이 깊이-우선 순서로 전송/처리된다. 깊이-우선 횡단(depth-first traversal)은 너비-우선 순서(breadth-first order)보다 큰 장점이 있기 때문에, 그것이 수행된다. 도 5b에서, 쿼드트리 구조는 a, b,…j 로 표기된 리프 노드들과 함께 표시된다. 도 5a는 생성된 블록 분할을 도시한다. 블록들/리프 노드들이 너비-우선 순서로 가로지르게 되는 경우, 우리는 다음의 순서 abjchidefg 를 획득한다. 그러나, 깊이-우선 순서에서, 순서는 abc…ij 이다. 도 5a에서부터 볼 수 있는 것으로서, 깊이-우선 순서에서, 왼쪽 이웃 블록 및 위쪽 이웃 블록은 현재 블록 전에 항상 전송/처리 된다. 그러므로, 움직임 벡터 예측 및 문맥 모델링(context modeling)은 향상된 코딩 성능을 달성하기 위해 왼쪽 및 위쪽 이웃 블록을 위해 구체화된 파라미터들을 항상 사용할 수 있다. 너비-우선 순서를 위해, 이것은 케이스(case)가 될 수 없으며, 예를 들어, 그 이유는 블록(j)은 블록들(e, g 및 i)전에 전송되기 때문이다.
그 결과, 각 트리블록을 위한 시그널링은 프라이머리 쿼드트리의 쿼드트리 구조를 따라 귀납적으로 수행하며, 그래서 각 노드를 위한 플래그는 전송되며, 플래그는 상응하는 블록이 4개의 세부 블록들로 분할되는지 여부를 명시한다. 플래그가 값 “1”을 가지는 경우(“참”을 위한), 그러면 시그널링 프로세스는 모든 4개의 자식 노드들을 위해 귀납적으로 반복되며, 즉, 프라이머리 쿼드트리의 리프 노드까지 래스터 스캔 순서(좌상단(top-left), 우상단(top-right), 좌하단(bottom-left), 우하단(bottom-right))로 세부 블록들은 도달된다. 리프 노드는 값 “0”을 가지는 세부분할 플래그를 가짐에 의해 표현되는 것을 주의해야 한다. 노드는 프라이머리 쿼드트리의 가장 낮은 계층적 레벨 상에 위치하고 그러므로 가장 작은 승인 예측 블록 크기에 상응하는 경우를 위한, 세부분할 플래그는 전송되지 않는다. 도 3a 내지 3c의 예에 대한, 그것은 도 6a의 190에 도시된 바와 같이 “1”을 처음으로 전송하며, 트리블록(150)이 그것의 4개의 세부 블록들(152a 내지 152d)로 분리되는 것을 명시한다. 그러면, 그것은 래스터 스캔 순서(200)로 모든 4개의 세부 블록들(152a 내지 152d)의 세부분할 정보를 귀납적으로 인코딩할 수 있다. 제1, 2 세부 블록들(152a, 152b)을 위한 그것은 “0”을 전송할 수 있으며, 세부분할이 없음을(도 6a의 202 참조) 명시할 수 있다. 제3 세부 블록(152c)(좌하단)을 위한, 그것은 “1”을 전송할 수 있으며, 그 블록이 세부분할되었음을(도 6a의 204 참조) 명시한다. 이제, 귀납적인 접근법에 따라, 그 블록의 상기 4개의 세부 블록들(154a 내지 154d)은 처리될 수 있다. 여기서, 그것은 제1(206)을 위한 “0” 및 제2(우상단) 세부 블록(208)을 위한 “1”을 전송할 수 있다. 이제, 도 3에서 가장 작은 블록 크기(156a 내지 156d)의 4개의 블록들은 처리될 수 있다. 이러한 예에서 우리가 이미 가장 작은 허용 블록 크기에 도달한 경우, 더 이상 데이터는 전송되지 않을 수 있으며, 그 이유는 추가적 세부분할은 불가능하기 때문이다. 그렇지 않으면, 도 6a의 210에서 나타낸 바와 같이, 추가적으로 분리되는 이들 블록이 없음을 명시하는 “0000”이 전송될 수 있다. 그 후, 그것은 도 3b에서 하위 레벨의 두 개의 블록들을 위한 “00”을(도 6a의 212 참조) 전송할 수 있고, 도 3a에서 우하단의 블록을 위한 “0”을(214 참조) 마지막으로 전송할 수 있다. 그래서, 쿼드트리 구조를 나타내는 완전한 이진 스트링은 도 6a에 도시된 어떤 하나일 수 있다.
도 6a의 이진 스트링 표현에서 서로 다른 배경 명암들은 쿼드트리 기반 세부분할의 계층에서 서로 다른 레벨들에 상응한다. 명암(shading)(216)은 레벨 0(원본 트리블록 크기와 동일한 블록 크기에 상응함)을 나타내고, 명암(218)은 레벨 1(원본 트리블록 크기의 절반과 동일한 블록 크기에 상응함), 명암(220)은 레벨 2(원본 트리블록 크기의 1/4과 동일한 블록 크기에 상응함)을 나타내고, 명암(222)은 레벨 3(원본 트리블록 크기의 1/8과 동일한 블록 크기에 상응함)을 나타낸다. 동일한 계층적 레벨(이진 스트링 표현 예에서 동일한 블록 크기 및 동일한 컬러에 상응함)의 모든 세부분할 플래그들은, 예를 들어, 삽입부(18)에 의해 동일한 확률 모델 및 그것을 사용하여 엔트로피 코딩될 수 있다.
도 6b에 도시된, 너비-우선 횡단의 경우를 위한 세부분할 정보는 서로 다른 순서로 전송될 수 있음을 주의해야 한다.
예측의 목적을 위한 각 트리블록의 세부분할과 유사하게, 잔차 블록들로 각 생성된 예측 블록의 분할은 비트스트림으로 전송되게 한다. 또한, 잔차 코딩을 위한 최대 및 최소 블록 크기는 존재할 수 있으며, 이는 보조 정보로서 전송될 수 있고, 이는 픽쳐에서부터 픽쳐로 교환될 수 있다. 또는, 잔차 코딩을 위한 최대 및 최소 블록 크기는 인코더 및 디코더에서 고정될 수 있다. 도 3c에 도시된 것처럼, 프라이머리 쿼드트리의 각 리프 노드에서, 상응하는 예측 블록은 최대 허용 크기의 잔차 블록들로 분할될 수 있을 것이다. 이들 블록들은 잔차 코딩을 위한 종속 쿼드트리 구조의 구성 요소 루트 노드들이다. 예를 들어, 픽쳐를 위한 최대 잔차 블록 크기가 64×64이고 예측 블록이 32×32 크기인 경우, 그러면 전체 예측 블록은 32×32 크기의 하나의 종속 (잔차) 쿼드트리 루트 노드에 대응할 것이다. 반면, 픽쳐를 위한 최대 잔차 블록 크기가 16×16인 경우, 그러면 32×32 예측 블록은 각 16×16 크기의 4개의 잔차 쿼드트리 루트 노드들로 구성될 것이다. 각 예측 블록 내에서, 종속 쿼드트리 구조의 시그널링은 래스터 스캔 순서(좌에서 우, 위에서 아래)로 루트 노드에 의한 루트 노드를 수행한다. 프라이머리 (예측) 쿼드트리 구조의 경우에서와 유사하게, 각 노드를 위한 플래그는 코딩되며, 플래그는 그 특정 노드가 그것의 4개의 자식 노드들로 분할되는지 여부를 명시한다. 그러면, 플래그가 값 “1”을 가지는 경우, 그 절차는 모두 4개의 상응하는 자식 노드들을 위해 귀납적으로 반복되며, 그리고 그것에 상응하는 세부 블록들은 래스터 스캔 순서(좌상단, 우상단, 좌하단, 우하단)로 종속 쿼드트리의 리프 노드까지 도달된다. 프라이머리 쿼드트리의 경우에서와 같이, 종속 쿼드트리의 가장 낮은 계층적 레벨 상의 노드들을 위한 시그널링은 요구되지 않으며, 그 이유는 그것들의 노드들은 더 이상 분할될 수 없는 가능한 가장 작은 잔차 블록 크기의 블록들과 상응하기 때문이다.
엔트로피 코딩에 대해, 동일한 블록 크기의 잔차 블록들에 속하는 잔차 블록 세부분할 플래그들은 그것 및 동일한 확률 모델을 사용하여 인코딩될 수 있을 것이다.
그러므로, 도 3a 내지 도 6a에 관하여 상기에서 제시된 상기 실시예에 따라, 세부 분할부(28)는 잔차 코딩 목적들을 위한 프라이머리 세부분할의 다른 크기들의 블록들에 대한 종속 세부분할 및 예측 목적들을 위한 프라이머리 세부분할을 정의한다. 데이터 스트림 삽입부(18)는 지그재그 스캔 순서로 각 트리블록을 위한 시그널링에 의해 프라이머리 세부분할을 코딩하며, 비트 시퀀스는 프라이머리(primary) 세부분할의 최대 계층적 레벨 및 최대 프라이머리 블록 크기 코딩과 함께 도 6a에 따라 만들어진다. 앞서 언급한 바와 같이 각 정의된 예측 블록에 대해, 연관된 예측 파라미터들은 데이터 스트림으로 포함된다. 게다가, 유사한 정보 코딩, 즉, 도 6a에 따른 최대 크기, 최대 계층적 레벨 및 비트 시퀀스는, 잔차 세부 블록 및 각 잔차 트리 루트 블록을 위한 최대 크기와 동일하거나 최대 크기보다 작은 각 예측 블록을 위한 크기를 생성하며, 예측 블록들은 잔차 블록들을 위해 정의된 최대 크기를 초과하는 상기 크기로 미리 분할된다. 앞서 언급한 바와 같이 각 정의된 잔차 블록을 위한, 잔차 데이터는 데이터 스트림으로 삽입된다.
추출부(102)는 입력(116)에서 데이터 스트림으로부터 각각의 비트 시퀀스들을 추출하고, 앞서 언급한 바와 같이 획득한 세부분할 정보에 대해 분할부(104)에 알린다. 게다가, 데이터 스트림 삽입부(18) 및 추출부(102)는 잔차 프리코더(14)에 의한 잔차 데이터 출력 및 예측부(12)에 의한 예측 파라미터들 출력과 같은 추가적인 구문 요소들을 전송하기 위해 예측 블록들 및 잔차 블록들 중 상기 언급된 순서를 사용할 수 있을 것이다. 이러한 순서를 사용하는 것은, 이웃하는 블록들의 구문 요소들이 이미 코딩/디코딩을 촉진함에 의해 특정 블록을 위한 개별적인 구문 요소들의 인코딩을 위한 충분한 문맥들이 선택될 수 있는 점에서 장점들을 가진다. 게다가, 유사하게, 잔차 프리코더(14) 및 예측부(12)뿐만 아니라 잔차 복원부(106) 및 프리코더(110)는 상기에서 서술된 순서로 개별적인 예측 및 잔차 블록들을 처리할 수 있을 것이다.
도 7은 단계들의 흐름도를 도시하며, 단계들은 데이터 스트림(22)으로부터 세부분할 정보를 추출하기 위해 추출부(102)에 의해 수행될 수 있을 것이며, 이는 상기에서 서술된 것과 같은 상기 방식으로 인코딩된다. 제1 단계에서, 추출부(102)는 픽쳐(24)를 트리 루트 블록들(150)로 분할한다. 이러한 단계는 도 7의 단계 300으로 표기된다. 단계 300은 데이터 스트림(22)으로부터 최대 예측 블록 크기를 추출하는 추출부(102)를 수반할 수 있을 것이다. 게다가 또는 그 대신, 단계 300은 데이터 스트림(22)으로부터 최대 계층적 레벨을 추출하는 추출부(102)를 수반할 수 있을 것이다.
다음, 단계 302에서, 추출부(102)는 데이터 스트림으로부터 플래그 또는 비트를 디코딩한다. 첫 번째 단계 302는 수행되며, 추출부(102)는, 각각의 플래그가 트리 루트 블록 스캔 순서(140)로 제1 트리 루트 블록(150)에 속하는 비트 시퀀스의 제1 플래그인 것을 인식하고 있다. 이러한 플래그가 계층적 레벨 0의 플래그인 것으로서, 추출부(102)는 문맥을 결정하기 위해 단계 302에서 계층 0에 연관되는 문맥 모델링을 사용할 수 있을 것이다. 각 문맥은 그것과 함께 연관되는 플래그의 엔트로피 디코딩을 위한 각각의 확률 추정을 가질 수 있을 것이다. 문맥들의 확률 추정은 문맥일 수 있으며, 개별적으로 각각의 문맥 심볼 통계(symbol statistic)로 적응된다. 예를 들어, 단계 302에서 계층적 레벨 0의 플래그의 디코딩을 위해 적절한 문맥을 결정하기 위해, 추출부(102)는 문맥들의 집합(set)의 하나의 문맥을 선택할 수 있을 것이며, 이는 이웃하는 트리블록들의 계층적 레벨 0 플래그에 의존하는, 또는 더 추가적으로, 위쪽 및 좌측 이웃 트리블록과 같이 현재 처리된 트리블록의 이웃하는 트리블록들의 쿼드트리 세부분할을 정의하는 비트 스트링들의 내에 위치하는 정보에 의존하는 계층적 레벨 0에 연관된다.
다음 단계에서, 즉 단계 304, 추출부(102)는 최근 디코딩된 플래그가 분할을 암시하는지 여부에 관하여 확인한다. 만일 이러한 경우, 추출부(102)는 현재 블록 - 지금의 트리블록 - 을 분할하며, 또는 단계 306에서 그 분할을 세부 분할부(104a)에 알리며, 그리고 단계 308에서 현재 계층적 레벨이 '최대 계층적 레벨-(minus)-1'과 동일한지 여부에 관하여 확인한다. 예를 들어, 추출부(102)는, 예를 들어, 단계 300에서 데이터 스트림으로부터 추출된 최대 계층적 레벨을 또한 가질 수 있다. 현재 계층적 레벨이 '최대 계층적 레벨-(minus)-1'과 다른 경우, 추출부(120)는 단계 310에서 1만큼 현재 계층적 레벨을 증가시키며, 그리고 데이터 스트림으로부터 다음 플래그의 디코딩을 위해 단계들을 단계 302로 후퇴시킨다. 이러한 시간, 플래그들은 단계 302에서 디코딩되며 다른 계층적 레벨에 속하며, 그리고 따라서, 실시예에 따라, 추출부(102)는 문맥들의 다른 집합의 하나를 선택할 수 있을 것이며, 집합은 현재 계층적 레벨에 속한다. 또한, 상기 선택은 이미 디코딩된 적이 있는 이웃하는 트리블록들의 도 6에 따라 세부분할 비트 시퀀스들의 기초일 수 있다.
플래그가 디코딩되는 경우, 그리고 단계 304에서 상기 확인이 그 플래그가 현재 블록의 분할을 암시하지 않음을 나타내는 경우, 추출부(102)는 현재 계층적 레벨이 0인지 여부에 관해 확인하기 위해 단계 312를 계속 진행한다. 만일 이러한 경우, 추출부(102)는 단계 314에서 스캔 순서(140)로 다음 트리 루트 블록에 관한 프로세싱을 진행하며, 또는 처리된 트리 루트 블록이 왼쪽에 없는 경우 세부분할 정보를 추출하는 프로세싱을 중지한다.
도 7의 설명은 오직 예측 세부분할의 세부분할 표시 플래그들의 디코딩에 초점을 맞추는 것에 주의해야 하며, 그래서, 사실적으로, 단계 314는 예를 들어 현재 트리블록에 관계된 추가적인 빈스(bins) 또는 구문 요소들의 디코딩을 수반한다. 어떤 경우에, 만일 추가적 또는 다음 트리 블록이 존재하는 경우, 추출부(102)는 세부분할 정보, 즉, 새로운 트리 루트 블록에 관련되는 플래그 시퀀스의 제1 플래그로부터 다음 플래그의 디코딩을 위해 단계 314부터 단계 302까지 진행한다.
만일, 단계 312에서 계층적 레벨이 0과 동일하지 않은 것으로 밝혀지는 경우, 상기 동작은 현재 노드와 관계하는 추가적인 자식 노드들이 존재하는지 여부에 관한 확인과 함께 단계 316을 진행한다. 즉, 추출부(102)가 단계 316에서 확인을 수행하는 경우, 현재 계층적 레벨이 0 계층적 레벨 이외의 계층적 레벨인 것은 단계 312에서 이미 확인된 적이 있다. 다음으로, 그것은 부모 노드가 존재하는 것을 의미하며, 이는 트리 루트 블록(150) 또는 작은 블록들(152a 내지 152d) 중 하나, 또는 더 작은 블록들(152a 내지 152d) 등에 속한다. 최근에 디코딩된 플래그는 트리 구조의 노드에 속하며, 트리 구조의 노드는 부모 노드를 가지며, 이는 현재 트리 구조의 3개의 추가적인 노드들과 공통이다. 공통 부모 노드를 가지는 자식 노드들 중 스캔 순서는 참조 부호 200과 함께 계층적 레벨 0을 위한 도 3a에서 본보기로 도시된 적이 있다. 그러므로, 단계 316에서 추출부(102)는 모든 이들의 4개의 자식 노드들이 도 7의 프로세스 내에서 이미 머문적이 있는지 여부에 관해 확인한다. 만일 이러한 경우가 아니면, 즉, 현재 부모 노드와 함께 추가적인 자식 노드들이 존재하는 경우, 도 7의 프로세스는 단계 318로 진행하며, 그 곳에서는 현재 계층적 레벨 내에서 지그재그 스캔 순서(200)에 따라 다음 자식 노드가 머물것이고, 그래서 세부 블록에 상응하는 그것은 이제 프로세스(7)의 현재 블록을 나타내고, 그 후, 플래그는 단계 302에서 현재 블록 또는 현재 노드에 관한 데이터 스트림으로부터 디코딩된다. 그러나, 만일 단계 316에서 현재 부모 노드를 위한 추가적인 자식 노드들이 존재하지 않는 경우, 도 7의 상기 프로세스는 단계 320로 진행하며, 그 곳에서 현재 계층적 레벨은 1만큼 감소되며, 프로세스 후 단계 312을 계속 진행한다
도 7에 도시된 상기 단계들을 수행함에 의해, 추출부(102) 및 세부 분할부(104a)는 데이터 스트림으로부터 인코더 측에서 선택된 세부분할을 되찾는 것을 위해 협력한다. 도 7의 상기 프로세스는 상기에서 설명된 예측 세부분할의 경우를 집중한다. 도 7의 흐름도와 함께 도 8은 추출부(102) 및 세부 분할부(104a)가 데이터 스트림으로부터 잔차 세부분할을 되찾는 것을 위해 협력하는 방법을 도시한다.
특히, 도 8은 예측 세부분할으로부터 생성된 각 예측 블록들을 위한 추출부(102) 및 세부 분할부(104a) 각각에 의해 수행되는 상기 단계들을 도시한다. 상기에서 언급된 것으로서, 이들 예측 블록들은 예측 세부분할의 트리블록들(150) 중 지그재그 스캔 순서(140)에 따라 그리고, 예를 들어, 도 3c에서 도시된 바와 같이 리프 블록들을 횡단하기 위해 최근에(currently) 머무른 각 트리블록(150) 내에서 깊이-우선 횡단 순서(depth-first traversal order)를 사용하여 횡단될 수 있다. 깊이-우선 횡단 순서에 따라, 분할된 프라이머리 트리블록들의 리프 블록들은, 지그재그 스캔 순서(200)로 공통 현재 노드를 가지는 특정 계층적 레벨의 세부 블록들 방문과 함께 그리고 그 지그재그 스캔 순서(200)로 다음 세부 블록을 처음 진행하기 전에 이들 각 세부 블록들의 세부분할의 프라이머리 스캐닝(scanning)과 함께 깊이-우선 횡단 순서로 머물게 된다.
예를 들어, 도 3c에서, 트리블록(150)의 리프 노드들 중 생성한 스캔 순서는 참조 부호 350으로 도시된다.
현재 머무른(currently-visited) 예측 블록에 대해, 도 8의 상기 프로세스는 단계 400에서 시작한다. 단계 400에서, 현재 블록의 현재 크기를 표시하는 내부의 파라미터는 잔차 세부분할의 계층적 레벨 0의 크기, 즉, 잔차 세부분할의 최대 블록 크기와 동일하게 설정된다. 최대 잔차 블록 크기는 예측 세부분할의 가장 작은 블록 크기보다 작을 수 있거나, 또는 후자보다 크거나 후자와 동일할 수 있음을 상기하여야 한다. 즉, 실시예에 따라, 인코더는 방금 언급된 어떤 가능성들을 선택하는 것에 자유롭다.
다음 단계, 즉 단계 402에서, 확인은 현재 머무른 블록의 예측 블록 크기가 현재 크기를 표시하는 내부의 파라미터보다 큰 것인지 여부에 관해 수행된다. 만일 이러한 경우, 현재 머무른 예측 블록은 예측 세부분할의 리프 블록 또는 예측 세부분할의 트리블록일 수 있으며, 현재 머무른 예측 블록은 더 이상 분할되지 않으며, 현재 머무른 예측 블록은 상기 최대 잔차 블록 크기보다 크며, 그리고 이러한 경우 도 8의 상기 프로세스는 도 7의 단계 300을 계속 진행한다. 즉, 현재 머무른 예측 블록은 잔차 트리 루트 블록들로 분할되며, 그리고 그 현재 머무른 예측 블록 내에서 제1 잔차 트리블록의 플래그 시퀀스의 제1 플래그는 단계 302 등에서 디코딩된다.
그러나, 만일 현재 머무른 예측 블록이 현재 크기를 나타내는 내부의 파라미터보다 작거나 동일한 경우, 도 8의 상기 프로세스는 단계 404로 진행하며, 그 곳에서 예측 블록 크기는 현재 크기를 나타내는 내부의 파라미터와 동일한지 여부에 관해 결정하기 위해 확인된다. 이러한 경우, 분리 단계 300은 건너뛰어질 수 있으며, 그리고 프로세스는 도 7의 단계 302을 바로 계속 진행한다.
그러나, 만일 현재 머무른 예측 블록의 예측 블록 크기가 현재 크기를 나타내는 내부의 파라미터보다 작은 경우, 도 8의 상기 프로세스는 단계 406으로 계속 진행하며, 그 곳에서는 계층적 레벨은 1만큼 증가하며, 그리고 현재 크기는 (쿼드트리 세부분할의 경우에 양쪽 축의 방향들에서) 2에 의해 분리된 것처럼 새로운 계층적 레벨의 크기로 설정된다. 그 후, 단계 404의 확인은 다시 수행된다. 단계 404 및 406에 의해 형성된 루프의 효과는, 계층적 레벨은 최대 잔차 블록 크기보다 작거나 또는 동일하거나/큰 각각의 예측 블록들로부터 독립적으로 분할된 블록들과 상응하는 크기에 항상 상응하는 것이다. 그러므로, 단계 302에서 플래그를 디코딩하는 경우, 문맥 모델링은 플래그가 동시에 나타내는, 계층적 레벨 및 블록의 상기 크기에 의존하여 수행된다. 다른 계층적 레벨들 또는 블록 크기들의 플래그들을 위한 다른 문맥들의 사용은, 가능성 추정이 플래그 값 발생 중 실제 가능성 분포와 잘 맞을 수 있는 점에서 장점을 가지며, 다른 한편, 관리되기 위한 문맥들의 상대적인 보통의 수를 가지는 것, 그것에 의해 오버헤드를 관리하는 문맥이 감소될 뿐만 아니라 실제 심볼 통계들로 문맥 적응은 증가한다.
상기에서 이미 언급된 것으로서, 샘플들의 하나의 배열보다 많이 존재할 수 있을 것이며, 그리고 샘플들의 이들 배열들은 하나 이상의 평면 그룹들로 분류될 수 있을 것이다. 인코딩되며, 입력(32)으로 들어가는 상기 입력 신호는, 예를 들어, 비디오 시퀀스 또는 정지(still) 이미지의 하나의 픽쳐일 수 있을 것이다. 그러므로, 픽쳐는 하나 이상의 샘플 배열들의 형태로 주어질 수 있을 것이다. 비디오 시퀀스 또는 정지 이미지의 픽쳐의 코딩의 문맥에서, 샘플 배열들은 YUV 또는 YCbCr의 컬러 표현들에서 루마 및 크로마 평면들 또는 빨강, 초록 및 파랑과 같은 3개의 컬러 평면들을 참조할 수 있을 것이다. 게다가, 알파, 즉 3-D 비디오 자료를 위한 투명도 및/또는 깊이 정보, 를 나타내는 샘플 배열들은 또한 나타내어질 수 있을 것이다. 다수의 이들 샘플 배열들은 평면 그룹으로 불리는 것으로 서로 그룹핑될 수 있다. 예를 들어, 루마(Y)는 오직 하나의 샘플 배열과 함께 하나의 평면 그룹이 될 수 있으며, 그리고 CbCr과 같이 크로마는 두 개의 샘플 배열들과 함께 다른 평면 그룹이 될 수 있으며, 또는, 다른 예로, YUV는 3개의 매트릭스들(matrices)과 함께 하나의 평면 그룹이 될 수 있으며, 그리고 3-D 비디오 재료를 위한 깊이 정보는 오직 하나의 샘플 배열과 함께 다른 평면 그룹이 될 수 있다. 모든 평면 그룹에 대해, 하나의 프라이머리 쿼드트리 구조는 예측 블록들로의 분할을 나타내기 위한 데이터 스트림(22) 및 잔차 블록들로의 분할을 나타내는 각 예측 블록을 위한 차선의 쿼드트리 구조 내에서 코딩될 수 있을 것이다. 그러므로, 방금 언급된 제1 예에 따라, 그 곳에서 루마 구성요소는 하나의 평면 그룹이지만, 크로마 구성요소는 다른 평면 그룹을 형성하며, 루마 평면의 예측 블록들을 위한 하나의 쿼드트리 구조, 루마 평면의 잔차 블록들을 위한 하나의 쿼드트리 구조, 크로마 평면의 예측 블록을 위한 하나의 쿼드트리 구조 및 크로마 평면의 잔차 블록들을 위한 하나의 쿼드트리 구조가 존재할 수 있을 것이다. 그러나, 전에 언급한 두 번째 예에서, 루마 및 크로마(YUV) 모두의 예측 블록들을 위한 하나의 쿼드트리 구조, 루마 및 크로마(YUV) 모두의 잔차 블록들을 위한 하나의 쿼드트리 구조, 3-D 비디오 자료를 위한 깊이 정보의 예측 블록들을 위한 하나의 쿼드트리 구조 및 3-D 비디오 자료를 위한 깊이 정보의 잔차 블록들을 위한 하나의 쿼드트리 구조가 존재할 것이다.
추가적으로, 앞서 말한 설명에서, 입력 신호는 프라이머리 쿼드트리 구조를 사용하여 예측 블록들로 분리되며, 그리고 이들 예측 블록들이 종속 쿼드트리 구조를 사용하여 잔차 블록들로 추가적으로 세부분할되는 방법이 설명된다. 대안이 되는 실시예에 따라, 세부분할은 종속 쿼드트리 단계에서 종료될 수 없을 것이다. 즉, 종속 쿼드트리 구조를 사용하여 분할로부터 획득된 블록들은 제3의 쿼드트리 구조를 사용하여 추가적으로 세부분할될 수 있을 것이다. 다음에서, 이러한 분할은 추가적인 코딩 툴(tool)들을 사용하는 목적을 위해 사용될 수 있을 것이며, 추가적인 코딩 툴은 잔차 신호의 인코딩을 가능하게 할 수 있을 것이다.
앞서 말한 설명은 세부 분할부(28) 및 세부 분할부(104a) 각각에 의해 수행되는 세부분할에 집중된다. 상기에서 언급된 것으로서, 세부 분할부(28 및 104a) 각각에 의해 정의되는 세부분할은 앞서 언급된 인코더(10) 및 디코더(100)에 대한 모듈들의 입상도(granularity) 프로세싱을 제어할 수 있을 것이다. 그러나, 다음에서 설명되는 실시예에 따라, 세부 분할부(28 및 104a)들 각각은 병합부(30) 및 병합부(104a) 각각에 의해 뒤따르게 된다. 그러나, 병합부(30 및 104b)들은 선택적인 것이고, 생략될 수 있다.
그러나, 실제로, 그리고 아래에서 더 상세하게 설명되어질 것으로서, 병합부는 몇몇의 예측 블록들 또는 잔차 블록들을 그룹들(groups) 또는 클러스터들(clusters)로 결합하는 기회를 위한 인코더를 제공하며, 그래서, 다른 또는 적어도 몇몇의 다른 모듈들은 블록들의 이들 그룹들과 함께 처리할 수 있을 것이다. 예를 들어, 예측부(12)는, 그 그룹에 속하는 모든 블록들을 위한 공통 파라미터 전송과 함께 예측 블록들의 그룹핑의 시그널링이 모든 이들 예측 블록들을 위한 예측 파라미터들의 개별적인 시그널링보다 율/왜곡 비율 센스(sense) 내에서 좀 더 유망한 경우 모든 이들 예측 블록들 대신에 예측 파라미터들을 공통으로 사용, 그리고 세부 분할부(28)의 세부분할을 사용하여 최적화함에 의해 결정되는 것과 같이 몇몇의 예측 블록들의 예측 파라미터들 간의 작은 편차를 희생할 수 있을 것이다. 이들 공통 예측 파라미터들을 기반으로, 예측부들(12 및 110) 내의 예측의 회복을 위한 프로세싱은 아직도 예측 블록을 수행할 수 있을 것이다. 그러나, 예측부들(12 및 110)은 심지어 예측 블록들의 모든 그룹을 위해 예측 프로세스를 한번 수행하는 것은 또한 가능하다.
아래 더 상세하게 서술되어질 것으로서, 예측 블록들의 그룹핑은 예측 블록들의 그룹을 위한 공통 예측 파라미터들 또는 동일한 것을 사용하는 것뿐만 아니라, 그 대안으로, 또는 게다가, 그 그룹에 속하는 예측 블록들을 위한 예측 잔차들에 따라 그 그룹을 위한 하나의 예측 파라미터를 보내기 위해 인코더(10)를 활성화하는 것이며, 그래서 그 그룹을 위한 예측 파라미터들의 시그널링을 위한 시그널링 오버헤드는 감소될 수 있을 것이다. 후자의 경우에서, 병합 프로세스는 잔차 프리코더(14) 및 예측부(12)에 의해 만들어진 결정보다 데이터 스트림 삽입부(18)에 단지 영향을 미칠 수 있을 것이다. 그러나, 더 상세한 설명은 아래 제시된다. 그러나, 완전성을 위해, 방금 언급된 양상은 상기에서 언급된 필터 세부분할 또는 잔차 세부분할과 같이 다른 세부분할들에 또한 적용되는 것을 주의해야 한다.
먼저, 위에서 언급된 예측 및 잔차 블록들과 같은 샘플들의 집합들의 병합은 더 일반적인 센스(sense) 내에서, 즉, 상기에서 언급된 멀티 트리 세부분할을 제한하는 것이 아닌 것에서 유발될 것이다. 그러나, 다음의 설명은 멀티 트리 세부분할으로부터 야기된 블록들의 병합에 초점을 맞추며, 멀티 트리 세부분할을 위한 실시예들은 상기에서 이미 설명된 적이 있다.
일반적으로 말하자면, 코딩 파라미터들에 연관된 전송의 목적을 위한 샘플들의 특정 집합들에 연관된 구분 요소들의 병합은 이미지 및 비디오 코딩 어플리케이션들(applications) 내의 보조 정보 율(rate)의 감소를 가능하게 한다. 예를 들어, 인코딩되기 위한 신호들의 샘플 배열들은 샘플들의 특정 집합들 또는 샘플 집합들로 보통 분할되며, 이는 직사각형 또는 정사각형 블록들, 또는 임의대로 형성된 영역들, 삼각형들 또는 다른 형상들을 포함하는 샘플들의 어떤 다른 모음을 나타낼 수 있을 것이다. 상기에서 설명된 실시예들에서, 단순 연결 영역들은 멀티 트리 세부분할으로부터 야기된 잔차 블록들 및 예측 블록들이다. 샘플 배열들의 세부분할은 상기에서 설명된 것과 같은 구문에 의해 고정될 수 있을 것이며, 또는 세부분할은 비트 스트림 내에서 적어도 부분적으로 시그널링될 수 있을 것이다. 작은 세부분할 정보 시그널링을 위한 보조 정보 율(rate)의 유지를 위해, 보통 구문는, 블록들을 더 작은 블록들로의 세부분할과 같은 단순한 분할 내에서 야기되는 제한된 수의 선택들을 오직 허용한다. 샘플 집합들은 특정 코딩 파라미터들과 연관되며, 이는 예측 정보 또는 잔차 코딩 모드들 등을 명시할 수 있을 것이다. 이러한 이슈에 관한 설명들은 상기에서 설명된 적이 있다. 각 샘플 집합에 대해, 예측 및/또는 잔차 코딩을 명시하기 위한 것과 같은 개별적인 코딩 파라미터들은 전송될 수 있을 것이다. 향상된 코딩 효율을 달성하기 위해, 아래에서 설명되는 병합의 양상은, 즉 두 개 이상의 샘플 집합들을 샘플 집합들의 그룹들로 불리는 것으로의 병합은 몇몇의 장점들을 가능하게 할 것이며, 이는 더 아래에서 설명된다. 예를 들어, 샘플 집합들은 어떤 그룹의 모든 샘플 집합들이 동일한 코딩 파라미터들을 공유하도록 병합될 수 있을 것이며, 이는 그룹 내의 샘플 집합들 중 하나와 함께 전송될 수 있다. 그렇게 함에 의해, 코딩 파라미터들은 개별적으로 샘플 집합들의 그룹의 각 샘플 집합을 위해 전송되지 않으며, 그러나 그 대신, 코딩 파라미터들은 샘플 집합들의 전체 그룹을 위해 오직 한번 전송된다. 그 결과로서, 코딩 파라미터들의 전송을 위한 보조 정보 율(rate)은 감소될 수 있으며, 그리고 전반적으로 코딩 효율은 향상될 수 있다. 대안적인 접근으로서, 하나 이상의 코딩 파라미터들을 위한 추가적인 개선은 하나 이상의 샘플 집합들에 대한 그룹의 샘플 집합들을 위해 전송될 수 있다. 개선은 그룹의 모든 샘플 집합들에 적용될 수 있거나, 또는 오직 그것이 전송되기 위한 샘플 집합에 적용될 수 있다.
아래에서 추가적으로 설명되는 병합 양상은 인코더에게 비트 스트림(22)의 생성 내에서 더 많은 자유를 또한 제공하며, 그 이유는 병합 기법은 픽쳐의 샘플 배열들을 위한 분할을 선택하기 위한 가능성들의 수를 상당히 증가시키기 때문이다. 인코더는 최소화를 위한 특정 율/왜곡 측정과 같은 추가적인 옵션들 사이를 선택할 수 있기 때문에, 코딩 효율을 향상될 수 있다. 인코더 동작의 몇 가지 가능성들이 있다. 단순한 접근에서, 인코더는 샘플 배열들의 최선의 세부분할을 우선적으로 결정할 수 있다. 도 1을 간략히 참조하면, 세부 분할부(28)는 첫 번째 단계에서 선택적인 세부분할을 결정할 수 있다. 나중에, 각 샘플 집합을 위해, 샘플 집합들의 또 다른 그룹 또는 또 다른 샘플 집합의 병합이 특정 율/왜곡 비용 측정을 감소시키는지 여부는 확인될 수 있을 것이다. 이에, 샘플 집합들의 병합된 그룹에 연관된 예측 파라미터들은 새로운 움직임 검색 또는 예측 파라미터들을 수행하는 것에 의한 것처럼 재추정될 수 있을 것이며, 이는 공통 샘플 집합을 위해 이미 결정된 적이 있을 것이며, 그리고 병합을 위한 샘플 집합들의 그룹 또는 후보 샘플 집합은 샘플 집합들의 고려된 그룹을 위해 평가될 수 있을 것이다. 더 광범위한 접근에서, 특정 율/왜곡 비용 측정은 샘플 집합들의 추가적인 후보 그룹들을 위해 평가될 수 있다.
아래에서 설명되는 상기 병합 기법은 샘플 집합들의 프로세싱 순서를 변화시키지 않는 것을 주의해야 한다. 즉, 상기 병합 개념은 지연이 증가하지 않는 방법으로 실행될 수 있으며, 즉, 각 샘플 집합은 상기 병합 기법을 사용하지 않는 것과 같이 동일한 시간에 디코딩 가능하게 남겨진다.
예를 들어, 만일 코딩된 예측 파라미터들의 수 감소에 의해 저장되는 비트 율이 디코딩 측으로 병합되는 것을 표시하기 위한 코딩된 병합 정보를 위해 추가적으로 소비되는 비트 율보다 큰 경우, 아래에서 추가적으로 설명되는 병합 기법은 증가된 코딩 효율을 야기한다. 병합을 위해 설명되는 구문 확장은 인코더에게 픽쳐 또는 평면 그룹을 블록들로의 분할에 대한 선택에서 추가적인 자유를 제공하는 것은 아래에서 추가적으로 언급될 것이다. 즉, 인코더는 먼저 세부분할하는 것을 제한하지 않고, 그런 다음 어떤 결과 블록들이 예측 파라미터들의 유사한 집합 또는 동일한 집합을 가는지는 여부를 확인하는 것을 제한하지 않는다. 하나의 단순한 대안으로서, 인코더는 율-왜곡 비용 측정에 따라 세부분할을 먼저 결정할 수 있으며, 그런 다음 인코더는 각 블록을 위한 그것의 이웃 블록들 중 하나 또는 블록들의 연관된 이미 결정된 그룹을 결합하는 것이 율-왜곡 비용 측정을 감소시키는지 여부를 확인할 수 있다. 이에, 블록들의 새로운 그룹에 연관된 예측 파라미터들은 새로운 움직임 검색 또는 예측 파라미터들을 수행하는 것에 의한 것처럼 재추정될 수 있으며, 이는 현재 블록 및 이웃하는 블록을 위해 이미 결정된 적이 있으며, 또는 블록들의 그룹들은 블록들의 새로운 그룹을 위해 평가될 수 있을 것이다. 병합 정보는 블록의 기초 상에 시그널링될 수 있다. 효과적으로, 병합은 현재 블록을 위한 예측 파라미터들의 추론으로서 또한 설명되어질 수 있으며, 여기서 추론된 예측 파라미터들은 이웃하는 블록들 중 하나의 예측 파라미터들과 동일한 집합이다. 그 대안으로, 잔차들은 블록들의 그룹 내에서 블록들을 위해 전송될 수 있을 것이다.
그러므로, 아래에서 추가적으로 설명되는 병합 개념의 근본적인 기본 아이디어는 비트 율을 감소시키기 위한 것이며, 비트 율은 이웃하는 블록들의 병합에 의한 다른 코딩 파라미터들 또는 예측 파라미터들을 블록들의 그룹으로 전송하기 위해 요구되며, 그 곳에서 블록들의 각 그룹은 예측 파라미터들 또는 잔차 코딩 파라미터들과 같은 코딩 파라미터들의 고유의 집합과 연관된다. 병합 정보는, 만일 존재하는 경우, 비트 스트림뿐만 아니라 세부분할 정보 내에서 시그널링된다. 병합 개념의 장점은 코딩 파라미터들을 위해 감소된 보조 정보 율로부터 야기되는 증가된 코딩 효율이다. 여기서 설명되는 병합 프로세스들은 공간적 차원들 이외 다른 차원들로 또한 확장될 수 있음을 주의해야 한다. 예를 들어, 몇몇의 서로 다른 비디오 픽쳐들 내에 각각 위치하는 블록들 또는 샘플들에 대한 집합들의 그룹은, 블록들의 하나의 그룹으로 병합될 수 있다. 병합은 4-D 압축 또는 라이트-필드(light-field) 코딩에 또한 적용될 수 있다.
그러므로, 간략하게 도 1 내지 8의 이전 설명으로 돌아가면, 세부분할에 뒤이은 병합 프로세스는 픽쳐들을 각각 세부분할하는 세부 분할부들(28 및 104a)의 특정 방법으로부터 독립된 장점이 있다. 더 정확하게, 후자는 예를 들어, 매크로 블록을 위하여, 그 중에서도, 잔차와 상응하는 잔차 변환 입상도를 위한 분할을 위한 정의뿐만 아니라 데이터 스트림에서 상응하는 예측 파라미터들과 예측을 위한 입상도로서 제공되는 1, 2, 4 또는 몇몇의 다른 개수의 규칙적인 서브-그리드(sub-grid)로의 분할을 정의하는 분할 파라미터들을 포함하는 것과 연관된 어떤 코딩 파라미터들 가진 매크로 블록으로, 즉, 데이터 스트림 내에서 시그럴링된 사이즈 또는 16×16 루마 샘플들과 같은, 미리 결정된 사이즈의 직사각형 또는 정사각형의 매크로 블록들의 규칙적인 배열로 각 픽쳐를 분할함으로써, H.264와 유사한 방법으로 픽쳐들을 세부분할할 수 있다.
어떤 경우, 병합은 이미지 및 비디오 코딩 어플리케이션들 내의 보조 정보 율의 감소와 같이, 상기에서 언급되어 간략히 논의된 장점들을 제공한다. 샘플들의 특정 집합들은 직사각형 또는 정사각형 블록들 또는 임의대로 형성된 영역들 또는 어떤 단순히 연결된 영역 또는 샘플들과 같은 샘플들의 어떤 다른 집합을 나타낼 수 있을 것이며, 샘플들의 특정 집합들은 보통 코딩 파라미터들의 특정 집합 및 각 샘플 집합들에 대해 연결되며, 코딩 파라미터들은 비트 스트림 내에 포함되며, 예를 들어, 예측 파라미터들을 나타내는 상기 코딩 파라미터들은 샘플들의 상응하는 집합이 이미 코딩된 샘플들을 사용하여 예측되는 방법을 구체화한다. 픽쳐의 샘플 배열들을 샘플 집합으로의 분할은 구문에 의해 고정될 수 있을 것이며, 또는 비트 스트림 내에서 상응하는 세부분할 정보에 의해 시그널링될 수 있을 것이다. 샘플 집합을 위한 코딩 파라미터들은 미리 정의된 순서로 전송될 수 있을 것이며, 이는 구문에 의해 주어진다. 병합의 기능성에 따라, 병합부(30)는 예측 블록 또는 잔차 블록과 같은 현재 블록 또는 샘플들의 공통 집합을 위해 신호를 보낼 수 있으며, 그래서 그것은 하나 이상의 다른 샘플 집합들과 샘플 집합들의 그룹으로 병합된다. 따라서, 샘플 집합들의 그룹을 위한 코딩 파라미터들은 오직 한번 전송되는 것이 필요하다. 특정 실시예에서, 만일 현재 샘플 집합이, 코딩 파라미터가 이미 전송된 적이 있는 샘플 집합들의 이미 존재하는 그룹 또는 샘플 집합과 결합되는 경우, 현재 샘플 집합의 코딩 파라미터들은 전송되지 않는다. 그 대신, 샘플들의 상기 현재 집합을 위한 코딩 파라미터들은 샘플 집합들의 그룹 또는 샘플 집합의 코딩 파라미터와 동일한 집합이며, 샘플들의 현재 집합은 샘플 집합 또는 샘플 집합들의 그룹과 병합된다. 대안적인 접근으로서, 하나 이상의 코딩 파라미터들을 위한 추가적인 개선은 현재 샘플 집합을 위해 전송될 수 있다. 개선은 그룹의 모든 샘플 집합들에 적용될 수 있거나, 또는 오직 상기 샘플 집합에만 적용될 수 있으며, 그것은 샘플 집합을 위해 전송된다.
실시예에 따라, 상기에서 언급된 것과 같은 예측 블록, 상기에서 언급된 것과 같은 잔차 블록, 또는 상기에서 언급된 것과 같은 멀티 트리 세부분할의 리프 블록들과 같은 샘플들의 각 집합에 대한, 미리 코딩된/디코딩된 샘플 집합들의 집합은 “인과 관계(causal) 샘플 집합들의 집합”으로 불린다. 예를 들어, 도 3c를 참조하면, 그 도면에서 보여지는 모든 블록들은 예측 세부분할 또는 잔차 세부분할 또는 어떤 멀티 트리 세부분할, 또는 그 밖에 유사한 것들과 같이 특정 세부분할의 결과이며, 이들 블록들 중 정의되는 코딩/디코딩 순서는 화살표(350)에 의해 정의된다. 현재 샘플 집합 또는 현재 단순히 연결된 영역으로서 이들 블록들 중 특정 블록을 고려하는 것은, 인과 관계 샘플 집합들의 그것의 집합은 순서(350)에 따라 현재 블록을 앞서는 모든 블록들에 의해 만들어진다. 그러나, 멀티 트리 세부분할을 사용하지 않는 또 다른 세부분할은 가능할뿐만 아니라 상기 병합 원칙들에 대한 더 아래의 논의에 관심을 가지는 것이 상기된다.
샘플들의 현재 집합과 병합을 위해 사용될 수 있는 샘플들의 집합들은 아래에서 “후보 샘플 집합들의 집합”으로 불려지며, 그리고 샘플들의 집합은 항상 “인과 관계 샘플 집합들의 집합”의 부분집합이다. 부분집합이 형성되는 방법은, 디코더에 알려져 있거나, 또는 그것은 인코더로부터 디코더까지의 데이터 스트림 또는 비트 스트림 내에서 명시될 수 있다. 만일 샘플들의 특정 현재 집합이 코딩/디코딩되고 후보 샘플 집합들의 그것의 집합이 비어있지 않은 경우, 샘플들의 공통 집합이 후보 샘플 집합들의 그 집합으로부터 나온 하나의 샘플 집합과 병합되는지 여부에 관해, 만일 그렇다면 그들 중 어떤 것과 함께, 인코더에서 데이터 스트림으로 시그널링되거나 또는 디코더에서 데이터 스트림으로부터 추출된다. 그렇지 않으면, 병합은 그 블록을 위해 사용될 수 없을 것이며, 그 이유는 후보 샘플 집합들의 상기 집합은 어쨌든 비어있기 때문이다.
인과 관계 샘플 집합들의 집합의 부분집합을 결정하는 서로 다른 방법이 존재하며, 이는 후보 샘플 집합들의 집합을 표현할 수 있다. 예를 들어, 후보 샘플 집합들의 결정은 샘플들의 현재 집합 내의 샘플을 기초로 할 수 있을 것이며, 이는 직사각형 또는 정사각형 블록의 좌상단(upper-left) 이미지 샘플과 같이 특유의 형태로 기하학적으로 정의된다. 그 특유의 형태로 기하학적으로 정의되는 샘플로부터 시작하는 것은, 샘플들의 0이 아닌 특정 수로 정의되며, 이는 그 특유의 형태로 기하학적으로 정의되는 샘플의 직접적인 공간적 이웃들을 표현한다. 예를 들어, 그 특정, 샘플들의 0이 아닌 수는 샘플들의 현재 집합의 상기 특유의 형태로 기하학적으로 정의되는 샘플의 위쪽 이웃 또는 왼쪽 이웃을 포함하며, 그래서 이웃하는 샘플들의 0이 아닌 수는 최대로 2, 위쪽 또는 왼쪽 이웃들 중 하나가 사용 가능하지 않거나 또는 픽쳐의 바깥쪽에 위치하는 경우에 1, 또는 양쪽 이웃들이 없는 경우에 0일 수 있다.
그러면, 후보 샘플 집합들의 집합은 그들 샘플 집합들을 포함하는 것을 결정할 수 있으며, 샘플 집합들은 방금 언급된 이웃하는 샘플들의 0이 아닌 수 중 적어도 하나를 포함한다. 예를 들어, 도 9a를 참조한다. 병합 객체로서 현재 고려되는 샘플 집합은 블록 X가 될 것이며, 그리고 그것의 기하학적으로 특유의 형태로 정의되는 샘플은 400로 표시되는 상기 좌상단(top-left) 샘플의 본보기가 될 것이다. 샘플(400)의 좌상단 이웃 샘플들은 402 및 404로 표시된다. 인과 관계 샘플 집합들의 집합 또는 인과 관계 블록들의 집합은 형성된 방식에서 강조된다. 이들 블록들 중, 블록들 A 및 B는 이웃하는 샘플들(402 및 404) 중 하나를 포함하고, 따라서, 이들 블록들은 후보 블록들의 집합 또는 후보 샘플 집합들의 집합을 형성한다.
또 다른 실시예에 따라, 병합의 목적을 위해 결정된 후보 샘플 집합들의 집합은 추가적으로 또는 배타적으로 샘플들의 집합을 포함할 수 있으며, 샘플들의 집합은 샘플들의 0이 아닌 특정 수를 포함하여, 이는 동일한 공간적 위치를 가지는 1 또는 2일 수 있으며, 그러나 그것은 서로 다른 픽쳐 내에, 즉, 예를 들어, 이전의 코딩된/디코딩된 픽쳐 내에 포함된다. 예를 들어, 도 9a의 블록들 A 및 B와 더불어, 이전에 코딩된 픽쳐의 블록은 사용될 수 있으며, 이는 샘플(400)과 같은 동일한 위치에서 샘플을 포함한다. 이러한 방법에 의해, 오직 위쪽 이웃하는 샘플(404) 또는 오직 왼쪽 이웃하는 샘플(402)은 앞에서 언급된 이웃하는 샘플들의 0이 아닌 수를 정의하기 위해 사용될 수 있음이 주의된다. 일반적으로, 후보 샘플 집합들의 집합은 현재 픽쳐 또는 다른 픽쳐들 내에서 이전에 처리된 데이터로부터 파생될 수 있을 것이다. 파생은 현재 픽쳐의 이미지 경사도 및 특정 방향과 연관된 변환 계수들과 같은 공간적 방향 정보를 포함할 수 있을 것이며, 또는 그것은 이웃하는 움직임 표현들과 같은 시간적 방향 정보를 포함할 수 있을 것이다. 만일 존재하는 경우, 후보 샘플 집합들의 집합은, 수신부/디코더에서 사용 가능한 어떤 데이터 및 데이터 스트림 내의 보조 정보 및 다른 데이터로부터 파생될 수 있을 것이다.
후보 샘플 집합들의 파생은 인코더 측의 병합부(30) 및 디코더 측의 병합부(104b) 양쪽에 의해 병렬적으로 수행되는 것을 주의해야 한다. 방금 언급된 것으로서, 병합부(30, 104b)는 양쪽이 알고 있는 미리 정의된 방법에 기초하여 각 다른 것으로부터 독립된 후보 샘플 집합들의 집합을 결정할 수 있을 것이며, 또는 인코더는 비트 스트림 내에 암시에 대한 신호를 보낼 수 있을 것이며, 이는 병합부(104b)에게 후보 샘플 집합들의 부분집합이 결정된 인코더 쪽에서 병합부(30)의 방법과 같은 방법으로 이들 후보 샘플 집합들의 파생을 수행하기 위한 위치를 가져다 준다.
아래에서 더 상세하게 설명되어질 것으로서, 병합부(30) 및 데이터 스트림 삽입부(18)는 샘플들의 각 집합을 위한 하나 이상의 구문 요소들을 전송하기 위해 협력하며, 이는 샘플들의 집합이 또 다른 샘플 집합과 병합되는지 여부를 명시하며, 다음에서, 이는 샘플 집합들의 이미 병합된 그룹의 일부일 수 있으며, 그리고 후보 샘플 집합들의 집합 중 어떤 것은 병합을 위해 사용된다. 다음에서, 추출부(102)는 이들 구문 요소들을 추출하고, 그에 맞춰 병합부(104b)에 알린다. 특히, 이후에 설명되는 구체적인 실시예에 따라, 하나 또는 두 개의 구문 요소들이 샘플들의 특정 집합을 위한 병합 정보를 명시하기 위해 전송된다. 제1 구문 요소는 샘플들의 상기 현재 집합이 또 다른 샘플 집합과 병합되는지 여부를 명시한다. 제1 구문 요소가 샘플들의 상기 현재 집합이 샘플들의 또 다른 집합과 병합되는 것을 명시하는 경우에 제2 구문 요소는 오직 전송되며, 제2 구문 요소는 병합을 위해 사용되는 후보 샘플 집합들의 집합들 중 어떤 것을 명시한다. 후보 샘플 집합들의 파생된 집합이 비어있는 경우 제1 구문 요소의 전송은 억압될 수 있을 것이다. 즉, 후보 샘플 집합들의 파생된 집합이 비어있지 않은 경우 제1 구문 요소는 오직 전송될 수 있을 것이다. 후보 샘플 집합들의 파생된 집합이 하나의 샘플 집합 이상을 포함하고 있는 경우 제2 구문 요소는 오직 전송될 수 있을 것이며, 그 이유는 오직 하나의 샘플 집합이 후보 샘플 집합들의 집합에 포함되어 있는 경우, 게다가 추가적인 선택이 가능하지 않기 때문이다. 더 추가적으로, 후보 샘플 집합들의 집합이 하나의 샘플 집합 이상을 포함하는 경우 제2 구문 요소의 전송은 억압될 것이며, 예외가 되는 바는 후보 샘플 집합들의 집합에 대한 모든 샘플 집합들은 동일한 코딩 파라미터에 연관되는 것이다. 즉, 후보 샘플 집합들의 파생된 집합에 대한 적어도 두 개의 샘플 집합들이 서로 다른 코딩 파라미터들에 연관되는 경우 제2 구문 요소는 오직 전송될 수 있을 것이다.
비트 스트림 내에서, 샘플들의 집합을 위한 병합 정보는 그것의 샘플 집합에 연관되는 다른 특정 코딩 파라미터들 또는 예측 파라미터들 전에 코딩될 수 있을 것이다. 병합 정보가 샘플들의 현재 집합이 샘플들의 어떤 다른 집합과 병합되지 않는 것에 대한 신호를 보내는 경우, 예측 또는 코딩 파라미터들은 오직 전송될 수 있을 것이다.
예를 들어, 샘플들의 특정 집합, 즉 블록, 을 위한 병합 정보는 예측 파라미터들의 진부분집합(proper subset) 후, 또는 더 일반적인 센스(sense) 내에서 코딩될 수 있을 것이며, 각각의 샘플 집합에 연관되는 코딩 파라미터들은 전송된 적이 있다. 예측/코딩 파라미터들의 부분 집합은 하나 이상의 참조 픽쳐 인덱스들 또는 움직임 파라미터 벡터에 대한 하나 이상의 구성 요소들 또는 참조 인덱스 및 움직임 파라미터 벡터에 대한 하나 이상의 구성 요소들 등으로 구성될 수 있을 것이다. 예측 또는 코딩 파라미터들의 이미 전송된 부분 집합은 후보 샘플 집합들의 큰 임시의 집합에서 벗어난 후보 샘플 집합들의 집합을 획득하기 위해 사용될 것이며, 이는 상기에서 방금 언급된 것으로서 획득된 적이 있을 수 있다. 예로서, 이미 코딩된 예측 및 샘플들의 현재 집합의 코딩 파라미터들 및 상응하는 예측 또는 후보 샘플 집합들의 프라이머리 집합의 코딩 파라미터들 간에 미리 결정된 거리 측정에 따른 서로 다른 크기 또는 거리는 산출될 수 있다. 그러면, 산출된 서로 다른 크기, 또는 거리를 위한 오직 그것들의 샘플 집합들은 미리 정의된 또는 획득된 임계값과 동일하거나 작을 수 있으며, 이는 최종적으로, 즉, 후보 샘플 집합들의 감소된 집합으로 포함된다. 예를 들어, 도 9a를 참조한다. 샘플들의 상기 현재 집합은 블록 X일 것이다. 그 블록에 관한 상기 코딩 파라미터들의 부분 집합은 상기 데이터 스트림(22)으로 이미 삽입된 적이 있다. 예를 들어, 생각하면, 블록 X는 예측 블록이었으며, 코딩 파라미터들의 적절한 부분 집합의 경우는 움직임 벡터와 같은 움직임-매핑(motion-mapping) 정보 및 픽쳐 참조 인덱스를 포함하는 집합에서 벗어난 부분 집합과 같은, 예측 블록 내의 그 블록 X을 위한 상기 예측 파라미터들의 부분집합이 될 수 있다. 만일 블록 X가 잔차 블록이었던 경우, 코딩 파라미터들의 부분집합은 블록 X 내에서 중요한 변환 계수들의 위치들을 표시하는 맵 또는 변환 계수들과 같은 잔차 정보의 부분집합이다. 이러한 정보를 기반으로, 데이터 스트림 삽입부(18) 및 추출부(102) 모두는 블록들(A 및 B)에서 벗어난 부분 집합을 결정하기 위해 이러한 정보의 사용을 가능하게 하며, 이는, 구체적인 실시예에서, 이전에 언급된 후보 샘플 집합들의 프라이머리 집합을 형성한다. 특히, 인과 관계 샘플 집합들의 집합에 속하는 블록들(A 및 B) 때문에, 그것의 코딩 파라미터들은 그 시간에서 인코더 및 디코더 양쪽 모두에서 사용 가능하며, 블록 X의 코딩 파라미터들은 현재 코딩/디코딩된다. 따라서, 서로 다른 크기를 사용하는 이전에 언급된 비교는 후보 샘플 집합들 A 및 B의 프라이머리 집합의 블록에 대한 어떤 수를 제외하기 위해 사용될 수 있을 것이다. 그러면, 후보 샘플 집합들의 생성-감소된(resulting-reduced) 집합은 상기에서 설명된 것으로 사용될 수 있을 것이며, 즉, 병합을 나타내는 병합 표시는 후보 샘플 부분들의 감소된 부분 내에서 전송되는지 여부 또는 후보 샘플 부분들의 감소된 부분 내에서 샘플 집합들의 수에 의존하여 상기 데이터 스트림으로부터 추출되는지 여부에 관해, 그리고 제2 구문 요소는 후보 샘플 부분들의 감소된 부분 내에서 전송되어야 하는지 여부 또는 후보 샘플 부분들의 감소된 부분 내에서 샘플 부분들이 병합을 위한 파트너(partner) 블록으로 되는 것을 나타내는 제2 구문 요소를 가지는 데이터 스트림으로부터 추출되어야 하는지 여부에 관해 결정하는 것으로 사용될 수 있을 것이다. 즉, 미리 결정된 단순 연결 영역을 위한 개별 병합 구문 요소들의 병합 결정 또는 전송은, 미리 결정된 단순 연결 영역에 미리 결정된 상대적인 위치적 관계를 가지고 그리고, 동시에, 미리 결정된 단순 연결 영역을 위한 코딩 파라미터들의 제 1 부분집합에 대한 미리 결정된 관계를 충족시키는 그에 연관된 코딩 파라미터들을 갖는 단순 연결 영역들의 개수에 의존할 수 있으며, 예측 잔차 추출을 이용한 채택 또는 예측은 미리 결정된 단순 연결 영역을 위한 코딩 파라미터들의 제 2 부분집합 상에서 수행될 수 있다. 즉, 미리 결정된 단순 연결 영역에 대해 미리 결정된 상대적인 위치적 관계를 가지고 그리고, 동시에, 미리 결정된 단순 연결 영역을 위한 코딩 파라미터들의 제 1 부분집합에 대한 미리 결정된 관계를 충족시키는 그에 연관된 코딩 파라미터들을 갖는 단순 연결 영역들의 개수의 하나 또는 확인된 하나의 코딩 파라미터들의 부분집합은 단지, 각각, 미리 결정된 단순 연결 영역의 제 2 부분집합으로부터 채택되거나, 미리 결정된 단순 연결 영역의 제 2 부분집합을 예측하기 위해 사용될 수 있다.
앞서 언급된 거리들은 앞서 언급된 임계값에 반하여 비교되며, 앞서 언급된 임계값은 고정될 수 있을 것이며, 그리고 인코더 및 디코더 양측에 알려졌으며, 또는 서로 다른 값들의 중간, 또는 몇몇의 다른 중심의 경향 또는 그러한 것과 같이 산출된 거리들을 기반으로 획득될 수 있을 것이다. 이러한 경우에서, 후보 샘플 집합들의 감소된 집합은 불가피하게 후보 샘플 집합들의 프라이머리 집합에 대한 진부분집합일 것이다. 그 대안으로, 오직 샘플들에 대한 그것들의 집합들은 후보 샘플 집합들의 프라이머리 집합에서 벗어나 선택되며, 이를 위해 거리 측정에 따른 거리는 최소화된다. 그 대안으로, 샘플들의 정확한 하나의 집합은 앞서 언급된 거리 측정을 사용하여 후보 샘플 집합들의 상기 프라이머리 집합에서 벗어나 선택된다. 후자의 경우, 병합 정보는 오직 샘플들의 현재 집합이 샘플들에 대한 하나의 후보 집합과 병합되어야 하는지 또는 아닌지를 명시하는 것을 필요로 할 것이다.
그러므로, 후보 블록들의 상기 집합은, 도 9a에 관하여 다음에서 설명되는 것과 같이, 형성될 수 있을 것이며 또는 획득될 수 있을 것이다. 도 9a의 현재 블록 X에 대한 좌상단(top-left) 샘플 위치(400)로부터 시작하며, 그것의 왼쪽 이웃하는 샘플(402) 및 그것의 위쪽 이웃하는 샘플(404)은 그것의 인코더 및 디코더 측에서 획득된다. 그러므로, 후보 블록들의 집합은 오직 두 개의 요소들까지 가질 수 있으며, 즉 도 9a의 인과 관계 블록들의 음영 부분에서 벗어난 그것들의 블록들은 두 개의 샘플 위치들 중 하나를 포함하고, 도 9a의 경우에서, 그것들의 블록은 블록들 A 및 B이다. 그러므로, 후보 블록들의 집합은 그것의 요소들로서 현재 블록의 좌상단(top-left) 샘플 위치에 대한 두 개의 직접적으로 이웃하는 블록들을 오직 가질 수 있다. 또 다른 실시예에 따라, 후보 블록들의 집합은 현재 블록 전에 코딩된 적이 있는 모든 블록들에 의해 주어질 수 있으며, 그리고 현재 블록의 어떤 샘플에 대한 직접적인 공간의 이웃들을 나타내는 하나 이상의 샘플들을 포함한다. 직접적인 공간의 이웃은 현재 블록의 어떤 샘플에 대한 직접적인 왼쪽 이웃들 및/또는 직접적인 위쪽 이웃들 및/또는 직접적인 오른쪽 이웃들 및/또는 직접적인 아래쪽 이웃들로 제한될 수 있을 것이다. 예를 들어, 또 다른 블록 세부분할을 도시하는 도 9b을 참조한다. 이러한 경우, 상기 후보 블록들은 4개의 블록들, 즉 블록들 A, B, C 및 D을 포함한다.
그 대안으로, 후보 블록들의 집합은, 게다가, 또는 배타적으로, 현재 블록의 어떤 샘플들과 같이 동일한 위치에서 위치하는 하나 이상의 샘플들을 포함하는 블록들을 포함할 수 있을 것이며, 그러나 다른 방식으로(즉 이미 코딩된/디코딩된 픽쳐) 포함된다.
더 대안적으로, 블록들의 후보 집합은 상기에서 설명된 블록들의 집합들에 대한 부분 집합을 나타내며, 이는 공간 또는 시간 방향에서 이웃에 의해 결정된다. 후보 블록들의 상기 부분 집합은 고정, 시그널링 또는 획득될 수 있을 것이다. 후보 블록들의 부분 집합에 대한 파생은 상기 픽쳐 또는 다른 픽쳐들 내에서 다른 블록들을 위해 만들어진 결정들을 고려할 수 있을 것이다. 예로서, 다른 후보 블록들 보다 동일하거나 또는 매우 유사한 코딩 파라미터들에 연관되는 블록들은 블록들의 후보 집합에 포함되지 않을 수 있을 것이다.
**실시예에 대한 다음의 설명은 현재 블록의 좌상단(top-left) 샘플에 대한 왼쪽 및 위쪽 이웃 샘플을 포함하는 오직 두 개의 블록들이 최대로 잠재적인 후보로서 고려되는 경우를 위해 적용된다.
만일 후보 블록들의 집합이 비어있지 않은 경우, 병합 플래그라고 불리는 하나의 플래그는 현재 블록이 어떤 후보 블록들과 병합되는지 여부를 명시하기 위해 시그널링 된다. 만일 병합 플래그가 (“거짓”을 위한) 0과 동일한 경우, 그 블록은 그것의 후보 블록들 중 하나와 병합되지 않으며, 그리고 모든 코딩 파라미터들은 정상적으로 전송된다. 만일 병합 플래그가 (“참”을 위한) 1과 동일한 경우, 다음에서 적용된다. 후보 블록들의 집합이 하나 및 오직 하나의 블록을 포함하는 경우, 후보 블록은 병합을 위해 사용된다. 그렇지 않으면, 후보 블록들의 집합은 정확하게 두 개의 블록들을 포함한다. 만일 이들 두 개의 블록들에 대한 예측 파라미터들이 동일한 경우, 이들 예측 파라미터들은 현재 블록을 위해 사용된다. 그렇지 않으면(두 개의 블록들이 서로 다른 예측 파라미터들을 가지면), merge_left_flag라고 불리는 플래그는 시그널링 된다. 만일 merge_left_flag가 (“참”을 위한) 1과 동일한 경우, 현재 블록의 상기 좌상단(top-left) 샘플 위치에 대한 왼쪽 이웃하는 샘플 위치를 포함하는 블록은 후보 블록들의 집합에서 벗어나 선택된다. 만일 merge_left_flag가 (“거짓”을 위한) 0과 동일한 경우, 다른 (즉, 위쪽 이웃하는) 블록은 후보 블록들의 집합에서 벗어나 선택된다. 선택된 블록의 예측 파라미터들은 현재 블록을 위해 사용된다.
병합에 관해 상기에서 설명한 몇몇의 실시예들을 요약하면, 참조는 입력(116)으로 들어가는 데이터 스트림(22)으로부터 병합 정보를 추출하기 위해 추출부(102)에 의해 수행되는 단계들을 도시하는 도 10으로 만들어 진다.
프로세스는 현재 샘플 집합 또는 블록을 위한 샘플 집합들 또는 후보 블록들을 확인하는 것과 함께 450에서 시작된다. 블록들을 위한 코딩 파라미터들은 특정 하나의 차원 순서로 데이터 스트림(22) 내에서 전송되는 것을 회상해야 하고, 따라서 도 10은 현재 머무른 샘플 집합 또는 블록을 위해 상기 병합 정보를 되찾는 것의 프로세스를 언급한다.
전에 언급된 것으로서, 상기 확인 및 단계 450은 이웃 양상들을 기반으로 이전에 디코딩된 블록들, 즉 블록들의 인과 관계 집합, 중 확인을 포함할 수 있을 것이다. 예를 들어, 그것들의 이웃하는 블록들은 후보로 지정될 수 있을 것이며, 이는 공간 또는 시간에서 현재 블록 X에 대해 하나 이상의 기하학적으로 미리 결정된 샘플들에 이웃하는 특정 이웃하는 샘플들을 포함한다. 추가적으로, 확인에 대한 상기 단계는 두 단계들을 포함할 수 있을 것이며, 즉 방금 언급한 것처럼, 즉 후보 블록들의 프라이머리 집합을 야기하는 이웃 기반의, 확인에 관계한 제1 단계 및 단계 450 전에 데이터 스트림으로부터 이미 디코딩된 적이 있는 현재 블록 X에 대한 코딩 파라미터들의 진부분집합에 위한 특정 관계를 처리하는 것에 대한 이미 전송된 코딩 파라미터들에 따라 단지 그것들의 블록들이 후보들로 지정되는 제2 단계를 포함한다.
다음으로, 상기 프로세스 단계들의 단계 452로, 그 곳에서는 후보 블록들의 수가 0보다 큰지 여부에 관해 결정된다. 만일 이러한 경우, merge_flag는 단계 454에서 데이터 스트림으로부터 추출된다. 추출에 대한 단계 454는 엔트로피 디코딩을 수반할 수 있을 것이다. 단계 454에서 merge_flag의 엔트로피 디코딩을 위한 문맥은, 예를 들어, 후보 블록들의 집합 또는 후보 블록들의 프라이머리 집합에 속하는 구문 요소들을 기반으로 결정될 수 있을 것이며, 여기서 구문 요소들의 의존성은 관심(interest)에 대한 집합에 속하는 블록들이 병합된 적이 있거나 또는 그렇지 않음에 대한 정보로 제한된다. 선택된 문맥에 대한 가능성 추정은 적응될 수 있을 것이다.
그러나, 만일 후보 블록들의 수가 452 대신에 0이 되는 것으로 결정된 경우, 도 10의 프로세스는 단계 456으로 계속 진행하며, 그 곳에서는 현재 블록의 상기 코딩 파라미터들은 비트 스트림으로부터 추출되며, 또는 상기에서 언급된 두 단계 확인 경우에 그 대안으로, 추출부(102) 후에 남겨진 코딩 파라미터들은 도 3c에 도시된 순서(350)와 같이 블록 스캔 순서로 다음 블록에 대한 프로세싱으로 계속 진행한다.
단계 454로 돌아가서, 상기 프로세스는 단계 454에서 추출 후에, 추출된 merge_flag가 현재 블록에 대한 병합의 발생 또는 부재를 암시하는지 여부에 관한 확인과 함께 단계 458을 진행한다. 만일 병합이 발생하지 않은 경우, 상기 프로세스는 앞서 언급된 단계 456으로 진행한다. 그렇지 않으면, 후보 블록들의 수가 그것과 동일한지 여부에 관한 확인을 포함하는 단계 460으로 진행한다. 만일 이러한 경우, 후보 블록들 중 특정 후보 블록에 대한 표시의 전송은 필요하지 않으며, 따라서, 도 10의 상기 프로세스는 현재 블록의 병합 파트너가 오직 후보 블록으로 설정되는 것에 따라 단계 462을 진행하며, 여기서 단계 464 후에 병합된 파트너 블록의 코딩 파라미터는 현재 블록의 남겨진 코딩 파라미터 또는 코딩 파라미터들의 적응 또는 예측을 위해 사용된다. 적응의 경우, 현재 블록에 대한 코딩 파라미터들이 없음은 병합 파트너 블록으로부터 단지 복사된다. 다른 경우, 즉 예측의 경우, 단계 464는 데이터 스트림으로부터 잔차 데이터의 추출을 추가적으로 수반할 수 있을 것이며, 병합 파트너 블록으로부터 획득된 이들의 결여된 코딩 파라미터들과 그 잔차 데이터의 결합 및 현재 블록의 결여된 코딩 파라미터들의 예측 잔차에 관련한 잔차 데이터이다.
그러나, 만일 후보 블록들의 수가 단계 460에서 그것보다 크게 되는 것으로 결정되는 경우, 도 10의 상기 프로세스는 단계 466으로 나아가며, 그 곳에서 코딩 파라미터들의 관심 부분 또는 코딩 파라미터들 - 즉 현재 블록을 위한 데이터 스트림 내에서 아직 이전된 적이 없는 부분에 관련한 그것의 세부 부분(subpart) - 이 서로 동일한지 여부에 관한 확인이 수행된다. 만일 이러한 경우, 이들의 공통 코딩 파라미터들은 병합 참조(reference)와 같이 설정되며, 또는 후보 블록들은 단계 468에서 병합 파트너들과 같이 설정되며, 그리고 각각의 흥미 코딩 파라미터들은 단계 464에서 적응 또는 예측을 위해 사용된다.
병합 파트너들 그 자체가 블록이었던 적이 있을 수 있으며, 병합은 블록을 위해 시그널링되었음을 주의해야 한다. 이러한 경우, 단계 464에서 적응된 또는 예측대로 획득된 코딩 파라미터들에 대한 병합 파라미터는 사용된다.
그러나, 그렇지 않으면, 즉, 코딩 파라미터들이 동일하지 않은 경우, 도 10의 상기 프로세스는 단계 470으로 진행하며, 그 곳에는 추가적인 구문 요소는 데이터 스트림(즉, 그 merge_left_flag)으로부터 추출된다. 문맥들의 분리 집합은 그 플래그의 엔트로피-디코딩을 위해 사용될 수 있을 것이다. merge_left_flag의 엔트로피 디코딩을 위해 사용되는 문맥들의 집합은 단지 하나의 문맥을 또한 포함할 수 있을 것이다. 단계 480 후, merge_left_flag에 의해 표시되는 후보 블록은 단계 472에서 병합 파트너로 설정되며, 그리고 단계 464에서 적응 또는 예측을 위해 사용된다. 단계 464 후, 추출부(102)는 블록 순서로 다음 블록에 대한 처리로 진행한다.
당연히, 많은 대안들이 존재한다. 예를 들어, 결합된 구문 요소는 병합 프로세스를 시그널링하는 결합된 구문 요소들 전에 설명된 merge_left_flag 및 분리 구문 요소들 merge_flag 대신에 상기 데이터 스트림 내에서 전송될 수 있을 것이다. 추가적으로, 앞서 언급된 merge_left_flag는 두 개의 후부 블록들이 동일한 예측 파라미터들을 가지거나 또는 가지지 않는 것에 관계 없이 데이터 스트림 내에서 전송될 수 있으며, 그로 인해 도 10의 프로세스 수행을 위한 계산상의 오버헤드는 감소한다.
예를 들어, 도 9b에 관하여 이미 언급된 것으로서, 두 개의 블록들보다 많은 것은 후보 블록들의 집합으로 포함될 수 있을 것이다. 추가적으로 병합 정보(즉, 블록이 병합되는지 여부를 시그널링하는 정보, 그리고 만일 블록이 병합되는 경우, 그것은 후보 블록과 병합됨)는 하나 이상의 구문 요소들에 의해 시그널링될 수 있을 것이다. 제1 구문 요소는, 블록이 상기에서 설명된 merge_flag와 같은 어떤 후보 블록들과 병합되는지 여부를 명시할 수 있다. 만일 후보 블록들의 집합이 비어있지 않은 경우, 플래그는 오직 전송될 수 있을 것이다. 제2 구문 요소는, 앞서 언급된 merge_left_flag와 같은 병합을 위해 사용되는 후보 블록들 중 어떤 것에 대한 신호를 보낼 수 있을 것이며, 그러나 일반적으로 두 개의 후보 블록보다 적어도 두 개 이상 중에서 선택을 표시한다. 만일 제1 구분 요소가 현재 블록이 후보 블록들 중 하나와 병합되는 것에 대한 신호를 보내는 경우, 제2 구문 요소는 오직 전송될 수 있을 것이다. 만일 후보 블록들 중 집합이 하나 이상의 후보 블록을 포함하는 경우 및/또는 후보 블록들 중 어떤 것이 후보 블록들 중 다른 어떤 것과 다른 예측 파라미터들을 가지는 경우, 제2 구문 요소는 추가적으로 오직 전송될 수 있을 것이다. 구문는 얼마나 많은 후보 블록들이 주어지는지 및/또는 어떻게 다른 예측 파라미터들이 후보 블록들에 연관되는지에 의존할 수 있을 것이다.
사용되는 후보 블록들 중 어떤 블록들의 시그널링을 위한 구문는, 인코더 및 디코더 측에서 동시적으로 및/또는 병렬적으로 설정될 수 있을 것이다. 예를 들어, 만일 단계 450에서 확인된 후보 블록들을 위한 3개의 선택들이 존재하는 경우, 예를 들어, 단계 470에서, 오직 이들 3개의 선택들이 엔트로피 코딩을 위해 고려되고 사용 가능하도록 구문가 선택된다. 즉, 그것의 심볼 알파벳이 후보 블록들 존재의 선택들만큼 많은 요소들을 단지 가지도록 구문 요소는 선택된다. 모든 다른 선택들의 가능성들은 0으로 고려될 수 있으며, 그리고 엔트로피-코딩/디코딩은 인코더 및 디코더에서 동시에 조절될 수 있을 것이다.
추가적으로, 단계 464에 관하여 이미 언급된 것으로서, 병합 프로세스의 결과로서 추론되는 예측 파라미터들은 현재 블록들에 연관되는 예측 파라미터들의 완전한 집합을 표현할 수 있을 것이며, 또는 그들은 블록의 하나의 가정(hypothesis)을 위한 예측 파라미터들과 같은 이들 예측 파라미터들의 부분집합을 표현할 수 있을 것이며, 멀티-가정 예측은 이를 위해 사용된다.
상기에서 언급된 것으로서, 병합 정보에 관련된 구문 요소들은 문맥 모델링을 사용하여 엔트로피-코딩될 수 있다. 문맥 요소들은 (유사한 구문 요소들 또는) 상기에서 설명된 merge_left_flag 및 merge_flag로 구성될 수 있을 것이다. 구체적인 예에서, 문맥들 또는 3개의 문맥 모델들에서 벗어난 그것은, 예를 들어, 단계 454에서 merge_flag의 코딩/디코딩을 위해 사용될 수 있다. 사용된 문맥 모델 인덱스 merge_flag_ctx는 다음과 같이 획득될 수 있을 것이다. 만일 후보 블록의 집합이 두 개의 요소들을 포함하는 경우, merge_flag_ctx의 값은 두 개의 후보 블록들에 대한 merge_flag의 값들의 합과 동일하다. 그러나, 만일 후보 블록들의 집합이 하나의 요소를 포함하는 경우, merge_flag_ctx의 값은 그 하나의 후보 블록에 대한 merge_flag의 값의 2배와 동일할 수 있을 것이다. 이웃하는 후보 블록들의 각 merge_flag가 1 이거나 또는 0일 수 있는 것처럼, 3개의 문맥들은 merge_flag를 위해 사용 가능하다. merge_left_flag는 단지 하나의 가능성 모델을 사용하여 코딩될 수 있을 것이다.
그러나, 대안적인 실시예에 따라, 다른 문맥 모델들이 사용될 수 있을 것이다. 예를 들어, 비-이진(non-binary) 구문 요소들은 빈스(bins)라고 불리는 이진 심볼들의 시퀀스상에서 매핑될 수 있을 것이다. 다른 구문 요소들 또는 구문 요소들의 빈스(bins)가 고정된 문맥 모델로 코딩될 수 있는 반면, 병합 정보를 정의하는 구문 요소들의 빈스(bins) 또는 몇몇의 구문 요소들을 위한 문맥 모델들은, 이웃하는 블록들에 대한 이미 전송된 구문 요소들 또는 후보 블록들의 수 또는 다른 측정들을 기반으로 획득될 수 있을 것이다.
상술한 블록들의 병합의 설명에 따르면, 후보 블록들의 집합은 다음의 정정(후보 블록들은 각각 움직임-보상 또는 인터 예측을 사용하는 블록들로 제한된다)과 함께 상술한 실시예들 중 하나와 같은 방법으로 얻어질 수 있다. 오직 그것들은 후보 블록들의 집합의 요소들이 될 수 있다. 상기 시그널링 및 병합 정보의 문맥 모델링은 상술한 바와 같이 될 수 있다.
위에서 설명된 멀티트리 세부분할 실시예들의 조합으로의 전환 및 지금 설명된 병합 관점에서, 만일 픽쳐가 쿼드트리-기반의 세부분할 구조의 사용에 의해 다양한 사이즈의 정사각형 블록들로 나누어지는 경우, 예를 들어, merge_flag 및 merge_left_flag 또는 병합을 명시한 다른 구문(syntax) 요소들은 쿼드트리 구조의 각각의 리프 노드를 위해 전송되는 예측 파라미터들과 함께 인터리빙(interleave)될 수 있다. 도 9a를 예를 들어, 다시 고려해보자. 도 9a는 다양한 사이즈의 예측 블록들 안의 픽쳐의 쿼드트리-기반의 세부분할에 대한 예를 나타낸다. 가장 큰 사이즈의 위쪽 두 개의 블록들은 소위 트리블록들, 즉, 그것들은 최대 가능한 사이즈의 예측 블록들이다. 도 9a 내의 다른 블록들은 그들의 상응하는 트리블록의 세부분할과 같은 것을 얻는다. 현재 블록은 "X"로 표시되어 있다. 모든 음영진(shaded) 블록들은 현재 블록 전에 인코딩/디코딩되어, 상기 모든 음영진 블록들은 인과적 블록들의 집합을 형성한다. 실시예들 중에 하나를 위해 후보 블록들의 집합의 획득의 명세서 내에서 분석되고, 현재 블록의 좌상단(top-left) 샘플 포지션의 샘플들과 직접적으로 이웃하는 방향(즉, 위쪽 또는 왼쪽)을 포함하는 블록들만 후보 블록들의 집합의 멤버들이 될 수 있다. 따라서, 현재 블록은 블록 "A" 또는 블록 "B"와 함께 병합될 수 있다. merge_flag가 0("false"를 위한)과 같으면, 현재 블록 "X"는 다른 2개의 블록들과 함께 병합되지 않는다. "A" 및 "B" 블록들이 동일한 예측 파라미터들을 가지는 경우, 상기 두개의 블록들의 병합은 같은 결과를 이끌어 낼 것이므로, 구별이 될 필요가 없다. 따라서, 이 경우, merge_left_flag는 전송되지 않는다. 반대로, 블록 "A" 및 블록 "B"가 다른 예측 파라미터들을 가지는 경우, 1("true"를 위한)과 같은 merge_left_flag는 블록 "X"와 "B"를 병합할 것임에 비하여, 0("false"를 위한) 과 같은 merge_left_flag는 블록 "X"와 "A"를 병합할 것이다. 다른 실시예에서, 추가로 이웃하는(이미 전송된) 블록들은 병합을 위해 후보들을 표시한다.
도 9b에는 다른 실시예가 도시된다. 여기서, 상기 현재 블록 "X" 및 왼쪽 이웃 블록 "B"는 트리블록들이며, 즉, 그들은 최대 허용된 블록 사이즈를 가진다. 위쪽 이웃하는 블록 "A"의 사이즈는 트리블록 사이즈의 1/4이다. 인과적 블록들의 집합의 요소인 블록들은 음영되어 있다. 본 발명의 일 실시예에 따르면, 현재 블록 "X"는 다른 위쪽 이웃하는 블록들과는 병합할 수 없고, 오직 "A" 또는 "B" 2개의 블록들과만 병합될 수 있다. 다른 실시예에서는, 추가로 이웃하는(이미 전송된) 블록들은 병합을 위해 후보들을 표시한다.
본 출원의 실시예에 따라 픽쳐의 다른 샘플 배열들을 다루는 방법 측면에 관한 설명을 계속하기 전에, 멀티트리 세부분할, 상기 하나의 방향(hand)에서의 시그널링, 다른 방향(hand)에서의 병합 측면에 관한 위에서의 논의가 서로로부터 독립적으로 이용될 수 있는 이점을 제공하는 측면들을 명확하게 해준다. 즉, 이미 상술한 바와 같이, 멀티트리 세부분할과 병합의 조합은 구체적인 이점들을 가지나, 이점들은 또한, 예를 들어 병합 특징이 구체화되는 대안들로부터 생긴다. 그러나, 세부 분할부(30, 104a)에 의해 수행되는 세부분할은 쿼드트리 또는 멀티트리 세부분할에 기초되지 않고, 오히려 매크로블록들의 레귤러 구획을 더 작은 구획으로 매크로 블록 세부분할화하는 것과 상응한다. 반대로, 순서대로, 비트스트림 내의 최대 트리블록 사이즈 지시의 전송에 따른 멀티트리 세부분할의 조합 및 블록들의 상응하는 코딩 파라미터 운반하는 깊이-우선(depth-first) 횡단 순서의 사용에 따른 멀티트리 세부분할의 사용은 동시 또는 동시가 아닌 상태로 사용되는 병합 특징으로부터 독립적인 이점이 있다. 일반적으로, 병합의 이점들은, 블록의 세부분할의 허용뿐만 아니라 세부분할 후 얻어진 2개 또는 더 많은 블록들의 병합을 허용하는 방법에서 샘플 배열 코딩들의 구문(syntax)이 확장되는 때에 코딩 효율이 증가될 수 있다는 것을 고려해 볼 때에 직관적으로 이해될 수 있다. 결과적으로, 병합은 같은 예측 파라미터들로 코딩되어 있는 블록들의 그룹을 얻는다. 블록들의 그룹을 위한 예측 파라미터들은 오직 한번 코딩될 필요가 있다. 더욱이, 샘플들의 집합들의 병합에 관하여, 고려된 샘플들의 집합들은 직사각형 또는 정사각형의 블록들일 수 있고, 샘플들의 병합된 집합들의 경우는 직사각형 및/또는 정사각형의 블록들의 컬렉션(collection)을 나타냄을 알아야한다. 그러나, 그 대신에, 샘플들의 고려된 집합들은 임의대로 구체화된 픽쳐 영역들이고, 샘플들의 병합된 집합들은 임의로 구체화된 픽쳐 영역들의 컬렉션을 나타낸다.
다음 설명은 픽쳐마다 적어도 하나의 샘플 배열이 있는 경우에 픽쳐의 다른 샘플 배열들을 핸들링하는데 초점을 맞추고, 다름 부연 설명 내의 몇 가지 관점들의 개요는 사용된 세부분할의 종류로부터 독립적인 즉, 멀티트리 세부분할 또는 멀티트리 세부분할이 아닌 것에 기초한 세부분할으로부터 독립적이고, 사용되거나 사용되지 않은 병합으로부터 독립적인 이점들이 있다. 픽쳐의 다른 샘플 배열들의 핸들링에 관한 구체적인 실시예들을 설명하는 것을 시작하기 이전에, 이러한 실시예들의 메인 이슈는 픽쳐 마다 다른 샘플의 핸들링의 필드 내의 짧은 소개의 방법에 의해 동기화된다.
다음 논의는 이미지 또는 비디오 코딩 어플리케이션 내의 픽쳐의 다른 샘플 배열들의 블록들 사이에 코딩 파라미터들에 초점을 맞추고, 특히, 다음의 논의는 예를 들어 그러나 비배타적으로 도1 및 도 2의 인코더 및 디코더 또는 다른 이미지 또는 비디오 코딩 환경 내 픽쳐의 다른 샘플 배열들 사이의 적응적인 예측 코딩 파라미터들의 방법에 초점을 맞춘다. 상술한 바와 같이 샘플 배열들은 투명도 데이터 또는 깊이 맵들과 같은 추가 정보와 함께 픽쳐와 관련된 샘플 배열들 또는 다른 컬러 요소들과 관련된 샘플 배열들을 나타낼 수 있다. 픽쳐의 컬러 요소들과 관련된 샘플 배열들은 또한, 컬러 평면들로 언급된다. 다음에 설명된 기술은 평면 간 채택/예측에 관련되고, 평면 간 채택/예측은 블록 기초(block-based) 이미지, 비디오 인코더들, 디코더들에 사용될 수 있고, 평면 간 채택/예측으로 인해 픽쳐를 위한 샘플 배열들의 블록들의 프로세싱 순서는 임의적일 수 있다.
이미지 및 비디오 코더들은 컬러 픽쳐들(스틸 이미지들 또는 비디오 시퀀스의 픽쳐들 중 하나)을 코딩하기 위해 전형적으로 디자인 된다. 컬러 픽쳐는 다른 컬러 요소들을 위한 샘플 배열을 나타내는 멀티플 컬러 평면들로 구성된다. 주로, 컬러 픽쳐들은 루마(luma) 평면 및 컬러 차이 요소들을 구체화하는 2개의 크로마(chroma) 평면들로 구성되는 샘플 배열들의 집합으로 코딩된다. 몇개의 어플리케이션 지역들에서, 코딩된 샘플 배열들의 집합이 3개의 주요색인 빨간색, 녹색 및 파란색을 위한 샘플 배열들을 나타내는 3개의 컬러 평면들로 구성되는 것은 일반적이다. 추가적으로, 향상된 컬러 표현을 위해, 컬러 픽쳐는 3가지 컬러 평면들 보다 많은 것으로 구성될 수 있다. 더욱이, 픽쳐는 상기 픽쳐를 위한 추가 정보를 상세화하는 예비 샘플 배열들과 관련될 수 있다. 예를 들어, 예비 샘플 배열들은 관련된 컬러 샘플 배열들을 위한 투명도(상세한 디스플레이 목적들에 적합한)를 상세화하는 샘플 배열들 또는 깊이 맵(렌더링 멀티플 뷰들에 적합한, 예를 들어, 3-D 디스플레이들)을 상세화하는 샘플 배열들일 수 있다.
종래의 이미지 및 비디오 코딩 표준(예를 들어, H.264)에서, 상기 컬러 평면들은 함께 코딩되고, 그것으로 인해 매크로 블록 및 서브-매크로블록 예측 모드들, 참조 인덱스들 및 움직임 벡터들과 같은 특별한 코딩 파라미터들은 블록의 모든 컬러 요소들을 위해 사용된다. 루마(luma) 평면은 특별한 코딩 파라미터들이 비트스트림에서 상세화하는 목적인 프라이머리 컬러 평면으로 고려되고, 크로마(chroma) 평면은 상응하는 코딩 파라미터들이 프라이머리 루마(luma) 평면으로부터 추론되는 목적인 세컨더리 평면들로 고려될 수 있다. 각각의 루마(luma) 블록은 픽쳐에서 같은 지역을 표현하는 2개의 크로마(chroma) 블록들과 관련이 있다. 사용된 크로마(chroma) 샘플링 포맷에 따라, 크로마(chroma) 샘플 배열들은 블록을 위한 루마(luma) 샘플 배열보다 더 작을 수 있다. 하나의 루마(luma) 및 2개의 크로마(chroma) 요소들로 구성되는 각각의 매크로블록을 위해, 더 작은 블록들 안에 있는 같은 구획이 사용된다(매크로블록이 세부분할된 경우). 루마(luma) 샘플들의 블록 및 크로마(chroma) 샘플들(자신이 매크로블록 또는 매크로블록의 서브블록이 될 수 있는)의 2개의 블록들로 구성되는 각각의 블록을 위해, 참조 인덱스들, 움직임 파라미터들, 및 때때로 인트라 예측 모드들과 같은 예측 파라미터 집합들이 이용될 수 있다. 종래 비디오 코딩 표준(H.264 내의 4:4:4 프로파일들)의 상세한 프로파일들에서, 픽쳐의 다른 컬러 평면들을 독립적으로 코딩하는 것은 가능하다. 그러한 구성에서, 매크로블록 구획, 예측 모드들, 참조 인덱스들, 및 움직임 파라미터들은 매크로블록 또는 서브블록의 컬러 요소를 위해 분리하여 선택될 수 있다. 종래의 코딩 표준들에서, 모든 컬러 패널들은 특별한 코딩 파라미터들(세부분할 정보 및 예측 파라미터들과 같은)의 같은 집합을 함께 사용하여 코딩되거나, 모든 컬러 패널들은 서로서로 완전히 독립적으로 코딩된다.
상기 컬러 평면들이 함께 코딩되면, 세부분할의 하나의 집합 및 예측 파라미터들은 하나의 블록의 모든 컬러 요소들을 위해 사용되어야 한다. 이것은 보조 정보가 작게 유지되는 것을 확실하게 하지만, 다른 컬러 요소들을 위한 다른 블록 분해들 및 예측 파라미터들의 사용이 더 작은 율-왜곡(rate-distortion) 비용을 야기할 수 있기 때문에, 그것은 독립 코딩과 비교해 볼 때 코딩 효율의 감소를 야기할 수 있다. 예와 같이, 다른 움직임 벡터 또는 크로마(chroma) 요소들을 위한 참조 프레임의 사용은 크로마(chroma) 요소들을 위한 잔차 신호의 에너지를 현저히 줄여줄 수 있고, 그들의 전반적인 코딩 효율을 현저히 증가시킬 수 있다. 컬러 평면들이 독립적으로 코딩되면, 블록 구획, 참조 인덱스들 및 움직임 파라미터들과 같은 코딩 파라미터들은 각각의 컬러 요소들 위한 코딩 효율을 최적화하기 위해 각각의 컬러 요소들을 위하여 개별적으로 선택될 수 있다. 그러나, 컬러 요소들 사이의 반복을 이용하는 것은 가능하지 않다. 특별한 코딩 파라미터들의 멀티플 전송은 증가된 보조 정보 비율(병합 코딩과 비교한)을 야기할 수 있고, 이러한 증가된 보조 정보 율은 전반적인 코딩 효율에 부정적인 효과를 가질 수 있다. 또한, 최신의 비디오 코딩 표준(예를 들어, H.264)에서 예비 샘플 배열들을 위한 지원은 코딩 파라미터들의 그들 자신의 집합을 이용할 때 예비 샘플 배열들이 코딩되는 경우에 제한된다.
따라서, 지금까지 설명된 모든 실시예에서, 상기 픽쳐 평면들은 상술된 바와 같이 핸들링 될 수 있지만, 하나의 블록에서 결정할 수 있는 경우, 예를 들어, 같은 코딩 파라미터들과 함께 하나의 블록을 위한 모든 샘플 배열들이 코딩될 수 있거나 없는 경우 또는 다른 코딩 파라미터들이 사용되거나 사용될 수 없는 경우, 상술된 바와 같이 멀티플 샘플 배열들(다른 컬러 평면들 및/또는 예비의 샘플 배열들과 관련될 수 있는)의 코딩을 위한 전반적인 코딩 효율은 증가될 수 있다. 다음의 평면 간 예측(inter-plane prediction)의 기본 아이디어는 예를 들어, 하나의 블록 기초로 적응적 결정을 허용하는 것이다. 인코더는 예를 들어 율-왜곡(rate-distortion) 기준에 기초하여, 특별한 블록을 위한 샘플 배열들의 모든 또는 몇몇이 같은 코딩 파라미터들을 사용하여 코딩되는지 코딩되지 않는지 또는 다른 샘플 배열들을 위한 다른 코딩 파라미터들이 사용되는지 사용되지 않는지를 선택할 수 있다. 이러한 선택은 상세한 코딩 파라미터들이 다른 샘플 배열의 이미 코딩되어 함께 배치된(co-located) 블록으로부터 추론된 경우 또는 추론되지 않은 경우 샘플 배열의 특별한 블록을 위해 시그널링에 의해 수행될 수 있다. 샘플 배열 그룹들 또는 평면 그룹들로 또한 참조된 그룹들 내의 픽쳐를 위한 다른 샘플 배열들을 조정하는 것은 가능하다. 각각의 평면 그룹은 픽쳐의 적어도 하나의 샘플 배열들을 포함할 수 있다. 그리고, 다른 코딩 파라미터들 예를 들어 전송 계수 레벨들은 상기 평면 그룹 내에 있는 각각의 샘플 배열들을 위해 개별적으로 전송됨에 비해, 평면 그룹 안쪽의 샘플 배열들의 블록들은 같은 선택된 코딩 파라미터들 예를 들어, 세부분할 정보, 예측 모드들, 및 잔차 코딩 모드들을 공유한다. 하나의 평면 그룹은 프라이머리 평면 그룹으로 코딩되고, 즉, 어떠한 코딩 파라미터들도 다른 평면 그룹들로부터 추론 또는 예측되지 않는다. 제2의 평면 그룹의 각각의 블록을 위해, 선택된 코딩 파라미터들의 새로운 집합이 전송되는지 전송되지 않는지 또는 상기 선택된 코딩 파라미터들이 프라이머리 또는 다른 세컨더리 평면 그룹으로부터 추론 또는 예측되는지 예측되지 않는지는 적응적으로 선택될 수 있다. 특별한 블록을 위한 선택된 코딩 파라미터들이 추론되는지 또는 예측되는지에 대한 결정들은 비트스트림에 포함된다. 평면 간 예측은 보조 정보 비율과 멀티플 샘플 배열들로 구성된 픽쳐의 최신 코딩과 관련된 예측 품질 사이의 절충 선택에서 더 큰 자유로움을 허용한다. 이점은 멀티플 샘플 배열들로 구성된 픽쳐의 종래 코딩과 관련된 향상된 코딩 효율이다.
인트라-평면(intra-plane) 채택/예측은 이미지 또는 비디오 코더를 확장할 수 있고, 예를 들어 상술된 실시예들과 같이, 코딩 파라미터들의 선택된 집합이 같은 픽쳐 내의 다른 샘플 배열들의 이미 코딩되어 함께 배치된 블록들로부터 추론 또는 예측되는지 안 되는지 또는 블록을 위한 코딩 파라미터들의 선택된 집합이 같은 픽쳐 내의 다른 샘플 배열들의 함께 위치된 블록들의 참조 없이 독립적으로 코딩되는지 안 되는지는 컬러 샘플 배열의 블록 또는 예비 샘플 배열 또는 컬러 샘플 배열의 집합 및/또는 예비 샘플 배열들에 의해 적응적으로 선택될 수 있다. 코딩 파라미터들의 선택된 집합이 샘플 배열의 블록 또는 멀티플 샘플 배열들의 블록을 위해 추론 또는 예측되는지에 대한 결정들은 비트스트림에 포함될 수 있다. 픽쳐와 관련된 다른 샘플 배열들은 같은 사이즈를 가질 필요가 없다.
상술한 바와 같이, 픽쳐(샘플 배열들은 컬러 요소들 및/또는 예비 샘플 배열들을 나타낸다)와 관련된 샘플 배열들은 2개 이상의 이른바 평면 그룹들로 조정될 수 있고, 각각의 평면 그룹은 적어도 하나의 샘플 배열들로 구성된다. 특별한 평면 그룹 내에 포함된 샘플 배열들은 같은 사이즈를 가질 필요가 없다. 평면 그룹으로의 조정은 각각의 샘플 배열이 개별적으로 코딩되는 경우를 포함한다.
보다 상세하게, 일 실시예에 따르면, 어떻게 블록이 예측되는지 명시하는 코딩 파라미터들이 같은 픽쳐를 위해 다른 평면 그룹의 이미 코딩되어 함께 배치된 블록으로부터 추론 또는 예측되는지 여부 또는 이러한 코딩 파라미터들이 블록을 위해 개별적으로 코딩되는지 여부는 하나의 평면 그룹의 각각의 블록을 위해 적응적으로 선택된다. 어떻게 블록이 예측되는지 명시하는 코딩 파라미터들은 적어도 하나의 다음의 코딩 파라미터들: 블록을 위해 어떤 예측이 사용되는지 명시하는 블록 예측 모드들(인트라 예측, 싱글 움직임 벡터 및 참조 픽쳐를 이용하는 인터 예측, 2개의 움직임 벡터들 및 참조 픽쳐들을 이용하는 인터 예측, 고차-모드(higher-mode)를 이용하는 인터 예측, 즉, 비-변형(non-translational) 움직임 모델 및 하나의 싱글 참조 픽쳐, 멀티플 움직임 모델들 및 참조 픽쳐들을 이용하는 인터 예측), 어떻게 하나의 인트라 예측 신호가 생성되는지 명시하는 인트라 예측 모드들, 얼마나 많은 예측 신호들이 블록을 위한 마지막 예측 신호를 생성하기 위해 병합되는지 구체화하는 확인자, 어떤 참조 픽쳐(들)가 움직임-보상 예측을 위해 이용되는지 구체화하는 참조 인덱스들, 참조 픽쳐(들)를 이용할 때 어떻게 예측 신호(들)이 생성되는지 구체화하는 움직임 파라미터들(예를 들어, 변위벡터(displacement vectors) 또는 어파인(affine) 움직임 파라미터들), 움직임-보상 예측 신호들을 생성하기 위해 어떻게 참조 픽쳐(들)가 필터링되는지 구체화하는 확인자를 포함한다. 일반적으로, 하나의 블록은 오직 상기 언급된 코딩 파라미터들의 부분집합과 관련될 수 있다. 예를 들어, 만일 블록 예측 모드가 하나의 블록이 인트라 예측된 것으로 명시하면, 블록을 위한 코딩 파라미터들은 추가적으로 인트라 예측 모들들을 포함할 수 있으나, 코딩 파라미터들 예를 들어 참조 인덱스 및 어떻게 인터 예측 신호가 생성되는지 명시하는 움직임 파라미터들은 명시되지 않고; 또는 만일 블록 예측 모드가 인터 예측을 명시하면, 상기 관련된 코딩 파라미터들은 참조 인덱스들 및 움직임 파라미터들을 추가적으로 포함할 수 있으나, 인트라 예측 모드들은 명시되지 않는다.
둘 이상의 평면 그룹들 중 하나는 프라이머리(primary) 평면 그룹과 같은 비트스트림 내에서 코딩 또는 지시될 수 있다. 이 프라이머리 평면 그룹의 모든 블록들을 위해, 어떻게 예측 신호가 생성되는지 명시하는 코딩 파라미터들은 같은 픽쳐의 다른 평면 그룹에 대한 참조 없이 전송된다. 남아있는 평면 그룹들은 제2 평면 그룹들로 코딩된다. 세컨더리(secondary) 평면 그룹들의 각각의 블록을 위해, 적어도 하나의 구문 요소들은 전송되어, 어떻게 블록이 예측되는지 명시하기 위한 코딩 파라미터들이 다른 평면 그룹들의 함께 배치된 블록으로부터 추론 또는 예측되는지 추론 또는 예측되지 않는지 또는 이러한 코딩 파라이터들의 새로운 집합이 블록을 위해 전송되는지 전송되지 않는지에 관한 신호를 보낸다. 하나 이상의 구문 요소들 중 하나는 평면 간 예측 플래그 또는 평면 간 예측 파라미터로 참조될 수 있다. 만일 구문 요소들이 상응하는 코딩 파라미터들이 추론 또는 예측되지 않도록 신호를 보내면, 블록을 위한 상응하는 코딩 파라미터들의 새로운 집합은 비트스트림 내에서 전송된다. 만일 구문 요소들이 상응하는 코딩 파라미터들이 추론 또는 예측되도록 신호를 보내면, 블록을 위한 참조 평면 그룹의 할당은 멀티플 방법으로 구성될 수 있다. 일 실시예에서, 특별한 참조 평면 그룹은 각각의 제2 평면 그룹으로 할당된다; 이 할당은 고정될 수 있고 또는 높은-레벨 구문 구조들 예를 들어, 파라미터 집합들, 엑세스 유닛 헤더, 픽쳐 헤더, 또는 슬라이스 헤더 내에서 신호가 보내질 수 있다.
제2 실시예에서, 참조 평면 그룹의 할당은 비트스트림 안쪽에서 코딩될 수 있고, 참조 평면 그룹의 할당은 선택된 코딩 파라미터들이 추론되는지 또는 예측되는지 또는 개별적으로 코딩되는지를 명시하기 위해 블록에 대해 코딩되는 적어도 하나의 구문 요소들에 의해 신호가 보내질 수 있다.
평면 간 예측 및 다음의 상세한 실시예들에 관하여 언급된 가능성들을 용이하게 하기 위해, 참조는 3 개의 샘플 배열들(502, 504, 506)로 구성된 픽쳐(500)를 분명하게 나타내는 도 11로 표현된다. 더 쉬운 이해를 돕기 위해, 샘플 배열들(502-506)의 오직 서브-부분들은 도 11에 나타내져 있다. 샘플 배열들은 그들이 서로서로에 대하여 공간적으로 등록된 것처럼 나타내져 있어, 샘플 배열들(502-506)은 508방향을 따라 서로서로 놓여져 있고, 508방향을 따라 샘플 배열들(502-506)의 샘플들의 투사는 모든 이러한 샘플 배열들(502-506)의 샘플들이 서로서로 정확하게 공간적으로 위치되는 것을 야기한다. 즉, 평면 502 및 506은 서로서로 그들의 공간적인 해상도를 적응시키고 서로를 등록시키기 위해 수평 및 수직 방향을 따라 펼쳐져 있다.
일 실시예에 따르면, 픽쳐의 모든 샘플 배열들은 공간적인 장면의 같은 부분에 속하고, 거기서 수직 및 수평 방향에 따른 해상도는 상기 개별적인 샘플 배열들(502-506) 사이에서 다를 수 있다. 더욱이, 도 11에서는, 상기 샘플 배열들(502, 504)은 하나의 평면 그룹(510)에 속하는 것으로 고려됨에 비해, 상기 샘플 배열(506)은 다른 평면 그룹(512)에 속하는 것으로 고려된다. 더욱이, 도 11은 샘플 배열(504)의 수평 축을 따른 공간적인 해상도가 샘플 배열(502)의 수평 방향 내에서의 분해에 2배가 되는 전형적인 경우를 도시한다. 더욱이, 샘플 배열(504)은 프라이머리 배열(504)과 관련된 종속 배열을 구성하는 샘플 배열(502)과 관련된 프라이머리 배열을 구성하도록 고려된다. 이 경우 상술한 바와 같이, 도 11의 예에 따라, 도 1의 세부 분할부(30)에 의해 결정된 바와 같이 샘플 배열(504)을 블록들로 세부분할하는 것은 종속 배열(502)에 의해 채택되고, 프라이머리 배열(504)의 수직 방향 내에서 이등분의 해상도인 샘플 배열(502)의 수직 해상도 때문에, 각각의 블록은 2개의 수평인 병치 블록들로 이등분되며, 샘플 배열(502) 내의 샘플 포지션들의 유닛들 내에 측정될 때 정사각형 블록들을 다시 이등분한다.
도 11에 현재 나타낸 바와 같이, 샘플 배열(506)을 위해 선택된 세부분할은 다른 평면 그룹(510)의 세부분할과 다르다. 상술한 바와 같이, 세부 분할부(30)은 픽셀 배열(506)의 세부분할을 개별적으로 선택 또는 평면 그룹(510)을 위해 세부분할으로부터 독립적으로 선택할 수 있다. 물론, 샘플 배열(506)의 해상도는 평면 그룹(510)의 평면들(502, 504)의 해상도와 다를 수 있다.
개별적인 샘플 배열들(502-506)을 인코딩할 때, 인코더(10)는 예를 들어 위에 설명된 방법으로 평면 그룹 내의 프라이머리 배열(504)의 코딩과 함께 시작할 수 있다. 도 11의 블록들은, 예를 들어 상기 언급된 예측 블록들일 수 있다. 그 대신에, 상기 블록들은 잔차 블록들 또는 소정 코딩 파라미터들을 정의하기 위한 입상도(granularity)를 정의하는 다른 블록들이다. 상기 평면 간 예측은 도 11에 도시되어 있을 지라도, 쿼드트리 또는 멀티트리 세부분할에 제한되지 않는다.
프라이머리 배열(504)을 위한 구문 요소의 전송 후에, 인코더(10)는 프라이머리 배열(504)이 종속 평면(502)를 위한 참조 평면이라고 선언하는 것을 결정한다. 상기 어소시에이션이 샘플 배열(504)은 정보가 순서대로 또한 상기 비트스트림(22)의 부분일 수 있는 평면 그룹(510)의 프라이머리 배열을 형성한다는 사실로부터 명확할 수 있고, 인코더(10) 및 추출부(30) 각각은 상기 비트스트림(22)을 통해 이러한 결정에 대한 신호를 보낼 수 있다. 이 경우, 삽입부(18)인 샘플 배열(502) 내의 각각의 블록을 위해 또는 삽입부(18)와 함께 인코더(10)의 다른 모듈은 비트스트림 내의 이 블록의 코딩 파라미터들의 이동을 억제할 수 있고, 프라이머리 배열(504) 내에서 함께 배치된 블록의 코딩 파라미터들 대신 사용되는 그 블록을 대신하기 위해 상기 비트스트림 내에서 신호를 보내는 것을 결정할 수 있고, 또는 프라이머리 배열(504) 내의 함께 배치된 블록의 코딩 파라미터들은 비트스트림 내의 샘플 배열(502)의 현재 블록을 위해 오직 잔차 데이터를 전송하는 것과 함께 샘플 배열(502)의 현재 블록의 코딩 파라미터들을 위한 예측과 같이 사용될 수 있다. 부정적인 결정의 경우, 상기 코딩 파라미터들은 대게 데이터 스트림 내에서 전송된다. 상기 결정은 각각의 블록을 위해 데이터 스트림(22) 내에서 신호가 보내진다. 디코더 측에서, 상기 추출부(102)는 샘플 배열(502)의 각각의 블록의 코딩 파라미터들을 얻기 위해 각 블록을 위한 이 평면 간 예측 정보를 적절히 사용하고, 즉 프라이머리 배열(504)의 함께 배치된 블록의 코딩 파라미터들을 추론함으로써, 또는 그 대신에, 데이터 스트림으로부터 그 블록을 위한 잔차 데이터를 추출하고 상기 평면 간 채택/예측 정보가 평면 간 채택/예측을 제안하는 경우 프라이머리 배열(504)의 함께 배치된 블록의 코딩 파라미터들로부터 획득된 예측과 함께 이 잔차 데이터를 병합하고, 또는 프라이머리 배열(504)로부터 대개 독립된 샘플 배열(502)의 현재 블록의 코딩 파라미터들을 추출할 수 있다.
상술한 바와 같이, 참조 평면들은 평면 간 예측이 현재 관심(interest)인 블록과 같이 같은 평면 그룹 내에 존재하도록 제한되지 않는다. 따라서, 상술한 바와 같이, 평면 그룹(510)은 프라이머리 평면 그룹 또는 세컨더리 평면 그룹(510)을 위한 참조 평면 그룹을 나타낼 수 있다. 이 경우, 상기 비트스트림은 참조 평면 그룹(510) 또는 프라이머리 평면 그룹의 평면(502, 504)의 함께 배치된 매크로블록들의 코딩 파라미터들의 이미 언급된 채택/예측이 수행되는지 안되는지에 관해 샘플 배열(506)의 각각의 블록을 위해 지시하는 구문 요소를 포함할 수 있고, 채택/예측이 수행되지 않는 경우에 샘플 배열(506)의 현재 블록의 코딩 파라미터들은 대게 전송될 수 있다.
평면 그룹 안쪽의 평면들을 위한 세부분할 및/또는 예측 파라미터들은 같을 수 있으며, 즉, 그들은 하나의 그룹(하나의 평면의 모든 제2 평면들은 같은 평면 그룹 안쪽의 프라이머리 평면으로부터 세부분할 정보 및/또는 예측 파라미터들을 추론한다)을 위해 오직 한번 코딩되기 때문에, 그리고 적응적 예측 또는 세부분할 정보 및/또는 예측 파라미터들의 간섭은 평면 그룹들 사이에서 수행된다.
참조 평면 그룹은 프라이머리 평면 그룹이 될 수 있고, 또는 세컨더리 평면 그룹이 될 수도 있다.
하나의 평면 그룹 내의 다른 평면들의 블록들 사이에 함께 배치(co-location)는 쉽게 이해될 수 있고, 동시에 프라이머리 샘플 배열(504)의 세부분할은 종속 샘플 배열(502)에 의해 공간적으로 채택될 수 있으며, 채택된 리프 블록들을 정사각형 블록들로 만들기 위해 방금 설명된 블록들의 서브-구획은 제외한다. 다른 평면 그룹들 사이의 평면 간 채택/예측의 경우, 함께 배치(co-loaction)는 이러한 평면 그룹들의 세부분할 간에 더 큰 자유를 허용하는 것에 관한 방법으로 정의될 수 있다. 참조 평면 그룹이 정해졌을 때, 참조 평면 그룹 안쪽에 함께 배치된 블록은 결정된다. 함께 배치된 블록 및 참조 평면 그룹의 획득은 다음과 유사한 프로세스에 의해 수행될 수 있다. 제2 평면 그룹(512)의 샘플 배열(506) 중 하나의 현재 블록(516) 내의 특별한 샘플(514)은 선택된다. 같은 것은 도 11의 514로 나타낸 현재 블록(516)의 좌상단 샘플일 수 있고, 현재 블록(516)의 가운데 또는 현재 블록 안쪽의 다른 샘플에 가까운 현재 블록(516) 내의 샘플일 수 있다. 샘플 배열(502) 안쪽의 선택된 샘플(515)의 배치 및 참조 평면 그룹(510)의 502 및 504는 계산된다. 샘플 배열들(502, 504) 내의 샘플의 위치들은 각각 도 11의 518 및 520으로 나타내진다. 실질적으로 사용되는 참조 평면 그룹(510) 내의 평면들(502, 504)은 미리 결정되거나 또는 비트스트림 내에서 신호가 보내질 수 있다. 위치들(518 및 520)에 가장 가까운 참조 평면 그룹(510)의 상응하는 샘플 배열(502 또는 504) 내의 샘플은 각각 결정되고, 이러한 샘플을 포함하는 블록은 각각의 샘플 배열(502 및 504) 내에 함께-배치된 블록으로 각각 선택된다. 도 11의 경우, 이것들은 각각 522 및 524 블록들이다. 다른 평면 안에 함께 배치된 블록의 결정을 위한 대체의 기법은 이후에 설명된다.
일 실시예에서, 현재 블록(516)을 위한 예측을 명시하는 코딩 파라미터들은 전송되는 추가 보조 정보 없이 같은 픽쳐(500)의 다른 평면 그룹(510) 내에 함께 배치된 블록(522/524)의 상응하는 예측 파라미터들을 이용하여 완벽히 추론될 수 있다. 상기 추론은 상응하는 코딩 파라미터들의 단순 복제 또는 현재(512)와 참조 평면 그룹(510) 사이의 차이점이 고려된 코딩 파라미터들의 적응으로 구성될 수 있다. 예를 들어, 이러한 적응은 루마(luma) 및 크로마(chroma) 샘플 배열들 사이의 위상 차이를 고려하기 위해 움직임 파라미터 정정(예를 들어, 치환 벡터 정정)의 추가로 구성될 수 있고, 또는 적응은 루마(luma) 및 크로마(chroma) 샘플 배열들의 다른 해상도를 고려하기 위해 움직임 파라미터들의 정확한 변조로 구성될 수 있다. 다른 실시예에 있어서, 예측 신호 생성을 명시하기 위한 적어도 하나의 추론된 코딩 파라미터들은 현재 블록(516)을 위해 직접적으로 사용되지 않고, 현재 블록(516)을 위한 상응하는 코딩 파라미터들을 위한 예측으로 사용되며, 현재 블록(516)을 위한 이러한 코딩 파라미터들의 개선은 비트스트림(22)에서 전송된다. 예를 들어, 추론된 움직임 파라미터들은 직접적으로 사용되지 않고, 그러나 현재 블록(516)을 위해 사용되는 움직임 파라미터들과 추론된 움직임 파라미터들 사이의 편차를 명시하는 움직임 파라미터 차이들(예를 들어, 치환 벡터 차이)은 비트스트림에서 코딩되며; 디코더 측에서, 실제로 사용되는 움직임 파라미터들은 추론된 움직임 파라미터들 및 상기 전송된 움직임 파라미터 차이들의 병합에 의해 획득된다.
다른 실시예에 따르면, 블록의 세부분할, 예를 들어 예측 블록들(즉, 예측 파라미터들의 같은 집합이 사용되는 샘플들의 블록들)로 전술한 예측 세부분할의 트리블록들은 같은 픽쳐 즉, 도 6a 또는 도 6b에 따른 비트 시퀀스를 위한 다른 평면 그룹의 이미 코딩된 함께 배치된 블록으로부터 적응적으로 추론 또는 예측된다. 실시예에 따르면, 복수의 평면 그룹들 중 하나는 프라이머리 평면 그룹으로 코딩된다. 이 프라이머리 평면 그룹의 모든 블록을 위해, 세부분할 정보는 같은 픽쳐의 다른 평면 그룹들을 참조함 없이 전송된다. 남은 평면 그룹들은 제2 평면 그룹들로 코딩된다. 제2 평면 그룹들의 블록들을 위해, 적어도 하나의 구문 요소들은 전송되어 세부분할 정보가 다른 평면 그룹들의 함께 배치된 블록으로부터 추론 또는 예측 되는지 안되는지 또는 세부분할 정보가 비트스트림에서 전송되든지 안되는지 신호를 보낸다. 하나 이상의 구문 요소들 중 하나는 평면 간 예측 플래그 또는 평면 간 예측 파라미터로 참조될 수 있다. 세부분할 정보가 추론 또는 예측되지 않음을 구문 요소들이 신호를 보내면, 블록을 위한 세부분할 정보는 같은 픽쳐의 다른 평면 그룹들의 참조 없이 비트스트림 내에서 전송될 수 있다. 세부분할 정보가 추론 또는 예측됨을 구문 요소들이 신호를 보내면, 소위 참조 평면 그룹 내의 함께 배치된 블록은 결정된다. 블록을 위한 참조 평면 그룹의 할당은 멀티플한 방법으로 구성된다. 일 실시예에 있어서, 특정한 참조 평면 그룹은 각각의 제2 평면 그룹으로 할당되며; 이러한 할당은 고정될 수 있고 또는 이러한 할당은 파라미터 집합들, 엑세스 유닛 헤더, 픽쳐 헤더 또는 슬라이스 헤더와 같은 고차-레벨 구문 구조들에서 신호가 보내질 수 있다. 제2 실시예에 있어서, 참조 평면 그룹의 할당은 비트스트림 내에서 코딩되고 세부분할 정보가 추론 또는 예측되는지 개별적으로 코딩되는지 명시하기 위한 블록을 위해 코딩되는 적어도 하나의 구문 요소들에 의해 신호가 보내질 수 있다. 참조 평면 그룹은 프라이머리 평면 그룹 또는 다른 세컨더리 평면 그룹일 수 있다. 참조 평면 그룹이 주어지면, 참조 평면 그룹 안쪽의 함께 배치된 블록은 결정된다. 함께 배치된 블록은 현재 블록과 같이 같은 이미지 지역과 상응하는 참조 평면 그룹 내의 블록이거나, 또는 현재 블록과 함께 이미지 지역의 가장 큰 부분을 공유하는 참조 평면 그룹의 안쪽에 있는 블록을 나타내는 블록이다. 함께 배치된 블록은 더 작은 예측 블록들로 구획될 수 있다.
다른 실시예에 있어서, 현재 블록을 위한 세부분할 정보, 예를 들어 도 6a 또는 도 6b에 따른 쿼드트리-기반 세부분할 정보는, 추가 보조 정보의 전송 없이 같은 픽쳐의 다른 평면 그룹 내의 함께 배치된 블록의 세부분할 정보를 사용하여 완전히 추론된다. 특별한 예에 있어서, 함께 배치된 블록이 2개 또는 4개의 예측 블록들로 구획되면, 현재 블록은 예측을 목표로 2개 또는 4개의 서브블록들로 구획될 수 있다. 다른 특별한 예에 있어서, 함께 배치된 블록이 4개의 서브블록들로 구획되고, 이러한 서브블록들 중 하나가 4개의 더 작은 서브블록들로 더 구획되면, 현재 블록 또한 4개의 서브블록들로 구획되고 이러한 서브블록들 중 하나(더 분배된 함께 배치된 블록의 서브블록에 상응하는 하나) 또한 4개의 더 작은 서브블록들로 구획된다. 다른 실시예에 있어서, 추론된 세부분할 정보는 직접 현재 블록으로 사용되지는 않으나, 추론된 세부분할 정보는 현재 블록을 위한 실제 세부분할 정보를 위한 예측으로 사용되고, 상응하는 개선된 정보는 비트스트림 내에서 전송된다. 예를 들어, 함께 배치된 블록으로부터 추론된 세부분할 정보는 더 개선될 수 있다. 더 작은 블록들로 구획되지 않은 함께 배치된 블록 내의 서브블록과 상응하는 각각의 서브블록을 위해, 구문 요소는 서브블록이 현재 평면 그룹 내에서 더 분해되는지를 구체화하는 비트스트림 내에서 코딩될 수 있다. 구문 요소의 전송은 서브블록의 사이즈에 의해 제약을 받을 수 있다. 또는, 구문 요소의 전송은 비트스트림 내에서 신호가 보내질 수 있어 참조 평면 그룹 내에서 더 구획된 서브블록은 현재 평면 그룹 내의 더 작은 블록들로 더 구획되지 않는다.
다른 실시예에 있어서, 예측 블록들 안의 블록의 세부분할 및 어떻게 그 서브블록들이 예측되는지 명시하는 코딩 파라미터들은 같은 픽쳐를 위해 다른 평면 그룹의 이미 코딩된 함께 배치된 블록으로부터 적응적으로 추론 또는 예측될 수 있다. 본 발명의 일 실시예에 있어서, 복수의 평면 그룹들 중 하나는 프라이머리 평면 그룹으로 코딩된다. 이러한 프라이머리 평면 그룹의 모든 블록들을 위해, 세부분할 정보 및 예측 파라미터들은 같은 픽쳐의 다른 평면 그룹들의 참조 없이 전송된다. 잔여 평면 그룹들은 세컨더리 평면 그룹들로 코딩된다. 세컨더리 평면 그룹들의 블록들을 위해, 적어도 하나의 구문 요소들은 전송되어 세부분할 정보 및 예측 파라미터들이 다른 평면 그룹들의 함께 배치된 블록으로부터 추론 또는 예측되는지 되지 않는지 또는 세부분할 정보 및 예측 파라미터들은 비트스트림에서 전송되는지 안되는지 신호를 보낸다. 하나 이상의 구문 요소들 중 하나는 평면 간 예측 플래그 또는 평면 간 예측 파라미터로 참조될 수 있다. 만일 구문 요소들이 세부분할 정보 및 예측 파라미터들이 추론 또는 예측되지 않는다는 신호를 보내면, 블록을 위한 세부분할 정보 및 결과 서브블록들을 위한 예측 파라미터들은 같은 픽쳐의 다른 평면 그룹들은 참조하지 않고 비트스트림에서 전송된다. 만일 구문 요소들이 세부분할 정보 및 예측 파라미터들이 추론 또는 예측된다는 신호를 보내면, 소위 참조 평면 그룹 내의 함께 배치된 블록은 결정된다. 블록을 위한 참조 평면 그룹의 할당은 멀티플 방법들로 구성될 수 있다. 하나의 실시예에 있어서, 특정한 참조 평면 그룹은 각각의 제2 평면 그룹으로 할당되고; 이러한 할당은 고정될 수 있고 또는 예를 들어 파라미터 집합들, 엑세스 유닛 헤더, 또는 이러한 할당은 슬라이스 헤더와 같은 고차-레벨 구문 구조들 내에서 신호를 보낼 수 있다. 제2 실시예에 있어서, 참조 평면 그룹의 할당은 비트스트림 안쪽에서 코딩되고, 세부분할 정보 및 예측 파라미터들이 추론 또는 예측 또는 개별적으로 코딩되는지 안되는지 명시하기 위한 블록을 위해 코딩되는 적어도 하나의 구문 요소들에 의해 신호가 보내질 수 있다. 참조 평면 그룹은 프라이머리 평면 그룹일 수 있고 또는 다른 세컨더리 평면 그룹일 수 있다. 주어진 참조 평면 그룹에서, 참조 평면 그룹 안쪽의 함께 배치된 블록은 결정된다. 함께 배치된 블록은 현재 블록처럼 같은 이미지 지역에 상응하는 참조 평면 그룹 내의 블록일 수 있고, 또는 현재 블록과 함께 이미지 지역의 가장 큰 부분을 공유하는 참조 평면 그룹의 안쪽의 블록을 나타내는 블록일 수 있다. 함께 배치된 블록은 더 작은 예측 블록들로 구획될 수 있다. 일 실시예에 있어서, 현재 블록을 위한 세부분할 정보와 결과 서브블록들을 위한 예측 파라미터들은 추가 보조 정보의 전송 없이 같은 픽쳐의 다른 평면 그룹 내의 함께 배치된 블록의 세부분할 정보 및 상응하는 서브블록들의 예측 파라미터들을 사용할 때 완전히 추론된다. 특별한 실시예에 있어서, 만일 함께 배치된 블록이 2개 또는 4개의 예측 블록들로 구획되면, 현재 블록은 또한 예측의 목적을 위한 2개 또는 4개의 서브블록들로 구획될 수 있고 현재 블록의 서브블록들을 위한 예측 파라미터들은 위에 설명된 바와 같이 얻어진다. 다른 특별한 실시예에 있어서, 만일 함께 배치된 블록이 4개의 서브블록들로 구획되고, 이 서브블록들 중 하나는 4개의 더 작은 서브블록들로 더 구획되며, 현재 블록은 4개의 서브블록들로 또한 구획되며, 이러한 서브블록들(더 분해된 함께 배치된 블록의 서브블록과 상응하는) 중 하나는 4개의 더 작은 서브블록들로 또한 구획되고, 더 구획되지 않는 모든 것을 위한 예측 파라미터들은 위에 설명된 바와 같이 추론된다. 다른 실시예에 있어서, 세부분할 정보는 참조 평면 그룹 내의 함께 배치된 블록의 세부분할 정보에 기초하여 완전히 추론되지만, 서브블록을 위한 추론된 예측 파라미터들은 서브블록들의 실제 예측 파라미터들을 위한 예측으로 오직 사용된다. 실제 예측 파라미터들과 추론된 예측 파라미터들 사이의 편차들은 비트스트림에서 코딩된다. 다른 실시예에 있어서, 추론된 세부분할 정보는 현재 블록을 위한 실제 세부분할 정보을 위한 예측으로 사용되고 차이는 비트스트림에서 전송되지만(위에 설명된 바와 같이), 예측 파라미터들은 완전히 추론된다. 다른 실시예에 있어서, 추론된 세부분할 정보 및 추론된 예측 파라미터들은 예측으로 사용되고, 실제 세부분할 정보 및 예측 파라미터들 및 그들의 추론된 값들 사이의 차이들은 비트스트림에서 전송된다.
다른 실시예에 있어서, 잔차 코딩 모드들(예를 들어 변환 형태)이 같은 픽쳐를 위한 다른 평면 그룹의 이미 코딩되어 함께 배치된 블록으로부터 추론 또는 예측되는지 되지 않는지 또는 잔차 코딩 모드들이 블록을 위해 개별적으로 코딩되는지 코딩되지 않는지는 평면 그룹의 블록을 위해 적응적으로 선택될 수 있다. 이러한 실시예는 위에 설명된 바와 같이 예측 파라미터들의 적응적 추론/예측을 위한 실시예와 유사하다.
일 실시예에 있어서, 변환 블록들(즉, 2차 변환이 적용된 샘플들의 블록들)로의 블록(즉, 예측 블록)의 세부분할은 같은 픽쳐를 위한 다른 평면 그룹의 이미 코딩되어 함께 배치된 블록으로부터 적응적으로 추론 또는 예측될 수 있다. 이 실시예는 위에 설명된 바와 같이 예측 블록들로의 세부분할의 적응적 추론/예측을 위한 실시예와 유사하다.
다른 실시예에 있어서, 변환 블록들로의 블록의 세부분할 및 결과 전송 블록들을 위한 잔차 코딩 모드들(즉, 변환 형태들)은 같은 픽쳐를 위한 다른 평면 그룹의 이미 코딩되어 함께 배치된 블록으로부터 적응적으로 추론 또는 예측될 수 있다. 이러한 실시예는 위에 설명된 예측 블록들로의 세부분할의 적응적 추론/예측을 위한 실시예 및 결과 예측 블록들을 위한 예측 파라미터들과 유사하다.
다른 실시예에 있어서, 예측 블록들로의 블록의 세부분할, 관련된 예측 파라미터들, 예측 블록들의 세부분할 정보, 및 변환 블록들을 위한 잔차 코딩 모드들은 같은 픽쳐를 위한 다른 평면 그룹의 이미 코딩되어 함께 배치된 블록으로부터 적응적으로 추론 또는 예측된다. 이러한 실시예는 위에 설명된 실시예들의 조합을 나타낸다. 언급된 코딩 파라미터들의 오직 몇 가지가 추론 또는 예측되는 것 또한 가능하다.
그래서, 평면 간 채택/예측은 이전에 설명된 코딩 효율을 증가시킬 수 있다. 그러나, 평면 간 채택/예측의 방법에 의한 코딩 효율 이득은 멀티트리-기반의 세부분할들 이외에 사용된 다른 블록 세부분할들의 경우 이용할 수 있고, 구현되거나 구현되지 않은 블록 병합으로부터 개별적일 수 있다.
평면 간 채택/예측에 관한 상술된 실시예들은 픽쳐의 컬러 평면들을 분할하는 이미지 및 비디오 인코더들 및 디코더들에 적용할 수 있고, 만일 적용하는 경우, 예비 샘플 배열들이 블록들 안에 있는 픽쳐와 결합하고, 이러한 블록들을 코딩 파라미터들로 연상한다. 각각의 블록을 위해, 코딩 파라미터들의 집합은 비트스트림에 포함될 수 있다. 예를 들어, 이러한 코딩 파라미터들은 어떻게 블록이 디코더에서 예측 또는 디코딩될 수 있는지 설명하는 파라미터들일 수 있다. 특별한 실시예들에 있어서, 코딩 파라미터들은 매크로블록 또는 블록 예측 모드들, 서브-분리 정보, 인트라 예측 모드들, 움직임-보상 예측에 사용된 참조 인덱스들, 움직임 파라미터들 예를 들어 치환 벡터들, 잔차 코딩 모드들, 변환 계수 등을 나타낼 수 있다. 픽쳐와 관련된 다른 샘플 배열들은 다른 사이즈들을 가질 수 있다.
다음은, 예를 들어, 도 1 내지 도 8에 관한 위에 설명된 트리-기초 구획 기법 내에서 코딩 파라미터들의 강화된 시그널링을 위한 기법이 설명된다. 병합 및 평면 간 채택/예측, 강화된 시그널링 기법들의 효과들 및 이득들, 다음에서 계층으로 불리는 다른 기법들은 아래의 설명된 기법들이 상기 실시예들의 하나 또는 조합과 결합 가능할지라도, 상기 실시예들로부터 독립적으로 설명된다.
일반적으로, 계층으로 불리는 다음에 설명된 트리-기반의 구획 기법 내에서의 코딩 보조 정보를 위한 향상된 코딩 기법은 코딩 파라미터 처리의 종래 기법들과 관련된 다음의 이점들을 가능하게 한다.
종래 이미지 및 비디오코딩에서, 픽쳐들 또는 픽쳐들을 위한 샘플 배열들의 특별한 집합들은 특별한 코딩 파라미터들과 관련된 블록들로 대게 분해된다. 픽쳐들은 대게 멀티플 샘플 배열들로 구성된다. 게다가, 예를 들어, 투명도 정보 또는 깊이 맵들을 명시하는 픽쳐는 추가 예비 샘플 배열들과 또한 관련될 수 있다. 픽쳐의 샘플 배열들(예비 샘플 배열들을 포함하는)은 하나 이상의 소위 평면 그룹들로 그룹화될 수 있고, 하나 이상의 소위 평면 그룹들 중 각각의 평면 그룹은 적어도 하나의 샘플 배열들로 구성될 수 있다. 픽쳐의 평면 그룹들은 독립적으로 코딩될 수 있고 또는, 만일 픽쳐가 하나 이상의 평면 그룹과 관련이 있으면, 같은 픽쳐의 다른 평면 그룹들로부터 예측과 함께 코딩될 수 있다. 각각의 평면 그룹은 대게 블록들로 분해된다. 블록들(또는 샘플 배열들의 블록들에 상응하는)은 인터-픽쳐 예측 또는 인트라-픽쳐 예측에 의해 예측된다. 블록들은 다른 사이즈들을 가질 수 있고 정사각형 또는 직사각형일 수 있다. 픽쳐의 블록들로의 구획화는 구문에 의해 고정될 수 있고, 또는 비트스트림 안쪽에서 신호가 보내질 수 있다(가장 적은 부분으로). 종종 구문 요소들은 미리 정의된 사이즈의 블록들을 위해 세부분할 신호가 전송된다. 구문 요소들은 어떻게 블록이 더 작은 블록들로 세부분할되고, 코딩 파라미터들 즉 예측을 목적으로 관련되는지 명시할 수 있다. 관련된 코딩 파라미터들의 디코딩 블록의 모든 샘플들(또는 샘플 배열들의 상응하는 블록들)은 확실한 방법으로 구체화된다. 예를 들면, 블록의 모든 샘플들은 예를 들어 참조 인덱스들(이미 코딩된 픽쳐들의 집합 내에 참조 픽쳐를 확인하는), 움직임 파라미터들(참조 픽쳐와 현재 픽쳐 사이의 블록들의 움직임을 측정하는 것을 명시하는), 삽입 필터를 구체화하기 위한 파라미터들, 인트라 예측 모드들 등등의 예측 파라미터들의 같은 집합을 사용하여 예측된다. 움직임 파라미터들은 수평 및 수직 요소 또는 더 높은 차원의 움직임 파라미터들 예를 들어 6개의 요소들로 구성되는 변환 움직임 파라미터들과 같이 치환 벡터들에 의해 나타낼 수 있다. 특별한 예측 파라미터들(예를 들어 참조 인덱스들 및 움직임 파라미터들)의 적어도 하나의 집합은 싱글 블록과 관련된다. 이 경우, 이러한 특별한 예측 파라미터들의 각각의 집합을 위해, 블록(또는 샘플 배열들의 상응하는 블록들)을 위한 싱글 중간 예측 신호는 생성되고, 마지막 예측 신호는 중간 예측 신호들을 포개놓은 것을 포함하는 조합에 의해 만들어진다. 상응하는 가중 파라미터들 및 잠재적인 불변의 오프셋(offset)(가중된 합으로 추가되는)은 픽쳐, 또는 참조 픽쳐, 또는 참조 픽쳐들의 집합으로 고정될 수 있고, 또는 상응하는 블록을 위하 예측 파라미터들의 집합 내에 포함될 수 있다. 최초 블록들(또는 샘플 배열들의 상응하는 블록들) 사이의 차이 및 그들의 예측 신호들은 또한, 잔차 신호로 참조하고,대게 변환 및 양자화된다. 종종, 2차 변환은 잔차 신호(또는 잔차 블록을 위한 상응하는 샘플)로 적용된다.
변환 코딩을 위해, 예측 파라미터들의 특별한 집합을 위해 사용된 블록들(또는 샘플 배열들의 상응하는 블록들)은 변환을 적용하기 전에 더 쪼개질 수 있다. 변환 블록들은 예측을 위해 사용되는 블록들과 같거나 또는 더 작을 수 있다. 변환 블록이 예측을 위해 사용되는 적어도 하나의 블록을 포함하는 것 또한 가능하다. 다른 변환 블록들은 다른 사이즈들을 가질 수 있고, 변환 블록들은 정사각형 또는 직사각형 블록들을 나타낼 수 있다. 변환 후에, 결과 변환 계수는 양자화되고, 소위 변환 계수 레벨들은 얻어진다. 변환 계수 레벨들과 예측 파라미터들 및, 만일 나타내는, 세부분할 정보는 엔트로피 코딩된다.
몇몇의 이미지 및 비디오 코딩 표준에 있어서, 픽쳐(또는 평면 그룹)의 구문에 의해 제공되는 블록들로의 세부분할의 가능성은 매우 제한적이다. 대게, 어느 편인지 또는 잠재적으로 어떻게 미리 정의된 사이즈의 블록이 더 작은 블록들로 세부분할 될 수 있는지 단지 구체화될 수 있다. 예를 들면, H.264에서 가장 큰 블록 사이즈는 16x16이다. 16x16 블록들은 매크로 블록들로 또한 참조되고, 각각의 픽쳐는 제1 단계 내의 매크로블록들로 구획된다. 각각의 16x16 매크로블록을 위해, 각각의 16x16 매크로블록들은 16x16블록으로 코딩, 또는 2개의 16x8 블록들로 코딩, 또는 2개의 8x16 블록들로 코딩, 또는 4개의 8x8 블록들로 코딩되는지 신호가 보내질 수 있다. 만일 16x16 블록이 4개의 8x8 블록으로 세부분할되면, 각각의 8x8 블록들은 하나의 8x8 블록, 또는 2개의 8x4블록들, 또는 2개의 4x8 블록들, 또는 4개의 4x4 블록들로 코딩될 수 있다. 최신의 이미지 및 비디오 코딩 표준들에 있어서 구획의 블록들로의 명시를 위한 가능성들의 작은 집합은 세부분할 정보를 시그널링하기 위한 보조 정보 율이 작게 유지될 수 있는 이점이 있으나 블록들을 위한 예측 파라미터들의 전송을 위해 요구되는 비트율이 다음에 설명되는 바와 같이 중요하게 된다는 단점이 있다. 예측 정보를 시그널링하기 위한 보조 정보 율은 대게 블록을 위한 전반적인 비트율의 중요한 양을 나타낸다. 그리고, 코딩 효율은 이러한 보조 정보가 감소될 때 증가할 수 있고, 예를 들어, 더 큰 블록 사이즈들을 사용함으로써 수행될 수 있다. 실제 이미지들 또는 비디오 시퀀스의 픽쳐들은 구체적인 속성들과 함께 임의의 모양인 오브젝트들로 구성될 수 있다. 예를 들어, 오브젝트들 또는 오브젝트들의 부분들은 유일한 텍스처 또는 유일한 움직임에 의해 특징을 나타낼 수 있다. 그리고 대게, 예측 파라미터들의 같은 집합은 오브젝트 또는 오브젝트의 부분을 위해 적용될 수 있다. 그러나 오브젝트 경계들은 대게 큰 예측 블록들(예를 들어, H.264 내의 16x16 매크로블록들)을 위한 가능한 블록 경계들과 일치하지 않는다. 인코더는 대게 특별한 비율-왜곡 비용의 최소화 내의 결과들을 측정하는 세부분할(가능성들의 제한된 집합들 사이)을 결정한다. 임의의 모양인 오브젝트들을 위해 인코더는 작은 블록들의 큰 수를 야기할 수 있다. 이러한 작은 블록들의 각각은 전송될 필요가 있는 예측 파라미터들의 집합과 관련되기 때문에, 보조 정보 율은 전반적인 비트율의 중요한 부분이 될 수 있다. 그러나, 작은 블록들의 몇몇은 같은 오브젝트 또는 오브젝트의 부분을 여전히 나타내므로, 많은 수의 얻어진 블록들을 위한 예측 파라미터들은 같거나 매우 유사하다. 직관적으로, 코딩 효율은 블록을 세부분할하는 것을 허용하는 방법 및 세부분할 후 얻어진 블록들 사이의 코딩 파라미터를 공유하는 방법에 의해 구문가 확장될 때 증가될 수 있다. 트리-기초 세부분할에서, 주어진 블록의 집합을 위한 코딩 파라미터들의 공유는 코딩 파라미터들의 할당 또는 트리-기초 계층 내의 적어도 하나의 부모 모드들을 위한 그것의 부분들에 의해 수행될 수 있다. 결과적으로, 공유된 파라미터들 또는 그것의 부분들은 세부분할 후 얻어진 블록들을 위한 코딩 파라미터들의 실제 선택을 신호로 보내는데 필요한 보조 정보를 감소시키기 위해 사용될 수 있다. 감소는 다음의 블록들을 위한 파라미터들의 시그널링을 생략하는 것 또는 다음의 블록들을 위한 파라미터들의 예측 및/또는 문맥(context) 모델링을 위한 공유된 파라미터(들)을 사용함으로써 수행될 수 있다.
아래 설명되는 계층 기법의 기본적인 아이디어는 블록들의 트리-기반의 계층에 따른 정보 공유에 의해 코딩 파라미터들을 전송하기 위해 요구되는 비트율을 감소시키는 것이다. 공유 정보는 비트스트림(세부분할 정보에 부가하여) 안쪽에서 신호가 보내진다. 계층 기법의 이점은 코딩 파라미터들을 위해 감소된 보조 정보로부터 야기된 증가된 코딩 효율이다.
보조 정보 비율을 감소시키기 위해, 아래 설명된 실시예에 따라, 샘플들의 특별한 집합들을 위한 각각의 코딩 파라미터들, 즉, 직사각형 또는 정사각형 블록들 또는 임의의 모양인 영역들 또는 다른 샘플들의 모음을 나타내는 멀티트리 세부분할의 단순 연결 영역들은 효율적인 방법 내에서 데이터 스트림 안쪽에서 신호가 보내진다. 아래에 설명된 계층 기법은 코딩 파라미터들이 완전히 각각의 이러한 샘플들의 집합들을 위해 비트스트림 내에 명시적으로 포함될 필요가 없도록 한다. 코딩 파라미터들은 어떻게 샘플들의 상응하는 집합이 이미 코딩된 샘플들을 이용하여 예측되는지 명시하는 예측 파라미터들을 나타낼 수 있다. 많은 가능성들 및 예들은 상술 되었으며 여기에 적용될 수도 있다. 위에 나타낸 바와 같이, 아래에 더 설명될 바와 같이, 다음의 계층 기법이 관계되면, 샘플 집합들로의 픽쳐의 샘플 배열들의 트리-기초 구획은 구문에 의해 고정될 수 있고, 또는 비트스트림 안쪽에 있는 세부분할 정보의 상응에 의해 신호가 보내질 수 있다. 샘플 집합들을 위한 코딩 파라미터들은 상술된 바와 같이 구문에 의해 주어진 미리 결정된 순서로 전송될 수 있다.
계층 기법에 따르면, 디코더 또는 디코더의 추출부(102)는 개별적으로 단순히 연결된 영역의 코딩 파라미터 또는 구체적인 방법에서의 샘플 집합들의 정보를 얻는 것으로 구성될 수 있다. 특별히, 코딩 파라미터들 또는 이것들의 부분들 예를 들어 예측의 목적으로 도와주는 그러한 파라미터들은 인코더 또는 삽입부(18)에 의해 결정되는 트리 구조에 따른 공유 그룹과 함께 주어진 트리-기초 구획 기법을 따라 블록들 사이에서 각각 공유된다. 특별한 실시예에서, 구획 트리의 주어진 내부 노드의 모든 자식 노드들을 위한 코딩 파라미터들의 공유는 구체적인 2진-값 공유 플래그의 사용에 의해 나타내진다. 다른 접근에 있어서, 코딩 파라미터들의 개선들은 각각의 노드를 위해 전송될 수 있어 블록들의 트리-기초 계층을 따른 파라미터들의 축적된 개선들은 주어진 리프 노드에서 블록의 모든 샘플 집합들에 적용될 수 있다. 다른 실시예에 있어서, 블록들의 트리-기초 계층을 따라 내부 노드들을 위해 전송된 코딩 파라미터들의 부분들은 문맥-적응 엔트로피 인코딩 및 코딩 파라미터의 디코딩 또는 주어진 리프 노드에서 블록을 위한 코딩 파라미터의 부분들을 위해 사용될 수 있다.
도 12a 및 도 12b는 쿼드트리-기반의 구획을 이용한 구체적인 경우를 위한 계층의 기초 아이디어를 나타낸다. 그러나, 위에 몇 번 나타낸 바와 같이, 다른 멀티트리 세부분할 기법들은 또한 사용될 수 있다. 도 12a에 트리 구조가 나타나 있지만 도 12a에 상응하는 트리 구조의 상응하는 공간 구획(partitioning)은 도 12b에 나타나 있다. 그 안에 나타내진 구획은 도 3a 내지 도3c에 관해 나타내진 것과 유사하다. 일반적으로 말하면, 계층 기법은 트리 구조 내 여러 비-리프 레이어(non-leaf layer)들에서 노드들로 보조 정보가 부여되도록 허용할 수 있다. 트리 내 여러 레이어들에서의 노드들, 예를 들어 도 12a의 트리 내 내부 노드들 또는 그들의 루트 노드로의 보조 정보 부여에 따라, 도 12b에 나타낸 블록들의 트리 계층 내에서 서로 다른 정도의 보조 정보의 공유가 얻어질 수 있다. 예를 들어, 도 12a의 경우에서 모두 같은 부모 노드를 가지는 레이어 4 내의 모든 리프 노드들이 보조 정보를 공유하는 것으로 결정된 경우, 사실상 이것은, 156a 내지 156d로 나타낸 도 12b 내의 가장 작은 블록들이 이 보조 정보를 공유하고 모든 이러한 작은 블록들(156a 내지 156d)에 대해 보조 정보를 더 이상 완전히 즉, 4번 전송할 필요가 없음을 의미하며, 이것은 인코더를 위한 선택사항으로 남겨진다. 하지만, 도 12a의 계층 레벨 1(레이어 2)의 전체 영역, 즉, 서브블록들 154a, 154b 및 154d와 이미 언급된 더 작은 서브블록 156a 내지 156d을 포함하는 트리 블록(150)의 상위 우측의 1/4 부분은 코딩 파라미터들이 공유되는 영역으로 제공하는 것 또한 가능하다. 따라서, 보조 정보를 공유하는 지역은 증가한다. 증가의 다음 레벨은 레이어 1의 모든 서브블록들을 합계일 수 있는데, 즉, 서브블록들 152a, 152c 및 152d 및 이전에 언급된 더 작은 블록들일 수 있다. 즉, 이 경우, 전체 트리 블록은 보조 정보를 공유하는 이 트리 블록(150)의 모든 서브블록들과 함께 그에 할당된 보조 정보를 가질 것이다.
다음의 계층 설명에서, 다음의 표시법이 실시예를 설명하기 위해 사용된다:
a.
현재 리프 노드의 복원된 샘플들: r
b.
이웃 리프들의 복원된 샘플들: r’
c.
현재 리프 노드의 예측부: p
d.
현재 리프 노드의 잔차: Res
e.
현재 리프 노드의 복원된 잔차: Rec Res
f.
스케일링 및 역변환: SIT
g.
공유 플래그: f
계승의 첫 번째 실시예로서, 내부 노드들에서의 인트라-예측 신호화(signalization)로 설명될 수 있다. 보다 정확하게는, 예측의 목적을 위해 트리-기반의 블록 구획의 내부 노드들에서의 인트라-예측 모드들을 신호로 알리는 방법이 설명된다. 루트 노드에서 리프 노드들로 트리를 가로지른 것에 의해, 내부 노드들(루트 노드를 포함하는)은 상응하는 자식 노드들에 의해 이용될 보조 정보의 부분들을 운반할 수 있다. 보다 구체적으로 설명하면, 공유 플래그 f 는 다음 의미와 함께 내부 노드들을 위해 전송된다:
· 만일 f 가 1(“true”)의 값을 가지면, 주어진 내부 노드의 모든 자식 노드들은 같은 인트라-예측 모드를 공유한다. 게다가 값 1을 가지는 공유 플래그 f 와 더불어, 내부 노드는 또한 모든 자식 노드들을 위해 사용되는 인트라-예측 모드 파라미터들을 신호한다. 결과적으로, 모든 후속하는 자식 노드들은 어떤 예측 모드 정보뿐 아니라 어떤 공유 플래그들도 운반하지 않는다. 모든 관계된 리프 노드들의 복원을 위해, 디코더는 상응하는 내부 노드로부터 인트라-예측 모드를 적용한다.
· 만일 f 가 0(“false”)의 값을 가지면, 내부 노드에 상응하는 자식 노드들은 같은 인트라-예측 모드를 공유하지 않고 내부 노드인 각각의 자식 노드는 별개의 공유 플래그를 나른다.
도 12c는 위에 설명된 바와 같이 내부 노드들에서의 인트라-예측 신호화를 도시한다. 레이어 1 내의 내부 노드는 공유 플래그 및 인트라-예측 모드 정보에 의해 주어진 보조 정보를 운반하고, 자식 노드들은 어떤 보조 정보도 운반하지 않는다.
계승의 제2 실시예로서, 인터-예측 개선이 설명될 수 있다. 보다 정확하게 설명하면, 예를 들어 움직임 벡터들에 의해 주어진 것과 같은 움직임 파라미터들의 개선 목적을 위해 트리-기반 블록 구획(partitioning)의 내부 모드들에서 인터-예측 모드들의 보조 정보를 시그널링하는 방법이 설명된다. 루트 노드에서 리프 노드들까지 트리를 횡단함으로써, 내부 노드들(루트 노드를 포함하는)은 상응하는 자식 노드들에 의해 개선될 보조 정보 부분들을 운반할 수 있다. 보다 상세하게, 공유 플래그 f 는 아래의 의미와 함께 내부 노드들을 위해 전송된다:
· 만일 f 가 1(“true”) 값을 가지면, 주어진 내부 노드의 모든 자식 모드들은 같은 움직임 벡터 참조를 공유한다. 값 1을 가진 공유 플래그 f 과 더불어, 내부 노드는 또한 움직임 벡터 및 참조 인덱스를 신호한다. 결론적으로, 모든 후속하는(subsequent) 자식 노드들은 공유 플래그들을 더 운반하지 않을 수 있으나, 계승된 움직임 벡터 참조의 개선은 운반할 수 있다. 모든 관계된 리프 노드들의 복원을 위해, 디코더는 주어진 리프 노드에서 움직임 벡터 개선을, 값 1을 가진 공유 플래그 f 를 갖는 상응하는 내부 부모 노드에 속하는 계승된 움직임 벡터 참조에 추가한다. 이것은 주어진 리프 노드에서 움직임 벡터 개선이 이 리프 노드에서 움직임-보상된 예측을 위해 적용될 실제 움직임 벡터와 그 상응하는 내부 부모 노드의 움직임 벡터 참조 사이의 차이임을 의미한다.
· 만일 f 가 0(“false”) 값을 가지면, 상응하는 내부 노드의 자식 노드들이 동일한 인터-예측 모드를 필수적으로 공유하지 않고 상응하는 내부 노드로부터 움직임 파라미터들을 사용함으로써 자식 노드들에서 움직임 파라미터들의 개선이 수행되지 않으며, 내부 노드인 각 자식 노드는 별개의 공유 플래그를 운반한다.
도 12d는 상술한 바와 같이 움직임 파라미터 개선을 나타낸다. 레이어 1 내 내부 노드는 공유 플래그 및 보조 정보를 운반하고 있다. 리프 노드들인 자식 노드들은 오직 움직임 파라미터 개선들을 운반하고, 예를 들어, 레이어 2 내의 내부 자식 노드는 보조 정보를 운반하지 않는다.
이제 도 13이 참조된다. 도 13은, 데이터 스트림으로부터 멀티-트리 세부분할에 의해 다른 사이즈들의 리프 영역들로 세부분할되는, 공간적 예시(example) 정보 신호를 나타내는 정보 샘플들의 배열을 복원하는 데 있어, 도 2의 디코더와 같은 디코더의 동작의 모드를 나타내는 흐름도를 도시한다. 상술한 바와 같이, 각 리프 영역은 멀티-트리 세부 분할의 계층 레벨들의 시퀀스 중 하나의 계층 레벨과 연관되어 있다. 예를 들어, 도 12b에 나타낸 모든 블록들은 리프 영역들이다. 예를 들어, 리프 영역(156c)은 계층 레벨 4(또는 레벨 3)과 관련된다. 각각의 리프 영역은 거기서의 코딩 파라미터들과 관련된다. 이러한 코딩 파라미터들의 예들은 전술하였다. 각각의 리프 영역을 위한 코딩 파라미터들은 구문 요소들의 각각의 집합에 의해 표현된다.
각각의 구문 요소는 구문 요소 유형들의 집합 중 하나의 개별적 구문 요소 유형(type)의 구문 요소이다. 이러한 구문 요소 유형은 예를 들어, 예측 모드, 움직임 벡터 요소, 인트라-예측 모드의 지시 또는 이와 유사한 것일 수 있다. 도 13에 따르면, 디코더는 다음의 단계들을 수행한다.
단계 550에서, 계승 정보(inheritance information)가 데이터 스트림으로부터 추출된다. 도 2의 경우, 추출부(102)가 단계 550를 책임진다. 계승 정보는 계승이 정보 샘플들의 현재 배열을 위해 사용되었는지 또는 사용되지 않았는지에 관해 나타낸다. 다음의 설명은 예를 들어, 인터-에일리어스(alias), 공유 플래그 f 및 프라이머리(primary) 및 세컨더리(secondary) 부분으로 분리된 멀티트리 구조의 시그널링과 같은 계승 정보를 위한 몇 가지 가능성들을 드러낼 것이다.
정보 샘플들의 배열은 이미 픽쳐의 서브부분일 수 있고, 예들 들어 트리블록, 즉 예를 들어 도 12b의 트리블록(150)일 수 있다. 따라서, 계승 정보는 계승이 구체적인 트리블록(150)을 위해 사용 또는 사용되지 않는지에 관해 나타낸다. 이와 같은 계승 정보는 예를 들어 예측 세부분할의 모든 트리 블록들을 위해 데이터 스트림으로 삽입될 수 있다.
또한, 계승 정보는, 만일 계승이 사용되는 것으로 표시되는 경우, 리프 영역들의 집합으로 구성되고, 리프 영역들의 집합이 연관되는 각 계층적 레벨들보다 더 낮은, 멀티-트리 세부분할의 계층적 레벨들의 시퀀스 중 하나의 계층적 레벨과 대응하는, 정보 샘플들의 배열의 적어도 하나의 계승 영역을 나타낸다. 즉, 계승 정보는 계승이 트리블록(150)과 같은 현재 샘플 배열에 대해 사용 또는 사용되지 않는지에 관해 나타낸다. 만일 사용된다면, 계승 정보는, 그 내에서 코딩 파라미터들을 공유하는, 이러한 트리블록(150)의 적어도 하나의 계승 영역 또는 서브 영역을 나타낸다. 따라서, 계승 영역은 리프 영역이 아닐 수 있다. 도 12b의 예에서, 이러한 계승 영역은 예를 들어, 서브블록들(156a, 156b)에 의해 형성되는 영역일 수 있다. 대안적으로, 계승 영역은 더 클 수 있으며, 또한 추가적으로 서브블록들(154a, 154b 및 154d)을 포함할 수 있고, 심지어 대안적으로, 계승 영역과 관련된 코딩 파라미터들을 공유하는 모든 리프 블록들을 가지는 트리블록(150) 그 자신일 수 있다.
하지만, 둘 이상의 계승 영역이 하나의 샘플 배열 또는 트리 블록(150) 내에서 각각 정의될 수 있음이 주지되어야 한다. 예를 들어, 좌하단의 서브블록(152c)이 더 작은 블록들로 구획되는 것을 상상해보라. 이 경우, 서브블록(152c)은 또한, 계승 영역을 형성할 수 있다.
단계 552에서, 계승 정보가 계승이 사용되는지 또는 사용되지 않는지에 관해 체크된다. 만일 사용되는 경우, 도 13의 과정은 554로 진행되고, 단계 554에서 미리 결정된 적어도 하나의 구문 요소를 포함하는 계승 부분집합이 인터-계승(inter-inheritance) 영역마다 데이터 스트림으로부터 추출된다. 다음의 단계 556에서, 이러한 계승 부분집합은 구문 요소들의 집합 내 구문 요소들의 상응하는 계승 부분집합에 복사되거나, 또는 예측으로서 사용될 수 있고, 상기 구문 요소들은 각각의 적어도 하나의 계승 영역이 구성되는 리프 영역들의 집합과 관련된 코딩 파라미터들을 나타낸다. 즉, 계승 정보 내에서 표시된 각각의 계승 영역에 대해, 데이터 스트림은 구문 요소들의 계승 부분집합을 포함한다. 달리 말하면, 계승은 계승에 이용할 수 있는 적어도 하나의 특정 구문 요소 유형 또는 구문 요소 카테고리에 관련된다. 예를 들어, 예측 모드 또는 인터-예측 모드 또는 인트라-예측 모드 구문 요소가 계승이 될 수 있다. 예를 들어, 계승 영역을 위해 데이터 스트림 이내에 포함된 계승 부분집합은 인터-예측 모드 구문 요소를 포함할 수 있다. 계승 부분집합은 또한 구문 요소들을 포함할 수 있고, 구문 요소 유형들은 앞서 언급된 고정된 구문 요소 유형의 값에 의존하고, 고정된 구문 요소 유형은 계승 기법에 관련된다. 예를 들어, 계승 부분집합의 고정된 요소인 인터-예측 모드의 경우, 움직임 보상을 정의하는 구문 요소들 예를 들어 움직임-벡터 요소들은 구문에 의해 계승 부분집합 내에 포함될 수 있고 또는 포함되지 않을 수 있다. 예를 들어, 트리블록(150)의 상위 우측 1/4, 즉, 서브블록(152b)은 계승 영역이고, 인터-예측 모드 만으로 이러한 계승 영역을 위해 표시될 수 있거나 또는 움직임 벡터들 및 움직임 벡터 인덱스들과 함께 인터-예측 모드를 위해 지시될 수 있다.
계승 부분집합에 포함된 모든 구문 요소들은 계승 영역, 즉, 리프 블록들(154a, 154b, 154d 및 156a 내지 156d) 내의 리프 블록들의 상응하는 코딩 파라미터들을 위해 복사되거나 또는 예측으로서 사용된다. 예측이 사용되는 경우, 잔차들이 개별적인 리프 블록들을 위해 전송된다.
트리블록(150)을 위한 계승 정보 전송의 하나의 가능성은 이미 언급된 공유 플래그 f 의 전송이다. 이 경우, 단계 550에서 계승 정보의 추출은, 다음을 포함한다. 특별히, 디코더는 멀티-트리 세부분할의 적어도 하나의 계층적 레벨의 소정 계승 집합에 상응하는 비-리프 영역들을 위해 추출 및 체크를 포함할 수 있고, 각각의 계승 플래그 또는 공유 플래그가 계승을 지시하는지 하지 않는지에 관해 더 낮은 계층적 레벨부터 더 높은 계층적 레벨까지의 계층적 레벨 차수, 데이터 스트림으로부터 공유 플래그 f 를 사용한다. 예를 들어, 계층적 레벨들의 계승 집합은 도 12a의 레이어들 1 내지 3에 의해 형성될 수 있다. 따라서, 리프 노드가 아니며 소정 레이어 1 내지 레이어 3 이내에 놓여진 서브트리 구조의 소정 노드들에 대해 데이터 스트림 내에서 그와 관련된 공유 플래그를 가질 수 있다. 디코더는 깊이-우선 또는 넓이-우선 횡단 순서와 같은, 레이어 1으로부터 레이어 3까지의 순서로 공유 플래그들을 추출할 수 있다. 공유 플래그들 중 하나가 1과 같으면 곧, 디코더는 상응하는 계승 영역 내에 포함되는 리프 블록들이 단계 554에서 이어서 추출된 계승 부분집합을 공유하는 것을 안다. 현재 노드의 자식 노드들을 위해, 계승 플래그들의 체크는 더 이상 필요하지 않다. 즉, 이러한 자식 노드들을 위한 계승 플래그들은, 이러한 노드들의 영역이 구문 요소들의 계승 부분집합이 공유되는 계승 영역에 이미 속하는 것이 당연하기 때문에, 데이터 스트림 내에서 전송되지 않는다.
공유 플래그들 f 는 쿼드트리 세부분할을 시그널링한 이미 언급된 비트들과 인터리빙될 수 있다. 예를 들어, 세부분할 플래그들과 공유 플래그들을 포함한 인터리브 비트 시퀀스는 다음과 같을 수 있다:
10001101(0000)000,
이것은, 2개의 배치된 공유 플래그들을 이용해 도 6a 에서 도시된 것과 동일한 세부분할 정보이고, 2개의 배치된 공유 플래그들은 도 3c의 좌하단 트리블록(150)의 1/4 이내의 모든 서브-블록들이 코딩 파라미터들을 공유하는 것을 나타내기 위해 언더라인에 의해 강조 표시되었다.
계승 영역을 나타내는 계승 정보를 정의하기 위한 다른 방법은 2개의 세부분할들의 사용일 수 있고, 2개의 세부분할들은 예측 및 잔차 세부분할에 관해 각각 위에 설명된 것처럼 서로 종속적으로 정의된다. 일반적으로 말하면, 프라이머리 세부분할의 리프 블록은 계승 영역을 형성할 수 있고, 계승 영역은 구문 요소들의 계승 부분집합들이 공유되는 영역들을 정의하는 반면, 종속 세부분할은 구문 요소들의 계승 부분집합이 복사 또는 예측으로서 사용되기 위한 이러한 계승 영역들 내의 블록들을 정의한다.
예를 들어, 예측 트리의 확장으로서 잔차 트리를 고려해보자. 또한, 예측 블록들이 잔차 코딩의 목적을 위해 더 작은 블록들로 분리될 수 있는 경우를 고려해보자. 예측-관련 쿼드트리의 리프 노드에 상응하는 각각의 예측 블록들을 위해, 잔차 코딩을 위해 상응하는 세부분할은 적어도 하나의 종속 쿼드트리(들)에 의해 결정된다.
이 경우, 내부 노드들에서 소정 예측 신호를 이용하는 것보다, 우리는 이미 설명된 일정한 예측 모드(예측 관련 트리의 상응하는 리프 노드에 의해 신호가 보내지는) 그러나 개선된 참조 샘플들의 사용이라는 의미에서 예측 트리의 개선은 또한 구체화하는 방법과 같은 잔차 트리를 고려한다. 다음 예시는 이러한 경우를 도시한다.
예를 들어, 도 14a 및 도 14b는 프라이머리 세부분할의 하나의 명시적인 리프 노드를 위해 하이라이트를 준 이웃하는 참조 샘플들을 이용한 인트라 예측을 위한 쿼드트리 구획을 나타내고, 반면에 도 14b는 개선된 참조 샘플들과 함께 같은 예측 리프 노드를 위한 잔차 쿼드트리 세부분할을 나타낸다. 도 14b에 나타난 모든 서브블록들은 도 14a에 하이라이트를 준 각각의 리프 블록을 위해 데이터 스트림 이내에 포함된 같은 인터 예측 파라미터들을 공유한다. 따라서, 도 14a는 인트라 예측을 위한 종래 쿼드트리 구획을 위한 예를 나타내고, 여기서 하나의 명시적 리프 노드를 위한 참조 샘플들이 표현된다. 하지만, 본 발명의 바람직한 일 실시예에 따르면, 개별적인 인트라 예측 신호는 예를 들어, 도 4(b)에 회색의 그림자진 줄무늬로 나타내지는 잔차 트리 내 이미 복원된 리프 노드들의 이웃 샘플들을 이용함으로써 잔차 트리 내의 각각의 리프 노드를 위해 계산된다. 그런 후, 주어진 잔차 리프 노드의 복원된 신호는 양자화된 잔차 신호를 이러한 예측 신호에 추가하는 보통의 방법으로 얻는다. 이러한 복원된 신호는 다음의 예측 프로세스를 위해 참조 신호로서 사용된다. 예측을 위한 디코딩 순서는 잔차 디코딩 순서와 같을 수 있다.
도 15에 도시된 바와 같이 디코딩 프로세스에서, 각각의 잔차 리프 노드를 위해, 예측 신호 p는 참조 샘플들 r’을 이용해 실제 인트라-예측 모드(예측 관련 쿼트드리 리프 노드에 의해 표시된 바와 같이)에 따라 계산된다.
SIT 프로세스 후,
복원된 신호 r 은 다음 예측 계산 프로세스를 위해 계산되고 저장된다:
예측을 위한 디코딩 순서는 도 16에 도시된 잔차 디코딩 순서와 같다.
각 잔차 리프 노드는 이전 문단에서 설명된 것과 같이 디코딩된다. 복원된 신호 r 은 도 16에 도시된 바와 같은 버퍼에 저장된다. 이 버퍼로부터, 참조 샘플들 r’는 다음의 예측 및 디코딩 프로세스를 위해 선택될 것이다.
위에 약술된 관점들의 다른 부분집합들의 조합을 이용해, 도 1 내지 도 16에 관한 상세한 실시예들을 설명하였으며, 본 출원의 다른 실시예들이 어떤 특정 관점에서의 초점이 이미 상술되었는지, 그러나 어떤 실시예들이 상술된 실시예들의 몇 가지 일반화를 나타내는지 설명된다.
특히, 도 1 및 도 2의 프레임워크에 대하여 상술한 실시예들은 본 출원의 많은 관점들과 주로 결합되고, 상술한 실시예들은 다른 출원 또는 다른 코딩 필드들에 이용될 때 또한 이점이 있을 수 있다. 상기 논의 중에 주로 언급된 바와 같이, 예를 들어 멀티트리 세부분할은 병합 없이 및/또는 평면 간 채택/예측 없이 및/또는 계승 없이 사용될 수 있다. 예를 들어, 가장 큰 블록 사이즈의 전송, 깊이-우선 횡단 순서, 각각의 세부분할 플래그의 계층적 레벨에 따른 문맥 채택 및 보조 정보 비트율을 저장하기 위한 비트스트림 내의 최대 계층적 레벨의 전송, 이러한 모든 관점들은 서로 독립적으로 유리하다. 병합 기법을 고려할 때 이것은 또한 사실이다. 병합은 유리하게 픽쳐가 단순 연결 영역들로 세부분할되는 정확한 방법과는 독립적이며, 유리하게 평면 간 채택/예측 및/또는 계승의 사용 또는 하나 이상의 샘플 배열의 존재로부터 독립적이다. 이는 평면-간 채택/예측 및 승계와 관련된 이점들에 대해 동일하게 적용된다.
따라서, 다음에 설명된 실시예들은 병합에 관한 관점들에 관하여 이미 언급된 실시예들을 일반화한다. 다음의 실시예들은 상술된 실시예들의 일반화들이고, 상술된 많은 자세한 사항들은 다음에 설명된 실시예들과 결합되는 것으로 생각될 수 있다.
도 17은 본 출원의 실시예에 따른 디코더를 나타낸다. 도 17의 디코더는 추출부(600) 및 복원부(602)를 포함한다. 추출부(600)는 공간적으로 샘플링된 정보 신호를 나타내는 정보 샘플들의 배열이 세부분할된 복수의 단순 연결 영역들의 각 데이터 스트림(604)으로부터 페이로드를 위해 추출된다.
상술된 바와 같이, 정보 샘플들의 배열이 세부분할되는 단순 연결 영역들은 멀티트리-세부분할으로부터 생길 수 있고, 정사각형 또는 직사각형 모양일 수 있다. 또한, 샘플 배열의 세부분할을 위해 상세하게 설명된 실시예는 오직 상세한 실시예들일 수 있고, 다른 세부분할 또한 사용될 수 있다. 몇 가지 가능성들은 도 18a 내지 도 18c에 나타내진다. 예를 들어, 도 18a는 샘플 배열(606)이 멀티트리 구조가 다른 사이즈들의 서브블록들(610)에 따라 세부분할되는 것들 중 몇몇과 함께 서로 인접한 비-오버랩(non-overlapping)핑 트리블록들(608)의 정규의 2차 배열로 세부분할되는 것을 나타낸다. 상술한 바와 같이, 쿼드트리 세부분할이 도 18a에 도시된 바와 같을지라도, 소정 다른 수의 자식 노드들 내의 각각의 부모 노드의 구획 또한 가능하다. 도 18b는 샘플 배열이 전체 픽셀 배열(606)의 위에 직접적인 멀티트리 세부분할 적용에 의해 다른 사이즈들의 서브블록들로 세부분할되는 것에 관한 실시예를 나타낸다. 즉, 전체 픽셀 배열(606)은 트리블록으로 다루어진다. 도 18c는 다른 실시예를 나타낸다. 이 실시예에 따르면, 샘플 배열은 서로 인접한 정사각형 또는 직사각형의 매크로 블록들의 정규 2차 배열로 구조화될 수 있고, 이러한 매크로블록들(612) 각각은 어떤 매크로블록(612)이 구획화되지 않은 상태로 남겨 지는지 또는 구획 정보에 따라 지시된 사이즈의 블록들의 정규 2차 배열로 구획화되는지에 따라 구획 정보와 함께 개별적으로 관련된다. 보이는 바와 같이, 도 18a 내지 도 18c의 모든 세부분할은 비-오버랩핑인 도 13a 내지 도 13c의 실시예에 따라 샘플 배열(606)을 예시적인 단순 연결 영역들로 세부분할화하는 것을 나타내다. 그러나, 몇몇의 대체들은 가능하다. 예를 들어, 블록들은 서로 오버랩될 수 있다. 그러나, 오버랩핑은 각각의 블록이 다른 주변의 블록에 의해 겹치지 않는 부분을 가지는 범위가 제한될 수 있고, 또는 블록들의 각각의 샘플은 미리 결정된 방향을 따른 현재 블록의 병치로 배열된 주변의 블록들 사이의 하나의 블록에 의해 최대로 오버래핑될 수 있다. 후자는 왼쪽 및 오른쪽 이웃 블록들이 완전히 덮은 현재 블록에 관해 현재 블록을 오버랩할 수 있는 것을 의미하지만, 그들은 서로를 오버레이(overlay)하지 않으며, 이는 동일하게 수직 및 대각선 방향에서의 이웃들에 대해 적용될 수 있다.
도 1 내지 도 16과 관련하여 상술한 바와 같이, 정보 샘플들의 배열은 비디오 또는 스틸 픽쳐의 픽쳐를 필수적으로 나타내지는 않는다. 샘플 배열(606)은 몇몇 장면의 깊이 맵 또는 투명도 맵을 또한 나타낼 수 있다.
복수의 단순 연결 영역들 각각과 관련된 페이로드 데이터는 이미 상술된 바와 같이, 공간적인 도메인 내의 잔차 도메인 또는 변환 계수들과 잔차 블록에 상응하는 변환 블록 이내의 중요한 변환 계수들의 위치들을 확인하는 중요 맵과 같은 변환 도메인을 포함한다. 일반적으로 말하면, 데이터 스트림(604)로부터 각 단순 연결 영역을 위해 추출부(600)에 의해 추출된 페이로드 데이터는 공간적 도메인 또는 스펙트랄 도메인에서, 그리고 직접적으로, 또는 예를 들어, 그것의 예측의 몇몇 종류에 잔차로서 그것의 연관된 단순 연결 영역을 공간적으로 설명하는 데이터이다.
복원부(602)는 개별 단순 연결 영역들과 연관된 코딩 파라미터들에 의해 미리 정해진 방식으로 개별 단순 연결 영역들을 위한 페이로드 데이터를, 각 단순 연결 영역을 위해, 처리함으로써 정보 샘플들의 배열의 단순 연결 영역들을 위한 페이로드 데이터로부터 정보 샘플들의 배열을 복원한다. 상술한 논의와 유사하게, 코딩 파라미터들은 예측 파라미터들일 수 있고, 따라서, 18a 및 18b에 나타난 단순 연결 영역들은 상기 언급한 예측 블록들에, 즉, 데이터 스트림(604)이 개별 단순 연결 영역들을 예측하기 위해 예측 상세들을 정의한 단위인 블록들에 상응할 수 있다. 그러나, 코딩 파라미터들은 예측 파라미터들로 제한되지 않는다. 코딩 파라미터들은 페이로드 데이터를 변환하기 위해 사용되는 변환을 나타낼 수 있고 또는 정보 샘플들의 배열을 복원할 때 개별적으로 단순 연결 영역들의 복원에 사용되는 필터로 정의할 수 있다.
추출부(600)는, 미리 결정된 단순 연결 영역을 위해, 미리 결정된 단순 연결 영역에 대해 미리 결정된 상대적인 위치적 관계를 가진 복수의 단순 연결 영역들 내에서 단순 연결 영역들을 확인한다. 이러한 단계에 대한 상세들은 단계 450에 대해서 상술되었다. 즉, 미리 결정된 상대적인 위치적 관계에 추가하여, 확인은 미리 결정된 단순 연결 영역과 연관된 코딩 파라미터들의 부분집합에 의존할 수 있다. 확인 후에, 추출부(600)는 데이터 스트림(604)로부터 미리 결정된 단순 연결 영역을 위한 병합 지시자를 추출한다. 만약, 미리 결정된 단순 연결 영역에 미리 결정된 상대적인 위치적 관계를 가진 단순 연결 영역들의 개수가 0보다 크다면. 이것은 단계 452 및 454의 상술에 상응한다. 만약 병합 지시자가 미리 결정된 블록의 병합 처리로서 제안된다면, 추출부(600)는 미리 결정된 단순 연결 영역에 미리 결정된 상대적인 위치적 관계를 가진 단순 연결 영역들의 개수가 하나인지 또는, 미리 결정된 단순 연결 영역에 미리 결정된 상대적인 위치적 관계를 가진, 단순 연결 영역들의 개수가 1보다 큰지 체크하는데, 이때 코딩 파라미터들은 서로 동일하다. 만약, 두 개의 대안들 중 하나가 적용되면, 추출부는 미리 결정된 단순 연결 영역의 코딩 파라미터들 또는 단계 458 내지 468에서 상술한 바와 같은 그것의 남은 부분집합의 예측을 위하여 코딩 파라미터들을 채택하거나 사용한다. 도 10에서 상술한 바와 같이, 추가적 지시자는 상기 후자의 체크들이 미리 결정된 단순 연결 영역에 대해 미리 결정된 상대적인 위치적 관계를 가진 단순 연결 영역들의 개수가 하나보다 큰 것으로 판명되고 서로 다른 코딩 파라미터들을 가질 경우에 데이터 스트림(604)로부터 추출부(600)에 의해 추출된다.
상기 후자의 체크들을 사용함으로써, 후보 단순 연결 영역들의 하나 또는 부분집합을 표시하는 추가적 지시자의 전송이 억제될 수 있고, 그에 따라 보조 정보 오버헤드를 감소시킨다.
도 19는 도 17의 디코더에 의해 디코딩 가능한 데이터 스트림을 생성하기 위한 인코더의 일반적인 구조를 나타낸다. 도 19의 인코더는 데이터 생성부(650) 및 삽입부(652)를 포함한다. 데이터 생성부(650)는 개별 단순 연결 영역을 위한 페이로드 데이터가 어떻게 복원되는지 표시하기 위하여 개별 단순 연결 영역들과 연관된 연관된 코딩 파라미터들에 따라, 정보 샘플들의 배열이 세부분할된 복수의 상호연결 영역(interconnected regions)의 각각을 위한 페이로드 데이터로 정보 샘플들의 배열을 코딩한다. 삽입부(652)는 도 12의 디코더의 추출부(600)로서 상기 확인과 체크를 수행하고, 그러나, 그것의 추출에 대신한 병합 지시자의 삽입을 수행하고, 데이터 스트림으로 코딩 파라미터들의 삽입을 억제하거나, 도 12 및 도 10 각각에 대해 상술한 채택/예측에 대신한 개별 예측 잔차의 삽입에 의해 전부 데이터 스트림으로 코딩 파라미터들의 삽입을 대체한다.
더 나아가, 도 19의 인코더의 구조는 다소 도식적이고, 그리고 사실, 페이로드 데이터의 결정, 코딩 파라미터들 및 병합 지시자는 반복적인 절차일 수 있다. 예를 들어, 이웃하는 단순 연결 영역들의 코딩 파라미터들이 유사하나 서로 동일하지 않다면,
이러한 코딩 파라미터들간의 작은 차이들을 포기함은, 병합 지시자가 단순 연결 영역들의 하나의 코딩 파라미터들을 완전하게 억제하고, 단지 잔차의 제출에 의해 이러한 파라미터들의 제출을 전부 대체 가능토록 함을 고려할 때, 반복적인 절차가 디코더에 이러한 차이를 시그널링하는 것보다 바람직함을 결정할 수 있다.
도 20은 디코더를 위한 다른 실시예를 나타낸다. 도 20의 디코더는 세부 분할부(700), 병합부(702) 및 복원부(704)를 포함한다. 세부 분할부는, 구문 요소들이 데이터 스트림에 포함되는지에 따라, 2차원적 정보 신호의 공간적인 샘플링을 나타내는 샘플들의 배열을 회귀적으로 멀티-구획됨에 의해 다른 사이즈의 복수의 비(non)-오버랩핑 단순 연결 영역들로 세부분할한다. 이리하여, 멀티-구획은 도 1 내지 16 또는 도 18a 각각으로, 또는 도 18b에 대해 상기한 실시예들에 상응할 수 있다. 세부분할을 표시하기 위한 데이터 스트림에 포함된 구문 요소는 도 6a 및 도 6b과 관련하여 앞서 표시된 바와 같이 또는 대체적인 방법으로 정의될 수 있다.
병합부(702)는 제1 부분집합으로부터 분리된, 데이터 스트림 내 구문 요소들의 제2 부분집합에 따라, 정보 샘플들의 배열의, 그 통합은 복수의 단순 연결 영역들인, 단순 연결 영역들의 분리 부분집합들로의 중간 세부분할을 획득하기 위해 복수의 단순 연결 영역들의 공간적으로 이웃하는 단순 연결 영역들을 결합하도록 구성된다. 병합 정보를 나타내는, 방금 언급한 구문 요소들의 제2 부분집합은 도 19 및 도 10, 각각에 대해 앞서 제시된 바와 같은 방법으로, 또는 다른 방법으로 정의될 수 있다. 하지만, 인코더가 병합이 지시된 부분집합으로부터 분리된 부분집합의 이용에 의해 세부분할을 표시하는 능력은, 인코더가 샘플 배열 세부분할을 실제 샘플 배열 내용에 적용하는 자유를 증가시켜 코딩 효율성이 증가될 수 있다. 복원부(704)는 중간 세부분할을 이용해 데이터 스트림으로부터 샘플들의 배열을 복원하도록 구성된다. 앞서 언급된 바와 같이 복원부는 현재 단순 연결 영역에 대한 병합 파트너들의 코딩 파라미터들의 채택/예측에 의한 중간 세부분할을 활용할 수 있다. 따라서, 복원부(704)는 변환 또는 예측 프로세스를 단순 연결 영역들의 병합된 그룹의 결합된 영역에 대해 적용할 수 있다.
도 21은 도 15의 디코더에 의해 디코딩 가능한 데이터 스트림을 생성하는 가능한 인코더를 보여준다. 인코더는 세부분할/병합 스테이지(750) 및 데이터 스트림 생성부(752)를 포함한다. 세부분할/병합 스테이지는 2-차원 정보 신호 및 그 통합은 복수의 단순 연결 영역들인, 단순 연결 영역들의 두 개의 분리 부분집합들의 공간적 샘플링을 표현하는 정보 샘플들의 배열의 중간 세부분할을 결정하도록 구성되는데, 이는 구문 요소들의 제1 부분집합에 따라 정보 샘플들의 배열이 회귀적 멀티-구획에 의해 비-중첩하는 복수의 단순 연결 영역들로 세부분할되는 구문 요소들의 제1 부분집합, 그리고 제1 부분집합으로부터 분리된, 구문 요소들의 제2 부분집합에 따라 중간 세부분할을 획득하기 위해 복수의 단순 연결 영역들의 공간적으로 이웃하는 단순 연결 영역들이 결합되는 구문 요소들의 제2 부분집합을 수단으로 하여 이러한 중간 세부분할을 정의함으로써 이루어진다. 데이터 스트림 생성부(752)는 정보 샘플들의 배열을 데이터 스트림으로 코딩하기 위해 중간 세부분할을 사용한다. 세부분할/병합 스테이지(750)는 제1 및 제2 부분집합을 데이터 스트림으로 또한 삽입한다.
다시, 도 14의 경우에서와 같이, 데이터 스트림 생성부(752)에 의해 생성된 구문 요소들의 제1 및 제2 부분집합들을 정의하는 프로세스는 반복적으로 동작하는 프로세스일 수 있다. 예를 들어, 세부분할/병합 스테이지(750)는 최적의 세부분할을 사전에 결정할 수 있는데 데이터 스트림 생성부(752)가 세부분할/병합 스테이지를 이용해 샘플 세부분할을 사용함으로써 샘플 배열을 코딩하고 병합을 서술하는 구문 요소를 설정하기 위한 구문 요소들의 상응하는 최적의 집합을 결정하여 보조 정보 오버헤드가 감소된다. 하지만, 인코딩의 프로세스는 여기서 멈추지 않을 수 있다. 그보다는 데이터 스트림 생성부(752)와 함께 세부분할/병합 스테이지(750)는 병합의 긍정적 특성들을 활용함으로써 더 나은 율/왜곡 비율이 얻어질 수 있는지에 관해 결정하기 위해, 데이터 스트림 생성부(752)에 의해 사전에 결정된 세부분할 및 구문 요소들의 최적의 설정으로부터 벗어나기 위해 협력한다.
앞서 언급된 바와 같이, 도 17 내지 21과 관련하여 설명된 실시예들의 앞서 도 1 내지 16과 관련하여 서술된 실시예들의 일반화를 나타내며, 따라서, 도 1 내지 16의 요소들을 도 17 내지 21에 도시된 실시예들에 고유하게 연관시키는 것이 가능하다. 예를 들어, 추출부(102)는 세부 분할부(104a) 및 병합부(104b)와 함께 도 17의 추출부(600)에 의해 수행될 태스크들을 위한 책임을 가정한다. 세부 분할부는 개별적인 단순 연결 영역들 간의 이웃 관계들을 세부분할하고 병합하는 것을 책임진다. 또한, 병합부(104b)는 단순 연결 영역들의 그룹으로의 병합을 관리하고 현재 디코딩되는 병합 정보에 의해 표시되는 병합 이벤트의 경우에 현재의 단순 연결 영역들에 대한 예측으로서 사용될 또는 복사될 적합한 코딩 파라미터들을 확정한다. 추출부(102)는 데이터 추출을 위해 엔트로피 디코딩을 사용하는 경우 적절한 문맥을 이용하여 데이터 스트림으로부터 실제 데이터 추출에 대한 책임을 가정한다. 도 2의 남은 요소들은 복원부(602)에 대한 실시예이다. 물론, 복원부(602)는 도 2에 도시된 것과는 다르게 구현될 수 있다. 예를 들어, 복원부(602)는 움직임-보상 예측 및/또는 인트라-예측을 사용하지 않을 수 있다. 그보다는 다른 가능성들을 또한 적용할 수 있다.
또한, 도 17의 설명과 관련하여 언급된 단순 연결 영역들은, 앞서 이미 표시된 바와 같이, 이미 앞서 언급된 예측 블록들 또는, 잔차 세부분할 또는 필터 세부분할과 같이, 앞서 언급된 다른 세부분할들 중 어느 것에 상응한다.
도 19의 인코더를 도 1의 실시예와 비교할 때, 데이터 생성부(650)는 데이터 스트림 삽입부(18)와 더불어 모든 요소들을 아우를 것이고 후자는 도 19의 삽입부(652)에 상응할 것이다. 다시 데이터 생성부(650)는 도 1에 도시된 하이브리드 코딩 접근법과는 다른 코딩 접근법을 이용할 수도 있다.
도 20의 디코더를 도 2의 실시예와 비교할 때, 세부 분할부(104a) 및 병합부(104b)는 도 20의 세부 분할부(100) 및 병합부(102)에 상응할 것이고, 요소들(106 및 114)는 복원부(704)에 상응할 것이다. 추출부(102)는 도 20에 도시된 모든 요소들의 기능들에 공통적으로 관여할 것이다.
도 21의 인코더가 고려되는 한에서는, 세부분할/병합 스테이지(750)가 세부 분할부(104a) 및 병합부(104b)에 상응할 것이고, 데이터 스트림 생성부(752)는 도 10에 도시된 모든 다른 요소들을 아우를 것이다.
비록 어떤 실시예는 장치의 문맥에서 기술되었지만, 이와 같은 측면은 또한 대응하는 방법을 표현함이 명백하며, 이때, 블록이나 장치가 방법의 단계 또는 방법의 단계의 특징에 대응한다. 유사하게, 방법의 단계의 맥락에서 기술된 측면은 대응하는 블록이나 아이템 또는 대응하는 장치의 특징의 기술을 표현한다. 방법의 일부 또는 전체 단계는 하드웨어 장치, 예를 들면, 마이크로프로세서, 프로그램 가능한 컴퓨터, 또는 전자 회로에 의해 (또는 사용하여) 실행될 수 있다. 몇몇 실시예에서, 하나 이상의 가장 중요한 단계가 장치에 의해 실행될 수 있다.
발명의 인코딩된/압축된 신호들은 디지털 저장 매체에 저장되거나 무선 전송 매체나 인터넷 같은 유선 전송 매체와 같은 전송 매체 상에 전송될 수 있다.
특정 구현 요건에 따라, 본 발명의 실시예는 하드웨어 또는 소프트웨어로 구현될 수 있다. 구현은 디지털 저장 매체, 예를 들면 플로피 디스크, DVD, 블루-레이, CD, ROM, PROM, EPROM, EEPROM, 또는 플레시 메모리와 같이, 내부에 전자적으로 판독 가능한 제어 신호를 갖고, 각 방법이 수행되는 프로그래머블 컴퓨터 시스템과 같이 협업하는(또는 협업할 수 있는), 저장매체를 사용하여 수행될 수 있다. 따라서, 디지털 저장매체는 컴퓨터에서 판독 가능할 수 있다.
본 발명에 따른 몇몇 실시예는 전자적으로 판독 가능한 제어 신호를 갖는 데테 캐리어를 포함하며, 이는 프로그래머블 컴퓨터 시스템과 협업하여, 여기 기술된 방법이 수행되도록 할 수 있다.
일반적으로, 본 발명의 실시예들은 프로그램 코드를 갖는 컴퓨터 프로그램 제품으로 구현될 수 있고, 프로그램 코드는 컴퓨터 프로그램 제품이 컴퓨터에서 수행될 때 상기 방법들 중의 하나를 수행하도록 동작할 수 있다. 프로그램 코드는 예를 들면, 기계 판독가능한 캐리어 상에 저장된다.
다른 실시예들은 여기 기술된 방법들 중의 하나를 수행하는 컴퓨터 프로그램을 포함하며, 이는 기계 판독 가능한 캐리어 상에 저장된다.
즉, 본 발명의 방법의 실시예는, 따라서, 컴퓨터 프로그램이 컴퓨터 상에서 수행될 때, 여기 기술된 방법들 중의 하나를 수행하는 프로그램 코드를 갖는 컴퓨터 프로그램이다.
본 발명의 방법의 다른 실시예들은, 따라서, 데이터 캐리어(또는 디지털 저장 매체, 도는 컴퓨터-판독가능한 매체)이며, 이는 여기 기술된 방법들 중의 하나를 수행하는 컴퓨터 프로그램을 기록하여 포함한다.
본 발명의 또 다른 실시예들은, 따라서, 데이터 스트림 또는 여기 기술된 방법들 중의 하나를 수행하는 컴퓨터 프로그램을 표현하는 일련의 신호이다. 데이터 스트림과 일련의 신호는 예를 들면 데이터 통신 연결, 예를 들면 인터넷, 을 통해 수송되도록 구성될 수 있다.
또 다른 실시예는 처리 수단, 예를 들면 컴퓨터, 또는 여기 기술된 방법들 중의 하나를 수행하도록 적용된, 프로그래머블 논리 장치를 포함한다.
또 다른 실시예는 여기 기술된 방법들 중의 하나를 수행하는 컴퓨터 프로그램이 설치된 컴퓨터를 포함한다.
본 발명의 또 다른 실시예에 따른 디코더는 공간적으로 샘플링된 정보 신호를 나타내는 정보 샘플들의 배열이 세부분할된 복수의 단순 연결 영역들 각각에 대해, 데이터 스트림으로부터 페이로드 데이터를 추출하도록 구성된 추출부 및 각 단순 연결 영역에 대해, 상기 개별 단순 연결 영역과 연관된 코딩 파라미터들에 의해 규정되는 방식으로 개별 단순 연결 영역들에 대한 페이로드 데이터를 프로세싱함으로써, 정보 샘플들의 배열의 단순 연결 영역들에 대한 페이로드 데이터로부터 정보 샘플들의 배열을 복원하도록 구성된, 복원부를 포함할 수 있고, 상기 추출부는 또한, 미리 결정된 단순 연결 영역에 대해, 상기 미리 결정된 단순 연결 영역에 대해 미리 결정된 상대적인 위치적 관계를 갖는 복수의 단순 연결 영역들 내의 단순 연결 영역들을 확인할 수 있고, 만일 미리 결정된 단순 연결 영역에 대해 미리 결정된 상대적인 위치적 관계를 갖는 단순 연결 영역들의 개수가 0보다 크면, 상기 데이터 스트림으로부터 미리 결정된 단순 연결 영역에 대한 병합 지시자를 추출할 수 있고, 상기 병합 지시자가 미리 결정된 블록의 병합된 프로세싱을 제시하는 경우, 만일 미리 결정된 단순 연결 영역에 대해 미리 결정된 상대적인 위치적 관계를 갖는 단순 연결 영역들의 개수가 1이라면, 상기 미리 결정된 단순 연결 영역에 대한 코딩 파라미터들로서 단순 연결 영역의 코딩 파라미터들을 채택하거나, 또는 상기 데이터 스트림으로부터 미리 결정된 단순 연결 영역에 대한 예측 잔차를 추출하여 상기 미리 결정된 단순 연결 영역에 대해 상기 미리 결정된 상대적인 위치적 관계를 갖는 단순 연결 영역들의 코딩 파라미터들로부터 상기 미리 결정된 단순 연결 영역에 대한 코딩 파라미터들을 예측하도록 구성될 수 있다.
여기서, 상기 추출부는 또한, 만일 미리 결정된 단순 연결 영역에 대해 상기 미리 결정된 상대적인 위치적 관계를 갖는 단순 연결 영역들의 개수가 1보다 크다면, 상기 단순 연결 영역들과 연관된 코딩 파라미터들이 서로 일치하는지 체크하고, 만일 그렇다면, 상기 미리 결정된 단순 연결 영역에 대한 코딩 파라미터들로서 상기 단순 연결 영역의 코딩 파라미터들을 채택하거나, 또는 상기 데이터 스트림으로부터 예측 잔차를 추출하여 상기 미리 결정된 단순 연결 영역에 대한 미리 결정된 상대적인 위치적 관계를 갖는 단순 연결 영역들의 개수의 코딩 파라미터들로부터 미리 결정된 단순 연결 영역에 대한 코딩 파라미터들을 예측하도록 구성될 수 있다.
여기서, 상기 디코더는, 멀티-트리 세부분할을 이용해, 상기 단순 연결 영역들이 다른 사이즈들을 갖도록 회귀적으로(recursively) 멀티-구획함(partitioning)으로써 상기 정보 샘플들의 배열을 상기 단순 연결 영역들로 공간적으로 세부분할하도록 구성된 세부-분할부를 더 포함할 수 있고, 상기 추출부는 상기 단순 연결 영역들을 깊이-우선 횡단 순서(traversal order)로 처리하도록 구성될 수 있다.
여기서, 상기 세부-분할부는, 정보 샘플들의 배열을 최대 영역 사이즈의 트리 루트 영역들로 공간적으로 분할하고, 트리 루트 영역들의 부분집합을 회귀적으로 멀티-구획함으로써 상기 트리 루트 영역들의 적어도 부분집합을, 멀티-트리 세부분할 정보에 따라, 다른 사이즈들의 더 작은 단순 연결 영역들로 세부분할하며, 상기 트리 루트 영역들은 상기 멀티-트리 세부분할 정보에 따라 구획되지 않으며 상기 더 작은 단순 연결 영역들은 복수의 단순 연결 영역들을 형성할 수 있다.
여기서, 상기 추출부는, 상기 미리 결정된 단순 연결 영역에 대해 미리 결정된 상대적인 위치적 관계를 갖는 단순 연결 영역들을 확인함에 있어, 상기 미리 결정된 단순 연결 영역의 경계에서의 정보 샘플에 인접한 정보 샘플들이, 만약 있다면, 그 내에 있는 그런 단순 연결 영역들을 확인하도록 구성될 수 있다.
여기서, 상기 추출부는, 상기 확인 전에, 상기 데이터 스트림으로부터 미리 결정된 단순 연결 영역에 대한 코딩 파라미터들의 제1 부분집합을 추출할 수 있고, 상기 미리 결정된 단순 연결 영역에 대해 미리 결정된 상대적인 위치적 관계를 갖는 단순 연결 영역들을 확인함에 있어, 상기 미리 결정된 단순 연결 영역에 대해 미리 결정된 상대적인 위치적 관계를 가지면서, 동시에 상기 미리 결정된 단순 연결 영역에 대한 코딩 파라미터들의 제1 부분집합에 대해 미리 결정된 관계를 충족하는 연관된 코딩 파라미터들을 갖는 그러한 단순 연결 영역들을 확인할 수 있고, 그리고, 상기 미리 결정된 단순 연결 영역에 대해 미리 결정된 상대적인 위치적 관계를 가지면서, 동시에 상기 미리 결정된 단순 연결 영역에 대한 코딩 파라미터들의 제1 부분집합에 대해 미리 결정된 관계를 충족하는 연관된 코딩 파라미터들을 갖는 단순 연결 영역들의 개수에 조건부로 의존하여, 상기 코딩 파라미터들의 제1 부분집합으로부터 분리된, 상기 미리 결정된 단순 연결 영역에 대한 코딩 파라미터들의 제2 부분집합에 대해, 예측 잔차를 추출함으로써 상기 채택 또는 예측을 실행하도록 구성될 수 있다.
여기서, 상기 추출부는, 만약 상기 미리 결정된 단순 연결 영역에 대해 미리 결정된 상대적인 위치적 관계를 갖는 단순 연결 영역들의 개수와 연관된 코딩 파라미터들이 서로 다르다면, 상기 데이터 스트림으로부터, 상기 미리 결정된 단순 연결 영역에 대해 미리 결정된 상대적인 위치적 관계를 갖는 단순 연결 영역들의 개수의 진부분집합(proper subset)을 확인하고, 상기 미리 결정된 단순 연결 영역을 위한 코딩 파라미터들로서 이 적절한 부분집합의 코딩 파라미터들을 채택하거나, 또는 상기 데이터 스트림으로부터 예측 잔차를 추출함으로써, 상기 적절한 부분집합으로부터 상기 미리 결정된 단순 연결 영역의 코딩 파라미터들을 예측하는, 참조 이웃 확인자를 추출하도록 구성될 수 있다.
본 발명의 또 다른 실시예에 따른 디코더는 공간적으로 샘플링된 정보 신호를 표현하는 정보 샘플들의 배열이 세부-분할되는 복수의 단순 연결 영역들 각각에 대해 상기 데이터 스트림으로부터 페이로드 데이터를 추출하도록 구성된 추출부 각 단순 연결 영역에 대해, 상기 개별 단순 연결 영역과 연관된 코딩 파라미터들에 의해 규정되는 방식으로 개별 단순 연결 영역들에 대한 페이로드 데이터를 프로세싱함으로써, 정보 샘플들의 배열의 단순 연결 영역들에 대한 페이로드 데이터로부터 정보 샘플들의 배열을 복원하도록 구성된, 복원부를 포함할 수 있고, 상기 추출부는 또한, 상기 데이터 스트림으로부터 상기 미리 결정된 단순 연결 영역에 대한 코딩 파라미터들의 제1 부분집합을 추출할 수 있고, 상기 미리 결정된 단순 연결 영역에 대해, 상기 미리 결정된 단순 연결 영역에 대해 미리 결정된 상대적인 위치적 관계를 갖는 복수의 단순 연결 영역들 내의 단순 연결 영역들을 확인할 수 있고, 만일 미리 결정된 단순 연결 영역에 대해 미리 결정된 상대적인 위치적 관계를 갖는 단순 연결 영역들의 개수가 0보다 크면, 상기 데이터 스트림으로부터 미리 결정된 단순 연결 영역에 대한 병합 지시자를 추출할 수 있고, 상기 병합 지시자가 미리 결정된 블록의 병합된 프로세싱을 제시하는 경우, 미리 결정된 거리 척도(measure)에 따라, 미리 결정된 단순 연결 영역에 대해 미리 결정된 상대적인 위치적 관계를 갖는 복수의 단순 연결 영역들 각각에 대해, 상기 미리 결정된 단순 연결 영역의 코딩 파라미터들의 제1 부분집합 및 미리 결정된 단순 연결 영역에 대해 미리 결정된 상대적인 위치적 관계를 갖는 개별 단순 연결 영역의 코딩 파라미터들의 상응하는 부분집합 간의 거리를 계산하고, 최소 거리를 갖는 단순 연결 영역의 코딩 파라미터들의 상응하는 부분집합을, 상기 제1 부분집합으로부터 분리된, 상기 미리 결정된 단순 연결 영역에 대한 코딩 파라미터들의 제2 부분집합으로서 채택하거나, 또는 상기 데이터 스트림으로부터 상기 미리 결정된 단순 연결 영역에 대한 예측 잔차를 추출함으로써 최소 거리를 갖는 단순 연결 영역의 코딩 파라미터들의 상응하는 부분집합으로부터 상기 미리 결정된 단순 연결 영역에 대한 코딩 파라미터들의 제2 부분집합을 예측하도록 구성될 수 있다.
본 발명의 또 다른 실시예에 따른 2-차원(two-dimensional) 정보 신호가 코딩되어진 데이터 스트림을 디코딩하는 디코더는, 상기 데이터 스트림 내에 포함된 구문 요소들의 제1 부분집합에 따라, 회귀적 멀티-구획에 의해 2-차원 정보 신호의 공간적 샘플링을 표현하는 정보 샘플들의 배열을 다른 사이즈들의 복수의 단순 연결 영역들로 공간적으로 세부분할하도록 구성된 세부-분할부, 상기 제1 부분집합으로부터 분리된, 상기 데이터 스트림 내 구문 요소들의 제2 부분집합에 따라, 상기 정보 샘플들의 배열의, 그 통합은 복수의 단순 연결 영역들인, 단순 연결 영역들의 분리 부분집합들로의 중간 세부분할을 획득하기 위해 복수의 단순 연결 영역들의 공간적으로 이웃하는 단순 연결 영역들을 결합하도록 구성된 병합부 및 중간 세부분할을 이용해 상기 데이터 스트림으로부터 상기 정보 샘플들의 배열을 복원하도록 구성된 복원부를 포함할 수 있다.
여기서, 상기 세부-분할부는 정보 샘플들의 배열을 최대 영역 사이즈의 트리 루트 영역들로 공간적으로 분할하고, 트리 루트 영역들의 부분집합을 회귀적으로 멀티-구획함으로써 구문 요소들의 제1 부분집합에 따라, 상기 트리 루트 영역들의 적어도 부분집합을 다른 사이즈들의 더 작은 단순 연결 영역들로 세부분할하며, 상기 트리 루트 영역들은 상기 멀티-트리 세부분할 정보에 따라 구획되지 않으며 상기 더 작은 단순 연결 영역들은 복수의 단순 연결 영역들을 형성할 수 있다.
여기서, 상기 세부-분할부는, 상기 트리 루트 영역들이 최대 영역 사이즈에 의해 결정되는 사이즈의, 상기 정보 샘플들의 배열을 간극없이 커버하기 위해 규칙적으로 배열된, 직사각 블록들이 되도록 상기 정보 샘플들의 배열의 트리 루트 영역들로의 분할을 수행하도록 구성될 수 있다.
여기서, 상기 세부-분할부는, 트리 루트 영역들의 부분집합을 세부분할함에 있어, 각 트리 루트 영역에 대해, 상기 개별 트리 루트 영역이 구획될 것인지에 관해 상기 구문 요소들의 제1 부분집합을 체크할 수 있고, 만약 개별 트리 루트 영역이 구획될 것이라면, 상기 개별 트리 루트 영역을 제1 계층적 레벨과 연관된 구획 규칙에 따라 제1 계층적 레벨의 영역들로 구획할 수 있고, 연관된 구획 규칙을 이용해 더 높은-차수의 계층적 레벨들의 영역들을 획득하기 위해 제1 계층적 레벨의 영역들에 대해 체크 및 구획을 회귀적으로 반복하며, 상기 구문 요소들의 제1 부분집합에 따라 수행될 추가적 구획이 없거나, 또는 최대 계층적 레벨에 도달한 경우 상기 회귀적 반복을 중지하며, 상기 구문 요소들의 제1 부분집합에 따라 추가적으로 구획되지 않은 트리 루트 영역들의 부분집합의 영역들은, 멀티-트리 세부분할의 리프 영역들 및 더 작은 단순 연결 영역들을 각각 나타낼 수 있다.
여기서, 상기 최대 계층적 레벨은 상기 구문 요소들의 제1 부분집합에 의해 표시될 수 있다.
여기서, 상기 세부-분할부는, 상기 제1 및 더 높은-차수의 계층적 레벨들과 연관된 구획 규칙에 따라, 동일한 사이즈의 서브-영역들로의 구획을 수행하고, 따라서 서브-영역들의 개수는 모든 계층적 레벨들에 대해 공통적이 되도록 획득될 수 있다.
여기서, 상기 복원부는 상기 데이터 스트림으로부터 깊이-우선 횡단 순서로 트리 루트 영역들의 부분집합의 리프 영역들과 연관된 제1 구문 요소들을 추출하도록 구성될 수 있다.
여기서, 상기 구문 요소들의 제1 부분집합은 각 트리 루트 영역과 연관된 구획 지시 플래그를 갖고 상기 제1 및 더 높은-차수의 계층적 레벨들의 영역은 각각 최대 계층적 레벨의 영역들에 속하지 않으며, 상기 구획 지시 플래그들은, 상기 관련 트리 루트 영역 및 상기 제1 및 더 높은-차수의 계층적 레벨의 영역이 각각 구획되는지에 대해 표시할 수 있다.
여기서, 상기 복원부는 상기 중간 세부분할에 상응하는 입상도(granularity)로 아래의 조치(measure)들, 적어도 인트라 및 인터 예측 모드 중 어떤 예측 모드를 사용할지를 결정, 스펙트럴로부터 공간적 도메인으로의 변환, 인터-예측에 대한 파라미터들을 설정 및/또는 수행, 인트라 예측에 대한 파라미터들을 설정 및/또는 수행 중 하나 이상을 수행하도록 구성될 수 있다.
여기서, 상기 복원부는 상기 중간 세부분할에 의존하는 입상도로 아래의 조치들, 적어도 인트라 및 인터 예측 모드 중 어떤 예측 모드를 사용할지를 결정, 스펙트랄 도메인으로부터 공간적 도메인으로의 변환, 인터-예측에 대한 파라미터들을 설정 및/또는 수행, 인트라 예측에 대한 파라미터들을 설정 및/또는 수행, 코딩 파라미터들의 추출 및 설정, 코딩 파라미터 잔차들을 추출하여 코딩 파라미터 예측들을 추출하고, 상기 코딩 파라미터 예측 및 작은 단순 연결 영역들의 세부분할에 의해 결정되는 더 조밀한 입상도로 상기 코딩 파라미터 예측들 및 코딩 파라미터 잔차들을 결합함으로써 코딩 파라미터들을 설정하는 것 중 하나 이상을 수행하도록 구성될 수 있다.
본 발명의 또 다른 실시예에 따른 디코딩 방법은 공간적으로 샘플링된 정보 신호를 나타내는 정보 샘플들의 배열이 세부분할된 복수의 단순 연결 영역들 각각에 대해, 데이터 스트림으로부터 페이로드 데이터를 추출하는 단계 및 각 단순 연결 영역에 대해, 상기 개별 단순 연결 영역과 연관된 코딩 파라미터들에 의해 규정되는 방식으로 개별 단순 연결 영역들에 대한 페이로드 데이터를 프로세싱함으로써, 정보 샘플들의 배열의 단순 연결 영역들에 대한 페이로드 데이터로부터 정보 샘플들의 배열을 복원하는 단계를 포함할 수 있고, 상기 추출하는 단계는, 미리 결정된 단순 연결 영역에 대해, 상기 미리 결정된 단순 연결 영역에 대해 미리 결정된 상대적인 위치적 관계를 갖는 복수의 단순 연결 영역들 내의 단순 연결 영역들을 확인하는 단계, 만일 미리 결정된 단순 연결 영역에 대해 미리 결정된 상대적인 위치적 관계를 갖는 단순 연결 영역들의 개수가 0보다 크면, 상기 데이터 스트림으로부터 미리 결정된 단순 연결 영역에 대한 병합 지시자를 추출하는 단계, 상기 병합 지시자가 미리 결정된 블록의 병합된 프로세싱을 제시하는 경우, 만일 미리 결정된 단순 연결 영역에 대해 미리 결정된 상대적인 위치적 관계를 갖는 단순 연결 영역들의 개수가 1이라면, 상기 미리 결정된 단순 연결 영역에 대한 코딩 파라미터들로서 단순 연결 영역의 코딩 파라미터들을 채택하거나, 또는 상기 데이터 스트림으로부터 미리 결정된 단순 연결 영역에 대한 예측 잔차를 추출하여 상기 미리 결정된 단순 연결 영역에 대한 미리 결정된 상대적인 위치적 관계를 갖는 단순 연결 영역들의 코딩 파라미터들로부터 미리 결정된 단순 연결 영역에 대한 코딩 파라미터들을 예측하는 단계를 포함할 수 있다.
본 발명의 또 다른 실시예에 따른 2-차원(two-dimensional) 정보 신호가 코딩되어진 데이터 스트림을 디코딩하는 방법은, 상기 데이터 스트림 내에 포함된 구문 요소들의 제1 부분집합에 따라, 회귀적 멀티-구획에 의해 2-차원 정보 신호의 공간적 샘플링을 표현하는 정보 샘플들의 배열을 다른 사이즈들의 복수의 단순 연결 영역들로 공간적으로 세부분할하는 단계, 상기 제1 부분집합으로부터 분리된, 상기 데이터 스트림 내 구문 요소들의 제2 부분집합에 따라, 상기 정보 샘플들의 배열의, 그 통합은 복수의 단순 연결 영역들인, 단순 연결 영역들의 분리 부분집합들로의 중간 세부분할을 획득하기 위해 복수의 단순 연결 영역들의 공간적으로 이웃하는 단순 연결 영역들을 결합하는 단계 및 중간 세부분할을 이용해 상기 데이터 스트림으로부터 상기 정보 샘플들의 배열을 복원하는 단계를 포함할 수 있다.
본 발명의 또 다른 실시예에 따른 공간적으로 샘플링된 정보 신호를 나타내는 정보 샘플들의 배열을, 정보 샘플들의 배열이 세부분할된 복수의 단순 연결 영역들 각각에 대해 페이로드 데이터, 및 개별 단순 연결 영역에 연관된 코딩 파라미터들로 인코딩하여, 개별 단순 연결 영역에 대한 페이로드 데이터가 개별 단순 연결 영역에 대한 페이로드 데이터로부터 복원되는 방식을 규정하도록 구성된 인코더는 미리 결정된 단순 연결 영역에 대해, 상기 미리 결정된 단순 연결 영역에 대해 미리 결정된 상대적인 위치적 관계를 갖는 복수의 단순 연결 영역들 내의 단순 연결 영역들을 확인할 수 있고, 만일 미리 결정된 단순 연결 영역에 대해 미리 결정된 상대적인 위치적 관계를 갖는 단순 연결 영역들의 개수가 0보다 크면, 상기 미리 결정된 단순 연결 영역에 대한 병합 지시자를 상기 데이터 스트림 내로 삽입할 수 있고, 상기 병합 지시자가 미리 결정된 블록의 병합된 프로세싱을 제시하는 경우, 만일 미리 결정된 단순 연결 영역에 대해 미리 결정된 상대적인 위치적 관계를 갖는 단순 연결 영역들의 개수가 1이라면, 상기 미리 결정된 단순 연결 영역의 코딩 파라미터들을 상기 데이터 스트림 내로 삽입하지 않거나, 또는 상기 데이터 스트림 내로 미리 결정된 단순 연결 영역에 대한 예측 잔차를 삽입하여 상기 미리 결정된 단순 연결 영역에 대한 미리 결정된 상대적인 위치적 관계를 갖는 단순 연결 영역들의 코딩 파라미터들로부터 미리 결정된 단순 연결 영역에 대한 코딩 파라미터들을 예측하도록 구성될 수 있다.
여기서, 상기 인코더는 만일 미리 결정된 단순 연결 영역에 대해 미리 결정된 상대적인 위치적 관계를 갖는 단순 연결 영역들의 개수가 1보다 크다면, 상기 단순 연결 영역들과 연관된 코딩 파라미터들이 서로 일치하는지 체크하고, 만일 그렇다면, 상기 미리 결정된 단순 연결 영역의 코딩 파라미터들을 상기 데이터 스트림 내로 삽입하지 않거나, 또는 상기 데이터 스트림 내로 예측 잔차를 삽입함으로써, 상기 미리 결정된 단순 연결 영역에 대한 미리 결정된 상대적인 위치적 관계를 갖는 단순 연결 영역들의 개수의 코딩 파라미터들로부터 미리 결정된 단순 연결 영역에 대한 코딩 파라미터들을 예측하도록 구성될 수 있다.
본 발명의 또 다른 실시예에 따른 2-차원(two-dimensional) 정보 신호가 코딩되어진 데이터 스트림을 생성하는 인코더는, 회귀적 멀티-구획에 의해 2-차원 정보 신호의 공간적 샘플링을 표현하는 정보 샘플들의 배열을 다른 사이즈들의 복수의 단순 연결 영역들로 공간적으로 세부분할함을 정의하는 구문 요소들의 제1 부분집합 및 상기 정보 샘플들의 배열의, 그 통합은 복수의 단순 연결 영역들인, 단순 연결 영역들의 분리 부분집합들로의 중간 의 세부분할을 획득하기 위해 복수의 단순 연결 영역들의 공간적으로 이웃하는 단순 연결 영역들의 결합을 정의하는, 상기 제1 부분집합으로부터 분리된 구문 요소들의 제2 부분집합을 결정하도록 구성된 세부분할/병합 스테이지 및 상기 구문 요소들의 제1 및 제2 부분집합을 상기 데이터 스트림 내로 삽입함으로써 상기 중간 세부분할을 이용해 상기 정보 샘플들의 배열을 데이터 스트림으로 코딩하도록 구성된 데이터 스트림 생성부를 포함할 수 있다.
본 발명의 또 다른 실시예에 따른 공간적으로 샘플링된 정보 신호를 나타내는 정보 샘플들의 배열을, 정보 샘플들의 배열이 세부분할된 복수의 단순 연결 영역들 각각에 대해 페이로드 데이터, 및 개별 단순 연결 영역에 연관된 코딩 파라미터들로 인코딩하여, 개별 단순 연결 영역에 대한 페이로드 데이터가 개별 단순 연결 영역에 대한 페이로드 데이터로부터 복원되는 방식을 규정하도록 구성된 인코더는, 미리 결정된 단순 연결 영역에 대한 코딩 파라미터들의 제1 부분집합을 상기 데이터 스트림 내로 삽입할 수 있고, 미리 결정된 단순 연결 영역에 대해, 상기 미리 결정된 단순 연결 영역에 대해 미리 결정된 상대적인 위치적 관계를 갖는 복수의 단순 연결 영역들 내의 단순 연결 영역들을 확인할 수 있고, 만일 미리 결정된 단순 연결 영역에 대해 미리 결정된 상대적인 위치적 관계를 갖는 단순 연결 영역들의 개수가 0보다 크면, 상기 미리 결정된 단순 연결 영역에 대한 병합 지시자를 상기 데이터 스트림 내로 삽입할 수 있고, 상기 병합 지시자가 미리 결정된 블록의 병합된 프로세싱을 제시하는 경우, 미리 결정된 거리 척도(measure)에 따라, 미리 결정된 단순 연결 영역에 대해 미리 결정된 상대적인 위치적 관계를 갖는 단순 연결 영역들 각각에 대해, 상기 미리 결정된 단순 연결 영역의 코딩 파라미터들의 제1 부분집합 및 미리 결정된 단순 연결 영역에 대해 미리 결정된 상대적인 위치적 관계를 갖는 개별 단순 연결 영역의 코딩 파라미터들의 상응하는 부분집합 간의 거리를 계산하고, 상기 제1 부분집합으로부터 분리된, 미리 결정된 단순 연결 영역에 대한 코딩 파라미터들의 제2 부분집합을 상기 데이터 스트림 내로 삽입하지 않거나, 또는 상기 미리 결정된 단순 연결 영역에 대한 예측 잔차를 데이터 스트림 내로 삽입하여 최소 거리를 갖는 단순 연결 영역의 코딩 파라미터들의 상응하는 부분집합으로부터 상기 미리 결정된 단순 연결 영역에 대한 코딩 파라미터들의 제2 부분집합을 예측하도록 구성될 수 있다.
본 발명의 또 다른 실시예에 따른 공간적으로 샘플링된 정보 신호를 나타내는 정보 샘플들의 배열을, 정보 샘플들의 배열이 세부분할된 복수의 단순 연결 영역들 각각에 대해 페이로드 데이터, 및 개별 단순 연결 영역에 연관된 코딩 파라미터들로 인코딩하여, 개별 단순 연결 영역에 대한 페이로드 데이터가 개별 단순 연결 영역에 대한 페이로드 데이터로부터 복원되는 방식을 규정하도록 구성된 인코딩 방법은, 미리 결정된 단순 연결 영역에 대해, 상기 미리 결정된 단순 연결 영역에 대해 미리 결정된 상대적인 위치적 관계를 갖는 복수의 단순 연결 영역들 내의 단순 연결 영역들을 확인하는 단계, 만일 미리 결정된 단순 연결 영역에 대해 미리 결정된 상대적인 위치적 관계를 갖는 단순 연결 영역들의 개수가 0보다 크면, 상기 미리 결정된 단순 연결 영역에 대한 병합 지시자를 상기 데이터 스트림 내로 삽입하는 단계, 상기 병합 지시자가 미리 결정된 블록의 병합된 프로세싱을 제시하는 경우, 만일 미리 결정된 단순 연결 영역에 대해 미리 결정된 상대적인 위치적 관계를 갖는 단순 연결 영역들의 개수가 1이라면, 상기 미리 결정된 단순 연결 영역의 코딩 파라미터들을 상기 데이터 스트림 내로 삽입하지 않거나, 또는 상기 데이터 스트림 내로 미리 결정된 단순 연결 영역에 대한 예측 잔차를 삽입하여 상기 미리 결정된 단순 연결 영역에 대한 미리 결정된 상대적인 위치적 관계를 갖는 단순 연결 영역들의 코딩 파라미터들로부터 미리 결정된 단순 연결 영역에 대한 코딩 파라미터들을 예측하는 단계를 포함할 수 있다.
본 발명의 또 다른 실시예에 따른 2-차원(two-dimensional) 정보 신호가 코딩되어진 데이터 스트림을 생성하는 방법은, 회귀적 멀티-구획에 의해 2-차원 정보 신호의 공간적 샘플링을 표현하는 정보 샘플들의 배열을 다른 사이즈들의 복수의 단순 연결 영역들로 공간적으로 세부분할함을 정의하는 구문 요소들의 제1 부분집합 및 상기 정보 샘플들의 배열의, 그 통합은 복수의 단순 연결 영역들인, 단순 연결 영역들의 분리 부분집합들로의 중간 세부분할을 획득하기 위해 복수의 단순 연결 영역들의 공간적으로 이웃하는 단순 연결 영역들의 결합을 정의하는, 상기 제1 부분집합으로부터 분리된 구문 요소들의 제2 부분집합을 결정하는 단계 및 상기 구문 요소들의 제1 및 제2 부분집합을 데이터 스트림 내로 삽입함으로써 상기 중간 세부분할을 이용해 상기 정보 샘플들의 배열을 상기 데이터 스트림으로 코딩하는 단계를 포함할 수 있다.
본 발명의 또 다른 실시예에 따른 컴퓨터로 판독 가능한 디지털 저장 매체는, 컴퓨터에서 동작할 때, 상술한 디코딩 방법, 인코딩 방법 및 데이터 스트림 생성 방법 중 어느 하나의 방법을 수행하는 프로그램 코드를 갖는 컴퓨터 프로그램을 저장할 수 있다.
본 발명의 또 다른 실시예에 따른 공간적으로 샘플링된 정보 신호를 나타내는 인코딩된 정보 샘플들의 배열을 갖는 데이터 스트림은, 상기 데이터 스트림은 정보 샘플들의 배열이 세부-분할되는 복수의 단순 연결 영역들 각각에 대한 페이로드 데이터, 및 상기 개별 단순 연결 영역과 연관된 코딩 파라미터를 포함하여, 개별 단순 연결 영역에 대한 페이로드 데이터가 개별 단순 연결 영역에 대한 페이로드 데이터로부터 복원되는 방식을 규정할 수 있고, 상기 데이터 스트림은 또한, 미리 결정된 단순 연결 영역들에 대해 미리 결정된 상대적인 위치적 관계를 갖는 복수의 단순 연결 영역들 내의 단순 연결 영역들의 개수가 0보다 큰, 미리 결정된 단순 연결 영역에 대한 병합 지시자, 만약 상기 미리 결정된 단순 연결 영역에 대한 병합 지시자가 병합된 프로세싱을 제시하고, 만약 상기 미리 결정된 단순 연결 영역에 대해 미리 결정된 상대적인 위치적 관계를 갖는 단순 연결 영역들의 개수가 1인 경우, 상기 데이터 스트림 내에서의 개별적 미리 결정된 단순 연결 영역의 코딩 파라미터들의 부재, 또는 상기 미리 결정된 단순 연결 영역에 대한 미리 결정된 상대적인 위치적 관계를 갖는 단순 연결 영역들의 코딩 파라미터들로부터 개별적 미리 결정된 단순 연결 영역에 대한 코딩 파라미터들의 예측함에 의한 복원을 위한 개별적 미리 결정된 단순 연결 영역에 대한 예측 잔차를 더 포함할 수 있다.
여기서, 상기 데이터 스트림은, 만일 미리 결정된 단순 연결 영역에 대해 미리 결정된 상대적인 위치적 관계를 갖는 단순 연결 영역들의 개수가 1보다 크고, 만약 상기 단순 연결 영역들과 연관된 코딩 파라미터들이 서로 일치한다면, 개별적 미리 결정된 단순 연결 영역을 위한 코딩 파라미터들의 부재, 또는 상기 미리 결정된 단순 연결 영역에 대한 미리 결정된 상대적인 위치적 관계를 갖는 단순 연결 영역들의 개수의 코딩 파라미터들로부터 개별적 미리 결정된 단순 연결 영역에 대한 코딩 파라미터들의 예측함에 의한 복원을 위한 개별적 미리 결정된 단순 연결 영역에 대한 예측 잔차를 더 포함할 수 있다.
본 발명의 또 다른 실시예에 따른 2-차원(two-dimensional) 정보 신호가 코딩되어진 데이터 스트림은, 회귀적 멀티-구획에 의해 2-차원 정보 신호의 공간적 샘플링을 표현하는 정보 샘플들의 배열을 다른 사이즈들의 복수의 단순 연결 영역들로 공간적으로 세부분할함을 규정하는 구문 요소들의 제1 부분집합 및 상기 제1 부분집합으로부터 분리된, 상기 정보 샘플들의 배열의 단순 연결 영역들의, 그 통합은 복수의 단순 연결 영역들인 분리 부분집합으로의 중간 세부분할을 획득하기 위한 복수의 단순 연결 영역들의 공간적으로 이웃하는 단순 연결 영역들의 결합을 규정하는, 구문 요소들의 제2 부분집합을 포함할 수 있고, 상기 정보 샘플들의 배열은 상기 중간 세부분할에 따라 상기 데이터 스트림으로 코딩될 수 있다.
어떤 실시예에서, 프로그래머블 논리 장치(예를 들면 필드 프로그래머블 게이트 배열)는 여기 기술된 방법의 기능성 일부 또는 전부를 수행하도록 사용될 수 있다. 어떤 실시예에서, 필드 프로그래머블 게이트 배열은 마이크로프로세서와 협업하여 여기 기술된 방법들 중의 하나를 수행할 수 있다. 일반적으로, 상기 방법은 어느 하드웨어 장치에 의해서도 바람직하게 수행될 수 있다.
상술한 실시예들은 단지 본 발명의 사상을 보여줄 뿐이다. 여기 기술된 배열과 세부사항에 대한 수정 및 변경들이 당업자들에게 명백함이 이해되어야 한다. 하기의 특허 청구범위의 영역에 의해서만 제한되며 상술된 실시예의 기술이나 설명의 방법에 의해서 표현되는 특정 사항에 의하여 제한되지 않음이 의도된다.
Claims (30)
- 공간적으로 샘플링된 정보 신호를 나타내는 정보 샘플들의 배열이 세부분할된 복수의 블록들 각각에 대하여, 데이터 스트림으로부터 페이로드 데이터를 추출하도록 구성된 추출부; 및
각 블록에 대하여, 해당 블록과 연관된 코딩 파라미터들에 의해 규정된 방식으로 해당 블록에 대한 페이로드 데이터를 프로세싱함으로써, 상기 정보 샘플들의 배열의 상기 블록들에 대한 상기 페이로드 데이터로부터 상기 정보 샘플들의 배열을 복원하도록 구성된 복원부;를 포함하고,
상기 추출부는
소정의 블록에 대하여, 상기 소정의 블록에 대한 상기 복수의 블록들 내에 있는 블록들 부분집합으로서 상기 소정의 블록과 소정의 상대적인 위치적 관계를 가지는 블록들 부분집합을 포함하는 후보 집합을 확인하고,
상기 소정의 블록과 상기 소정의 상대적인 위치적 관계를 가지는 블록들 부분집합의 블록들의 개수가 0보다 크면, 상기 소정의 블록에 대한 병합 지시자를 상기 데이터 스트림으로부터 추출하고,
상기 소정의 블록과 상기 소정의 상대적인 위치적 관계를 가지는 블록들 부분집합의 블록들의 개수가 1보다 크고 상기 코딩 파라미터들이 서로 동일하지 않으면, 상기 병합 지시자가 상기 소정의 블록의 병합 프로세싱을 제시하는 경우, 상기 후보 집합의 진부분집합을 확인할 수 있게 해주는 참조 확인자를 상기 데이터 스트림으로부터 추출하고 상기 진부분집합의 상기 코딩 파라미터들로부터 상기 소정의 블록의 상기 코딩 파라미터들을 채택하거나 예측하며,
상기 병합 지시자와 상기 참조 확인자로 구성되는 병합 정보를 정의하는 빈스(bins) 시퀀스가 이웃 블록들의 이미 전송된 구문 요소들을 토대로 도출되는 상기 빈스 시퀀스의 일부 빈스에 대한 문맥 모델로 문맥 모델링을 사용하여 엔트로피 코딩되어 있고, 상기 빈스 시퀀스의 다른 빈스는 고정된 문맥 모델로 코딩되어 있으며,
상기 복수의 블록들은 직사각형 블록들인, 디코더. - 청구항 1에 있어서,
멀티-트리 세부분할을 사용하여, 상기 블록들이 다른 사이즈들을 갖도록 회귀적으로(recursively) 다중 분할함(multi-partitioning)으로써 상기 정보 샘플들의 배열을 상기 블록들로 공간적으로 세부분할하도록 구성된 세부-분할부;를 더 포함하고,
상기 추출부는 상기 블록들을 깊이-우선 횡단 순서(traversal order)로 처리하도록 구성된, 디코더. - 청구항 2에 있어서,
상기 세부-분할부는, 상기 정보 샘플들의 배열을 최대 영역 사이즈의 트리 루트 영역들로 공간적으로 분할하고, 트리 루트 영역들의 적어도 부분집합을 회귀적으로 다중 분할함으로써 상기 트리 루트 영역들의 부분집합을 멀티-트리 세부분할 정보에 따라 다른 사이즈들의 더 작은 블록들로 세부분할하며, 상기 트리 루트 영역들은 상기 멀티-트리 세부분할 정보에 따라 구획되지 않으며, 상기 더 작은 블록들은 상기 복수의 블록들을 형성하는, 디코더. - 청구항 1 또는 청구항 2에 있어서,
상기 추출부는, 상기 소정의 블록과 상기 소정의 상대적인 위치적 관계를 가지는 블록들을 확인함에 있어, 상기 소정의 블록의 경계에 있는 정보 샘플에 인접한 정보 샘플들이 만약 있다면, 그 정보 샘플들 안에 있는 블록들을 확인하도록 구성된, 디코더. - 청구항 1에 있어서, 상기 데이터 스트림이 깊이 정보를 포함하는, 디코더.
- 청구항 1에 있어서, 상기 정보 샘플들의 배열은 상이한 컬러 성분들과 관련되어 있으면서 픽쳐의 컬러 평면들을 형성하는 샘플 배열들 중 하나이고,
상기 디코더는 상기 픽쳐의 상이한 컬러 평면들을 독립적으로 디코딩하도록 구성되는, 디코더. - 2-차원 정보 신호가 코딩되어 있는 데이터 스트림을 디코딩하는 디코더로서,
상기 데이터 스트림에 포함된 제1 구문 요소들 부분집합에 따라서, 상기 2-차원 정보 신호의 공간적 샘플링을 나타내는 정보 샘플들의 배열을, 회귀적인 다중 분할에 의해, 다른 크기의 복수의 블록들로 공간적으로 세부분할하도록 구성된 세부분할부;
상기 데이터 스트림 내에서 상기 제1 구문 요소들 부분집합과 분리되어 있는 제2 구문 요소들 부분집합에 따라서, 상기 복수의 블록들에 공간적으로 이웃하는 블록들을 결합하여, 상기 정보 샘플들의 배열의 분리된 블록들 집합으로의 중간 세부분할을 획득하도록 구성되며, 여기서 상기 분리된 블록들 집합들의 합집합은 상기 복수의 블록들인, 병합부; 및
소정의 블록들에 이웃하고 상기 소정의 블록들과 결합된 블록들로부터 상기 소정의 블록들에 대한 코딩 파라미터들을 채택함으로써, 상기 중간 세부분할을 사용하여 상기 데이터 스트림으로부터 상기 정보 샘플들의 배열을 복원하도록 구성된 복원부;
를 포함하며,
상기 제2 구문 요소들 부분집합이 병합 정보를 정의하며, 상기 병합 정보를 정의하는 빈스 시퀀스는 이웃 블록들의 이미 전송된 구문 요소들을 토대로 도출되는 빈스 시퀀스의 일부 빈스에 대한 문맥 모델로 문맥 모델링을 사용하여 엔트로피 코딩되어 있고 상기 빈스 시퀀스의 다른 빈스는 고정된 문맥 모델로 코딩되어 있으며,
상기 복수의 블록들은 직사각형 블록들인, 디코더. - 청구항 7에 있어서, 상기 데이터 스트림이 깊이 정보를 포함하는, 디코더.
- 청구항 7에 있어서, 상기 정보 샘플들의 배열은 상이한 컬러 성분들과 관련되어 있으면서 픽쳐의 컬러 평면들을 형성하는 샘플 배열들 중 하나이고,
상기 디코더는 상기 픽쳐의 상이한 컬러 평면들을 독립적으로 디코딩하도록 구성되는, 디코더. - 공간적으로 샘플링된 정보 신호를 나타내는 정보 샘플들의 배열이 세부분할된 복수의 블록들 각각에 대하여, 데이터 스트림으로부터 페이로드 데이터를 추출하는 단계; 및
각 블록에 대하여, 해당 블록과 연관된 코딩 파라미터들에 의해 규정된 방식으로 해당 블록에 대한 페이로드 데이터를 프로세싱함으로써, 상기 정보 샘플들의 배열의 상기 블록들에 대한 상기 페이로드 데이터로부터 상기 정보 샘플들의 배열을 복원하는 단계;
를 포함하고,
상기 추출하는 단계가
소정의 블록에 대하여, 상기 소정의 블록에 대한 상기 복수의 블록들 내에 있는 블록들 부분집합으로서 상기 소정의 블록과 소정의 상대적인 위치적 관계를 가지는 블록들 부분집합을 포함하는 후보 집합을 확인하는 단계;
상기 소정의 블록과 상기 소정의 상대적인 위치적 관계를 가지는 블록들 부분집합의 블록들의 개수가 0보다 크면, 상기 소정의 블록에 대한 병합 지시자를 상기 데이터 스트림으로부터 추출하는 단계; 및
상기 소정의 블록과 상기 소정의 상대적인 위치적 관계를 가지는 블록들 부분집합의 블록들의 개수가 1보다 크고 상기 코딩 파라미터들이 서로 동일하지 않으면, 상기 병합 지시자가 상기 소정의 블록의 병합 프로세싱을 제시하는 경우, 상기 후보 집합의 진부분집합을 확인할 수 있게 해주는 참조 확인자를 상기 데이터 스트림으로부터 추출하고 상기 진부분집합의 상기 코딩 파라미터들로부터 상기 소정의 블록의 상기 코딩 파라미터들을 채택하거나 예측하는 단계;를 포함하며,
상기 병합 지시자와 상기 참조 확인자로 구성되는 병합 정보를 정의하는 빈스 시퀀스가 이웃 블록들의 이미 전송된 구문 요소들을 토대로 도출되는 상기 빈스 시퀀스의 일부 빈스에 대한 문맥 모델로 문맥 모델링을 사용하여 엔트로피 코딩되어 있고, 상기 빈스 시퀀스의 다른 빈스는 고정된 문맥 모델로 코딩되어 있으며,
상기 복수의 블록들은 직사각형 블록들인, 디코딩 방법. - 청구항 10에 있어서, 상기 데이터 스트림이 깊이 정보를 포함하는, 디코딩 방법.
- 청구항 10에 있어서, 상기 정보 샘플들의 배열은 상이한 컬러 성분들과 관련되어 있으면서 픽쳐의 컬러 평면들을 형성하는 샘플 배열들 중 하나이고,
상기 픽쳐의 상이한 컬러 평면들이 독립적으로 디코딩되는, 디코딩 방법. - 2-차원 정보 신호가 코딩되어 있는 데이터 스트림을 디코딩하는 방법으로서,
상기 데이터 스트림에 포함된 제1 구문 요소들 부분집합에 따라서, 상기 2-차원 정보 신호의 공간적 샘플링을 나타내는 정보 샘플들의 배열을, 회귀적인 다중 분할에 의해, 다른 크기의 복수의 블록들로 공간적으로 세부분할하는 단계;
상기 데이터 스트림 내에서 상기 제1 구문 요소들 부분집합과 분리되어 있는 제2 구문 요소들 부분집합에 따라서, 상기 복수의 블록들에 공간적으로 이웃하는 블록들을 결합하여, 상기 정보 샘플들의 배열의 분리된 블록들 집합으로의 중간 세부분할을 획득하는 단계로서, 여기서 상기 분리된 블록들 집합들의 합집합은 상기 복수의 블록들인 단계; 및
소정의 블록들에 이웃하고 상기 소정의 블록들과 결합된 블록들로부터 상기 소정의 블록들에 대한 코딩 파라미터들을 채택함으로써, 상기 중간 세부분할을 사용하여 상기 데이터 스트림으로부터 상기 정보 샘플들의 배열을 복원하는 단계;
를 포함하며,
상기 제2 구문 요소들 부분집합이 병합 정보를 정의하며, 상기 병합 정보를 정의하는 빈스 시퀀스는 이웃 블록들의 이미 전송된 구문 요소들을 토대로 도출되는 빈스 시퀀스의 일부 빈스에 대한 문맥 모델로 문맥 모델링을 사용하여 엔트로피 코딩되어 있고 상기 빈스 시퀀스의 다른 빈스는 고정된 문맥 모델로 코딩되어 있으며,
상기 복수의 블록들은 직사각형 블록들인, 디코딩 방법. - 청구항 13에 있어서, 상기 데이터 스트림이 깊이 정보를 포함하는, 디코딩 방법.
- 청구항 13에 있어서, 상기 정보 샘플들의 배열은 상이한 컬러 성분들과 관련되어 있으면서 픽쳐의 컬러 평면들을 형성하는 샘플 배열들 중 하나이고,
상기 픽쳐의 상이한 컬러 평면들이 독립적으로 디코딩되는, 디코딩 방법. - 2-차원 정보 신호가 코딩되어 있는 데이터 스트림을 생성하는 인코더로서,
상기 2-차원 정보 신호의 공간적 샘플링을 나타내는 정보 샘플들의 배열을, 회귀적인 다중 분할에 의해, 다른 크기의 복수의 블록들로 공간적으로 세부분할하는 것을 정의하는 제1 구문 요소들 부분집합과, 상기 제1 구문 요소들 부분집합과 분리되어 있고 상기 복수의 블록들에 공간적으로 이웃하는 블록들을 결합하는 것을 정의하는 제2 구문 요소들 부분집합을 결정하여, 상기 정보 샘플들의 배열의 분리된 블록들 집합으로의 중간 세부분할을 획득하도록 구성되며, 여기서 상기 분리된 블록들 집합들의 합집합은 상기 복수의 블록들인, 세부분할부/병합 스테이지; 및
상기 제1 및 제2 구문 요소들 부분집합을 상기 데이터 스트림에 삽입함으로써 상기 정보 샘플들의 배열을 상기 중간 세부분할을 사용하여 데이터 스트림으로 코딩하도록 구성되는 데이터 스트림 생성기;를 포함하며,
소정의 블록들에 대한 코딩 파라미터들이, 상기 소정의 블록들에 이웃하고 상기 소정의 블록들과 결합되는 블록들로부터 채택될 수 있도록, 상기 제2 구문 요소들 부분집합을 통해서 표시되고,
상기 제2 구문 요소들 부분집합이 병합 정보를 정의하며, 상기 병합 정보를 정의하는 빈스 시퀀스는 이웃 블록들의 이미 전송된 구문 요소들을 토대로 도출되는 빈스 시퀀스의 일부 빈스에 대한 문맥 모델로 문맥 모델링을 사용하여 엔트로피 코딩되어 있고 상기 빈스 시퀀스의 다른 빈스는 고정된 문맥 모델로 코딩되어 있으며,
상기 복수의 블록들은 직사각형 블록들인, 인코더. - 청구항 16에 있어서, 상기 데이터 스트림이 깊이 정보를 포함하는, 인코더.
- 청구항 16에 있어서, 상기 정보 샘플들의 배열은 상이한 컬러 성분들과 관련되어 있으면서 픽쳐의 컬러 평면들을 형성하는 샘플 배열들 중 하나이고,
상기 인코더는 상기 픽쳐의 상이한 컬러 평면들을 독립적으로 인코딩하도록 구성되는, 인코더. - 공간적으로 샘플링된 정보 신호를 나타내는 정보 샘플들의 배열을, 상기 정보 샘플들의 배열이 세부분할된 복수의 블록들 각각에 대한 페이로드 데이터와, 상기 정보 샘플들의 배열이 각각의 블록에 대한 상기 페이로드 데이터로부터 복원되는 방식을 규정하도록 상기 각각의 블록에 연관된 코딩 파라미터들로, 인코딩하는 방법으로서,
소정의 블록에 대하여, 상기 복수의 블록들 내에 있는 블록들 부분집합으로서 상기 소정의 블록과 소정의 상대적인 위치적 관계를 가지는 블록들 부분집합을 포함하는 후보 집합을 확인하는 단계;
상기 소정의 블록과 상기 소정의 상대적인 위치적 관계를 가지는 블록들 부분집합의 블록들의 개수가 0보다 크면, 상기 소정의 블록이 상기 후보 집합과 관련하여 병합 프로세싱을 해야 하는지를 나타내는 상기 소정의 블록에 대한 병합 지시자를 데이터 스트림에 삽입하고,
상기 소정의 블록과 상기 소정의 상대적인 위치적 관계를 가지는 블록들 부분집합의 블록들의 개수가 1보다 크고 상기 코딩 파라미터들이 서로 동일하지 않으면, 상기 병합 지시자가 상기 소정의 블록의 병합 프로세싱을 제시하는 경우, 상기 소정의 블록의 상기 코딩 파라미터들이 채택되거나 예측될 수 있는 상기 후보 집합의 진부분집합을 확인할 수 있게 해주는 참조 확인자를 삽입하는 단계;를 포함하며,
상기 병합 지시자와 상기 참조 확인자로 구성되는 병합 정보를 정의하는 빈스 시퀀스가 이웃 블록들의 이미 전송된 구문 요소들을 토대로 도출되는 상기 빈스 시퀀스의 일부 빈스에 대한 문맥 모델로 문맥 모델링을 사용하여 엔트로피 코딩되어 있고, 상기 빈스 시퀀스의 다른 빈스는 고정된 문맥 모델로 코딩되어 있으며,
상기 복수의 블록들은 직사각형 블록들인, 인코딩 방법. - 청구항 19에 있어서, 상기 데이터 스트림이 깊이 정보를 포함하는, 인코딩 방법.
- 청구항 19에 있어서, 상기 정보 샘플들의 배열은 상이한 컬러 성분들과 관련되어 있는 샘플 배열들 중 하나이고,
상기 픽쳐의 상이한 컬러 평면들이 독립적으로 인코딩되는, 인코딩 방법. - 2-차원 정보 신호가 코딩되어 있는 데이터 스트림을 생성하는 방법으로서,
상기 2-차원 정보 신호의 공간적 샘플링을 나타내는 정보 샘플들의 배열을, 회귀적인 다중 분할에 의해, 다른 크기의 복수의 블록들로 공간적으로 세부분할하는 것을 정의하는 제1 구문 요소들 부분집합과, 상기 제1 구문 요소들 부분집합과 분리되어 있고 상기 복수의 블록들에 공간적으로 이웃하는 블록들을 결합하는 것을 정의하는 제2 구문 요소들 부분집합을 결정하여, 상기 정보 샘플들의 배열의 분리된 블록들 집합으로의 중간 세부분할을 획득하는 단계로서, 여기서 상기 분리된 블록들 집합들의 합집합은 상기 복수의 블록들인 단계; 및
상기 제1 및 제2 구문 요소들 부분집합을 상기 데이터 스트림에 삽입함으로써 상기 정보 샘플들의 배열을 상기 중간 세부분할을 사용하여 데이터 스트림으로 코딩하되, 소정의 블록들에 대한 코딩 파라미터들이, 상기 소정의 블록들에 이웃하고 상기 소정의 블록들과 결합되는 블록들로부터 채택될 수 있도록, 상기 제2 구문 요소들 부분집합을 통해서 표시되고, 상기 제2 구문 요소들 부분집합이 병합 정보를 정의하며, 상기 병합 정보를 정의하는 빈스 시퀀스는 이웃 블록들의 이미 전송된 구문 요소들을 토대로 도출되는 빈스 시퀀스의 일부 빈스에 대한 문맥 모델로 문맥 모델링을 사용하여 엔트로피 코딩되고 상기 빈스 시퀀스의 다른 빈스는 고정된 문맥 모델로 코딩되도록 코딩하는 단계;를 포함하며,
상기 복수의 블록들은 직사각형 블록들인, 데이터 스트림 생성 방법. - 청구항 22에 있어서, 상기 데이터 스트림이 깊이 정보를 포함하는, 데이터 스트림 생성 방법.
- 청구항 22에 있어서,상기 정보 샘플들의 배열은 상이한 컬러 성분들과 관련되어 있는 샘플 배열들 중 하나이고,
상기 픽쳐의 상이한 컬러 평면들이 독립적으로 인코딩되는, 데이터 스트림 생성 방법. - 공간적으로 샘플링된 정보 신호를 나타내는 정보 샘플들의 배열이 인코딩되어 있는 데이터 스트림을 디코딩하는 방법으로서,
상기 정보 샘플들의 배열이 세부분할된 복수의 블록들 각각에 대한 페이로드 데이터와, 상기 정보 샘플들의 배열이 각각의 블록에 대한 상기 페이로드 데이터로부터 복원되는 방식을 규정하도록 상기 각각의 블록에 연관된 코딩 파라미터들을 포함하는 데이터 스트림을 받아들이고 디코딩하는 단계;를 포함하며,
상기 데이터 스트림은 또한,
소정의 블록과 소정의 상대적인 위치적 관계를 가지는 블록들 부분집합의 블록들의 개수가 0보다 큰 경우, 소정의 블록들이, 상기 소정의 블록과 상기 소정의 상대적인 위치적 관계를 가지는 상기 복수의 블록들 내에 있는 블록들 부분집합을 포함하는 후보 집합과 관련하여, 병합 프로세싱을 해야 하는지를 나타내는, 상기 소정의 블록들에 대한 병합 지시자; 및
상기 소정의 블록과 상기 소정의 상대적인 위치적 관계를 가지는 블록들 부분집합의 블록들의 개수가 1보다 크고 상기 코딩 파라미터들이 서로 동일하지 않은 경우, 상기 병합 지시자가 병합 프로세싱을 제시하는 소정의 블록들에 대하여, 상기 소정의 블록들에 대한 상기 코딩 파라미터들이 채택되거나 예측될 수 있는 상기 후보 집합의 진부분집합을 확인할 수 있게 해주는 참조 확인자;를 포함하며,
상기 병합 지시자와 상기 참조 확인자로 구성되는 병합 정보를 정의하는 빈스 시퀀스가 이웃 블록들의 이미 전송된 구문 요소들을 토대로 도출되는 상기 빈스 시퀀스의 일부 빈스에 대한 문맥 모델로 문맥 모델링을 사용하여 엔트로피 코딩되어 있고, 상기 빈스 시퀀스의 다른 빈스는 고정된 문맥 모델로 코딩되어 있으며,
상기 복수의 블록들은 직사각형 블록들인, 디코딩 방법. - 청구항 25에 있어서, 상기 데이터 스트림이 깊이 정보를 포함하는, 디코딩 방법.
- 청구항 25에 있어서, 상기 정보 샘플들의 배열은 상이한 컬러 성분들과 관련되어 있으면서 픽쳐의 컬러 평면들을 형성하는 샘플 배열들 중 하나이고,
상기 픽쳐의 상이한 컬러 평면들이 독립적으로 디코딩되는, 디코딩 방법. - 2-차원 정보 신호가 인코딩되어 있는 데이터 스트림을 디코딩하는 방법으로서,
상기 2-차원 정보 신호의 공간적 샘플링을 나타내는 정보 샘플들의 배열을, 회귀적인 다중 분할에 의해, 다른 크기의 복수의 블록들로 공간적으로 세부분할하는 것을 정의하는 제1 구문 요소들 부분집합과;
상기 제1 구문 요소들 부분집합과 분리되어 있고, 상기 정보 샘플들의 배열의 분리된 블록들 집합으로의 중간 세부분할을 획득할 수 있도록 블록들을 상기 복수의 블록들에 공간적으로 이웃하는 블록들과 결합하는 것을 정의하되, 여기서 상기 분리된 블록들 집합들의 합집합은 상기 복수의 블록들이 되게 하는, 제2 구문 요소들 부분집합;을 포함하는 데이터 스트림을 받아들이고 디코딩하는 단계를 포함하며,
상기 정보 샘플들의 배열이 상기 중간 세부분할을 사용하여 코딩되고, 소정의 블록들에 대한 코딩 파라미터들이, 상기 소정의 블록들에 이웃하고 상기 소정의 블록들과 결합되는 블록들로부터 채택될 수 있도록, 상기 제2 구문 요소들 부분집합을 통해서 표시되며,
상기 제2 구문 요소들 부분집합이 병합 정보를 정의하고, 상기 병합 정보를 정의하는 빈스 시퀀스는 이웃 블록들의 이미 전송된 구문 요소들을 토대로 도출되는 빈스 시퀀스의 일부 빈스에 대한 문맥 모델로 문맥 모델링을 사용하여 엔트로피 코딩되어 있고 상기 빈스 시퀀스의 다른 빈스는 고정된 문맥 모델로 코딩되어 있으며,
상기 복수의 블록들은 직사각형 블록들인, 디코딩 방법. - 청구항 28에 있어서, 상기 데이터 스트림이 깊이 정보를 포함하는, 디코딩 방법.
- 청구항 28에 있어서, 상기 정보 샘플들의 배열은 상이한 컬러 성분들과 관련되어 있으면서 픽쳐의 컬러 평면들을 형성하는 샘플 배열들 중 하나이고,
상기 픽쳐의 상이한 컬러 평면들이 독립적으로 디코딩되는, 디코딩 방법.
Applications Claiming Priority (6)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP10159799.5 | 2010-04-13 | ||
EP10159799 | 2010-04-13 | ||
PCT/EP2010/054833 WO2011127963A1 (en) | 2010-04-13 | 2010-04-13 | Sample region merging |
WOPCT/EP2010/054833 | 2010-04-13 | ||
PCT/EP2011/055795 WO2011128366A1 (en) | 2010-04-13 | 2011-04-13 | Sample region merging |
KR1020227044824A KR102669292B1 (ko) | 2010-04-13 | 2011-04-13 | 샘플 영역 병합 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020227044824A Division KR102669292B1 (ko) | 2010-04-13 | 2011-04-13 | 샘플 영역 병합 |
Publications (1)
Publication Number | Publication Date |
---|---|
KR20240104116A true KR20240104116A (ko) | 2024-07-04 |
Family
ID=44072790
Family Applications (14)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020127029727A KR101549644B1 (ko) | 2010-04-13 | 2011-04-13 | 샘플 영역 병합 |
KR1020177017898A KR101903919B1 (ko) | 2010-04-13 | 2011-04-13 | 샘플 영역 병합 |
KR1020207028960A KR102360005B1 (ko) | 2010-04-13 | 2011-04-13 | 샘플 영역 병합 |
KR1020227044824A KR102669292B1 (ko) | 2010-04-13 | 2011-04-13 | 샘플 영역 병합 |
KR1020207004587A KR102166519B1 (ko) | 2010-04-13 | 2011-04-13 | 샘플 영역 병합 |
KR1020197029076A KR102166520B1 (ko) | 2010-04-13 | 2011-04-13 | 샘플 영역 병합 |
KR1020207029023A KR102360146B1 (ko) | 2010-04-13 | 2011-04-13 | 샘플 영역 병합 |
KR1020157002237A KR101754507B1 (ko) | 2010-04-13 | 2011-04-13 | 샘플 영역 병합 |
KR1020247016941A KR20240104116A (ko) | 2010-04-13 | 2011-04-13 | 샘플 영역 병합 |
KR1020207023157A KR102337744B1 (ko) | 2010-04-13 | 2011-04-13 | 샘플 영역 병합 |
KR1020187026913A KR102145722B1 (ko) | 2010-04-13 | 2011-04-13 | 샘플 영역 병합 |
KR1020147014053A KR101626688B1 (ko) | 2010-04-13 | 2011-04-13 | 샘플 영역 병합 |
KR1020187027551A KR102030951B1 (ko) | 2010-04-13 | 2011-04-13 | 샘플 영역 병합 |
KR1020227003716A KR102480988B1 (ko) | 2010-04-13 | 2011-04-13 | 샘플 영역 병합 |
Family Applications Before (8)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020127029727A KR101549644B1 (ko) | 2010-04-13 | 2011-04-13 | 샘플 영역 병합 |
KR1020177017898A KR101903919B1 (ko) | 2010-04-13 | 2011-04-13 | 샘플 영역 병합 |
KR1020207028960A KR102360005B1 (ko) | 2010-04-13 | 2011-04-13 | 샘플 영역 병합 |
KR1020227044824A KR102669292B1 (ko) | 2010-04-13 | 2011-04-13 | 샘플 영역 병합 |
KR1020207004587A KR102166519B1 (ko) | 2010-04-13 | 2011-04-13 | 샘플 영역 병합 |
KR1020197029076A KR102166520B1 (ko) | 2010-04-13 | 2011-04-13 | 샘플 영역 병합 |
KR1020207029023A KR102360146B1 (ko) | 2010-04-13 | 2011-04-13 | 샘플 영역 병합 |
KR1020157002237A KR101754507B1 (ko) | 2010-04-13 | 2011-04-13 | 샘플 영역 병합 |
Family Applications After (5)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020207023157A KR102337744B1 (ko) | 2010-04-13 | 2011-04-13 | 샘플 영역 병합 |
KR1020187026913A KR102145722B1 (ko) | 2010-04-13 | 2011-04-13 | 샘플 영역 병합 |
KR1020147014053A KR101626688B1 (ko) | 2010-04-13 | 2011-04-13 | 샘플 영역 병합 |
KR1020187027551A KR102030951B1 (ko) | 2010-04-13 | 2011-04-13 | 샘플 영역 병합 |
KR1020227003716A KR102480988B1 (ko) | 2010-04-13 | 2011-04-13 | 샘플 영역 병합 |
Country Status (13)
Country | Link |
---|---|
US (14) | US10621614B2 (ko) |
EP (5) | EP3703369B1 (ko) |
JP (9) | JP5718453B2 (ko) |
KR (14) | KR101549644B1 (ko) |
CN (12) | CN106162172B (ko) |
BR (4) | BR112012026393B1 (ko) |
DK (1) | DK2559246T3 (ko) |
ES (2) | ES2590686T3 (ko) |
HU (1) | HUE030688T2 (ko) |
PL (3) | PL3490257T3 (ko) |
PT (1) | PT2559246T (ko) |
TW (13) | TWI605706B (ko) |
WO (1) | WO2011128366A1 (ko) |
Families Citing this family (71)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TWI666882B (zh) | 2010-04-13 | 2019-07-21 | 美商Ge影像壓縮有限公司 | 在樣本陣列多元樹細分中之繼承技術 |
KR101549644B1 (ko) | 2010-04-13 | 2015-09-03 | 지이 비디오 컴프레션, 엘엘씨 | 샘플 영역 병합 |
HUE057597T2 (hu) | 2010-04-13 | 2022-05-28 | Ge Video Compression Llc | Videó kódolás képek többes fa struktúrájú alosztásainak használatával |
KR102481529B1 (ko) * | 2010-04-13 | 2022-12-23 | 지이 비디오 컴프레션, 엘엘씨 | 평면 간 예측 |
KR101791078B1 (ko) * | 2010-04-16 | 2017-10-30 | 에스케이텔레콤 주식회사 | 영상 부호화/복호화 장치 및 방법 |
KR101791242B1 (ko) * | 2010-04-16 | 2017-10-30 | 에스케이텔레콤 주식회사 | 영상 부호화/복호화 장치 및 방법 |
JP2011259093A (ja) * | 2010-06-07 | 2011-12-22 | Sony Corp | 画像復号化装置と画像符号化装置およびその方法とプログラム |
KR101484281B1 (ko) * | 2010-07-09 | 2015-01-21 | 삼성전자주식회사 | 블록 병합을 이용한 비디오 부호화 방법 및 그 장치, 블록 병합을 이용한 비디오 복호화 방법 및 그 장치 |
RS57809B1 (sr) | 2010-07-09 | 2018-12-31 | Samsung Electronics Co Ltd | Metod za dekodiranje video zapisa korišćenjem objedinjavanja blokova |
CN106937122B (zh) * | 2010-10-28 | 2020-03-27 | 韩国电子通信研究院 | 视频解码方法 |
EP2719176B1 (en) * | 2011-06-13 | 2021-07-07 | Dolby Laboratories Licensing Corporation | Visual display resolution prediction based on fused regions |
KR101753551B1 (ko) * | 2011-06-20 | 2017-07-03 | 가부시키가이샤 제이브이씨 켄우드 | 화상 부호화 장치, 화상 부호화 방법 및 화상 부호화 프로그램을 저장한 기록매체 |
CN102291583A (zh) * | 2011-09-29 | 2011-12-21 | 中航华东光电有限公司 | 一种图像编码装置及其图像编码方法 |
US9807401B2 (en) * | 2011-11-01 | 2017-10-31 | Qualcomm Incorporated | Transform unit partitioning for chroma components in video coding |
EP2942961A1 (en) | 2011-11-23 | 2015-11-11 | HUMAX Holdings Co., Ltd. | Methods for encoding/decoding of video using common merging candidate set of asymmetric partitions |
KR101909544B1 (ko) * | 2012-01-19 | 2018-10-18 | 삼성전자주식회사 | 평면 검출 장치 및 방법 |
US9866829B2 (en) | 2012-01-22 | 2018-01-09 | Qualcomm Incorporated | Coding of syntax elements that correspond to coefficients of a coefficient block in video coding |
EP2629156B1 (en) * | 2012-01-27 | 2024-04-17 | Samsung Electronics Co., Ltd. | Image processing apparatus and method |
CN103389879B (zh) | 2012-05-10 | 2016-08-17 | 慧荣科技股份有限公司 | 电子装置以及由电子装置传送数据至显示设备的方法 |
US9332266B2 (en) * | 2012-08-24 | 2016-05-03 | Industrial Technology Research Institute | Method for prediction in image encoding and image encoding apparatus applying the same |
GB2505408A (en) * | 2012-08-24 | 2014-03-05 | British Broadcasting Corp | Video Encoding and Decoding with Chrominance Sub-sampling |
TW201419862A (zh) * | 2012-11-13 | 2014-05-16 | Hon Hai Prec Ind Co Ltd | 影像切割系統及方法 |
TW201419865A (zh) * | 2012-11-13 | 2014-05-16 | Hon Hai Prec Ind Co Ltd | 影像切割系統及方法 |
TW201419863A (zh) * | 2012-11-13 | 2014-05-16 | Hon Hai Prec Ind Co Ltd | 影像切割系統及方法 |
JP5719401B2 (ja) * | 2013-04-02 | 2015-05-20 | 日本電信電話株式会社 | ブロックサイズ決定方法、映像符号化装置、及びプログラム |
KR101749855B1 (ko) * | 2013-04-05 | 2017-06-21 | 미쓰비시덴키 가부시키가이샤 | 컬러 화상 부호화 장치, 컬러 화상 복호 장치, 컬러 화상 부호화 방법 및 컬러 화상 복호 방법 |
US9686561B2 (en) * | 2013-06-17 | 2017-06-20 | Qualcomm Incorporated | Inter-component filtering |
US9800895B2 (en) * | 2013-06-27 | 2017-10-24 | Qualcomm Incorporated | Depth oriented inter-view motion vector prediction |
US20150063455A1 (en) * | 2013-09-02 | 2015-03-05 | Humax Holdings Co., Ltd. | Methods and apparatuses for predicting depth quadtree in three-dimensional video |
US20150089374A1 (en) * | 2013-09-20 | 2015-03-26 | Cyan Inc. | Network visualization system and method |
US10075266B2 (en) * | 2013-10-09 | 2018-09-11 | Qualcomm Incorporated | Data transmission scheme with unequal code block sizes |
US20150103883A1 (en) * | 2013-10-11 | 2015-04-16 | Mediatek Inc. | Method and apparatus for fast intra prediction |
KR102207000B1 (ko) | 2013-10-18 | 2021-01-25 | 지이 비디오 컴프레션, 엘엘씨 | 다-성분 화상 또는 비디오 코딩 개념 |
US20150189269A1 (en) * | 2013-12-30 | 2015-07-02 | Google Inc. | Recursive block partitioning |
WO2015169207A1 (en) * | 2014-05-05 | 2015-11-12 | Mediatek Singapore Pte. Ltd. | Method and apparatus for determining residue transform tree representation |
CN112087630B (zh) | 2014-09-30 | 2022-04-08 | 华为技术有限公司 | 图像预测方法、装置、解码器及存储介质 |
CN105828080B (zh) * | 2015-01-26 | 2020-02-14 | 同济大学 | 图像编解码方法及装置 |
CN109005407B (zh) | 2015-05-15 | 2023-09-01 | 华为技术有限公司 | 视频图像编码和解码的方法、编码设备和解码设备 |
CN106358042B (zh) * | 2015-07-17 | 2020-10-09 | 恩智浦美国有限公司 | 使用视频图像的帧间预测的并行解码器 |
KR20180059443A (ko) * | 2015-09-24 | 2018-06-04 | 엘지전자 주식회사 | 영상 코딩 시스템에서 움직임 벡터 정제 기반 인터 예측 방법 및 장치 |
CN105357530B (zh) * | 2015-10-16 | 2018-06-19 | 广州市百果园网络科技有限公司 | 一种预测编码的方法及装置 |
WO2017083553A1 (en) * | 2015-11-10 | 2017-05-18 | Vid Scale, Inc. | Systems and methods for coding in super-block based video coding framework |
US10306258B2 (en) * | 2016-01-29 | 2019-05-28 | Google Llc | Last frame motion vector partitioning |
US10469841B2 (en) | 2016-01-29 | 2019-11-05 | Google Llc | Motion vector prediction using prior frame residual |
KR20240044535A (ko) * | 2016-02-09 | 2024-04-04 | 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베. | 효율적인 감소성 또는 효율적인 랜덤 액세스를 허용하는 픽처/비디오 데이터 스트림들에 대한 개념 |
US10609423B2 (en) * | 2016-09-07 | 2020-03-31 | Qualcomm Incorporated | Tree-type coding for video coding |
US10110914B1 (en) * | 2016-09-15 | 2018-10-23 | Google Llc | Locally adaptive warped motion compensation in video coding |
CN110178371A (zh) * | 2017-01-16 | 2019-08-27 | 世宗大学校产学协力团 | 影像编码/解码方法及装置 |
EP3358754A1 (en) * | 2017-02-02 | 2018-08-08 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Antenna array codebook with beamforming coefficients adapted to an arbitrary antenna response of the antenna array |
US10430104B2 (en) | 2017-05-08 | 2019-10-01 | International Business Machines Corporation | Distributing data by successive spatial partitionings |
KR20200044967A (ko) * | 2017-09-18 | 2020-04-29 | 인텔렉추얼디스커버리 주식회사 | 블록 분할에 따른 병합 후보 리스트를 사용하는 비디오 코딩 방법 및 장치 |
JP7146775B2 (ja) | 2018-01-12 | 2022-10-04 | オッポ広東移動通信有限公司 | 情報伝送方法及び装置 |
WO2019142834A1 (ja) * | 2018-01-19 | 2019-07-25 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ | 三次元データ符号化方法、三次元データ復号方法、三次元データ符号化装置、及び三次元データ復号装置 |
WO2019189901A1 (ja) * | 2018-03-29 | 2019-10-03 | 日本放送協会 | 画像符号化装置、画像復号装置、及びプログラム |
FI3780616T3 (fi) * | 2018-04-13 | 2024-03-25 | Lg Electronics Inc | Menetelmä ja laite inter-ennustusta varten videonkäsittelyjärjestelmässä |
US11128871B2 (en) | 2018-04-25 | 2021-09-21 | Panasonic Intellectual Property Corporation Of America | Encoder for adaptively determining information related to splitting based on characteristics of neighboring samples |
US10593097B2 (en) | 2018-05-08 | 2020-03-17 | Qualcomm Technologies, Inc. | Distributed graphics processing |
CN109035267B (zh) * | 2018-06-22 | 2021-07-27 | 华东师范大学 | 一种基于深度学习的图像目标抠取方法 |
US11695967B2 (en) * | 2018-06-22 | 2023-07-04 | Op Solutions, Llc | Block level geometric partitioning |
BR112020024802A2 (pt) * | 2018-06-27 | 2021-03-02 | Panasonic Intellectual Property Corporation Of America | método de codificação de dados tridimensionais, método de decodificação de dados tridimensionais, dispositivo de codificação de dados tridimensionais e dispositivo de decodificação de dados tridimensionais |
EP3588800A1 (en) | 2018-06-29 | 2020-01-01 | FRAUNHOFER-GESELLSCHAFT zur Förderung der angewandten Forschung e.V. | Antenna array codebook with beamforming coefficients adapted to an arbitrary antenna response of the antenna array |
JP2020065143A (ja) * | 2018-10-16 | 2020-04-23 | セイコーエプソン株式会社 | 画像処理装置、画像処理装置の制御方法、及び表示装置 |
WO2020094050A1 (en) | 2018-11-06 | 2020-05-14 | Beijing Bytedance Network Technology Co., Ltd. | Using inter prediction with geometric partitioning for video processing |
CN113170166B (zh) | 2018-12-30 | 2023-06-09 | 北京字节跳动网络技术有限公司 | 具有几何分割的帧间预测在视频处理中有条件的应用 |
CN118075479A (zh) | 2019-03-21 | 2024-05-24 | Sk电信有限公司 | 编解码视频数据的当前块的设备及发送视频数据的设备 |
CN113924774A (zh) | 2019-05-10 | 2022-01-11 | 北京达佳互联信息技术有限公司 | 用于利用三角形预测进行视频编解码的方法和装置 |
CN110533454B (zh) * | 2019-07-24 | 2023-07-07 | 创新先进技术有限公司 | 一种识别业务对象群体的方法及*** |
CN114788274A (zh) * | 2019-10-10 | 2022-07-22 | 北京达佳互联信息技术有限公司 | 利用三角分区的视频编解码方法和装置 |
WO2021136821A1 (en) * | 2019-12-30 | 2021-07-08 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Encoding and decoding of color components in pictures |
WO2021222040A1 (en) | 2020-04-27 | 2021-11-04 | Bytedance Inc. | Virtual boundaries in video coding |
KR20230033954A (ko) | 2021-09-02 | 2023-03-09 | 심준원 | 감염병 유행시 전자출입명부기록용 nfc태그를 사용한 전자출입명부카드와 전자출입명부카드 리더기 |
Family Cites Families (267)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
FR2633468B1 (fr) | 1988-06-24 | 1990-11-09 | France Etat | Procede de codage de donnees d'assistance a la reconstruction d'images electroniques animees sous-echantillonnees |
US5784631A (en) | 1992-06-30 | 1998-07-21 | Discovision Associates | Huffman decoder |
US5809270A (en) | 1992-06-30 | 1998-09-15 | Discovision Associates | Inverse quantizer |
US7095783B1 (en) | 1992-06-30 | 2006-08-22 | Discovision Associates | Multistandard video decoder and decompression system for processing encoded bit streams including start codes and methods relating thereto |
US6408097B1 (en) | 1993-08-30 | 2002-06-18 | Sony Corporation | Picture coding apparatus and method thereof |
US5446806A (en) | 1993-11-15 | 1995-08-29 | National Semiconductor Corporation | Quadtree-structured Walsh transform video/image coding |
CA2145361C (en) | 1994-03-24 | 1999-09-07 | Martin William Sotheran | Buffer manager |
EP0759665B1 (en) | 1995-08-21 | 2002-07-24 | Alcatel | Method for interleaving data frames, forward error correcting device and modulator including such a device |
JP2000500887A (ja) | 1995-09-25 | 2000-01-25 | アドビ システムズ インコーポレイテッド | 電子文書への最適アクセス |
JPH10511532A (ja) * | 1995-10-18 | 1998-11-04 | フィリップス エレクトロニクス ネムローゼ フェンノートシャップ | ビデオ画像符号化方法 |
WO1997017797A2 (en) | 1995-10-25 | 1997-05-15 | Sarnoff Corporation | Apparatus and method for quadtree based variable block size motion estimation |
TW346571B (en) | 1996-02-06 | 1998-12-01 | Matsushita Electric Ind Co Ltd | Data reception apparatus, data transmission apparatus, information processing system, data reception method |
US6005981A (en) | 1996-04-11 | 1999-12-21 | National Semiconductor Corporation | Quadtree-structured coding of color images and intra-coded images |
DE19615493A1 (de) * | 1996-04-19 | 1997-10-23 | Philips Patentverwaltung | Verfahren zur Bildsegmentierung |
CN100521787C (zh) | 1996-05-28 | 2009-07-29 | 松下电器产业株式会社 | 图像预测编码方法 |
US6639945B2 (en) * | 1997-03-14 | 2003-10-28 | Microsoft Corporation | Method and apparatus for implementing motion detection in video compression |
US6057884A (en) | 1997-06-05 | 2000-05-02 | General Instrument Corporation | Temporal and spatial scaleable coding for video object planes |
US6269192B1 (en) | 1997-07-11 | 2001-07-31 | Sarnoff Corporation | Apparatus and method for multiscale zerotree entropy encoding |
CN1882092B (zh) | 1998-03-10 | 2012-07-18 | 索尼公司 | 利用编码历史信息的编码转换*** |
US6067574A (en) | 1998-05-18 | 2000-05-23 | Lucent Technologies Inc | High speed routing using compressed tree process |
US6269175B1 (en) | 1998-08-28 | 2001-07-31 | Sarnoff Corporation | Method and apparatus for enhancing regions of aligned images using flow estimation |
US6563953B2 (en) | 1998-11-30 | 2003-05-13 | Microsoft Corporation | Predictive image compression using a single variable length code for both the luminance and chrominance blocks for each macroblock |
US7085319B2 (en) | 1999-04-17 | 2006-08-01 | Pts Corporation | Segment-based encoding system using segment hierarchies |
JP2000350207A (ja) | 1999-06-08 | 2000-12-15 | Matsushita Electric Ind Co Ltd | 低解像度ビデオ復号化のための一般化直交変換方法および装置 |
FI116992B (fi) | 1999-07-05 | 2006-04-28 | Nokia Corp | Menetelmät, järjestelmä ja laitteet audiosignaalin koodauksen ja siirron tehostamiseksi |
JP2003513538A (ja) | 1999-10-22 | 2003-04-08 | アクティブスカイ,インコーポレイテッド | オブジェクト指向ビデオシステム |
JP3957937B2 (ja) | 1999-12-21 | 2007-08-15 | キヤノン株式会社 | 画像処理装置及び方法並びに記憶媒体 |
WO2001048572A2 (en) | 1999-12-22 | 2001-07-05 | Honeywell International Inc. | Method and apparatus for limiting attitude drift during turns |
WO2001054418A1 (en) | 2000-01-21 | 2001-07-26 | Nokia Corporation | A motion estimation method and a system for a video coder |
FI116819B (fi) | 2000-01-21 | 2006-02-28 | Nokia Corp | Menetelmä kuvien lähettämiseksi ja kuvakooderi |
US6502920B1 (en) | 2000-02-04 | 2003-01-07 | Lexmark International, Inc | Ink jet print head having offset nozzle arrays |
US6910001B2 (en) | 2000-03-22 | 2005-06-21 | Schlumberger Technology Corp. | Distributed multiresolution geometry modeling system and method |
US6785423B1 (en) | 2000-05-26 | 2004-08-31 | Eastman Kodak Company | Producing a compressed digital image organized into layers having information relating to different viewing conditions and resolutions |
EP1297709A1 (en) | 2000-06-14 | 2003-04-02 | Koninklijke Philips Electronics N.V. | Color video encoding and decoding method |
JP2004505520A (ja) | 2000-07-25 | 2004-02-19 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | ウェーブレット分解を用いたビデオ符号化方法 |
AUPR063400A0 (en) | 2000-10-06 | 2000-11-02 | Canon Kabushiki Kaisha | Xml encoding scheme |
US7929610B2 (en) | 2001-03-26 | 2011-04-19 | Sharp Kabushiki Kaisha | Methods and systems for reducing blocking artifacts with reduced complexity for spatially-scalable video coding |
US7450641B2 (en) | 2001-09-14 | 2008-11-11 | Sharp Laboratories Of America, Inc. | Adaptive filtering based upon boundary strength |
JP2003018602A (ja) | 2001-04-24 | 2003-01-17 | Monolith Co Ltd | 画像データ符号化および復号のための方法および装置 |
US6987866B2 (en) * | 2001-06-05 | 2006-01-17 | Micron Technology, Inc. | Multi-modal motion estimation for video sequences |
US7483581B2 (en) | 2001-07-02 | 2009-01-27 | Qualcomm Incorporated | Apparatus and method for encoding digital image data in a lossless manner |
JP2003018604A (ja) | 2001-07-04 | 2003-01-17 | Matsushita Electric Ind Co Ltd | 画像信号符号化方法、画像信号符号化装置および記録媒体 |
WO2003026315A1 (en) | 2001-09-14 | 2003-03-27 | Ntt Docomo, Inc. | Coding method, decoding method, coding apparatus, decoding apparatus, image processing system, coding program, and decoding program |
US6950469B2 (en) | 2001-09-17 | 2005-09-27 | Nokia Corporation | Method for sub-pixel value interpolation |
JP2005506775A (ja) | 2001-10-16 | 2005-03-03 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | ビデオ符号化方法及び対応する送信可能なビデオ信号 |
WO2003043345A1 (en) | 2001-11-16 | 2003-05-22 | Ntt Docomo, Inc. | Image encoding method, image decoding method, image encoder, image decode, program, computer data signal, and image transmission system |
RU2237284C2 (ru) | 2001-11-27 | 2004-09-27 | Самсунг Электроникс Ко., Лтд. | Способ генерирования структуры узлов, предназначенных для представления трехмерных объектов с использованием изображений с глубиной |
US7295609B2 (en) | 2001-11-30 | 2007-11-13 | Sony Corporation | Method and apparatus for coding image information, method and apparatus for decoding image information, method and apparatus for coding and decoding image information, and system of coding and transmitting image information |
EP1324615A1 (en) * | 2001-12-28 | 2003-07-02 | Deutsche Thomson-Brandt Gmbh | Transcoding MPEG bitstreams for adding sub-picture content |
KR20030065606A (ko) | 2002-01-30 | 2003-08-09 | 양송철 | 개인 자동독립코드를 이용한 멀티트리구조의 보너스 적립순환 시스템과 그 방법 |
CN101132528B (zh) | 2002-04-12 | 2011-08-03 | 三菱电机株式会社 | 元数据再生、分发、检索装置、元数据再生成条件设定装置 |
JP4130780B2 (ja) | 2002-04-15 | 2008-08-06 | 松下電器産業株式会社 | 画像符号化方法および画像復号化方法 |
US20030198290A1 (en) | 2002-04-19 | 2003-10-23 | Dynamic Digital Depth Pty.Ltd. | Image encoding system |
US7433526B2 (en) * | 2002-04-30 | 2008-10-07 | Hewlett-Packard Development Company, L.P. | Method for compressing images and image sequences through adaptive partitioning |
CN1666532A (zh) | 2002-07-02 | 2005-09-07 | 松下电器产业株式会社 | 图像编码方法和图像解码方法 |
US7154952B2 (en) * | 2002-07-19 | 2006-12-26 | Microsoft Corporation | Timestamp-independent motion vector prediction for predictive (P) and bidirectionally predictive (B) pictures |
US6975773B1 (en) | 2002-07-30 | 2005-12-13 | Qualcomm, Incorporated | Parameter selection in data compression and decompression |
US7266247B2 (en) | 2002-09-30 | 2007-09-04 | Samsung Electronics Co., Ltd. | Image coding method and apparatus using spatial predictive coding of chrominance and image decoding method and apparatus |
JP3950777B2 (ja) | 2002-09-30 | 2007-08-01 | キヤノン株式会社 | 画像処理方法、画像処理装置および画像処理プログラム |
JP2004135252A (ja) | 2002-10-09 | 2004-04-30 | Sony Corp | 符号化処理方法、符号化装置及び復号化装置 |
US7254533B1 (en) | 2002-10-17 | 2007-08-07 | Dilithium Networks Pty Ltd. | Method and apparatus for a thin CELP voice codec |
EP1431919B1 (en) * | 2002-12-05 | 2010-03-03 | Samsung Electronics Co., Ltd. | Method and apparatus for encoding and decoding three-dimensional object data by using octrees |
JP4509104B2 (ja) | 2003-03-03 | 2010-07-21 | エージェンシー・フォア・サイエンス・テクノロジー・アンド・リサーチ | 高度動画像符号化におけるイントラ予測のための高速モード決定アルゴリズム |
US7366352B2 (en) * | 2003-03-20 | 2008-04-29 | International Business Machines Corporation | Method and apparatus for performing fast closest match in pattern recognition |
US7643558B2 (en) * | 2003-03-24 | 2010-01-05 | Qualcomm Incorporated | Method, apparatus, and system for encoding and decoding side information for multimedia transmission |
GB2454195A (en) * | 2007-10-30 | 2009-05-06 | Sony Corp | Address generation polynomial and permutation matrix for DVB-T2 16k OFDM sub-carrier mode interleaver |
CA2560075A1 (en) | 2003-03-28 | 2004-10-07 | Digital Accelerator Corporation | Overcomplete basis transform-based motion residual frame coding method and apparatus for video compression |
HUP0301368A3 (en) | 2003-05-20 | 2005-09-28 | Amt Advanced Multimedia Techno | Method and equipment for compressing motion picture data |
EP1509045A3 (en) | 2003-07-16 | 2006-08-09 | Samsung Electronics Co., Ltd. | Lossless image encoding/decoding method and apparatus using intercolor plane prediction |
CN1578477B (zh) | 2003-07-16 | 2011-05-04 | 三星电子株式会社 | 用于色彩图像的视频编码/解码装置和方法 |
US7010044B2 (en) | 2003-07-18 | 2006-03-07 | Lsi Logic Corporation | Intra 4×4 modes 3, 7 and 8 availability determination intra estimation and compensation |
FR2858741A1 (fr) | 2003-08-07 | 2005-02-11 | Thomson Licensing Sa | Dispositif et procede de compression d'images numeriques |
US7724827B2 (en) | 2003-09-07 | 2010-05-25 | Microsoft Corporation | Multi-layer run level encoding and decoding |
CN1322472C (zh) | 2003-09-08 | 2007-06-20 | 中国人民解放军第一军医大学 | 基于小波变换的预测四叉树图像压缩及解压方法 |
US7301485B2 (en) | 2003-10-29 | 2007-11-27 | Nec Corporation | Decoding device or encoding device having intermediate buffer interposed between an arithmetic code decoder or encoder and a reverse binarization device or binarization device |
KR20050045746A (ko) | 2003-11-12 | 2005-05-17 | 삼성전자주식회사 | 계층 구조의 가변 블록 크기를 이용한 움직임 추정 방법및 장치 |
DE602004017689D1 (de) | 2003-11-21 | 2008-12-24 | Samsung Electronics Co Ltd | Vorrichtung und Methode zur Erzeugung von kodierten Blockanordnungen für ein Alpha-Kanalbild sowie Alpha-Kanalkodierungs und -dekodierungsvorrichtung und -methode. |
US7418455B2 (en) | 2003-11-26 | 2008-08-26 | International Business Machines Corporation | System and method for indexing weighted-sequences in large databases |
KR100556911B1 (ko) | 2003-12-05 | 2006-03-03 | 엘지전자 주식회사 | 무선 동영상 스트리밍 서비스를 위한 동영상 데이터의 구조 |
US7362809B2 (en) | 2003-12-10 | 2008-04-22 | Lsi Logic Corporation | Computational reduction in motion estimation based on lower bound of cost function |
US7599435B2 (en) | 2004-01-30 | 2009-10-06 | Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. | Video frame encoding and decoding |
US7649539B2 (en) * | 2004-03-10 | 2010-01-19 | Microsoft Corporation | Image formats for video capture, processing and display |
US20050206741A1 (en) | 2004-03-19 | 2005-09-22 | Raber Gregory W | Law enforcement vehicle surveillance system |
CN1691087B (zh) | 2004-04-26 | 2011-07-06 | 图形安全***公司 | 用于解码数字编码图像的***和方法 |
EP1743338B1 (en) | 2004-04-28 | 2009-09-16 | Panasonic Corporation | Moving picture stream generation apparatus, moving picture coding apparatus, moving picture multiplexing apparatus and moving picture decoding apparatus |
CN1281065C (zh) | 2004-05-20 | 2006-10-18 | 复旦大学 | 基于树状结构的等级树集合划分视频图像压缩方法 |
CN100534196C (zh) | 2004-05-25 | 2009-08-26 | Nxp股份有限公司 | 用于编码数字视频数据的方法和设备 |
US20060002474A1 (en) | 2004-06-26 | 2006-01-05 | Oscar Chi-Lim Au | Efficient multi-block motion estimation for video compression |
CN1812579B (zh) * | 2004-06-27 | 2010-04-21 | 苹果公司 | 在视频数据流的编码和解码中存储设备的有效使用 |
US7292257B2 (en) | 2004-06-28 | 2007-11-06 | Microsoft Corporation | Interactive viewpoint video system and process |
CN1268136C (zh) | 2004-07-02 | 2006-08-02 | 上海广电(集团)有限公司中央研究院 | 基于图像切片结构的帧场自适应编码方法 |
KR100657268B1 (ko) | 2004-07-15 | 2006-12-14 | 학교법인 대양학원 | 컬러 영상의 신축적 부호화, 복호화 방법 및 장치 |
CN101124589A (zh) | 2004-08-09 | 2008-02-13 | 图形安全***公司 | 通过使用多级图像编码和解码来认证对象的***和方法 |
CN1589022A (zh) | 2004-08-26 | 2005-03-02 | 中芯联合(北京)微电子有限公司 | 多模式运动估计中由朝向树决定的宏块分割模式选择方法 |
DE102004059993B4 (de) | 2004-10-15 | 2006-08-31 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Vorrichtung und Verfahren zum Erzeugen einer codierten Videosequenz unter Verwendung einer Zwischen-Schicht-Bewegungsdaten-Prädiktion sowie Computerprogramm und computerlesbares Medium |
CN101416149A (zh) | 2004-10-21 | 2009-04-22 | 索尼电子有限公司 | 以高级视频编解码器文件格式支持保真度范围扩展 |
CN1780278A (zh) | 2004-11-19 | 2006-05-31 | 松下电器产业株式会社 | 子载波通信***中自适应调制与编码方法和设备 |
US20060120454A1 (en) | 2004-11-29 | 2006-06-08 | Park Seung W | Method and apparatus for encoding/decoding video signal using motion vectors of pictures in base layer |
CN101073265B (zh) * | 2004-12-03 | 2012-08-22 | 汤姆森许可贸易公司 | 可缩放视频编码方法 |
KR100703734B1 (ko) * | 2004-12-03 | 2007-04-05 | 삼성전자주식회사 | Dct 업샘플링을 이용한 다 계층 비디오 인코딩/디코딩방법 및 장치 |
US7970219B2 (en) | 2004-12-30 | 2011-06-28 | Samsung Electronics Co., Ltd. | Color image encoding and decoding method and apparatus using a correlation between chrominance components |
KR101138392B1 (ko) | 2004-12-30 | 2012-04-26 | 삼성전자주식회사 | 색차 성분의 상관관계를 이용한 컬러 영상의 부호화,복호화 방법 및 그 장치 |
US20060153295A1 (en) | 2005-01-12 | 2006-07-13 | Nokia Corporation | Method and system for inter-layer prediction mode coding in scalable video coding |
US20060153300A1 (en) * | 2005-01-12 | 2006-07-13 | Nokia Corporation | Method and system for motion vector prediction in scalable video coding |
US8345762B2 (en) | 2005-02-18 | 2013-01-01 | Thomson Licensing | Method for deriving coding information for high resolution pictures from low resolution pictures and coding and decoding devices implementing said method |
EP1894412A1 (en) | 2005-02-18 | 2008-03-05 | THOMSON Licensing | Method for deriving coding information for high resolution images from low resoluton images and coding and decoding devices implementing said method |
JP4504230B2 (ja) * | 2005-03-02 | 2010-07-14 | 株式会社東芝 | 動画像処理装置、動画像処理方法、及び動画像処理プログラム |
TWI259727B (en) * | 2005-03-09 | 2006-08-01 | Sunplus Technology Co Ltd | Method for rapidly determining macroblock mode |
US7961963B2 (en) | 2005-03-18 | 2011-06-14 | Sharp Laboratories Of America, Inc. | Methods and systems for extended spatial scalability with picture-level adaptation |
EP1711018A1 (en) | 2005-04-08 | 2006-10-11 | Thomson Licensing | Method and apparatus for encoding video pictures, and method and apparatus for decoding video pictures |
US20060233262A1 (en) | 2005-04-13 | 2006-10-19 | Nokia Corporation | Signaling of bit stream ordering in scalable video coding |
KR101246915B1 (ko) | 2005-04-18 | 2013-03-25 | 삼성전자주식회사 | 동영상 부호화 또는 복호화 방법 및 장치 |
KR100746007B1 (ko) * | 2005-04-19 | 2007-08-06 | 삼성전자주식회사 | 엔트로피 코딩의 컨텍스트 모델을 적응적으로 선택하는방법 및 비디오 디코더 |
KR100763181B1 (ko) * | 2005-04-19 | 2007-10-05 | 삼성전자주식회사 | 기초계층과 향상계층의 데이터를 바탕으로 예측 정보를코딩하여 코딩율을 향상시키는 방법 및 장치 |
CN101189641B (zh) | 2005-05-12 | 2012-05-02 | 布雷克成像有限公司 | 编码数字图像的像素或体素的方法及处理数字图像的方法 |
US7548853B2 (en) | 2005-06-17 | 2009-06-16 | Shmunk Dmitry V | Scalable compressed audio bit stream and codec using a hierarchical filterbank and multichannel joint coding |
EP1908292A4 (en) | 2005-06-29 | 2011-04-27 | Nokia Corp | METHOD AND DEVICE FOR THE UPDATE STEP IN VIDEO CODING USING MOTION COMPENSATED TIME FILTERING |
JP2007043651A (ja) * | 2005-07-05 | 2007-02-15 | Ntt Docomo Inc | 動画像符号化装置、動画像符号化方法、動画像符号化プログラム、動画像復号装置、動画像復号方法及び動画像復号プログラム |
JP4444180B2 (ja) | 2005-07-20 | 2010-03-31 | 株式会社東芝 | テクスチャ符号化装置、テクスチャ復号化装置、方法、およびプログラム |
KR20070012201A (ko) | 2005-07-21 | 2007-01-25 | 엘지전자 주식회사 | 영상 신호의 인코딩 및 디코딩 방법 |
ZA200800248B (en) | 2005-07-21 | 2009-08-26 | Thomson Licensing | Method and apparatus for weighted prediction for scalable video coding |
WO2007010690A1 (ja) | 2005-07-22 | 2007-01-25 | Mitsubishi Electric Corporation | 画像符号化装置、画像復号装置、および画像符号化方法、画像復号方法、画像符号化プログラム、画像復号プログラム、ならびに画像符号化プログラムを記録したコンピュータ読み取り可能な記録媒体、画像復号プログラムを記録したコンピュータ読み取り可能な記録媒体 |
US8879856B2 (en) | 2005-09-27 | 2014-11-04 | Qualcomm Incorporated | Content driven transcoder that orchestrates multimedia transcoding using content information |
US8625678B2 (en) | 2005-09-29 | 2014-01-07 | Telecom Italia S.P.A. | Method for scalable video coding on a plurality of space resolution levels |
JP5275806B2 (ja) | 2005-10-12 | 2013-08-28 | トムソン ライセンシング | スケーラブルビデオ符号化及び復号における重み付け予測方法及び装置 |
CN101292538B (zh) * | 2005-10-19 | 2012-11-28 | 汤姆森特许公司 | 使用可缩放的视频编码的多视图视频编码 |
KR100763196B1 (ko) | 2005-10-19 | 2007-10-04 | 삼성전자주식회사 | 어떤 계층의 플래그를 계층간의 연관성을 이용하여부호화하는 방법, 상기 부호화된 플래그를 복호화하는방법, 및 장치 |
JP2007135252A (ja) | 2005-11-08 | 2007-05-31 | Hitachi Ltd | 電力変換装置 |
KR100873636B1 (ko) | 2005-11-14 | 2008-12-12 | 삼성전자주식회사 | 단일 부호화 모드를 이용하는 영상 부호화/복호화 방법 및장치 |
CN101129063B (zh) | 2005-11-18 | 2010-05-19 | 索尼株式会社 | 编码设备和方法、解码设备和方法以及传输*** |
KR100717055B1 (ko) * | 2005-11-18 | 2007-05-10 | 삼성전자주식회사 | Cabac 복호기에서 복수의 이진 값들을 파이프라인방식에 의하여 복호화하는 방법 및 이를 위한 복호화 장치 |
GB0600141D0 (en) | 2006-01-05 | 2006-02-15 | British Broadcasting Corp | Scalable coding of video signals |
CN101356820B (zh) | 2006-01-05 | 2011-01-26 | 汤姆森许可贸易公司 | 层间运动预测方法 |
KR20070074451A (ko) | 2006-01-09 | 2007-07-12 | 엘지전자 주식회사 | 베이스 레이어의 영상신호를 레이어간 예측에 사용하는방법 |
JP4991762B2 (ja) | 2006-01-09 | 2012-08-01 | エルジー エレクトロニクス インコーポレイティド | 映像信号のエンコーディング/デコーディング方法及び装置 |
US8315308B2 (en) | 2006-01-11 | 2012-11-20 | Qualcomm Incorporated | Video coding with fine granularity spatial scalability |
US8861585B2 (en) | 2006-01-20 | 2014-10-14 | Qualcomm Incorporated | Method and apparatus for error resilience algorithms in wireless video communication |
US7929608B2 (en) | 2006-03-28 | 2011-04-19 | Sony Corporation | Method of reducing computations in intra-prediction and mode decision processes in a digital video encoder |
GB2449036B (en) | 2006-03-31 | 2011-08-24 | Intel Corp | Layered decoder and method for performing layered decoding |
US7916934B2 (en) | 2006-04-04 | 2011-03-29 | Mitsubishi Electric Research Laboratories, Inc. | Method and system for acquiring, encoding, decoding and displaying 3D light fields |
CN101047733B (zh) | 2006-06-16 | 2010-09-29 | 华为技术有限公司 | 短信处理方法以及装置 |
JP2009545920A (ja) | 2006-08-02 | 2009-12-24 | トムソン ライセンシング | ビデオ符号化処理のためにアダブティブなジオメトリック分割を行う方法および装置 |
US20080086545A1 (en) | 2006-08-16 | 2008-04-10 | Motorola, Inc. | Network configuration using configuration parameter inheritance |
WO2008027192A2 (en) * | 2006-08-25 | 2008-03-06 | Thomson Licensing | Methods and apparatus for reduced resolution partitioning |
TWI376958B (en) | 2006-09-07 | 2012-11-11 | Lg Electronics Inc | Method and apparatus for decoding a scalable video coded bitstream |
CN100471275C (zh) | 2006-09-08 | 2009-03-18 | 清华大学 | 用于h.264/avc编码器的运动估计方法 |
CN100486336C (zh) * | 2006-09-21 | 2009-05-06 | 上海大学 | 基于h.264压缩域运动对象实时分割方法 |
US7965896B2 (en) | 2006-10-12 | 2011-06-21 | Kabushiki Kaisha Toshiba | Method and apparatus for encoding image |
US9014280B2 (en) | 2006-10-13 | 2015-04-21 | Qualcomm Incorporated | Video coding with adaptive filtering for motion compensated prediction |
US20080095238A1 (en) | 2006-10-18 | 2008-04-24 | Apple Inc. | Scalable video coding with filtering of lower layers |
US7775002B2 (en) * | 2006-11-10 | 2010-08-17 | John Puchniak | Portable hurricane and security window barrier |
CN101395921B (zh) | 2006-11-17 | 2012-08-22 | Lg电子株式会社 | 用于解码/编码视频信号的方法及装置 |
EP1933564A1 (en) | 2006-12-14 | 2008-06-18 | Thomson Licensing | Method and apparatus for encoding and/or decoding video data using adaptive prediction order for spatial and bit depth prediction |
RU2446618C2 (ru) | 2006-12-28 | 2012-03-27 | Ниппон Телеграф Энд Телефон Корпорейшн | Способ кодирования и способ декодирования видео, устройства для их осуществления и носители памяти, хранящие программы |
RU2426267C2 (ru) * | 2007-01-08 | 2011-08-10 | Нокиа Корпорейшн | Усовершенствованное межуровневое предсказание для расширенной пространственной масштабируемости при кодировании видеосигнала |
KR20140101872A (ko) | 2007-01-11 | 2014-08-20 | 톰슨 라이센싱 | Mpeg-4 avc 하이 레벨 코딩에 있어서 cavlc 4:4:4 인트라 프로파일, high 4:4:4 인트라 프로파일, 및 high 4:4:4 예측 프로파일에 대하여 coded_block_flag 신택스 엘리먼트 및 coded_block_pattern 신택스 엘리먼트의 신택스를 사용하는 방법 및 장치 |
CN101222641B (zh) | 2007-01-11 | 2011-08-24 | 华为技术有限公司 | 帧内预测编解码方法及其装置 |
US8718139B2 (en) | 2007-01-12 | 2014-05-06 | Mitsubishi Electric Corporation | Image decoding device and image decoding method |
JP2008193627A (ja) | 2007-01-12 | 2008-08-21 | Mitsubishi Electric Corp | 画像符号化装置、画像復号装置、および画像符号化方法、画像復号方法 |
JP5026092B2 (ja) | 2007-01-12 | 2012-09-12 | 三菱電機株式会社 | 動画像復号装置および動画像復号方法 |
CN101018333A (zh) | 2007-02-09 | 2007-08-15 | 上海大学 | 空域可分级信噪比精细可分级视频编码方法 |
JP2010135863A (ja) * | 2007-03-28 | 2010-06-17 | Toshiba Corp | 画像符号化方法及び装置 |
WO2008127597A2 (en) * | 2007-04-12 | 2008-10-23 | Thomson Licensing | Method and apparatus for context dependent merging for skip-direct modes for video encoding and decoding |
WO2008127072A1 (en) | 2007-04-16 | 2008-10-23 | Electronics And Telecommunications Research Institute | Color video scalability encoding and decoding method and device thereof |
TW200845723A (en) | 2007-04-23 | 2008-11-16 | Thomson Licensing | Method and apparatus for encoding video data, method and apparatus for decoding encoded video data and encoded video signal |
US20090165041A1 (en) * | 2007-12-21 | 2009-06-25 | Penberthy John S | System and Method for Providing Interactive Content with Video Content |
CN100515087C (zh) | 2007-05-30 | 2009-07-15 | 威盛电子股份有限公司 | 决定二相邻的宏区块是否位于相同条带区域的方法和装置 |
KR100906243B1 (ko) | 2007-06-04 | 2009-07-07 | 전자부품연구원 | Rgb 색 공간 신호의 영상 부호화 방법 |
CN100496129C (zh) | 2007-06-05 | 2009-06-03 | 南京大学 | 基于h.264多路视频转码复用的方法 |
CN101321283B (zh) | 2007-06-10 | 2010-04-07 | 华为技术有限公司 | 兼容不同大小块变换的编解码方法及编解码器 |
WO2008156548A1 (en) | 2007-06-12 | 2008-12-24 | Thomson Licensing | Methods and apparatus supporting multi-pass video syntax structure for slice data |
JP2008311781A (ja) | 2007-06-12 | 2008-12-25 | Ntt Docomo Inc | 動画像符号化装置、動画像復号化装置、動画像符号化方法、動画像復号化方法、動画像符号化プログラム及び動画像復号化プログラム |
JP4551948B2 (ja) | 2007-06-13 | 2010-09-29 | シャープ株式会社 | 線状光源装置、面発光装置、面状光源装置、および、液晶表示装置 |
CN101325714B (zh) | 2007-06-13 | 2010-10-27 | 华为技术有限公司 | 变换数据处理方法和装置以及编码、解码方法和装置 |
CN101681499B (zh) | 2007-06-14 | 2013-04-24 | 汤姆逊许可证公司 | 修改经编码的比特流 |
US8488668B2 (en) | 2007-06-15 | 2013-07-16 | Qualcomm Incorporated | Adaptive coefficient scanning for video coding |
US8085852B2 (en) | 2007-06-26 | 2011-12-27 | Mitsubishi Electric Research Laboratories, Inc. | Inverse tone mapping for bit-depth scalable image coding |
US8422803B2 (en) * | 2007-06-28 | 2013-04-16 | Mitsubishi Electric Corporation | Image encoding device, image decoding device, image encoding method and image decoding method |
CN100534186C (zh) | 2007-07-05 | 2009-08-26 | 西安电子科技大学 | 基于码率预分配的jpeg2000自适应率控制***及方法 |
US8458612B2 (en) * | 2007-07-29 | 2013-06-04 | Hewlett-Packard Development Company, L.P. | Application management framework for web applications |
TWI338869B (en) | 2007-08-03 | 2011-03-11 | Via Tech Inc | Method and apparatus for block-based digital encoded picture |
CN101119493B (zh) | 2007-08-30 | 2010-12-01 | 威盛电子股份有限公司 | 区块式数字编码图像的译码方法及装置 |
KR20090030681A (ko) | 2007-09-20 | 2009-03-25 | 삼성전자주식회사 | 영상처리장치, 디스플레이장치, 디스플레이 시스템 및 그제어방법 |
JP4461165B2 (ja) * | 2007-09-26 | 2010-05-12 | 株式会社東芝 | 画像処理装置、方法およびプログラム |
US8374446B2 (en) * | 2007-09-28 | 2013-02-12 | Vsevolod Yurievich Mokrushin | Encoding and decoding of digital signals based on compression of hierarchical pyramid |
KR101403343B1 (ko) | 2007-10-04 | 2014-06-09 | 삼성전자주식회사 | 부화소 움직임 추정을 이용한 인터 예측 부호화, 복호화방법 및 장치 |
CN101822056B (zh) | 2007-10-12 | 2013-01-02 | 汤姆逊许可公司 | 用于视频编解码几何划分的双向预测模式划分的方法和装置 |
KR101566564B1 (ko) | 2007-10-16 | 2015-11-05 | 톰슨 라이센싱 | 기하학적으로 분할된 수퍼 블록들의 비디오 인코딩 및 디코딩 방법 및 장치 |
US7777654B2 (en) * | 2007-10-16 | 2010-08-17 | Industrial Technology Research Institute | System and method for context-based adaptive binary arithematic encoding and decoding |
CN101415149B (zh) | 2007-10-19 | 2010-12-08 | 华为技术有限公司 | 一种bc业务改进的方法和设备 |
CN101676744B (zh) | 2007-10-31 | 2012-07-11 | 北京航空航天大学 | 一种复杂背景低信噪比下弱小目标高精度跟踪方法 |
US8270472B2 (en) | 2007-11-09 | 2012-09-18 | Thomson Licensing | Methods and apparatus for adaptive reference filtering (ARF) of bi-predictive pictures in multi-view coded video |
US8553781B2 (en) | 2007-12-07 | 2013-10-08 | Thomson Licensing | Methods and apparatus for decoded picture buffer (DPB) management in single loop decoding for multi-view video |
US8540158B2 (en) | 2007-12-12 | 2013-09-24 | Yiwu Lei | Document verification using dynamic document identification framework |
US20090154567A1 (en) | 2007-12-13 | 2009-06-18 | Shaw-Min Lei | In-loop fidelity enhancement for video compression |
US8531610B2 (en) | 2007-12-28 | 2013-09-10 | Entropic Communications, Inc. | Arrangement and approach for image data processing |
US8126054B2 (en) | 2008-01-09 | 2012-02-28 | Motorola Mobility, Inc. | Method and apparatus for highly scalable intraframe video coding |
CN101911700A (zh) | 2008-01-11 | 2010-12-08 | 汤姆逊许可证公司 | 视频和深度编码 |
US8155184B2 (en) | 2008-01-16 | 2012-04-10 | Sony Corporation | Video coding system using texture analysis and synthesis in a scalable coding framework |
US8311353B2 (en) | 2008-01-21 | 2012-11-13 | Telefonaktiebolaget Lm Ericsson (Publ) | Prediction-based image processing |
WO2009092455A2 (en) | 2008-01-21 | 2009-07-30 | Telefonaktiebolaget Lm Ericsson (Publ) | Prediction-based image processing |
KR101291196B1 (ko) | 2008-01-25 | 2013-07-31 | 삼성전자주식회사 | 영상의 부호화, 복호화 방법 및 장치 |
US8711948B2 (en) | 2008-03-21 | 2014-04-29 | Microsoft Corporation | Motion-compensated prediction of inter-layer residuals |
US8179974B2 (en) | 2008-05-02 | 2012-05-15 | Microsoft Corporation | Multi-level representation of reordered transform coefficients |
JPWO2009139414A1 (ja) | 2008-05-13 | 2011-09-22 | 住友電気工業株式会社 | 光電変換ユニット |
US20100220469A1 (en) | 2008-05-23 | 2010-09-02 | Altair Engineering, Inc. | D-shaped cross section l.e.d. based light |
TWI373959B (en) | 2008-06-09 | 2012-10-01 | Kun Shan University Of Technology | Wavelet codec with a function of adjustable image quality |
KR101517768B1 (ko) | 2008-07-02 | 2015-05-06 | 삼성전자주식회사 | 영상의 부호화 방법 및 장치, 그 복호화 방법 및 장치 |
KR20100018810A (ko) | 2008-08-07 | 2010-02-18 | 전자부품연구원 | 초고화질 영상 부호화, 복호화 방법 및 장치 및 컴퓨터로판독가능한 기록매체 |
US8406307B2 (en) | 2008-08-22 | 2013-03-26 | Microsoft Corporation | Entropy coding/decoding of hierarchically organized data |
EP2161936A1 (en) | 2008-09-04 | 2010-03-10 | Panasonic Corporation | Locally adaptive filters for video coding controlled by local correlation data |
US8750379B2 (en) | 2008-09-11 | 2014-06-10 | General Instrument Corporation | Method and apparatus for complexity-scalable motion estimation |
JP5422168B2 (ja) | 2008-09-29 | 2014-02-19 | 株式会社日立製作所 | 動画像符号化方法および動画像復号化方法 |
US7837355B2 (en) | 2008-09-30 | 2010-11-23 | Disney Enterprises, Inc. | Kinetic flame device |
US8634456B2 (en) * | 2008-10-03 | 2014-01-21 | Qualcomm Incorporated | Video coding with large macroblocks |
US8503527B2 (en) | 2008-10-03 | 2013-08-06 | Qualcomm Incorporated | Video coding with large macroblocks |
US20100086031A1 (en) | 2008-10-03 | 2010-04-08 | Qualcomm Incorporated | Video coding with large macroblocks |
US8619856B2 (en) | 2008-10-03 | 2013-12-31 | Qualcomm Incorporated | Video coding with large macroblocks |
CN101404774B (zh) | 2008-11-13 | 2010-06-23 | 四川虹微技术有限公司 | 运动搜索中宏块划分模式的选择方法 |
JP5394212B2 (ja) | 2008-12-19 | 2014-01-22 | トムソン ライセンシング | データを挿入する方法、挿入されたデータを読み出す方法 |
JP5001964B2 (ja) | 2009-02-18 | 2012-08-15 | 株式会社エヌ・ティ・ティ・ドコモ | 画像符号化装置、方法およびプログラム、並びに、画像復号装置、方法およびプログラム |
CN101493890B (zh) * | 2009-02-26 | 2011-05-11 | 上海交通大学 | 基于特征的动态视觉注意区域提取方法 |
WO2010131903A2 (en) | 2009-05-12 | 2010-11-18 | Lg Electronics Inc. | Method and apparatus for processing a video signal |
US8810562B2 (en) | 2009-05-19 | 2014-08-19 | Advanced Micro Devices, Inc. | Hierarchical lossless compression |
US8306355B2 (en) | 2009-07-13 | 2012-11-06 | Sharp Laboratories Of America, Inc. | Methods and systems for reducing compression artifacts |
EP2457196A4 (en) * | 2009-07-21 | 2013-02-06 | Qualcomm Inc | METHOD AND SYSTEM FOR DETECTION AND ENHANCEMENT OF VIDEO IMAGES |
KR101624649B1 (ko) | 2009-08-14 | 2016-05-26 | 삼성전자주식회사 | 계층적인 부호화 블록 패턴 정보를 이용한 비디오 부호화 방법 및 장치, 비디오 복호화 방법 및 장치 |
KR101456498B1 (ko) | 2009-08-14 | 2014-10-31 | 삼성전자주식회사 | 계층적 부호화 단위의 스캔 순서를 고려한 비디오 부호화 방법 및 장치, 비디오 복호화 방법 및 장치 |
KR101452860B1 (ko) | 2009-08-17 | 2014-10-23 | 삼성전자주식회사 | 영상의 부호화 방법 및 장치, 영상 복호화 방법 및 장치 |
EP2485490B1 (en) | 2009-10-01 | 2015-09-30 | SK Telecom Co., Ltd. | Method and apparatus for encoding/decoding image using split layer |
KR101457418B1 (ko) | 2009-10-23 | 2014-11-04 | 삼성전자주식회사 | 계층적 부호화 단위의 크기에 따른 비디오 부호화 방법과 그 장치, 및 비디오 복호화 방법과 그 장치 |
US8594200B2 (en) | 2009-11-11 | 2013-11-26 | Mediatek Inc. | Method of storing motion vector information and video decoding apparatus |
JP5475409B2 (ja) | 2009-11-20 | 2014-04-16 | 三菱電機株式会社 | 動画像符号化装置および動画像符号化方法 |
WO2011063397A1 (en) | 2009-11-23 | 2011-05-26 | General Instrument Corporation | Depth coding as an additional channel to video sequence |
US8315310B2 (en) | 2010-01-08 | 2012-11-20 | Research In Motion Limited | Method and device for motion vector prediction in video transcoding using full resolution residuals |
US20110170608A1 (en) | 2010-01-08 | 2011-07-14 | Xun Shi | Method and device for video transcoding using quad-tree based mode selection |
KR20110135471A (ko) | 2010-06-11 | 2011-12-19 | (주)휴맥스 | 블록 병합을 이용한 영상 부호화/복호화 장치 및 방법 |
WO2011096770A2 (ko) | 2010-02-02 | 2011-08-11 | (주)휴맥스 | 영상 부호화/복호화 장치 및 방법 |
US20110194613A1 (en) | 2010-02-11 | 2011-08-11 | Qualcomm Incorporated | Video coding with large macroblocks |
KR101847072B1 (ko) * | 2010-04-05 | 2018-04-09 | 삼성전자주식회사 | 영상 부호화 방법 및 장치, 비디오 복호화 방법 및 장치 |
KR101529992B1 (ko) | 2010-04-05 | 2015-06-18 | 삼성전자주식회사 | 픽셀 그룹별 픽셀값 보상을 위한 비디오 부호화 방법과 그 장치, 및 픽셀 그룹별 픽셀값 보상을 위한 비디오 복호화 방법과 그 장치 |
KR101750046B1 (ko) * | 2010-04-05 | 2017-06-22 | 삼성전자주식회사 | 트리 구조에 따른 부호화 단위에 기반한 인루프 필터링을 수반하는 비디오 부호화 방법과 그 장치 및 복호화 방법과 그 장치 |
US20110249743A1 (en) | 2010-04-09 | 2011-10-13 | Jie Zhao | Super-block for high performance video coding |
US8942282B2 (en) | 2010-04-12 | 2015-01-27 | Qualcomm Incorporated | Variable length coding of coded block pattern (CBP) in video compression |
HUE057597T2 (hu) | 2010-04-13 | 2022-05-28 | Ge Video Compression Llc | Videó kódolás képek többes fa struktúrájú alosztásainak használatával |
CN105915924B (zh) | 2010-04-13 | 2019-12-06 | Ge视频压缩有限责任公司 | 跨平面预测 |
KR101549644B1 (ko) | 2010-04-13 | 2015-09-03 | 지이 비디오 컴프레션, 엘엘씨 | 샘플 영역 병합 |
TWI666882B (zh) | 2010-04-13 | 2019-07-21 | 美商Ge影像壓縮有限公司 | 在樣本陣列多元樹細分中之繼承技術 |
KR102481529B1 (ko) | 2010-04-13 | 2022-12-23 | 지이 비디오 컴프레션, 엘엘씨 | 평면 간 예측 |
CN106028045B (zh) | 2010-04-13 | 2019-06-25 | Ge视频压缩有限责任公司 | 解码数据流的方法、生成数据流的方法及其解码器 |
CN107360427B (zh) | 2010-10-08 | 2020-09-01 | Ge视频压缩有限责任公司 | 编码器和编码方法与解码器和解码方法 |
PL3962088T3 (pl) | 2010-11-04 | 2023-11-27 | Ge Video Compression, Llc | Kodowanie obrazu wspomagające scalanie bloków i tryb przeskoku |
US20120170648A1 (en) | 2011-01-05 | 2012-07-05 | Qualcomm Incorporated | Frame splitting in video coding |
JP6094973B2 (ja) | 2011-05-20 | 2017-03-15 | サン パテント トラスト | 色平面内予測を用いて映像を符号化および復号する方法および装置 |
ES2906869T3 (es) | 2011-06-16 | 2022-04-20 | Ge Video Compression Llc | Inicialización de contexto en codificación entrópica |
WO2014043828A1 (en) | 2012-09-24 | 2014-03-27 | Qualcomm Incorporated | Depth map coding |
WO2014166965A1 (en) | 2013-04-08 | 2014-10-16 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Inter-component prediction |
US9264728B2 (en) | 2014-01-10 | 2016-02-16 | Sony Corporation | Intra-plane and inter-plane predictive method for Bayer image coding |
WO2016013279A1 (ja) | 2014-07-22 | 2016-01-28 | オートリブ ディベロップメント エービー | サイドエアバッグ装置 |
EP3247114A4 (en) | 2015-01-21 | 2018-01-17 | Samsung Electronics Co., Ltd. | Method and apparatus for decoding inter-layer video, and method and apparatus for encoding inter-layer video |
CN106325631B (zh) * | 2015-07-10 | 2023-03-07 | 宸鸿科技(厦门)有限公司 | 一种具有压力侦测的触控显示模组及其驱动方法 |
WO2018124957A1 (en) | 2016-12-30 | 2018-07-05 | Telefonaktiebolaget Lm Ericsson (Publ) | Decoded picture buffer management for handling cross-picture data prediction |
CN117915081A (zh) | 2019-01-02 | 2024-04-19 | 北京字节跳动网络技术有限公司 | 视频处理的方法 |
WO2020216177A1 (en) | 2019-04-20 | 2020-10-29 | Beijing Bytedance Network Technology Co., Ltd. | Signaling of chroma and luma syntax elements in video coding |
CN114303382A (zh) | 2019-09-01 | 2022-04-08 | 北京字节跳动网络技术有限公司 | 视频编解码中预测权重的对准 |
CN115428444A (zh) | 2020-04-01 | 2022-12-02 | 抖音视界有限公司 | 对自适应参数集语法元素的约束 |
US11962936B2 (en) | 2020-09-29 | 2024-04-16 | Lemon Inc. | Syntax for dependent random access point indication in video bitstreams |
-
2011
- 2011-04-13 KR KR1020127029727A patent/KR101549644B1/ko active IP Right Grant
- 2011-04-13 BR BR112012026393-5A patent/BR112012026393B1/pt active IP Right Grant
- 2011-04-13 BR BR122020007916-9A patent/BR122020007916B1/pt active IP Right Grant
- 2011-04-13 CN CN201610671123.7A patent/CN106162172B/zh active Active
- 2011-04-13 TW TW103137606A patent/TWI605706B/zh active
- 2011-04-13 PL PL18195956.0T patent/PL3490257T3/pl unknown
- 2011-04-13 TW TW109139115A patent/TWI757963B/zh active
- 2011-04-13 EP EP20155684.2A patent/EP3703369B1/en active Active
- 2011-04-13 KR KR1020177017898A patent/KR101903919B1/ko active IP Right Grant
- 2011-04-13 KR KR1020207028960A patent/KR102360005B1/ko active IP Right Grant
- 2011-04-13 KR KR1020227044824A patent/KR102669292B1/ko active IP Right Grant
- 2011-04-13 TW TW110100258A patent/TWI756010B/zh active
- 2011-04-13 TW TW109111740A patent/TWI713356B/zh active
- 2011-04-13 KR KR1020207004587A patent/KR102166519B1/ko active IP Right Grant
- 2011-04-13 CN CN201610671122.2A patent/CN106303536B/zh active Active
- 2011-04-13 CN CN201610670083.4A patent/CN106162169B/zh active Active
- 2011-04-13 TW TW106133751A patent/TWI675587B/zh active
- 2011-04-13 KR KR1020197029076A patent/KR102166520B1/ko active IP Right Grant
- 2011-04-13 TW TW112131459A patent/TW202349955A/zh unknown
- 2011-04-13 PL PL11714653T patent/PL2559246T3/pl unknown
- 2011-04-13 EP EP11714653.0A patent/EP2559246B1/en active Active
- 2011-04-13 CN CN201180029037.1A patent/CN102939754B/zh active Active
- 2011-04-13 CN CN201610671573.6A patent/CN106162173B/zh active Active
- 2011-04-13 EP EP16173177.3A patent/EP3089450B1/en active Active
- 2011-04-13 TW TW100112799A patent/TWI466548B/zh active
- 2011-04-13 CN CN201610671608.6A patent/CN106101700B/zh active Active
- 2011-04-13 EP EP18195956.0A patent/EP3490257B1/en active Active
- 2011-04-13 PT PT117146530T patent/PT2559246T/pt unknown
- 2011-04-13 KR KR1020207029023A patent/KR102360146B1/ko active IP Right Grant
- 2011-04-13 KR KR1020157002237A patent/KR101754507B1/ko active IP Right Grant
- 2011-04-13 TW TW112131306A patent/TW202402058A/zh unknown
- 2011-04-13 TW TW109113500A patent/TWI718940B/zh active
- 2011-04-13 ES ES11714653.0T patent/ES2590686T3/es active Active
- 2011-04-13 DK DK11714653.0T patent/DK2559246T3/en active
- 2011-04-13 CN CN201610671020.0A patent/CN106162171B/zh active Active
- 2011-04-13 PL PL16173177.3T patent/PL3089450T3/pl unknown
- 2011-04-13 ES ES18195956T patent/ES2975222T3/es active Active
- 2011-04-13 WO PCT/EP2011/055795 patent/WO2011128366A1/en active Application Filing
- 2011-04-13 BR BR122020007918-5A patent/BR122020007918B1/pt active IP Right Grant
- 2011-04-13 KR KR1020247016941A patent/KR20240104116A/ko unknown
- 2011-04-13 KR KR1020207023157A patent/KR102337744B1/ko active IP Right Grant
- 2011-04-13 KR KR1020187026913A patent/KR102145722B1/ko active IP Right Grant
- 2011-04-13 TW TW106133748A patent/TWI678916B/zh active
- 2011-04-13 CN CN201610671078.5A patent/CN106162189B/zh active Active
- 2011-04-13 CN CN201610670978.8A patent/CN106210736B/zh active Active
- 2011-04-13 TW TW106133750A patent/TWI675586B/zh active
- 2011-04-13 BR BR122020007920-7A patent/BR122020007920B1/pt active IP Right Grant
- 2011-04-13 HU HUE11714653A patent/HUE030688T2/en unknown
- 2011-04-13 TW TW108134069A patent/TWI730420B/zh active
- 2011-04-13 EP EP22155192.2A patent/EP4057628A1/en active Pending
- 2011-04-13 CN CN201610671079.XA patent/CN106303523B/zh active Active
- 2011-04-13 KR KR1020147014053A patent/KR101626688B1/ko active IP Right Grant
- 2011-04-13 KR KR1020187027551A patent/KR102030951B1/ko active IP Right Grant
- 2011-04-13 TW TW111103939A patent/TWI815295B/zh active
- 2011-04-13 KR KR1020227003716A patent/KR102480988B1/ko active IP Right Grant
- 2011-04-13 CN CN201610670099.5A patent/CN106303522B9/zh active Active
- 2011-04-13 CN CN201610670980.5A patent/CN106162170B/zh active Active
- 2011-04-13 JP JP2013504258A patent/JP5718453B2/ja active Active
-
2012
- 2012-10-12 US US13/650,635 patent/US10621614B2/en active Active
-
2014
- 2014-04-28 JP JP2014093108A patent/JP5911028B2/ja active Active
-
2016
- 2016-03-22 JP JP2016056526A patent/JP6778496B2/ja active Active
-
2018
- 2018-03-29 US US15/940,839 patent/US10248966B2/en active Active
- 2018-11-20 US US16/197,210 patent/US10460344B2/en active Active
-
2019
- 2019-01-30 US US16/261,823 patent/US10803483B2/en active Active
- 2019-02-05 US US16/268,136 patent/US10672028B2/en active Active
- 2019-02-27 JP JP2019033521A patent/JP6909818B2/ja active Active
- 2019-06-12 JP JP2019109392A patent/JP6845282B2/ja active Active
- 2019-09-05 US US16/561,558 patent/US10748183B2/en active Active
- 2019-09-23 US US16/578,542 patent/US10719850B2/en active Active
- 2019-11-07 US US16/677,083 patent/US10803485B2/en active Active
-
2020
- 2020-02-20 JP JP2020026797A patent/JP2020092449A/ja active Pending
- 2020-06-22 US US16/907,861 patent/US11037194B2/en active Active
- 2020-08-07 US US16/988,120 patent/US11087355B2/en active Active
- 2020-09-14 US US17/020,622 patent/US11900415B2/en active Active
-
2021
- 2021-02-25 JP JP2021028054A patent/JP2021101548A/ja active Pending
- 2021-06-14 US US17/346,904 patent/US11734714B2/en active Active
-
2022
- 2022-09-22 JP JP2022151363A patent/JP2022188123A/ja not_active Ceased
- 2022-11-03 US US18/052,491 patent/US11810019B2/en active Active
- 2022-11-03 US US18/052,520 patent/US11983737B2/en active Active
-
2023
- 2023-06-13 JP JP2023097339A patent/JP2023126788A/ja active Pending
Also Published As
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR102669292B1 (ko) | 샘플 영역 병합 | |
KR102333225B1 (ko) | 샘플 배열 멀티트리 세부분할에서 계승 | |
KR101592802B1 (ko) | 평면 간 예측 |