KR102361206B1 - Gcli 엔트로피 코딩을 위한 부대역 의존 예측 적응을 사용하여 인코딩 또는 디코딩하기 위한 방법 및 장치 - Google Patents
Gcli 엔트로피 코딩을 위한 부대역 의존 예측 적응을 사용하여 인코딩 또는 디코딩하기 위한 방법 및 장치 Download PDFInfo
- Publication number
- KR102361206B1 KR102361206B1 KR1020197020909A KR20197020909A KR102361206B1 KR 102361206 B1 KR102361206 B1 KR 102361206B1 KR 1020197020909 A KR1020197020909 A KR 1020197020909A KR 20197020909 A KR20197020909 A KR 20197020909A KR 102361206 B1 KR102361206 B1 KR 102361206B1
- Authority
- KR
- South Korea
- Prior art keywords
- coefficients
- data
- subband
- mode
- decoding
- Prior art date
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/11—Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/146—Data rate or code amount at the encoder output
- H04N19/15—Data rate or code amount at the encoder output by monitoring actual compressed data size at the memory before deciding storage at the transmission buffer
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/167—Position within a video image, e.g. region of interest [ROI]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/18—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a set of transform coefficients
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/63—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets
- H04N19/64—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets characterised by ordering of coefficients or of bits for transmission
- H04N19/645—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets characterised by ordering of coefficients or of bits for transmission by grouping of coefficients into blocks after the transform
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/1883—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit relating to sub-band structure, e.g. hierarchical level, directional tree, e.g. low-high [LH], high-low [HL], high-high [HH]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/63—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets
- H04N19/64—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets characterised by ordering of coefficients or of bits for transmission
- H04N19/647—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets characterised by ordering of coefficients or of bits for transmission using significance based coding, e.g. Embedded Zerotrees of Wavelets [EZW] or Set Partitioning in Hierarchical Trees [SPIHT]
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
이미지 데이터를 인코딩하기 위한 장치에 있어서, 상기 이미지 데이터는 복수의 상이한 부대역들(101-109)로 분해되고, 각각의 부대역은 복수의 계수들을 포함하고, 프리싱트는 상이한 부대역들로부터 상이한 세트들의 계수들(1001, 1002)을 포함하고, 제1 프리싱트(300)의 2개의 세트들의 계수들(1001, 1002)은 상기 이미지 데이터에 의해 나타낸 이미지의 제1 공간 영역에 속하며, 상기 장치는, 세트 내의 계수들의 각각의 그룹(1011-1014)에 대해, 최대 코딩 라인 인덱스(GCLI)를 결정하기 위한 프로세서(600); 제1 인코딩 모드에 따라 상기 제1 프리싱트(300)의 제1 세트(1001)와 연관된 상기 최대 코딩 라인 인덱스들을 인코딩하고, 제2 인코딩 모드에 따라 상기 제1 프리싱트의 제2 세트(1002)와 연관된 상기 최대 코딩 라인 인덱스들을 인코딩하기 위한 인코더(660) - 상기 제2 인코딩 모드는 상기 제1 인코딩 모드와 상이함 -; 및 상기 인코딩된 최대 코딩 라인 인덱스들에 대한 데이터(1103) 및 상기 계수들에 대한 데이터를 갖는 인코딩된 이미지 신호를 출력하기 위한 출력 인터페이스(680)를 포함한다.
Description
본 발명은 이미지 코딩(image coding)에 관한 것으로, 특히 최대 공통 라인 인덱스(GCLI: greatest common line index) 엔트로피 코딩(entropy coding)에 의존하는 이미지 코딩에 관한 것이다.
1.1 이미지 변환
이미지 및 비디오 압축(Image and video compression)은 일반적으로 엔트로피 코딩을 실행하기 전에 변환(transform)을 적용한다. 예를 들어, 참고 문헌[5]는 블록 기반 예측(block based prediction)을 사용하는 반면, 참고 문헌[1][2][3][4]는 웨이브릿 변환(wavelet transforms)을 지지한다.
이러한 웨이브릿 변환은 도 1에 도시된다. 이미지를 다수의 부대역들(subbands)로 분해(decomposes)한다. 도 1에 도시된 바와 같이, 수평 분해(horizontal decompositions)의 수는 수직 분해(vertical decompositions)의 수와 상이할 수 있다. 각 분해 단계에서, 이전 분해의 로우 패스 부대역(lowpass subband)이 추가로 분해된다. L5 부대역은 이미지의 서브 샘플링된 버전(subsampled version)을 나타내며, 다른 부대역들은 상세 정보를 포함한다.
주파수 변환 후에, 부대역의 계수들(coefficients)은 엔트로피 코딩된다. 다시 말해,
, 
인 부대역 ABm의 
계수들은 계수 그룹(coefficient group)에 형성된다. 그 다음, 잔여 비트평면(remaining bit-planes)의 수가 시그널링(signaled)되고, 뒤이어 미가공 데이터 비트들(raw data bits)이 시그널링된다. 코딩 기술에 대한 자세한 내용은 다음 섹션에서 설명된다.
도 1은 이미지의 특정 예시적인 웨이브릿 변환을 도시한다. 이 예시에서는 2개의 수직 및 4개의 수평 분해가 가정된다.
특히, 제1 부대역은 수직 또는 y 방향에서의 하이 패스 필터링(high pass filtering) 및 수평 또는 x 방향에서의 로우 패스 필터링(low pass filtering)으로부터 발생하는 부대역 HL1(101)이다. HH1로 표시된 부대역(102)는 수직 및 수평 방향 모두에서 하이 패스 필터링 작용으로부터 발생한다. 또한, (103)에서 표시된 부대역 LH1는 이미지의 로우 패스 필터링으로부터 발생된 부대역의 수직 로우 패스 필터링 및 수평 하이 패스 필터링으로부터 발생한다. 또한, HH2에 표시된 부대역(105)은 이미지의 로우 패스 필터링으로부터 발생한 부대역의 수직 및 수평 하이 패스 필터링 작용으로부터 발생한다.
또한, HL2에 표시된 부대역(104)은 이미지의 로우 패스 필터링으로부터 발생한 부대역의 수직 하이 패스 필터링 및 수평 로우 패스 필터링으로부터 발생한다. LH2에서 표시된 부대역(106)은 이미지의 로우 패스 필터링으로부터 발생된 부대역의 수직 로우 패스 필터링 및 수평 하이 패스 필터링으로부터 발생한다. 유사하게, 부대역(107)은 수평 및 수직 방향 모두에서 2개의 로우 패스 필터링에 의해 생성된 부대역의 수평 하이 패스 필터링으로부터 발생하고, H4에 표시된 부대역(108)은 수평 방향에서의 3개의 로우 패스 필터링 및 수직 방향에서의 2개의 로우 패스 필터링에 의해 생성된 부대역의 수직 하이 패스 필터링으로부터 발생하고, 부대역(109)은 대략 로우 패스 이미지를 도시한다.
도 2a는 계수들의 그룹(group of coefficients)이 4개의 값들에 의해 형성되는 GCLI 코딩의 원리를 도시하며, 각각의 값은 s0, s1, s2, s3에 표시된 부호 비트(sign bit) 및 8개의 비트평면들과 같은 비트평면들의 특정 수에 의해 표현된다. 당연히, 계수들의 임의의 다른 그룹은 단지 2개 또는 단지 3개 또는 4개 이상의 계수들을 갖는 그룹과 같이 형성될 수 있다. 또한, 각각의 색상에 대한 각 부대역(101 내지 109)에서의 각각의 위치에 대해 단일 계수가 존재한다. 따라서, 3-색상 표현이 사용되기 때문에, 도 1에 도시된 부대역들의 각각에서 각각의 위치에 대해 3개의 계수들이 존재한다.
1.2 코딩 원리
도 2a는 GCLI 코딩의 원리를 도시한다. 주파수 변환의 동일한 부대역에 속하는 다수의 계수들(1보다 더 큼)이 그룹에 결합된다. 이러한 계수들은 부호-크기 표현으로 표현된다. 그룹에서 가장 큰 계수는 활성 비트평면들(active bit-planes)의 수를 결정한다. 비트평면 자체 또는 임의의 이전 - 더 중요한 - 비트평면의 적어도 하나의 계수 비트가 0이 아닌 경우. 비트평면이 활성이라고 한다. 활성 비트평면의 수는 소위 GCLI 값(최대 코딩 라인 인덱스(greatest coded line index))에 의해 주어진다. GCLI 값이 0이면 비트평면이 활성이 아니므로, 전체 계수 그룹은 0이다.
손실 인코딩(lossy encoding)의 경우, 비트평면들의 일부는 절단(truncated)될 수 있다. 이것은 인자가 2의 거듭 제곱인 양자화(quantization)에 대응한다. 양자화는 소위 GTLI(Greatest Trimmed Line Index)에 의해 지정된다. 0의 GTLI는 양자화에 대응하지 않는다. 양자화 후에 남아있는 활성 비트평면은 다음과 같이 잔여 비트평면(remaining bit-planes)이라 한다. 또한, GTLI는 다음과 같이 절단 포인트(truncation point)라고도 한다.
이 잔여 비트평면들은 미가공 비트들(raw bits)로서 디코더에 송신된다. 정확한 디코딩을 가능하게 하기 위해, 디코더는 계수들의 모든 그룹에 대해 잔여/송신된 비트평면들의 수를 알 필요가 있다. 결과적으로, 이들은 또한 디코더에 시그널링 될 필요가 있다. 이는 이전 계수 그룹의 잔여 비트평면들의 수와의 차이를 나타내는 가변 길이 코드(variable length code)로 수행된다. 이 이전의 계수 그룹은 원칙적으로 인코더(encoder)가 이미 이전에 인코딩 한 임의의 계수 그룹일 수 있다. 따라서, 예를 들어 수평 또는 수직 이웃 그룹(horizontal or a vertical neighbor group)일 수 있다.
이하에서 설명되는 방법은 상이한 비트스트림 부분들(bitstream parts)의 송신 순서에 대해 애그노스틱(agnostic)이다. 예를 들어, 먼저 모든 부대역들의 GCLI 계수들을 비트스트림에 위치시키고, 그 다음에는 모든 부대역들의 데이터 비트들을 위치시킬 수 있다. 대안으로는, GCLI와 데이터 비트들인 인터리브(interleaved)될 수 있다.
1.3 계수 조직화
도 1에 도시된 주파수 변환의 계수들은 도 3에 도시된 바와 같이 소위 프리싱트(precincts)로 조직화된다. 프리싱트들은 입력 이미지에서 동일한 공간 영역(spatial region)에 속하는 상이한 부대역들의 계수들을 그룹화한다.
도 3의 상부는 도 1에 도시된 개별 부대역들(101 내지 109) 내의 개별 프리싱트들(1, 2, ...)의 분포를 도시한다. 전형적으로, 프리싱트는 이미지와 동일한 너비를 갖는 예를 들어 2개의 라인들(lines)의 높이를 가지며, 예를 들어 3840 개의 컬럼들(columns)로 구성되는 공간 영역을 정의한다. 당연히, 프리싱트는 3 또는 4 또는 그 이상의 라인 높이 및 더 많거나 더 적은 컬럼들과 같은 다른 높이의 라인들이 포함될 수도 있다. 그러나 2로 나눌 수 있는 라인의 수가 바람직하다.
특히, 프리싱트는 (301 및 302)에 표시된 HH1의 처음 2개의 라인들과 (303, 304)에 표시된 LH1의 처음 2개의 라인들을 갖는다. 또한, 프리싱트는 (305 및 306)에 표시된 HL1의 처음 2개의 라인들 및 (309)에 표시된 HL2의 단일 라인, (307)에 표시된 HH2의 단일 라인, (308)에 표시된 LH2의 단일 라인, (310)에 표시된 H3의 단일 라인, (311)에 표시된 H4의 단일 라인 및 (312)에 표시된 L5의 단일 라인을 갖는다. 도면에 사용되는 프리싱트의 최종 수는 도면의 라인들의 수 및 프리싱트내에 얼마나 많은 라인들이 포함되는지에 따라 다르다.
1.4 예측 방식
디코더가 신호를 복구할 수 있게 하기 위해, 모든 계수 그룹에 대한 GCLI 값을 알아야 할 필요가 있다. 효과적으로 시그널링하기 위해 다른 방법이 최신 기술[2]에서 이용 가능하다.
1.4.1 미가공 모드(RAW Mode)
미가공 모드에서, GCLI 값은 예측없이 또는 0에서 예측하여 송신된다. 따라서,
을 다음에 인코딩 할 계수 그룹이라고 하자. 그런 다음, GCLI 값은 다음 예측 잔차(prediction residual)에 의해 인코딩 될 수 있다:
이 값에 대해, 2개의 상이한 코드들이 사용될 수 있다. 첫 번째 예제는 고정 길이의 바이너리 코드로서 δ 값을 송신하는 것으로 한 예시가 다음 표에 예시된다.
두 번째 코드는 다음 표에 설명된 가변 길이의 부호없는 우너리 코드(variable length unsigned unary code)이며, 또한 예측 없이 GCLI 부호없는 우너리 코딩(GCLI unsigned unary coding)으로 [7]에서 설명된다.
대안적인 실시예에서, 위의 표에서 0을 1로, 또는 그 반대로 교체함으로써 대체 코드가 구성될 수 있다.
1.4.2 수평 예측
과 
를 
계수들로 구성된 2개의 수평으로 인접하는 계수 그룹들이라고 하자. 
를 현재 코딩될 계수 그룹이라 하자. 그런 다음 
는 송신하여 디코더에 시그널링될 수 있다
디코더는 계산을 통해
를 복구한다
수평 예측에서, 일반적으로
가 유효하며, δ는 일반적으로 가변 길이 코드로서 전송된다.
본질적으로 이것은
1.4.3 수직 예측
과 
를 
계수들로 구성된 2개의 수직으로 인접하는 계수 그룹들이라고 하자. 
를 현재 코딩될 계수 그룹이라 하자.
는 1.4.2 섹션과 동일한 방식으로 인코딩 될 수 있다.
대안적인 실시예에서, 다음의 예측 식이 수직 예측에 사용될 수 있다:
그런 다음 디코더는 계산을 통해
를 복구한다
1.5 코딩 모드들
예측 모드들 이외에, 상이한 코딩 모드들이 사용될 수 있다. 참고 문헌[6]에서는 예를 들어 더 효과적으로 제로(zero) GCLI들을 압축하는 방법들을 제안한다. 이를 위해, 8개의 GCLI들의 모든 그룹에 대해 단일 비트 플래그(single bit flag)는 GCLI 그룹이 0인지 아닌지를 표시한다. 제로 GCLI 그룹들은 더 이상 인코딩되지 않지만, 제로가 아닌 GCLI 그룹들은 1.4.2 섹션에 설명된대로 인코딩된다.
다음에서, 코딩 모드들은 간략성을 이유로 단순히 추가의 예측 모드들로 고려된다.
서로 상이한 코딩 모드들의 계산을 위한 예시적인 수학식들은 인코더 측에 관한 수평 또는 수직 예측 모드(horizontal or vertical prediction mode )에 대해 도 2b에 도시되어 있다. 또한, 도 2c는 디코더 측에서 수행된 수평/수직 예측 모드에 대한 예시적인 수학식을 도시하고, 도 2d는 미가공 모드의 기능을 도시한다.
최신 기술[2]에서, 사용할 예측 방법은 프리싱트 기반에서 선택된다. 다시 말해, 프리싱트의 모든 부대역들의 GCLI 값들은 동일한 방식에 의해 예측된다. 그러나, 이것은 코덱(codec)의 모든 잠재력을 활용하지 않는다.
이미지 및 비디오 압축(Image and video compression)은 일반적으로 엔트로피 코딩을 실행하기 전에 변환(transform)을 적용한다. 예를 들어, 참고 문헌[5]는 블록 기반 예측(block based prediction)을 사용하는 반면, 참고 문헌[1][2][3][4]는 웨이브릿 변환(wavelet transforms)을 지지한다.
이러한 웨이브릿 변환은 도 1에 도시된다. 이미지를 다수의 부대역들(subbands)로 분해(decomposes)한다. 도 1에 도시된 바와 같이, 수평 분해(horizontal decompositions)의 수는 수직 분해(vertical decompositions)의 수와 상이할 수 있다. 각 분해 단계에서, 이전 분해의 로우 패스 부대역(lowpass subband)이 추가로 분해된다. L5 부대역은 이미지의 서브 샘플링된 버전(subsampled version)을 나타내며, 다른 부대역들은 상세 정보를 포함한다.
주파수 변환 후에, 부대역의 계수들(coefficients)은 엔트로피 코딩된다. 다시 말해,
도 1은 이미지의 특정 예시적인 웨이브릿 변환을 도시한다. 이 예시에서는 2개의 수직 및 4개의 수평 분해가 가정된다.
특히, 제1 부대역은 수직 또는 y 방향에서의 하이 패스 필터링(high pass filtering) 및 수평 또는 x 방향에서의 로우 패스 필터링(low pass filtering)으로부터 발생하는 부대역 HL1(101)이다. HH1로 표시된 부대역(102)는 수직 및 수평 방향 모두에서 하이 패스 필터링 작용으로부터 발생한다. 또한, (103)에서 표시된 부대역 LH1는 이미지의 로우 패스 필터링으로부터 발생된 부대역의 수직 로우 패스 필터링 및 수평 하이 패스 필터링으로부터 발생한다. 또한, HH2에 표시된 부대역(105)은 이미지의 로우 패스 필터링으로부터 발생한 부대역의 수직 및 수평 하이 패스 필터링 작용으로부터 발생한다.
또한, HL2에 표시된 부대역(104)은 이미지의 로우 패스 필터링으로부터 발생한 부대역의 수직 하이 패스 필터링 및 수평 로우 패스 필터링으로부터 발생한다. LH2에서 표시된 부대역(106)은 이미지의 로우 패스 필터링으로부터 발생된 부대역의 수직 로우 패스 필터링 및 수평 하이 패스 필터링으로부터 발생한다. 유사하게, 부대역(107)은 수평 및 수직 방향 모두에서 2개의 로우 패스 필터링에 의해 생성된 부대역의 수평 하이 패스 필터링으로부터 발생하고, H4에 표시된 부대역(108)은 수평 방향에서의 3개의 로우 패스 필터링 및 수직 방향에서의 2개의 로우 패스 필터링에 의해 생성된 부대역의 수직 하이 패스 필터링으로부터 발생하고, 부대역(109)은 대략 로우 패스 이미지를 도시한다.
도 2a는 계수들의 그룹(group of coefficients)이 4개의 값들에 의해 형성되는 GCLI 코딩의 원리를 도시하며, 각각의 값은 s0, s1, s2, s3에 표시된 부호 비트(sign bit) 및 8개의 비트평면들과 같은 비트평면들의 특정 수에 의해 표현된다. 당연히, 계수들의 임의의 다른 그룹은 단지 2개 또는 단지 3개 또는 4개 이상의 계수들을 갖는 그룹과 같이 형성될 수 있다. 또한, 각각의 색상에 대한 각 부대역(101 내지 109)에서의 각각의 위치에 대해 단일 계수가 존재한다. 따라서, 3-색상 표현이 사용되기 때문에, 도 1에 도시된 부대역들의 각각에서 각각의 위치에 대해 3개의 계수들이 존재한다.
1.2 코딩 원리
도 2a는 GCLI 코딩의 원리를 도시한다. 주파수 변환의 동일한 부대역에 속하는 다수의 계수들(1보다 더 큼)이 그룹에 결합된다. 이러한 계수들은 부호-크기 표현으로 표현된다. 그룹에서 가장 큰 계수는 활성 비트평면들(active bit-planes)의 수를 결정한다. 비트평면 자체 또는 임의의 이전 - 더 중요한 - 비트평면의 적어도 하나의 계수 비트가 0이 아닌 경우. 비트평면이 활성이라고 한다. 활성 비트평면의 수는 소위 GCLI 값(최대 코딩 라인 인덱스(greatest coded line index))에 의해 주어진다. GCLI 값이 0이면 비트평면이 활성이 아니므로, 전체 계수 그룹은 0이다.
손실 인코딩(lossy encoding)의 경우, 비트평면들의 일부는 절단(truncated)될 수 있다. 이것은 인자가 2의 거듭 제곱인 양자화(quantization)에 대응한다. 양자화는 소위 GTLI(Greatest Trimmed Line Index)에 의해 지정된다. 0의 GTLI는 양자화에 대응하지 않는다. 양자화 후에 남아있는 활성 비트평면은 다음과 같이 잔여 비트평면(remaining bit-planes)이라 한다. 또한, GTLI는 다음과 같이 절단 포인트(truncation point)라고도 한다.
이 잔여 비트평면들은 미가공 비트들(raw bits)로서 디코더에 송신된다. 정확한 디코딩을 가능하게 하기 위해, 디코더는 계수들의 모든 그룹에 대해 잔여/송신된 비트평면들의 수를 알 필요가 있다. 결과적으로, 이들은 또한 디코더에 시그널링 될 필요가 있다. 이는 이전 계수 그룹의 잔여 비트평면들의 수와의 차이를 나타내는 가변 길이 코드(variable length code)로 수행된다. 이 이전의 계수 그룹은 원칙적으로 인코더(encoder)가 이미 이전에 인코딩 한 임의의 계수 그룹일 수 있다. 따라서, 예를 들어 수평 또는 수직 이웃 그룹(horizontal or a vertical neighbor group)일 수 있다.
이하에서 설명되는 방법은 상이한 비트스트림 부분들(bitstream parts)의 송신 순서에 대해 애그노스틱(agnostic)이다. 예를 들어, 먼저 모든 부대역들의 GCLI 계수들을 비트스트림에 위치시키고, 그 다음에는 모든 부대역들의 데이터 비트들을 위치시킬 수 있다. 대안으로는, GCLI와 데이터 비트들인 인터리브(interleaved)될 수 있다.
1.3 계수 조직화
도 1에 도시된 주파수 변환의 계수들은 도 3에 도시된 바와 같이 소위 프리싱트(precincts)로 조직화된다. 프리싱트들은 입력 이미지에서 동일한 공간 영역(spatial region)에 속하는 상이한 부대역들의 계수들을 그룹화한다.
도 3의 상부는 도 1에 도시된 개별 부대역들(101 내지 109) 내의 개별 프리싱트들(1, 2, ...)의 분포를 도시한다. 전형적으로, 프리싱트는 이미지와 동일한 너비를 갖는 예를 들어 2개의 라인들(lines)의 높이를 가지며, 예를 들어 3840 개의 컬럼들(columns)로 구성되는 공간 영역을 정의한다. 당연히, 프리싱트는 3 또는 4 또는 그 이상의 라인 높이 및 더 많거나 더 적은 컬럼들과 같은 다른 높이의 라인들이 포함될 수도 있다. 그러나 2로 나눌 수 있는 라인의 수가 바람직하다.
특히, 프리싱트는 (301 및 302)에 표시된 HH1의 처음 2개의 라인들과 (303, 304)에 표시된 LH1의 처음 2개의 라인들을 갖는다. 또한, 프리싱트는 (305 및 306)에 표시된 HL1의 처음 2개의 라인들 및 (309)에 표시된 HL2의 단일 라인, (307)에 표시된 HH2의 단일 라인, (308)에 표시된 LH2의 단일 라인, (310)에 표시된 H3의 단일 라인, (311)에 표시된 H4의 단일 라인 및 (312)에 표시된 L5의 단일 라인을 갖는다. 도면에 사용되는 프리싱트의 최종 수는 도면의 라인들의 수 및 프리싱트내에 얼마나 많은 라인들이 포함되는지에 따라 다르다.
1.4 예측 방식
디코더가 신호를 복구할 수 있게 하기 위해, 모든 계수 그룹에 대한 GCLI 값을 알아야 할 필요가 있다. 효과적으로 시그널링하기 위해 다른 방법이 최신 기술[2]에서 이용 가능하다.
1.4.1 미가공 모드(RAW Mode)
미가공 모드에서, GCLI 값은 예측없이 또는 0에서 예측하여 송신된다. 따라서,
이 값에 대해, 2개의 상이한 코드들이 사용될 수 있다. 첫 번째 예제는 고정 길이의 바이너리 코드로서 δ 값을 송신하는 것으로 한 예시가 다음 표에 예시된다.
예측 잔차  | 코딩된 값 |
| 0 | 0000 |
| 1 | 0001 |
| 2 | 0010 |
| 3 | 0011 |
| ... | ... |
두 번째 코드는 다음 표에 설명된 가변 길이의 부호없는 우너리 코드(variable length unsigned unary code)이며, 또한 예측 없이 GCLI 부호없는 우너리 코딩(GCLI unsigned unary coding)으로 [7]에서 설명된다.
예측 잔차  | 코딩된 값 |
| 0 | 0 |
| 1 | 10 |
| 2 | 110 |
| 3 | 1110 |
| ... | ... |
대안적인 실시예에서, 위의 표에서 0을 1로, 또는 그 반대로 교체함으로써 대체 코드가 구성될 수 있다.
1.4.2 수평 예측
디코더는 계산을 통해
수평 예측에서, 일반적으로
본질적으로 이것은
1.4.3 수직 예측
대안적인 실시예에서, 다음의 예측 식이 수직 예측에 사용될 수 있다:
그런 다음 디코더는 계산을 통해
1.5 코딩 모드들
예측 모드들 이외에, 상이한 코딩 모드들이 사용될 수 있다. 참고 문헌[6]에서는 예를 들어 더 효과적으로 제로(zero) GCLI들을 압축하는 방법들을 제안한다. 이를 위해, 8개의 GCLI들의 모든 그룹에 대해 단일 비트 플래그(single bit flag)는 GCLI 그룹이 0인지 아닌지를 표시한다. 제로 GCLI 그룹들은 더 이상 인코딩되지 않지만, 제로가 아닌 GCLI 그룹들은 1.4.2 섹션에 설명된대로 인코딩된다.
다음에서, 코딩 모드들은 간략성을 이유로 단순히 추가의 예측 모드들로 고려된다.
서로 상이한 코딩 모드들의 계산을 위한 예시적인 수학식들은 인코더 측에 관한 수평 또는 수직 예측 모드(horizontal or vertical prediction mode )에 대해 도 2b에 도시되어 있다. 또한, 도 2c는 디코더 측에서 수행된 수평/수직 예측 모드에 대한 예시적인 수학식을 도시하고, 도 2d는 미가공 모드의 기능을 도시한다.
최신 기술[2]에서, 사용할 예측 방법은 프리싱트 기반에서 선택된다. 다시 말해, 프리싱트의 모든 부대역들의 GCLI 값들은 동일한 방식에 의해 예측된다. 그러나, 이것은 코덱(codec)의 모든 잠재력을 활용하지 않는다.
이미지 프로세싱(image processing)을 위한 개선된 인코딩(encoding) 또는 디코딩(decoding) 방식을 제공하는 것이 목적이다.
이 목적은 청구항 1의 이미지 데이터를 인코딩하기 위해 장치, 청구항 24에 따른 인코딩된 이미지 신호(encoded image signal)를 디코딩하기 위한 장치, 청구항 40의 이미지 데이터를 인코딩하기 위한 방법, 청구항 41의 인코딩된 이미지 신호를 디코딩하기 위한 방법, 청구항 42의 인코딩된 이미지 신호 또는 청구항 43의 컴퓨터 프로그램에 의해 달성된다.
본 발명은 한편으로는 코딩 효율성, 다른 한편으로는 인코딩 품질이 프리싱트 내의 각 부대역에 대해, 즉 프리싱트 내의 부대역으로부터 각각의 복수의 계수들에 대해 최대 코딩 라인 인덱스(GCLI: greatest coded line index) 데이터를 인코딩하기 위한 자체 인코딩 모드를 결정함으로써 향상될 수 있다는 발견에 기초한다.
따라서, 이미지 데이터를 인코딩(encoding)하기 위한 개념에 있어서, 상기 이미지 데이터는 복수의 상이한 부대역들(subbands)로 분해(decomposed)되고, 각각의 부대역은 복수의 계수들(coefficients)을 포함하고, 프리싱트(precinct)는 상이한 부대역들로부터 상이한 세트들의 계수들(sets of coefficients)을 포함하고, 상기 이미지 데이터에 의해 나타낸 이미지의 특정 공간 영역(spatial region)에 속하는 프리싱트의 2개의 세트들의 계수들은 한 세트의 계수들 내의 계수들의 각 그룹에 대한 최대 코딩된 라인 인덱스의 결정에 기초하며, 추가적으로, 제1 인코딩 모드(encoding mode)에 따라 특정 세트의 프리싱트(a certain set of a precinct)와 연관된 상기 최대 코딩 라인 인덱스들을 인코딩하고, 제2 인코딩 모드에 따라 제2 세트의 동일한 프리싱트와 연관된 상기 최대 코딩 라인 인덱스들을 인코딩하기 위한 인코더(encoder)에 의존하며, 상기 제2 인코딩 모드는 상기 제1 인코딩 모드와 상이하다. 또한, 이미지 데이터를 인코딩 하기 위한 장치의 출력 인터페이스(output interface)는 개별적인 부대역들/세트들의 계수들에 대한 인코딩된 최대 코딩 라인 인덱스들에 대한 데이터, 및 추가로 대응하는 계수들에 대한 데이터를 갖는 인코딩된 이미지 신호를 출력한다.
디코더 측에서, 본 발명은 프리싱트 내의 상이한 부대역들에 대한 인코딩된 최대 코딩 라인 인덱스들에 대한 데이터에 대해 상이한 디코딩 모드를 결정하기 위한 디코딩 모드 결정기(decoding mode determiner)가 있는 기능에 의존하며, 계수들에 대한 데이터는 복수의 상이한 부대역들로 분해되는 이미지 데이터를 나타내고, 각각의 부대역은 복수의 계수들을 포함하며, 상기 프리싱트는 상이한 부대역들로부터 상이한 세트들의 계수들을 포함한다. 특히, 제1 프리싱트에서의 제1 세트에 대한 인코딩된 최대 코딩 라인 인덱스들에 대한 데이터를 디코딩하기 위한 디코더는 프리싱트의 제2 세트에 대한 인코딩된 최대 코딩 라인 인덱스들에 대한 데이터를 디코딩하기 위해 제1 디코딩 모드를 사용하고, 디코딩 모드 결정기에 의해 결정된 바와 같이 제2 디코딩 모드가 사용된다. 또한, 계수들에 대한 데이터는 부대역 또는 계수들의 세트 당 상이한 디코딩 모드들을 사용함으로써 획득된 디코딩된 최대 코딩 라인 인덱스 데이터를 사용하여 디코딩된다.
개별 인코딩 또는 디코딩 모드들이 프리싱트 내의 개별 세트들의 부대역들 또는 계수들에 대해 가능해 진다는 사실 때문에, 최대 코딩 라인 인덱스들(GCLI) 값들을 인코딩하기 위한 비트들의 수가 감소되기 때문에 계산 효율성이 향상된다. 이는 부대역 내에서 상관되거나 밀접하게 관련된 GCLI 값들에 대한 높은 가능성이 있기 때문에 일종의 예측에 유용하지만, GCLI 값들은 부대역으로부터 부대역으로의 프리싱트 내에서 실질적으로 변할 수 있다.
바람직한 실시예들은 개별 부대역에 기초한 실제 모드 결정에 의존한다. 따라서, 일 실시예에서, 특정 인코딩 모드는 실제 데이터와 무관하게 각 부대역에 대해 미리 결정될 수 있다. 인코딩 모드가 인코더로부터 디코더로 송신될 필요가 없지만, 인코더 측 및 디코더 측에서 미리 결정될 수 있기 때문에, 이러한 절차는 매우 효율적이다.
다른 실시예들은 이미지 데이터에 기초한 인코딩 모드의 실제 결정에 의존한다. 특정 실시예는 각 부대역에 대한 인코딩 모드를 결정하기 위해 개별 부대역들 또는 프리싱트들에 대한 데이터 예산들의 계산에 의존한다. 이 절차는 특정 절단 포인트에 대응하는 GTLI 절차(GTLI = 최대 트리밍 레벨 인덱스(greatest trimmed level index) 또는 최대 트리밍 라인 인덱스(greatest trimmed line index))에 기초한 양자화 결정 내에서 완전히 통합되어 사용될 수 있다. 그러나, GTLI 인코딩은 무손실 인코딩으로서 사용될 수도 있으며, 임의의 절단은 수행되지 않으므로 모든 GTLI 프로세싱(GTLI processing)이 필요하지 않다. 그러나, 경우에 따라 비트레이트(bitrate)를 특정 타겟 비트레이트(certain target bitrate)에 적응시키기 위해 또는 일정한 비트레이트를 획득하기 위해 GCLI 프로세싱 이외에도 GLTI프로세싱을 사용하는 것이 바람직하다.
다른 실시예들은, 프리싱트 내의 특정 부대역들에 대해, 동일하거나 상이한 인코딩 모드들이 미리 결정되고, 다른 한편으로는 전형적으로 고해상도 정보를 나타내는 하위 부대역들에 대해, 인코딩 모드들이 필수 비트 예산들(required bit budgets)에 기초하여 계산되며, 즉 실제 이미지 데이터에 기초하여 계산되는 혼합된 절차에 의존한다.
다른 실시예들은 계수들의 그룹에 대한 최대 코딩 라인 인덱스 결정에 의존하며, 그룹 내의 계수들의 수는 2보다 더 크고, 바람직하게는 4와 같다. 또한, 결정된 절단 포인트에 기초한 실제 손실 인코딩 또는 양자화, 즉 GTLI 프로세싱은 동일한 GTLI가 전체 프리싱트에 대해 결정되는 방식으로 수행된다. 그러나, 다른 실시예들에서, 동일한 GTLI가 개별 부대역에 대해 결정된다. 따라서, 최대 코딩 라인 인덱스 결정과 비교하여 절단 포인트 결정을 위해 더 높은 입도(granularity)를 사용하는 것이 바람직하다.
다른 실시예들에서, 3 가지 상이한 인코딩 모드들, 즉 임의의 예측이 없는 수평 예측 모드(horizontal prediction mode), 수직 예측 모드(vertical prediction mode) 또는 미가공 모드(raw mode)가 수행된다. 그러나, 런 렝스 모드(run length mode), 또는 수평 또는 수직 방향이 아니지만, 예를 들어 수직 방향으로 서로 인접하는 계수들의 GCLI 값들 사이에서 예측이 수행되지 않지만 수평으로 서로 시프트된 계수들과 연관된 GCLI들 사이에서 예측이 수행되는 일종의 왜곡된 방향(skewed direction)에서의 예측 모드와 같은 다른 인코딩 모드 또한 수행될 수 있다. 따라서, 상이한 인코딩 모드가 필요에 따라 결정될 수 있고, 따라서, 5, 6 또는 그 이상의 인코딩 모드들로 결정될 수 있다. 또한, 인코딩 모드들은 항상 수평 또는 수직 예측 모드를 반드시 포함할 필요는 없지만, 상이한 인코딩 모드들은 또한 예를 들어, 미가공 모드 및 왜곡 모드(skew mode) 또는 임의의 다른 인코딩 모드의 조합으로 구성될 수 있다.
다른 실시예들에서, 다른 절차들은 인코더 또는 디코더 내에서 수행된다. 특히, 이미지 데이터는 이산 웨이브릿 변환 동작에 도입(introduced)되기 전에 색상 변환될 수 있다. 대안으로 또는 부가적으로, GCLI 추출을 수행하기 전에 부호-크기 변환이 수행될 수 있다.
또한, GCLI 예측의 결과는 우너리 코드를 사용하는 것과 같이 엔트로피 인코딩 될 수 있으며, 예를 들어, 미가공 데이터가 그대로 비트스트림에 도입되는, 즉 추가 코딩없이 도입될 수 있다.
또한, 계수 데이터의 절단 또는 GTLI 트리밍의 결과는 그대로 데이터 스트림으로 도입될 수 있으며, 즉 데이터 스트림으로 패킹(packed)될 수 있지만, 대안으로는 허프만 인코딩(Huffman encoding) 또는 산술 코딩(arithmetic coding) 또는 임의의 다른 종류의 엔트로피 코딩과 같은 또 다른 인코딩 동작이 추가로 사용될 수 있다. 그러나, 복잡성 때문에, GTLI 제어된 트리밍 또는 절단(GTLI controlled trimming or truncation)의 출력을 패킹하는 것, 즉, GCLI 표시된 비트평면(GCLI indicated bit-plane)과 GTLI 표시된 비트평면(GTLI indicated bit-plane) 사이의 잔여 비트들을 직접 인코딩된 이미지 신호로, 즉 직접 바이너리 데이터의 비트스트림으로 패킹하는 것이 바람직하다.
이 목적은 청구항 1의 이미지 데이터를 인코딩하기 위해 장치, 청구항 24에 따른 인코딩된 이미지 신호(encoded image signal)를 디코딩하기 위한 장치, 청구항 40의 이미지 데이터를 인코딩하기 위한 방법, 청구항 41의 인코딩된 이미지 신호를 디코딩하기 위한 방법, 청구항 42의 인코딩된 이미지 신호 또는 청구항 43의 컴퓨터 프로그램에 의해 달성된다.
본 발명은 한편으로는 코딩 효율성, 다른 한편으로는 인코딩 품질이 프리싱트 내의 각 부대역에 대해, 즉 프리싱트 내의 부대역으로부터 각각의 복수의 계수들에 대해 최대 코딩 라인 인덱스(GCLI: greatest coded line index) 데이터를 인코딩하기 위한 자체 인코딩 모드를 결정함으로써 향상될 수 있다는 발견에 기초한다.
따라서, 이미지 데이터를 인코딩(encoding)하기 위한 개념에 있어서, 상기 이미지 데이터는 복수의 상이한 부대역들(subbands)로 분해(decomposed)되고, 각각의 부대역은 복수의 계수들(coefficients)을 포함하고, 프리싱트(precinct)는 상이한 부대역들로부터 상이한 세트들의 계수들(sets of coefficients)을 포함하고, 상기 이미지 데이터에 의해 나타낸 이미지의 특정 공간 영역(spatial region)에 속하는 프리싱트의 2개의 세트들의 계수들은 한 세트의 계수들 내의 계수들의 각 그룹에 대한 최대 코딩된 라인 인덱스의 결정에 기초하며, 추가적으로, 제1 인코딩 모드(encoding mode)에 따라 특정 세트의 프리싱트(a certain set of a precinct)와 연관된 상기 최대 코딩 라인 인덱스들을 인코딩하고, 제2 인코딩 모드에 따라 제2 세트의 동일한 프리싱트와 연관된 상기 최대 코딩 라인 인덱스들을 인코딩하기 위한 인코더(encoder)에 의존하며, 상기 제2 인코딩 모드는 상기 제1 인코딩 모드와 상이하다. 또한, 이미지 데이터를 인코딩 하기 위한 장치의 출력 인터페이스(output interface)는 개별적인 부대역들/세트들의 계수들에 대한 인코딩된 최대 코딩 라인 인덱스들에 대한 데이터, 및 추가로 대응하는 계수들에 대한 데이터를 갖는 인코딩된 이미지 신호를 출력한다.
디코더 측에서, 본 발명은 프리싱트 내의 상이한 부대역들에 대한 인코딩된 최대 코딩 라인 인덱스들에 대한 데이터에 대해 상이한 디코딩 모드를 결정하기 위한 디코딩 모드 결정기(decoding mode determiner)가 있는 기능에 의존하며, 계수들에 대한 데이터는 복수의 상이한 부대역들로 분해되는 이미지 데이터를 나타내고, 각각의 부대역은 복수의 계수들을 포함하며, 상기 프리싱트는 상이한 부대역들로부터 상이한 세트들의 계수들을 포함한다. 특히, 제1 프리싱트에서의 제1 세트에 대한 인코딩된 최대 코딩 라인 인덱스들에 대한 데이터를 디코딩하기 위한 디코더는 프리싱트의 제2 세트에 대한 인코딩된 최대 코딩 라인 인덱스들에 대한 데이터를 디코딩하기 위해 제1 디코딩 모드를 사용하고, 디코딩 모드 결정기에 의해 결정된 바와 같이 제2 디코딩 모드가 사용된다. 또한, 계수들에 대한 데이터는 부대역 또는 계수들의 세트 당 상이한 디코딩 모드들을 사용함으로써 획득된 디코딩된 최대 코딩 라인 인덱스 데이터를 사용하여 디코딩된다.
개별 인코딩 또는 디코딩 모드들이 프리싱트 내의 개별 세트들의 부대역들 또는 계수들에 대해 가능해 진다는 사실 때문에, 최대 코딩 라인 인덱스들(GCLI) 값들을 인코딩하기 위한 비트들의 수가 감소되기 때문에 계산 효율성이 향상된다. 이는 부대역 내에서 상관되거나 밀접하게 관련된 GCLI 값들에 대한 높은 가능성이 있기 때문에 일종의 예측에 유용하지만, GCLI 값들은 부대역으로부터 부대역으로의 프리싱트 내에서 실질적으로 변할 수 있다.
바람직한 실시예들은 개별 부대역에 기초한 실제 모드 결정에 의존한다. 따라서, 일 실시예에서, 특정 인코딩 모드는 실제 데이터와 무관하게 각 부대역에 대해 미리 결정될 수 있다. 인코딩 모드가 인코더로부터 디코더로 송신될 필요가 없지만, 인코더 측 및 디코더 측에서 미리 결정될 수 있기 때문에, 이러한 절차는 매우 효율적이다.
다른 실시예들은 이미지 데이터에 기초한 인코딩 모드의 실제 결정에 의존한다. 특정 실시예는 각 부대역에 대한 인코딩 모드를 결정하기 위해 개별 부대역들 또는 프리싱트들에 대한 데이터 예산들의 계산에 의존한다. 이 절차는 특정 절단 포인트에 대응하는 GTLI 절차(GTLI = 최대 트리밍 레벨 인덱스(greatest trimmed level index) 또는 최대 트리밍 라인 인덱스(greatest trimmed line index))에 기초한 양자화 결정 내에서 완전히 통합되어 사용될 수 있다. 그러나, GTLI 인코딩은 무손실 인코딩으로서 사용될 수도 있으며, 임의의 절단은 수행되지 않으므로 모든 GTLI 프로세싱(GTLI processing)이 필요하지 않다. 그러나, 경우에 따라 비트레이트(bitrate)를 특정 타겟 비트레이트(certain target bitrate)에 적응시키기 위해 또는 일정한 비트레이트를 획득하기 위해 GCLI 프로세싱 이외에도 GLTI프로세싱을 사용하는 것이 바람직하다.
다른 실시예들은, 프리싱트 내의 특정 부대역들에 대해, 동일하거나 상이한 인코딩 모드들이 미리 결정되고, 다른 한편으로는 전형적으로 고해상도 정보를 나타내는 하위 부대역들에 대해, 인코딩 모드들이 필수 비트 예산들(required bit budgets)에 기초하여 계산되며, 즉 실제 이미지 데이터에 기초하여 계산되는 혼합된 절차에 의존한다.
다른 실시예들은 계수들의 그룹에 대한 최대 코딩 라인 인덱스 결정에 의존하며, 그룹 내의 계수들의 수는 2보다 더 크고, 바람직하게는 4와 같다. 또한, 결정된 절단 포인트에 기초한 실제 손실 인코딩 또는 양자화, 즉 GTLI 프로세싱은 동일한 GTLI가 전체 프리싱트에 대해 결정되는 방식으로 수행된다. 그러나, 다른 실시예들에서, 동일한 GTLI가 개별 부대역에 대해 결정된다. 따라서, 최대 코딩 라인 인덱스 결정과 비교하여 절단 포인트 결정을 위해 더 높은 입도(granularity)를 사용하는 것이 바람직하다.
다른 실시예들에서, 3 가지 상이한 인코딩 모드들, 즉 임의의 예측이 없는 수평 예측 모드(horizontal prediction mode), 수직 예측 모드(vertical prediction mode) 또는 미가공 모드(raw mode)가 수행된다. 그러나, 런 렝스 모드(run length mode), 또는 수평 또는 수직 방향이 아니지만, 예를 들어 수직 방향으로 서로 인접하는 계수들의 GCLI 값들 사이에서 예측이 수행되지 않지만 수평으로 서로 시프트된 계수들과 연관된 GCLI들 사이에서 예측이 수행되는 일종의 왜곡된 방향(skewed direction)에서의 예측 모드와 같은 다른 인코딩 모드 또한 수행될 수 있다. 따라서, 상이한 인코딩 모드가 필요에 따라 결정될 수 있고, 따라서, 5, 6 또는 그 이상의 인코딩 모드들로 결정될 수 있다. 또한, 인코딩 모드들은 항상 수평 또는 수직 예측 모드를 반드시 포함할 필요는 없지만, 상이한 인코딩 모드들은 또한 예를 들어, 미가공 모드 및 왜곡 모드(skew mode) 또는 임의의 다른 인코딩 모드의 조합으로 구성될 수 있다.
다른 실시예들에서, 다른 절차들은 인코더 또는 디코더 내에서 수행된다. 특히, 이미지 데이터는 이산 웨이브릿 변환 동작에 도입(introduced)되기 전에 색상 변환될 수 있다. 대안으로 또는 부가적으로, GCLI 추출을 수행하기 전에 부호-크기 변환이 수행될 수 있다.
또한, GCLI 예측의 결과는 우너리 코드를 사용하는 것과 같이 엔트로피 인코딩 될 수 있으며, 예를 들어, 미가공 데이터가 그대로 비트스트림에 도입되는, 즉 추가 코딩없이 도입될 수 있다.
또한, 계수 데이터의 절단 또는 GTLI 트리밍의 결과는 그대로 데이터 스트림으로 도입될 수 있으며, 즉 데이터 스트림으로 패킹(packed)될 수 있지만, 대안으로는 허프만 인코딩(Huffman encoding) 또는 산술 코딩(arithmetic coding) 또는 임의의 다른 종류의 엔트로피 코딩과 같은 또 다른 인코딩 동작이 추가로 사용될 수 있다. 그러나, 복잡성 때문에, GTLI 제어된 트리밍 또는 절단(GTLI controlled trimming or truncation)의 출력을 패킹하는 것, 즉, GCLI 표시된 비트평면(GCLI indicated bit-plane)과 GTLI 표시된 비트평면(GTLI indicated bit-plane) 사이의 잔여 비트들을 직접 인코딩된 이미지 신호로, 즉 직접 바이너리 데이터의 비트스트림으로 패킹하는 것이 바람직하다.
본 발명의 바람직한 실시예들은 첨부된 도면들과 관련하여 이어서 설명된다.
도 1은 예시적인 2개의 수직 및 5개의 수평 분해들을 갖는 이미지의 웨이브릿 변환을 도시한다.
도 2a는 GCLI 인코딩의 원리를 도시한다.
도 2b는 인코더 측에 관한 수평 또는 수직 예측을 위한 예측 규칙들을 도시한다.
도 2c는 디코더 측에 관련된 수평 또는 수직 예측에 관한 "역" 예측에 대한 예측 규칙들을 도시한다.
도 2d는 미가공 모드를 도시한다.
도 3은 프리싱트 조직화를 도시한다.
도 4는 부대역 당 부대역 적응 예측 방식의 블록도를 도시한다.
도 5는 감소된 인코더 복잡성에 대한 고정된 예측 방식을 도시한다.
도 6은 일 실시예의 이미지 데이터를 인코딩하기 위한 장치의 블록도를 도시한다.
도 7은 일 실시예의 인코딩된 이미지 신호를 디코딩하기 위한 장치를 도시한다.
도 8a는 부대역들에 대한 인코딩 모드들을 결정하기 위한 모드 결정기의 일 구현을 도시한다.
도 8b는 부대역에 대한 인코딩 모드의 계산을 위한 인코딩 모드 결정기의 또 다른 구현을 도시한다.
도 8c는 인코딩 모드 결정기의 또 다른 실시예를 도시한다.
도 8d는 예를 들어, 도 8c의 프로세스에 의해 결정된 바와 같이, 부대역에 대한 선택된 절단 포인트 및 미가공 데이터 버퍼에 기초한 양자화의 프로세스를 도시한다.
도 9는 GTLI 값들의 결정 및 양자화의 프로세스의 협력을 설명하는 일 측면의 또 다른 실시예를 도시한다.
도 10은 제1 부대역에 대한 제1 세트의 계수들, 제2 부대역에 대한 제2 세트의 계수들 및 계수들의 개별 그룹을 갖는 프리싱트를 도시한다.
도 11은 예를 들어 도 6의 인코딩을 위한 장치에 의해 출력된, 또는 예를 들어 도 7의 디코딩을 위한 장치에 입력된 인코딩된 이미지 신호를 도시한다.
도 12는 도 11의 인코딩된 이미지 신호를 디코딩하기 위한 장치 내에 포함된 디코더에 의해 수행되는 절차를 도시한다.
도 13은 또 다른 실시예에서의 인코더의 블록도를 도시한다.
도 14는 또 다른 실시예에서의 디코더의 블록도를 도시한다.
도 15는 인코더의 일 측면의 또 다른 구현을 도시한다.
도 16은 엔트로피 인코더와 레이트 할당 사이의 협력을 도시한 개략도를 도시한다.
도 1은 예시적인 2개의 수직 및 5개의 수평 분해들을 갖는 이미지의 웨이브릿 변환을 도시한다.
도 2a는 GCLI 인코딩의 원리를 도시한다.
도 2b는 인코더 측에 관한 수평 또는 수직 예측을 위한 예측 규칙들을 도시한다.
도 2c는 디코더 측에 관련된 수평 또는 수직 예측에 관한 "역" 예측에 대한 예측 규칙들을 도시한다.
도 2d는 미가공 모드를 도시한다.
도 3은 프리싱트 조직화를 도시한다.
도 4는 부대역 당 부대역 적응 예측 방식의 블록도를 도시한다.
도 5는 감소된 인코더 복잡성에 대한 고정된 예측 방식을 도시한다.
도 6은 일 실시예의 이미지 데이터를 인코딩하기 위한 장치의 블록도를 도시한다.
도 7은 일 실시예의 인코딩된 이미지 신호를 디코딩하기 위한 장치를 도시한다.
도 8a는 부대역들에 대한 인코딩 모드들을 결정하기 위한 모드 결정기의 일 구현을 도시한다.
도 8b는 부대역에 대한 인코딩 모드의 계산을 위한 인코딩 모드 결정기의 또 다른 구현을 도시한다.
도 8c는 인코딩 모드 결정기의 또 다른 실시예를 도시한다.
도 8d는 예를 들어, 도 8c의 프로세스에 의해 결정된 바와 같이, 부대역에 대한 선택된 절단 포인트 및 미가공 데이터 버퍼에 기초한 양자화의 프로세스를 도시한다.
도 9는 GTLI 값들의 결정 및 양자화의 프로세스의 협력을 설명하는 일 측면의 또 다른 실시예를 도시한다.
도 10은 제1 부대역에 대한 제1 세트의 계수들, 제2 부대역에 대한 제2 세트의 계수들 및 계수들의 개별 그룹을 갖는 프리싱트를 도시한다.
도 11은 예를 들어 도 6의 인코딩을 위한 장치에 의해 출력된, 또는 예를 들어 도 7의 디코딩을 위한 장치에 입력된 인코딩된 이미지 신호를 도시한다.
도 12는 도 11의 인코딩된 이미지 신호를 디코딩하기 위한 장치 내에 포함된 디코더에 의해 수행되는 절차를 도시한다.
도 13은 또 다른 실시예에서의 인코더의 블록도를 도시한다.
도 14는 또 다른 실시예에서의 디코더의 블록도를 도시한다.
도 15는 인코더의 일 측면의 또 다른 구현을 도시한다.
도 16은 엔트로피 인코더와 레이트 할당 사이의 협력을 도시한 개략도를 도시한다.
도 6은 이미지 데이터를 인코딩하기 위한 장치를 도시하며, 이미지 데이터는 복수의 상이한 부대역들로 분해되고, 여기서 각각의 부대역은 복수의 계수들을 포함한다. 특히, 프리싱트는 상이한 부대역들로부터 상이한 세트들의 계수들을 포함하고, 제1 프리싱트의 2개의 세트들의 계수들은 이미지 데이터에 의해 나타낸 이미지의 제1 공간 영역에 속하며, 예를 들어 제2 프리싱트의 2개의 세트들의 계수들은 이미지 데이터에 의해 나타낸 이미지의 제2 공간 영역에 속하며, 제1 공간 영역과 제2 공간 영역은 서로 상이하고, 바람직하게는 서로 배타적(exclusive)이어서, 제1 공간 영역과 제2 공간 영역이 공통으로 어떠한 부대역 위치도 가지지 않는다. 이러한 맥락에서, 계수의 공간 영역은, 변환 계수를 그 중앙 필터 계수와 관련시킬 때, 변환 계수들의 도메인에서, 또는 이미지 도메인의 도메인에서 직접적으로 정의될 수 있다.
이미지 데이터를 인코딩하는 장치는 한 세트의 계수들 내의 계수들의 각각의 그룹에 대해, 최대 코딩 라인 인덱스(GCLI)를 결정하기 위한 프로세서(processor)(600)를 포함한다. 또한, 장치는 제1 인코딩 모드에 따라 제1 세트의 제1 프리싱트와 연관된 최대 코딩 라인 인덱스들을 인코딩하고, 제2 인코딩 모드에 따라 제2 세트의 제1 프리싱트와 연관된 최대 코딩 라인 인덱스들을 인코딩하기 위한 인코더(660)를 포함하며, 제2 인코딩 모드는 아마도 제1 인코딩 모드와 상이할 수 있다. 또한, 장치는 인코딩된 최대 코딩 라인 인덱스들에 대한 데이터와 계수 값의 데이터를 갖는 인코딩된 이미지 신호(out)를 출력하기 위한 출력 인터페이스(680)를 포함한다. 특히, 계수들은 도 6에 또한 도시된 이미지 데이터/계수 인코더(620)를 사용하여 인코딩된다. 이미지 데이터/계수 인코더(620)는 바람직하게 프로세서(600)에 입력되는 것과 동일한 이미지 데이터를 입력으로서 수신한다. 부가적으로, 블록(620)은 또한 각 그룹에 대한 GCLI 데이터를 수신하고, 블록(620)은 출력 인터페이스(680)에 의해 출력 데이터 신호에 포함되는 계수들에 대한 데이터를 출력한다. 바람직하게 사용되는 인코딩 모드들은 수직 예측 모드, 수평 예측 모드, 미가공 인코딩 모드(raw encoding mode) 또는 제로 런 렝스 모드 또는 전술한 바와 같이, 왜곡 예측 모드(skew prediction mode) 또는 임의의 다른 코딩 또는 프로세싱 모드이다.
도 7은 인코딩된 이미지 신호를 디코딩하기 위한 대응하는 장치를 도시한다. 인코딩된 이미지 신호는 디코더(720)으로 입력된다. 또한, 디코딩을 위한 장치는 프리싱트 내의 상이한 부대역에 대한 인코딩된 최대 코딩 라인 인덱스들에 대한 데이터에 대한 상이한 디코딩 모드들을 결정하기 위한 디코딩 모드 결정기를 포함한다. 프리싱트의 부대역 당 이 디코딩 모드는 연결(730)을 통해 디코딩 모드 결정기(700)로부터 디코더(720)로 전달된다. 구현에 따라, 디코딩 모드 결정기(700)는 이러한 디코딩 모드 표시(decoding mode indication)가 인코딩된 이미지 신호에 포함될 때, 디코딩 모드를 추출하기 위해 인코딩된 이미지 신호에 의해 공급된다. 그러나, 부대역 당 디코딩 모드가 고정되거나 또는 미리 결정되는 다른 실시예들에서, 디코딩 모드 결정기는 부대역 당 이 미리 결정된 디코딩 모드 할당만을 사용하고, 인코딩된 이미지 신호를 필요로 하지 않는다. 그러므로, 인코딩된 이미지 신호와 디코딩 모드 결정기(700) 사이의 연결은 선택성(optionality)을 나타내기 위해 점선으로 도시된다. 결과적으로, 블록(700)으로 이어지는 "미리 결정된 부대역 디코딩 모드 할당"을 갖는 화살표는 또한 파선으로 도시된다.
도 8a는 GCLI 인코딩을 위해 인코더(660)에 연결된 것으로 도 6에 도시된 코딩 모드 결정기(640)의 바람직한 구현을 도시한다. 모드 결정기(640)는 한 세트의 계수들이 속하는 대응하는 부대역에 기초하여 세트들의 계수들에 대한 제1 인코딩 모드(encoding mode) 및 제2 인코딩 모드를 결정하도록 구성된다. 이 절차는 블록(802) 및 블록(804)에서 도 8a에 도시된다. 부대역 할당 당 예시적인 인코딩 모드는 예시적인 9개의 부대역(101, 102, 103, 104, 105, 106, 107, 108, 109)의 각각에 대해 도 5에 도시된다. 특히, 부대역들(101, 104)은 GCLI 데이터의 인코딩을 위해 수평 예측 모드에 의존하고, 다른 부대역들(102, 103, 105, 106, 107, 108, 109)는 부대역 당 수직 예측 모드에 의존한다.
다른 실시예에서, 모드 결정기(640)에 의해 수행된 부대역에 대한 인코딩 모드의 결정은 도 8b에 도시된 바와 같이 수행된다. 특히, 모드 결정기(640)는 제1 인코딩 모드 및 제1 프리싱트 내의 제1 세트의 계수 및 제1 프리싱트에 대한 제1 비트 예산을 계산(810)함으로써 제1 인코딩 모드 및 제2 인코딩 모드를 결정하도록 구성된다. 또한, 모드 결정기(640)는 제1 세트의 계수들 및 제1 프리싱트에 대한 제2 비트 예산을 계산하지만, 이제는 제2 인코딩 모드에 대해 계산한다(812). 블록들(810, 812)에 의해 계산된 제1 비트 예산 및 제2 비트 예산 모두는 모드 결정기(640)에 의해 제1 프리싱트의 제1 세트의 계수들에 대한 인코딩 모드를 선택하기 위해 사용된다(814). 그 다음, 도 6의 출력 인터페이스(680)에 의해 수행되는 단계(816)에서, 제1 세트의 계수들에 대해 선택된 인코딩 모드의 표시(indication)가 인코딩된 이미지 신호에 포함된다. 이것은 도 6의 파선(660)으로 또한 표시된다. 2개 보다 많은 인코딩 모드들의 경우, 상기 단계들은 그에 따라 반복된다.
도 4는 부대역 당 부대역 적응형 예측 방식의 블록도의 또 다른 구현을 도시한다.
도 4는 대응하는 블록도를 도시한다. 주파수 변환(400)의 출력은 예산 계산 블록(budget computation block)(410-414)으로 전송되기 전에 선택적으로 사전 양자화(prequantized)된다(402). 예산 계산 블록(410-414)은 모든 부대역에 대해, 및 가능한 모든 GTLI(절단 포인트) 및 모든 관련 예측 방법에 대해 인코딩 할 프리싱트의 주어진 부대역에 대한 필수 예산을 계산한다.
이 정보에 의해 지원되는, 예측 모드 선택기(prediction mode selector)(421-425)는 모든 부대역 및 모든 가능한 절단 포인트를 사용하기 위한 최선의 예측 방법을 선택한다. 일반적으로, 이것은 GCLI를 코딩하기 위해 최소 최종 비트 예산을 사용하여 예측 방법을 선택하여 수행된다. 대안으로, 이전 데이터를 기반으로 한 경험적 방식(heuristic)이 사용될 수 있다.
그 다음, 이 정보는 레이트 제어(430)로 전달되며, 이는 이용 가능한 레이트 정보(available rate information)를 결합하고 모든 부대역에 대한 절단 포인트를 선택한다. 그러면, 인코딩은 선택된 절단 포인트에 대한 예측 모드 선택기(421-425)에 의해 결정된 예측 방법을 사용하여 수행된다.
디코더가 이미지를 적절히 디코딩 할 수 있게 하기 위해, 대응하는 시그널링 정보(signaling information)(도 1의 참조 번호 660)가 비트스트림에 포함되어, 모든 부대역에 대해 선택된 예측 방식에 대해 디코더에 알린다. 이 시그널링 정보는 프리싱트 부대역의 입도(granularity)에서만 필요하며, 이 시그널링을 위해서는 적은 수의 비트가 필요하므로 코딩 효율성에 미치는 영향은 무시될 수 있다.
도 8c는 모드 결정기(640)의 또 다른 구현을 도시한다. 모드 결정기는 도 4의 블록들(410 내지 414)에 대응하는 부대역 예산 계산기(subband budget calculator), 도 4의 블록들(421-425)에 응답하기 위한 예측 모드 선택기, 예산 결합기(budget combiner)(431) 및 절단 포인트 선택기(truncation point selector)(432)를 포함하며, 여기서 예산 결합기(431) 및 절단 포인트 선택기(432)는 함께 도 4의 단계(430)에 도시된 레이트 제어를 형성한다.
특히, 부대역 예산 계산기(410 내지 414)는 (1) 모든 부대역, (2) 모든 절단 포인트(GTLI), 및 (3) 모든 GCLI 인코딩 모드에 대해 비트 또는 일반적으로 데이터 예산을 계산한다. 따라서, 예를 들어 2개의 부대역들, 5 개의 다른 절단 포인트들 및 3개의 상이한 GCLI 인코딩 모드들이 있는 경우, 블록(410-414), 즉 부대역 예산 계산기는 30개의 상이한 데이터 예산들을 계산한다. 이것은 부대역 ID들, GCLI 식별들 및 인코딩 모드 식별들로 구성된 블록들(410-414) 로의 입력에 의해 예시된다.
부대역 예산 계산기의 결과에 기초하여, 예측 모드 선택기는 (1) 모든 부대역 및 (2) 모든 절단 포인트(GTLI)에 대해, 및 특히, 선택된 GCLI 인코딩 모드에 대해, 비트 또는 일반적으로 데이터 예산을 생성한다. 선택된 GCLI 인코딩 모드가 고려된 절단 포인트에 따라 달라질 수 있음에 유의하라. 부대역 당 및 절단 포인트 당 선택된 GCLI 인코딩 모드는 또한 도 6에 도시된 라인(660)을 통해 예측 모드 선택기에 의해 출력된다. 따라서, 상기 예시에 대한 부대역 예산 계산기에 의해 생성된 원래의 30 개의 값들로부터, 이제 최상의 예측 모드를 사용하거나 일반적으로 선택된 GCLI 인코딩 모드를 사용하여 획득된 10 비트/데이터 예산 값들로 남아 있다.
이러한 예시적인 10개의 값은 이제, 모든 절단 포인트에 대한 개별적인 부대역-단위 예산 값들(individual subband-wise budget values)을 결합함으로써 모든 절단 포인트들에 대한 프리싱트에 대한 완전한 비트/데이터 예산을 계산하는 예산 결합기(431)에 의해 수신된다. 따라서, 여기에서의 예시에 대해, 예산 결합기(431)는 5개의 상이한 가능한 절단 포인트들에 대해 5개의 상이한 예산 값들을 최종적으로 출력한다. 그 다음, 이들 5개의 상이한 예산 값들 중에서, 절단 포인트 선택기(432)는 프리싱트에 대한 허용된 예산에 따라 예산 값과 연관된 절단 포인트를 선택한다.
다음으로, 각 부대역에 대해 선택된 절단 포인트들은 이용 가능한 비트 예산을 초과하지 않으면서 시각적으로 중요한 부대역에 대한 절단을 감소시킴으로써 정제(refined)될 수 있다.
따라서, 도 2a에 예시적으로 도시된 각각의 계수에 대한 비트평면 데이터를 양자화 또는 절단하기 위해 도 8d의 양자화기(quantizer)(624)에 의해 사용되는 프리싱트의 모든 부대역에 대한 절단 포인트가 획득되고, 이 데이터는 미가공 데이터 버퍼에 절단되지 않은 데이터(non-truncated data)로서 저장된다. 이제, 각각의 부대역/프리싱트 및 예시적으로, 각 색상에 대해 선택된 절단 포인트에 기초하여, 절단되거나 양자화된 각 색상에 대한 미가공 데이터 또는 비트평면 데이터가 획득된다. 이 상황에 따라, 절단 포인트는 각 색상별로 개별적으로 계산될 수 있거나 단일 절단 포인트는 모든 색상에 대해 계산될 수 있거나 프리싱트에 대한 2개의 절단 포인트들도 예를 들어, 프리싱트 내 2개의 부대역을 항상 참조하여 계산될 수 있다. 따라서, 프리싱트가 예를 들어 10 개의 부대역들을 가질 때, 이러한 프리싱트에 대해 5개의 상이한 절단 포인트들이 존재할 것이다.
도 9는 도 8d와 관련하여 도시된 기능의 또 다른 구현을 도시한다. 블록(431) 및 블록(432)에 의해 도 8c에 도시된 GTLI 결정기는 한 세트의 계수들(부대역-단위(subband-wise))과 같은 바람직하게 더 높은 입도를 갖는 GTLI 또는 계수들의 그룹 당 GTLI, 또는 프리싱트 당 단일 GTLI를 생성한다. 그 다음, 이 데이터에 기초하여, 계수들은 양자화된 계수들을 출력하기 위해 양자화기(624)에 의해 양자화된다.
도 10은 단지 2개의 부대역들로 구성된 프리싱트의 예시적인 구현을 도시하며, 여기서 제1 부대역의 제1 세트의 계수들(first set of coefficients)은 (1001)로 도시되고, 제2 부대역의 제2 세트의 계수들(second set of coefficients)은 (1002)로 도시되며, 제1 세트의 계수들은, 예를 들어 그룹(1011 및 1012)을 갖고, 제2 세트의 계수들은 그룹(1013 및 1014)을 갖는다.
바람직하게는, 4개의 계수들이 하나의 그룹에서 사용되며, GCLI 값은 4개의 계수들의 각 그룹에 대해 계산되고, GTLI가 각각의 세트의 계수들에 대해, 즉, 전체 부대역에 대해 계산되거나 단일 GTLI 값이 각 프리싱트에 대해, 즉, 2개의 세트들(1001 및 1002)의 모든 계수들에 대해 계산된다. 이미 설명된 바와 같이, 프리싱트는 일반적으로 제1 부대역의 계수 데이터, 제2 부대역의 계수 데이터, 제n 부대역에 대한 계수 데이터를 포함하며, 여기서 모든 부대역들은 이미지의 동일한 공간 영역을 참조한다.
도 11은 인코딩된 이미지 신호의 예시적인 표현을 도시한다. 인코딩된 이미지 신호는 일반적으로 "시그널링 정보(signaling information)"로 표시된 제1 부대역 및 제 2 부대역에 대한 디코딩 모드 표시(1101 및 1102)를 포함한다. 또한, 도 11에 도시된 이미지 데이터는 (1103)에 도시된 인코딩된 이미지 데이터 및 인코딩된 GCLI 데이터를 포함하는 인코딩된 데이터를 포함한다. 또한, 인코딩된 이미지 신호는 도 11의 (1104)에 표시된 헤더 데이터를 포함하는 헤더를 포함할 수 있다. 인코딩된 이미지 신호는 도 11에서 직렬 스트림(serial stream)으로 도시되어 있지만, 인코딩된 이미지 신호는 임의의 데이터 포맷일 수 있다.
2.1 시그널링 방법
많은 상이한 가능성들은 모든 부대역에 대해 사용된 예측 방법을 시그널링하기 위해 존재한다. 예를 들어, 대역폭이 일반적으로 실제 코딩된 GCLI의 볼륨(volume)에 비해 무시할 수 있으므로, 미가공 비트들은 부대역 당 방법을 시그널링하는 데 사용될 수 있다. 따라서, 타겟 압축 비율(targeted compression ratio)이 더 중요할 때 및 시그널링의 예산이 더 중요해지기 시작할 때 가변 비트들은 사용될 수 있다.
2.2 계산 노력의 감소
한편으로, 이전 섹션에서 제시된 방법은 압축 효율성을 향상시킨다. 다른 한편으로, 예산 계산을 위해 부대역 당 개별 레지스터가 제공될 필요가 있기 때문에, 필수 하드웨어 레지스터 저장 공간(required hardware register storage space)을 약간 증가시킨다. 모든 부대역들이 동일한 예측 방법을 사용한다면, 이들 레지스터들은 아마도 단일 레지스터에 결합될 수 있다.
이 문제를 보상하기 위해, 이전에 설명된 방법에 의해 생성된 코딩 이득이 주요하게 적은 수의 부대역들에서 유래한다는 것을 주목하는 것이 중요하다. 다시 말하면, 도 3에 도시된 서브세트의 프리싱트 부대역들이 상당한 코딩 효율성을 희생시키지 않고 동일한 예측 방법을 사용한다는 것을 미리 결정할 수 있으며, 작은 서브세트의 부대역들만이 다른 것들의 독립적인 예측 방법을 선택할 수 있다는 것이 가능하다.
이러한 수단에 의해, 하드웨어 노력의 증가는 제안된 방법의 증가된 코딩 효율성을 여전히 이용하면서 제한될 수 있다. 동시에, 디코더에서 정확한 예측 방법을 선택하기 위한 시그널링 오버헤드(signaling overhead)가 감소될 수 있다.
3 감소된 인코더 복잡성을 위한 고정된 예측 방식
1.4.2 섹션에서 설명된 방법은 프리싱트의 모든 부대역들이 동일한 예측 방법을 사용할 필요가 없다는 점에서 최신 기술 [2]에서 벗어났다. 예측 방식의 이미지 콘텐츠에 대한 동적 적응을 허용함으로써, 더 나은 코딩 효율성이 달성될 수 있다.
대안적으로, 프리싱트의 부대역들 사이에 여전히 다른 예측 방식들을 허용하면서, 예측 방식은 모든 부대역에 대해 고정될 수 있다. 이러한 수단에 의해, 검색 공간은 감소될 수 있다.
도 5는 대응하는 예시를 도시한다. 특정 부대역에 속하는 계수들은 항상 동일한 예측 방식에 의해 예측된다고 가정한다. 상이한 부대역들에 속하는 계수들은 상이한 예측 방식들을 사용할 수 있다.
이러한 방법을 사용하는 것은 모든 부대역에 대해, 어떤 예측 방법을 사용할지 분명하고, 따라서 다른 예측 방법에 대한 예산을 계산할 필요가 없어 최소한의 예산을 사용하므로, 인코더에서 검색 공간이 감소된다는 이점을 제공한다.
이러한 방식을 사용하는 것은 완전 적응형 또는 부분 적응형 인코딩 모드 선택 또는 1.4.2 섹션에서 설명된 방법의 코딩 성능을 제공하지는 못하나, 두 가지 예측 방법들에 대한 예산을 계산할 필요없이, 프리싱트 입도에서 수평 및 수직 예측 사이를 선택하는 최신 방법에 가깝게 된다. 다시 말해, 복잡성을 줄이면서 유사한 코딩 효율성을 제공한다.
도 12는 도 5의 고정된 예측 방식 또는 도 4의 완전히 적응적인 예측 방식 사이에 있는 절차를 도시한다. 도 12의 절차는 부분적으로 고정되고 부분적으로 적응한다. 이 상황에서, 인코딩된 이미지 신호는 단지 2 개의 최하위 부대역들(101 및 102)에 대해서만과 같이 부대역들의 서브그룹(subgroup)에 대한 시그널링 정보를 포함하며, 다른 부대역들에 대한 디코딩 모드들은 즉, 예를 들어, 도 5에 도시된 할당을 갖는 라인에서의 부대역들(103-109)을 위해 미리 결정된 규칙을 사용하여 결정된다. 따라서, 블록(700)에서 도시된 도 7의 디코딩 모드 결정기는 인코딩된 이미지 신호로부터 서브그룹에 대한 시그널링 정보를 추출(1201)하도록 구성되고, 추출된 정보에 기초하여 프리싱트의 부대역들의 서브그룹에 대한 디코딩 모드를 결정한다(1203). 또한, 디코딩 모드 결정기(700)는 미리 결정된 규칙을 사용하여 블록(1201)에 의해 프로세싱된 서브그룹에 포함되지 않은 다른 부대역들에 대한 디코딩 모드를 결정(1205)하도록 구성된다. 따라서, 블록(1205)의 절차에 후속하여, 디코딩 모드 결정기는 모든 부대역들(프리싱트에 대한 세트들의 계수들)에 대한 디코딩 모드를 갖는다.
도 12의 "혼합된" 구현에서, 인코더 절차는 도 8b 및 도 8c와 관련하여 예시된 동작이 부대역들의 서브그룹에 대해서 단지 수행되고, 8a에 도시된 절차는 다른 부대역들에 대해 수행된다. 따라서, 인코더 복잡성은 완전 적응형 절차와 관련하여 감소되지만, 그럼에도 불구하고, 적응성은 적어도 몇몇 부대역들에 대해 유지된다.
도 13은 특정 글로벌 블록들의 개략적인 협력을 갖는 이미지 데이터 인코더의 바람직한 구현을 도시한다. 도 14는 도 13의 인코더 또는 다른 인코더와 협력할 수 있는 디코더의 대응하는 도면을 도시한다.
도 13의 색상 변환(1300)은 가역성 정수-대-정수 변환(reversible integer-to-integer transform)이며, 무손실 및 손실 압축에 사용되며, 이는 RGB 색상 정보를 비상관시킨다. 순방향 가역 색상 변환 RCT는 Y, U, V 데이터 또는 유사한 색상 공간을 생성한다. 이 변환 후에, 각 색상 구성 요소는 서로 독립적으로 프로세싱될 수 있다. YCbCr 이미지 데이터의 경우에, 색상 성분들이 이미 상관 관계가 없기 때문에 색상 변환(1300)은 우회(bypassed)된다.
도 14의 블록(1430)은 Y, U, V 데이터를 예를 들어 출력 신호로서 RGB 색상 정보로 다시 계산하기 위해 역 색상 변환을 도시한다.
도 13의 블록(400)은 이산 웨이브릿 변환을 도시하고, 이에 대응하여, 디코더의 블록(1420)은 이산 역 웨이브릿 변환을 도시한다. 이산 웨이브릿 변환(DWT)은 신호의 양호한 비상관화(good de-correlation)를 보장하는 공간 주파수 표현을 제공한다. 전형적으로, 웨이브릿 변환의 출력 계수들은 2의 상보적 표현으로 코딩된다. 엔트로피 코딩의 목적을 위해, 이 값들은 부호 및 크기 표현을 구현하도록 변형된다. 이것은 도 13의 블록(1310)에 의해 도시되고, 대응하는 역 동작은 도 14의 블록(1410)에 의해 도시된다. 양의 데이터는 두 방법들 모두에서 동일하게 표현되기 때문에 수정될 필요가 없다. 음의 샘플들은 "1"씩 증가하기 전에 반전되어야 한다.
블록들(600, 660, 661, 430, 431, 432, 624)에 의해 도시된 절차에 의해 수행되는 엔트로피 코딩은 일반적으로 블록 고정 길이 코딩(block fixed length coding)을 기반으로 하며, 그 위에는 더 나은 코딩 효율성을 보장하기 위해 몇몇 최적화가 주어진다. 바람직한 구현은 비트 스트림을 패킹할 때까지 출력 웨이브릿 데이터를 그대로 두고, 예를 들어, 미가공 데이터 버퍼(622)를 도시하는 도 8d와 관련하여 도시된다. 인덱스들의 스트림(GCLI)만이 프로세싱 리소스(processing resources)를 필요로 한다. 웨이브릿 부대역 계수들은 4개의 샘플의 서브세트들로 그룹화된다. 각각의 서브세트는 비트평면 표현(bit-plane representation)으로 보여 진다. 각 서브세트에 대해, 최대 코딩 라인 인덱스(GCLI)가 발견된다. 이것은 도 2a에 도시된 바와 같이 가장 중요한 0이 아닌 비트평면(non-null bit-plane)의 인덱스이다. 서브세트에 적어도 하나의 0이 아닌 비트평면이 있는 경우(GCLI가 0보다 큰 경우), 서브세트의 0이 아닌 비트평면이 그대로 출력 스트림에 복사(copied)된다. 대안적으로, 그들은 출력 스트림에 복사되기 전에 양자화를 정제하기 위해 먼저 프로세싱될 수 있다. 버퍼는 출력 스트림을 패킹하기 전에 모든 미가공 데이터를 저장하므로, 출력 할당에 대해 데이터의 어느 부분이 출력 스트림과 관련이 있는지 결정할 수 있다. GCLI 인덱스들은 미가공 데이터의 업스트림으로 더 압축 및 패킹된다. 수직 예측은 GCLI들의 2 개의 부대역 라인들 사이에 수행된다. 결과는 GCLI 값과 이전에 코딩된 라인에 있는 동일한 서브세트의 계수들의 GCLI 값 사이의 차이이다.
예측된 예측 값은 엔트로피 코더 블록(entropy coder block)(661)에 근접한 도 13에 도시된 우너리 코딩 방법에 후속하여 나중에 코딩된다. 이 표는 GCLI 인코딩을 위한 간단한 부호화된 우너리 가변 길이 코드를 도시한다. 이러한 우너리 코드는 특정 가변 길이 코드를 각 심볼(symbol)에 연관시키며, 일부 컨텍스트 정보(context information)에 의존할 수도 있다. 따라서, 도 13의 우너리 코드가 하나의 가능한 해결책을 나타내는 반면에, 예를 들어 0을 1로 대체하고, 그 반대의 경우로 대체 우너리 코드 방식도 가능하다. 이러한 대체 방식 중 하나는 [7]에서 설명되고 대안적으로 양수 및 음수 예측 잔차를 인코딩한다. 또한, GCLI는 수평적으로 예측된다. 코딩된 심볼은 GCLI의 값과 이전에 동일한 라인 및 동일한 웨이브릿 부대역으로 코딩된 GCLI의 값 사이의 차이이다.
미가공 모드 이외에 또는 미가공 모드 대신 다른 예측 모드가 가능하다. 데이터 및 GCLI 예측 값은 레이트 할당 메커니즘(rate allocation mechanism)에 의해 절단된다. 계수들의 그룹화는 압축 방식의 효율성과 시스템의 복잡성 사이의 균형을 이끈다. 각 서브세트의 계수들의 수는 높은 처리량을 위해 압축 효율성과 하드웨어 복잡성 사이의 최상의 균형을 유지하기 때문에 이전에 선택되었다.
일단 코딩되면, 모든 코딩 유닛의 출력이 함께 패킹된다. 일 예시적인 절차는 도 15에 도시된다. 특히, 도 15는 GTLI 버퍼(GTLI buffer)(1501), GCLI 버퍼(GCLI buffer)(1502), 수평 예측 모드 계산기(horizontal prediction mode calculator)(1503), 수직 예측 모드 계산기(vertical prediction mode calculator)(1504), 및 미가공 모드 프로세서(raw mode processor)(1505)를 도시한다. 도 15는 예를 들어 엔트로피 코더(661)에 근접한 도 13에 도시된 코드를 구현하는 (우너리) 코더를 도시하고, 도 15는 코딩된 GCLI 데이터를 생성하기 위한 멀티플렉서/데이터 패커(multiplexor/data packer)(1506)를 추가적으로 도시한다. 특히, 블록(1503)은 "현재" GCLI 값에 기초하고 버퍼(1502)로부터의 "과거" GCLI 값에 기초하여 Δ 값을 생성하기 위하여 수평 예측 모드를 계산한다. 따라서, 또한 블록(1504)는 입력으로서 수신된 "현재" GCLI 값에 기초하고 GCLI 버퍼(1502)로부터 수신된 "과거" GCLI 값에 기초하여 Δ 값을 계산한다. "현재" 및 "과거"라는 용어는 시간을 지칭하는 것이 아니라 특정 그룹의 계수들에 대한 부대역 내의 위치를 지칭한다. 그런 다음, 대응하는 Δ 값이 (우너리) 코딩된다. 당연히, 특정 부대역에 대해, 블록(1503)의 결과 또는 블록(1504)의 결과 또는 블록(1505)의 결과는 코딩된 GCLI 데이터에 입력된다. GCLI에 할당된 예산은 바람직한 구현에서 GCLI 당 최대 4 비트가 있음을 의미하는 미가공 코딩에 의해 결합(bonded)된다는 점에 유의해야 한다. 또한, 우너리 코드에 의해 생성된 데이터는 디코더 측에서 연속적인 흐름으로 나오므로, 상태 변수를 미리 계산하는 것이 가능하다. 따라서, 우너리 코드의 정지 비트(stop bits) 덕분에 피드백 루프(feedback loops)를 깨뜨릴 수 있다.
레이트 할당 및 GCLI 패킹 프로세스 동안, 비트평면 데이터는 출력 스트림에 패킹되기 전에 버퍼에 저장된다. 이 버퍼가 코덱 시스템(codec system)의 중요한 리소스 비용이라는 사실 때문에, 가능한 한 버퍼를 작게 설계하는 것이 바람직하며, 최대 10 라인까지만 저장할 수 있는 버퍼가 충분하다는 것을 발견했다.
이어서, 레이트 할당이 더 자세히 설명된다. 특히, 도 16은 한편에는 엔트로피 인코더(entropy encoder)와 다른 한편에는 레이트 할당 사이의 협력을 도시하며, 레이트 할당은 데이터 예산 블록(1621), GCLI 예산 블록(1622), 예산 할당 유닛(1610) 및 도 8c의 블록들(431, 432)과 관련하여 전술한 바와 같은 레이트 할당 코어를 포함한다. 또한, 도 16은 도 11의 헤더(1104)와 관련하여 앞서 설명된 바와 같이 패킷화기(680)에 의해 출력 데이터 스트림으로 또한 패킷화되는 헤더(1600)의 사용을 도시한다.
레이트 할당은 프리싱트 마다 작동한다. 프리싱트는 동일한 공간 영역을 형성하는 상이한 부대역들의 주파수 콘텐츠를 그룹화한다. 이러한 공간 영역은, 예를 들어, 2 라인 높이를 가지며, 이미지의 폭과 동일한 폭을 갖는다. 3개의 구성 요소에 대해, 낮은 수직 주파수의 5 개의 수평 분해의 결과 및 높은 수직 주파수의 단일 수평 분해의 결과를 포함하는 2개의 부대역을 포함하는 6 개의 부대역을 포함한다.
레이트 할당은 나머지 비트평면이 프리싱트 비트평면의 예산에 맞을 때까지 결정된 부대역의 최하위 비트평면을 트리밍함으로써 프리싱트 데이터를 양자화한다. 이 트리밍 전략은 반복적으로 적용되며, 점차적으로 각 부대역에서 점점 더 많은 비트평면을 트리밍한다. 그것의 사용 케이스에 기초하여, 트리밍 전략이 서로에 대한 부대역의 중요성을 결정하는 적절한 "트리밍 전략"을 적용할 수 있다. 레이트 할당은 보다 중요한 부대역에서보다 덜 중요한 부대역에서 더 많은 비트평면을 트리밍하도록 선택한다. 레이트 할당은 정의된 절단 시나리오에 대한 프리싱트 예산을 계산한다. 예산이 프리싱트 예산에 맞지 않으면, 새로운 절단 시나리오에 대한 예산을 계산하여, 모든 부대역에서 하나 이상의 비트평면을 제거한다. 프리싱트 크기가 프리싱트 예산에 맞으면, 예산이 다시 초과될 때까지 상이한 우선 순위를 상이한 부대역과 연관시키는 특정 우선 순위 규칙(certain priority rule)에 의해 정의된 순서로 부대역 당 하나의 비트평면 부대역을 재추가하는 가능한 정제(possible refinement)를 계산한다. 결과적으로 이는 각 부대역의 최종 절단 레벨이 된다.
레이트 할당은 프리싱트 데이터를 양자화하여 인코딩된 프리싱트 크기가 레이트 예산을 초과하지 않도록 한다. 평균 프리싱트 예산은 타겟 코드 스트림 크기(targeted code stream size)를 이미지 프리싱트들의 수로 나눈 값이다. 바람직하게는, 레이트 할당 전략 평균은 이미지를 따라 절단 레벨을 매끄럽게 하기 위해 두 프리싱트에 대한 예산이다. 인코딩된 프리싱트는 3개의 부분, 즉 헤더, 인코딩된 GCLI 및 미가공 비트평면의 데이터를 포함한다. 헤더는 조정될 수 없는 정의된 크기를 갖는다. 레이트 할당은 양자화를 증가시킴으로써 미가공 비트평면의 데이터 부분 및 인코딩된 GCLI 부분의 크기를 감소시킬 수 있다. 미가공 비트평면의 예산은 미가공 비트평면의 데이터를 저장하기 위해 이용할 수 있는 프리싱트 예산의 부분이다. 최소 코드 스트림 크기는 헤더의 크기 및 인코딩된 GCLI(미가공 비트평면의 데이터 크기는 0과 동일)를 생성할 수 있다.
정의된 시나리오 정제 쌍(defined scenario refinement pair)에 대한 미가공 비트평면 데이터 예산의 계산은 작은 4 비트 수인 샘플의 GCLI를 필요로 한다. 또한, 한 그룹의 4개의 샘플들에 하나의 GCLI를 사용하는 것은 예산 계산을 위해 프로세싱 할 수의 양을 4 개 감소시킨다. 프리싱트의 각 그룹의 크기가 계산되면, 합계는 특정 반복에서 총 데이터 크기를 제공한다. GCLI 데이터 예산과 관련하여, GCLI를 저장하는 여러 가지 방법이 있으며, 레이트 할당은 일반적으로 모든 방법에 대한 예산을 계산하고 가장 적절한 것을 선택한다. 데이터에 관해서는, 인코딩된 GCLI의 예산은 예를 들어 도 15에 도시된 (우너리) 코더(661)의 출력에 기초하여 계산될 수 있다. 미가공 GCLI에서, 예산은 최대 16 데이터 비트를 갖는 경우 4 비트로 곱한 그룹의 수이다. 프리싱트의 각 코딩된 GCLI의 크기가 계산되면, 합계는 특정 반복에서 전체 GCLI의 크기를 제공한다.
도 16의 레이트 할당 블록은 GCLI(데이터) 값들의 스트림을 입력으로서 수신하고, 블록은 패킷화기(packetizer)에 대한 GTLI 정보를 출력한다. 데이터 예산 블록(1621) 및 GCLI 예산 블록(1622)은 각 가능한 GTLI(0으로부터 15로의)에 대한 데이터/GCLI를 저장하기 위해 필수 예산을 계산한다. 바람직하게는, 도 8d의 GTLI 트리머(624) 또는 양자화기(624)와 같은 양자화기는 효율적인 중앙-라운딩 양자화(center-rounding quantization)를 수행한다. 이를 위해, 특정 양자화 단계가 계산되고 다음 변환이 수행된다. 디코더 측에서, 역 변환은 특정 역 변환 동작에서 데이터에 양자화 단계를 적용하는 것으로 구성된다. 그러나, 효과적인 중앙 라운딩-절차와는 별도로 다른 양자화기들이 사용될 수도 있다. 그 다음, 레이트 할당 블록이 프리싱트의 각 부대역에서 트리밍 할 비트평면들의 수를 결정하면, 미가공 데이터는 도 8d의 미가공 데이터 버퍼(622)로부터 판독되고, 양자화되고, 출력 스트림 패킷에 공급되어 출력 스트림에 패킹(packed)된다.
디코더 측에서는 GCLI 데이터가 데이터 언패킹(data unpacking) 전에 디코딩된다. 이는 거의 동일한 프로세스를 역으로 적용하는 것을 허용한다.
4 참고 문헌
[1] 앙브루아즈 르노(AMBROISE RENAUD); 부시샤트 찰스(BUYSSCHAERT CHARLES); 펠레그린 파스칼(PELLEGRIN PASCAL); 루브로이 가엘(ROUVROY GAEL), "디스플레이 스트림 압축을 위한 방법 및 장치(Method and Device for Display Stream Compression)", US9332258 BB
[2] 앙브루아즈 르노(AMBROISE RENAUD); 부시샤트 찰스(BUYSSCHAERT CHARLES); 펠레그린 파스칼(PELLEGRIN PASCAL); 루브로이 가엘(ROUVROY GAEL), "디스플레이 스트림 압축을 위한 방법 및 장치(Method and Device for display stream compression)", EP2773122 A1
[3] 장-밥티스트 로렌트(Jean-Baptiste Lorent), "IP 네트워크 또는 SDI 인프라에서 사용되는 TICO 경량 코덱(TICO Lightweight Codec Used in IP Networked or in SDI Infrastructure)", SMPTE RDD 34:2015
[4] 토시아키 코지마(Toshiaki Kojima), "네트워크 전송을 위한 LLVC-저 지연 비디오 코덱(LLVC - Low Latency Video Codec for Network Transfer)", SMPTE RDD 34:2015
[5] 제이. 킴(J. Kim) 및 씨.경(C. Kyung), "HD 비디오 코딩을 위한 중요한 비트 절단을 이용한 무손실 임베디드 압축(A Lossless Embedded Compression Using Significant Bit Truncation for HD Video Coding)", 비디오 기술을 위한 회로 및 시스템에 관한 IEEE 트랜잭션
[6] 인투픽스(intoPIX), "JPEG-XS CfP 용 intoPIX 코덱 서브미션(intoPIX Codec Submission for JPEG-XS CfP)", 설계 설명(Design Description) v0.1, 2016
[7] 인투픽스(intoPIX), "JPEG XS GCLI 바운디드 코드 제안(JPEG XS GCLI Bounded code proposal)", wg1m76032, 2017년 10월
인코딩 장치와 관련된 첨부된 청구 범위는 적절한 경우에 디코딩 장치에도 적용됨을 주목해야 한다.
본 발명은 몇몇 실시예들에 의해 설명되었지만, 본 발명의 범위 내에 속하는 변경들, 치환들 및 등가물들이 있다. 또한, 본 발명의 방법들 및 조성물들을 구현하는 많은 대안적인 방법이 있음을 알아야 한다. 따라서, 다음의 첨부된 특허 청구 범위는 본 발명의 진정한 사상 및 범위 내에 있는 그러한 모든 변경들, 치환들 및 등가물들을 포함하는 것으로 해석되어야 한다.
일부 측면들이 장치의 맥락에서 설명되었지만, 이 측면들은, 블록 또는 디바이스가 방법 단계 또는 방법 단계의 특징에 대응하는, 대응하는 방법의 설명을 나타내는 것이 명백하다. 유사하게, 방법 단계의 맥락에서 설명된 측면들은 대응하는 장치의 대응하는 블록 또는 아이템 또는 특징의 설명을 나타낸다. 방법 단계들 중 일부 또는 전부는 예를 들어 마이크로프로세서(microprocessor), 프로그래머블 컴퓨터(programmable computer) 또는 전자 회로(electronic circuit)와 같은 하드웨어 장치(hardware apparatus)에 의해(또는 하드웨어 장치를 사용하여) 실행될 수 있다. 일부 실시예들에서, 가장 중요한 방법 단계들 중 하나 이상은 이러한 장치에 의해 실행될 수 있다.
본 발명의 인코딩된 이미지 신호는 디지털 저장 매체에 저장될 수 있거나 또는 무선 송신 매체 또는 인터넷과 같은 유선 송신 매체와 같은 송신 매체를 통해 송신될 수 있다.
특정 구현 요건들에 따라, 본 발명의 실시예들은 하드웨어 또는 소프트웨어로 구현될 수 있다. 구현은 전자적으로 판독 가능한 제어 신호들이 저장되는, 예를 들어 플로피 디스크(floppy disk), DVD, 블루레이(Blu-Ray), CD, ROM, PROM, EPROM, EEPROM 또는 플래시 메모리(FLASH memory)와 같은, 디지털 저장 매체를 사용하여 수행될 수 있으며, 각각의 방법이 수행되도록 프로그래머블 컴퓨터 시스템과 협력한다(또는 협력할 수 있다). 그러므로, 디지털 저장 매체는 컴퓨터 판독 가능할 수 있다.
본 발명에 따른 일부 실시예는 본 명세서에 설명된 방법 중 하나가 수행되도록 프로그래머블 컴퓨터 시스템과 협력할 수 있는, 전자 판독 가능 제어 신호를 갖는 데이터 캐리어를 포함한다.
일반적으로, 본 발명의 실시예들은 프로그램 코드(program code)를 갖는 컴퓨터 프로그램 제품으로서 구현될 수 있으며, 상기 프로그램 코드는 컴퓨터 프로그램 제품이 컴퓨터상에서 실행될 때 상기 방법들 중 하나를 수행하도록 동작한다. 프로그램 코드는 예를 들어 머신 판독 가능 캐리어(machine readable carrier) 상에 저장될 수 있다.
다른 실시예들은 머신 판독 가능 캐리어 상에 저장되는, 본 명세서에서 설명된 방법들 중 하나를 수행하기 위한 컴퓨터 프로그램을 포함한다.
다시 말해, 본 발명의 방법의 일 실시예는, 컴퓨터 프로그램이 컴퓨터 상에서 실행될 때, 본 명세서에 설명된 방법들 중 하나를 수행하기 위한 프로그램 코드를 갖는 컴퓨터 프로그램이다.
따라서, 본 발명의 방법의 또 다른 실시예는 본 명세서에 설명된 방법들 중 하나를 수행하기 위한 컴퓨터 프로그램을 포함하고, 그에 저장되는 데이터 캐리어(또는 디지털 저장 매체 또는 컴퓨터-판독 가능 매체)이다. 데이터 캐리어, 디지털 저장 매체 또는 기록 매체는 전형적으로 유형(tangible) 및/또는 비-과도기(non-transitionary)이다.
그러므로, 본 발명의 방법의 또 다른 실시예는 본 명세서에 설명된 방법들 중 하나를 수행하기 위한 컴퓨터 프로그램을 나타내는 데이터 스트림 또는 신호의 시퀀스이다. 데이터 스트림 또는 신호의 시퀀스는 예를 들어 인터넷을 통해 데이터 통신 연결을 통해 송신되도록 구성될 수 있다.
또 다른 실시예는 본 명세서에 설명된 방법들 중 하나를 수행하도록 구성되거나 적응된 프로세싱 수단, 예를 들어 컴퓨터 또는 프로그래머블 로직 장치를 포함한다.
또 다른 실시예는 본 명세서에 설명된 방법들 중 하나를 수행하기 위한 컴퓨터 프로그램이 설치된 컴퓨터를 포함한다.
본 발명에 따른 또 다른 실시예는 본 명세서에 설명된 방법들 중 하나를 수행하기 위한 컴퓨터 프로그램을 수신기에 송신(예컨대, 전자적으로 또는 광학적으로)하도록 구성된 장치 또는 시스템을 포함한다. 수신기는 예를 들어 컴퓨터(computer), 모바일 디바이스(mobile device), 메모리 디바이스(memory device) 등일 수 있다. 장치 또는 시스템은 예를 들어 컴퓨터 프로그램을 수신기에 송신하기 위한 파일 서버를 포함할 수 있다.
일부 실시예들에서, 프로그래머블 로직 디바이스(예를 들어, 필드 프로그래머블 게이트 어레이(field programmable gate array))는 본 명세서에 설명된 방법들의 일부 또는 모든 기능들을 수행하는데 사용될 수 있다. 일부 실시예들에서, 필드 프로그래머블 게이트 어레이는 본 명세서에서 설명된 방법들 중 하나를 수행하기 위해 마이크로프로세서(microprocessor)와 협력할 수 있다. 일반적으로, 상기 방법들은 임의의 하드웨어 장치에 의해 수행되는 것이 바람직하다.
본 명세서에서 설명된 장치는 하드웨어 장치를 사용하거나, 또는 컴퓨터를 사용하거나, 또는 하드웨어 장치와 컴퓨터의 조합을 사용하여 구현될 수 있다.
본 명세서에서 설명된 방법들은 하드웨어 장치를 사용하거나, 또는 컴퓨터를 사용하거나, 또는 하드웨어 장치와 컴퓨터의 조합을 사용하여 수행될 수 있다.
전술한 실시예는 본 발명의 원리를 설명하기 위한 것일 뿐이다. 본 명세서에 설명된 구성 및 세부 사항의 수정 및 변형은 당업자에게 명백할 것임을 이해할 것이다. 따라서, 임박한 특허 청구 범위의 범위에 의해서만 제한되고, 본 명세서의 실시예에 대한 설명(description) 및 설명(explanation)에 의해 제공된 특정 세부 사항에 의해서가 아니라는 의도이다.
이미지 데이터를 인코딩하는 장치는 한 세트의 계수들 내의 계수들의 각각의 그룹에 대해, 최대 코딩 라인 인덱스(GCLI)를 결정하기 위한 프로세서(processor)(600)를 포함한다. 또한, 장치는 제1 인코딩 모드에 따라 제1 세트의 제1 프리싱트와 연관된 최대 코딩 라인 인덱스들을 인코딩하고, 제2 인코딩 모드에 따라 제2 세트의 제1 프리싱트와 연관된 최대 코딩 라인 인덱스들을 인코딩하기 위한 인코더(660)를 포함하며, 제2 인코딩 모드는 아마도 제1 인코딩 모드와 상이할 수 있다. 또한, 장치는 인코딩된 최대 코딩 라인 인덱스들에 대한 데이터와 계수 값의 데이터를 갖는 인코딩된 이미지 신호(out)를 출력하기 위한 출력 인터페이스(680)를 포함한다. 특히, 계수들은 도 6에 또한 도시된 이미지 데이터/계수 인코더(620)를 사용하여 인코딩된다. 이미지 데이터/계수 인코더(620)는 바람직하게 프로세서(600)에 입력되는 것과 동일한 이미지 데이터를 입력으로서 수신한다. 부가적으로, 블록(620)은 또한 각 그룹에 대한 GCLI 데이터를 수신하고, 블록(620)은 출력 인터페이스(680)에 의해 출력 데이터 신호에 포함되는 계수들에 대한 데이터를 출력한다. 바람직하게 사용되는 인코딩 모드들은 수직 예측 모드, 수평 예측 모드, 미가공 인코딩 모드(raw encoding mode) 또는 제로 런 렝스 모드 또는 전술한 바와 같이, 왜곡 예측 모드(skew prediction mode) 또는 임의의 다른 코딩 또는 프로세싱 모드이다.
도 7은 인코딩된 이미지 신호를 디코딩하기 위한 대응하는 장치를 도시한다. 인코딩된 이미지 신호는 디코더(720)으로 입력된다. 또한, 디코딩을 위한 장치는 프리싱트 내의 상이한 부대역에 대한 인코딩된 최대 코딩 라인 인덱스들에 대한 데이터에 대한 상이한 디코딩 모드들을 결정하기 위한 디코딩 모드 결정기를 포함한다. 프리싱트의 부대역 당 이 디코딩 모드는 연결(730)을 통해 디코딩 모드 결정기(700)로부터 디코더(720)로 전달된다. 구현에 따라, 디코딩 모드 결정기(700)는 이러한 디코딩 모드 표시(decoding mode indication)가 인코딩된 이미지 신호에 포함될 때, 디코딩 모드를 추출하기 위해 인코딩된 이미지 신호에 의해 공급된다. 그러나, 부대역 당 디코딩 모드가 고정되거나 또는 미리 결정되는 다른 실시예들에서, 디코딩 모드 결정기는 부대역 당 이 미리 결정된 디코딩 모드 할당만을 사용하고, 인코딩된 이미지 신호를 필요로 하지 않는다. 그러므로, 인코딩된 이미지 신호와 디코딩 모드 결정기(700) 사이의 연결은 선택성(optionality)을 나타내기 위해 점선으로 도시된다. 결과적으로, 블록(700)으로 이어지는 "미리 결정된 부대역 디코딩 모드 할당"을 갖는 화살표는 또한 파선으로 도시된다.
도 8a는 GCLI 인코딩을 위해 인코더(660)에 연결된 것으로 도 6에 도시된 코딩 모드 결정기(640)의 바람직한 구현을 도시한다. 모드 결정기(640)는 한 세트의 계수들이 속하는 대응하는 부대역에 기초하여 세트들의 계수들에 대한 제1 인코딩 모드(encoding mode) 및 제2 인코딩 모드를 결정하도록 구성된다. 이 절차는 블록(802) 및 블록(804)에서 도 8a에 도시된다. 부대역 할당 당 예시적인 인코딩 모드는 예시적인 9개의 부대역(101, 102, 103, 104, 105, 106, 107, 108, 109)의 각각에 대해 도 5에 도시된다. 특히, 부대역들(101, 104)은 GCLI 데이터의 인코딩을 위해 수평 예측 모드에 의존하고, 다른 부대역들(102, 103, 105, 106, 107, 108, 109)는 부대역 당 수직 예측 모드에 의존한다.
다른 실시예에서, 모드 결정기(640)에 의해 수행된 부대역에 대한 인코딩 모드의 결정은 도 8b에 도시된 바와 같이 수행된다. 특히, 모드 결정기(640)는 제1 인코딩 모드 및 제1 프리싱트 내의 제1 세트의 계수 및 제1 프리싱트에 대한 제1 비트 예산을 계산(810)함으로써 제1 인코딩 모드 및 제2 인코딩 모드를 결정하도록 구성된다. 또한, 모드 결정기(640)는 제1 세트의 계수들 및 제1 프리싱트에 대한 제2 비트 예산을 계산하지만, 이제는 제2 인코딩 모드에 대해 계산한다(812). 블록들(810, 812)에 의해 계산된 제1 비트 예산 및 제2 비트 예산 모두는 모드 결정기(640)에 의해 제1 프리싱트의 제1 세트의 계수들에 대한 인코딩 모드를 선택하기 위해 사용된다(814). 그 다음, 도 6의 출력 인터페이스(680)에 의해 수행되는 단계(816)에서, 제1 세트의 계수들에 대해 선택된 인코딩 모드의 표시(indication)가 인코딩된 이미지 신호에 포함된다. 이것은 도 6의 파선(660)으로 또한 표시된다. 2개 보다 많은 인코딩 모드들의 경우, 상기 단계들은 그에 따라 반복된다.
도 4는 부대역 당 부대역 적응형 예측 방식의 블록도의 또 다른 구현을 도시한다.
도 4는 대응하는 블록도를 도시한다. 주파수 변환(400)의 출력은 예산 계산 블록(budget computation block)(410-414)으로 전송되기 전에 선택적으로 사전 양자화(prequantized)된다(402). 예산 계산 블록(410-414)은 모든 부대역에 대해, 및 가능한 모든 GTLI(절단 포인트) 및 모든 관련 예측 방법에 대해 인코딩 할 프리싱트의 주어진 부대역에 대한 필수 예산을 계산한다.
이 정보에 의해 지원되는, 예측 모드 선택기(prediction mode selector)(421-425)는 모든 부대역 및 모든 가능한 절단 포인트를 사용하기 위한 최선의 예측 방법을 선택한다. 일반적으로, 이것은 GCLI를 코딩하기 위해 최소 최종 비트 예산을 사용하여 예측 방법을 선택하여 수행된다. 대안으로, 이전 데이터를 기반으로 한 경험적 방식(heuristic)이 사용될 수 있다.
그 다음, 이 정보는 레이트 제어(430)로 전달되며, 이는 이용 가능한 레이트 정보(available rate information)를 결합하고 모든 부대역에 대한 절단 포인트를 선택한다. 그러면, 인코딩은 선택된 절단 포인트에 대한 예측 모드 선택기(421-425)에 의해 결정된 예측 방법을 사용하여 수행된다.
디코더가 이미지를 적절히 디코딩 할 수 있게 하기 위해, 대응하는 시그널링 정보(signaling information)(도 1의 참조 번호 660)가 비트스트림에 포함되어, 모든 부대역에 대해 선택된 예측 방식에 대해 디코더에 알린다. 이 시그널링 정보는 프리싱트 부대역의 입도(granularity)에서만 필요하며, 이 시그널링을 위해서는 적은 수의 비트가 필요하므로 코딩 효율성에 미치는 영향은 무시될 수 있다.
도 8c는 모드 결정기(640)의 또 다른 구현을 도시한다. 모드 결정기는 도 4의 블록들(410 내지 414)에 대응하는 부대역 예산 계산기(subband budget calculator), 도 4의 블록들(421-425)에 응답하기 위한 예측 모드 선택기, 예산 결합기(budget combiner)(431) 및 절단 포인트 선택기(truncation point selector)(432)를 포함하며, 여기서 예산 결합기(431) 및 절단 포인트 선택기(432)는 함께 도 4의 단계(430)에 도시된 레이트 제어를 형성한다.
특히, 부대역 예산 계산기(410 내지 414)는 (1) 모든 부대역, (2) 모든 절단 포인트(GTLI), 및 (3) 모든 GCLI 인코딩 모드에 대해 비트 또는 일반적으로 데이터 예산을 계산한다. 따라서, 예를 들어 2개의 부대역들, 5 개의 다른 절단 포인트들 및 3개의 상이한 GCLI 인코딩 모드들이 있는 경우, 블록(410-414), 즉 부대역 예산 계산기는 30개의 상이한 데이터 예산들을 계산한다. 이것은 부대역 ID들, GCLI 식별들 및 인코딩 모드 식별들로 구성된 블록들(410-414) 로의 입력에 의해 예시된다.
부대역 예산 계산기의 결과에 기초하여, 예측 모드 선택기는 (1) 모든 부대역 및 (2) 모든 절단 포인트(GTLI)에 대해, 및 특히, 선택된 GCLI 인코딩 모드에 대해, 비트 또는 일반적으로 데이터 예산을 생성한다. 선택된 GCLI 인코딩 모드가 고려된 절단 포인트에 따라 달라질 수 있음에 유의하라. 부대역 당 및 절단 포인트 당 선택된 GCLI 인코딩 모드는 또한 도 6에 도시된 라인(660)을 통해 예측 모드 선택기에 의해 출력된다. 따라서, 상기 예시에 대한 부대역 예산 계산기에 의해 생성된 원래의 30 개의 값들로부터, 이제 최상의 예측 모드를 사용하거나 일반적으로 선택된 GCLI 인코딩 모드를 사용하여 획득된 10 비트/데이터 예산 값들로 남아 있다.
이러한 예시적인 10개의 값은 이제, 모든 절단 포인트에 대한 개별적인 부대역-단위 예산 값들(individual subband-wise budget values)을 결합함으로써 모든 절단 포인트들에 대한 프리싱트에 대한 완전한 비트/데이터 예산을 계산하는 예산 결합기(431)에 의해 수신된다. 따라서, 여기에서의 예시에 대해, 예산 결합기(431)는 5개의 상이한 가능한 절단 포인트들에 대해 5개의 상이한 예산 값들을 최종적으로 출력한다. 그 다음, 이들 5개의 상이한 예산 값들 중에서, 절단 포인트 선택기(432)는 프리싱트에 대한 허용된 예산에 따라 예산 값과 연관된 절단 포인트를 선택한다.
다음으로, 각 부대역에 대해 선택된 절단 포인트들은 이용 가능한 비트 예산을 초과하지 않으면서 시각적으로 중요한 부대역에 대한 절단을 감소시킴으로써 정제(refined)될 수 있다.
따라서, 도 2a에 예시적으로 도시된 각각의 계수에 대한 비트평면 데이터를 양자화 또는 절단하기 위해 도 8d의 양자화기(quantizer)(624)에 의해 사용되는 프리싱트의 모든 부대역에 대한 절단 포인트가 획득되고, 이 데이터는 미가공 데이터 버퍼에 절단되지 않은 데이터(non-truncated data)로서 저장된다. 이제, 각각의 부대역/프리싱트 및 예시적으로, 각 색상에 대해 선택된 절단 포인트에 기초하여, 절단되거나 양자화된 각 색상에 대한 미가공 데이터 또는 비트평면 데이터가 획득된다. 이 상황에 따라, 절단 포인트는 각 색상별로 개별적으로 계산될 수 있거나 단일 절단 포인트는 모든 색상에 대해 계산될 수 있거나 프리싱트에 대한 2개의 절단 포인트들도 예를 들어, 프리싱트 내 2개의 부대역을 항상 참조하여 계산될 수 있다. 따라서, 프리싱트가 예를 들어 10 개의 부대역들을 가질 때, 이러한 프리싱트에 대해 5개의 상이한 절단 포인트들이 존재할 것이다.
도 9는 도 8d와 관련하여 도시된 기능의 또 다른 구현을 도시한다. 블록(431) 및 블록(432)에 의해 도 8c에 도시된 GTLI 결정기는 한 세트의 계수들(부대역-단위(subband-wise))과 같은 바람직하게 더 높은 입도를 갖는 GTLI 또는 계수들의 그룹 당 GTLI, 또는 프리싱트 당 단일 GTLI를 생성한다. 그 다음, 이 데이터에 기초하여, 계수들은 양자화된 계수들을 출력하기 위해 양자화기(624)에 의해 양자화된다.
도 10은 단지 2개의 부대역들로 구성된 프리싱트의 예시적인 구현을 도시하며, 여기서 제1 부대역의 제1 세트의 계수들(first set of coefficients)은 (1001)로 도시되고, 제2 부대역의 제2 세트의 계수들(second set of coefficients)은 (1002)로 도시되며, 제1 세트의 계수들은, 예를 들어 그룹(1011 및 1012)을 갖고, 제2 세트의 계수들은 그룹(1013 및 1014)을 갖는다.
바람직하게는, 4개의 계수들이 하나의 그룹에서 사용되며, GCLI 값은 4개의 계수들의 각 그룹에 대해 계산되고, GTLI가 각각의 세트의 계수들에 대해, 즉, 전체 부대역에 대해 계산되거나 단일 GTLI 값이 각 프리싱트에 대해, 즉, 2개의 세트들(1001 및 1002)의 모든 계수들에 대해 계산된다. 이미 설명된 바와 같이, 프리싱트는 일반적으로 제1 부대역의 계수 데이터, 제2 부대역의 계수 데이터, 제n 부대역에 대한 계수 데이터를 포함하며, 여기서 모든 부대역들은 이미지의 동일한 공간 영역을 참조한다.
도 11은 인코딩된 이미지 신호의 예시적인 표현을 도시한다. 인코딩된 이미지 신호는 일반적으로 "시그널링 정보(signaling information)"로 표시된 제1 부대역 및 제 2 부대역에 대한 디코딩 모드 표시(1101 및 1102)를 포함한다. 또한, 도 11에 도시된 이미지 데이터는 (1103)에 도시된 인코딩된 이미지 데이터 및 인코딩된 GCLI 데이터를 포함하는 인코딩된 데이터를 포함한다. 또한, 인코딩된 이미지 신호는 도 11의 (1104)에 표시된 헤더 데이터를 포함하는 헤더를 포함할 수 있다. 인코딩된 이미지 신호는 도 11에서 직렬 스트림(serial stream)으로 도시되어 있지만, 인코딩된 이미지 신호는 임의의 데이터 포맷일 수 있다.
2.1 시그널링 방법
많은 상이한 가능성들은 모든 부대역에 대해 사용된 예측 방법을 시그널링하기 위해 존재한다. 예를 들어, 대역폭이 일반적으로 실제 코딩된 GCLI의 볼륨(volume)에 비해 무시할 수 있으므로, 미가공 비트들은 부대역 당 방법을 시그널링하는 데 사용될 수 있다. 따라서, 타겟 압축 비율(targeted compression ratio)이 더 중요할 때 및 시그널링의 예산이 더 중요해지기 시작할 때 가변 비트들은 사용될 수 있다.
2.2 계산 노력의 감소
한편으로, 이전 섹션에서 제시된 방법은 압축 효율성을 향상시킨다. 다른 한편으로, 예산 계산을 위해 부대역 당 개별 레지스터가 제공될 필요가 있기 때문에, 필수 하드웨어 레지스터 저장 공간(required hardware register storage space)을 약간 증가시킨다. 모든 부대역들이 동일한 예측 방법을 사용한다면, 이들 레지스터들은 아마도 단일 레지스터에 결합될 수 있다.
이 문제를 보상하기 위해, 이전에 설명된 방법에 의해 생성된 코딩 이득이 주요하게 적은 수의 부대역들에서 유래한다는 것을 주목하는 것이 중요하다. 다시 말하면, 도 3에 도시된 서브세트의 프리싱트 부대역들이 상당한 코딩 효율성을 희생시키지 않고 동일한 예측 방법을 사용한다는 것을 미리 결정할 수 있으며, 작은 서브세트의 부대역들만이 다른 것들의 독립적인 예측 방법을 선택할 수 있다는 것이 가능하다.
이러한 수단에 의해, 하드웨어 노력의 증가는 제안된 방법의 증가된 코딩 효율성을 여전히 이용하면서 제한될 수 있다. 동시에, 디코더에서 정확한 예측 방법을 선택하기 위한 시그널링 오버헤드(signaling overhead)가 감소될 수 있다.
3 감소된 인코더 복잡성을 위한 고정된 예측 방식
1.4.2 섹션에서 설명된 방법은 프리싱트의 모든 부대역들이 동일한 예측 방법을 사용할 필요가 없다는 점에서 최신 기술 [2]에서 벗어났다. 예측 방식의 이미지 콘텐츠에 대한 동적 적응을 허용함으로써, 더 나은 코딩 효율성이 달성될 수 있다.
대안적으로, 프리싱트의 부대역들 사이에 여전히 다른 예측 방식들을 허용하면서, 예측 방식은 모든 부대역에 대해 고정될 수 있다. 이러한 수단에 의해, 검색 공간은 감소될 수 있다.
도 5는 대응하는 예시를 도시한다. 특정 부대역에 속하는 계수들은 항상 동일한 예측 방식에 의해 예측된다고 가정한다. 상이한 부대역들에 속하는 계수들은 상이한 예측 방식들을 사용할 수 있다.
이러한 방법을 사용하는 것은 모든 부대역에 대해, 어떤 예측 방법을 사용할지 분명하고, 따라서 다른 예측 방법에 대한 예산을 계산할 필요가 없어 최소한의 예산을 사용하므로, 인코더에서 검색 공간이 감소된다는 이점을 제공한다.
이러한 방식을 사용하는 것은 완전 적응형 또는 부분 적응형 인코딩 모드 선택 또는 1.4.2 섹션에서 설명된 방법의 코딩 성능을 제공하지는 못하나, 두 가지 예측 방법들에 대한 예산을 계산할 필요없이, 프리싱트 입도에서 수평 및 수직 예측 사이를 선택하는 최신 방법에 가깝게 된다. 다시 말해, 복잡성을 줄이면서 유사한 코딩 효율성을 제공한다.
도 12는 도 5의 고정된 예측 방식 또는 도 4의 완전히 적응적인 예측 방식 사이에 있는 절차를 도시한다. 도 12의 절차는 부분적으로 고정되고 부분적으로 적응한다. 이 상황에서, 인코딩된 이미지 신호는 단지 2 개의 최하위 부대역들(101 및 102)에 대해서만과 같이 부대역들의 서브그룹(subgroup)에 대한 시그널링 정보를 포함하며, 다른 부대역들에 대한 디코딩 모드들은 즉, 예를 들어, 도 5에 도시된 할당을 갖는 라인에서의 부대역들(103-109)을 위해 미리 결정된 규칙을 사용하여 결정된다. 따라서, 블록(700)에서 도시된 도 7의 디코딩 모드 결정기는 인코딩된 이미지 신호로부터 서브그룹에 대한 시그널링 정보를 추출(1201)하도록 구성되고, 추출된 정보에 기초하여 프리싱트의 부대역들의 서브그룹에 대한 디코딩 모드를 결정한다(1203). 또한, 디코딩 모드 결정기(700)는 미리 결정된 규칙을 사용하여 블록(1201)에 의해 프로세싱된 서브그룹에 포함되지 않은 다른 부대역들에 대한 디코딩 모드를 결정(1205)하도록 구성된다. 따라서, 블록(1205)의 절차에 후속하여, 디코딩 모드 결정기는 모든 부대역들(프리싱트에 대한 세트들의 계수들)에 대한 디코딩 모드를 갖는다.
도 12의 "혼합된" 구현에서, 인코더 절차는 도 8b 및 도 8c와 관련하여 예시된 동작이 부대역들의 서브그룹에 대해서 단지 수행되고, 8a에 도시된 절차는 다른 부대역들에 대해 수행된다. 따라서, 인코더 복잡성은 완전 적응형 절차와 관련하여 감소되지만, 그럼에도 불구하고, 적응성은 적어도 몇몇 부대역들에 대해 유지된다.
도 13은 특정 글로벌 블록들의 개략적인 협력을 갖는 이미지 데이터 인코더의 바람직한 구현을 도시한다. 도 14는 도 13의 인코더 또는 다른 인코더와 협력할 수 있는 디코더의 대응하는 도면을 도시한다.
도 13의 색상 변환(1300)은 가역성 정수-대-정수 변환(reversible integer-to-integer transform)이며, 무손실 및 손실 압축에 사용되며, 이는 RGB 색상 정보를 비상관시킨다. 순방향 가역 색상 변환 RCT는 Y, U, V 데이터 또는 유사한 색상 공간을 생성한다. 이 변환 후에, 각 색상 구성 요소는 서로 독립적으로 프로세싱될 수 있다. YCbCr 이미지 데이터의 경우에, 색상 성분들이 이미 상관 관계가 없기 때문에 색상 변환(1300)은 우회(bypassed)된다.
도 14의 블록(1430)은 Y, U, V 데이터를 예를 들어 출력 신호로서 RGB 색상 정보로 다시 계산하기 위해 역 색상 변환을 도시한다.
도 13의 블록(400)은 이산 웨이브릿 변환을 도시하고, 이에 대응하여, 디코더의 블록(1420)은 이산 역 웨이브릿 변환을 도시한다. 이산 웨이브릿 변환(DWT)은 신호의 양호한 비상관화(good de-correlation)를 보장하는 공간 주파수 표현을 제공한다. 전형적으로, 웨이브릿 변환의 출력 계수들은 2의 상보적 표현으로 코딩된다. 엔트로피 코딩의 목적을 위해, 이 값들은 부호 및 크기 표현을 구현하도록 변형된다. 이것은 도 13의 블록(1310)에 의해 도시되고, 대응하는 역 동작은 도 14의 블록(1410)에 의해 도시된다. 양의 데이터는 두 방법들 모두에서 동일하게 표현되기 때문에 수정될 필요가 없다. 음의 샘플들은 "1"씩 증가하기 전에 반전되어야 한다.
블록들(600, 660, 661, 430, 431, 432, 624)에 의해 도시된 절차에 의해 수행되는 엔트로피 코딩은 일반적으로 블록 고정 길이 코딩(block fixed length coding)을 기반으로 하며, 그 위에는 더 나은 코딩 효율성을 보장하기 위해 몇몇 최적화가 주어진다. 바람직한 구현은 비트 스트림을 패킹할 때까지 출력 웨이브릿 데이터를 그대로 두고, 예를 들어, 미가공 데이터 버퍼(622)를 도시하는 도 8d와 관련하여 도시된다. 인덱스들의 스트림(GCLI)만이 프로세싱 리소스(processing resources)를 필요로 한다. 웨이브릿 부대역 계수들은 4개의 샘플의 서브세트들로 그룹화된다. 각각의 서브세트는 비트평면 표현(bit-plane representation)으로 보여 진다. 각 서브세트에 대해, 최대 코딩 라인 인덱스(GCLI)가 발견된다. 이것은 도 2a에 도시된 바와 같이 가장 중요한 0이 아닌 비트평면(non-null bit-plane)의 인덱스이다. 서브세트에 적어도 하나의 0이 아닌 비트평면이 있는 경우(GCLI가 0보다 큰 경우), 서브세트의 0이 아닌 비트평면이 그대로 출력 스트림에 복사(copied)된다. 대안적으로, 그들은 출력 스트림에 복사되기 전에 양자화를 정제하기 위해 먼저 프로세싱될 수 있다. 버퍼는 출력 스트림을 패킹하기 전에 모든 미가공 데이터를 저장하므로, 출력 할당에 대해 데이터의 어느 부분이 출력 스트림과 관련이 있는지 결정할 수 있다. GCLI 인덱스들은 미가공 데이터의 업스트림으로 더 압축 및 패킹된다. 수직 예측은 GCLI들의 2 개의 부대역 라인들 사이에 수행된다. 결과는 GCLI 값과 이전에 코딩된 라인에 있는 동일한 서브세트의 계수들의 GCLI 값 사이의 차이이다.
예측된 예측 값은 엔트로피 코더 블록(entropy coder block)(661)에 근접한 도 13에 도시된 우너리 코딩 방법에 후속하여 나중에 코딩된다. 이 표는 GCLI 인코딩을 위한 간단한 부호화된 우너리 가변 길이 코드를 도시한다. 이러한 우너리 코드는 특정 가변 길이 코드를 각 심볼(symbol)에 연관시키며, 일부 컨텍스트 정보(context information)에 의존할 수도 있다. 따라서, 도 13의 우너리 코드가 하나의 가능한 해결책을 나타내는 반면에, 예를 들어 0을 1로 대체하고, 그 반대의 경우로 대체 우너리 코드 방식도 가능하다. 이러한 대체 방식 중 하나는 [7]에서 설명되고 대안적으로 양수 및 음수 예측 잔차를 인코딩한다. 또한, GCLI는 수평적으로 예측된다. 코딩된 심볼은 GCLI의 값과 이전에 동일한 라인 및 동일한 웨이브릿 부대역으로 코딩된 GCLI의 값 사이의 차이이다.
미가공 모드 이외에 또는 미가공 모드 대신 다른 예측 모드가 가능하다. 데이터 및 GCLI 예측 값은 레이트 할당 메커니즘(rate allocation mechanism)에 의해 절단된다. 계수들의 그룹화는 압축 방식의 효율성과 시스템의 복잡성 사이의 균형을 이끈다. 각 서브세트의 계수들의 수는 높은 처리량을 위해 압축 효율성과 하드웨어 복잡성 사이의 최상의 균형을 유지하기 때문에 이전에 선택되었다.
일단 코딩되면, 모든 코딩 유닛의 출력이 함께 패킹된다. 일 예시적인 절차는 도 15에 도시된다. 특히, 도 15는 GTLI 버퍼(GTLI buffer)(1501), GCLI 버퍼(GCLI buffer)(1502), 수평 예측 모드 계산기(horizontal prediction mode calculator)(1503), 수직 예측 모드 계산기(vertical prediction mode calculator)(1504), 및 미가공 모드 프로세서(raw mode processor)(1505)를 도시한다. 도 15는 예를 들어 엔트로피 코더(661)에 근접한 도 13에 도시된 코드를 구현하는 (우너리) 코더를 도시하고, 도 15는 코딩된 GCLI 데이터를 생성하기 위한 멀티플렉서/데이터 패커(multiplexor/data packer)(1506)를 추가적으로 도시한다. 특히, 블록(1503)은 "현재" GCLI 값에 기초하고 버퍼(1502)로부터의 "과거" GCLI 값에 기초하여 Δ 값을 생성하기 위하여 수평 예측 모드를 계산한다. 따라서, 또한 블록(1504)는 입력으로서 수신된 "현재" GCLI 값에 기초하고 GCLI 버퍼(1502)로부터 수신된 "과거" GCLI 값에 기초하여 Δ 값을 계산한다. "현재" 및 "과거"라는 용어는 시간을 지칭하는 것이 아니라 특정 그룹의 계수들에 대한 부대역 내의 위치를 지칭한다. 그런 다음, 대응하는 Δ 값이 (우너리) 코딩된다. 당연히, 특정 부대역에 대해, 블록(1503)의 결과 또는 블록(1504)의 결과 또는 블록(1505)의 결과는 코딩된 GCLI 데이터에 입력된다. GCLI에 할당된 예산은 바람직한 구현에서 GCLI 당 최대 4 비트가 있음을 의미하는 미가공 코딩에 의해 결합(bonded)된다는 점에 유의해야 한다. 또한, 우너리 코드에 의해 생성된 데이터는 디코더 측에서 연속적인 흐름으로 나오므로, 상태 변수를 미리 계산하는 것이 가능하다. 따라서, 우너리 코드의 정지 비트(stop bits) 덕분에 피드백 루프(feedback loops)를 깨뜨릴 수 있다.
레이트 할당 및 GCLI 패킹 프로세스 동안, 비트평면 데이터는 출력 스트림에 패킹되기 전에 버퍼에 저장된다. 이 버퍼가 코덱 시스템(codec system)의 중요한 리소스 비용이라는 사실 때문에, 가능한 한 버퍼를 작게 설계하는 것이 바람직하며, 최대 10 라인까지만 저장할 수 있는 버퍼가 충분하다는 것을 발견했다.
이어서, 레이트 할당이 더 자세히 설명된다. 특히, 도 16은 한편에는 엔트로피 인코더(entropy encoder)와 다른 한편에는 레이트 할당 사이의 협력을 도시하며, 레이트 할당은 데이터 예산 블록(1621), GCLI 예산 블록(1622), 예산 할당 유닛(1610) 및 도 8c의 블록들(431, 432)과 관련하여 전술한 바와 같은 레이트 할당 코어를 포함한다. 또한, 도 16은 도 11의 헤더(1104)와 관련하여 앞서 설명된 바와 같이 패킷화기(680)에 의해 출력 데이터 스트림으로 또한 패킷화되는 헤더(1600)의 사용을 도시한다.
레이트 할당은 프리싱트 마다 작동한다. 프리싱트는 동일한 공간 영역을 형성하는 상이한 부대역들의 주파수 콘텐츠를 그룹화한다. 이러한 공간 영역은, 예를 들어, 2 라인 높이를 가지며, 이미지의 폭과 동일한 폭을 갖는다. 3개의 구성 요소에 대해, 낮은 수직 주파수의 5 개의 수평 분해의 결과 및 높은 수직 주파수의 단일 수평 분해의 결과를 포함하는 2개의 부대역을 포함하는 6 개의 부대역을 포함한다.
레이트 할당은 나머지 비트평면이 프리싱트 비트평면의 예산에 맞을 때까지 결정된 부대역의 최하위 비트평면을 트리밍함으로써 프리싱트 데이터를 양자화한다. 이 트리밍 전략은 반복적으로 적용되며, 점차적으로 각 부대역에서 점점 더 많은 비트평면을 트리밍한다. 그것의 사용 케이스에 기초하여, 트리밍 전략이 서로에 대한 부대역의 중요성을 결정하는 적절한 "트리밍 전략"을 적용할 수 있다. 레이트 할당은 보다 중요한 부대역에서보다 덜 중요한 부대역에서 더 많은 비트평면을 트리밍하도록 선택한다. 레이트 할당은 정의된 절단 시나리오에 대한 프리싱트 예산을 계산한다. 예산이 프리싱트 예산에 맞지 않으면, 새로운 절단 시나리오에 대한 예산을 계산하여, 모든 부대역에서 하나 이상의 비트평면을 제거한다. 프리싱트 크기가 프리싱트 예산에 맞으면, 예산이 다시 초과될 때까지 상이한 우선 순위를 상이한 부대역과 연관시키는 특정 우선 순위 규칙(certain priority rule)에 의해 정의된 순서로 부대역 당 하나의 비트평면 부대역을 재추가하는 가능한 정제(possible refinement)를 계산한다. 결과적으로 이는 각 부대역의 최종 절단 레벨이 된다.
레이트 할당은 프리싱트 데이터를 양자화하여 인코딩된 프리싱트 크기가 레이트 예산을 초과하지 않도록 한다. 평균 프리싱트 예산은 타겟 코드 스트림 크기(targeted code stream size)를 이미지 프리싱트들의 수로 나눈 값이다. 바람직하게는, 레이트 할당 전략 평균은 이미지를 따라 절단 레벨을 매끄럽게 하기 위해 두 프리싱트에 대한 예산이다. 인코딩된 프리싱트는 3개의 부분, 즉 헤더, 인코딩된 GCLI 및 미가공 비트평면의 데이터를 포함한다. 헤더는 조정될 수 없는 정의된 크기를 갖는다. 레이트 할당은 양자화를 증가시킴으로써 미가공 비트평면의 데이터 부분 및 인코딩된 GCLI 부분의 크기를 감소시킬 수 있다. 미가공 비트평면의 예산은 미가공 비트평면의 데이터를 저장하기 위해 이용할 수 있는 프리싱트 예산의 부분이다. 최소 코드 스트림 크기는 헤더의 크기 및 인코딩된 GCLI(미가공 비트평면의 데이터 크기는 0과 동일)를 생성할 수 있다.
정의된 시나리오 정제 쌍(defined scenario refinement pair)에 대한 미가공 비트평면 데이터 예산의 계산은 작은 4 비트 수인 샘플의 GCLI를 필요로 한다. 또한, 한 그룹의 4개의 샘플들에 하나의 GCLI를 사용하는 것은 예산 계산을 위해 프로세싱 할 수의 양을 4 개 감소시킨다. 프리싱트의 각 그룹의 크기가 계산되면, 합계는 특정 반복에서 총 데이터 크기를 제공한다. GCLI 데이터 예산과 관련하여, GCLI를 저장하는 여러 가지 방법이 있으며, 레이트 할당은 일반적으로 모든 방법에 대한 예산을 계산하고 가장 적절한 것을 선택한다. 데이터에 관해서는, 인코딩된 GCLI의 예산은 예를 들어 도 15에 도시된 (우너리) 코더(661)의 출력에 기초하여 계산될 수 있다. 미가공 GCLI에서, 예산은 최대 16 데이터 비트를 갖는 경우 4 비트로 곱한 그룹의 수이다. 프리싱트의 각 코딩된 GCLI의 크기가 계산되면, 합계는 특정 반복에서 전체 GCLI의 크기를 제공한다.
도 16의 레이트 할당 블록은 GCLI(데이터) 값들의 스트림을 입력으로서 수신하고, 블록은 패킷화기(packetizer)에 대한 GTLI 정보를 출력한다. 데이터 예산 블록(1621) 및 GCLI 예산 블록(1622)은 각 가능한 GTLI(0으로부터 15로의)에 대한 데이터/GCLI를 저장하기 위해 필수 예산을 계산한다. 바람직하게는, 도 8d의 GTLI 트리머(624) 또는 양자화기(624)와 같은 양자화기는 효율적인 중앙-라운딩 양자화(center-rounding quantization)를 수행한다. 이를 위해, 특정 양자화 단계가 계산되고 다음 변환이 수행된다. 디코더 측에서, 역 변환은 특정 역 변환 동작에서 데이터에 양자화 단계를 적용하는 것으로 구성된다. 그러나, 효과적인 중앙 라운딩-절차와는 별도로 다른 양자화기들이 사용될 수도 있다. 그 다음, 레이트 할당 블록이 프리싱트의 각 부대역에서 트리밍 할 비트평면들의 수를 결정하면, 미가공 데이터는 도 8d의 미가공 데이터 버퍼(622)로부터 판독되고, 양자화되고, 출력 스트림 패킷에 공급되어 출력 스트림에 패킹(packed)된다.
디코더 측에서는 GCLI 데이터가 데이터 언패킹(data unpacking) 전에 디코딩된다. 이는 거의 동일한 프로세스를 역으로 적용하는 것을 허용한다.
4 참고 문헌
[1] 앙브루아즈 르노(AMBROISE RENAUD); 부시샤트 찰스(BUYSSCHAERT CHARLES); 펠레그린 파스칼(PELLEGRIN PASCAL); 루브로이 가엘(ROUVROY GAEL), "디스플레이 스트림 압축을 위한 방법 및 장치(Method and Device for Display Stream Compression)", US9332258 BB
[2] 앙브루아즈 르노(AMBROISE RENAUD); 부시샤트 찰스(BUYSSCHAERT CHARLES); 펠레그린 파스칼(PELLEGRIN PASCAL); 루브로이 가엘(ROUVROY GAEL), "디스플레이 스트림 압축을 위한 방법 및 장치(Method and Device for display stream compression)", EP2773122 A1
[3] 장-밥티스트 로렌트(Jean-Baptiste Lorent), "IP 네트워크 또는 SDI 인프라에서 사용되는 TICO 경량 코덱(TICO Lightweight Codec Used in IP Networked or in SDI Infrastructure)", SMPTE RDD 34:2015
[4] 토시아키 코지마(Toshiaki Kojima), "네트워크 전송을 위한 LLVC-저 지연 비디오 코덱(LLVC - Low Latency Video Codec for Network Transfer)", SMPTE RDD 34:2015
[5] 제이. 킴(J. Kim) 및 씨.경(C. Kyung), "HD 비디오 코딩을 위한 중요한 비트 절단을 이용한 무손실 임베디드 압축(A Lossless Embedded Compression Using Significant Bit Truncation for HD Video Coding)", 비디오 기술을 위한 회로 및 시스템에 관한 IEEE 트랜잭션
[6] 인투픽스(intoPIX), "JPEG-XS CfP 용 intoPIX 코덱 서브미션(intoPIX Codec Submission for JPEG-XS CfP)", 설계 설명(Design Description) v0.1, 2016
[7] 인투픽스(intoPIX), "JPEG XS GCLI 바운디드 코드 제안(JPEG XS GCLI Bounded code proposal)", wg1m76032, 2017년 10월
인코딩 장치와 관련된 첨부된 청구 범위는 적절한 경우에 디코딩 장치에도 적용됨을 주목해야 한다.
본 발명은 몇몇 실시예들에 의해 설명되었지만, 본 발명의 범위 내에 속하는 변경들, 치환들 및 등가물들이 있다. 또한, 본 발명의 방법들 및 조성물들을 구현하는 많은 대안적인 방법이 있음을 알아야 한다. 따라서, 다음의 첨부된 특허 청구 범위는 본 발명의 진정한 사상 및 범위 내에 있는 그러한 모든 변경들, 치환들 및 등가물들을 포함하는 것으로 해석되어야 한다.
일부 측면들이 장치의 맥락에서 설명되었지만, 이 측면들은, 블록 또는 디바이스가 방법 단계 또는 방법 단계의 특징에 대응하는, 대응하는 방법의 설명을 나타내는 것이 명백하다. 유사하게, 방법 단계의 맥락에서 설명된 측면들은 대응하는 장치의 대응하는 블록 또는 아이템 또는 특징의 설명을 나타낸다. 방법 단계들 중 일부 또는 전부는 예를 들어 마이크로프로세서(microprocessor), 프로그래머블 컴퓨터(programmable computer) 또는 전자 회로(electronic circuit)와 같은 하드웨어 장치(hardware apparatus)에 의해(또는 하드웨어 장치를 사용하여) 실행될 수 있다. 일부 실시예들에서, 가장 중요한 방법 단계들 중 하나 이상은 이러한 장치에 의해 실행될 수 있다.
본 발명의 인코딩된 이미지 신호는 디지털 저장 매체에 저장될 수 있거나 또는 무선 송신 매체 또는 인터넷과 같은 유선 송신 매체와 같은 송신 매체를 통해 송신될 수 있다.
특정 구현 요건들에 따라, 본 발명의 실시예들은 하드웨어 또는 소프트웨어로 구현될 수 있다. 구현은 전자적으로 판독 가능한 제어 신호들이 저장되는, 예를 들어 플로피 디스크(floppy disk), DVD, 블루레이(Blu-Ray), CD, ROM, PROM, EPROM, EEPROM 또는 플래시 메모리(FLASH memory)와 같은, 디지털 저장 매체를 사용하여 수행될 수 있으며, 각각의 방법이 수행되도록 프로그래머블 컴퓨터 시스템과 협력한다(또는 협력할 수 있다). 그러므로, 디지털 저장 매체는 컴퓨터 판독 가능할 수 있다.
본 발명에 따른 일부 실시예는 본 명세서에 설명된 방법 중 하나가 수행되도록 프로그래머블 컴퓨터 시스템과 협력할 수 있는, 전자 판독 가능 제어 신호를 갖는 데이터 캐리어를 포함한다.
일반적으로, 본 발명의 실시예들은 프로그램 코드(program code)를 갖는 컴퓨터 프로그램 제품으로서 구현될 수 있으며, 상기 프로그램 코드는 컴퓨터 프로그램 제품이 컴퓨터상에서 실행될 때 상기 방법들 중 하나를 수행하도록 동작한다. 프로그램 코드는 예를 들어 머신 판독 가능 캐리어(machine readable carrier) 상에 저장될 수 있다.
다른 실시예들은 머신 판독 가능 캐리어 상에 저장되는, 본 명세서에서 설명된 방법들 중 하나를 수행하기 위한 컴퓨터 프로그램을 포함한다.
다시 말해, 본 발명의 방법의 일 실시예는, 컴퓨터 프로그램이 컴퓨터 상에서 실행될 때, 본 명세서에 설명된 방법들 중 하나를 수행하기 위한 프로그램 코드를 갖는 컴퓨터 프로그램이다.
따라서, 본 발명의 방법의 또 다른 실시예는 본 명세서에 설명된 방법들 중 하나를 수행하기 위한 컴퓨터 프로그램을 포함하고, 그에 저장되는 데이터 캐리어(또는 디지털 저장 매체 또는 컴퓨터-판독 가능 매체)이다. 데이터 캐리어, 디지털 저장 매체 또는 기록 매체는 전형적으로 유형(tangible) 및/또는 비-과도기(non-transitionary)이다.
그러므로, 본 발명의 방법의 또 다른 실시예는 본 명세서에 설명된 방법들 중 하나를 수행하기 위한 컴퓨터 프로그램을 나타내는 데이터 스트림 또는 신호의 시퀀스이다. 데이터 스트림 또는 신호의 시퀀스는 예를 들어 인터넷을 통해 데이터 통신 연결을 통해 송신되도록 구성될 수 있다.
또 다른 실시예는 본 명세서에 설명된 방법들 중 하나를 수행하도록 구성되거나 적응된 프로세싱 수단, 예를 들어 컴퓨터 또는 프로그래머블 로직 장치를 포함한다.
또 다른 실시예는 본 명세서에 설명된 방법들 중 하나를 수행하기 위한 컴퓨터 프로그램이 설치된 컴퓨터를 포함한다.
본 발명에 따른 또 다른 실시예는 본 명세서에 설명된 방법들 중 하나를 수행하기 위한 컴퓨터 프로그램을 수신기에 송신(예컨대, 전자적으로 또는 광학적으로)하도록 구성된 장치 또는 시스템을 포함한다. 수신기는 예를 들어 컴퓨터(computer), 모바일 디바이스(mobile device), 메모리 디바이스(memory device) 등일 수 있다. 장치 또는 시스템은 예를 들어 컴퓨터 프로그램을 수신기에 송신하기 위한 파일 서버를 포함할 수 있다.
일부 실시예들에서, 프로그래머블 로직 디바이스(예를 들어, 필드 프로그래머블 게이트 어레이(field programmable gate array))는 본 명세서에 설명된 방법들의 일부 또는 모든 기능들을 수행하는데 사용될 수 있다. 일부 실시예들에서, 필드 프로그래머블 게이트 어레이는 본 명세서에서 설명된 방법들 중 하나를 수행하기 위해 마이크로프로세서(microprocessor)와 협력할 수 있다. 일반적으로, 상기 방법들은 임의의 하드웨어 장치에 의해 수행되는 것이 바람직하다.
본 명세서에서 설명된 장치는 하드웨어 장치를 사용하거나, 또는 컴퓨터를 사용하거나, 또는 하드웨어 장치와 컴퓨터의 조합을 사용하여 구현될 수 있다.
본 명세서에서 설명된 방법들은 하드웨어 장치를 사용하거나, 또는 컴퓨터를 사용하거나, 또는 하드웨어 장치와 컴퓨터의 조합을 사용하여 수행될 수 있다.
전술한 실시예는 본 발명의 원리를 설명하기 위한 것일 뿐이다. 본 명세서에 설명된 구성 및 세부 사항의 수정 및 변형은 당업자에게 명백할 것임을 이해할 것이다. 따라서, 임박한 특허 청구 범위의 범위에 의해서만 제한되고, 본 명세서의 실시예에 대한 설명(description) 및 설명(explanation)에 의해 제공된 특정 세부 사항에 의해서가 아니라는 의도이다.
Claims (43)
- 이미지 데이터를 인코딩하기 위한 장치에 있어서,
상기 이미지 데이터는,
복수의 상이한 부대역들(101-109)로 분해되고,
각각의 부대역은,
복수의 계수들을 포함하고,
상기 복수의 상이한 부대역들(101-109)의 제1 부대역은,
제1 세트(1001)의 계수들(first set (1001) of coefficients)을 포함하고,
상기 복수의 상이한 부대역들(101-109)의 상이한 제2 부대역은,
상이한 제2 세트(1002)의 계수들(second set (1002) of coefficients)을 포함하고,
프리싱트(300)는,
상기 복수의 상이한 부대역들(101-109)의 상기 제1 및 상기 제2 부대역들로부터 상기 제1 및 상기 제2 세트들(1001, 1002)의 계수들을 포함하고,
상기 프리싱트(300)의 상기 제1 및 상기 제2 세트들(1001, 1002)의 계수들은,
상기 이미지 데이터에 의해 나타낸 이미지의 제1 공간 영역에 속하고,
상기 장치는,
세트 내의 계수들의 각각의 그룹(1011-1014)에 대해, 최대 코딩 라인 인덱스(GCLI)를 결정하기 위한 프로세서(600);
제1 인코딩 모드에 따라 상기 프리싱트(300)의 상기 제1 세트(1001)의 계수들과 연관된 상기 최대 코딩 라인 인덱스들을 인코딩하고, 제2 인코딩 모드에 따라 상기 프리싱트(300)의 상기 제2 세트(1002)의 계수들과 연관된 상기 최대 코딩 라인 인덱스들을 인코딩하기 위한 인코더(660) - 상기 제2 인코딩 모드는 상기 제1 인코딩 모드와 상이함 -; 및
상기 인코딩된 최대 코딩 라인 인덱스들에 대한 데이터(1103) 및 상기 계수들에 대한 데이터를 갖는 인코딩된 이미지 신호를 출력하기 위한 출력 인터페이스(680)
를 포함하고,
상기 제1 인코딩 모드 및 상기 제2 인코딩 모드는,
수직 예측 인코딩 모드(vertical prediction encoding mode), 수평 예측 인코딩 모드(horizontal prediction encoding mode) 및 미가공 인코딩 모드 중 적어도 2개를 포함하는 인코딩 모드들의 세트로부터 선택되는
장치. - 제1항에 있어서,
상기 제1 인코딩 모드 및 상기 제2 인코딩 모드를 결정하기 위한 모드 결정기(640)
를 더 포함하고,
상기 모드 결정기는,
한 세트의 계수들이 속하는(802) 대응하는 상기 부대역에 기초하여 상기 세트들의 계수들에 대한 상기 인코딩 모드들을 결정(804)하도록 구성되는
장치. - 제1항에 있어서,
상기 제1 인코딩 모드 및 상기 제2 인코딩 모드를 결정하기 위한 모드 결정기(640)
를 더 포함하고,
상기 모드 결정기는,
상기 제1 인코딩 모드를 사용하여 상기 프리싱트(300)의 상기 제1 세트(1001)의 계수들에 대한 제1 필수 데이터 예산을 계산하고(810),
상기 제2 인코딩 모드를 사용하여 상기 프리싱트(300)의 상기 제1 세트(1001)의 계수들에 대한 제2 필수 데이터 예산을 계산하고(812),
상기 제1 및 상기 제2 필수 데이터 예산에 기초하여 상기 제1 및 상기 제2 인코딩 모드들 중 하나를 선택하도록(814) 구성되고,
상기 출력 인터페이스(680)는,
상기 인코딩된 이미지 신호로 상기 제1 세트(1001)의 계수들에 대해 선택된 상기 인코딩 모드의 표시를 포함하도록(816) 구성되는
장치. - 제1항에 있어서,
각각의 그룹에 대한 최대 트리밍 라인 인덱스(GTLI)에 따라 상기 그룹에서의 상기 계수들을 양자화하기 위한 양자화기(624)
를 더 포함하고,
상기 계수들에 대한 상기 데이터는,
양자화된 계수들에 대한 데이터를 포함하고,
상기 출력 인터페이스(680)는,
그룹에 대한 상기 최대 트리밍 라인 인덱스(GTLI)에 대한 데이터를 상기 인코딩된 이미지 신호로 도입하도록 구성되는
장치. - 제1항에 있어서,
상기 제1 인코딩 모드는 수평 예측 모드이고, 예측은 2개의 수평으로 인접한 계수들의 그룹들의 적어도 2개의 최대 코딩 라인 인덱스들에 관련된 데이터 아이템들(data items) 사이에서 예측이 수행되고,
상기 제2 인코딩 모드는 수직 예측 모드이고, 예측은 2개의 수직으로 인접한 계수들의 그룹들의 적어도 2개의 최대 코딩 라인 인덱스들과 관련된 데이터 아이템들 사이에서 수행되고, 상기 수평으로 인접한 계수들의 그룹들 또는 상기 수직으로 인접한 계수들의 그룹들은 상기 이미지 신호의 대응하는 공간 위치들을 지칭하며, 이는 상기 계수들에 연관되는
장치. - 제4항에 있어서,
상기 인코더(660)는,
상기 계수들의 그룹에 대한 상기 최대 코딩 라인 인덱스 및 상기 계수들의 그룹과 연관된 최대 트리밍 라인 인덱스(GTLI)를 사용하여 최대 코딩 라인 인덱스에 관련된 데이터 아이템을 결정하도록 구성되는
장치. - 제4항에 있어서,
최대 트리밍 라인 인덱스(GTLI)는,
계수들의 그룹에 대한 양자화 단계를 표시하는 상기 계수들의 그룹에 대해 결정되고,
상기 수직 예측 또는 상기 수평 예측은,
다음의 수학식에 기초하고
,
여기서, F 1 및 F 2 는 각각 g > 1으로 구성된, 2개의 수평으로 인접한 계수 그룹들이거나, 또는 2개의 수직으로 인접한 계수 그룹들이고, F 2 는 현재 코딩될 상기 계수 그룹이고, 현재 코딩될 상기 계수 그룹에 대한 상기 최대 코딩 라인 인덱스(GCLI)는 δ 값을 송신함으로써 시그널링되고, max ()는 최대 결정 함수(maximum determination function)를 나타내는
장치. - 제1항에 있어서,
최대 트리밍 라인 인덱스(GTLI)는,
상기 계수들의 그룹에 대한 양자화 단계를 표시하는 상기 계수들의 그룹에 대해 결정되고,
상기 제1 인코딩 모드 및 상기 제2 인코딩 모드 중 하나는,
미가공 인코딩 모드이고,
상기 그룹의 최대 코딩 라인 인덱스는,
상기 그룹과 연관된 상기 최대 트리밍 라인 인덱스(GTLI)를 사용하여 인코딩되는
장치. - 제1항에 있어서,
최대 트리밍 라인 인덱스(GTLI)는,
계수들의 그룹에 대한 양자화 단계를 나타내는 상기 계수들의 그룹에 대해 결정되고,
상기 프리싱트(300)의 상기 최대 트리밍 라인 인덱스(GTLI)들은,
상기 프리싱트(300)에 대한 단일 최대 트리밍 라인 인덱스(GTLI) 또는 부대역에 대한 단일 최대 트리밍 라인 인덱스(GTLI)와 같은 상기 최대 코딩 라인 인덱스들보다 더 높은 입도로 결정되는
장치. - 제1항에 있어서,
상기 복수의 상이한 부대역들은,
x 방향으로 상기 이미지를 하이 패스 필터링하고, y 방향으로 상기 이미지를 로우 패스 필터링함으로써 획득된 데이터를 나타내는 LH1 부대역(103), 및
x 방향으로 상기 이미지를 로우 패스 필터링하고, y 방향으로 상기 이미지를 하이 패스 필터링함으로써 획득된 이미지 데이터를 포함하는 HL1 부대역(101)
을 포함하고,
상기 HL1 부대역(101)과 연관된 상기 인코딩 모드는,
상기 수평 예측 인코딩 모드이고,
상기 LH1 부대역(103)과 연관된 상기 인코딩 모드는,
상기 수직 예측 인코딩 모드인
장치. - 제1항에 있어서,
상기 복수의 상이한 부대역들은,
x 방향에 따라 상기 이미지를 하이 패스 필터링하고, y 방향에 따라 상기 이미지를 하이 패스 필터링함으로써 획득된 이미지 데이터를 나타내는 HH1 부대역(102)
을 포함하고,
상기 HH1 부대역(102)과 연관된 상기 인코딩 모드는 상기 수직 예측 인코딩 모드인
장치. - 제1항에 있어서,
상기 복수의 상이한 부대역들은,
x 방향으로 하이 패스 필터를 사용하고, y 방향으로 로우 패스 필터를 사용하여 필터링함으로써 획득된 데이터를 포함하는 LH2 부대역(106), 및
x 방향으로 로우 패스 필터 및 y 방향으로 하이 패스 필터를 사용하여 필터링함으로써 획득된 HL2 부대역(104)
을 포함하고,
상기 HL2 부대역(104)과 연관된 상기 인코딩 모드는,
상기 수평 예측 인코딩 모드이고,
상기 LH2 부대역(106)과 연관된 상기 인코딩 모드는,
상기 수직 예측 인코딩 모드인
장치. - 제1항에 있어서,
상기 복수의 상이한 부대역들은,
x 방향에 따라 하이 패스 필터를 사용하여 y 방향으로 하이 패스 필터를 사용하여 필터링함으로써 획득된 데이터를 포함하는 HH2 부대역(105)
을 포함하고,
상기 HH2 부대역(105)과 연관된 상기 인코딩 모드는,
상기 수직 예측 인코딩 모드인
장치. - 제1항에 있어서,
상기 복수의 부대역들은,
x 방향으로 하이 패스 필터를 사용하여 필터링함으로써 획득된 H3 부대역(107);
x 방향으로 하이 패스 필터를 사용함으로써 획득된 H4 부대역(108); 및
x 방향으로 로우 패스 필터를 사용하는 L5 부대역(109)
를 포함하고,
상기 H3 부대역과 연관된, 상기 H4 부대역과 연관된, 또는 상기 L5 부대역과 연관된 상기 인코딩 모드는, 상기 수직 예측 인코딩 모드인
장치. - 제1항에 있어서,
상기 인코더(660)는, 각각의 부대역에 대해,
상기 부대역 및 각각의 가능한 절단 포인트(GTLI) 및 각각의 인코딩 모드에 대해 상기 프리싱트(300)의 상기 부대역에 대한 필수 데이터 예산을 계산하도록 구성되는 예산 계산부(budget computation facility)(410-414); 및
각각의 부대역에 대해 최소 결과 데이터 예산을 갖는 상기 인코딩 모드를 선택하거나, 또는 각각의 부대역에 대해 이전의 데이터에 기초한 경험적 방식을 사용하여 상기 인코딩 모드를 선택하기 위한 인코딩 모드 선택기(encoding mode selector)(421-425); 및
이용 가능한 레이트 정보를 결합하고, 각각의 부대역에 대한 절단 포인트를 선택하는 레이트 제어기(rate controller)(430); 및
상기 선택된 절단 포인트를 사용하여 상기 계수들에 대한 상기 데이터를 생성하기 위한 출력 인터페이스(680)
를 포함하고,
상기 인코딩된 최대 코딩 라인 인덱스에 대한 상기 데이터는,
상기 선택된 절단 포인트 및 상기 선택된 인코딩 모드에 대한 상기 데이터를 포함하는
장치. - 제15항에 있어서,
상기 출력 인터페이스(680)는,
각각의 부대역에 대해, 상기 인코딩된 이미지 신호에 상기 선택된 인코딩 모드를 시그널링하기 위한 시그널링 정보(1101, 1102)를 포함하도록 구성되는
장치. - 제15항에 있어서,
상기 인코더(660)는,
상기 프리싱트(300)에서의 모든 부대역들의 제1 서브그룹(HL1, HH1, LH1)에 대해 상기 인코딩 모드 선택기 및 상기 예산 계산부를 적용하도록 구성되고,
상기 프리싱트(300)에 대한 제1 서브그룹과 상이한, 상기 프리싱트(300)의 상기 부대역들의 제2 서브그룹(HL2, HH2, LH2 H3, H4, L5)에 대한 상기 인코딩 모드는 미리 결정되는(L5, H4, H3 또는 LH2, HH2, HL2)
장치, - 제1항에 있어서,
상기 인코더(660)는,
엔트로피 인코더(661) 또는 상기 제1 인코딩 모드 및/또는 상기 제2 인코딩 모드에서 코드 표(code table) 또는 동적으로 생성된 코드북(code book) 또는 우너리 코드를 갖는 가변 길이 코드를 사용하는 인코딩을 사용하도록 구성되는
장치. - 제1항에 있어서,
부가 프리싱트(further precinct)의 2개의 세트들의 계수들은,
상기 이미지의 부가 공간 영역(further spatial region)에 속하고,
상기 부가 공간 영역은,
상기 공간 영역과 상이하며,
상기 인코더(660)는,
상기 제1 인코딩 모드에 따라 상기 부가 프리싱트의 제1 세트의 계수들과 연관된 상기 최대 코딩 라인 인덱스를 인코딩하고,
상기 제2 인코딩 모드에 따라 상기 부가 프리싱트의 제2 세트의 계수들과 연관된 상기 최대 코딩 라인 인덱스들을 인코딩하도록 구성되고,
상기 제2 인코딩 모드는 상기 제1 인코딩 모드와 상이한
장치. - 제2항에 있어서,
상기 모드 결정기(640)는,
상기 프리싱트(300)에 대해, 상이한 절단 포인트들 및 상이한 인코딩 모드들을 사용하여 제1 부대역에 대한 상기 제1 세트(1001)의 계수들을 인코딩하기 위한 제1 복수의 데이터 예산 및 상이한 절단 포인트들 및 상이한 인코딩 모드들을 사용하는 제2 부대역에 대한 상기 제2 세트(1002)의 계수들에 대한 제2 복수의 데이터 예산을 계산하는 부대역 예산 계산기(410-414); 및
각각의 세트의 계수들에 대한 선택된 인코딩 모드를 획득하기 위하여, 상기 제1 세트(1001)의 계수들에 대해, 각 절단 포인트에 대한 타겟과 매칭하는 상기 제1 복수의 데이터 예산들에 대한 데이터 예산을 갖는 제1 인코딩 모드를 선택하고, 상기 제2 세트(1002)의 계수들에 대해, 각 절단 포인트에 대한 타겟과 매칭하는 상기 제2 복수의 데이터 예산들로부터의 데이터 예산을 갖는 제1 인코딩 모드를 선택하는 예측 모드 선택기(421-425)
를 포함하는 장치. - 제20항에 있어서,
상기 모드 결정기(640)는,
각각의 절단 포인트에 대해 결합된 예산을 획득하기 위하여, 각각의 절단 포인트에 대해, 상기 제1 세트(1001)의 계수들에 대한 선택된 인코딩 모드와 연관된 상기 제1 세트(1001)의 계수들에 대한 제1 데이터 예산 및 상기 제2 세트(1002)의 계수들에 대한 상기 선택된 인코딩 모드와 연관된 상기 제2 세트(1002)의 계수들에 대한 제2 데이터 예산을 결합하기 위한 예산 결합기(431); 및
예산 타겟(budget target)에 부합하는 결합된 예산과 연관된 절단 포인트를 선택하기 위한 절단 포인트 선택기(432)
를 포함하는 장치. - 제1항에 있어서,
상기 프리싱트(300) 또는 임의의 추가 프리싱트는,
상기 제1 세트(1001)의 계수들 및 상기 제2 세트(1002)의 계수들에 추가하여, 하나 이상의 추가 세트의 계수들을 포함하고,
상기 인코더(660)는,
상기 제1 인코딩 모드에 따라 또는 상기 제2 인코딩 모드에 따라 또는 상기 제1 인코딩 모드 및 상기 제2 인코딩 모드와 상이한 제3 인코딩 모드에 따라, 상기 하나 이상의 추가 세트의 계수들과 연관된 상기 최대 코딩 라인 인덱스들을 코딩하도록 구성되고,
상기 출력 인터페이스(680)는,
상기 하나 이상의 추가 세트의 계수들에 대해 선택된 상기 인코딩 모드의 표시 및 상기 하나 이상의 추가 세트의 계수들에 대한 데이터 및 상기 하나 이상의 추가 세트의 계수들과 연관된 상기 인코딩된 최대 코딩 라인 인덱스들에 대한 데이터(1103)를 갖는 상기 인코딩된 이미지 신호를 출력하도록 구성되는
장치. - 인코딩된 최대 코딩 라인 인덱스들에 대한 데이터 및 계수들에 대한 데이터를 포함하는 인코딩된 이미지 신호를 디코딩하기 위한 장치에 있어서,
프리싱트(300) 내의 상이한 부대역들에 대한 상기 인코딩된 최대 코딩 라인 인덱스들에 대한 상기 데이터에 대한 상이한 디코딩 모드들을 결정하기 위한 디코딩 모드 결정기(700) - 상기 계수들에 대한 상기 데이터는 복수의 상이한 부대역들(101-109)로 분해되는 이미지 데이터를 나타내고, 각각의 부대역은 복수의 계수들을 포함하고, 상기 프리싱트(300)는 상이한 부대역들로부터의 상이한 세트들(1001, 1002)의 계수들을 포함하며, 프리싱트(300)의 2개의 세트들의 계수들은 상기 데이터에 의해 표현된 이미지의 공간 영역에 속함 -; 및
상기 상이한 디코딩 모드들 중의 제1 디코딩 모드를 사용하여 상기 프리싱트(300)에서의 제1 세트(1001)의 계수들에 대한 상기 인코딩된 최대 코딩 라인 인덱스들에 대한 상기 데이터를 디코딩하고, 상기 디코딩 모드 결정기(700)에 의해 결정된 상기 상이한 디코딩 모드들 중의 제2 디코딩 모드를 사용하여 상기 프리싱트(300)에서의 제2 세트(1002)의 계수들에 대한 상기 인코딩된 최대 코딩 라인 인덱스들 상의 상기 데이터를 디코딩하고, 디코딩된 최대 코딩 라인 인덱스 데이터를 사용하여 상기 계수들에 대한 데이터를 디코딩하기 위한 디코더(720)
를 포함하고,
상기 상이한 디코딩 모드들 중의 상기 제1 디코딩 모드 및 상기 상이한 디코딩 모드들 중의 상기 제2 디코딩 모드는,
상기 상이한 디코딩 모드들을 포함하는 그룹으로부터 선택되고,
상기 그룹은,
수직 역 예측 디코딩 모드(vertical inverse prediction decoding mode),
수평 역 예측 디코딩 모드(horizontal inverse prediction decoding mode), 및
미가공 디코딩 모드(raw decoding mode)
중 적어도 2개를 포함하는
장치. - 제23항에 있어서,
상기 인코딩된 이미지 신호는,
시그널링 정보로서, 상기 프리싱트(300)의 적어도 2개의 상이한 부대역들에 대한 디코딩 모드 정보(1101, 1102)를 포함하고,
상기 디코딩 모드 결정기(700)는,
상기 인코딩된 이미지 신호로부터 상기 디코딩 모드 정보(1101, 1102)를 추출하고, 상기 추출된 디코딩된 모드 정보를 상기 프리싱트(300)에 대한 적어도 2개의 상이한 부대역들의 각각에 대해 해석함으로써 상기 디코딩 모드를 결정하도록 구성되는
장치. - 제23항에 있어서,
상기 디코딩 모드 결정기(700)는,
상기 세트의 상기 계수들의 그룹이 속하는 상기 부대역에 따라 상기 디코딩 모드를 선택함으로써 상기 디코딩 모드를 결정하도록(1205) 구성되며,
상기 복수의 상이한 부대역들의 각각은,
미리 결정된 디코딩 모드와 연관되며, 상기 프리싱트(300) 내에서, 2개의 상이한 부대역들은 2개의 상이한 디코딩 모드들과 연관되는
장치. - 제23항에 있어서,
상기 디코더(720)는,
각각의 그룹에 대한 최대 트리밍 라인 인덱스(GTLI)에 따라 각각의 그룹의 계수들을 역 양자화(dequantizing)하기 위한 역 양자화기(dequantizer)(724)
를 더 포함하고,
상기 프리싱트(300)에 대한 상기 최대 트리밍 라인 인덱스(GTLI)에 대한 상기 데이터는,
상기 인코딩된 이미지 신호에 포함되는
장치. - 제23항에 있어서,
상기 제1 디코딩 모드는 수평 역 예측 디코딩 모드이고,
상기 역 예측은 송신된 데이터 아이템 및 이전에 디코딩된 최대 코딩 라인 인덱스를 사용하여 수행되고,
상기 데이터 아이템들 및 상기 이전에 디코딩된 최대 코딩 라인 인덱스는 2개의 수평으로 인접한 계수들의 그룹들과 연관되며,
상기 제2 디코딩 모드는 수직 역 예측 디코딩 모드이고,
상기 역 예측은 송신된 데이터 아이템과 이전에 디코딩된 최대 코딩 라인 인덱스 사이에서 수행되고,
상기 데이터 아이템 및 상기 이전에 디코딩된 최대 코딩 라인 인덱스는 2개의 수직적으로 인접한 계수들의 그룹들과 연관되는
장치. - 제27항에 있어서,
최대 트리밍 라인 인덱스(GTLI)는,
계수들의 그룹에 대한 상기 인코딩된 이미지 신호로부터 추출되고,
상기 최대 트리밍 라인 인덱스(GTLI)는,
상기 계수들의 그룹에 대한 양자화 단계를 나타내고,
상기 수직 또는 수평 역 예측은,
다음의 수학식에 기초하여 수행되며,
,
여기서, δ는 상기 송신된 데이터 아이템이고,
F1 및 F2 는 g> 1 계수들로 구성되는 2개의 수평으로 인접한 계수 그룹들이고,
맥스(max)는 최대 동작을 나타내고,
GCLI(F2)는 현재 디코딩된 데이터 아이템을 나타내는
장치. - 제23항에 있어서,
최대 트리밍 라인 인덱스(GTLI)는,
상기 인코딩된 이미지 신호에 포함되고,
상기 계수들의 그룹에 대한 상기 최대 트리밍 라인 인덱스(GTLI)는,
상기 프리싱트(300)에 대한 단일 최대 트리밍 라인 인덱스(GTLI) 또는 부대역에 대한 단일 최대 트리밍 라인 인덱스(GTLI)와 같은 상기 최대 코딩 라인 인덱스 데이터보다 더 높은 입도로 주어지는
장치. - 제23항에 있어서,
상기 복수의 상이한 부대역들은,
x 방향으로 상기 이미지를 하이 패스 필터링하고, y 방향으로 상기 이미지를 로우 패스 필터링함으로써 획득된 데이터를 나타내는 LH1 부대역(103), 및
x 방향으로 상기 이미지를 로우 패스 필터링하고, y 방향으로 상기 이미지를 하이 패스 필터링함으로써 획득된 이미지 데이터를 포함하는 HL1 부대역(101)
을 포함하고,
상기 HL1 부대역(101)과 연관된 디코딩 모드는 수평 역 예측 디코딩 모드이고,
상기 LH1 부대역(103)과 연관된 상기 디코딩 모드는 상기 수직 역 예측 디코딩 모드인
장치. - 제23항에 있어서,
상기 복수의 상이한 부대역들은,
x 방향에 따라 상기 이미지를 하이 패스 필터링하고, y 방향에 따라 상기 이미지를 하이 패스 필터링함으로써 획득된 이미지 데이터를 나타내는 HH1 부대역(102)을 포함하고, 상기 HH1 부대역(102)과 연관된 상기 디코딩 모드는 상기 수직 역 예측 디코딩 모드인
장치. - 제23항에 있어서,
상기 복수의 상이한 부대역들은,
x 방향에서 하이 패스 필터를 사용하고, y 방향에서 로우 패스 필터를 사용하여 필터링함으로써 획득된 데이터를 포함하는 LH2 부대역(106), 및
x 방향에서 로우 패스 필터 및 y 방향에서 하이 패스 필터를 사용하여 필터링함으로써 획득된 HL2 부대역(104)
를 포함하고,
상기 HL2 부대역(104)과 연관된 상기 디코딩 모드는 상기 수평 역 예측 디코딩 모드이고,
상기 LH2 부대역(106)과 연관된 상기 디코딩 모드는 상기 수직 역 예측 디코딩 모드인
장치. - 제23항에 있어서,
상기 복수의 상이한 부대역들은 x 방향에 따라 하이 패스 필터를 사용하고, y 방향에서 하이 패스 필터를 사용하여 필터링함으로써 획득된 데이터를 포함하는 HH2 부대역(105)을 포함하고, 상기 HH2 부대역(105)과 연관된 상기 디코딩 모드는 상기 수직 역 예측 디코딩 모드인
장치. - 제23항에 있어서,
상기 복수의 부대역들은,
x 방향으로 하이 패스 필터를 사용하여 필터링함으로써 획득된 H3 부대역(107);
x 방향으로 하이 패스 필터를 사용함으로써 획득된 H4 부대역(108); 및
x 방향으로 로우 패스 필터를 사용하는 L5 부대역(109)
을 포함하고,
상기 H3 부대역(107)과 연관되거나, 상기 H4 부대역(108)과 연관되거나, 또는 상기 L5 부대역과 연관된 상기 디코딩 모드는 상기 수직 역 예측 디코딩 모드인
장치. - 제23항에 있어서,
상기 인코딩된 이미지 신호는,
상기 프리싱트(300)에 대한 부대역들의 서브그룹에 대해서만 시그널링 정보를 포함하고,
상기 디코딩 모드 결정기(700)는,
상기 시그널링 정보에 기초하여 상기 서브그룹의 부대역에 대한 상기 디코딩 모드를 결정하고(1203), 상기 디코딩을 위한 상기 장치에서 이용 가능한 바와 같이 상기 부대역들에 대한 디코딩 모드들을 사용하는 상기 서브그룹 외에 상기 프리싱트(300)에서의 부대역들에 대한 상기 디코딩 모드를 결정하도록(1205) 구성되는
장치. - 제23항에 있어서,
부가 프리싱트의 2개의 세트들의 계수들은,
상기 이미지의 부가 공간 영역에 속하고,
상기 부가 공간 영역은,
상기 공간 영역과 상이하고,
상기 디코더(720)는,
상기 제1 디코딩 모드를 사용하여 상기 부가 프리싱트에서의 제1 세트의 계수들에 대한 상기 인코딩된 최대 코딩 라인 인덱스들에 대한 상기 데이터를 디코딩하고,
상기 디코딩 모드결정기에 결정된 대로 제2 디코딩 모드를 사용하여 상기 부가 프리싱트에서의 제2 세트의 계수들에 대한 상기 인코딩된 최대 코딩 라인 인덱스들에 대한 상기 데이터를 디코딩하고,
상기 디코딩된 최대 코딩 라인 인덱스 데이터를 사용하여 상기 계수들에 대한 상기 데이터를 디코딩하도록 구성되는
장치. - 제23항에 있어서,
상기 디코딩 모드 결정기(700)는,
하나 이상의 추가 프리싱트 또는 프리싱트(300)의 상기 제1 및 제2 세트들(1001, 1002)의 계수들에 추가하여 하나 이상의 추가 세트의 계수들에 대한 상기 인코딩된 최대 코딩 라인 인덱스들에 대한 상기 데이터에 대한 하나 이상의 디코딩 모드를 결정하도록 구성되고,
상기 추가 세트들의 계수들 중 하나와 연관된 상기 최대 코딩 라인 인덱스들은,
제1 인코딩 모드에 따라 또는 제2 인코딩 모드에 따라 또는 상기 제1 인코딩 모드 및 상기 제2 인코딩 모드와 상이한 제3 인코딩 모드에 따라 인코딩된 것이고,
상기 디코더(720)는,
각 인코딩 모드와 매칭되는 상기 하나 이상의 디코딩을 사용하여 상기 하나 이상의 추가 프리싱트에서 또는 상기 프리싱트(300)에서의 상기 하나 이상의 추가 세트의 계수들에 대한 상기 인코딩된 최대 코딩 라인 인덱스들에 대한 상기 데이터를 디코딩하고,
상기 하나 이상의 추가 세트의 계수들에 대한 상기 디코딩된 최대 코딩 라인 인덱스 데이터를 사용하여 상기 하나 이상의 추가 세트의 계수들에서의 상기 계수들에 대한 상기 데이터를 디코딩하도록 구성되는
장치. - 이미지 데이터를 인코딩하기 위한 방법에 있어서,
상기 이미지 데이터는,
복수의 상이한 부대역들(101-109)로 분해되고,
각각의 부대역은,
복수의 계수들을 포함하고,
상기 복수의 상이한 부대역들(101-109)의 제1 부대역은,
제1 세트(1001)의 계수들을 포함하고,
상기 복수의 상이한 부대역들(101-109)의 상이한 제2 부대역은,
상이한 제2 세트(1002)의 계수들을 포함하고,
프리싱트(300)는,
상기 복수의 상이한 부대역들(101-109)의 상기 제1 및 제2 부대역들로부터 상기 제1 및 상기 제2 세트들(1001, 1002)의 계수들을 포함하고,
상기 프리싱트(300)의 상기 제1 및 상기 제2 세트들(1001, 1002)의 계수들은,
상기 이미지 데이터에 의해 나타낸 이미지의 제1 공간 영역에 속하며,
상기 방법은,
세트 내의 계수들의 각각의 그룹에 대해, 최대 코딩 라인 인덱스(GCLI)를 결정하는 단계(600);
제1 인코딩 모드에 따라 상기 프리싱트(300)의 상기 제1 세트(1001)의 계수들과 연관된 상기 최대 코딩 라인 인덱스들을 인코딩(660)하고, 제2 인코딩 모드에 따라 상기 프리싱트(300)의 상기 제2 세트(1002)의 계수들과 연관된 상기 최대 코딩 라인 인덱스들을 인코딩하는 단계(660) - 상기 제2 인코딩 모드는 상기 제1 인코딩 모드와 상이함 -; 및
상기 인코딩된 최대 코딩 라인 인덱스들에 대한 데이터(1103) 및 상기 계수들에 대한 데이터를 갖는 인코딩된 이미지 신호를 저장 또는 출력하는 단계(680)
를 포함하고,
상기 제1 인코딩 모드 및 상기 제2 인코딩 모드는,
수직 예측 인코딩 모드, 수평 예측 인코딩 모드 및 미가공 인코딩 모드 중 적어도 2개를 포함하는 인코딩 모드들의 세트로부터 선택되는
방법. - 인코딩된 최대 코딩 라인 인덱스들에 대한 데이터 및 계수들에 대한 데이터를 포함하는 인코딩된 이미지 신호를 디코딩하기 위한 방법에 있어서,
프리싱트(300) 내의 상이한 부대역들에 대해 상기 인코딩된 최대 코딩 라인 인덱스들에 대한 상기 데이터에 대해 상이한 디코딩 모드들을 결정하는 단계(700) - 상기 계수들에 대한 상기 데이터는 복수의 상이한 부대역들(101-109)로 분해되는 이미지 데이터를 나타내고, 각각의 부대역은 복수의 계수들을 포함하고, 상기 프리싱트(300)은 상이한 부대역들로부터의 상이한 세트들(1001, 1002)의 계수들을 포함하며, 프리싱트(300)의 2개의 세트들의 계수들은 상기 이미지 데이터에 의해 나타낸 이미지의 공간 영역에 속함 -; 및
상기 상이한 디코딩 모드들 중의 제1 디코딩 모드를 사용하여 상기 프리싱트(300)에서의 제1 세트(1001)의 계수들에 대한 상기 인코딩된 최대 코딩 라인 인덱스들에 대한 상기 데이터를 디코딩하고, 상기 상이한 디코딩 모드들을 결정하는 단계(700)에 의해 결정된 상기 상이한 디코딩 모드들 중의 제2 디코딩 모드를 사용하여 상기 프리싱트(300)에서의 제2 세트(1002)의 계수들에 대한 상기 인코딩된 최대 코딩 라인 인덱스들에 대한 상기 데이터를 디코딩하고, 디코딩된 최대 코딩 라인 인덱스 데이터를 사용하여 상기 계수들에 대한 상기 데이터를 디코딩하는 단계(720)
를 포함하고,
상기 상이한 디코딩 모드들 중의 상기 제1 디코딩 모드 및 상기 상이한 디코딩 모드들 중의 상기 제2 디코딩 모드는,
상기 상이한 디코딩 모드들을 포함하는 그룹으로부터 선택되고,
상기 그룹은,
수직 역 예측 디코딩 모드, 수평 역 예측 디코딩 모드 및 미가공 디코딩 모드 중 적어도 2개를 포함하는
방법.
- 인코딩된 이미지 신호가 기록된 컴퓨터로 읽을 수 있는 데이터 기록 매체에 있어서,
상기 인코딩된 이미지 신호는,
인코딩된 최대 코딩 라인 인덱스들에 대한 데이터(1103),
복수의 상이한 부대역들(101-109)로 분해되는 이미지 데이터를 나타내는 계수들에 대한 데이터(1103) - 각각의 부대역은 복수의 계수들을 포함하고, 상기 복수의 상이한 부대역들(101-109)의 제1 부대역은 제1 세트(1001)의 계수들을 포함하고, 상기 복수의 상이한 부대역들(101-109)의 상이한 제2 부대역은 상이한 제2 세트(1002)의 계수들을 포함하고, 프리싱트(300)는 상기 복수의 상이한 부대역들(101-109)의 상기 제1 및 상기 제2 부대역들로부터 상기 제1 및 상기 제2 세트들(1001, 1002)의 계수들을 포함하고, 상기 프리싱트(300)의 상기 제1 및 상기 제2 세트들(1001, 1002)의 계수들은 상기 인코딩된 이미지 신호에 의해 나타낸 이미지의 제1 공간 영역에 속함 -, 및
상기 프리싱트(300)의 적어도 2개의 상이한 부대역들에 대해 2개의 상이한 디코딩 모드들을 시그널링하기 위한 시그널링 정보
를 포함하고,
상기 2개의 상이한 디코딩 모드들 중의 제1 디코딩 모드 및 상기 2개의 상이한 디코딩 모드들 중의 제2 디코딩 모드는,
상이한 디코딩 모드들을 포함하는 그룹으로부터 선택되고,
상기 그룹은,
수직 역 예측 디코딩 모드, 수평 역 예측 디코딩 모드 및 미가공 디코딩 모드 중 적어도 2개를 포함하는
컴퓨터로 읽을 수 있는 데이터 기록 매체. - 컴퓨터 또는 프로세서에서 실행될 때, 제38항 또는 제39항의 방법을 수행하기 위한 컴퓨터 프로그램을 저장한 컴퓨터로 읽을 수 있는 기록매체.
- 삭제
- 삭제
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| EP16205187 | 2016-12-19 | ||
| EP16205187.4 | 2016-12-19 | ||
| PCT/EP2017/083334 WO2018114813A1 (en) | 2016-12-19 | 2017-12-18 | Apparatus and method for encoding or decoding using a subband dependent prediction adaption for gcli entropy coding |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20190103214A KR20190103214A (ko) | 2019-09-04 |
| KR102361206B1 true KR102361206B1 (ko) | 2022-02-10 |
Family
ID=57754994
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020197020909A KR102361206B1 (ko) | 2016-12-19 | 2017-12-18 | Gcli 엔트로피 코딩을 위한 부대역 의존 예측 적응을 사용하여 인코딩 또는 디코딩하기 위한 방법 및 장치 |
Country Status (8)
| Country | Link |
|---|---|
| US (1) | US10944972B2 (ko) |
| EP (1) | EP3556097B1 (ko) |
| JP (1) | JP6828184B2 (ko) |
| KR (1) | KR102361206B1 (ko) |
| CN (1) | CN110383835B (ko) |
| ES (1) | ES2908216T3 (ko) |
| PL (1) | PL3556097T3 (ko) |
| WO (1) | WO2018114813A1 (ko) |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| PL3556097T3 (pl) * | 2016-12-19 | 2022-04-25 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Kodowanie obrazu z wykorzystaniem adaptacji predykcji zależnej od podpasma do enkodowania entropijnego gcli |
| AU2017201760B2 (en) * | 2017-03-15 | 2023-03-09 | Canon Kabushiki Kaisha | Method, apparatus and system for encoding and decoding video data |
| AU2017204643B2 (en) * | 2017-07-07 | 2020-05-14 | Canon Kabushiki Kaisha | Method, apparatus and system for encoding and decoding video data |
| CN110915218B (zh) * | 2017-07-10 | 2022-03-15 | 弗劳恩霍夫应用研究促进协会 | 对变换系数编码和解码的方法及用于其的编码器和解码器 |
| EP3917143A4 (en) * | 2019-01-23 | 2022-09-07 | LG Electronics Inc. | VIDEO SIGNAL PROCESSING METHOD AND DEVICE |
| EP3751852A1 (en) | 2019-06-12 | 2020-12-16 | intoPIX s.a. | Encoder and method of encoding a sequence of frames |
| GB2593523B (en) * | 2020-03-26 | 2023-06-14 | Imagination Tech Ltd | Image data compression |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101129655B1 (ko) | 2002-09-17 | 2012-03-28 | 블라디미르 세페르코빅 | 압축비가 높고 최소의 자원을 필요로 하는 고속 코덱 |
| KR101421231B1 (ko) | 2007-07-04 | 2014-07-24 | 세종대학교산학협력단 | 웨이블릿 변환을 이용한 영상 압축 장치 |
Family Cites Families (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20090097013A (ko) * | 2008-03-10 | 2009-09-15 | 삼성전자주식회사 | 영상 부호화장치 및 영상 복호화장치 |
| JP2011071649A (ja) * | 2009-09-24 | 2011-04-07 | Sony Corp | 画像処理装置および方法 |
| US8446301B2 (en) * | 2011-04-15 | 2013-05-21 | Research In Motion Limited | Methods and devices for coding and decoding the position of the last significant coefficient |
| US9332258B2 (en) * | 2013-03-01 | 2016-05-03 | intoPIX SA | Method and device for display stream compression |
| EP4072136A1 (en) * | 2013-03-01 | 2022-10-12 | intoPIX s.a. | Method and device for display stream compression |
| US20140307780A1 (en) * | 2013-04-11 | 2014-10-16 | Mitsubishi Electric Research Laboratories, Inc. | Method for Video Coding Using Blocks Partitioned According to Edge Orientations |
| US11330297B2 (en) * | 2014-08-19 | 2022-05-10 | Qualcomm Incorporated | Methods incorporating extensions to copy-above mode for palette mode coding |
| JP6497981B2 (ja) * | 2015-03-04 | 2019-04-10 | キヤノン株式会社 | 画像符号化装置及びその制御方法 |
| EP3200455B1 (en) * | 2016-01-28 | 2018-09-05 | intoPIX | Method and device for compression and decompression of binary data |
| PL3556097T3 (pl) * | 2016-12-19 | 2022-04-25 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Kodowanie obrazu z wykorzystaniem adaptacji predykcji zależnej od podpasma do enkodowania entropijnego gcli |
| US10212421B2 (en) * | 2016-12-30 | 2019-02-19 | Intopix S.A. | Method and device for digital data compression with sign bit removal |
| AU2017201760B2 (en) * | 2017-03-15 | 2023-03-09 | Canon Kabushiki Kaisha | Method, apparatus and system for encoding and decoding video data |
| US11475600B2 (en) * | 2017-07-10 | 2022-10-18 | Intopix S.A. | Method and device for digital data compression |
-
2017
- 2017-12-18 PL PL17816848T patent/PL3556097T3/pl unknown
- 2017-12-18 KR KR1020197020909A patent/KR102361206B1/ko active IP Right Grant
- 2017-12-18 WO PCT/EP2017/083334 patent/WO2018114813A1/en active Application Filing
- 2017-12-18 EP EP17816848.0A patent/EP3556097B1/en active Active
- 2017-12-18 JP JP2019554014A patent/JP6828184B2/ja active Active
- 2017-12-18 ES ES17816848T patent/ES2908216T3/es active Active
- 2017-12-18 CN CN201780078866.6A patent/CN110383835B/zh active Active
-
2019
- 2019-06-06 US US16/433,248 patent/US10944972B2/en active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101129655B1 (ko) | 2002-09-17 | 2012-03-28 | 블라디미르 세페르코빅 | 압축비가 높고 최소의 자원을 필요로 하는 고속 코덱 |
| KR101421231B1 (ko) | 2007-07-04 | 2014-07-24 | 세종대학교산학협력단 | 웨이블릿 변환을 이용한 영상 압축 장치 |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20190103214A (ko) | 2019-09-04 |
| CN110383835B (zh) | 2023-09-22 |
| JP2020502960A (ja) | 2020-01-23 |
| ES2908216T3 (es) | 2022-04-28 |
| CN110383835A (zh) | 2019-10-25 |
| PL3556097T3 (pl) | 2022-04-25 |
| US20190289295A1 (en) | 2019-09-19 |
| US10944972B2 (en) | 2021-03-09 |
| EP3556097B1 (en) | 2021-12-15 |
| EP3556097A1 (en) | 2019-10-23 |
| WO2018114813A1 (en) | 2018-06-28 |
| JP6828184B2 (ja) | 2021-02-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102361206B1 (ko) | Gcli 엔트로피 코딩을 위한 부대역 의존 예측 적응을 사용하여 인코딩 또는 디코딩하기 위한 방법 및 장치 | |
| US9332258B2 (en) | Method and device for display stream compression | |
| US9282329B2 (en) | Methods and devices for data compression using offset-based adaptive reconstruction levels | |
| CN109889835B (zh) | 根据重要系数的参数的重要系数编码和解码 | |
| JP5590133B2 (ja) | 動画像符号化装置、動画像符号化方法、動画像符号化用コンピュータプログラム、動画像復号装置及び動画像復号方法ならびに動画像復号用コンピュータプログラム | |
| US8873871B2 (en) | Image processing apparatus and method | |
| CN108055541B (zh) | 用于编码和解码图像的方法、编码和解码设备 | |
| US8406545B2 (en) | Apparatus for encoding image and apparatus for decoding image | |
| EP2773122A1 (en) | Method and device for display stream compression | |
| JP2019522448A (ja) | 画像を圧縮する方法および装置技術分野 | |
| KR20070027422A (ko) | 엔트로피 코딩의 성능 향상 방법 및 장치, 상기 방법을이용한 비디오 코딩 방법 및 장치 | |
| US7348903B2 (en) | Method and apparatus for enhancing performance of entropy coding, and video coding method and apparatus using the entropy coding performance enhancing method | |
| JP2005236895A (ja) | 画像符号化装置及び方法、並びに画像復号装置及び方法 | |
| US11457232B2 (en) | Bit-plane encoder and decoder | |
| EP1929782A1 (en) | Method and apparatus for enhancing performance of entropy coding, and video coding method and apparatus using the entropy coding performance enhancing method | |
| JP2022536512A (ja) | 符号化器及び一連のフレームを符号化する方法 | |
| KR20110070823A (ko) | 비디오 부호화/복호화 방법 및 장치 | |
| JP5180782B2 (ja) | 並列分散情報源符号化システム及び並列分散情報源符号化・復号化方法 | |
| WO2012049876A1 (ja) | 動画像符号化方法および復号方法 | |
| Richter et al. | Towards high-speed, low-complexity image coding: variants and modification of JPEG 2000 | |
| US20190014321A1 (en) | Decoder, encoder and methods for coding a sequence of portions of media from/into a data stream using an unary code | |
| JP2004350034A (ja) | 画像符号化装置及び方法、並びに画像復号装置及び方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| AMND | Amendment | ||
| E902 | Notification of reason for refusal | ||
| AMND | Amendment | ||
| E601 | Decision to refuse application | ||
| AMND | Amendment | ||
| X701 | Decision to grant (after re-examination) | ||
| GRNT | Written decision to grant |