KR20190113944A - 예측 모드 선택 방법, 비디오 인코딩 디바이스 및 저장 매체 - Google Patents
예측 모드 선택 방법, 비디오 인코딩 디바이스 및 저장 매체 Download PDFInfo
- Publication number
- KR20190113944A KR20190113944A KR1020197026336A KR20197026336A KR20190113944A KR 20190113944 A KR20190113944 A KR 20190113944A KR 1020197026336 A KR1020197026336 A KR 1020197026336A KR 20197026336 A KR20197026336 A KR 20197026336A KR 20190113944 A KR20190113944 A KR 20190113944A
- Authority
- KR
- South Korea
- Prior art keywords
- prediction mode
- intra
- frame prediction
- candidate
- mode
- Prior art date
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/11—Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
- H04N19/122—Selection of transform size, e.g. 8x8 or 2x4x8 DCT; Selection of sub-band transforms of varying structure or type
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/146—Data rate or code amount at the encoder output
- H04N19/147—Data rate or code amount at the encoder output according to rate distortion criteria
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
- H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Discrete Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
비디오 인코딩의 기술 분야에 속하는 예측 모드 선택 방법, 비디오 인코딩 디바이스 및 저장 매체가 개시된다. 상기 방법은 타깃 예측 유닛에 대응하는 다운샘플링된 유닛의 제1 최적의 인트라-프레임 예측 모드를 획득하는 단계 - 다운샘플링된 유닛은, 타깃 예측 유닛이 속한 이미지 프레임이 다운샘플링된 후에 분할에 의해 획득되며, 제1 최적의 인트라-프레임 예측 모드는 다운샘플링된 유닛에 대해 프리코딩 분석을 수행하는 것에 의해 획득됨 -; 제1 최적의 인트라-프레임 예측 모드에 따라 후보 인트라-프레임 예측 모드를 후보 모드 집합에 추가하는 단계; 타깃 예측 유닛에 대응하는 인접 예측 유닛의 제2 최적의 인트라-프레임 예측 모드에 따라 후보 인트라-프레임 예측 모드를 후보 모드 집합에 추가하는 단계; 및 후보 모드 집합의 후보 인트라-프레임 예측 모드들에 대응하는 예측 잔차와 인코딩 코스트 값에 따라 현재 예측 유닛의 최적 인트라-프레임 예측 모드를 결정하는 단계를 포함한다. 본 개시의 실시 예는 인트라-프레임 예측 모드 선택의 소비 시간을 감소시키면서 비디오 인코딩 속도를 향상시키는 효과를 달성한다.
Description
본 출원은 2017년 6월 23일자로 중국 특허청에 출원되고 발명의 명칭이 "예측 모드 선택 방법 및 장치 및 비디오 인코딩 디바이스"인 중국 특허 출원 제201710486557.4호에 대한 우선권을 주장하는 바이며, 그 전체로서 원용에 의해 본 명세서에 포함된다.
본 개시의 실시 예들은 비디오 인코딩 기술 분야에 관한 것으로서, 특히, 예측 모드 선택 방법, 비디오 인코딩 디바이스 및 저장 매체에 관한 것이다.
HEVC(High Efficiency Video Coding) 표준은 H.264에 뒤따르는 차세대 비디오 인코딩 표준이다. HEVC 표준에서, 35개의 인트라-프레임(intra-frame) 예측 모드가 정의된다. 이미지 프레임의 인코딩에서, 35개의 인트라-프레임 예측 모드 중에서 최적의 인트라-프레임 예측 모드가 선택되고, 최적의 인트라-프레임 예측 모드는 인코딩을 수행하는 데 사용된다.
최적의 인트라-프레임 예측 모드를 선택하기 위해, 원래(original) 이미지 프레임의 각각의 예측 유닛(prediction unit, PU)에 대해, 35개의 인트라-프레임 예측 모드에서 PU의 예측 잔차(residuals)가 계산된다. 각각의 예측 잔차는 인트라-프레임 예측 모드에서 원래의 값과 예측된 예측값의 차이를 지시하기 사용된다. 그 다음에, 후보 인트라-프레임 예측 모드가 예측 잔차에 따라 1차적으로 선택된다. 선택된 각각의 후보 인트라-프레임 예측 모드에서 획득된 인코딩 코스트(cost) 값이 계산된다. 최소 인코딩 코스트 값에 대응하는 후보 인트라-프레임 예측 모드가 최적의 인트라-프레임 예측 모드로서 결정된다. 인코딩 코스트 값은 인코딩 후의 비트율 및 재구성된 이미지 프레임의 왜곡율을 사용하여 표현될 수 있다.
그러나 인트라-프레임 예측 모드의 선택에서, 모든 인트라-프레임 예측 모드에 대한 예측 잔차를 계산할 것이 요구된다. 결과적으로, 인트라-프레임 예측 모드를 선택하는 데 시간이 오래 걸리고, 비디오 인코딩 속도를 감소시킨다.
본 개시의 실시 예는, 인트라-프레임 예측 모드의 선택에 있어서, 각각의 인트라-프레임 예측 모드에 대한 예측 잔차를 계산함에 따라 인트라-프레임 예측 모드를 선택하는 데 오랜 시간이 걸려 비디오 인코딩 속도에 영향을 미치는 문제점을 해결하기 위해, 예측 모드 선택 방법, 비디오 인코딩 디바이스, 및 저장 매체를 제공한다. 기술적 해결방안은 다음과 같다.
본 개시의 실시 예의 제1 측면에 따르면, 예측 모드 선택 방법이 제공되며, 상기 방법은, 타깃 예측 유닛(prediction unit, PU)에 대응하는 다운샘플링된 유닛의 제1 최적의 인트라-프레임 예측 모드를 획득하는 단계 - 다운샘플링된 유닛은, 타깃 PU가 속한 이미지 프레임을 다운샘플링하고 그 다음에 다운샘플링된 이미지 프레임을 분할하는 것에 의해 획득되며, 제1 최적의 인트라-프레임 예측 모드는 다운샘플링된 유닛에 대해 프리코딩(precoding) 분석을 수행하는 것에 의해 획득됨 -; 제1 최적의 인트라-프레임 예측 모드에 따라 후보 인트라-프레임 예측 모드를 후보 모드 집합에 추가하는 단계; 타깃 PU에 대응하는 인접 PU의 제2 최적의 인트라-프레임 예측 모드에 따라 후보 인트라-프레임 예측 모드를 후보 모드 집합에 추가하는 단계; 및 후보 모드 집합의 후보 인트라-프레임 예측 모드들에 대응하는 예측 잔차(prediction residuals)와 인코딩 코스트) 값(encoding cost values)에 따라 현재 PU의 최적 인트라-프레임 예측 모드를 결정하는 단계를 포함한다.
본 개시의 실시 예의 제2 측면에 따르면, 예측 모드 선택 장치가 제공되며, 상기 장치는, 타깃 PU에 대응하는 다운샘플링된 유닛의 제1 최적의 인트라-프레임 예측 모드를 획득하도록 - 다운샘플링된 유닛은, 타깃 PU가 속한 이미지 프레임을 다운샘플링하고 그 다음에 다운샘플링된 이미지 프레임을 분할하는 것에 의해 획득되며, 제1 최적의 인트라-프레임 예측 모드는 다운샘플링된 유닛에 대해 프리코딩 분석을 수행하는 것에 의해 획득됨 - 구성된 획득 모듈; 제1 최적의 인트라-프레임 예측 모드에 따라 후보 인트라-프레임 예측 모드를 후보 모드 집합에 추가하도록 구성된 제1 추가 모듈; 타깃 PU에 대응하는 인접 PU의 제2 최적의 인트라-프레임 예측 모드에 따라 후보 인트라-프레임 예측 모드를 후보 모드 집합에 추가하도록 구성된 제2 추가 모듈; 및 후보 모드 집합의 후보 인트라-프레임 예측 모드들에 대응하는 예측 잔차와 인코딩 코스트 값에 따라 현재 PU의 최적 인트라-프레임 예측 모드를 결정하도록 구성된 결정 모듈을 포함한다.
본 개시의 실시 예의 제3 측면에 따르면, 비디오 인코딩 디바이스가 제공되며, 상기 디바이스는, 프로세서; 및 메모리를 포함하고, 상기 메모리는 적어도 하나의 명령을 저장하고, 상기 명령은 프로세서에 의해 로드(load)되고 실행될 때 제1 측면의 예측 모드 선택 방법을 수행하는 데 사용된다.
본 개시의 실시 예의 제4 측면에 따르면, 컴퓨터 판독 가능한 저장 매체가 제공되며, 상기 저장 매체는 적어도 하나의 명령을 저장하고, 상기 명령은 프로세서에 의해 로드되고 실행될 때 제1 측면의 예측 모드 선택 방법을 수행하는 데 사용된다.
본 발명의 실시 예들에서, 타깃 PU의 최적의 인트라-프레임 예측 모드를 선택에서, 먼저, 다운샘플링된 유닛이 원래의 PU의 특징을 유지한다는 특성에 기반하여, 프리코딩에서 획득된 다운샘플링된 유닛의 제1 최적의 인트라-프레임 예측 모드가 획득되고, 몇몇 인트라-프레임 예측 모드가 최적의 인트라-프레임 예측 모드에 기반하여 결정된다. 그런 다음, 인접 PU가 유사한 특징을 갖는다는 특성에 기반하여, 더 많은 후보 인트라-프레임 예측 모드가 현재 PU의 인접한 PU들의 제2 최적의 인트라-프레임 예측 모드에 따라 결정된다. 그 다음, 현재 PU의 최적의 인트라-프레임 예측 모드가 결정된 후보 인트라-프레임 예측 모드들로부터 선택된다. 일부 후보 인트라-프레임 예측 모드에 대응하는 예측 잔차만이 계산되기 때문에, 인트라-프레임 예측 모드를 선택하는데 단축된 시간이 걸리므로, 비디오 인코딩 속도가 증가된다.
본 개시의 실시 예에서의 기술적 해결방안을 보다 명확하게 설명하기 위해, 실시 예의 설명에서 요구되는 도면을 간단히 소개할 것이다. 다음의 설명에서의 도면은 본 개시의 일부 실시 예에 불과하며, 당업자는 독창적인 노력 없이 도면에 기반하여 다른 도면을 획득할 수 있을 것이다.
도 1은 본 개시의 일 실시 예에 따른 인트라-프레임 예측 모드와 관련된 33개의 방향을 도시한 개략도이다.
도 2는 본 개시의 일 실시 예에 따른 예측 모드 선택 방법의 흐름도이다.
도 3은 현재 PU와 다운샘플링된 유닛 사이의 대응 관계의 개략도이다.
도 4는 본 개시의 다른 실시 예에 따른 예측 모드 선택 방법의 흐름도이다.
도 5는 본 개시의 다른 실시 예에 따른 예측 모드 선택 방법의 흐름도이다.
도 6은 본 개시의 다른 실시 예에 따른 예측 모드 선택 방법의 흐름도이다.
도 7은 본 개시의 일 실시 예에 따른 예측 모드 선택 장치의 구조 블록도이다.
도 8은 본 개시의 일 실시 예에 따른 애플리케이션 시나리오의 개략적인 시나리오 다이어그램이다.
도 9는 본 개시의 일 실시 예에 따른 비디오 인코딩 디바이스의 블록도이다.
도 1은 본 개시의 일 실시 예에 따른 인트라-프레임 예측 모드와 관련된 33개의 방향을 도시한 개략도이다.
도 2는 본 개시의 일 실시 예에 따른 예측 모드 선택 방법의 흐름도이다.
도 3은 현재 PU와 다운샘플링된 유닛 사이의 대응 관계의 개략도이다.
도 4는 본 개시의 다른 실시 예에 따른 예측 모드 선택 방법의 흐름도이다.
도 5는 본 개시의 다른 실시 예에 따른 예측 모드 선택 방법의 흐름도이다.
도 6은 본 개시의 다른 실시 예에 따른 예측 모드 선택 방법의 흐름도이다.
도 7은 본 개시의 일 실시 예에 따른 예측 모드 선택 장치의 구조 블록도이다.
도 8은 본 개시의 일 실시 예에 따른 애플리케이션 시나리오의 개략적인 시나리오 다이어그램이다.
도 9는 본 개시의 일 실시 예에 따른 비디오 인코딩 디바이스의 블록도이다.
본 개시 내용의 목적, 기술적 해결방안 및 장점을 보다 명확하게 하기 위해, 첨부 도면을 참조하여 본 개시 내용의 구현을 상세히 설명한다.
본 명세서에서 복수라는 것은 2 이상을 의미한다. 본 명세서에서 용어 "및/또는"은 단지 3개의 관계를 나타내는 연관 객체들 사이의 연관을 기술한다. 예를 들어, "A 및/또는 B"라는 용어는, A만 존재하는 상황, A와 B가 모두 존재하는 상황, 그리고 B만 존재하는 상황의 3가지 상황을 지시한다. 또한, 본 명세서에서 문자 "/"는 일반적으로 전자 및 후자의 연관 객체가 "또는" 관계에 있음을 나타낸다.
이해를 돕기 위해, 본 개시의 실시 예에 사용된 용어를 이하에서 설명한다.
이미지 프레임: 이미지 프레임은 비디오의 기본 단위이다. 구체적으로, 비디오는 몇 개의 이미지 프레임으로 구성된다. 블록 기반 인코딩 방식은 일반적으로 비디오 압축 인코딩에 사용된다. 구체적으로, 비디오의 이미지 프레임은 복수의 비중첩(non-overlapping) 블록들로 분할되고, 그 다음에 이들 블록들이 인코딩된다. 각각의 이미지 프레임의 비디오 인코딩 동안 인터-프레임(inter-frame) 인코딩 방식 또는 인트라-프레임 인코딩 방식이 사용될 수 있다. 본 개시의 실시 예는 주로 인트라-프레임 인코딩 방식을 포함한다.
인트라-프레임 예측 인코딩: 비디오 이미지들의 시퀀스는 매우 높은 공간 상관을 갖는다. 예를 들어, 이미지 프레임의 배경은 동일한 패턴과 텍스처를 가진 벽(wall)이다. 따라서, 이미지 프레임의 여러 블록 중 벽을 포함하는 블록은 동일하거나 유사한 정보를 디스플레이할 수 있다. 높은 공간 상관을 갖는 이들 블록들은 인트라-프레임 예측 기술을 사용하여 인코딩될 수 있다.
PU: PU는 이미지 프레임의 예측 인코딩에서 기본 단위이다. HEVC 표준에서, PU는 64×64 픽셀, 32×32 픽셀, 16×16 픽셀 또는 8×8 픽셀의 크기를 갖는 블록일 수 있다.
인트라-프레임 예측 모드: 인트라-프레임 예측 모드에서, 현재 PU의 상단에 인접한 픽셀 행 및 현재 PU의 좌측에 인접한 픽셀 행은 인트라-프레임 예측 인코딩에 사용된다. HEVC 표준은 35개의 인트라-프레임 예측 모드, 즉 플레이너(planer) 예측 모드, 직류(direct current, DC) 예측 모드 및 33개의 방향성 예측 모드를 제공한다. 33개의 방향성 예측 모드는 방향(ang_2)에서의 예측 모드 내지 방향(ang_34)에서의 예측 모드를 포함한다. 방향(ang_10)은 수평 예측 모드에 대응하고, 방향(ang_26)은 수직 예측 모드에 대응한다. 도 1에 도시된 바와 같이, 시퀀스 번호의 오름차순으로의 방향은 좌측 하부 코너(45°)에서 우측 상부 코너(45°)까지 시계 방향으로 배열된다.
인접 인트라-프레임 예측 모드(adjacent intra-frame prediction mode): 현재의 인트라-프레임 예측 모드가 방향성 예측 모드이면, 현재의 인트라-프레임 예측 모드+i의 모드와 현재의 인트라-프레임 예측 모드-i의 모드가 현재의 인트라-프레임 예측 모드의 인접 인트라-프레임 예측 모드며, i=1 또는 2이다. 예를 들어, 도 1에 도시된 바와 같이, +2와 -2의 방식을 예로 취하여, ang_10 인트라-프레임 예측 모드의 인접 인트라-프레임 예측 모드는 ang_8 인트라-프레임 예측 모드 및 ang_12 인트라-프레임 예측 모드이다.
인접 PU: 본 개시의 실시 예에서, 현재 PU의 인접 PU는 현재 PU의 상단에 위치한 상단 PU 및/또는 현재 PU의 좌측에 위치한 좌측 PU을 포함한다. 현재 PU가 이미지 프레임의 좌측 에지(edge)에 위치하면, 현재 PU는 대응하는 좌측 PU를 갖지 않는다는 것을 유의해야 한다. 현재 PU가 이미지 프레임의 상단 에지에 위치하면, 현재 PU는 대응하는 상단 PU를 갖지 않는다.
타깃 PU의 최적의 인트라-프레임 예측 모드를 선택하기 전에, 모든 인트라-프레임 예측 모드에 대한 예측 잔차를 계산하고, 예측 잔차에 따라 일부 인트라-프레임 예측 모드를 선택하는 것이 요구된다. 명백하게, 비교적 큰 크기를 갖는 PU, 예를 들어, 16×16 픽셀, 32×32 픽셀 또는 64×64 픽셀을 갖는 PU는 많은 수량의 픽셀을 포함한다. 따라서, 큰 크기의 PU에 대한 예측 잔차를 계산하기 위해서는 많은 처리 자원과 긴 시간이 필요하다. 그러나 실제 애플리케이션 동안, 결국에는 인트라-프레임 예측 모드를 사용하기 위해 큰 크기의 PU를 선택할 가능성이 적다는 것이 발견된다. 결과적으로, 처리 자원이 큰 크기의 PU에 대한 모든 인트라-프레임 예측 모드에 대한 예측 잔차를 계산하기 위해 낭비된다.
본 개시의 실시 예들에서, 비디오 인코딩 디바이스가 큰 크기의 PU의 최적의 인트라-프레임 예측 모드를 선택할 때, 비디오의 프리코딩 분석 동안에 획득된 다운샘플링된 유닛의 최적의 인트라-프레임 예측 모드 및 인접 PU들의 최적의 인트라-프레임 예측 모드들이 초기에 일부 인트라-프레임 예측 모드로서 선택된다. 이러한 방식으로, 일부 인트라-프레임 예측 모드의 예측 잔차만이 계산될 필요가 있으며, 이에 따라 예측 잔차를 계산하기 위한 계산량이 감소하여, 비디오 인코딩 속도가 증가된다.
본 개시의 실시 예들에서 제공되는 예측 모드 선택 방법은 비디오의 인코딩을 필요로 하는 시나리오에 적용될 수 있다. 상기 방법은 비디오 인코딩 디바이스에 적용된다. 비디오 인코딩 디바이스는 비디오 코덱 소프트웨어가 설치된 이동 단말일 수도 있고, 비디오 코덱 기능을 갖는 서버일 수도 있다. 전술한 방법을 적용하는 것에 의해, 비디오 인코딩 디바이스는 증가된 인코딩율(encoding rate)을 가지며, 인코딩을 위한 계산량은 감소된다. 설명의 편의를 위해, 비디오 인코딩 디바이스에 예측 모드 선택 방법을 적용한 예를 사용하여 다음의 실시 예를 설명한다.
선택적으로, 예측 모드 선택 방법은 다음 제품 시나리오에 적용될 수 있다.
인스턴트 메시징 애플리케이션에서 영상 통화(video call) 시나리오
인스턴트 메시징 애플리케이션은 대개 영상 통화 기능을 제공한다. 영상 통화 기능을 사용하는 경우, 이동 단말은 캡처된 이미지 프레임을 인코딩하고 인코딩된 이미지 프레임 데이터를 서버로 전송하고, 서버는 이미지 프레임 데이터를 피어(peer) 이동 단말로 송신함으로써 피어 이동 단말이 이미지 프레임 데이터를 디코딩하고, 이미지프레임을 디스플레이한다. 이동 단말이 이미지 프레임을 인코딩하는 속도는 영상 통화의 품질에 직접적인 영향을 미친다. 이동 단말이 본 개시의 실시 예들에서 제공된 예측 모드 선택 방법을 사용하면, 다운샘플링된 유닛 및 인접 PU들의 최적의 인트라-프레임 예측 모드에 따라 현재 PU의 최적의 인트라-프레임 예측 모드가 결정될 수 있으며, PU는 결정된 최적의 인트라-프레임 예측 모드에 따라 인코딩된다. 따라서, 이동 통신 단말의 인코딩 속도가 증가되고 결국 영상 통화 품질이 향상된다.
비디오 레코딩 애플리케이션의 비디오 인코딩 시나리오
비디오 레코딩 어플리케이션의 사용 중에, 단말은 캡쳐된 이미지 프레임을 인코딩하고, 비디오 레코딩이 종료되는 경우 대응하는 비디오 파일을 생성한다. 관련 기술의 인트라-프레임 예측 모드가 이미지 프레임에 대한 인트라-프레임 인코딩을 수행하기 위해 사용될 때, 최적의 인트라-프레임 예측 모드를 결정하기 위해 이미지 프레임의 각각의 PU에 대한 35개의 예측 잔차를 계산할 필요가 있으며, 비교적 낮은 인코딩 효율 및 인코딩의 많은 계산량을 초래한다. 결과적으로 비디오 레코딩이 종료된 후 비디오 파일을 획득하는데 긴 시간이 걸린다. 최적의 인트라-프레임 예측 모드를 선택하기 위해 본 개시의 실시 예들에서 제공되는 예측 모드 선택 방법을 사용하는 것에 의해, 인코딩을 위한 계산량이 감소되고, 따라서 인코딩 속도가 증가함으로써, 대응하는 비디오 파일이 비디오 레코딩이 끝나면 바로 획득될 수 있다.
전술한 것은 제품 시나리오의 예시적인 설명 일뿐이다. 다른 가능한 구현들에서, 본 개시의 실시 예들에서 제공된 예측 모드 선택 방법은 인트라-프레임 인코딩이 관련되는 임의의 시나리오들에서 사용될 수 있다. 이는 본 개시의 실시 예들에 제한되지 않는다.
도 2는 본 개시의 일 실시 예에 따른 예측 모드 선택 방법의 흐름도이다. 본 실시 예에서는, 예측 모드 선택 방법을 비디오 인코딩 디바이스에 적용하는 것을 일례로서 설명한다. 상기 방법은 다음 단계(201 내지 204)를 포함한다.
단계 201에서, 비디오 인코딩 디바이스는 타깃 PU에 대응하는 다운샘플링된 유닛의 제1 최적의 인트라-프레임 예측 모드를 획득하며, 다운샘플링된 유닛은 타깃 PU가 속한 이미지 프레임을 다운샘플링하고 다음에 다운샘플링된 이미지 프레임을 분할하는 것에 의해 획득되며, 제1 최적의 인트라-프레임 예측 모드는 다운샘플링된 유닛에 대해 프리코딩 분석을 수행하는 것에 의해 획득된다.
타깃 PU는 미리 설정된 픽셀 크기에 따라 이미지 프레임을 분할하는 것에 의해 획득된 픽셀 블록이다. 타깃 PU는 16×16 픽셀, 32×32 픽셀 또는 64×64 픽셀을 갖는 픽셀 블록일 수 있다. 본 개시의 실시 예에서의 타깃 PU는 위에서 아래로 그리고 좌측에서 우측으로 순차적으로 획득된 픽셀 블록이다. 설명의 다른 가능한 방식에서, 타깃 PU는 또한 현재 PU로 지칭될 수 있다. 타깃 PU의 특정 이름은 본 개시의 실시 예에서 제한되지 않는다.
다운샘플링된 이미지 프레임에 대해 프리코딩 분석을 수행하는 것은 비디오 인코딩 분야의 기존 알고리즘이며, 적응적 I 프레임(인트라-프레임 코딩된 프레임) 구간 선택, 적응적 B 프레임(양방향으로 예측된 보간 코딩된 프레임) 수 계산, 비트율 제어 등을 포함한다. 프리코딩 분석의 절차는 다음과 같다.
1. 이미지 프레임에 대해 2:1 다운샘플링을 수행하여 다운샘플링된 이미지 프레임을 획득한다.
예를 들어, 이미지 프레임이 원래의 길이 a 및 원래의 너비(width) b를 가지면, 획득된 다운샘플링된 이미지 프레임은 길이 0.5a 및 너비 0.5b를 가진다.
2. 다운샘플링된 이미지 프레임을 8×8 픽셀로 다운샘플링된 유닛으로 분할한다.
다운샘플링된 이미지 프레임의 길이 또는 너비가 8의 정수배가 아닌 경우, 다운샘플링된 이미지 프레임은 미리 패딩(pad)된다. 패딩된 다운샘플링된 이미지 프레임의 길이 및 너비는 모두 8의 정수배이다.
3. 다운샘플링된 유닛들에 대해 인트라-프레임 프리코딩을 수행하고, 최적의 인트라-프레임 예측 모드를 선택한다.
인트라-프레임 예측이 다운샘플링된 유닛에 대해 사용되는 경우, 비디오 인코딩 디바이스는 다운샘플링된 유닛에 대해 인트라-프레임 프리코딩을 수행하고, 최적의 인트라-프레임 예측 모드를 선택하며, 최적의 인트라-프레임 예측 모드에 대응하는 인코딩 코스트 값을 계산한다.
다운샘플링된 유닛의 인트라-프레임 프리코딩 동안, 비디오 인코딩 디바이스는 추가로 다운샘플링된 유닛에 대해 인터-프레임 프리코딩을 수행하고, 최적의 인터-프레임 예측 모드를 선택하며, 최적의 인터-프레임 예측 모드에 대응하는 인코딩 코스트 값을 계산함을 유의해야 한다.
다운샘플링된 유닛이 원래의 이미지 프레임에서의 대응하는 PU의 썸네일(thumbnail)이기 때문에, 다운샘플링된 유닛의 최적의 인트라-프레임 예측 모드는 타깃 PU의 최적의 인트라-프레임 예측 모드를 어느 정도 표현할 수 있다. 따라서, 비디오 인코딩 유닛은 먼저 타깃 PU에 대응하는 다운샘플링된 유닛의 제1 최적의 인트라-프레임 예측 모드를 획득한다.
개략적으로, 도 3에 도시된 바와 같이, 현재 이미지 프레임(31)은 64×64 픽셀을 가지며, 대응하는 다운샘플링된 이미지 프레임(32)은 32×32 픽셀을 갖는다. 현재 이미지 프레임(31)은 16×16 픽셀을 갖는 16개의 PU(시퀀스 번호는 1 내지 16)를 포함한다. 다운샘플링된 이미지 프레임(32)은 16×16 픽셀을 갖는 16개의 다운샘플링된 유닛(시퀀스 번호는 1 내지 16 임)을 포함한다. 동일한 시퀀스 번호를 갖는 PU 및 다운샘플링된 유닛은 서로 대응한다.
단계 202에서, 비디오 인코딩 디바이스는 제1 최적의 인트라-프레임 예측 모드에 따라 후보 인트라-프레임 예측 모드를 후보 모드 집합에 추가한다.
다운샘플링된 이미지 프레임은 원래의 이미지 프레임과 비교하여 일부 세부 사항을 잃기 때문에, 타깃 PU의 최적의 인트라-프레임 예측 모드는 대응하는 다운샘플링된 유닛의 제1 최적의 인트라-프레임 예측 모드와 상이할 수 있다. 선택된 후보 인트라-프레임 예측 모드의 정확성 및 포괄성(comprehensiveness)을 향상시키기 위해, 비디오 인코딩 디바이스는 다운샘플링된 유닛의 제1 최적의 인트라-프레임 예측 모드에 기반하여 확장된 몇몇 후보 인트라-프레임 예측 모드를 획득하고, 후보 인트라-프레임 예측 모드를 후보 모드 집합에 추가한다.
단계 203에서, 비디오 인코딩 디바이스는 타깃 PU에 대응하는 인접 PU의 제2 최적의 인트라-프레임 예측 모드에 따라 후보 인트라-프레임 예측 모드를 후보 모드 집합에 추가한다.
동일한 이미지 프레임에서의 인접 PU는 상대적으로 높은 상관 관계를 가지기 때문에, 타깃 PU의 최적의 인트라-프레임 예측 모드 및 타깃 PU의 인접 PU의 최적의 인트라-프레임 예측 모드 또한 비교적 높은 상관 관계를 갖는다. 가능한 구현에서, 비디오 인코딩 디바이스는 타깃 PU에 대응하는 인접 PU의 제2 최적의 인트라-프레임 예측 모드를 획득하고, 제2 최적의 인트라-프레임 예측 모드에 따라 확장된 몇몇 인트라-프레임 예측 모드를 획득하며, 확장된 후보 인트라-프레임 예측 모드를 후보 모드 집합에 추가한다.
선택적으로, 인트라-프레임 인코딩은 좌측에서 우측으로 그리고 위에서 아래로 행별(row-by-row) 인코딩이기 때문에, 타깃 PU에 대응하는 인접 PU는 타깃 PU의 상단에 위치된 상단 PU(상단 PU의 하부(lower) 에지는 현재 PU의 상부(upper) 에지에 인접함), 및/또는 타깃 PU의 좌측에 위치된 좌측 PU(좌측 PU의 우측 에지는 현재 PU의 좌측 에지에 인접함)이다. 인트라-프레임 예측 모드가 타깃 PU의 인접 PU에 대해 선택된다. 제2 최적의 인트라-프레임 예측 모드의 획득에서, 타깃 PU가 대응하는 상단 PU 및/또는 좌측 PU(이미지 프레임의 상부 에지에 위치한 PU는 상단 PU를 갖지 않고, 이미지 프레임의 좌측 에지에 위치한 PU는 좌측 PU를 갖지 않음). 현재 PU가 대응하는 상단 PU 및/또는 좌측 PU를 갖는 것으로 검출되면, 상단 PU 및/또는 좌측 PU의 제2 최적의 인트라-프레임 예측 모드가 추가로 획득된다.
전술한 단계들(201,201)과 단계(203) 사이에 엄격한 선행 관계가 없음을 유의해야 한다. 구체적으로, 단계(203)는 단계(2010, 202) 전에 수행될 수 있으며, 또는 단계(2010, 202)와 동시에 수행될 수 있다. 이는 본 개시의 실시 예에 제한되지 않는다.
후보 모드 집합이 방향성 예측 모드 및 비 방향성 예측 모드를 모두 포함하게 하기 위해, 비디오 인코딩 디바이스는 플레이너 모드 및 DC 모드를 후보 모드 집합에 추가한다.
단계 204에서, 비디오 인코딩 디바이스는 후보 모드 집합의 후보 인트라-프레임 예측 모드들에 대응하는 예측 잔차 및 인코딩 코스트 값에 따라 현재 PU의 최적 인트라-프레임 예측 모드를 결정한다.
후보 모드 집합 외부의 인트라-프레임 예측 모드와 비교할 때, 후보 모드 집합의 후보 인트라-프레임 예측 모드는 아마도 최적의 인트라-프레임 예측 모드일 것이다. 따라서, 후보 모드 집합이 생성된 후, 비디오 인코딩 디바이스는 후보 모드 집합의 후보 인트라-프레임 예측 모드들에 대응하는 예측 잔차 및 인코딩 코스트 값을 계산하고, 예측 잔차(prediction residuals) 및 인코딩 코스트 값(encoding cost values)에 따라 현재 PU의 최적의 인트라-프레임 예측 모드를 결정한다.
가능한 구현에서, 상기 단계는 다음 단계를 포함한다.
1. 예측 잔차가 후보 모드 집합의 후보 인트라-프레임 예측 모드 각각에 대해 계산된다. 예측 잔차는 원래의 값과 후보 인트라-프레임 예측 모드에서 예측된 예측값 사이의 차이를 지시하기 위해 사용된다.
후보 인트라-프레임 예측 모드에 대응하는 작은 예측 잔차는 후보 인트라-프레임 예측 모드를 사용하여 생성된 PU가 원래의 이미지 유닛에 근접함을 지시한다.
선택적으로, 비디오 인코딩 디바이스는 하다마드 절대 차이(Hadamard absolute difference, HAD)의 합, 절대 차이의 합(sum of absolute differences, SAD) 또는 절대 변환된 차이의 합(sum of absolute transformed differences, SATD) 중 하나를 계산하여 예측 잔차를 계산한다. 이는 본 개시의 실시 예에서 제한되지 않는다.
2. 후보 인트라-프레임 예측 모드들은 예측 잔차의 오름차순으로 정렬된다.
3. 제1 후보 인트라-프레임 예측 모드가 방향성 예측 모드이고, 제1 후보 인트라-프레임 예측 모드의 인접 인트라-프레임 예측 모드가 후보 모드 집합에 속하지 않으면, 제1 후보 인트라-프레임 예측 모드의 인접 인트라-프레임 예측 모드가 후보 모드 집합에 추가된다.
선택적으로, 후보 인트라-프레임 예측 모드들이 예측 잔차에 따라 정렬된 후, 비디오 인코딩 디바이스는 추가로 제1 후보 인트라-프레임 예측 모드가 방향성 예측 모드인지의 여부를 검출한다. 제1 후보 인트라-프레임 예측 모드가 방향성 예측 모드이면, 비디오 인코딩 디바이스는 추가로 방향성 예측 모드의 인접 인트라-프레임 예측 모드가 후보 모드 집합에 속하는 지의 여부를 검출한다. 방향성 예측 모드의 인접 인트라-프레임 예측 모드가 후보 모드 집합에 속하지 않으면, 비디오 인코딩 디바이스는 인접 인트라-프레임 예측 모드를 후보 모드 집합에 추가하고, 단계 1 및 2로 복귀하여, 후보 모드 집합에서의 선택을 다시 수행하여, 후보 모드 집합의 후보 인트라-프레임 예측 모드의 품질을 더 향상시킨다.
비디오 인코딩 디바이스는 단계 3을 건너 뛰고 대신 단계 4를 직접 수행할 수 있음에 유의해야 한다. 이것은 본 실시 예에서 제한되지 않는다.
4. k개의 제1 후보 인트라-프레임 예측 모드는 타깃 후보 인트라-프레임 예측 모드로서 결정되며, 여기서 k≥2이다.
선택적으로, 비디오 인코딩 디바이스는 k개의 제1 후보 인트라-프레임 예측 모드들 이외의 후보 인트라-프레임 예측 모드를 삭제함으로써(예측된 값과 원래의 값 사이에 비교적 큰 차이가 있기 때문에 심각한 왜곡을 지시함), 그 후에 k개의 제1 후보 인트라-프레임 예측 모드만의 인코딩 값들이 계산되어, 계산량을 감소시킨다.
5. 타깃 후보 인트라-프레임 예측 모드들에 대응하는 인코딩 코스트 값이 계산된다.
가능한 구현 예에서, 각각의 타깃 후보 인트라-프레임 예측 모드에 대해, 비디오 인코딩 디바이스는 타깃 후보 인트라-프레임 예측 모드에 따라 실제 인코딩을 수행하고, 재구성된 이미지 프레임의 왜곡율 및 인코딩 이후의 비트율을 계산하고, 추가로 인코딩 후의 왜곡율 및 비트율에 따라 인코딩 코스트 값을 계산한다. 인코딩 코스트 값은 cost=D+λR이며, D는 왜곡율(재구성된 이미지 프레임과 원래의 이미지 프레임 사이의 픽셀들의 SATD가 사용될 수 있음)이고, R은 인코딩 이후의 비트율이며, λ는 라그랑지 상수이다.
재구성된 이미지 프레임의 왜곡율을 계산하는 프로세스는, 타깃 후보 인트라-프레임 예측 모드에 따라 타깃 PU에 대해 역양자화(dequantizatio) 및 역퓨리에 변환을 수행하여 재구성된 이미지 프레임을 획득하는 단계; 및 재구성된 이미지 및 타깃 PU가 속하는 원래의 이미지 프레임에 따라 왜곡율을 계산하는 단계를 포함한다.
인코딩 후의 비트율을 계산하는 프로세스는, 제1 단계에서 계산된 예측 잔차에 대해 변환, 양자화 및 엔트로피 인코딩을 수행하여 인코딩된 코드 스트림을 획득하는 단계; 및 코드 스트림에 따라 인코딩 후의 비트율을 계산하는 단계를 포함한다.
6. 최소 인코딩 코스트 값(least encoding cost value)에 대응하는 타깃 후보 인트라-프레임 예측 모드가 타깃 PU의 최적의 인트라-프레임 예측 모드로서 결정된다.
결과적으로, 비디오 인코딩 디바이스는 최소 인코딩 코스트 값에 대응하는 타깃 후보 인트라-프레임 예측 모드를 현재 PU의 최적의 인트라-프레임 예측 모드로서 결정한다. 현재 PU를 인코딩하기 위해 최적의 인트라-프레임 예측 모드를 사용함으로써, 왜곡율은 비교적 낮고, 비트율이 비교적 낮다.
결론적으로, 본 개시의 실시 예에서, 타깃 PU의 최적의 인트라-프레임 예측 모드의 선택에서, 먼저, 다운샘플링된 유닛이 원래의 PU의 특징을 유지한다는 특성에 기반하여, 프리코딩에서 획득된 다운샘플링된 유닛의 제1 최적의 인트라-프레임 모드가 획득되고, 몇몇 후보 인트라-프레임 예측 모드가 다운샘플링된 유닛의 제1 최적의 인트라-프레임 예측 모드에 기반하여 결정된다. 그런 다음, 인접 PU가 유사한 특징을 갖는다는 특성에 기반하여, 현재 PU의 인접 PU의 제2 최적의 인트라-프레임 예측 모드에 따라 더 많은 후보 인트라-프레임 예측 모드가 결정된다. 그 다음, 현재 PU의 최적 인트라-프레임 예측 모드가 결정된 후보 인트라-프레임 예측 모드들로부터 선택된다. 일부 후보 인트라-프레임 예측 모드에 대응하는 예측 잔차만이 계산되기 때문에, 인트라-프레임 예측 모드를 선택하는데 단축된 시간이 걸리므로, 비디오 인코딩 속도가 증가된다.
선택적으로, 상이한 크기를 갖는 PU에 대해, 비디오 인코딩 디바이스는 상이한 방법을 사용하여 다운샘플링된 유닛의 제1 최적의 인트라-프레임 예측 모드에 따라 후보 인트라-프레임 예측 모드를 후보 모드 집합에 추가한다. 가능한 방법으로, 타깃 PU가 16×16 픽셀을 갖고, 다운샘플링된 유닛이 8×8 픽셀을 갖는 경우에, 도 4에 도시된 바와 같이, 도 2의 전술한 단계(202)는 다음의 단계(202A 내지 202C)를 포함한다.
단계(202A)에서, 비디오 인코딩 디바이스는 다운샘플링된 유닛의 제1 최적의 인트라-프레임 예측 모드가 방향성 예측 모드인지를 검출한다.
타깃 PU가 16×16 픽셀이고, 다운샘플링을 통해 획득된 다운샘플링된 유닛이 8×8 픽셀인 경우, 타깃 PU는 다운샘플링된 유닛과 일대일 대응한다. 따라서, 비디오 인코딩 디바이스는 하나의 최적의 인트라-프레임 예측 모드에 기반하여 몇 개의 확장된 후보 인트라-프레임 예측 모드를 획득한다.
다운샘플링된 유닛의 제1 최적의 인트라-프레임 예측 모드를 획득한 후, 비디오 인코딩 디바이스는 제1 최적의 인트라-프레임 예측 모드가 방향성 예측 모드인지 여부를 검출한다. 제1 최적의 인트라-프레임 예측 모드가 방향성 예측 모드이면(즉, 방향(ang_2 내지 ang_34) 중 하나에 대응함), 비디오 인코딩 디바이스는 다음 단계(202B)를 수행한다. 제1 최적의 인트라-프레임 예측 모드가 방향성 예측 모드가 아니면(즉, 플레이너 모드 또는 DC 모드), 비디오 인코딩 디바이스는 다음의 단계(202C)를 수행한다.
단계(202B)에서, 제1 최적의 인트라-프레임 예측 모드가 방향성 예측 모드이면, 비디오 인코딩 디바이스는 제1 최적의 인트라-프레임 예측 모드 및 제1 최적의 인트라-프레임 예측 모드의 인접 인트라-프레임 예측 모드를 후보 모드 집합에 추가한다.
다운샘플링된 유닛은 타깃 PU에 비해 일부 그림 세부사항을 잃기 때문에, 다운샘플링된 유닛의 제1 최적의 인트라-프레임 예측 모드가 방향성 예측 모드인 것으로 검출할 때, 제1 최적의 인트라-프레임 예측 모드를 후보 모드 집합에 추가한 후, 비디오 인코딩 디바이스는 추가로, 제1 최적의 인트라-프레임 예측 모드에 대응하는 방향으로 유사한 인접 인트라-프레임 예측 모드를 후보 모드 집합에 추가한다.
가능한 구현 예에서, 제1 최적의 인트라-프레임 예측 모드의 인접 인트라-프레임 예측 모드는 제1 최적의 인트라-프레임 예측 모드의 +i 모드 및 -i 모드이고, 여기서 i=1 또는 2이다. 구체적으로, 다운샘플링된 유닛의 제1 인트라-프레임 예측 모드에 대응하는 방향이 ang_N인 경우, 인접 인트라-프레임 예측 모드에 대응하는 방향은 ang_(N-i) 및 ang_(Ni)이다. N-i<2 일 때, ang_(N-i)는 ang_(N-i+33)이다. N+i>34일 때, ang_(N+i)는 ang_(N+i-33)이다.
예를 들어, 도 1에 도시된 바와 같이, 다운샘플링된 유닛의 제1 최적의 인트라-프레임 예측 모드에 대응하는 방향이 ang_2인 경우, 제1 최적의 인트라-프레임 예측 모드의 인접 인트라-프레임 예측 모드에 대응하는 방향은 ang_4 및 ang_33이다. 다운샘플링된 유닛의 제1 인트라-프레임 예측 모드에 대응하는 방향이 ang_33인 경우, 제1 인트라-프레임 예측 모드의 인접 인트라-프레임 예측 모드에 대응하는 방향은 ang_31 및 ang_2이다.
단계(202C)에서, 제1 최적의 인트라-프레임 예측 모드가 방향성 예측 모드가 아니면, 비디오 인코딩 디바이스는 수평 예측 모드 및 수직 예측 모드를 후보 모드 집합에 추가한다.
수평 예측 모드는 방향(ang_10)에 대응하는 인트라-프레임 예측 모드이고, 수직 예측 모드는 방향(ang_26)에 대응하는 인트라-프레임 예측 모드이다.
수평 예측 모드 및 수직 예측 모드는 아마도 최적의 인트라-프레임 예측 모드이다. 따라서, 다운샘플링된 유닛의 제1 최적의 인트라-프레임 예측 모드가 방향성 예측 모드가 아닌 것(즉, 플레이너 모드 또는 DC 모드)으로 검출하는 경우, 비디오 인코딩 디바이스는 수평 예측 모드 및 수직 예측 모드를 후보 모드 집합에 추가한다.
전술한 단계(202A 내지 202C) 후에, 후보 모드 집합은 4개 내지 5개의 후보인트라-프레임 예측 모드(미리 추가된 플레이너 모드 및 DC 모드를 포함함)를 포함한다.
후보 모드 집합에서 실제 최적의 인트라-프레임 예측 모드를 누락시키지 않기 위해, 가능한 구현 예에서, 비디오 인코딩 디바이스는 추가로, 다운샘플링된 유닛의 차선(suboptimal)의 인트라-프레임 예측 모드에 기반하여 확장된 후보 인트라-프레임 예측 모드를 다시 획득한다.
선택적으로, 도 4에 도시된 바와 같이, 전술한 단계(202A 내지 202C) 후에, 다음의 단계(205 및 206)가 더 포함된다.
단계(205)에서, 비디오 인코딩 디바이스는 다운샘플링된 유닛의 차선의 인트라-프레임 예측 모드를 획득하며, 차선의 인트라-프레임 예측 모드의 인코딩 코스트 값이 제1 최적의 인트라-프레임 예측 모드의 인코딩 코스트 값보다 크다.
선택적으로, 차선의 인트라-프레임 예측 모드 및 제1 최적의 인트라-프레임 예측 모드는 비디오 프리코딩 분석 단계에서 함께 출력된다. 차선의 인트라-프레임 예측 모드의 인코딩 코스트 값이 제1 최적의 인트라-프레임 예측 모드의 인코딩 코스트 값보다 크고, 나머지 33개의 인트라-프레임 예측 모드의 인코딩 코스트 값보다 작다.
단계(206)에서, 다운샘플링된 유닛의 차선의 인트라-프레임 예측 모드의 인코딩 코스트 값이 제1 최적의 인트라-프레임 예측 모드의 인코딩 코스트 값의 2 배보다 작고 차선의 인트라-프레임 예측 모드가 방향성 예측 모드이면, 비디오 인코딩 디바이스는 차선의 인트라-프레임 예측 모드 및 차선의 인트라-프레임 예측 모드의 인접 인트라-프레임 예측 모드를 후보 모드 집합에 추가한다.
추가로, 비디오 인코딩 디바이스는 다운샘플링된 유닛의 제1 최적의 인트라-프레임 예측 모드 및 차선의 인트라-프레임 예측 모드의 인코딩 코스트 값이 근접한지를 검출하고, 두 모드의 인코딩 코스트 값이 근접한 경우, 확장된 후보 인트라-프레임 예측 모드가 다운샘플링된 유닛의 차선의 인트라-프레임 예측 모드에 기반하여 획득된다.
가능한 구현에서, 다운샘플링된 유닛의 제1 최적의 인트라-프레임 예측 모드의 인코딩 코스트 값은 m이고, 차선의 인트라-프레임 예측 모드의 인코딩 코스트 값은 n이다. n<2m이면, 비디오 인코딩 디바이스는 추가로, 차선의 인트라-프레임 예측 모드가 방향성 예측 모드인 지의 여부를 검출한다. 차선의 인트라-프레임 예측 모드가 방향성 예측 모드이면, 비디오 인코딩 디바이스는 차선의 인트라-프레임 예측 모드 및 차선의 인트라-프레임 예측 모드의 인접 인트라-프레임 예측 모드를 후보 모드 집합에 추가한다. 차선의 인트라-프레임 예측 모드가 방향성 예측 모드가 아니면, 비디오 인코딩 디바이스는 차선의 인트라-프레임 예측 모드에 기반하여 후보 인트라-프레임 예측 모드를 후보 모드 집합에 더이상 추가하지 않는다.
전술한 단계(205 및 206) 이후에, 후보 모드 집합은 4개 내지 8개의 후보 인트라-프레임 예측 모드를 포함한다.
본 실시 예에서, 비디오 인코딩 디바이스는 다운샘플링된 유닛의 제1 최적의 인트라-프레임 예측 모드 및/또는 차선의 인트라-프레임 예측 모드에 기반하여 후보 모드 집합을 확장함으로써, 후보 인트라-프레임 예측 모드의 품질이 보장되고, 후보 인트라-프레임 예측 모드의 수량이 감소되며, 이에 따라 후속하는 계산량을 감소시킨다.
또 다른 구현 예에서, 타깃 PU가 32×32 픽셀 또는 64×64 픽셀을 갖고, 다운샘플링된 유닛이 8×8 픽셀을 갖는 경우에, 도 5에 도시된 바와 같이, 도 2의 전술한 단계(201)는 단계(201A 및 201B)를 포함하고, 도 2의 전술한 단계(202)는 단계(202D 내지 202F)를 포함한다.
단계(201A)에서, 비디오 인코딩 디바이스는 타깃 PU에 포함된 서브-PU들을 결정하며, 각각의 서브-PU는 16×16 픽셀을 갖는 PU이다.
타깃 PU의 크기가 32×32 픽셀 또는 64×64 픽셀인 경우, 타깃 PU는 16×16 픽셀을 갖는 복수의 서브-PU를 포함한다. 구체적으로, 32×32 픽셀 크기의 타깃 PU는 4개의 서브-PU에 대응한다. 64×64 픽셀의 크기를 갖는 타깃 PU는 16개의 서브-PU에 대응한다.
예를 들어, 도 3에 도시된 바와 같이, 32×32 픽셀을 갖는 하나의 PU는 시퀀스 번호 1, 2, 5 및 6을 갖는 서브-PU를 포함한다.
단계(201B)에서, 비디오 인코딩 디바이스는 서브-PU들에 대응하는 다운샘플링된 유닛들의 제1 최적의 인트라-프레임 예측 모드들을 획득한다.
각각의 서브-PU는 각각의 다운샘플링된 유닛에 대응한다. 따라서, 서브-PU를 결정한 후, 비디오 인코딩 디바이스는 추가로, 서브-PU들에 대응하는 다운샘플링된 유닛들의 제1 최적의 인트라-프레임 예측 모드들을 획득한다.
현재 PU의 크기가 32×32 픽셀인 경우, 비디오 인코딩 디바이스는 4개의 다운샘플링된 유닛의 최적의 인트라-프레임 예측 모드를 획득한다. 현재 PU의 크기가 64×64 픽셀인 경우, 비디오 인코딩 디바이스는 16개의 다운샘플링된 유닛의 최적의 인트라-프레임 예측 모드를 획득한다.
단계(202D)에서, 비디오 인코딩 디바이스는 다운샘플링된 유닛의 제1 최적의 인트라-프레임 예측 모드를 후보 모드 집합에 추가한다.
추가로, 비디오 인코딩 디바이스는, 다운샘플링 유닛의 획득된 제1 최적의 인트라 인트라-프레임 예측 모드를 후보 모드 집합에 추가한다.
상이한 다운샘플링된 유닛들의 최적의 인트라-프레임 예측 모드들은 동일할 수 있다. 따라서, 최적의 인트라-프레임 예측 모드를 후보 모드 집합에 추가할 때, 동일한 최적의 인트라-프레임 예측 모드가 중복 제거된다(deduplicated).
예를 들어, 타깃 PU의 크기가 32×32 픽셀이고, 비디오 인코딩 디바이스에 의해 획득된 4개의 다운샘플링된 유닛의 최적의 인트라-프레임 예측 모드가 ang_5, ang_8, ang_5 및 ang_5인 경우, 비디오 인코딩 디바이스는 ang_5 및 ang_8을 후보 모드 집합에 추가한다.
단계(202E)에서, 비디오 인코딩 디바이스는 후보 모드 집합의 방향성 예측 모드들의 수량이 임계치보다 작은 지 여부를 검출한다.
후보 인트라-프레임 예측 모드(다운샘플링된 유닛의 제1 최적의 인트라-프레임 예측 모드를 포함함)가 후보 모드 집합에 추가된 후, 비디오 인코딩 디바이스는 후보 모드 집합에서 방향성 예측 모드들의 수량이 임계치보다 작은 지의 여부를 검출한다. 방향성 예측 모드들의 수량이 임계치보다 작으면, 후보 모드 집합에서 실제 최적의 인트라-프레임 예측 모드가 누락되는 것을 방지하기 위해, 비디오 인코딩 디바이스는 추가로, 최적의 인트라-프레임에 따라 후보 모드 집합을 확장하고, 다음 단계(202F)를 수행한다. 방향성 예측 모드들의 수량이 임계치보다 크면, 비디오 인코딩 디바이스는 단계(203)를 수행한다. 선택적으로, 임계치는 7 또는 8이다.
단계(202F)에서, 후보 모드 집합의 방향성 예측 모드들의 수량이 임계치보다 작으면, 비디오 인코딩 디바이스는 다운샘플링된 유닛의 제1 최적의 인트라-프레임 예측 모드에 기반하여 후보 인트라-프레임 예측 모드를 후보 모드 집합에 추가한다.
가능한 구현에서 상기 단계는 다음 단계를 포함한다.
1. 다운샘플링된 유닛들의 제1 최적의 인트라-프레임 예측 모드들이 동일한 방향성 예측 모드를 포함하면, 동일한 방향성 예측 모드의 인접 인트라-프레임 예측 모드가 후보 모드 집합에 추가된다.
다운샘플링된 유닛들의 최적의 인트라-프레임 예측 모드들이 동일한 방향성 예측 모드를 포함하는 경우, 서브-PU의 최적의 인트라-프레임 예측 모드는 더 유사할 수 있으며, 현재 PU는 비교적 특유한 텍스처 특성을 나타낸다(즉, 예측은 텍스처 방향으로 이루어질 수 있음). 마찬가지로, 동일한 방향성 예측 모드 및 동일한 방향성 예측 모드의 인접 인트라-프레임 예측 모드 중 하나가 최적의 인트라-프레임 예측 모드일 가능성이 있다. 따라서, 비디오 인코딩 디바이스는 동일한 방향성 예측 모드의 인접 인트라-프레임 예측 모드를 후보 모드 집합에 추가한다.
예를 들어, 4개의 다운샘플링된 유닛의 획득된 최적의 인트라-프레임 예측 모드가 ang_5, ang_8, ang_5 및 ang_5인 경우, 비디오 인코딩 디바이스는 ang_5의 인접 인트라-프레임 예측 모드, 즉 ang_3 및 ang_7을 후보 모드 집합에 추가한다.
2. 후보 모드 집합이 하나의 방향성 예측 모드를 포함하면, 방향성 예측 모드의 인접 인트라-프레임 예측 모드, 수평 예측 모드 및 수직 예측 모드가 후보 모드 집합에 추가된다.
후보 모드 집합이 단지 하나의 방향성 예측 모드를 포함하면, 비디오 인코딩 디바이스는 아마도 최적의 인트라-프레임 예측 모드인 수평 예측 모드 및 수직 예측 모드를 후보 모드 집합에 추가하고, 방향성 예측 모드의 인접 인트라-프레임 예측 모드를 후보 모드 집합에 추가한다.
3. 후보 모드 집합이 n개의 방향성 예측 모드를 포함하면, n개의 방향성 예측 모드에 대응하는 인접 인트라-프레임 예측 모드가 후보 모드 집합에 추가되며, 1<n≤3이다.
후보 모드 집합이 적은 수량의 방향성 예측 모드를 포함하는 경우, 비디오 인코딩 디바이스는 후보 모드 집합에 이미 존재하는 방향성 예측 모드의 인접 인트라-프레임 예측 모드를 후보 모드 집합에 추가한다.
후보 모드 집합이 2개의 방향성 예측 모드만을 포함하는 경우, 비디오 인코딩 디바이스는 4개의 후보 인트라-프레임 예측 모드를 후보 모드 집합에 추가한다. 후보 모드 집합이 3개의 방향성 예측 모드만을 포함하는 경우, 비디오 인코딩 디바이스는 6개의 후보 인트라-프레임 예측 모드를 후보 모드 집합에 추가한다.
본 실시 예에서, 복수의 작은 크기의 서브-PU를 포함하는 큰 크기의 PU에 대해, 비디오 인코딩 디바이스는 서브-PU에 대응하는 다운샘플링된 유닛에 따라 후보 모드 집합을 확장함으로써, 후보 모드 집합의 인트라-프레임 예측 모드의 품질이 보장되고, 후보 인트라-프레임 예측 모드의 수량이 감소되어, 후속하는 계산량을 감소시킨다.
인접 PU에 따라 후보 인트라-프레임 예측 모드를 후보 모드 집합에 추가하는 프로세스에 대해, 가능한 구현에서, 인접 PU는 현재 PU의 상단에 위치된 상단 PU, 및/또는 현재 PU의 좌측에 위치한 좌측 PU를 포함하며, 도 6에 도시된 바와 같이, 도 2의 전술한 단계(203)는 다음의 단계(203A 내지 203D)를 포함한다.
단계(203A)에서, 비디오 인코딩 디바이스는, 상단 PU의 제2 최적의 인트라-프레임 예측 모드 및 좌측 PU의 제2 최적의 인트라-프레임 예측 모드 중 어느 것도 방향성 예측 모드가 아니면, 비디오 인코딩 디바이스는 후보 인트라-프레임 예측 모드를 후보 모드 집합에 추가하는 것을 중지한다.
현재 PU의 인접 PU에 따라 확장된 후보 인트라-프레임 예측 모드를 획득하는 경우에, 비디오 인코딩 디바이스는 먼저 현재 PU의 상단 PU 및 좌측 PU의 최적의 인트라-프레임 예측 모드들을 획득한다.
이미지 프레임의 좌측 에지에 위치된 PU에 대해, 예를 들어, 도 3에 도시된 시퀀스 번호 1, 5, 9, 및 13을 갖는 PU에 대해, 비디오 인코딩 디바이스가 PU들에 인접한 좌측 PU들의 최적의 인트라-프레임 예측 모드를 획득할 수 없음을 유의해야 한다. 이미지 프레임의 상부 에지에 위치한 PU에 대해, 예를 들어, 도 1에 도시된 시퀀스 번호 1, 2, 3, 및 4를 갖는 PU에 대해, 비디오 인코딩 디바이스는 PU들에 인접한 상단 PU들의 최적의 인트라-프레임 예측 모드들을 획득할 수 없다.
상단 PU의 제2 최적의 인트라-프레임 예측 모드 및 좌측 PU의 제2 최적의 인트라-프레임 예측 모드 중 어느 것도 방향성 예측 모드가 아닌 경우, 이는 타깃 PU 및 인접 PU의 텍스쳐 특징이 비교적 큰 차이를 가진다는 것을 지시한다. 따라서, 비디오 인코딩 디바이스는 후보 인트라-프레임 예측 모드를 후보 모드 집합에 추가하는 것을 중지하고, 단계(204)를 수행한다.
단계(203B)에서, 상단 PU의 제2 최적의 인트라-프레임 예측 모드 또는 좌측 PU의 제2 최적의 인트라-프레임 예측 모드가 방향성 예측 모드이면, 비디오 인코딩 디바이스는 방향성 예측 모드인 최적의 인트라-프레임 예측 모드를 후보 모드 집합에 추가한다.
상단 PU 및 좌측 PU 중 단지 하나의 최적 인트라-프레임 예측 모드가 방향성 예측 모드일 때, 이는 방향성 예측 모드에 대응하는 타깃 PU 및 인접 PU가 유사한 텍스처 특징을 갖는다는 것을 지시한다. 따라서, 비디오 인코딩 디바이스는 방향성 예측 모드를 후보 모드 집합에 추가하고 단계(204)를 수행한다.
단계(203C)에서, 상단 PU의 제2 최적의 인트라-프레임 예측 모드와 좌측 PU의 제2 최적의 인트라-프레임 예측 모드가 상이하고 모두 방향성 예측 모드이면, 비디오 인코딩 디바이스는 상단 PU의 제2 최적의 인트라-프레임 및 좌측 PU의 제2 최적의 인트라-프레임 예측 모드를 후보 모드 집합에 추가한다.
상단 PU와 좌측 PU의 최적의 인트라-프레임 예측 모드들이 방향성 예측 모드인 경우, 비디오 인코딩 디바이스는 추가로 2개의 방향성 예측 모드가 동일한 지의 여부를 검출한다. 2개의 방향성 예측 모드가 상이하면, 이는 타깃 PU 및 인접 PU가 유사한 텍스처 특징을 갖는다는 것을 지시한다. 따라서, 실제 최적의 인트라-프레임 예측 모드가 누락되는 것을 방지하기 위해, 비디오 인코딩 디바이스는 방향성 예측 모드를 모두 후보 모드 집합에 추가하고 단계(204)를 수행한다.
선택적으로, 후보 인트라-프레임 예측 모드의 포괄성을 향상시키기 위해, 비디오 인코딩 디바이스는 또한 2개의 방향성 예측 모드에 대응하는 인접한 예측 모드를 후보 모드 집합에 추가한다.
단계(203D)에서, 상단 PU의 제2 최적의 인트라-프레임 예측 모드와 좌측 PU의 제2 최적의 인트라-프레임 예측 모드가 동일하고 모두 방향성 예측 모드이면, 비디오 인코딩 디바이스는 상단 PU의 제2 최적의 인트라-프레임 예측 모드와 상단 PU의 제2 최적의 인트라-프레임 예측 모드의 인접 인트라-프레임 예측 모드를 후보 모드 집합에 추가한다.
상단 PU와 좌측 PU의 최적의 인트라-프레임 예측 모드들이 모두 방향성 예측 모드이고 2개의 방향성 예측 모드가 동일하면, 이는 상단 PU와 좌측 PU가 유사한 텍스처 특징을 갖는다는 것을 지시한다. 현재 PU와 인접 PU는 아마도 유사한 텍스처 특징을 가질 것이다. 따라서, 비디오 인코딩 디바이스는 방향성 예측 모드 및 방향성 예측 모드의 인접 인트라-프레임 예측 모드를 후보 모드 집합에 추가하고, 단계(204)를 수행한다.
선택적으로, 후보 인트라-프레임 예측 모드의 포괄성을 향상시키기 위해, 비디오 인코딩 디바이스는 또한 방향성 예측 모드에 대응하는 인접한 예측 모드를 후보 모드 집합에 추가한다.
본 실시 예에서, 비디오 인코딩 디바이스는 인접 PU의 최적의 인트라-프레임 예측에 기반하여 후보 모드 집합을 확장한다. 후보 인트라-프레임 예측 모드의 품질이 보증되며, 후보 인트라-프레임 예측 모드의 수량이 감소되고, 그에 따라 후속 계산량이 감소된다.
전술한 실시 예에서, 도 4 및 도 6에 도시된 실시 예들은 결합되어 완전한 실시 예를 획득할 수 있으며, 도 5 및 도 6에 도시된 실시 예들이 결합되어 완전한 실시 예를 획득할 수 있다. 본 개시의 실시 예의 세부 사항은 여기에서 반복되지 않는다.
본 개시의 장치 실시 예가 아래에 제공된다. 장치 실시 예들에서 상세히 설명되지 않은 세부사항들의 경우, 장치 실시 예들에 하나씩 대응하는 전술한 방법 실시 예들을 참조할 수 있다.
도 7은 본 개시의 실시 예에 따른 예측 모드 선택 장치의 구조 블록도이다. 예측 모드 선택 장치는 비디오 인코딩 디바이스 또는 비디오 인코딩 디바이스의 일부로서 구현될 수 있다. 장치는 획득 모듈(710), 제1 추가 모듈(720), 제2 추가 모듈(730) 및 결정 모듈(740)을 포함한다.
획득 모듈(710)은 타깃 PU에 대응하는 다운샘플링된 유닛의 제1 최적의 인트라-프레임 예측 모드를 획득하도록 구성된다. 다운샘플링된 유닛은 타깃 PU가 속하는 이미지 프레임을 다운샘플링하고, 그 다음에 다운샘플링된 이미지 프레임을 분할하는 것에 의해 획득된다. 제1 최적의 인트라-프레임 예측 모드는 다운샘플링된 유닛에 대해 프리코딩 분석을 수행하는 것에 의해 획득된다.
제1 추가 모듈(720)은 제1 최적의 인트라-프레임 예측 모드에 따라 후보 인트라-프레임 예측 모드를 후보 모드 집합에 추가하도록 구성된다.
제2 추가 모듈(730)은 타깃 PU에 대응하는 인접 PU의 제2 최적의 인트라-프레임 예측 모드에 따라 후보 인트라-프레임 예측 모드를 후보 모드 집합에 추가하도록 구성된다.
결정 모듈(740)은 후보 모드 집합의 후보 인트라-프레임 예측 모드들에 대응하는 예측 잔차 및 인코딩 코스트 값에 따라 현재 PU의 최적의 인트라-프레임 예측 모드를 결정하도록 구성된다.
선택적으로, 타깃 PU가 16×16 픽셀을 가지며, 다운샘플링된 유닛이 8×8 픽셀을 갖는 경우, 제1 추가 모듈(720)은 제1 추가 유닛 및 제2 추가 유닛을 포함한다.
제1 추가 유닛은, 제1 최적의 인트라-프레임 예측 모드가 방향성 예측 모드인 경우, 제1 최적의 인트라-프레임 예측 모드와 제1 최적의 인트라-프레임 예측 모드의 인접 인트라-프레임 예측 모드를 후보 모드 집합에 추가하도록 구성된다.
제2 추가 유닛은, 제1 최적의 인트라-프레임 예측 모드가 방향성 예측 모드가 아닌 경우, 수평 방향성 예측 모드 및 수직 방향성 예측 모드를 후보 모드 집합에 추가하도록 구성된다. 수평 예측 모드는 방향(ang_10)에 대응하는 인트라-프레임 예측 모드이고, 수직 예측 모드는 방향(ang_26)에 대응하는 인트라-프레임 예측 모드이다.
선택적으로, 제1 추가 모듈(720)은 획득 유닛 및 제3 추가 유닛을 더 포함한다.
획득 유닛은 다운샘플링된 유닛의 차선의 인트라-프레임 예측 모드를 획득하도록 구성되며, 차선의 인트라-프레임 예측 모드의 인코딩 코스트 값이 제1 최적의 인트라-프레임 예측 모드의 인코딩 코스트 값보다 크다.
제3 추가 유닛은, 차선의 인트라-프레임 예측 모드의 인코딩 코스트 값이 제1 최적의 인트라-프레임 예측 모드의 인코딩 코스트 값의 2배보다 작고, 차선의 인트라-프레임 예측 모드가 방향성 예측 모드인 경우, 차선의 인트라-프레임 예측 모드 및 차선의 인트라-프레임 예측 모드의 인접 인트라-프레임 예측 모드를 후보 모드 집합에 추가하도록 구성된다.
선택적으로, 타깃 PU가 32×32 픽셀 또는 64×64 픽셀을 가지며, 다운샘플링된 유닛이 8×8 픽셀을 갖는 경우, 획득 모듈(710)은 제1 결정 유닛 및 획득 유닛을 포함한다.
제1 결정 유닛은 타깃 PU에 포함되는 서브-PU들을 결정하도록 구성되며, 여기서 각각의 서브-PU는 16×16 픽셀을 갖는 PU이다.
획득 유닛은 서브-PU들에 대응하는 다운샘플링된 유닛의 제1 최적의 인트라-프레임 예측 모드를 획득하도록 구성된다.
제1 추가 모듈(720)은 제4 추가 유닛 및 제5 추가 유닛을 포함한다.
제4 추가 유닛은 다운샘플링된 유닛의 제1 최적의 인트라-프레임 예측 모드를 후보 모드 집합에 추가하도록 구성된다.
제5 추가 유닛은, 후보 모드 집합의 방향성 예측 모드들의 수량이 임계치보다 작으면, 다운샘플링된 유닛의 제1 최적의 인트라-프레임 예측 모드에 기반하여 후보 인트라-프레임 예측 모드를 후보 모드 집합에 추가하도록 구성된다.
제2 추가 모듈(730)은 추가로, 후보 모드 집합의 방향성 예측 모드들의 수량이 임계치보다 큰 경우에, 타깃 PU에 대응하는 인접 PU의 제2 최적의 인트라-프레임 예측 모드에 따라 후보 인트라-프레임 예측 모드를 후보 모드 집합에 추가하는 단계를 수행하도록 구성된다.
선택적으로, 제5 추가 유닛은, 다운샘플링된 유닛의 제1 최적의 인트라-프레임 예측 모드들이 동일한 방향성 예측 모드를 포함하면, 동일한 방향성 예측 모드의 인접 인트라-프레임 예측 모드를 후보 모드 집합에 추가하고, 후보 모드 집합이 하나의 방향성 예측 모드를 포함하면, 방향성 예측 모드의 인접 인트라-프레임 예측 모드, 수평 예측 모드 및 수직 예측 모드를 후보 모드 집합에 추가하며, 그리고, 후보 모드 집합이 n개의 방향성 예측 모드를 포함하면, n개의 방향성 예측 모드에 대응하는 인접 인트라-프레임 예측 모드를 후보 모드 집합에 추가하도록 구성되며, 1<n≤3이다.
선택적으로, 인접 PU는 타깃 PU의 상단에 위치한 상단 PU 및/또는 타깃 PU의 좌측에 위치한 좌측 PU을 포함한다.
제2 추가 모듈(730)은 제6 추가 유닛, 제7 추가 유닛, 제8 추가 유닛 및 제9 추가 유닛을 포함한다.
제6 추가 유닛은, 상단 PU의 제2 최적의 인트라-프레임 예측 모드 및 좌측 PU의 제2 최적의 인트라-프레임 예측 모드가 모두 방향성 예측 모드가 아닐 때, 후보 인트라-프레임 예측 모드를 후보 모드 집합에 추가하는 것을 중지하도록 구성된다.
제7 추가 유닛은, 상단 PU의 제2 최적의 인트라-프레임 예측 모드 또는 좌측 PU의 제2 최적의 인트라-프레임 예측 모드가 방향성 예측 모드인 경우, 방향성 예측 모드인 최적의 인트라-프레임 예측 모드를 후보 모드 집합에 추가하도록 구성된다.
제8 추가 유닛은, 상단 PU의 제2 최적의 인트라-프레임 예측 모드와 좌측 PU의 제2 최적의 인트라-프레임 예측 모드가 상이하고 모두 방향성 예측 모드인 경우, 상단 PU의 제2 최적의 인트라-프레임 예측 모드 및 좌측 PU의 제2 최적의 인트라-프레임 예측 모드를 후보 모드 집합에 추가하도록 구성된다.
제9 추가 유닛은, 상단 PU의 제2 최적의 인트라-프레임 예측 모드와 좌측 PU의 제2 최적의 인트라-프레임 예측 모드가 동일하고 모두 방향성 예측 모드인 경우, 상단 PU의 최적 인트라-프레임 예측 모드 및 상단 PU의 최적 인트라-프레임 예측 모드의 인접 인트라-프레임 예측 모드를 후보 모드 집합에 추가하도록 구성된다.
선택적으로, 장치는 제3 추가 모듈을 더 포함한다.
제3 추가 모듈은 플레이너 모드 및 DC 모드를 후보 모드 집합에 추가하도록 구성된다.
선택적으로, 결정 모듈(740)은 제1 계산 유닛, 정렬(storing) 유닛, 제2 결정 유닛, 제2 계산 유닛 및 제3 결정 유닛을 포함한다.
제1 계산 유닛은 후보 모드 집합에서 각각의 후보 인트라-프레임 예측 모드에 대한 예측 잔차를 계산하도록 구성된다. 예측 잔차는 원래의 값과 후보 인트라-프레임 예측 모드에서 예측된 예측값 사이의 차이를 지시하기 위해 사용된다.
정렬 유닛은 예측 잔차의 오름차순으로 후보 인트라-프레임 예측 모드를 정렬하도록 구성된다.
제2 결정 유닛은 k개의 제1 후보 인트라-프레임 예측 모드를 타깃 후보 인트라-프레임 예측 모드로서 결정하도록 구성되며, 여기서 k≥2이다.
제2 계산 유닛은 타깃 후보 인트라-프레임 예측 모드들에 대응하는 인코딩 코스트 값을 계산하도록 구성된다.
제3 결정 유닛은 최소 인코딩 코스트 값에 대응하는 타깃 후보 인트라-프레임 예측 모드를 타깃 PU의 최적의 인트라-프레임 예측 모드로서 결정하도록 구성된다.
선택적으로, 결정 모듈(740)은 제10 추가 유닛을 더 포함한다.
제10 추가 유닛은, 제1 후보 인트라-프레임 예측 모드가 방향성 예측 모드이고, 제1 후보 인트라-프레임 예측 모드의 인접 인트라-프레임 예측 모드가 후보 모드 집합에 속하지 않는 경우, 제1 후보 인트라-프레임 예측 모드의 인접 인트라-프레임 예측 모드를 후보 모드 집합에 추가하도록 구성된다.
결론적으로, 본 개시의 실시 예에서, 타깃 PU의 최적의 인트라-프레임 예측 모드의 선택에서, 다운샘플링된 유닛이 원래의 PU의 특징을 유지한다는 특성에 기반하여, 프리코딩에서 획득된 다운샘플링된 유닛의 제1 최적의 인트라-프레임 모드가 획득되고, 몇몇 후보 인트라-프레임 예측 모드가 다운샘플링된 유닛의 제1 최적의 인트라-프레임 예측 모드에 기반하여 결정된다. 그런 다음, 인접 PU가 유사한 특징을 갖는다는 특성에 기반하여, 현재 PU의 인접 PU의 제2 최적의 인트라-프레임 예측 모드에 따라 더 많은 후보 인트라-프레임 예측 모드가 결정된다. 그 다음, 현재 PU의 최적 인트라-프레임 예측 모드가 결정된 후보 인트라-프레임 예측 모드들로부터 선택된다. 일부 후보 인트라-프레임 예측 모드들에 대응하는 예측 잔차만이 계산되기 때문에, 인트라-프레임 예측 모드를 선택하는데 단축된 시간이 걸리므로, 비디오 인코딩 속도가 증가된다.
본 실시 예에서, 비디오 인코딩 디바이스는 다운샘플링된 유닛의 최적의 인트라-프레임 예측 모드 및/또는 차선의 인트라-프레임 예측 모드에 기반하여 후보 모드 집합을 확장함으로써, 후보 인트라-프레임 예측 모드의 품질이 보장되고, 후보 인트라-프레임 예측 모드의 수량이 감소되며, 이에 따라 후속 계산량을 감소시킨다.
본 실시 예에서, 복수의 작은 크기의 서브-PU를 포함하는 큰 크기의 PU에 대해, 비디오 인코딩 디바이스는 서브-PU에 대응하는 다운샘플링된 유닛에 따라 후보 모드 집합을 확장함으로써, 후보 모드 집합의 인트라-프레임 예측 모드의 품질이 보장되고, 후보 인트라-프레임 예측 모드의 수량이 감소되며, 이에 따라 후속 계산량을 감소시킨다.
본 실시 예에서, 비디오 인코딩 디바이스는 인접 PU의 최적의 인트라-프레임 예측 모드에 기반하여 후보 모드 집합을 확장함으로써, 후보 인트라-프레임 예측 모드의 품질은 보증되고, 후보 인트라-프레임 예측 모드의 수량이 감소되며, 이에 따라 후속 계산량을 감소시킨다.
기능 모듈은 전술한 실시 예들에서 제공된 예측 모드 선택 장치를 설명하기 위해 기술된 것임을 유의해야 한다. 실제 애플리케이션에서, 기능은 특정 요구에 따라 다른 기능 모듈에 할당될 수 있다. 즉, 장치의 내부 구조는 전술한 기능들의 전부 또는 일부를 수행하기 위해 상이한 기능 모듈들로 분할될 수 있다. 또한, 실시 예에서 제공되는 예측 모드 선택 장치는 예측 모드 선택 방법의 실시 예와 동일한 개념에 기반한다. 특정 구현 프로세스의 경우, 방법 실시 예를 참조할 수 있으며, 상세한 설명은 여기에서 다시 설명하지 않는다.
가능한 애플리케이션 시나리오에서, 도 8에 도시된 바와 같이, 비디오 인코딩 디바이스(800)는 카메라 구성 요소를 사용하여 사용자 A의 사용자 이미지를 캡쳐하고, 사용자 이미지의 각각의 프레임에 대하여 비디오 인코딩을 수행하고, 서버(810)를 통해 인코딩된 비디오 스트림 데이터를 사용자 B에 의해 사용되는 비디오 디코딩 디바이스(820)로 전송함으로써, 비디오 디코딩 디바이스(820)는 비디오 스트림 데이터를 디코딩하고 렌더링하여, 최종적으로 사용자 A의 사용자 이미지를 디스플레이한다. 비디오 인코딩 디바이스(800) 및 비디오 디코딩 디바이스(820)는 영상 통화 애플리케이션이 설치된 단말일 수 있다. 본 개시의 실시 예들에서 제공되는 예측 모드 선택 방법은 비디오 인코딩 디바이스(800)에 적용된다.
도 9는 본 개시의 실시 예에 따른 비디오 인코딩 디바이스(800)의 블록도이다. 장치는 무선 주파수(radio frequency, RF) 회로(801), 하나 이상의 컴퓨터 판독 가능 저장 매체를 포함하는 메모리(802), 입력 유닛(803), 디스플레이 유닛(804), 센서(805), 오디오 회로(806), WiFi(Wireless Fidelity) 모듈(807), 하나 이상의 프로세싱 코어를 포함하는 프로세서(808), 및 전원 공급 장치(power supply)(809)와 같은 구성 요소를 포함할 수 있다. 당업자는 도 9에 도시된 비디오 인코딩 디바이스의 구조는 비디오 인코딩 디바이스에 대한 임의의 제한을 구성하지 않으며, 도면에 도시된 것보다 더 많은 또는 보다 적은 구성 요소, 또는 일부 구성 요소의 조합 또는 상이한 구성 요소 레이아웃을 포함할 수 있음을 이해할 수 있다.
RF 회로(801)는 정보 수신 및 송신 프로세스 또는 호(call) 프로세스 중에 신호를 수신하고 송신하는데 사용될 수 있다. 특히, RF 회로(801)는 기지국으로부터 하향링크 정보를 수신하고, 그 다음에 하향링크 정보를 처리를 위해 하나 이상의 프로세서들(808)로 전달하고, 관련된 상향링크 데이터를 기지국에 송신한다. 일반적으로, RF 회로(801)는 안테나, 적어도 하나의 증폭기, 튜너, 하나 이상의 발진기, 가입자 식별 모듈(subscriber identity module, SIM) 카드, 트랜시버, 커플러, 저잡음 증폭기(low noise amplifier, LAN) 및 듀플렉서를 포함하며, 이에 한정되지 않는다. 또한, RF 회로(801)는 무선 통신을 사용하여 네트워크 및 다른 디바이스와 통신할 수도 있다. 무선 통신은 GSM(Global System for Mobile Communications), 일반 패킷 무선 서비스(General Packet Radio Service, GPRS), 코드 분할 다중 접속(Code Division Multiple Access, CDMA), 광대역 코드 분할 다중 접속(Wideband Code Division Multiple Access, WCDMA), LTE(Long Term Evolution), 전자 메일, SMS(Short Messaging Service) 등을 포함할 수 있으며, 이에 한정되지 않는다.
메모리(802)는 소프트웨어 프로그램 및 모듈을 저장하도록 구성될 수 있다. 프로세서(808)는 메모리(802)에 저장된 소프트웨어 프로그램 및 모듈을 실행하여 다양한 기능 애플리케이션 및 데이터 처리를 구현한다. 메모리(802)는 주로 프로그램 저장 영역 및 데이터 저장 영역을 포함할 수 있다. 프로그램 저장 영역은 운영 체제, 적어도 하나의 기능(사운드 재생 기능 및 이미지 디스플레이 기능과 등)에 의해 요구되는 애플리케이션 프로그램 등을 저장할 수 있다. 데이터 저장 영역은 비디오 인코딩 디바이스의 사용에 따라 생성된 데이터(예를 들어, 오디오 데이터 및 어드레스 북(address book))를 저장할 수 있다. 본 발명의 실시 예에서, 프로그램 저장 영역은 비디오 인코딩 애플리케이션 프로그램을 저장하는 데 사용되고, 데이터 저장 영역은 원래의 비디오 데이터 및 인코딩된 비디오 데이터를 저장하는데 사용된다. 또한, 메모리(802)는 고속 랜덤 액세스 메모리를 포함할 수 있고, 또한 적어도 하나의 자기 디스크 저장 디바이스, 플래시 메모리 또는 다른 휘발성 솔리드 상태 저장 디바이스와 같은 비휘발성 메모리를 포함할 수 있다. 따라서, 메모리(802)는 프로세서(808) 및 입력 유닛(803)에 메모리(802)에 대한 액세스를 제공하기 위해 메모리 컨트롤러를 더 포함할 수 있다.
입력 유닛(803)은 입력된 숫자 또는 문자 정보를 수신하고 사용자 설정 및 기능 제어와 관련된 키보드, 마우스, 조이스틱, 광학 또는 트랙볼 신호 입력을 생성하도록 구성될 수 있다. 구체적으로, 특정 실시 예에서, 입력 유닛(803)은 터치 감지 표면(touch sensitive surface) 및 다른 입력 디바이스를 포함할 수 있다. 터치 디스플레이 스크린 또는 터치 패널로도 지칭될 수 있는 터치 감지 표면은 터치 감지 표면상 또는 그 부근에서 사용자의 터치 조작(예를 들어, 손가락 또는 스타일러스와 같은 임의의 적합한 물체 또는 액세서리를 사용하여 사용자에 의해 터치 감지 표면상 또는 그 부근에서 수행된 조작)을 수집하고, 미리 설정된 프로그램을 사용하여 대응하는 연결 장치를 구동할 수 있다. 선택적으로, 터치 감지 표면은 두 부분, 즉 터치 검출 장치 및 터치 컨트롤러를 포함할 수 있다. 터치 검출 장치는 사용자의 터치 위치를 감지하고, 터치 조작에 의해 발생한 신호를 검출하고 신호를 터치 컨트롤러에 송신한다. 터치 컨트롤러는 터치 검출 장치로부터 터치 정보를 수신하고, 접촉 정보를 접촉(contact) 좌표로 변환하고, 접촉 좌표를 프로세서(808)에 송신하며, 프로세서(808)에 의해 송신된 코맨드를 수신하고, 코맨드를 실행한다. 또한, 터치 감지 표면은 저항성, 용량성, 적외선 또는 표면 음파형 터지 감지 표면일 수 있다. 터치 감지 표면 이외에, 입력 유닛(803)은 또 다른 입력 디바이스를 더 포함할 수 있다. 구체적으로, 다른 입력 디바이스는 물리적 키보드, 기능 키(볼륨 제어 키 및 스위치 키 등), 트랙볼, 마우스 및 조이스틱 중 하나 이상을 포함할 수 있지만, 이에 한정되는 것은 아니다.
디스플레이 유닛(804)은 사용자에 의해 입력된 정보 또는 사용자에게 제공되는 정보 및 비디오 인코딩 디바이스의 다양한 그래픽 사용자 인터페이스를 디스플레이하도록 구성될 수 있다. 이러한 그래픽 사용자 인터페이스는 그래프, 텍스트, 아이콘, 비디오 또는 이들의 임의의 조합으로 형성될 수 있다. 디스플레이 유닛(804)은 디스플레이 패널을 포함할 수 있다. 선택적으로, 디스플레이 패널은 액정 디스플레이(liquid crystal display, LCD), 유기 발광 다이오드(organic light-emitting diode, OLED) 등의 형태로 구성될 수 있다. 또한, 터치 감지 표면은 디스플레이 패널을 커버(cover)할 수 있다. 터치 감지 표면상에서 또는 그 부근에서 터치 조작을 검출한 후에, 터치 감지 표면은 터치 조작을 프로세서(808)에 전달하여 터치 이벤트의 유형을 결정한다. 이어서, 프로세서(808)는 터치 이벤트의 유형에 따라 디스플레이 패널 상에 대응하는 시각적 출력을 제공한다. 도 9에서, 터치 감지 표면 및 디스플레이 패널은 입력 및 출력 기능을 구현하는 2개의 개별 부품으로서 사용되며, 그러나 일부 실시 예에서, 터치 감지 표면 및 디스플레이 패널은 입력 및 출력 기능을 구현하도록 통합될 수 있다.
비디오 인코딩 디바이스는 적어도 하나의 센서(805), 예를 들어 광 센서, 모션 센서 및 다른 센서를 더 포함할 수 있다. 특히, 광학 센서는 주변 광 센서 및 근접 센서를 포함할 수 있다. 주변 광 센서는 주변 광의 밝기에 따라 디스플레이 패널의 휘도를 조절할 수 있으며, 근접 센서는 비디오 인코딩 디바이스가 귀 주변으로 이동할 때 디스플레이 패널 및/또는 백라이트를 스위치 오프할 수 있다. 모션 센서의 일종으로서, 중력 가속도 센서가 다양한 방향(일반적으로 3축)의 가속도를 검출할 수 있고, 정적 상태에서의 중력의 방향 및 방향을 검출할 수 있으며, 이는 이동 전화의 자세(예를 들면, 가로 방향 및 세로 방향(landscape and portrait orientation) 사이의 스위칭, 관련 게임, 자력계 자세 교정), 진동 인식에 관한 기능(보수계, 노크 등)을 인식하는 애플리케이션에 적용될 수 있다. 비디오 인코딩 디바이스에서 구성될 수 있는, 자이로스코프, 기압계, 습도계, 온도계 및 적외선 센서와 같은 다른 센서는 여기서 더이상 설명되지 않는다.
오디오 회로(806), 스피커(loudspeaker) 및 마이크로폰은 사용자와 비디오 인코딩 디바이스 사이에 오디오 인터페이스를 제공할 수 있다. 오디오 회로(806)는 수신된 오디오 데이터를 전기 신호로 변환하고 전기 신호를 스피커로 전송할 수 있다. 스피커는 전기 신호를 출력을 위해 사운드 신호로 변환한다. 한편, 마이크로폰은 수집된 사운드 신호를 전기 신호로 변환한다. 오디오 회로(806)는 전기 신호를 수신하고 전기 신호를 오디오 데이터로 변환하고, 오디오 데이터를 프로세싱을 위해 프로세서(808)로 출력한다. 다음으로, 오디오 데이터는 RF 회로(801)를 통해 다른 비디오 인코딩 디바이스로 송신되거나, 또는 추가 처리를 위해 메모리(802)로 출력된다. 오디오 회로(806)는 주변 이어폰과 비디오 인코딩 디바이스 간의 통신을 제공하기 위해 이어 플러그 잭을 더 포함할 수 있다.
WiFi는 단거리 무선 전송 기술이다. 비디오 인코딩 디바이스는 WiFi 모듈(807)을 사용하여 사용자가 전자 메일을 수신 및 송신하고, 웹 페이지를 브라우징하고, 스트리밍 미디어에 액세스하는 것을 도와서, 무선 광대역 인터넷 액세스를 사용자에게 제공한다. 도 9는 WiFi 모듈(807)을 도시하고 있지만, WiFi 모듈(807)은 비디오 인코딩 디바이스의 필수 구성 요소가 아니며, 필요에 따라 WiFi 모듈(807)이 본 개시의 요지를 변경하지 않고 생략될 수도 있음을 이해할 수 있다.
프로세서(808)는 비디오 인코딩 디바이스의 제어 센터이며, 다양한 인터페이스 및 라인을 사용하여 이동 전화의 다양한 부분에 연결된다. 메모리(802)에 저장된 소프트웨어 프로그램 및/또는 모듈을 러닝(running) 또는 실행하고, 메모리(802)에 저장된 데이터를 호출하는 것에 의해, 프로세서(808)는 비디오 인코딩 디바이스의 다양한 기능 및 데이터 처리를 수행하며, 이에 따라 이동 전화에 대한 전반적인 모니터링을 수행한다. 선택적으로, 프로세서(808)는 하나 이상의 프로세싱 코어를 포함할 수 있다. 바람직하게, 프로세서(808)는 애플리케이션 프로세서와 모뎀을 통합할 수 있다. 애플리케이션 프로세서는 주로 운영 체제, 사용자 인터페이스, 애플리케이션 프로그램 등을 처리하며, 모뎀은 주로 무선 통신을 처리한다. 전술한 모뎀은 또한 프로세서(808)에 통합될 수 없다는 것을 이해할 수 있다.
비디오 인코딩 디바이스는 구성 요소들에 전력을 공급하기 위한 전원 공급 장치(예를 들어, 배터리)(809)를 더 포함한다. 바람직하게는, 전력 공급 장치는 전력 관리 시스템을 사용하여 프로세서(808)에 논리적으로 연결될 수 있고, 이에 의해 전력 관리 시스템을 사용하여 충전, 방전 및 전력 소비 관리와 같은 기능을 구현할 수 있다. 전원 공급 장치(809)는 하나 이상의 직류 또는 교류 전원 공급 장치, 재충전 시스템, 정전 검출 회로, 전원 공급 변환기 또는 인버터, 전원 공급 상태 지시기(power supply status indicator), 및 임의의 다른 구성 요소를 더 포함할 수 있다.
도면에 도시되지는 않았지만, 비디오 인코딩 디바이스는 카메라, 블루투스 모듈 등을 더 포함할 수 있으며, 여기서는 더이상 설명하지 않는다. 특히, 본 실시 예에서, 비디오 인코딩 디바이스의 프로세서(808)는 메모리(802)에 저장된 적어도 하나의 명령을 실행하여, 방법 실시 예들에서 제공된 예측 모드 선택 방법을 수행한다.
본 개시의 일 실시 예는 컴퓨터 판독 가능 저장 매체를 더 제공한다. 저장 매체는 적어도 하나의 명령을 저장하고, 명령은 방법 실시 예들에서 제공되는 예측 모드 선택 방법을 구현하기 위해 프로세서에 의해 로드되고 실행된다.
전술한 본 개시의 실시 예들의 시퀀스 번호는 단지 설명의 편의를 위한 것이며, 실시 예들 사이의 선호(preference)를 의미하지는 않는다.
전술한 설명은 본 개시의 바람직한 실시 예일 뿐이며, 본 개시를 한정하는 것은 아니다. 본 개시의 정신 및 원리 내에서 이루어진 임의의 수정, 동등한 대체 또는 개선은 본 개시 내용의 보호 범위 내에 속해야 한다.
Claims (26)
- 타깃 예측 유닛(prediction unit, PU)에 대응하는 다운샘플링된 유닛의 제1 최적의 인트라-프레임 예측 모드를 획득하는 단계 - 다운샘플링된 유닛은, 타깃 PU가 속한 이미지 프레임을 다운샘플링하고 그 다음에 다운샘플링된 이미지 프레임을 분할하는 것에 의해 획득되며, 제1 최적의 인트라-프레임 예측 모드는 다운샘플링된 유닛에 대해 프리코딩(precoding) 분석을 수행하는 것에 의해 획득됨 -;
제1 최적의 인트라-프레임 예측 모드에 따라 후보 인트라-프레임 예측 모드를 후보 모드 집합에 추가하는 단계;
타깃 PU에 대응하는 인접 PU의 제2 최적의 인트라-프레임 예측 모드에 따라 후보 인트라-프레임 예측 모드를 후보 모드 집합에 추가하는 단계; 및
후보 모드 집합의 후보 인트라-프레임 예측 모드들에 대응하는 예측 잔차(prediction residuals)와 인코딩 코스트 값(encoding cost values)에 따라 현재 PU의 최적 인트라-프레임 예측 모드를 결정하는 단계
를 포함하는 예측 모드 선택 방법. - 제1항에 있어서,
상기 타깃 PU가 16×16 픽셀이고, 상기 다운샘플링된 유닛이 8×8 픽셀인 경우, 상기 제1 최적의 인트라-프레임 예측 모드에 따라 후보 인트라-프레임 예측 모드를 후보 모드 집합에 추가하는 단계는,
상기 제1 최적의 인트라-프레임 예측 모드가 방향성 예측 모드이면, 상기 제1 최적의 인트라-프레임 예측 모드와 상기 제1 최적의 인트라-프레임 예측 모드의 인접 인트라-프레임 예측 모드를 후보 모드 집합에 추가하는 단계; 및
상기 제1 최적의 인트라-프레임 예측 모드가 방향성 예측 모드가 아니면, 수평 예측 모드와 수직 예측 모드를 후보 모드 집합에 추가하는 단계 - 수평 예측 모드는 방향 ang_10에 대응하는 인트라-프레임 예측 모드이고, 수직 예측 모드는 방향 ang_26에 대응하는 인트라-프레임 예측 모드임 -
를 포함하는, 예측 모드 선택 방법. - 제2항에 있어서,
상기 제1 최적의 인트라-프레임 예측 모드에 따라 후보 인트라-프레임 예측 모드를 후보 모드 집합에 추가하는 단계 이후에,
상기 다운샘플링된 유닛의 차선의(suboptimal) 인트라-프레임 예측 모드를 획득하는 단계 - 차선의 인트라-프레임 예측 모드의 인코딩 코스트 값이 제1 최적의 인트라-프레임 예측 모드의 인코딩 코스트 값보다 큼 -; 및
차선의 인트라-프레임 예측 모드의 인코딩 코스트 값이 제1 최적의 인트라-프레임 예측 모드의 인코딩 코스트 값의 2 배보다 작고, 차선의 인트라-프레임 예측 모드가 방향성 예측 모드이면, 차선의 인트라-프레임 예측 모드 및 차선의 인트라-프레임 예측 모드의 인접 인트라-프레임 예측 모드를 후보 모드 집합에 추가하는 단계
를 더 포함하는 예측 모드 선택 방법. - 제1항에 있어서,
상기 타깃 PU가 32×32 픽셀 또는 64×64 픽셀을 가지며 상기 다운샘플링된 유닛이 8×8 픽셀을 갖는 경우,
상기 타깃 PU에 대응하는 다운샘플링된 유닛의 제1 최적의 인트라-프레임 예측 모드를 획득하는 단계는,
상기 타깃 PU에 포함된 서브-PU들을 결정하는 단계 - 각각의 서브-PU는 16×16 픽셀을 갖는 PU 임 -; 및
서브-PU들에 대응하는 다운샘플링된 유닛들의 제1 최적의 인트라-프레임 예측 모드들을 획득하는 단계
를 포함하고,
상기 제1 최적의 인트라-프레임 예측 모드에 따라 후보 인트라-프레임 예측 모드를 후보 모드 집합에 추가하는 단계는,
상기 다운샘플링된 유닛들의 제1 최적의 인트라-프레임 예측 모드들을 후보 모드 집합에 추가하는 단계;
후보 모드 집합의 방향성 예측 모드들의 수량이 임계치보다 작으면, 다운샘플링된 유닛들의 제1 최적의 인트라-프레임 예측 모드들에 기반하여 후보 인트라-프레임 예측 모드를 후보 모드 집합에 추가하는 단계; 및
후보 모드 집합의 방향성 예측 모드들의 수량이 임계치보다 크면, 상기 타깃 PU에 대응하는 인접 PU의 제2 최적의 인트라-프레임 예측 모드에 따라 후보 인트라-프레임 예측 모드를 후보 모드 집합에 추가하는 단계를 수행하는 단계
를 포함하는, 예측 모드 선택 방법. - 제4항에 있어서,
상기 다운샘플링된 유닛들의 제1 최적의 인트라-프레임 예측 모드들에 기반하여 후보 인트라-프레임 예측 모드를 후보 모드 집합에 추가하는 단계는,
상기 다운샘플링된 유닛들의 제1 최적의 인트라-프레임 예측 모드들이 동일한 방향성 예측 모드를 포함하면, 동일한 방향성 예측 모드의 인접 인트라-프레임 예측 모드를 후보 모드 집합에 추가하는 단계;
후보 모드 집합이 하나의 방향성 예측 모드를 포함하면, 방향성 예측 모드의 인접 인트라-프레임 예측 모드, 수평 예측 모드 및 수직 예측 모드를 후보 모드 집합에 추가하는 단계; 및
후보 모드 집합이 n개의 방향성 예측 모드들을 포함하면, n개의 방향성 예측 모드들에 대응하는 인접 인트라-프레임 예측 모드들을 후보 모드 집합에 추가하는 단계 - 1<n≤≤3임 -
를 포함하는 예측 모드 선택 방법. - 제1항 내지 제5항 중 어느 한 항에 있어서,
상기 인접 PU는 상기 타깃 PU의 상단(top)에 위치된 상단 PU 및/또는 상기 타깃 PU의 좌측에 위치한 좌측 PU를 포함하고,
상기 타깃 PU에 대응하는 인접 PU의 제2 최적의 인트라-프레임 예측 모드에 따라 후보 인트라-프레임 예측 모드를 후보 모드 집합에 추가하는 단계는,
상단 PU의 제2 최적의 인트라-프레임 예측 모드 및 좌측 PU의 제2 최적의 인트라-프레임 예측 모드가 모두 방향성 예측 모드가 아니면, 후보 인트라-프레임 예측 모드를 후보 모드 집합에 추가하는 것을 중지하는 단계;
상단 PU의 제2 최적의 인트라-프레임 예측 모드 또는 좌측 PU의 제2 최적의 인트라-프레임 예측 모드가 방향성 예측 모드이면, 방향성 예측 모드인 제2 최적의 인트라-프레임 예측 모드를 후보 모드 집합에 추가하는 단계;
상단 PU의 제2 최적의 인트라-프레임 예측 모드와 좌측 PU의 제2 최적의 인트라-프레임 예측 모드가 상이하고, 모두 방향성 예측 모드이면, 상단 PU의 제2 최적의 인트라-프레임 예측 모드와 좌측 PU의 제2 최적의 인트라-프레임 예측 모드를 후보 모드 집합에 추가하는 단계; 및
상단 PU의 제2 최적의 인트라-프레임 예측 모드와 좌측 PU의 제2 최적의 인트라-프레임 예측 모드가 동일하고 모두 방향성 예측 모드이면, 상단 PU의 제2 최적의 인트라-프레임 예측 모드 및 상단 PU의 제2 최적의 인트라-프레임 예측 모드의 인접 인트라-프레임 예측 모드를 후보 모드 집합에 추가하는 단계
를 포함하는, 예측 모드 선택 방법. - 제1항 내지 제5항 중 어느 한 항에 있어서,
플레이너 모드(planar mode) 및 직류(direct current, DC) 모드를 후보 모드 집합에 추가하는 단계
를 더 포함하는 예측 모드 선택 방법. - 제1항 내지 제5항 중 어느 한 항에 있어서,
상기 후보 모드 집합의 후보 인트라-프레임 예측 모드들에 대응하는 예측 잔차와 인코딩 코스트 값에 따라 현재 PU의 최적 인트라-프레임 예측 모드를 결정하는 단계는,
후보 모드 집합의 후보 인트라-프레임 예측 모드들 각각에 대한 예측 잔차를 계산하는 단계 - 예측 잔차는 원래의 값과 후보 인트라-프레임 예측 모드에서 예측된 예측값 사이의 차이를 지시하기 위해 사용됨 -;
후보 인트라-프레임 예측 모드들을 예측 잔차의 오름차순으로 정렬하는 단계;
k개의 제1 후보 인트라-프레임 예측 모드들을 타깃 후보 인트라-프레임 예측 모드들로서 결정하는 단계 - k≥2임 -;
타깃 후보 인트라-프레임 예측 모드들에 대응하는 인코딩 코스트 값을 계산하는 단계; 및
최소(least) 인코딩 코스트 값에 대응하는 타깃 후보 인트라-프레임 예측 모드를 상기 타깃 PU의 최적의 인트라-프레임 예측 모드로서 결정하는 단계
를 포함하는 예측 모드 선택 방법. - 제8항에 있어서,
상기 후보 인트라-프레임 예측 모드들을 예측 잔차의 오름차순으로 정렬하는 단계 이후에,
상기 제1 후보 인트라-프레임 예측 모드가 방향성 예측 모드이고, 상기 제1 후보 인트라-프레임 예측 모드의 인접 인트라-프레임 예측 모드가 후보 모드 집합에 속하지 않으면, 상기 제1 후보 인트라-프레임 예측 모드의 인접 인트라-프레임 예측 모드를 후보 모드 집합에 추가하고, 후보 모드 집합의 후보 인트라-프레임 예측 모드들에 대응하는 예측 잔차를 계산하는 단계를 수행하는 단계
를 더 포함하는 예측 모드 선택 방법. - 비디오 인코딩 디바이스가, 타깃 예측 유닛(prediction unit, PU)에 대응하는 다운샘플링된 유닛의 제1 최적의 인트라-프레임 예측 모드를 획득하는 단계 - 다운샘플링된 유닛은, 타깃 PU가 속한 이미지 프레임을 다운샘플링하고 그 다음에 다운샘플링된 이미지 프레임을 분할하는 것에 의해 획득되며, 제1 최적의 인트라-프레임 예측 모드는 다운샘플링된 유닛에 대해 프리코딩 분석을 수행하는 것에 의해 획득됨 -;
비디오 인코딩 디바이스가, 제1 최적의 인트라-프레임 예측 모드에 따라 후보 인트라-프레임 예측 모드를 후보 모드 집합에 추가하는 단계;
비디오 인코딩 디바이스가, 타깃 PU에 대응하는 인접 PU의 제2 최적의 인트라-프레임 예측 모드에 따라 후보 인트라-프레임 예측 모드를 후보 모드 집합에 추가하는 단계; 및
비디오 인코딩 디바이스가, 후보 모드 집합의 후보 인트라-프레임 예측 모드들에 대응하는 예측 잔차와 인코딩 코스트 값에 따라 현재 PU의 최적 인트라-프레임 예측 모드를 결정하는 단계
를 포함하는 예측 모드 선택 방법. - 제10항에 있어서,
상기 타깃 PU가 16×16 픽셀이고, 상기 다운샘플링된 유닛이 8×8 픽셀인 경우, 상기 비디오 인코딩 디바이스가, 제1 최적의 인트라-프레임 예측 모드에 따라 후보 인트라-프레임 예측 모드를 후보 모드 집합에 추가하는 단계는,
상기 제1 최적의 인트라-프레임 예측 모드가 방향성 예측 모드이면, 비디오 인코딩 디바이스가, 상기 제1 최적의 인트라-프레임 예측 모드와 상기 제1 최적의 인트라-프레임 예측 모드의 인접 인트라-프레임 예측 모드를 후보 모드 집합에 추가하는 단계; 및
상기 제1 최적의 인트라-프레임 예측 모드가 방향성 예측 모드가 아니면, 비디오 인코딩 디바이스가, 수평 예측 모드와 수직 예측 모드를 후보 모드 집합에 추가하는 단계 - 수평 예측 모드는 방향 ang_10에 대응하는 인트라-프레임 예측 모드이고, 수직 예측 모드는 방향 ang_26에 대응하는 인트라-프레임 예측 모드임 -
를 포함하는, 예측 모드 선택 방법. - 제11항에 있어서,
상기 비디오 인코딩 디바이스가, 제1 최적의 인트라-프레임 예측 모드에 따라 후보 인트라-프레임 예측 모드를 후보 모드 집합에 추가하는 단계 이후에,
비디오 인코딩 디바이스가, 상기 다운샘플링된 유닛의 차선의 인트라-프레임 예측 모드를 획득하는 단계 - 차선의 인트라-프레임 예측 모드의 인코딩 코스트 값이 제1 최적의 인트라-프레임 예측 모드의 인코딩 코스트 값보다 큼 -; 및
차선의 인트라-프레임 예측 모드의 인코딩 코스트 값이 제1 최적의 인트라-프레임 예측 모드의 인코딩 코스트 값의 2 배보다 작고, 차선의 인트라-프레임 예측 모드가 방향성 예측 모드이면, 비디오 인코딩 디바이스가, 차선의 인트라-프레임 예측 모드 및 차선의 인트라-프레임 예측 모드의 인접 인트라-프레임 예측 모드를 후보 모드 집합에 추가하는 단계
를 더 포함하는 예측 모드 선택 방법. - 제10항에 있어서,
상기 타깃 PU가 32×32 픽셀 또는 64×64 픽셀을 가지며 상기 다운샘플링된 유닛이 8×8 픽셀을 갖는 경우,
상기 비디오 인코딩 디바이스가, 타깃 PU에 대응하는 다운샘플링된 유닛의 제1 최적의 인트라-프레임 예측 모드를 획득하는 단계는,
비디오 인코딩 디바이스가, 상기 타깃 PU에 포함된 서브-PU들을 결정하는 단계 - 각각의 서브-PU는 16×16 픽셀을 갖는 PU 임 -; 및
비디오 인코딩 디바이스가, 서브-PU들에 대응하는 다운샘플링된 유닛들의 제1 최적의 인트라-프레임 예측 모드들을 획득하는 단계
를 포함하고,
상기 비디오 인코딩 디바이스가, 제1 최적의 인트라-프레임 예측 모드에 따라 후보 인트라-프레임 예측 모드를 후보 모드 집합에 추가하는 단계는,
비디오 인코딩 디바이스가, 상기 다운샘플링된 유닛들의 제1 최적의 인트라-프레임 예측 모드들을 후보 모드 집합에 추가하는 단계;
후보 모드 집합의 방향성 예측 모드들의 수량이 임계치보다 작으면, 비디오 인코딩 디바이스가, 다운샘플링된 유닛들의 제1 최적의 인트라-프레임 예측 모드들에 기반하여 후보 인트라-프레임 예측 모드를 후보 모드 집합에 추가하는 단계; 및
후보 모드 집합의 방향성 예측 모드들의 수량이 임계치보다 크면, 비디오 인코딩 디바이스가, 상기 타깃 PU에 대응하는 인접 PU의 제2 최적의 인트라-프레임 예측 모드에 따라 후보 인트라-프레임 예측 모드를 후보 모드 집합에 추가하는 단계를 수행하는 단계
를 포함하는, 예측 모드 선택 방법. - 제13항에 있어서,
상기 비디오 인코딩 디바이스가, 다운샘플링된 유닛들의 제1 최적의 인트라-프레임 예측 모드들에 기반하여 후보 인트라-프레임 예측 모드를 후보 모드 집합에 추가하는 단계는,
상기 다운샘플링된 유닛들의 제1 최적의 인트라-프레임 예측 모드들이 동일한 방향성 예측 모드를 포함하면, 비디오 인코딩 디바이스가, 동일한 방향성 예측 모드의 인접 인트라-프레임 예측 모드를 후보 모드 집합에 추가하는 단계;
후보 모드 집합이 하나의 방향성 예측 모드를 포함하면, 비디오 인코딩 디바이스가, 방향성 예측 모드의 인접 인트라-프레임 예측 모드, 수평 예측 모드 및 수직 예측 모드를 후보 모드 집합에 추가하는 단계; 및
후보 모드 집합이 n개의 방향성 예측 모드들을 포함하면, 비디오 인코딩 디바이스가, n개의 방향성 예측 모드들에 대응하는 인접 인트라-프레임 예측 모드들을 후보 모드 집합에 추가하는 단계 - 1<n≤≤3임 -
를 포함하는 예측 모드 선택 방법. - 제10항 내지 제14항 중 어느 한 항에 있어서,
상기 인접 PU는 상기 타깃 PU의 상단에 위치된 상단 PU 및/또는 상기 타깃 PU의 좌측에 위치한 좌측 PU를 포함하고,
상기 비디오 인코딩 디바이스가, 타깃 PU에 대응하는 인접 PU의 제2 최적의 인트라-프레임 예측 모드에 따라 후보 인트라-프레임 예측 모드를 후보 모드 집합에 추가하는 단계는,
상단 PU의 제2 최적의 인트라-프레임 예측 모드 및 좌측 PU의 제2 최적의 인트라-프레임 예측 모드가 모두 방향성 예측 모드가 아니면, 비디오 인코딩 디바이스가, 후보 인트라-프레임 예측 모드를 후보 모드 집합에 추가하는 것을 중지하는 단계;
상단 PU의 제2 최적의 인트라-프레임 예측 모드 또는 좌측 PU의 제2 최적의 인트라-프레임 예측 모드가 방향성 예측 모드이면, 비디오 인코딩 디바이스가, 방향성 예측 모드인 제2 최적의 인트라-프레임 예측 모드를 후보 모드 집합에 추가하는 단계;
상단 PU의 제2 최적의 인트라-프레임 예측 모드와 좌측 PU의 제2 최적의 인트라-프레임 예측 모드가 상이하고, 모두 방향성 예측 모드이면, 비디오 인코딩 디바이스가, 상단 PU의 제2 최적의 인트라-프레임 예측 모드와 좌측 PU의 제2 최적의 인트라-프레임 예측 모드를 후보 모드 집합에 추가하는 단계; 및
상단 PU의 제2 최적의 인트라-프레임 예측 모드와 좌측 PU의 제2 최적의 인트라-프레임 예측 모드가 동일하고 모두 방향성 예측 모드이면, 비디오 인코딩 디바이스가, 상단 PU의 제2 최적의 인트라-프레임 예측 모드 및 상단 PU의 제2 최적의 인트라-프레임 예측 모드의 인접 인트라-프레임 예측 모드를 후보 모드 집합에 추가하는 단계
를 포함하는, 예측 모드 선택 방법. - 제10항 내지 제14항 중 어느 한 항에 있어서,
상기 예측 모드 선택 방법은,
비디오 인코딩 디바이스가, 플레이너 모드 및 직류(direct current, DC) 모드를 후보 모드 집합에 추가하는 단계
를 더 포함하는 예측 모드 선택 방법. - 제10항 내지 제14항 중 어느 한 항에 있어서,
상기 비디오 인코딩 디바이스가, 후보 모드 집합의 후보 인트라-프레임 예측 모드들에 대응하는 예측 잔차와 인코딩 코스트 값에 따라 현재 PU의 최적 인트라-프레임 예측 모드를 결정하는 단계는,
비디오 인코딩 디바이스가, 후보 모드 집합의 후보 인트라-프레임 예측 모드들 각각에 대한 예측 잔차를 계산하는 단계 - 예측 잔차는 원래의 값과 후보 인트라-프레임 예측 모드에서 예측된 예측값 사이의 차이를 지시하기 위해 사용됨 -;
비디오 인코딩 디바이스가, 후보 인트라-프레임 예측 모드들을 예측 잔차의 오름차순으로 정렬하는 단계;
비디오 인코딩 디바이스가, k개의 제1 후보 인트라-프레임 예측 모드들을 타깃 후보 인트라-프레임 예측 모드들로서 결정하는 단계 - k≥≥2임 -;
비디오 인코딩 디바이스가, 타깃 후보 인트라-프레임 예측 모드들에 대응하는 인코딩 코스트 값을 계산하는 단계; 및
비디오 인코딩 디바이스가, 최소 인코딩 코스트 값에 대응하는 타깃 후보 인트라-프레임 예측 모드를 상기 타깃 PU의 최적의 인트라-프레임 예측 모드로서 결정하는 단계
를 포함하는 예측 모드 선택 방법. - 제17항에 있어서,
상기 비디오 인코딩 디바이스가, 후보 인트라-프레임 예측 모드들을 예측 잔차의 오름차순으로 정렬하는 단계 이후에,
상기 제1 후보 인트라-프레임 예측 모드가 방향성 예측 모드이고, 상기 제1 후보 인트라-프레임 예측 모드의 인접 인트라-프레임 예측 모드가 후보 모드 집합에 속하지 않으면, 비디오 인코딩 디바이스가, 상기 제1 후보 인트라-프레임 예측 모드의 인접 인트라-프레임 예측 모드를 후보 모드 집합에 추가하고, 후보 모드 집합의 후보 인트라-프레임 예측 모드들에 대응하는 예측 잔차를 계산하는 단계를 수행하는 단계
를 더 포함하는 예측 모드 선택 방법. - 타깃 예측 유닛(prediction unit, PU)에 대응하는 다운샘플링된 유닛의 제1 최적의 인트라-프레임 예측 모드를 획득하도록 - 다운샘플링된 유닛은, 타깃 PU가 속한 이미지 프레임을 다운샘플링하고 그 다음에 다운샘플링된 이미지 프레임을 분할하는 것에 의해 획득되며, 제1 최적의 인트라-프레임 예측 모드는 다운샘플링된 유닛에 대해 프리코딩 분석을 수행하는 것에 의해 획득됨 - 구성된 획득 모듈;
제1 최적의 인트라-프레임 예측 모드에 따라 후보 인트라-프레임 예측 모드를 후보 모드 집합에 추가하도록 구성된 제1 추가 모듈;
타깃 PU에 대응하는 인접 PU의 제2 최적의 인트라-프레임 예측 모드에 따라 후보 인트라-프레임 예측 모드를 후보 모드 집합에 추가하도록 구성된 제2 추가 모듈; 및
후보 모드 집합의 후보 인트라-프레임 예측 모드들에 대응하는 예측 잔차와 인코딩 코스트 값에 따라 현재 PU의 최적 인트라-프레임 예측 모드를 결정하도록 구성된 결정 모듈
을 포함하는 예측 모드 선택 장치. - 제19항에 있어서,
상기 타깃 PU가 16×16 픽셀이고, 상기 다운샘플링된 유닛이 8×8 픽셀인 경우,
상기 제1 추가 모듈은
상기 제1 최적의 인트라-프레임 예측 모드가 방향성 예측 모드이면, 상기 제1 최적의 인트라-프레임 예측 모드와 상기 제1 최적의 인트라-프레임 예측 모드의 인접 인트라-프레임 예측 모드를 후보 모드 집합에 추가하도록 구성된 제1 추가 유닛; 및
상기 제1 최적의 인트라-프레임 예측 모드가 방향성 예측 모드가 아니면, 수평 예측 모드와 수직 예측 모드를 후보 모드 집합에 추가하도록 - 수평 예측 모드는 방향 ang_10에 대응하는 인트라-프레임 예측 모드이고, 수직 예측 모드는 방향 ang_26에 대응하는 인트라-프레임 예측 모드임 - 구성된 제2 추가 유닛
을 포함하는, 예측 모드 선택 장치. - 제20항에 있어서,
상기 제1 추가 모듈은
상기 다운샘플링된 유닛의 차선의 인트라-프레임 예측 모드를 획득하도록 - 차선의 인트라-프레임 예측 모드의 인코딩 코스트 값이 제1 최적의 인트라-프레임 예측 모드의 인코딩 코스트 값보다 큼 - 구성된 획득 유닛; 및
차선의 인트라-프레임 예측 모드의 인코딩 코스트 값이 제1 최적의 인트라-프레임 예측 모드의 인코딩 코스트 값의 2 배보다 작고, 차선의 인트라-프레임 예측 모드가 방향성 예측 모드이면, 차선의 인트라-프레임 예측 모드 및 차선의 인트라-프레임 예측 모드의 인접 인트라-프레임 예측 모드를 후보 모드 집합에 추가하도록 구성된 제3 추가 유닛
을 더 포함하는 예측 모드 선택 장치. - 제19항에 있어서,
상기 타깃 PU가 32×32 픽셀 또는 64×64 픽셀을 가지며 상기 다운샘플링된 유닛이 8×8 픽셀을 갖는 경우,
상기 획득 모듈은,
상기 타깃 PU에 포함된 서브-PU들을 결정하도록 - 각각의 서브-PU는 16×16 픽셀을 갖는 PU 임 - 구성된 제1 결정 유닛; 및
서브-PU들에 대응하는 다운샘플링된 유닛들의 제1 최적의 인트라-프레임 예측 모드들을 획득하도록 구성된 획득 유닛
을 포함하고,
상기 제1 추가 모듈은,
상기 다운샘플링된 유닛들의 제1 최적의 인트라-프레임 예측 모드들을 후보 모드 집합에 추가하도록 구성된 제4 추가 유닛; 및
후보 모드 집합의 방향성 예측 모드들의 수량이 임계치보다 작으면, 다운샘플링된 유닛들의 제1 최적의 인트라-프레임 예측 모드들에 기반하여 후보 인트라-프레임 예측 모드를 후보 모드 집합에 추가하도록 구성된 제5 추가 유닛
을 포함하며,
상기 제2 추가 모듈은 추가로, 후보 모드 집합의 방향성 예측 모드들의 수량이 임계치보다 크면, 상기 타깃 PU에 대응하는 인접 PU의 제2 최적의 인트라-프레임 예측 모드에 따라 후보 인트라-프레임 예측 모드를 후보 모드 집합에 추가하는 단계를 수행하도록 구성되는, 예측 모드 선택 장치. - 제19항 내지 제22항 중 어느 한 항에 있어서,
상기 인접 PU는 상기 타깃 PU의 상단에 위치된 상단 PU 및/또는 상기 타깃 PU의 좌측에 위치한 좌측 PU를 포함하고,
상기 제2 추가 모듈은,
상단 PU의 제2 최적의 인트라-프레임 예측 모드 및 좌측 PU의 제2 최적의 인트라-프레임 예측 모드가 모두 방향성 예측 모드가 아니면, 후보 인트라-프레임 예측 모드를 후보 모드 집합에 추가하는 것을 중지하도록 구성된 제6 추가 유닛;
상단 PU의 제2 최적의 인트라-프레임 예측 모드 또는 좌측 PU의 제2 최적의 인트라-프레임 예측 모드가 방향성 예측 모드이면, 방향성 예측 모드인 제2 최적의 인트라-프레임 예측 모드를 후보 모드 집합에 추가하도록 구성된 제7 추가 유닛;
상단 PU의 제2 최적의 인트라-프레임 예측 모드와 좌측 PU의 제2 최적의 인트라-프레임 예측 모드가 상이하고, 모두 방향성 예측 모드이면, 상단 PU의 제2 최적의 인트라-프레임 예측 모드와 좌측 PU의 제2 최적의 인트라-프레임 예측 모드를 후보 모드 집합에 추가하도록 구성된 제8 추가 유닛; 및
상단 PU의 제2 최적의 인트라-프레임 예측 모드와 좌측 PU의 제2 최적의 인트라-프레임 예측 모드가 동일하고 모두 방향성 예측 모드이면, 상단 PU의 제2 최적의 인트라-프레임 예측 모드 및 상단 PU의 제2 최적의 인트라-프레임 예측 모드의 인접 인트라-프레임 예측 모드를 후보 모드 집합에 추가하도록 구성된 제9 추가 유닛
을 포함하는, 예측 모드 선택 장치. - 제19항 내지 제22항 중 어느 한 항에 있어서,
상기 결정 모듈은,
후보 모드 집합의 후보 인트라-프레임 예측 모드들 각각에 대한 예측 잔차를 계산하도록 - 예측 잔차는 원래의 값과 후보 인트라-프레임 예측 모드에서 예측된 예측값 사이의 차이를 지시하기 위해 사용됨 - 구성된 제1 계산 유닛;
후보 인트라-프레임 예측 모드들을 예측 잔차의 오름차순으로 정렬하도록 구성된 정렬 유닛;
k개의 제1 후보 인트라-프레임 예측 모드들을 타깃 후보 인트라-프레임 예측 모드들로서 결정하도록 - k≥≥2임 - 구성된 제2 결정 유닛;
타깃 후보 인트라-프레임 예측 모드들에 대응하는 인코딩 코스트 값을 계산하도록 구성된 제2 계산 유닛; 및
최소 인코딩 코스트 값에 대응하는 타깃 후보 인트라-프레임 예측 모드를 상기 타깃 PU의 최적의 인트라-프레임 예측 모드로서 결정하도록 구성된 제3 결정 유닛
을 포함하는 예측 모드 선택 장치. - 프로세서; 및
메모리
를 포함하고,
상기 메모리는 적어도 하나의 명령을 저장하고,
상기 명령은 프로세서에 의해 로드(load)되고 실행될 때 청구항 제1항 내지 제9항 중 어느 한 항에 따른 예측 모드 선택 방법을 수행하는 데 사용되는, 비디오 인코딩 디바이스. - 컴퓨터 판독 가능한 저장 매체로서,
상기 컴퓨터 판독 가능한 저장 매체는 적어도 하나의 명령을 저장하고,
상기 명령은 프로세서에 의해 로드되고 실행될 때 청구항 제1항 내지 제9항 중 어느 한 항에 따른 예측 모드 선택 방법을 수행하는 데 사용되는, 컴퓨터 판독 가능한 저장 매체.
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710486557.4 | 2017-06-23 | ||
| CN201710486557.4A CN109120926B (zh) | 2017-06-23 | 2017-06-23 | 预测模式选择方法、装置及介质 |
| PCT/CN2018/086910 WO2018233411A1 (zh) | 2017-06-23 | 2018-05-15 | 预测模式选择方法、视频编码设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20190113944A true KR20190113944A (ko) | 2019-10-08 |
| KR102302008B1 KR102302008B1 (ko) | 2021-09-13 |
Family
ID=64732153
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020197026336A KR102302008B1 (ko) | 2017-06-23 | 2018-05-15 | 예측 모드 선택 방법, 비디오 인코딩 디바이스 및 저장 매체 |
Country Status (7)
| Country | Link |
|---|---|
| US (1) | US10986332B2 (ko) |
| EP (1) | EP3644605B1 (ko) |
| JP (1) | JP6758683B2 (ko) |
| KR (1) | KR102302008B1 (ko) |
| CN (1) | CN109120926B (ko) |
| MA (1) | MA49483A (ko) |
| WO (1) | WO2018233411A1 (ko) |
Families Citing this family (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112567771A (zh) * | 2018-08-09 | 2021-03-26 | 华为技术有限公司 | 基于历史的帧内模式编解码方法和装置 |
| CN109640081B (zh) * | 2019-02-14 | 2023-07-14 | 深圳市网心科技有限公司 | 一种帧内预测方法、编码器、电子设备及可读存储介质 |
| CN110062237B (zh) * | 2019-04-29 | 2021-03-09 | 中国科学技术大学 | 视频编码的帧内编码模式选择方法和装置 |
| CN112839224B (zh) * | 2019-11-22 | 2023-10-10 | 腾讯科技（深圳）有限公司 | 一种预测模式选择方法、装置、视频编码设备及存储介质 |
| CN111314697B (zh) * | 2020-02-25 | 2021-10-15 | 中南大学 | 一种针对光字符识别的码率设置方法、设备及存储介质 |
| CN115485730A (zh) * | 2020-04-14 | 2022-12-16 | 松下电器（美国）知识产权公司 | 三维数据编码方法、三维数据解码方法、三维数据编码装置及三维数据解码装置 |
| CN113271461B (zh) * | 2021-05-18 | 2022-09-27 | 上海大学 | 基于自适应代价分数阈值的帧内预测模式判决方法和*** |
| CN113630596A (zh) * | 2021-06-25 | 2021-11-09 | 杭州未名信科科技有限公司 | Avs3帧内预测模式粗选方法、***及介质 |
| CN113612992B (zh) * | 2021-07-01 | 2023-11-03 | 杭州未名信科科技有限公司 | 一种针对avs3硬件编码器的快速帧内编码单元的编码方法 |
| CN114205614B (zh) * | 2021-12-16 | 2023-08-04 | 福州大学 | 一种基于hevc标准的帧内预测模式并行硬件方法 |
| CN115834880A (zh) * | 2022-09-26 | 2023-03-21 | 百果园技术(新加坡)有限公司 | 一种帧内预测模式的决策方法、装置及视频编码设备 |
Family Cites Families (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007104117A (ja) | 2005-09-30 | 2007-04-19 | Seiko Epson Corp | 画像処理装置及び画像処理方法をコンピュータに実行させるためのプログラム |
| US8208558B2 (en) * | 2007-06-11 | 2012-06-26 | Texas Instruments Incorporated | Transform domain fast mode search for spatial prediction in advanced video coding |
| JP2011205711A (ja) | 2011-07-14 | 2011-10-13 | Canon Inc | 画像処理装置およびその方法 |
| US9179145B2 (en) * | 2012-07-02 | 2015-11-03 | Vidyo, Inc. | Cross layer spatial intra prediction |
| US9826239B2 (en) | 2013-01-07 | 2017-11-21 | Lg Electronics Inc. | Video signal processing method and device |
| CN104954788B (zh) * | 2014-03-27 | 2018-09-04 | 浙江大华技术股份有限公司 | Hevc帧内预测模式选择方法及装置 |
| JP2015211386A (ja) | 2014-04-28 | 2015-11-24 | 富士通株式会社 | 動画像符号化装置、動画像符号化方法及び動画像符号化用コンピュータプログラム |
| CN103997645B (zh) * | 2014-04-29 | 2017-02-15 | 长沙理工大学 | 一种快速的hevc帧内编码单元和模式决策方法 |
| CN104333754B (zh) * | 2014-11-03 | 2017-06-13 | 西安电子科技大学 | 基于预测模式快速选择的shvc增强层视频编码方法 |
| CN104754338A (zh) * | 2014-12-30 | 2015-07-01 | 北京奇艺世纪科技有限公司 | 一种帧内预测模式的选择方法和装置 |
| CN104601993A (zh) * | 2014-12-31 | 2015-05-06 | 乐视网信息技术（北京）股份有限公司 | 一种视频编码方法及装置 |
| CN104883565A (zh) * | 2014-12-31 | 2015-09-02 | 乐视网信息技术（北京）股份有限公司 | 一种高效视频编码的帧内预测模式决策方法及装置 |
| CN104853192B (zh) * | 2015-05-08 | 2018-02-13 | 腾讯科技（深圳）有限公司 | 预测模式选择方法及装置 |
| CN105208391A (zh) * | 2015-09-17 | 2015-12-30 | 广州市百果园网络科技有限公司 | 帧内预测方法及装置 |
| US9955176B2 (en) * | 2015-11-30 | 2018-04-24 | Intel Corporation | Efficient and scalable intra video/image coding using wavelets and AVC, modified AVC, VPx, modified VPx, or modified HEVC coding |
| US11025903B2 (en) * | 2017-01-13 | 2021-06-01 | Qualcomm Incorporated | Coding video data using derived chroma mode |
| US10999591B2 (en) * | 2017-06-02 | 2021-05-04 | Lg Electronics Inc. | Method and apparatus for processing video signal through target area modification |
-
2017
- 2017-06-23 CN CN201710486557.4A patent/CN109120926B/zh active Active
-
2018
- 2018-05-15 KR KR1020197026336A patent/KR102302008B1/ko active IP Right Grant
- 2018-05-15 JP JP2019518960A patent/JP6758683B2/ja active Active
- 2018-05-15 MA MA049483A patent/MA49483A/fr unknown
- 2018-05-15 EP EP18819921.0A patent/EP3644605B1/en active Active
- 2018-05-15 WO PCT/CN2018/086910 patent/WO2018233411A1/zh active Application Filing
-
2019
- 2019-04-02 US US16/373,313 patent/US10986332B2/en active Active
Non-Patent Citations (2)
| Title |
|---|
| Jianle Chen, et al. Algorithm Description of Joint Exploration Test Model 3, Joint Video exploration Team(JVET), JVET-C1001_v1, 2016-07-02, pp. 1-35 * |
| 비특허문헌1* * |
Also Published As
| Publication number | Publication date |
|---|---|
| EP3644605A1 (en) | 2020-04-29 |
| CN109120926A (zh) | 2019-01-01 |
| CN109120926B (zh) | 2019-08-13 |
| US20190230349A1 (en) | 2019-07-25 |
| KR102302008B1 (ko) | 2021-09-13 |
| WO2018233411A1 (zh) | 2018-12-27 |
| JP2019531036A (ja) | 2019-10-24 |
| MA49483A (fr) | 2020-04-29 |
| US10986332B2 (en) | 2021-04-20 |
| EP3644605A4 (en) | 2020-11-04 |
| EP3644605B1 (en) | 2023-11-29 |
| JP6758683B2 (ja) | 2020-09-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102302008B1 (ko) | 예측 모드 선택 방법, 비디오 인코딩 디바이스 및 저장 매체 | |
| JP7229261B2 (ja) | ビデオ符号化のビットレート制御方法、装置、機器、記憶媒体及びプログラム | |
| CN111698504B (zh) | 编码方法、解码方法及装置 | |
| CA3068551A1 (en) | Picture data encoding method and apparatus and picture data decoding method and apparatus | |
| CN109151469B (zh) | 视频编码方法、装置及设备 | |
| CN114598880B (zh) | 图像处理方法、智能终端及存储介质 | |
| CN112532975A (zh) | 视频编码方法、装置、计算机设备及存储介质 | |
| WO2019169997A1 (zh) | 视频运动估计方法、装置、终端及存储介质 | |
| CN115379214B (zh) | 图像处理方法、智能终端及存储介质 | |
| CN114286089A (zh) | 参考帧的选择方法、装置、设备及介质 | |
| CN105992001A (zh) | 一种对图片进行量化处理的方法及装置 | |
| CN116668704B (zh) | 处理方法、处理设备及存储介质 | |
| US10827198B2 (en) | Motion estimation method, apparatus, and storage medium | |
| CN116563771A (zh) | 图像识别方法、装置、电子设备及可读存储介质 | |
| CN115955565B (zh) | 处理方法、处理设备及存储介质 | |
| CN116847088B (zh) | 图像处理方法、处理设备及存储介质 | |
| CN110213593B (zh) | 一种运动矢量的确定方法、编码压缩方法和相关装置 | |
| CN109003313B (zh) | 一种传输网页图片的方法、装置和*** | |
| CN115883839B (zh) | 一种图像校验方法、装置、设备及计算机可读存储介质 | |
| WO2023019567A1 (zh) | 图像处理方法、移动终端及存储介质 | |
| CN112866710A (zh) | 一种编码单元处理方法和相关装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |