KR20140140120A - 비디오 코딩을 위해 서브-픽셀들의 값들을 내삽하기 위한 적응적 서포트 - Google Patents

비디오 코딩을 위해 서브-픽셀들의 값들을 내삽하기 위한 적응적 서포트 Download PDF

Info

Publication number
KR20140140120A
KR20140140120A KR1020147030817A KR20147030817A KR20140140120A KR 20140140120 A KR20140140120 A KR 20140140120A KR 1020147030817 A KR1020147030817 A KR 1020147030817A KR 20147030817 A KR20147030817 A KR 20147030817A KR 20140140120 A KR20140140120 A KR 20140140120A
Authority
KR
South Korea
Prior art keywords
sub
pixel
integer pixel
video
filter
Prior art date
Application number
KR1020147030817A
Other languages
English (en)
Other versions
KR101784668B1 (ko
Inventor
라훌 피 판찰
마르타 카르체비츠
페이송 천
Original Assignee
퀄컴 인코포레이티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 퀄컴 인코포레이티드 filed Critical 퀄컴 인코포레이티드
Publication of KR20140140120A publication Critical patent/KR20140140120A/ko
Application granted granted Critical
Publication of KR101784668B1 publication Critical patent/KR101784668B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/196—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters
    • H04N19/197—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters including determination of the initial value of an encoding parameter
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/523—Motion estimation or motion compensation with sub-pixel accuracy
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/15—Data rate or code amount at the encoder output by monitoring actual compressed data size at the memory before deciding storage at the transmission buffer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/154—Measured or subjectively estimated visual quality after decoding, e.g. measurement of distortion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

본 개시물은 비디오 데이터의 블록들을 인코딩하기 위해 인코더 및 디코더에 의해 제공되는 서브-정수 픽셀들의 값들을 계산하는 기법들을 기술한다. 일 예에서, 비디오 인코더는 참조 샘플의 풀 정수 픽셀 위치들에 대한 값들을 수신하고, 풀 정수 픽셀 위치들의 하나의 제 1 서브-정수 픽셀에 대한 값을 계산하기 위해 내삽 필터를 풀 정수 픽셀 위치들에 대한 값들의 제 1 세트에 적용하고, 풀 정수 픽셀 위치들 중 하나의 상이한 제 2 서브-정수 픽셀에 대한 값을 계산하기 위해 내삽 필터를 풀 정수 픽셀 위치들에 대한 값들의 상이한 제 2 세트에 적용하고, 제 1 서브-정수 픽셀 및 제 2 서브-정수 픽셀 중 하나를 가리키는 모션 벡터를 이용하여 현재의 픽셀들의 블록을 인코딩하도록 구성된다.

Description

비디오 코딩을 위해 서브-픽셀들의 값들을 내삽하기 위한 적응적 서포트{ADAPTIVE SUPPORT FOR INTERPOLATING VALUES OF SUB-PIXELS FOR VIDEO CODING}
본 출원은 2010년 12월 10일자에 출원된 미국 가출원 제 61/422,051호의 이익을 주장하며, 전체 내용이 본원에 참고로 포함된다.
본 개시물은 비디오 코딩, 예컨대, 비디오 데이터를 인코딩 및 디코딩하는 분야에 관한 것이다.
디지털 비디오 능력들은 디지털 텔레비전, 디지털 직접 브로드캐스트 시스템들, 무선 전화기 핸드셋들과 같은 무선 통신 디바이스들, 무선 브로드캐스트 시스템들, 개인 휴대정보 단말기들 (PDAs), 랩탑 또는 데스크탑 컴퓨터들, 디지털 카메라들, 디지털 레코딩 디바이스들, 비디오 게이밍 디바이스들, 비디오 게임 콘솔들 등을 포함한, 광범위한 디바이스들에 포함될 수도 있다. 디지털 비디오 디바이스들은 디지털 비디오를 좀더 효율적으로 송신하고 수신하기 위해, MPEG-2, MPEG-4, 또는 H.264/MPEG-4, 파트 10, AVC (Advanced Video Coding) 와 같은 비디오 압축 기법들을 구현한다. 비디오 압축 기법들은 비디오 시퀀스들에 고유한 리던던시를 감소시키거나 또는 제거하기 위해 공간 및 시간 예측을 수행한다.
본 개시물은 비디오 인코딩 및/또는 디코딩 프로세스의 인터-예측 단계 동안 인코더 및 디코더에 의해 적용될 수도 있는 필터링 기법들을 기술한다. 설명되는 필터링 기법들은 분수 픽셀 내삽 동안에 사용되는 예측 데이터의 정확도를 향상시킬 수도 있으며, 일부 경우, 코딩 이득들을 증대시킬 수도 있다. 내삽 필터를 풀-픽셀 위치들의 여러 조합들에 적용하는 것에 기초하여 서브-픽셀 위치들에 대한 값들을 내삽하는 기법들을 포함한, 본 개시물에 대한 여러 양태들이 존재한다. 내삽 필터가 적용되는 값들은 일반적으로 "서포트 (support)" 로서 지칭된다. 이들 기법들은 또한 예를 들어, 이전에 인코딩된 프레임들 또는 현재의 인코딩중인 프레임들과 같은 인자들에 기초하여, 서브-픽셀 위치에 대해 내삽 필터를 적용할 서포트를 선택하는 것을 포함한다.
일 양태에서, 비디오 데이터를 인코딩하는 방법은 참조 샘플의 풀 정수 픽셀 위치들에 대한 값들을 수신하는 단계를 포함한다. 이 방법은 또한 풀 정수 픽셀 위치들 중 하나의 제 1 서브-정수 픽셀에 대한 값을 계산하기 위해 내삽 필터를 풀 정수 픽셀 위치들에 대한 값들의 제 1 세트에 적용하는 단계를 포함한다. 또, 이 방법은 또한 풀 정수 픽셀 위치들 중 하나의 상이한 제 2 서브-정수 픽셀에 대한 값을 계산하기 위해 내삽 필터를 풀 정수 픽셀 위치들에 대한 값들의 상이한 제 2 세트에 적용하는 단계를 포함한다. 이 방법은 제 1 서브-정수 픽셀 및 제 2 서브-정수 픽셀 중 하나를 가리키는 모션 벡터를 이용하여 픽셀들의 블록을 인코딩하는 단계를 더 포함한다.
또 다른 양태에서, 디바이스는 참조 샘플의 풀 정수 픽셀 위치들에 대한 값들을 수신하도록 구성된 비디오 코더를 포함한다. 비디오 코더는 또한 풀 정수 픽셀 위치들 중 하나의 제 1 서브-정수 픽셀에 대한 값을 계산하기 위해 내삽 필터를 풀 정수 픽셀 위치들에 대한 값들의 제 1 세트에 적용하도록 구성된다. 이와 유사하게, 비디오 코더는 풀 정수 픽셀 위치들 중 하나의 상이한 제 2 서브-정수 픽셀에 대한 값을 계산하기 위해 내삽 필터를 풀 정수 픽셀 위치들에 대한 값들의 상이한 제 2 세트에 적용하도록 구성된다. 비디오 코더는 제 1 서브-정수 픽셀 및 제 2 서브-정수 픽셀 중 하나를 가리키는 모션 벡터를 이용하여 픽셀들의 블록을 인코딩하도록 추가로 구성된다.
또 다른 양태에서, 컴퓨터-판독가능 매체는 비디오 코딩 디바이스에서 실행 시 디바이스로 하여금 비디오 블록들을 코딩하게 하는 명령들을 포함한다. 특히, 명령들은 디바이스로 하여금 참조 샘플의 풀 정수 픽셀 위치들에 대한 값들을 수신하고 풀 정수 픽셀 위치들 중 하나의 제 1 서브-정수 픽셀에 대한 값을 계산하기 위해 내삽 필터를 풀 정수 픽셀 위치들에 대한 값들의 제 1 세트에 적용하게 한다. 이 명령들은 또한 디바이스로 하여금 풀 정수 픽셀 위치들 중 하나의 상이한 제 2 서브-정수 픽셀에 대한 값을 계산하기 위해 내삽 필터를 풀 정수 픽셀 위치들에 대한 값들의 상이한 제 2 세트에 적용하게 한다. 이 명령들은 추가로 디바이스로 하여금 제 1 서브-정수 픽셀 및 제 2 서브-정수 픽셀 중 하나를 가리키는 모션 벡터를 이용하여 픽셀들의 블록을 인코딩하게 한다.
또 다른 양태에서, 참조 샘플의 풀 정수 픽셀 위치들에 대한 값들을 수신하는 수단을 포함하는 디바이스가 제공된다. 이 디바이스는 풀 정수 픽셀 위치들 중 하나의 제 1 서브-정수 픽셀에 대한 값을 계산하기 위해 내삽 필터를 풀 정수 픽셀 위치들에 대한 값들의 제 1 세트에 적용하는 수단을 더 포함한다. 또한, 이 디바이스는 풀 정수 픽셀 위치들 중 하나의 상이한 제 2 서브-정수 픽셀에 대한 값을 계산하기 위해 내삽 필터를 풀 정수 픽셀 위치들에 대한 값들의 상이한 제 2 세트에 적용하는 수단, 및 픽셀들의 블록을 제 1 서브-정수 픽셀 및 제 2 서브-정수 픽셀 중 하나를 가리키는 모션 벡터를 이용하여 인코딩하는 수단을 포함한다.
여전히, 또 다른 양태에서, 비디오 데이터를 디코딩하는 방법은 풀 픽셀 위치들을 포함하는 참조 샘플을 수신하는 단계를 포함한다. 이 방법은 또한 참조 샘플의 서브-정수 픽셀에 대한 값을 내삽하는데 사용되는 참조 샘플의 풀 정수 픽셀 위치들의 세트의 표시를 수신하는 단계를 포함한다. 또, 이 방법은 또한 참조 샘플의 서브-정수 픽셀의 값을 계산하기 위해 내삽 필터를 풀 정수 픽셀 위치들의 세트에 적용하는 단계를 포함한다. 이 방법은 서브-정수 픽셀의 계산된 값에 대해 픽셀들의 블록을 디코딩하는 단계를 더 포함한다.
또 다른 양태에서, 디바이스는 풀 정수 픽셀 위치들을 포함하는 참조 샘플을 수신하도록 구성된 비디오 디코더를 포함한다. 비디오 디코더는 또한 참조 샘플의 서브-정수 픽셀에 대한 값을 내삽하는데 사용되는 참조 샘플의 풀 정수 픽셀 위치들의 세트의 표시를 수신하도록 구성된다. 이와 유사하게, 이 비디오 디코더는 참조 샘플의 서브-정수 픽셀의 값을 계산하기 위해 내삽 필터를 풀 정수 픽셀 위치들의 세트에 적용하도록 구성된다. 이 비디오 디코더는 서브-정수 픽셀의 계산된 값에 대해 픽셀들의 블록을 디코딩하도록 추가로 구성된다.
또 다른 양태에서, 컴퓨터-판독가능 매체는 비디오 코딩 디바이스에서 실행 시 디바이스로 하여금 비디오 블록들을 코딩하게 하는 명령들을 포함한다. 특히, 이 명령들은 디바이스로 하여금, 풀 정수 픽셀 위치들을 포함하는 참조 샘플을 수신하고 참조 샘플의 서브-정수 픽셀에 대한 값을 내삽하는데 사용되는 참조 샘플의 풀 정수 픽셀 위치들의 세트의 표시를 수신하게 한다. 이 명령들은 또한 디바이스로 하여금, 참조 샘플의 서브-정수 픽셀의 값을 계산하기 위해 내삽 필터를 풀 정수 픽셀 위치들의 세트에 적용하게 한다. 명령들은 추가로 디바이스로 하여금, 서브-정수 픽셀의 계산된 값에 대해 픽셀들의 블록을 디코딩하게 한다.
또 다른 양태에서, 디바이스는 풀 픽셀 위치들을 포함하는 참조 샘플을 수신하는 수단, 및 참조 샘플의 서브-정수 픽셀에 대한 값을 내삽하는데 사용되는 참조 샘플의 풀 정수 픽셀 위치들의 세트의 표시를 수신하는 수단을 포함한다. 이 디바이스는 참조 샘플의 서브-정수 픽셀의 값을 풀 정수 픽셀 위치들의 세트를 이용하여 계산하는 수단을 더 포함한다. 이 디바이스는 서브-정수 픽셀의 계산된 값에 대해 픽셀들의 블록을 디코딩하는 수단을 더 포함한다.
본 개시물에서 설명하는 기법들은 하드웨어, 소프트웨어, 펌웨어, 또는 이들의 임의의 조합으로 구현될 수도 있다. 소프트웨어로 구현되는 경우, 이 소프트웨어는 마이크로프로세서, 주문형 반도체 (ASIC), 필드 프로그래밍가능 게이트 어레이 (FPGA), 또는 디지털 신호 프로세서 (DSP), 또는 다른 등가의 통합 또는 이산 로직 회로와 같은, 하나 이상의 프로세서들로 지칭할 수도 있는 프로세서에서 실행될 수도 있다. 이 기법들을 실행하는 명령들을 포함하는 소프트웨어는 먼저 컴퓨터-판독가능 매체에 저장되고, 프로세서에 의해 로딩되어 실행될 수도 있다.
따라서, 본 개시물은 또한 프로세서로 하여금 본 개시물에서 설명하는 기법과 같은 다양한 기법들 중 임의의 기법을 수행하게 하는 명령들을 포함하는 컴퓨터-판독가능 매체들을 고려한다. 일부의 경우, 컴퓨터-판독가능 매체는 제조업자들에게 판매되거나 및/또는 디바이스에 사용될 수도 있는 컴퓨터 프로그램 제품의 부분을 형성할 수도 있다. 컴퓨터 프로그램 제품은 컴퓨터-판독가능 매체를 포함할 수도 있으며, 일부 경우, 또한 패키징 재료들을 포함할 수도 있다.
본 개시물은 또한 정보를 전달하는 전자기 신호들에 적용할 수도 있다. 예를 들어, 전자기 신호는 참조 샘플의 서브-정수 픽셀에 대한 값을 내삽하는데 사용되는 풀 픽셀 서포트에 관련된 정보를 포함할 수도 있다. 일부 예들에서, 신호는 본원에서 설명되는 기법들을 구현하는 디바이스로부터 생성되거나 또는 이로부터 송신될 수도 있다. 다른 예들에서, 본 개시물은 본원에서 설명되는 기법들을 구현하는 디바이스에서 수신될 수도 있는 신호들에 적용할 수도 있다.
본 개시물의 하나 이상의 양태들의 세부 사항들이 첨부도면 및 아래의 상세한 설명에 개시된다. 본 개시물에서 설명되는 기법들의 다른 특징들, 목적들, 및 이점들은 설명 및 도면들로부터, 그리고 청구항들로부터 명백히 알 수 있을 것이다.
본원에서 설명하는 내삽의 여러 양태들은 종래의 기법들보다 더 나은 품질의 내삽 데이터를 제공함으로써 비디오 인코딩을 향상시킬 수도 있다.
도 1 은 본 개시물의 하나 이상의 기법들을 구현할 수도 있는 비디오 인코딩 및 디코딩 시스템의 일 예를 도시하는 블록도이다.
도 2 는 도 1 의 비디오 인코더의 일 예를 더 자세히 도시하는 블록도이다.
도 3 은 예측 데이터와 연관되는 정수-픽셀 위치들, 및 내삽된 예측 데이터와 연관되는 서브-픽셀 위치들의 일 예를 도시하는 개념도이다.
도 4 는 서브-정수 픽셀 로케이션에 대한 대각선 6개의 픽셀 필터 서포트의 일 예를 도시하는 개념도이다.
도 5 는 서브-정수 픽셀 로케이션에 대한 x-형상의 12개의 픽셀 필터 서포트의 일 예를 도시하는 개념도이다.
도 6 은 3개의 수평 서브-픽셀 위치들 및 3개의 수직 서브-픽셀 위치들에 대한 12개의 픽셀 필터 서포트의 일 예를 도시하는 개념도이다.
도 7 은 서브-픽셀 로케이션에 대한 12개의 픽셀 필터 서포트의 일 예를 도시하는 개념도이다.
도 8 은 서브-정수 픽셀 로케이션에 대한 스퀘어-형상의 4개의 픽셀 필터 서포트의 일 예를 도시하는 개념도이다.
도 9 는 서브-정수 픽셀 로케이션에 대한 직사각형-형상의 6개의 픽셀 필터 서포트의 일 예를 도시하는 개념도이다.
도 10 은 도 1 의 비디오 디코더의 일 예를 더 자세히 도시하는 블록도이다.
도 11 은 본 개시물에 따른, 픽셀 필터 서포트를 이용하는 비디오 인코더의 예시적인 동작을 도시하는 흐름도이다.
도 12 는 본 개시물에 따른, 픽셀 필터 서포트를 이용하는 비디오 인코더의 다른 예시적인 동작을 도시하는 흐름도이다.
도 13 은 본 개시물에 따른, 서브-정수 픽셀에 대한 필터 서포트를 결정하는 예시적인 방법을 도시하는 흐름도이다.
도 14 는 본 개시물에 따른, 서브-정수 픽셀에 대한 필터 서포트를 결정하는 다른 예시적인 방법을 도시하는 흐름도이다.
도 15 는 본 개시물에 따른, 필터 서포트를 이용하는 비디오 디코더의 예시적인 동작을 도시하는 흐름도이다.
도 16 은 본 개시물에 따른, 필터 서포트를 이용하는 비디오 디코더의 다른 예시적인 동작을 도시하는 흐름도이다.
본 개시물은 비디오 인코딩 및/또는 디코딩 프로세스의 인터-예측 단계 동안 인코더 및 디코더에 의해 적용될 수도 있는 필터링 기법들을 기술한다. 설명되는 필터링 기법들은 분수 픽셀 내삽 동안 사용되는 예측 데이터의 정확도를 향상시킬 수도 있으며, 일부 경우, 코딩 이득들을 증대시킬 수도 있다. 본 개시물은 용어들 "서브-픽셀" "서브-정수 픽셀" "분수 픽셀" 및 "서브-pel" 을 상호교환가능하게 이용한다. 서브-픽셀 로케이션을 임의 개수의 풀-픽셀 로케이션들의 임의의 조합에 기초하여 내삽하는 기법들, 및 서브-픽셀 위치들에 대한 내삽 필터들용 서포트를 이전에 인코딩된 프레임들 또는 현재의 인코딩중인 프레임들에 기초하여 선택하는 기법들을 포함한, 본 개시물에 대한 여러 양태들이 존재한다. 이들 및 다른 기법들은 아래에서 자세하게 설명된다.
블록 기반의 인터 코딩은 시간 예측에 의존하여 비디오 시퀀스의 연속적인 코딩된 유닛들의 비디오 블록들 사이의 시간 리던던시를 감소시키거나 또는 제거하는 코딩 기법이다. 코딩된 유닛들은 비디오 프레임들, 비디오 프레임들의 슬라이스들, 화상들의 그룹들, 또는 인코딩된 비디오 블록들의 또 다른 정의된 유닛을 포함할 수도 있다. 인터 코딩에 있어, 비디오 인코더는 모션 추정 및 모션 보상을 수행하여 2개 이상의 인접한 코딩된 유닛들의 비디오 블록들 사이에 모션을 추정한다. 모션 추정을 위한 기법들을 이용하여, 비디오 인코더는 하나 이상의 참조 프레임들 또는 다른 코딩된 유닛들에서 대응하는 예측 비디오 블록들에 대한 비디오 블록들의 변위를 나타낼 수도 있는 모션 벡터들을 생성한다. 모션 보상을 위한 기법들을 이용하여, 비디오 인코더는 모션 벡터들을 이용하여, 하나 이상의 참조 프레임들 또는 다른 코딩된 유닛들로부터 예측 비디오 블록들을 생성할 수도 있다. 모션 보상 후, 비디오 인코더는 코딩중인 원래 비디오 블록들로부터 예측 비디오 블록들을 감산함으로써 잔여 비디오 블록들을 계산할 수도 있다.
비디오 인코더는 또한 잔여 블록들의 통신과 연관되는 비트 레이트를 추가로 감소시키기 위해 변환, 양자화, 및 엔트로피 코딩 프로세스들을 적용할 수도 있다. 변환 기법들은 이산 코사인 변환들 (DCTs) 또는 개념적으로 유사한 프로세스들을 포함할 수도 있다. 이의 대안으로, 웨이블릿 변환들, 정수 변환들, 또는 다른 유형들의 변환들이 이용될 수도 있다. DCT 프로세스에서, 일 예로서, 픽셀 값들의 세트는 주파수 도메인에서 픽셀 값들의 에너지를 나타낼 수도 있는 변환 계수들로 변환될 수도 있다. 비디오 인코더는 또한 변환 계수들을 양자화할 수도 있으며, 일반적으로 대응하는 변환 계수와 연관되는 비트수를 감소시키는 프로세스를 수반할 수도 있다. 엔트로피 코딩은 비트스트림으로의 출력을 위해 데이터를 일괄하여 압축하는 하나 이상의 프로세스들을 포함할 수도 있으며, 여기서, 압축된 데이터는 예를 들어, 일련의 코딩 모드들, 모션 정보, 코딩된 블록 패턴들, 및 양자화된 변환 계수들을 포함할 수도 있다. 엔트로피 코딩의 예들은 컨텍스트 적응형 가변 길이 코딩 (CAVLC) 및 컨텍스트 적응형 2진 산술 코딩 (CABAC) 을 포함하지만 이에 한정되지 않는다.
코딩된 비디오 블록은 예측 블록, 및 원래 블록을 재생성하기 위해 그 예측 블록에 적용될 수 있는 데이터의 잔여 블록을 생성하거나 또는 식별하는데 사용될 수 있는 예측 정보로 표현될 수도 있다. 예측 정보는 데이터의 예측 블록을 식별하는데 사용되는 하나 이상의 모션 벡터들을 포함할 수도 있다. 이 모션 벡터들을 이용하여, 디코더는 잔여 블록들을 코딩하는데 사용되었던 예측 블록들을 재구성할 수도 있다. 따라서, 잔여 블록들의 세트 및 모션 벡터들의 세트 (그리고, 가능하면 일부 추가적인 구문) 를 고려하면, 디코더는 원래 인코딩되었던 비디오 프레임을 재구성할 수 있다. 모션 추정 및 모션 보상에 기초한 인터-코딩은, 연속적인 비디오 프레임들 또는 다른 유형들의 코딩된 유닛들이 종종 유사하기 때문에, 과도한 데이터 손실 없이 상대적으로 많은 양의 압축을 달성할 수 있다. 인코딩된 비디오 시퀀스는 잔여 데이터의 블록들, (인터-예측 인코딩될 때) 모션 벡터들, 인트라-예측을 위한 인트라-예측 모드들의 표시들, 및 가능하면 구문의 유형들과 같은 다른 데이터를 포함할 수도 있다.
인터-코딩 시에 달성될 수 있는 압축의 레벨에 대해 예측 정확도를 향상시키기 위해 서브-정수 픽셀 내삽 기법들이 개발되었다. 이 경우, 비디오 블록을 코딩하는데 사용되는, 모션 보상 동안 생성되는 예측 데이터는 서브-정수 픽셀들에 대응할 수도 있으며, 이 서브-정수 픽셀들의 값들은 참조 비디오 프레임의 비디오 블록들 또는 모션 벡터가 참조하는 다른 코딩된 유닛의 풀 픽셀들에 대한 값들로부터 내삽될 수도 있다. 비디오 인코더는 예컨대, 내삽 필터들을 서포트의 세트, 예컨대, 풀 정수 픽셀들에 대한 값들 및/또는 다른 서브-정수 픽셀 위치들의 이전에 코딩된 값들에 적용함으로써 내삽 기법들을 이용하여 서브-정수 픽셀 위치들에 대한 값들을 계산할 수도 있다. 서브-정수 픽셀 위치들은 여러 예들에서 1/2-픽셀, 1/4-픽셀, 1/8-픽셀, 1/16-픽셀, 또는 다른 해상도들과 같은 여러 해상도 등급들을 가질 수도 있다. 따라서, 비디오 인코더는 서브-픽셀 정밀도를 갖는 모션 추정 동안 모션 벡터를 계산할 수도 있다.
도 1 은 본 개시물의 하나 이상의 기법들을 구현하는데 사용될 수도 있는, 비디오 인코딩 및 디코딩 시스템 (10) 의 일 예를 도시하는 블록도이다. 도 1 에 나타낸 바와 같이, 시스템 (10) 은 인코딩된 비디오를 목적지 디바이스 (16) 로 통신 채널 (15) 을 통해서 송신하는 소스 디바이스 (12) 를 포함한다. 소스 디바이스 (12) 및 목적지 디바이스 (16) 는 광범위한 디바이스들 중 임의의 디바이스를 포함할 수도 있다. 일부의 경우, 소스 디바이스 (12) 및 목적지 디바이스 (16) 중 어느 하나 또는 양자는 소위 셀룰러 또는 위성 무선 전화기들로 일컬어 지는 무선 핸드셋들과 같은 무선 통신 디바이스들, 또는 비디오 정보를 통신 채널 (15) 을 통해서 통신하는 임의의 무선 디바이스들을 포함할 수도 있으며, 이 경우 통신 채널 (15) 은 무선이다. 그러나, 예측 코딩 동안 예측 데이터의 필터링 및 생성에 관련하는, 본 개시물의 기법들은 반드시 무선 애플리케이션들 또는 설정들에 한정되지는 않는다. 이 기법들은 또한 물리적인 와이어들, 광 섬유들 또는 다른 물리적인 또는 무선 매체들을 통해서 통신하는 디바이스들을 포함한, 광범위한 다른 설정들 및 디바이스들에 유용할 수도 있다. 게다가, 이 인코딩 또는 디코딩 기법들은 또한 임의의 다른 디바이스와 반드시 통신할 필요가 없는 독립형 디바이스에 적용될 수도 있다.
도 1 의 예에서, 소스 디바이스 (12) 는 비디오 소스 (20), 비디오 인코더 (22), 변조기/복조기 (모뎀) (23) 및 송신기 (24) 를 포함할 수도 있다. 목적지 디바이스 (16) 는 수신기 (26), 모뎀 (27), 비디오 디코더 (28), 및 디스플레이 디바이스 (30) 를 포함할 수도 있다. 본 개시물에 따르면, 소스 디바이스 (12) 의 비디오 인코더 (22) 는 본 개시물의 하나 이상의 기법들을 비디오 인코딩 프로세스의 부분으로서 적용하도록 구성될 수도 있다. 이와 유사하게, 목적지 디바이스 (16) 의 비디오 디코더 (28) 는 본 개시물의 하나 이상의 기법들을 비디오 디코딩 프로세스의 부분으로서 적용하도록 구성될 수도 있다.
다시 말해서, 도 1 의 도시된 시스템 (10) 은 단지 일 예이다. 여러 본 개시물의 기법들은 블록-기반의 예측 인코딩을 지원하는 임의의 인코딩 디바이스에 의해, 또는 블록-기반의 예측 디코딩을 지원하는 임의의 디코딩 디바이스에 의해 수행될 수도 있다. 소스 디바이스 (12) 및 목적지 디바이스 (16) 는 단지 소스 디바이스 (12) 가 목적지 디바이스 (16) 로의 송신을 위해 코딩된 비디오 데이터를 생성하는 이런 코딩 디바이스들의 예들이다. 일부의 경우, 디바이스들 (12, 16) 은 디바이스들 (12, 16) 의 각각이 비디오 인코딩 및 디코딩 구성요소들을 포함하므로, 실질적으로 대칭적인 방법으로 동작할 수도 있다. 그러므로, 시스템 (10) 은 예컨대, 비디오 스트리밍, 비디오 플레이백, 비디오 브로드캐스팅, 또는 비디오 전화 통신을 위해, 비디오 디바이스들 (12, 16) 사이의 1-방향 또는 2-방향 비디오 송신을 지원할 수도 있다.
소스 디바이스 (12) 의 비디오 소스 (20) 는 비디오 카메라와 같은 비디오 캡쳐 디바이스, 이전에 캡쳐된 비디오를 포함하는 비디오 아카이브, 또는 비디오 콘텐츠 제공자로부터의 비디오 피드를 포함할 수도 있다. 추가 대안적인 예로서, 비디오 소스 (20) 는 컴퓨터 그래픽-기반의 데이터를 소스 비디오, 또는 라이브 비디오, 아카이브된 비디오, 및/또는 컴퓨터 생성된 비디오의 조합으로서 생성할 수도 있다. 일부의 경우, 비디오 소스 (20) 가 비디오 카메라이면, 소스 디바이스 (12) 및 목적지 디바이스 (16) 는 소위 카메라 폰들 또는 비디오 폰들, 또는 비디오 데이터를 조작하도록 구성된 다른 모바일 디바이스들, 예컨대 태블릿 컴퓨팅 디바이스들을 형성할 수도 있다. 각각의 경우, 캡쳐되거나, 사전-캡쳐되거나 또는 컴퓨터-생성된 비디오는 비디오 인코더 (22) 에 의해 인코딩될 수도 있다. 인코딩된 비디오 정보는 그 후 예컨대, 코드분할 다중접속 (CDMA) 과 같은 통신 표준 또는 또 다른 통신 표준에 따라서 모뎀 (23) 에 의해 변조되어, 송신기 (24) 및 통신 채널 (15) 을 통해서 목적지 디바이스 (16) 로 송신될 수도 있다. 모뎀 (23) 은 여러 믹서들, 필터들, 증폭기들 또는 신호 변조용으로 설계된 다른 구성요소들을 포함할 수도 있다. 송신기 (24) 는 증폭기들, 필터들, 및 하나 이상의 안테나들을 포함한, 데이터를 송신하도록 설계된 회로들을 포함할 수도 있다.
목적지 디바이스 (16) 의 수신기 (26) 는 통신 채널 (15) 을 통해서 정보를 수신하고, 모뎀 (27) 은 그 정보를 복조한다. 송신기 (24) 와 유사하게, 수신기 (26) 는 증폭기들, 필터들, 및 하나 이상의 안테나들을 포함한, 데이터를 수신하기 위해 설계된 회로들을 포함할 수도 있다. 일부의 경우, 송신기 (24) 및/또는 수신기 (26) 는 수신 및 송신 회로 양자를 포함하는 단일 송수신기 구성요소 내에 포함될 수도 있다. 모뎀 (27) 은 여러 믹서들, 필터들, 증폭기들 또는 신호 복조용으로 설계된 다른 구성요소들을 포함할 수도 있다. 일부의 경우, 모뎀들 (23 및 27) 은 변조 및 복조 양자를 수행하는 구성요소들을 포함할 수도 있다.
다시 말해서, 비디오 인코더 (22) 에 의해 수행되는 비디오 인코딩 프로세스는 인터-예측 인코딩 동안 본원에서 설명되는 하나 이상의 기법들을 구현할 수도 있으며, 모션 추정 및 모션 보상을 포함할 수도 있다. 비디오 디코더 (28) 에 의해 수행되는 비디오 디코딩 프로세스는 또한 이런 기법들을 디코딩 프로세스의 모션 보상 단계 동안에 수행할 수도 있다. 용어 "코더" 는 본원에서 비디오 인코딩 또는 비디오 디코딩을 수행하는 특수화된 컴퓨터 디바이스 또는 장치를 지칭하기 위해 이용된다. 용어 "코더" 는 일반적으로 임의의 비디오 인코더, 비디오 디코더, 또는 결합된 인코더/디코더 (코덱) 를 지칭한다. 용어 "코딩" 은 인코딩 또는 디코딩을 지칭한다. 디스플레이 디바이스 (30) 는 디코딩된 비디오 데이터를 사용자에게 디스플레이하며, 음극선관 (CRT), 액정 디스플레이 (LCD), 플라즈마 디스플레이, 유기 발광 다이오드 (OLED) 디스플레이, 또는 또 다른 유형의 디스플레이 디바이스와 같은, 다양한 디스플레이 디바이스들 중 임의의 디바이스를 포함할 수도 있다.
도 1 의 예에서, 통신 채널 (15) 은 무선 주파수 (RF) 스펙트럼 또는 하나 이상의 물리적인 송신 라인들과 같은 임의의 무선 또는 유선 통신 매체, 또는 무선 및 유선 매체들의 임의의 조합을 포함할 수도 있다. 통신 채널 (15) 은 근거리 네트워크, 광역 네트워크, 또는 인터넷과 같은 글로벌 네트워크와 같은, 패킷-기반 네트워크의 부분을 형성할 수도 있다. 통신 채널 (15) 은 일반적으로 비디오 데이터를 소스 디바이스 (12) 로부터 목적지 디바이스 (16) 로 송신하는, 임의의 적합한 통신 매체, 또는 상이한 통신 매체들의 컬렉션을 나타낸다. 통신 채널 (15) 은 라우터들, 스위치들, 기지국들, 또는 소스 디바이스 (12) 로부터 목적지 디바이스 (16) 로 통신을 용이하게 하는데 유용할 수도 있는 임의의 다른 장비를 포함할 수도 있다.
비디오 인코더 (22) 및 비디오 디코더 (28) 는 MPEG 4, 파트 10, AVC (Advanced Video Coding) 로서 대안적으로 설명되는, ITU-T H.264 표준과 같은, 비디오 압축 표준에 따라서 동작할 수도 있다. 본 개시물의 기법들은, 그러나, 임의의 특정의 비디오 코딩 표준에 한정되지 않는다. 도 1 에 나타내지는 않지만, 일부 양태들에서, 비디오 인코더 (22) 및 비디오 디코더 (28) 는 오디오 인코더 및 디코더와 각각 통합될 수도 있으며, 오디오 및 비디오 양자의 인코딩을 공통 데이터 스트림 또는 별개의 데이터 스트림들로 처리하기 위해 적합한 MUX-DEMUX 유닛들, 또는 다른 하드웨어 및 소프트웨어를 포함할 수도 있다. 적용가능한 경우, MUX-DEMUX 유닛들은 ITU H.223 멀티플렉서 프로토콜, 또는 다른 프로토콜들, 예컨대, 사용자 데이터그램 프로토콜 (UDP) 에 따를 수도 있다.
비디오 인코더 (22) 및 비디오 디코더 (28) 각각은 하나 이상의 마이크로프로세서들, 디지털 신호 프로세서들 (DSPs), 주문형 집적회로들 (ASICs), 필드 프로그래밍가능 게이트 어레이들 (FPGAs), 이산 로직, 소프트웨어, 하드웨어, 펌웨어 또는 임의의 이들의 조합들로서 구현될 수도 있다. 본 개시물의 기법들 중 임의의 기법 또는 모두가 소프트웨어로 구현되는 경우, 구현하는 디바이스는 그 소프트웨어에 대한 명령들을 저장하거나 및/또는 실행하는 하드웨어, 예컨대, 그 명령들을 저장하는 메모리 및 그 명령들을 실행하는 하나 이상의 프로세싱 유닛들을 더 포함할 수도 있다. 비디오 인코더 (22) 및 비디오 디코더 (28) 각각은 하나 이상의 인코더들 또는 디코더들에 포함될 수도 있으며, 이들 중 어느 쪽이든 각각의 모바일 디바이스, 가입자 디바이스, 브로드캐스트 디바이스, 서버 등에서 인코딩 및 디코딩 능력들을 제공하는 결합된 코덱의 부분으로서 통합될 수도 있다.
비디오 시퀀스는 일반적으로 비디오 화상들로서 또한 지칭되는, 일련의 비디오 프레임들을 포함한다. 비디오 인코더 (22) 는 비디오 데이터를 인코딩하기 위해 개개의 비디오 프레임들 내 비디오 블록들에 대해 작용할 수도 있다. 비디오 블록들은 고정 또는 가변 사이즈들을 가질 수도 있으며, 규정된 코딩 표준에 따라서 사이즈가 상이할 수도 있다. 각각의 비디오 프레임은 일련의 슬라이스들을 포함한다. ITU-T H.264 표준에서, 예를 들어, 각각의 슬라이스는 일련의 매크로블록들을 포함할 수도 있으며, 이 매크로블록들은 서브-블록들로 배열될 수도 있다. H.264 표준은 루마 성분들에 대해서는 16 × 16, 8 × 8, 또는 4 × 4, 그리고 크로마 성분들에 대해 8 × 8 과 같은 여러 블록 사이즈들에서 인트라 예측을 지원할 뿐만 아니라, 루마 성분들에 대해 16 × 16, 16 × 8, 8 × 16, 8 × 8, 8 × 4, 4 × 8 및 4 × 4 그리고 크로마 성분들에 대해서는 대응하는 스케일링된 사이즈들과 같은 여러 블록 사이즈들에서 인터 예측을 지원한다. 비디오 블록들은 픽셀 데이터의 블록들, 또는 변환 계수들의 블록들을, 예컨대, 이산 코사인 변환 (DCT) 또는 개념적으로 유사한 변환 프로세스와 같은 변환 프로세스 이후에, 포함할 수도 있다.
더 작은 비디오 블록들은 더 나은 해상도를 제공할 수 있으며, 높은 상세 레벨들을 포함하는 비디오 프레임의 로케이션들에 사용될 수도 있다. 일반적으로, 매크로블록들 및 여러 서브 블록들은 비디오 블록들로서 간주될 수도 있다. 게다가, 슬라이스는 일련의 비디오 블록들, 예컨대 매크로블록들 및/또는 서브-블록들로서 간주될 수도 있다. 각각의 슬라이스는 비디오 프레임의 독립적으로 디코딩가능한 유닛일 수도 있다. 대안적으로, 프레임들 자체는 디코딩가능한 유닛들이거나, 또는 프레임의 다른 부분들은 디코딩가능한 유닛들로서 정의될 수도 있다. 용어 "코딩된 유닛" 은 전체 프레임, 프레임의 슬라이스, 비디오 데이터의 블록, 또는 사용되는 코딩 기법들에 따라 정의된 또 다른 독립적으로 디코딩가능한 유닛과 같은 비디오 프레임의 임의의 독립적으로 디코딩가능한 유닛을 지칭한다.
비디오 블록들을 인코딩하기 위해, 비디오 인코더 (22) 는 인트라- 또는 인터-예측을 수행하여, 예측 블록을 생성한다. 비디오 인코더 (22) 는 인코딩될 원래 비디오 블록들로부터 그 예측 블록들을 감산하여, 잔여 블록들을 생성한다. 따라서, 잔여 블록들은 코딩되는 블록들과 예측 블록들 사이의 픽셀 단위 차이들 (pixel-by-pixel differences) 을 나타낼 수도 있다. 비디오 인코더 (22) 는 잔여 블록들에 대해 변환을 수행하여, 변환 계수들의 블록들을 생성할 수도 있다. 인트라- 또는 인터-기반의 예측 코딩 및 변환 기법들 이후, 비디오 인코더 (22) 는 변환 계수들을 양자화할 수도 있다. 양자화는 일반적으로 계수들을 표현하는데 사용되는 데이터의 양을 가능한 한 감소시키기 위해 계수들을 양자화시키는 프로세스를 지칭한다. 양자화 이후, 엔트로피 코딩이 컨텍스트 적응형 가변 길이 코딩 (CAVLC) 또는 컨텍스트 적응 2진 산술 코딩 (CABAC) 과 같은 엔트로피 코딩 방법에 따라서 수행될 수도 있다. 비디오 인코더 (22) 에 의해 수행되는 인코딩 프로세스의 추가적인 세부 사항들은 아래에서 도 2 에 대하여 설명된다.
HEVC (High Efficiency Video Coding) 로서 현재 지칭되는 새로운 비디오 코딩 표준을 개발하려는 노력들이 현재 계속되고 있다. 차기 표준은 또한 H.265 로서 지칭된다. 이 표준화 노력들은 HEVC 테스트 모델 (HM) 로서 지칭되는 비디오 코딩 디바이스의 모델에 기초한다. HM 은 예컨대, ITU-T H.264/AVC 에 따른 디바이스들 보다 비디오 코딩 디바이스들의 여러 능력들을 가정한다. 예를 들어, H.264 는 9개의 인트라-예측 인코딩 모드들을 제공하는 반면, HM 은 33개 만큼 많은 인트라-예측 인코딩 모드들을 제공한다.
HM 비디오 데이터의 블록을 코딩 유닛 (CU) 으로서 지칭한다. 비트스트림 내 구문 데이터는 가장 큰 코딩 유닛 (LCU) 을 정의하며, 이 가장 큰 코딩 유닛은 픽셀들의 개수의 관점에서 가장 큰 코딩 유닛이다. 일반적으로, CU 가 사이즈 구별을 갖지 않는다는 점을 제외하고는, CU 는 H.264 의 매크로블록과 유사한 목적을 갖는다. 따라서, CU 는 서브-CU들로 분할될 수도 있다. 일반적으로, 본 개시물에서 CU 에 대한 언급들은 화상의 가장 큰 코딩 유닛 또는 LCU 의 서브-CU 를 지칭할 수도 있다. LCU 는 서브-CU들로 분할될 수도 있으며, 각각의 서브-CU 는 서브-CU들로 분할될 수도 있다. 비트스트림에 대한 구문 데이터는 CU 깊이로 지칭되는, LCU 가 분할되는 최대 횟수를 정의할 수도 있다. 따라서, 비트스트림은 또한 가장 작은 코딩 유닛 (SCU) 을 정의할 수도 있다. 본 개시물은 또한 CU, 예측 유닛 (PU), 또는 변환 유닛 (TU) 중 임의의 것을 지칭하기 위해 용어 "블록" 을 사용한다.
LCU 는 쿼드트리 데이터 구조와 연관될 수도 있다. 일반적으로, 쿼드트리 데이터 구조는 CU 당 하나의 노드를 포함하며, 여기서, 루트 노드는 LCU 에 대응한다. CU 가 4개의 서브-CU들로 분할되면, CU 에 대응하는 노드는 4개의 리프 노드들을 포함하며, 각각의 리프 노드는 서브-CU들중 하나에 대응한다. 쿼드트리 데이터 구조의 각각의 노드는 대응하는 CU에 대해 구문 데이터를 제공할 수도 있다. 예를 들어, 쿼드트리에서 노드는 그 노드에 대응하는 CU 가 서브-CU들로 분할될지 여부를 나타내는 분할 플래그를 포함할 수도 있다. CU 에 대한 구문 엘리먼트들은 재귀적으로 정의될 수도 있으며, CU 가 서브-CU들로 분할되는지 여부에 의존할 수도 있다.
분할되지 않는 CU 는 하나 이상의 예측 유닛들 (PUs) 을 포함할 수도 있다. 일반적으로, PU 는 대응하는 CU 의 모두 또는 부분을 나타내며, PU 에 대한 참조 샘플을 취출하기 위한 데이터를 포함한다. 예를 들어, PU 가 인트라-모드 인코딩될 때, PU 는 그 PU 에 대한 인트라-예측 모드를 기술하는 데이터를 포함할 수도 있다. 또 다른 예로서, PU 가 인터-모드 인코딩될 때, PU 는 그 PU 에 대한 모션 벡터를 정의하는 데이터를 포함할 수도 있다. 모션 벡터를 정의하는 데이터는 예를 들어, 모션 벡터의 수평 성분, 모션 벡터의 수직 성분, 모션 벡터에 대한 해상도 (예컨대, 1/4 픽셀 정밀도 또는 1/8 픽셀 정밀도), 모션 벡터가 가리키는 참조 프레임, 및/또는 모션 벡터에 대한 참조 리스트 (예컨대, 리스트 0 또는 리스트 1) 를 기술할 수도 있다. PU(들)을 정의하는 CU 에 대한 데이터는 또한 예를 들어, 하나 이상의 PU들로의 CU 의 파티셔닝을 기술할 수도 있다. 모드들을 파티셔닝하는 것은 CU 가 코딩되지 않거나, 인트라-예측 모드 인코딩되거나, 또는 인터-예측 모드 인코딩되는지 여부에 따라 상이할 수도 있다.
하나 이상의 PU들을 갖는 CU 는 또한 하나 이상의 변환 유닛들 (TUs) 을 포함할 수도 있다. PU 를 이용한 예측 이후, 비디오 인코더는 PU 에 대응하는 CU 의 부분에 대한 잔여 값 (residual value) 을 계산할 수도 있다. 잔여 값은 변환되고, 스캔되고, 그리고 양자화될 수도 있다. TU 는 PU 의 사이즈에 반드시 제한될 필요는 없다. 따라서, TU들은 동일한 CU 에 대한 대응하는 PU들보다 더 크거나 또는 더 작을 수도 있다. 일부 예들에서, TU 의 최대 사이즈는 대응하는 CU 의 사이즈에 대응할 수도 있다.
위에서 언급한 바와 같이, 인트라-예측은 동일한 화상의 이전에 코딩된 CU들로부터 화상의 현재의 CU 의 PU 를 예측하는 것을 포함한다. 좀더 구체적으로는, 비디오 인코더는 특정의 인트라-예측 모드를 이용하여 화상의 현재의 CU 를 인트라-예측할 수도 있다. HM 인코더는 33개 까지의 인트라-예측 모드들로 구성될 수도 있다. 따라서, 방향성 인트라-예측 모드들과 방향 변환들 (directional transforms) 사이의 일-대-일 맵핑을 지원하기 위해, HM 인코더들 및 디코더들은 각각의 지원되는 변환 사이즈에 대해 66 개의 매트릭스들을 저장할 필요가 있을 것이다. 더욱이, 모든 33개의 인트라-예측 모드들이 지원되는 블록 사이즈들은 상대적으로 큰 블록들, 예컨대, 32 × 32 픽셀들, 64 × 64 픽셀들, 또는 심지어 더 큰 픽셀들일 수도 있다.
목적지 디바이스 (16) 에서, 비디오 디코더 (28) 는 인코딩된 비디오 데이터를 수신한다. 비디오 디코더 (28) 는 수신된 비디오 데이터를 CAVLC 또는 CABAC 과 같은 엔트로피 코딩 방법에 따라서 엔트로피 디코딩하여, 양자화된 계수들을 획득한다. 비디오 디코더 (28) 는 역양자화 (양자화 해제) 및 역변환 함수들을 적용하여 잔여 블록을 픽셀 도메인에서 재구성한다. 비디오 디코더 (28) 는 또한 인코딩된 비디오 데이터에 포함된 제어 정보 또는 구문 정보 (예컨대, 코딩 모드, 모션 벡터들, 필터 계수들 등을 정의하는 구문) 에 기초하여 예측 블록을 생성한다. 비디오 디코더 (28) 는 디스플레이를 위한 재구성된 비디오 블록을 생성하기 위해 예측 블록과 재구성된 잔여 블록의 합을 계산할 수도 있다. 비디오 디코더 (28) 에 의해 수행되는 예시적인 디코딩 프로세스의 추가적인 세부 사항들은 아래에서 도 10 에 대해서 설명된다.
본원에서 설명하는 바와 같이, Y 는 휘도를 나타낼 수도 있으며, Cb 및 Cr 은 3차원의 YCbCr 칼라 공간의 2개의 상이한 색차 값들을 나타낼 수도 있다. 각각의 픽셀 로케이션은 실제로 3차원의 칼라 공간에 대해 3개의 픽셀 값들을 정의할 수도 있다. 본 개시물의 기법들은, 그러나, 단순성의 목적들을 위해 1 차원에 대한 예측을 나타낼 수도 있다. 기법들이 픽셀 값들에 대해 1 차원으로 설명되는 한, 유사한 기법들은 다른 차원들로 확장될 수도 있다.
본 개시물의 기법들에 따르면, 비디오 인코더 (22) 및 비디오 디코더 (28) 는 모션 보상 동안 하나 이상의 내삽 필터링 기법들을 이용할 수도 있다. 특히, 본 개시물의 일 양태에 따르면, 비디오 인코더 (22) 및/또는 비디오 디코더 (28) 는 픽셀들의 블록을 획득할 수도 있으며, 여기서 픽셀들의 블록은 픽셀들의 블록 내 정수 픽셀 위치들에 대응하는 정수 픽셀 값들을 포함한다. 비디오 인코더 (22) 및/또는 비디오 디코더 (28) 는 픽셀들의 블록과 연관되는 서브-픽셀 위치들에 대한 값들을 정수 픽셀 값들에 기초하여 산출할 수도 있으며, 여기서 서브-픽셀 값들을 산출하는 것은 내삽 필터를 필터 서포트의 여러 세트들에 적용하는 것을 포함하며, 필터 서포트의 세트들 각각은 픽셀들의 블록에서 하나 이상의 정수 픽셀 위치들의 세트에 대응한다. 비디오 인코더 (22) 및/또는 비디오 디코더 (28) 는 또한 픽셀들의 블록을 인코딩하거나 또는 디코딩하기 위해, 서브-픽셀 값들 중 적어도 일부에 기초하여 예측 블록을 생성할 수도 있다.
본 개시물의 양태에 따르면, 비디오 인코더 (22) 및/또는 비디오 디코더 (28) 는 내삽 필터를 풀 정수 픽셀 위치들의 임의의 조합을 포함하는 필터 서포트에 적용할 수도 있다. 비디오 인코더 (22) 는 풀 정수 픽셀 위치와 연관되는 다수의 (예컨대, 15 개) 상이한 서브-픽셀 위치들에 대해 필터 계수들의 복수의 세트들을 결정하고, 필터 계수들의 15 개의 세트들을 또 다른 디바이스로 인코딩된 비트스트림의 부분으로서 출력할 수도 있다. 이러한 방법으로, 필터 계수들의 복수의 세트들은 모든 15 개의 1/2-픽셀 및 1/4-픽셀 위치들에 대해 모든 필터 계수들을 정의할 수도 있다. 일부 예들에서, 풀 정수 픽셀 위치와 연관되는 각각의 1/2-픽셀 및 1/4-픽셀에 대한 필터 계수들의 세트들은 고유할 수도 있다. 다른 예들에서, 풀 정수 픽셀 위치와 연관되는 1/2-pel들 및 1/4-pel들에 대한 필터 계수들의 세트들 중 일부 또는 모두는 동일할 수도 있다.
목적지 디바이스 (16) 의 비디오 디코더 (28) 는 필터 계수들의 하나 이상의 세트들을 인코딩된 비디오 비트스트림의 부분으로서 수신하고, 필터 계수들의 하나 이상의 세트들에 기초하여 15 개의 상이한 서브-픽셀 위치들에 대응하는 15 개의 필터 계수들의 세트들을 생성할 수도 있다. 비디오 디코더 (28) 는 또한 필터 계수들의 복수의 세트들 중 하나에 기초하여 비디오 디코딩을 위한 서브-pel 값들을 생성하고, 그 내삽된 예측 데이터에 기초하여, 하나 이상의 비디오 블록들을 디코딩할 수도 있으며, 여기서, 내삽된 예측 데이터는 15 개의 상이한 서브-픽셀 위치들 중 하나에 대응한다.
본 개시물의 또 다른 양태에 따르면, 비디오 인코더 (22) 는 참조 샘플의 복수의 풀 정수 픽셀 위치들에 대한 값들을 수신하고, 복수의 풀 정수 픽셀 위치들 중 하나의 제 1 서브-정수 픽셀에 대한 값을 계산하기 위해 내삽 필터를 복수의 풀 정수 픽셀 위치들에 대한 값들의 제 1 세트에 적용하고, 풀 정수 픽셀 위치들 중 하나의 상이한 제 2 서브-정수 픽셀에 대한 값을 계산하기 위해 동일한 내삽 필터를 복수의 풀 정수 픽셀 위치들에 대한 값들의 상이한 제 2 세트에 적용하고, 그리고 제 1 서브-정수 픽셀 및 제 2 서브-정수 픽셀 중 하나를 가리키는 모션 벡터를 이용하여 현재의 픽셀들의 블록을 인코딩할 수도 있다. 일부 예들에서, 내삽 필터는 제 1 내삽 필터이며, 비디오 인코더 (22) 는 복수의 풀 정수 픽셀 위치들 중 하나의 제 3 서브-정수 픽셀에 대한 값을 계산하기 위해 상이한 제 2 내삽 필터를 복수의 풀 정수 픽셀 위치들에 대한 값들의 제 3 세트에 추가로 적용할 수도 있다. 다른 예들에서, 추가적인 필터들 또는 복수의 풀 정수 픽셀 위치들에 대한 값들의 세트들이 서브-정수 픽셀 위치들에 대한 추가적인 값들을 계산하는데 사용된다.
비디오 인코더 (22) 는 제 1 서브-정수 픽셀에 대한 값을 계산하는데 사용되는 내삽 필터의 표시를 제공할 수도 있다. 이 표시는 서포트의 명시적인 표시를 포함할 수도 있다. 대안적으로, 비디오 인코더 (22) 및 비디오 디코더 (28) 가 서포트의 세트들로 사전-구성될 때, 이 표시는 인덱스 또는 다른 식별자에 대응할 수도 있다. 표시는 예측 유닛 레벨, 코딩 유닛 레벨, 프레임 레벨, 슬라이스 레벨, 또는 시퀀스 레벨 중 하나로 제공될 수도 있으며, 여기서, 각각의 레벨은 현재의 픽셀들의 블록과 관련된다. 일부 예들에서, 표시는 시퀀스 파라미터 세트 (SPS) 또는 화상 파라미터 세트 (PPS) 로 제공될 수도 있다. 비디오 인코더 (22) 는 그 표시를 인코딩된 비트스트림의 부분으로서 또 다른 디바이스로 출력할 수도 있다. 일부 예들에서, 내삽 필터는 ITU-T H.264 내삽 필터, 고정된 내삽 필터 (예컨대, 내삽 필터들의 세트로부터 선택됨), 또는 적응적 내삽 필터이다. 더욱이, 비디오 인코더 (22) 는 위에서 설명한 기법들과 유사한 기법들을 이용하여 풀 픽셀의 서브-정수 픽셀들의 각각에 대해 서포트의 표시들을 제공할 수도 있다.
내삽 필터는 분리가능 필터 또는 비-분리가능 필터일 수도 있다. 비-분리가능 필터는 필터 서포트가 중간 필터링 단계를 수행함이 없이 서브-pel 을 직접 생성하도록 변경될 수도 있는 내삽 필터이다. 이에 반해, 분리가능 필터는 필터링이 또 다른 필터링 단계에 의존할 수도 있는 필터이다. 예를 들어, 이중선형의 필터링에서, 필터는 제 1 서브-pel 로케이션에 대한 값을 생성하기 위해 수평 방향으로 먼저 적용될 수도 있다. 그 후, 필터는 방향변경되어, 제 2 서브-pel 로케이션에 대한 값을 생성하기 위해 제 1 서브-pel 로케이션을 가로질러 수직 방향으로 적용될 수도 있다.
또 다른 예에서, 방법은 복수의 풀 픽셀 위치들을 포함하는 참조 샘플을 수신하는 단계, 참조 샘플의 서브-정수 픽셀에 대한 값을 내삽하는데 사용되는 참조 샘플의 풀 정수 픽셀 위치들의 세트의 표시를 수신하는 단계, 참조 샘플의 서브-정수 픽셀의 값을 계산하기 위해 내삽 필터를 풀 정수 픽셀 위치들의 세트에 적용하는 단계, 및 현재의 서브-정수 픽셀의 계산된 값에 대해 픽셀들의 블록을 디코딩하는 단계를 포함할 수도 있다.
도 2 는 도 1 의 비디오 인코더 (22) 의 일 예를 더 자세히 도시하는 블록도이다. 비디오 인코더 (22) 는 본 개시물에 따라, 인터-예측 기법들을 수행할 수도 있다. 비디오 인코더 (22) 는 "코더" 로서 본원에서 지칭되는, 특수화된 비디오 컴퓨터 디바이스 또는 장치의 일 예이다. 도 2 에 나타낸 바와 같이, 비디오 인코더 (22) 는 디바이스 (20) 의 비디오 인코더 (22) 에 대응한다. 그러나, 다른 예들에서, 비디오 인코더 (22) 는 다른 디바이스에 대응할 수도 있다. 추가적인 예들에서, (예를 들어, 다른 인코더/디코더 (코덱들) 과 같은) 다른 유닛들이 또한 비디오 인코더 (22) 와 유사한 기법들을 수행할 수 있다.
인트라-코딩 구성요소들이 예시의 용이를 위해 도 2 에 도시되지 않지만, 비디오 인코더 (22) 는 비디오 프레임들 내 블록들의 인트라-코딩 및 인터-코딩을 수행할 수도 있다. 인트라-코딩은 주어진 비디오 프레임 내 비디오에서 공간 리던던시를 감소시키거나 제거하기 위해 공간 예측에 의존한다. 인터-코딩은 비디오 시퀀스의 인접 프레임들 내 비디오에서 시간 리던던시를 감소시키거나 제거하기 위해 시간 예측에 의존한다. 인트라-모드 (I-모드) 는 공간-기반의 압축 모드를 지칭할 수도 있다. 예측 (P-모드) 또는 양방향 (B-모드) 과 같은 인터-모드들은 시간 기반의 압축 모드들을 지칭할 수도 있다. 본 개시물의 기법들은 인터 코딩 동안 적용하며, 따라서, 공간 예측 유닛과 같은 인트라-코딩 유닛들은 예시의 단순성과 용이성을 위해 도 2 에 도시되지 않는다.
도 2 에 나타낸 바와 같이, 비디오 인코더 (22) 는 인코딩되는 비디오 프레임 내 비디오 블록을 수신한다. 도 2 의 예에서, 비디오 인코더 (22) 는 예측 코딩 유닛 (MCU) (32), 메모리 (34), 가산기 (48), 변환 유닛 (38), 양자화 유닛 (40), 및 엔트로피 코딩 유닛 (46) 을 포함한다. 비디오 블록 재구성을 위해, 비디오 인코더 (22) 는 또한 역양자화 유닛 (42), 역변환 유닛 (44), 및 가산기 (51) 를 포함한다. 일부 예들에서, 디블로킹 필터 (deblocking filter) 가 또한 블록 경계들을 필터링하여 재구성된 비디오로부터 블록킹 현상 아티팩트들을 제거하기 위해 포함될 수도 있다. 원할 경우, 디블로킹 필터는 일반적으로 가산기 (51) 의 출력을 필터링할 것이다. 일 예에서, 도 2 에 나타낸 바와 같이, 변환 유닛 (38) 은 기능 블록일 수도 있지만, HEVC 의 관점에서 "TU" 가 아닐 수도 있다.
예측 유닛 (32) 은 모션 추정 (ME) 유닛 (35) 및 모션 보상 (MC) 유닛 (37) 을 포함할 수도 있다. 하나 이상의 내삽 필터들 (39) (본원에서 "필터 (39)" 로서 지칭됨) 이 예측 유닛 (32) 에 포함될 수도 있으며, 본 개시물에 따라서, 내삽을 모션 추정 및/또는 모션 보상의 부분으로서 수행하기 위해 ME 유닛 (35) 및 MC 유닛 (37) 의 하나 또는 양자에 의해 호출될 수도 있다. 서브-픽셀에 대한 값이 이웃하는 풀-픽셀들에 대한 값들 및/또는 이웃하는 서브-픽셀들에 대한 이전에 계산된 값들에 기초하여 계산되는 다른 기법들이 포함될 수도 있다. 필터 (39) 는 실제로 본원에서 설명하는 바와 같은 매우 많은 상이한 유형들의 내삽 및 내삽-유형 필터링을 용이하게 하는 복수의 상이한 필터들을 나타낼 수도 있다. 따라서, 예측 유닛 (32) 은 복수의 내삽 또는 내삽-형 필터들을 포함할 수도 있다. 인코딩 프로세스 동안, 비디오 인코더 (22) 는 코딩되는 비디오 블록 (도 2 에 "비디오 블록" 으로 라벨링됨) 을 수신하고, 예측 유닛 (32) 은 인터-예측 코딩을 수행하여, 예측 블록 (도 2에 "예측 블록" 으로 라벨링됨) 을 생성한다. 구체적으로 설명하면, ME 유닛 (35) 은 메모리 (34) 에서의 예측 블록을 식별하기 위해 모션 추정을 수행할 수도 있으며, MC 유닛 (37) 은 예측 블록을 생성하기 위해 모션 보상을 수행할 수도 있다.
모션 추정은 일반적으로 비디오 블록들에 대한 모션을 추정하는 모션 벡터들을 생성하는 프로세스로서 간주된다. 모션 벡터는, 예를 들어, 현재의 프레임 (또는, 다른 코딩된 유닛) 내에서 코딩되는 블록에 대한, 예측 또는 참조 프레임 (또는, 다른 코딩된 유닛, 예컨대, 슬라이스) 내 예측 블록의 변위를 나타낼 수도 있다. 본 개시물의 기법들에 따르면, 모션 벡터는 서브-정수 픽셀 정밀도를 가질 수도 있다. 예를 들어, 모션 벡터의 수평 성분 및 수직 성분 양자는 각각의 풀 정수 성분들 및 서브-정수 성분들을 가질 수도 있다. 참조 프레임 (또는, 그 프레임의 부분) 은 시간적으로 (temporally) 현재의 비디오 블록이 속하는 비디오 프레임 (또는, 비디오 프레임의 부분) 전 또는 후에 로케이트될 수도 있다. 모션 보상은 일반적으로 메모리 (34) 로부터 예측 블록을 페치하거나 또는 생성하는 프로세스로서 간주되며, 모션 추정에 의해 결정된 모션 벡터에 기초하여 예측 데이터를 내삽하거나 또는 아니면 생성하는 것을 포함할 수도 있다.
ME 유닛 (35) 은 비디오 블록을 하나 이상의 참조 프레임들 (예컨대, 이전 및/또는 후속 프레임) 의 참조 블록들과 비교함으로써, 코딩되는 비디오 블록에 대한 모션 벡터를 계산한다. 참조 프레임들에 대한 데이터는 메모리 (34) 에 저장될 수도 있다. ME 유닛 (35) 은 분수 픽셀, 분수 pel, 서브-정수, 또는 서브-픽셀 모션 추정으로서 종종 지칭되는, 분수 픽셀 정밀도를 갖는 모션 추정을 수행할 수도 있다. 이와 같이, 용어들 분수 픽셀, 분수 pel, 서브-정수, 및 서브-픽셀 모션 추정은 상호교환가능하게 사용될 수도 있다. 분수 픽셀 모션 추정에서, ME 유닛 (35) 은 정수 픽셀 로케이션과는 다른 로케이션에 대한 변위를 나타내는 모션 벡터를 계산할 수도 있다. 따라서, 모션 벡터는 분수 픽셀 정밀도, 예컨대, 1/2-픽셀 정밀도, 1/4-픽셀 정밀도, 1/8 픽셀 정밀도, 또는 다른 분수 픽셀 정밀도들을 가질 수도 있다. 이 방법에서, 분수 픽셀 모션 추정은 예측 유닛 (32) 이 정수-픽셀 (또는 풀-픽셀) 로케이션들보다 더 높은 정밀도로 모션을 추정하는 것을 가능하게 하며, 따라서, 예측 유닛 (32) 이 더 정확한 예측 블록을 생성할 수도 있다. 분수 픽셀 모션 추정은 1/2-픽셀 정밀도, 1/4-픽셀 정밀도, 1/8-픽셀 정밀도, 또는 임의의 더 정밀한 서브-픽셀 정밀도를 가질 수도 있다. ME 유닛 (35) 은 모션 추정 프로세스 동안 임의의 필요한 내삽들을 위해 필터(들) (39) 을 호출할 수도 있다. 일부 예들에서, 메모리 (34) 는 서브-정수 픽셀들에 대한 내삽된 값들을 저장할 수도 있으며, 그 값들은 예컨대, 필터(들) (39) 을 이용하여 합산기 (51) 에 의해 계산될 수도 있다. 예를 들어, 합산기 (51) 는 메모리 (34) 에 저장된 재구성된 블록들에 필터(들) (39) 을 적용할 수도 있다.
분수 픽셀 모션 보상을 수행하기 위해, MC 유닛 (37) 은 데이터를 서브-픽셀 해상도 (본원에서 서브-픽셀 또는 분수 픽셀 값들로서 지칭됨) 에서 생성하기 위해, 내삽 (종종 내삽 필터링으로서 지칭됨) 을 수행할 수도 있다. MC 유닛 (37) 은 이 내삽을 위해 필터(들) (39) 을 호출할 수도 있다. 예측 유닛 (32) 은 본원에서 설명되는 기법들을 이용하여 내삽 (또는, 정수 픽셀들의 내삽-형 필터링) 을 수행할 수도 있다. 이 방법에서, 예측 유닛 (32) 은 참조 블록의 서브-정수 픽셀 위치들에 대한 값들을 계산할 수도 있으며, 이 값들은 이후에 비디오 데이터의 예측 블록을 생성하는데 이용될 수도 있다.
일단 코딩되는 비디오 블록에 대한 모션 벡터가 ME 유닛 (35) 에 의해 계산되면, MC 유닛 (37) 은 그 모션 벡터와 연관되는 예측 비디오 블록을 생성한다. MC 유닛 (37) 은 MC 유닛 (35) 에 의해 결정된 모션 벡터에 기초하여 메모리 (34) 로부터 예측 블록을 페치할 수도 있다. 분수 픽셀 정밀도를 가진 모션 벡터의 경우, MC 유닛 (37) 은 예컨대, 이 프로세스 동안 필터(들) (39) 을 호출하여, 메모리 (34) 로부터의 데이터를 필터링하여, 이런 데이터를 서브-픽셀 해상도로 내삽할 수도 있다. 일부의 경우, 이런 데이터를 서브-픽셀 해상도로 내삽하는데 사용되는 필터 계수들에 대응하는 풀-정수 픽셀 위치들은 코딩된 비트스트림에의 포함을 위해 엔트로피 코딩 유닛 (46) 에 하나 이상의 내삽 구문 엘리먼트들로서 표시될 수도 있다. 이와 유사하게, 서브-픽셀 예측 데이터를 생성하는데 사용되었던 내삽 필터링 기법 또는 모드는 또한 코딩된 비트스트림에의 포함을 위해 엔트로피 코딩 유닛 (46) 에 하나 이상의 내삽 구문 엘리먼트들로서 표시될 수도 있다.
일단 예측 유닛 (32) 이 예측 블록을 생성하였으면, 비디오 인코더 (22) 는 코딩중인 원래 비디오 블록으로부터 예측 블록을 감산함으로써 잔여 비디오 블록 (도 2 에 "잔여 블록" 으로 라벨링됨) 을 형성한다. 가산기 (48) 는 이 감산 동작을 수행하는 구성요소 또는 구성요소들을 나타낸다. 변환 유닛 (38) 은 이산 코사인 변환 (DCT) 또는 개념적으로 유사한 변환과 같은 변환을 잔여 블록에 적용하여, 잔여 변환 블록 계수들을 포함하는 비디오 블록을 생성한다. 변환 유닛 (38) 은, 예를 들어, DCT 와 개념적으로 유사한, H.264 표준에 정의된 변환들과 같은, 다른 변환들을 수행할 수도 있다. 이런 변환들은 예를 들어, (Karhunen-Loeve 정리 변환들과 같은) 방향 변환들, 웨이블릿 변환들, 정수 변환들, 서브밴드 변환들, 또는 다른 유형들의 변환들을 포함할 수도 있다. 임의의 경우, 변환 유닛 (38) 은 변환을 잔여 블록에 적용하여, 잔여 변환 계수들의 블록을 생성한다. 이 변환은 잔여 정보를 픽셀 도메인으로부터 주파수 도메인으로 변환할 수도 있다.
양자화 유닛 (40) 은 비트 레이트를 추가로 감소시키기 위해 잔여 변환 계수들을 양자화한다. 양자화 프로세스는 그 계수들의 일부 또는 모두와 연관되는 비트 깊이를 감소시킬 수도 있다. 양자화 이후, 엔트로피 코딩 유닛 (46) 은 양자화된 변환 계수들을 엔트로피 코딩한다. 예를 들어, 엔트로피 코딩 유닛 (46) 은 CAVLC, CABAC, 또는 또 다른 엔트로피 코딩 방법을 수행할 수도 있다.
엔트로피 코딩 유닛 (46) 은 또한 하나 이상의 모션 벡터들을 코딩하고 예측 유닛 (32) 또는 비디오 인코더 (22) 의 다른 구성요소로부터 획득되는 정보를 지원할 수도 있다. 하나 이상의 예측 구문 엘리먼트들은 코딩 모드, 하나 이상의 모션 벡터들 (예컨대, 수평 및 수직 성분들, 참조 리스트 식별자들, 리스트 인덱스들, 및/또는 모션 벡터 해상도 시그널링 정보) 에 대한 데이터, 서브-픽셀 데이터, 필터 계수들의 세트 또는 서브세트, 필터 서포트로서 사용되는 풀- 또는 서브-정수 픽셀 위치들의 세트를 생성하는데 사용되었던 내삽 기법의 표시, 또는 예측 블록의 생성과 연관되는 다른 정보를 포함할 수도 있다. 엔트로피 코딩 유닛 (46) 에 의한 엔트로피 코딩 이후, 인코딩된 비디오 및 구문 엘리먼트들은 또 다른 디바이스로 송신되거나 또는 후속 송신 또는 취출을 위해 (예를 들어, 메모리 (34) 에) 아카이브될 수도 있다.
역양자화 유닛 (42) 및 역변환 유닛 (44) 은 역양자화 및 역변환을 각각 적용하여, 예컨대, 참조 블록으로 추후 사용을 위해, 픽셀 도메인에서 잔여 블록을 재구성한다. 재구성된 잔여 블록 (도 2 에 "재구성 잔여 블록" 으로 라벨링됨) 은 변환 유닛 (38) 에 제공된 잔여 블록의 재구성된 버전을 나타낼 수도 있다. 재구성된 잔여 블록은 양자화 및 역양자화 동작들에 의해 유발되는 세부 손실 (loss of detail) 에 기인하여 합산기 (48) 에 의해 생성된 잔여 블록과 다를 수도 있다. 합산기 (51) 는 재구성된 잔여 블록을 예측 유닛 (32) 에 의해 생성된 모션 보상된 예측 블록에 가산하여, 메모리 (34) 에의 저장을 위해 재구성된 비디오 블록을 생성한다. 재구성된 비디오 블록은 예측 유닛 (32) 에 의해 후속하여 후속 비디오 프레임 또는 후속 코딩된 유닛에서 블록을 코딩하는데 사용될 수도 있는 참조 블록으로서 사용될 수도 있다.
위에서 설명한 바와 같이, 예측 유닛 (32) 은 모션 추정을 분수 픽셀 (또는 서브-픽셀) 정밀도로 수행할 수도 있다. 예측 유닛 (32) 이 분수 픽셀 모션 추정을 이용할 때, 예측 유닛 (32) 은 본 개시물에서 설명하는 내삽 동작들을 이용하여 데이터를 서브-픽셀 해상도 (예컨대, 서브-픽셀 또는 분수 픽셀 값들) 에서 생성할 수도 있다. 즉, 내삽 동작들이 정수 픽셀 위치들 사이의 위치들에서 값들을 산출하는데 이용될 수도 있다. 정수-픽셀 위치들 사이의 거리의 절반에 로케이트된 서브-픽셀 위치들은 1/2-픽셀 (1/2-pel) 위치들로서 지칭될 수도 있으며, 정수-픽셀 위치와 1/2-픽셀 위치 사이의 거리의 절반에 로케이트된 서브-픽셀 위치들은 1/4-픽셀 (1/4-pel) 위치들로서 지칭될 수도 있으며, 정수-픽셀 위치 (또는 1/2-픽셀 위치) 와 1/4-픽셀 위치 사이의 거리의 절반에 로케이트된 서브-픽셀 위치들은 1/8-픽셀 (1/8-pel) 위치들로서 지칭되는, 등등으로 지칭된다.
본 개시물의 기법들에 따르면, 내삽 필터들 (39) 중 동일한 하나가 동일한 풀 픽셀의 2개의 서브-정수 픽셀들에 대한 값들을 계산하기 위해, 서포트의 2개 이상의 상이한 세트들에 적용될 수도 있다. 아래에서 좀더 자세히 설명하는 바와 같이, 예측 유닛 (32) 은, 예를 들어, 필터들 (39) 중 하나를 서포트의 제 1 세트에 적용하여 풀 픽셀의 제 1 서브-정수 픽셀에 대한 값을 계산하고, 동일한 내삽 필터를 서포트의 상이한 제 2 세트에 적용하여 동일한 풀 픽셀의 제 2 서브-정수 픽셀에 대한 값을 계산할 수도 있다. 더욱이, 서포트의 세트들은 여러 형태들, 예컨대, 선형 (수평, 수직, 상부-좌측으로부터 하부-우측으로 경사진 대각선, 상부-우측으로부터 하부-좌측으로 경사진 대각선 등), 풀 픽셀에서 교차하는 X-형태, 원형 (예컨대, 풀 픽셀 주변에 원형의 형태인 픽셀들), 매트릭스 (예컨대, 풀 픽셀들의 다수의 로우들에서 2개 이상 픽셀들), 또는 다른 형태들을 가질 수도 있다.
이 방법에서, 비디오 인코더 (22) 는, 참조 샘플의 복수의 풀 정수 픽셀 위치들에 대한 값들을 수신하고, 복수의 풀 정수 픽셀 위치들 중 하나의 제 1 서브-정수 픽셀에 대한 값을 계산하기 위해 내삽 필터를 복수의 풀 정수 픽셀 위치들에 대한 값들의 제 1 세트에 적용하고, 풀 정수 픽셀 위치들 중 하나의 상이한 제 2 서브-정수 픽셀에 대한 값을 계산하기 위해 동일한 내삽 필터를 복수의 풀 정수 픽셀 위치들에 대한 값들의 상이한 제 2 세트에 적용하고, 제 1 서브-정수 픽셀 및 제 2 서브-정수 픽셀 중 하나를 가리키는 모션 벡터를 이용하여 현재의 픽셀들의 블록을 인코딩하도록 구성된 비디오 인코더의 일 예를 나타낸다.
도 3 은 예측 데이터와 연관되는 정수 픽셀 (또는 풀 픽셀) 위치들, 및 내삽된 예측 데이터와 연관되는 서브-픽셀 (또는 분수-픽셀) 위치들을 도시하는 개념도이다. 도 3 의 개념적인 예시에서, 상이한 박스들은 프레임 또는 프레임의 블록 내에서 픽셀 및 서브-픽셀 위치들을 나타낸다. 숫자를 가진 대문자들 (실선 박스들에서) 은 정수-픽셀 로케이션들을 나타내며, 한편, 소문자들 (점선 박스들에서) 은 서브-픽셀 위치들을 나타낸다. 특히, 픽셀 로케이션들 A1-A6, B1-B6, C1-C6, D1-D6, E1-E6, 및 F1-F6 은 프레임, 슬라이스, 또는 다른 코딩된 유닛 내에서 정수 픽셀 로케이션들의 6 × 6 어레이를 나타낸다. 서브-픽셀 위치들 "a" 내지 "o" 는 예컨대, 정수 픽셀 로케이션들 C3, C4, D3, 및 D4 사이에서 정수 픽셀 C3 와 연관되는 15개의 서브-픽셀 위치들을 나타낸다. 유사한 서브-픽셀 위치들이 모든 정수 픽셀 로케이션에 대해 존재할 수도 있다. 서브-픽셀 위치들 "a" 내지 "o" 는 정수 픽셀 C3 와 연관되는, 1/2-pel 및 1/4-pel 픽셀 위치들을 나타낸다. 아래에서 좀더 자세히 설명하는 바와 같이, 동일한 내삽 필터가 예컨대, 동일한 내삽 필터를 서포트의 상이한 세트들에 적용함으로써, 서브-픽셀들 a - o 중 2개 이상에 대한 값들을 계산하는데 이용될 수도 있다.
정수-픽셀 로케이션들은 비디오 데이터가 원래 생성되었을 때, 포토다이오드와 같은 물리적인 센서 엘리먼트와 연관될 수도 있다. 포토다이오드는 센서의 로케이션에서 광원의 강도를 측정하고, 픽셀 강도 값을 정수-픽셀 로케이션과 연관시킬 수도 있다. 다시 말해서, 각각의 정수-픽셀 로케이션은 15개의 (또는, 가능하면 더 많거나 또는 더 적은) 서브-픽셀 위치들의 연관되는 세트를 가질 수도 있다. 정수-픽셀 로케이션들과 연관되는 서브-픽셀 위치들의 개수는 원하는 정밀도에 의존할 수도 있다. 도 3 에 도시된 예에서, 원하는 정밀도는 1/4 픽셀 정밀도이며, 이 경우, 정수 픽셀 로케이션들 각각은 15개의 상이한 서브-픽셀 위치들과 관련된다. 더 많거나 또는 더 적은 서브-픽셀 위치들이 원하는 정밀도에 기초하여 각각의 정수-픽셀 로케이션과 연관될 수도 있다. 1/2-픽셀 정밀도에 있어서, 예를 들어, 각각의 정수-픽셀 로케이션은 3개의 서브-픽셀 위치들에 대응할 수도 있다. 또 다른 예로서, 정수 픽셀 로케이션들의 각각은 1/8-픽셀 정밀도에 있어 63개의 서브-픽셀 위치들에 대응할 수도 있다. 각각의 픽셀 로케이션은 하나 이상의 픽셀 값들, 예컨대, 하나 이상의 휘도 및 색차 값들을 정의할 수도 있다.
도 3 의 예에서, 정수 픽셀 "C3" 와 연관되는 서브-픽셀 위치들은 1/4-픽셀 정밀도에 대해 도시된다. 픽셀 C3 와 연관되는 15개의 서브-픽셀 위치들은 "a", "b", "c", "d", "e", "f", "g", "h", "i", "j", "k", "l", "m", "n", 및 "o" 로서 라벨링된다. 다른 정수-픽셀 로케이션들과 연관되는 대부분의 다른 분수 로케이션들은 (이하에서 더 자세히 설명하는 바와 같이, 픽셀 로케이션 C3 와 연관되는 15개의 상이한 분수 로케이션들 중 하나 이상을 생성하는데 사용되는 분수 로케이션들 이외에는) 단순성을 위해 도시되지 않는다. 서브-픽셀 위치들 "b", "h" 및 "j" 는 1/2-픽셀 로케이션들로서 지칭될 수도 있으며, 서브-픽셀 위치들 "a", "c", "d", "e", "f", "g", "i", "k", "l", "m", "n", 및 "o" 은 1/4-픽셀 로케이션들로서 지칭될 수도 있다.
비디오 인코더 (40) 의 예측 유닛 (32) 은 서브-픽셀 위치들 "a" 내지 "o" 에 대한 픽셀 값들을 MC 유닛 (37) 에 의한 내삽 필터링을 이용하여 결정할 수도 있다. 예측 유닛 (32) 은 서브-픽셀 위치들 "a" 내지 "o" 에 대한 픽셀 값들을 36-탭 내삽 필터를 이용하여 결정할 수도 있다. 예측 유닛 (32) 은 내삽 필터를 서브-픽셀 위치들의 각각에 대한 모든 36개의 풀-정수 픽셀 위치들에 적용할 수도 있다. 다른 예들에서, 서브-픽셀 위치들에 대한 값들을 내삽하기 위해 풀-정수 픽셀 위치들의 서브세트들이 필터 서포트로서 이용된다.
일 예에서, 비디오 인코더 (40) 의 예측 유닛 (32) 은 서브-픽셀 위치들 "a" 내지 "o" 에 대한 픽셀 값들을 ITU-T H.264 표준에 따르는 내삽 필터를 이용하는 MCU (37) 에 의한 내삽 필터링을 이용하여 결정할 수도 있다. ITU-T H.264 표준에 따라서, 예를 들어, 예측 유닛 (32) 은 1/2-픽셀 로케이션들에 대한 픽셀 값들을 위이너 필터 (Wiener filter) 와 같은 6-탭 내삽 필터를 이용하여 결정할 수도 있다. H.264 표준의 경우, 6-탭 내삽 필터에 대한 필터 계수들은 일반적으로 [1, -5, 20, 20, -5, 1] 이지만, 다른 계수들이 사용될 수도 있다. 예측 유닛 (32) 은 내삽 필터를 6개의 풀 정수 픽셀 위치들의 임의의 세트에 적용할 수도 있다. 일 예에서, 1/2-픽셀 위치 "b" 에 있어, 6-탭 필터의 탭들은 B3, B4, C3, C4, D3, 및 D4 에 대응할 수도 있다. 다른 예들에서, 1/2-픽셀 위치 "b" 에 있어 6-탭 필터의 탭들은 6개의 풀 정수 픽셀 위치들의 또 다른 세트일 수도 있다. 이와 유사하게, 일 예에서, 1/2-픽셀 위치 "h" 에 있어, 6-탭 필터의 탭들은 C2, C3, C4, D2, D3, 및 D4 에 대응할 수도 있다. 예를 들어, 서브-픽셀 위치 "j" 에 대한 픽셀 값들은 방정식들 (1) 또는 (2) 를 이용하여 산출될 수도 있다:
Figure pat00001
위에 나타낸 방정식들 1 및 2 는 어떻게 풀 정수 픽셀 위치들의 값들이 6-탭 필터의 상이한 계수들과 연관될 수 있는지의 일 예를 도시한다. 다른 예들에서, 풀 정수 픽셀 위치들의 값들은 6-탭 필터의 상이한 계수들에 대응할 수도 있다. 일 예에서, 서브-픽셀 위치에 가장 가까운 서브-픽셀 위치에 대한 필터 서포트에서의 풀 정수 픽셀 위치들은 필터에서 더 높은 가중된 계수들이 주어지는 반면, 서브-픽셀 위치로부터 멀리 있는 풀 정수 픽셀 위치들은 더 낮은 가중치가 주어진다. 다른 예들에서, 어느 풀 정수 픽셀 위치가 어느 계수들에 대응하는 지 여부를 결정하는 다른 방법들이 사용된다.
동일한 풀-pel 의 상이한 서브-pel들은 상이한 서포트를 이용하여 계산될 수도 있다. 예를 들어, (위에서 설명한 풀-픽셀 위치 C3 와 연관되는 "b" 및 "h" 와 같은) 일부 서브-픽셀 위치들은 풀 정수 픽셀 위치들의 동일한 또는 상이한 서브세트들로 계산될 수도 있는 반면, 서브-픽셀 로케이션은 다른 서브-픽셀 위치들에 기초하여 결정될 수도 있다. 예를 들어, 풀-픽셀 로케이션 C3 와 또한 연관되는 1/2-픽셀 위치 "j" 는 서브-픽셀 위치들에 의존하는 이중선형 내삽 필터를 이용하여 계산될 수도 있다. 1/2-픽셀 위치 "j" 에 있어, 6-탭 필터의 탭들은 그것들 자체는 수평으로 위치들 C1-C6 과 D1-D6 사이에서, 또는 수직으로 위치들 A3-F3 과 A4-F4 사이에서 내삽되는 것에 대응한다. 1/2-픽셀 로케이션 "j" 은 1/2-픽셀 위치들의 이전에 내삽된 픽셀 값들을 이용하는 6-탭 필터로, 예컨대, 방정식들 (3) 또는 (4) 중 하나에 따라서, 산출될 수도 있다:
Figure pat00002
여기서, (도 3 에 도시된 바와 같이) aa 는 A3 와 A4 사이의 내삽에 대응하고, bb 는 B3 와 B4 사이의 내삽에 대응하고, b 는 C3 와 C4 사이의 내삽에 대응하며, hh 는 D3 와 D4 사이의 내삽에 대응하고, ii 는 E3 와 E4 사이의 내삽에 대응하고, jj 는 F3 와 F4 사이의 내삽에 대응한다. 방정식 4 에서, cc 는 C1 와 D1 사이의 내삽에 대응하고, dd 는 C2 와 D2 사이의 내삽에 대응하며, h 는 C3 와 D3 사이의 내삽에 대응하고, ee 는 C4 와 D4 사이의 내삽에 대응하며, ff 는 C5 와 D5 사이의 내삽에 대응하고, gg 는 C6 와 D6 사이의 내삽에 대응한다.
H.264 표준에 따라서, 예측 유닛 (32) 은 일부 픽셀 값들을 1/4-픽셀 로케이션들 "a", "c", "d", "e", "f", "g", "i", "k", "l", "m", "n" 및 "o" 에서 이중선형 내삽 필터 및 둘러싸는 정수- 및 1/2-픽셀 로케이션들의 픽셀 값들을 이용하여 결정할 수도 있다. 예를 들어, 예측 유닛 (32) 은 서브-픽셀 위치 "a" 와 연관되는 픽셀 값을 C3 및 "b" 의 픽셀 값들을 이용하여 결정하고, 서브-픽셀 위치 "c" 와 연관되는 픽셀 값을 "b" 및 C4 의 픽셀 값들을 이용하여 결정하는, 등등을 할 수도 있다.
내삽된 데이터를 서브-픽셀 위치들에서 생성하기 위해 MC 유닛 (37) 에 의해 적용되는 실제 필터는 매우 다양한 구현들을 겪을 수도 있다. 일 예로서, 예측 유닛 (32) 은 내삽된 값들을 정의하기 위해, 아래에 설명되는 바와 같이, 적응적 내삽 필터링 (AIF) 을 이용할 수도 있다. ITU-T SG16/Q.6/VCEG (Video Coding Expert Group) 위원회는 H.264 그리고, 특히, AIF 보다 더 높은 코딩 효율을 제공하는 코딩 기술들을 이용하고 있다. AIF 는 특히 높은 해상도 (예컨대, 720i/p 또는 1080i/p) 를 갖는 비디오 시퀀스들에 대해 H.264 표준에서 사용되는 내삽 필터링보다 큰 코딩 이득을 제공한다. AIF 에서, 각각의 서브-픽셀 위치에 대한 내삽 필터는 예측 오차 에너지를 최소화함으로써 각각의 비디오 프레임에 대해 분석적으로 계산된다. 이것은 어드레스 앨리어싱 (aliasing), 양자화 및 모션 추정 오차들, 카메라 잡음 또는 원래 및 참조 비디오 프레임들에 포함된 다른 아티팩트들을 해결하는 것을 돕는다. 각각의 프레임에 대한 분석적으로 유도된 적응적 필터 계수들이 그 후 예측되고 양자화되고 코딩되어, 비디오 비트스트림으로 전송될 수도 있다. 본 개시물의 기법들 중 일부는 AIF 방식 뿐만 아니라, 많은 다른 내삽 방식들 내에서도 유효하게 작용할 수 있다.
본 개시물의 양태들에 부합하는 많은 상이한 유형들의 AIF 방식들이 존재한다. 예를 들어, 제 1 방식은 2차원 비-분리가능 AIF (NS-AIF) 이고, 제 2 방식은 분리가능 AIF (S-AIF) 이며, 제 3 방식은 방향 필터들 (D-AIF) 을 갖는 AIF 이다. 이들 AIF 방식들 각각이 상이한 내삽 기법들 및 서포트를 이용하더라도, 모든 3개의 AIF 방식들은 유사한 분석 프로세스들을 이용하여 필터 계수들을 유도할 수도 있으며, 아래에서 비-분리가능 AIF 를 일 예로서 이용하여 설명된다. 이들 AIF 방식들 중 임의의 방식이 임의의 주어진 서브-픽셀 위치에 대한 상이한 풀-정수 픽셀 위치들과 함께 이용될 수도 있다.
6 × 6 2차원 비-분리가능 필터가 계수들
Figure pat00003
을 갖고, 여기서, i,j = 0...5 및 SP 는 도 3 에 나타낸 15개의 서브-픽셀 위치들 ("a" 내지 "o") 중 하나를 나타낸다고 가정한다. 15개의 서브-픽셀 위치들 중 6개, 즉, "a", "b", "c", "d", "h" 및 "l" 가 1차원 (1D) 서브-픽셀 위치들이고, 예측 유닛 (32) 이 이런 데이터를 내삽하는데 6-탭 내삽 필터를 이용할 수도 있다는 점에 유의한다. 서브-픽셀 위치들 "a", "b", "c", "d", "h" 및 "l" 은 2개의 정수-픽셀 위치들 사이에 수평 또는 수직 라인으로 로케이트된다는 점에서 볼 때 1D 이다. 또한, 참조 프레임의 정수-픽셀 위치들 (도 3 에서 A1 내지 F6) 에서의 예측 픽셀들은 Pi,j 의 픽셀 값들을 취한다고 가정하며, 여기서, i,j = 0...5 이다. 즉, A1 는 P0,0, ... 의 값을 취하고, A6 는 P5,0, ... 의 값을 취하고, F1 는 P5,0, ... 의 값을 취하고 F6 는 P5,5 의 값을 취한다. 그 후, 서브-픽셀 위치
Figure pat00004
에서 내삽된 값 PSP 은 다음 방정식을 이용하여 예측 유닛 (32) 에 의해 계산될 수도 있다
Figure pat00005
Sx,y 을 위치 (x, y) 에서 현재의 비디오 프레임의 픽셀 값이라 하자.
Figure pat00006
여기서, (mvx, mvy) 는 모션 벡터이고,
Figure pat00007
는 모션 벡터의 정수 성분이고, 그리고, FO 는 필터 오프셋이다. 이 값
Figure pat00008
은 참조 프레임들에서 대응하는 픽셀 위치이다. 예를 들어, 6-탭 필터의 경우, FO = 6/2 - 1 = 2 이다. 각각의 서브-픽셀 위치 SP 에 대해, 현재의 프레임에서의 실제 픽셀 값과 내삽된 값 사이의 예측 오차 에너지
Figure pat00009
는 서브-픽셀 위치 SP 에 대응하는 모션 벡터 정밀도를 갖는 모든 픽셀들에 대해 예측 유닛 (32) 에 의해 누적될 수 있다. 예측 오차 에너지
Figure pat00010
는 다음 방정식을 이용하여 예측 유닛 (32) 에 의해 계산될 수도 있다:
Figure pat00011
서브-픽셀 위치들 (a 내지 o) 각각에 대해, MC 유닛 (37) 은 필터 계수들
Figure pat00012
에 대해
Figure pat00013
의 도함수를 산출함으로써, 방정식들의 개개의 세트를 셋업할 수도 있다. 방정식들의 개수는, 이 경우, 현재의 서브-픽셀 위치 SP 에 대해 사용되는 필터 계수들의 개수와 동일하다. 각각의 서브-픽셀 위치에 대해, 예측 유닛 (32) 은 6 × 6 탭 1D 내삽 필터 (예컨대, 1D 6-탭 필터) 를 이용할 수도 있다. 다른 예들에서, 예측 유닛 (32) 은 상이한 탭 내삽 필터들 (예컨대, 1D 12-탭 필터) 을 이용할 수도 있다. 1D 6-탭 필터의 경우, 6개의 연립 방정식들은 MC 유닛 (37) 에 의해 풀어질 수도 있다.
Figure pat00014
필터(들) (39) 은 예측 데이터를 생성하기 위해 MC 유닛 (37) 에 의해 이용될 수도 있는 하나의 필터 또는 많은 상이한 필터들의 세트를 나타낼 수도 있다.
따라서, AIF 필터들을 유도하고 적용하는 하나의 예시적인 프로세스는 다음 단계들을 가질 수도 있으며, 이 단계들은 예측 유닛 (32) 에 의해 수행될 수 있다:
1. 모든 코딩되는 비디오 블록에 대해 모션 벡터들 (mvx, mvy) 을 추정한다. 모션 추정 동안, 고정된 내삽 필터 (예컨대, H.264/AVC 의 내삽 프로세스) 가 적용될 수 있다.
2. 이들 모션 벡터들을 이용하여, 현재의 비디오 프레임에 걸쳐 각각의 서브-픽셀 위치 SP 에 대해 예측 오차 에너지를 누적한다. 그 후, 위의 2개의 예측 에너지 방정식들에서와 같이 예측 오차 에너지를 최소화함으로써, 각각의 서브-픽셀 위치 SP 에 대해 적응적 필터 계수들
Figure pat00015
을 독립적으로 계산한다.
3. 새로운 모션 벡터들을 추정한다. 이 모션 추정 프로세스 동안, 단계 2 에서 산출된 적응적 내삽 필터들이 적용될 수도 있다. 이 적응적 내삽 필터들을 이용하여, (앨리어싱, 카메라 잡음 등에 의해 유발되는) 모션 추정 오차들이 감소될 수도 있으며, 더 나은 모션 예측이 달성된다.
상이한 AIF 방식들은 위에서 주어진 프로세서와 동일한 분석 프로세스를 이용할 수도 있다. 상이한 방식들 사이의 차이들은 내삽 필터들이 분리가능하든 또는 비-분리가능하든, 사용되는 고유한 필터 계수들의 수, 및 (서브-픽셀 위치들 중 적어도 부분을 내삽하는데 사용되는 정수 픽셀 위치들과 같은) 사용되는 필터 서포트에 주로 존재한다. 이들 방식들 각각에서, 풀-정수 픽셀 위치들의 상이한 세트들이 상이한 서브-픽셀 위치들에 대해 사용될 수도 있다.
NS-AIF 에 대해, 예를 들어, 예측 유닛 (32) 의 MC 유닛 (37) 은 1D 서브-픽셀 위치들 "a", "b", "c", "d", "h", 및 "l" 을 6개의 계수들을 필요로 하는 1D 6-탭 내삽 필터 (또한, 각각의 탭이 정수-픽셀 위치에 대응할 때에 6-위치 필터로서 지칭됨) 를 이용하여 내삽할 수도 있다. 서브-픽셀들 각각을 내삽하는데 사용되는 6-위치 필터들의 6개의 계수들은 도 3 에 도시된 정수-픽셀 위치들 중 하나에 대응한다. 예를 들어, 서브-픽셀 위치들 "a" 에 대해, 그 계수들에 대응하는 6개의 정수-픽셀 위치들은 C1, C2, C3, C4, C5 및 C6 일 수도 있다. 다른 예들에서, 풀-정수 픽셀 위치의 임의의 6개의 멤버 서브세트가 서브-픽셀 위치 "a" 에 대한 값을 계산하는데 사용될 수도 있다. 이들 정수-픽셀 위치들은 내삽 필터의 "필터 서포트" 의 예들을 나타낸다. 일부 예들에서, 필터 서포트는 다른 서브-정수 픽셀들에 대한 이전에 계산된 값들을 포함할 수도 있다.
또 다른 AIF 방식, 즉, S-AIF 에서, 예측 유닛 (32) 은 NS-AIF 에서 사용되는 것과 같은 비-분리가능 내삽 필터들 대신, 풀-정수 픽셀 위치들의 임의의 서브세트를 이용하여 분리가능 내삽 필터들을 이용할 수도 있다. 예를 들어, 1D 서브-픽셀 위치들에 대해, 예측 유닛 (32) (예컨대, 예측 유닛 (32) 의 MC 유닛 (37)) 은 오직 수평 방향 필터들, 오직 수직 방향 필터들, 오직 대각선 필터들 (도 4 및 도 5 참조), 오직 결합된 수평 및 수직 방향 필터 (도 5 참조), 오직 직사각형의 필터들 (도 7 및 도 8 참조), 또는 필터 서포트의 임의의 다른 조합을, 서브-픽셀 로케이션에 따라서, 적용한다. 일 예에서, 대각선 필터는 6-위치 (또는 6-탭) 필터를 포함한다. 예측 유닛 (32) 은 정수-픽셀 위치들 A1, B2, C3, D4, E5, 및 F6 (도 4 참조) 을 갖는 서브-픽셀 위치들 "e", "j", 및 "o" 에 대해 대각선 필터들을 필터 서포트로서 적용하고, 정수-픽셀 위치들 A3, B3, C3, D3, E3 및 F3 (도 6 참조) 을 갖는 서브-픽셀 위치들 "d", "h", 및 "l" 에 대해 수직 방향 필터들을 필터 서포트로서 적용한다. 나머지 서브-픽셀 위치들, 즉, 2D 서브-픽셀 위치들에 대해, 예측 유닛 (32) 은 대각선 필터링을 적용한 후 수직 필터링을 적용하거나, 또는 수직 필터링을 적용한 후 대각선 필터링을 적용할 수도 있다. 다시 말해서, 분리가능 대각선 및 수직 필터들에 사용되는 필터 계수들은 적응적 내삽 필터링에 관련한 예들에서, 상기 방정식 (7) 에 따라서 산출될 수도 있다. 다른 예들에서, 필터 서포트의 임의의 서브세트 및 형태가 서브-픽셀 위치들에 대한 값들을 계산하는데 사용될 수도 있다.
예측 유닛 (32) 의 MC 유닛 (37) 은 서브-픽셀 위치들에 대한 값들의 내삽 동안 코딩 이득들을 증대시킬 수도 있거나 및/또는 서브-픽셀 위치들을 내삽하는데 사용되는 필터 서포트의 변동성을 증대시킬 수도 있는, 본원에서 설명하는 내삽 기법들 중 하나 이상의 기법을 이용할 수도 있다. 본 개시물은 (대각선 서포트, 또는 방사상 형태를 가진 12-픽셀 필터 서포트와 같은) 내삽에 사용될 수도 있는 필터 서포트의 세트들의 다른 예들을 아래에서 더욱더 자세하게 설명한다. 게다가, 내삽 필터들 사이에 선택하는 기법들, 필터 서포트를 선택하는 기법들, 및 필터 계수들을 예측 인코딩하는 기법들이 또한 설명된다.
도 4 는 서브-정수 픽셀 로케이션에 대해 대각선 6개의 픽셀 필터 서포트를 도시하는 개념도이다. 본 개시물에 따르면, MC 유닛 (37) 은 서브-픽셀 위치들 "a" 내지 "o" 중 임의의 위치에 대한 서브-픽셀 값들을 음영으로된 정수 픽셀 값들에 기초하여 산출할 수도 있다. 이 경우, 서브-픽셀 값들 중 임의의 값을 산출하는 것은 도 4 에 도시된 바와 같이 서브-픽셀 위치들과 연관되는 풀-정수 픽셀 위치와 대각선인 6개의 (또는, 가능한 더 많은) 정수 픽셀 위치들의 세트에 대응하는 필터 서포트 위치들의 대각선 어레이를 이용하는 내삽 필터를 적용하는 것을 포함한다. 필터 서포트 위치들은 음영과 대문자로 나타내며, 서브-픽셀 위치들은 점선들 및 소문자를 가진 박스들로서 도시된다. MC 유닛 (37) 은 비디오 블록에서 오직 픽셀들의 서브세트에 대해 픽셀들을 이 방법으로 내삽할 수도 있으며, 서브-픽셀 값들을 내삽하는 것에 기초하여 예측 블록을 생성할 수도 있다. 다른 예들에서, MC 유닛 (37) 은 비디오 블록의 모든 픽셀에 대해 픽셀들을 이 방법으로 내삽할 수도 있다.
이 예에서, 6 위치 필터 서포트는 대각선 형태를 갖는다. 그러나, 다른 예들에서, 임의의 다른 6 위치 필터 서포트는 임의의 다른 형태를 가질 수 있다. 서브-픽셀 위치들을 통과해서 대각선으로 연장하는 6개 또는 이상의 정수 픽셀 위치들의 세트가 도 4 에 음영으로 도시된다. 필터 서포트는 서브-픽셀 위치들을 둘러싸는 4개의 정수 위치들 중 2개, 즉 C3 및 D4 뿐만 아니라, C3 및 D4 을 통과하는 대각선 라인을 따른 4개의 정수-픽셀 위치들 A1, B2, E5, 및 F6 을 포함할 수도 있다. 이런 필터링은 비디오 인코더 (22) (도 2) 에 의한 비디오 인코딩 프로세스 동안 또는 비디오 디코더 (28) (도 10) 에 의한 비디오 디코딩 프로세스 동안 모션 보상의 부분을 형성할 수도 있다. 이 비디오 인코딩 프로세스 동안, 예측 유닛 (32) 은 계수 값들의 복수의 세트들을 엔트로피 코딩 유닛 (46) 으로 예측 구문 엘리먼트들의 부분으로서 전달할 수도 있다.
도 4 에 나타낸 바와 같이, 서브-픽셀 위치들을 둘러싸는 6개 또는 이상의 정수 픽셀 위치들의 세트는 대각선 형태를 갖는다. 또 다른 예에서, 필터 서포트는 서브-픽셀 위치들을 둘러싸는 4개의 정수 위치들 중 2개, 즉 C4 및 D3 뿐만 아니라, C4 및 D3 을 통과하는 대각선 라인을 따른 4개의 정수-픽셀 위치들 A6, B5, E2, 및 F1 을 포함할 수도 있다. 일부 예들에서, 단지 서브-픽셀 위치들 "a" 내지 "o" 의 서브세트는 대각선 필터 서포트를 이용하여 결정된다. 다른 예들에서, 서브-픽셀 위치들 "a" 내지 "o" 모두는 대각선 필터 서포트를 이용하여 결정된다.
엔트로피 코딩 유닛 (46) 은 계수 값들의 세트들을 인코딩하고, 내삽 필터의 계수 값들을 인코딩된 비트스트림의 부분으로서 출력할 수도 있으며, 그 후 또 다른 디바이스로 송신될 수도 있다. 도 4 에 나타낸 각각의 상이한 서브-픽셀 로케이션에 대해 정의된 계수 값들의 복수의 세트들 각각은 6개 또는 이상의 정수 픽셀 위치들에 대해 상이한 가중치들을 정의할 수도 있다. 엔트로피 코딩 유닛 (46) 은 또한 필터 서포트의 세트들을 인코딩하고, 필터 서포트의 세트들을 인코딩된 비트스트림의 부분으로서 출력할 수도 있으며, 그 후 또 다른 디바이스로 출력될 수도 있다. 상이한 서브-정수 픽셀 위치들의 세트들은 상이한 필터 서포트의 세트들을 가질 수도 있다. 더욱이, 상이한 필터 서포트의 세트들이 동일한 또는 상이한 내삽 필터들에 적용될 수도 있다.
도 5 는 서브-정수 픽셀 로케이션에 대해 x-형상의 12개의 픽셀 필터 서포트를 도시하는 개념도이다. 본 개시물에 따르면, MC 유닛 (37) 은 서브-픽셀 위치들 "a" 내지 "o" 중 임의의 위치에 대한 서브-픽셀 값들을 음영으로된 정수 픽셀 값들에 기초하여 산출할 수도 있다. 이 경우, 서브-픽셀 값들 중 임의의 값들을 산출하는 것은 도 5 에 도시된 바와 같이 서브-픽셀 위치들을 둘러싸는 4개의 풀-정수 픽셀 위치와 대각선 12개 (또는, 가능하면 그 이상의) 정수 픽셀 위치들의 세트에 대응하는 필터 서포트 위치들의 x-형상의 어레이를 정의하는 내삽 필터를 적용하는 것을 포함한다. 필터 서포트 위치들은 음영 및 대문자로 도시되며, 서브-픽셀 위치들은 점선들 및 소문자를 가진 박스들로서 도시된다. MC 유닛 (37) 은 비디오 블록에서 오직 픽셀들의 서브세트에 대해 픽셀들을 이 방법으로 내삽할 수도 있으며, 서브-픽셀 값들을 내삽하는 것에 기초하여 예측 블록을 생성할 수도 있다. 다른 예들에서, MC 유닛 (37) 은 비디오 블록의 모든 픽셀에 대해 픽셀들을 이 방법으로 내삽할 수도 있다.
12개의 위치 필터 서포트는 x-형태를 갖는다. 그러나, 다른 예들에서, 서브-픽셀 위치들 중 임의의 위치에 대한 임의의 다른 12개의 위치 필터 서포트는 임의의 다른 형태를 가질 수 있다. 서브-픽셀 위치들을 통과해서 x-형상으로 연장하는 12개 또는 이상의 정수 픽셀 위치들의 세트가 도 5 에 음영으로 도시된다. 필터 서포트는 서브-픽셀 위치들을 둘러싸는 4개의 정수 위치들 C3, C4, D3, 및 D4 뿐만 아니라, C3 및 D4 를 통과하는 대각선 라인을 따른 4개의 정수-픽셀 위치들 A1, B2, E5, 및 F6, 및 C4 및 D3 를 통과하는 대각선 라인을 따른 4개의 정수-픽셀 위치들 A6, B5, E2, 및 F1 을 포함할 수도 있다. 이런 필터링은 비디오 인코더 (22) (도 2) 에 의한 비디오 인코딩 프로세스 동안 또는 비디오 디코더 (28) (도 10) 에 의한 비디오 디코딩 프로세스 동안 모션 보상의 부분을 형성할 수도 있다. 이 비디오 인코딩 프로세스 동안, 예측 유닛 (32) 은 계수 값들의 복수의 세트들을 엔트로피 코딩 유닛 (46) 로 예측 구문 엘리먼트들의 부분으로서 전달될 수도 있다.
일부 예들에서, 단지 서브-픽셀 위치들 "a" 내지 "o" 의 서브세트는 x-형상의 필터 서포트를 이용하여 결정된다. 다른 예들에서, 서브-픽셀 위치들 "a" 내지 "o" 모두는 x-형상의 필터 서포트를 이용하여 결정된다.
엔트로피 코딩 유닛 (46) 은 계수 값들의 세트들을 인코딩하고, 내삽 필터의 계수 값들을 인코딩된 비트스트림의 부분으로서 출력할 수도 있으며, 그 후 또 다른 디바이스로 송신될 수도 있다. 도 5 에 나타낸 각각의 상이한 서브-픽셀 로케이션에 대해 정의된 계수 값들의 복수의 세트들 각각은 12개 또는 이상의 정수 픽셀 위치들에 대해 상이한 가중치들을 정의할 수도 있다. 엔트로피 코딩 유닛 (46) 은 또한 필터 서포트의 세트들을 인코딩하고 필터 서포트의 세트들을 인코딩된 비트스트림의 부분으로서 출력할 수도 있으며, 그 후 또 다른 디바이스로 송신될 수도 있다.
도 6 은 적어도 하나의 서브-픽셀 위치에 대해 십자형의, 12개의 픽셀 필터 서포트를 도시하는 개념도이다. 본 개시물에 따르면, MC 유닛 (37) 은 풀-픽셀 위치와 연관되는 임의의 서브-픽셀 위치들에 대한 서브-픽셀 값들을 음영으로된 정수 픽셀 값들에 기초하여 산출할 수도 있다. 이 경우, 서브-픽셀 값들 중 임의의 값들을 산출하는 것은 서브-픽셀 위치들을 둘러싸는 4개의 풀-정수 픽셀 위치 (예를 들어, C3, C4, D3, 및 D4) 뿐만 아니라, 수직 정수 픽셀 위치들 (예를 들어, A3, B3, E3, 및 F3), 및 수평 정수 픽셀 위치들 (예를 들어, C1, C2, C5, 및 C6) 를 포함할 수도 있는 12개 (또는, 가능하면 그 이상의) 정수 픽셀 위치들의 세트에 대응하는 필터 서포트 위치들의 t-형상의 어레이를 정의하는 내삽 필터를 적용하는 것을 포함한다. 필터 서포트 위치들은 음영 및 대문자로 도시되며, 일부 서브-픽셀 위치들은 점선들 및 소문자를 가진 박스들로 도시된다. MC 유닛 (37) 은 비디오 블록에서 오직 픽셀들의 서브세트에 대해 픽셀들을 이 방법으로 내삽할 수도 있으며, 서브-픽셀 값들을 내삽하는 것에 기초하여 예측 블록을 생성할 수도 있다. 다른 예들에서, MC 유닛 (37) 은 비디오 블록의 모든 픽셀에 대해 픽셀들을 이 방법으로 내삽할 수도 있다.
도 6 에 나타낸 바와 같이, 3개의 수평 서브-픽셀 위치들 "a", "b", 및 "c", 및 3개의 수직 서브-픽셀 위치들 "d", "h", 및 "l" 은 12개의 픽셀 필터 서포트로 예측될 수도 있다. 그러나, 다른 예들에서, 풀 픽셀 위치와 연관되는 임의의 서브-픽셀 위치 (예컨대, 도 6 에 나타낸 C3) 는 도 6 에 나타낸 12개의 픽셀 필터 서포트를 이용하여 예측될 수도 있다.
이와 유사하게, 엔트로피 코딩 유닛 (46) 은 계수 값들의 세트들을 인코딩하고, 내삽 필터의 계수 값들을 인코딩된 비트스트림의 부분으로서 출력할 수도 있으며, 그 후 또 다른 디바이스로 송신될 수도 있다. 도 5 에 나타낸 각각의 상이한 서브-픽셀 로케이션에 대해 정의된 계수 값들의 복수의 세트들 각각은 12개 또는 이상의 정수 픽셀 위치들에 대해 상이한 가중치들을 정의할 수도 있다. 엔트로피 코딩 유닛 (46) 은 또한 필터 서포트의 세트들을 인코딩하고 필터 서포트의 세트들을 인코딩된 비트스트림의 부분으로서 출력할 수도 있으며, 그 후 또 다른 디바이스로 송신될 수도 있다.
도 7 은 서브-픽셀 로케이션에 대해 원형-형상 (또한, 방사상-형상으로도 지칭됨) 의, 12개의 픽셀 필터 서포트를 도시하는 개념도이다. 위에서 설명한 상이한 필터 서포트의 예들과 유사하게, MC 유닛 (37) 은 임의의 서브-픽셀 위치에 대한 서브-픽셀 값들을 음영으로된 정수 픽셀 값들에 기초하여 산출할 수도 있다. 이 경우, 서브-픽셀 값들을 산출하는 것은, 도 7 에 도시된 바와 같이 서브-픽셀 위치들을 둘러싸는 12개의 (또는, 가능하면 더 많은 또는 더 적은) 정수 픽셀 위치들의 세트에 대응하는 필터 서포트 위치들의 2차원 어레이를 정의하는 내삽 필터를 적용하는 것을 포함한다. 필터 서포트 위치들은 음영 및 대문자로 도시되며, 서브-픽셀 위치들은 점선들 및 소문자를 가진 박스들로서 도시된다. MC 유닛 (37) 은 비디오 블록의 임의의 픽셀에 대해 픽셀들을 이 방법으로 내삽할 수도 있으며, 내삽된 서브-픽셀 값에 기초하여 예측 블록을 생성할 수도 있다. 12개의 위치 필터 서포트는 방사상 형태를 가지며, NS-AIF 에서 사용되는 36개의 위치 필터 서포트와 유사한 주파수 응답을 갖지만 감소된 내삽 복잡성을 갖는다.
서브-픽셀 위치들을 둘러싸는 12개 또는 이상의 정수 픽셀 위치들의 세트가 도 4 에 음영으로 도시되며, 15개의 1/2-pel 및 1/4-pel 값들을 둘러싸는 4개의 정수-픽셀 위치들 C3, C4, D3, 및 D4, 및 4개의 정수-픽셀 위치들을 둘러싸는 8개의 정수-픽셀 위치들 B3, B4, C2, C5, D2, D5, E3, 및 E4 을 포함할 수도 있다. 도 7 에 나타낸 필터 서포트 위치들의 2차원 어레이에서의 필터 서포트 위치들 각각은 서브-픽셀 위치들에 대해 2개의 정수-픽셀 위치들 이내에 있다. 이런 필터링은 비디오 인코더 (22) (도 2) 에 의한 비디오 인코딩 프로세스 동안 또는 비디오 디코더 (28) (도 16) 에 의한 비디오 디코딩 프로세스 동안 모션 보상의 부분을 형성할 수도 있다. 이 비디오 인코딩 프로세스 동안, 예측 유닛 (32) 은 계수 값들의 복수의 세트들을 엔트로피 코딩 유닛 (46) 으로 예측 구문 엘리먼트들의 부분으로서 전달한다.
도 4 에 나타낸 바와 같이, 서브-픽셀 위치들을 둘러싸는 12개의 정수 픽셀 위치들의 세트는 방사상 형태를 가지며, 내삽 필터 (예컨대, 도 2 에서 필터(들) (39)) 에 의해 정의되는 서브-pel 값들에 공간적으로 가장 가까운 정수 픽셀 위치들의 세트를 포함할 수도 있다. 다른 예들에서, 도 7 에 나타낸 방사상 형태는 예를 들어, 하나의 풀 픽셀을 좌측 또는 우측으로 시프트될 수도 있다. 여전히 다른 예들에서, 임의 개수의 풀 정수 픽셀 위치들의 임의의 세트가 내삽 필터로 서브-pel 위치를 예측하는데 사용된다.
도 8 은 적어도 하나의 서브-정수 픽셀 로케이션에 대해 스퀘어-형상의 4개의 픽셀 필터 서포트를 도시하는 개념도이다. 본 개시물에 따르면, MC 유닛 (37) 은 풀-픽셀 위치와 연관되는 임의의 서브-픽셀 위치들에 대한 서브-픽셀 값들을 음영으로된 정수 픽셀 값들에 기초하여 산출할 수도 있다. 이 경우, 서브-픽셀 값들 중 임의의 값들을 산출하는 것은, 4개의 정수 픽셀 위치들의 세트에 대응하는 필터 서포트 위치들의 스퀘어-형상의 어레이를 정의하는 내삽 필터를 적용하는 것을 포함한다. 도 8 에 나타낸 예에서, 4개의 정수 픽셀 위치들은 서브-픽셀 위치들을 둘러싸는 4개의 풀-정수 픽셀 위치, 즉, C3, C4, D3, 및 D4 를 포함한다. 필터 서포트 위치들은 음영 및 대문자로 도시되며, 일부 서브-픽셀 위치들은 점선들 및 소문자를 가진 박스들로 도시된다.
MC 유닛 (37) 은 비디오 블록에서 오직 픽셀들의 서브세트에 대해 픽셀들을 이 방법으로 내삽할 수도 있으며, 서브-픽셀 값들을 내삽하는 것에 기초하여 예측 블록을 생성할 수도 있다. 다른 예들에서, MC 유닛 (37) 은 비디오 블록의 모든 픽셀에 대해 픽셀들을 이 방법으로 내삽할 수도 있다. MC 유닛 (37) 은 이들 4개의 정수 픽셀 위치들을 이용하여 서브-픽셀 위치를 예측하는데 임의의 적합한 유형의 내삽 필터를 이용할 수도 있다. 다른 예들에서, MC 유닛 (37) 은 4개의 풀 정수 픽셀 위치들의 임의의 세트를 이용하여 서브-픽셀 위치들을 내삽할 수도 있다.
도 9 는 서브-정수 픽셀 로케이션에 대한 직사각형-형상의 6개의 픽셀 필터 서포트를 도시하는 개념도이다. 이 예에서, MC 유닛 (37) 은 풀-픽셀 위치와 연관되는 임의의 서브-픽셀 위치들에 대한 서브-픽셀 값들을 음영으로된 정수 픽셀 값들에 기초하여 산출할 수도 있다. 필터 서포트 위치들은 음영 및 대문자로 도시되며, 일부 서브-픽셀 위치들은 점선들 및 소문자를 가진 박스들로 도시된다. 이 경우, 서브-픽셀 값들 중 임의의 값들을 산출하는 것은, 6개의 정수 픽셀 위치들의 세트에 대응하는 필터 서포트 위치들의 직사각형-형상의 어레이를 정의하는 내삽 필터를 적용하는 것을 포함한다. 도 8 에 나타낸 예에서, 6개의 정수 픽셀 위치들은 서브-픽셀 위치들을 둘러싸는 4개의 풀-정수 픽셀 위치 뿐만 아니라, 서브-픽셀 위치들을 둘러싸는 4개의 풀-정수 픽셀 위치에 인접한 2개의 추가적인 풀-정수 픽셀 위치들을 포함한다. 도 9 에서 서브-픽셀 위치 "f" 가 예측되므로, 필터 서포트는 서브-픽셀 "f" 둘레에 로케이트된 4개의 풀-픽셀 위치들 C3, C4, D3, 및 D4 뿐만 아니라, 인접한 풀-픽셀 위치들 B3 및 B4 를 포함한다.
다른 예들에서, 인접한 풀-픽셀 위치들은 C2 및 D2, C5 및 D5, 또는 E3 및 E4 를 포함할 수도 있다. 다른 예들에서, MC 유닛 (37) 은 6개의 풀-정수 픽셀 위치들의 임의의 세트를 이용하여 서브-픽셀 위치들을 내삽할 수도 있다. 임의의 적합한 6-탭 내삽 필터가 서브-정수 픽셀 위치를 예측하는데 사용될 수도 있다.
엔트로피 코딩 유닛 (46) 은 계수 값들의 세트들을 인코딩하고, 내삽 필터의 계수 값들을 인코딩된 비트스트림의 부분으로서 출력할 수도 있으며, 그 후 또 다른 디바이스로 송신될 수도 있다. 도 9 에 나타낸 각각의 상이한 서브-픽셀 로케이션에 대해 정의된 계수 값들의 복수의 세트들 각각은 12개 또는 이상의 정수 픽셀 위치들에 대해 상이한 가중치들을 정의할 수도 있다. 엔트로피 코딩 유닛 (46) 은 또한 필터 서포트의 세트들을 인코딩하고 필터 서포트의 세트들을 인코딩된 비트스트림의 부분으로서 출력할 수도 있으며, 그 후 또 다른 디바이스로 송신될 수도 있다.
다시 도 3 을 참조하면, 단일 예측 유닛 내 서브-정수 픽셀 위치들의 상이한 세트들은, 동일한 내삽 필터를 동일한 이미지 프레임과는 상이한 필터 서포트의 세트들에 적용하였을지도 모른다. 더욱이, 동일한 또는 상이한 내삽 필터들이 단일 예측 유닛 내 필터 서포트의 상이한 세트들에 적용될 수도 있다. 예를 들어, 서브-픽셀 위치 "e" 는 도 4 에 나타낸 바와 같이 6개의 대각선 서포트를 이용하여 예측될 수도 있다. 서브-픽셀 "e" 에 대한 필터 서포트는 풀-정수 픽셀 위치들 A1, B2, C3, D4, E5, 및 F6 를 포함할 수도 있다. 서브-픽셀 "e" 에 사용되는 내삽 필터는 6-탭 위이너 필터일 수도 있다. 동일한 예측 유닛 내에서, 서브-픽셀 위치 "j" 는 도 5 에 나타낸 바와 같이 x-형상을 갖는 12개의 풀-정수 픽셀 위치들의 세트를 이용하여 예측될 수도 있다. 서브-픽셀 "j" 에 대한 필터 서포트는 풀-정수 픽셀 위치들 A1, A6, B2, B5, C3, C4, D3, D4, E2, E5, F1, 및 F6 를 포함할 수도 있다. 서브-픽셀 "e" 에 사용되는 내삽 필터는 12-탭 위이너 필터일 수도 있다.
게다가, 서브-정수 픽셀 위치 "h" 는 도 6 에 나타낸 바와 같이 십자형의 서포트를 이용하여 예측될 수도 있다. 서브-픽셀 "h" 에 대한 필터 서포트는 A3, B3, C1, C2, C3, C4, C5, C6, D3, D4, E3, 및 F3 를 포함한, 12개의 풀-정수 픽셀 위치들을 포함할 수도 있다. 서브-픽셀 "h" 을 예측하는데 사용되는 내삽 필터는 12-탭 분리가능 또는 비-분리가능 필터일 수도 있다. 또 다른 서브-pel 위치, "k" 는 도 7 에 나타낸 바와 같이 예측될 수도 있다. 서브-픽셀 "k" 에 대한 둥근-형상의 필터 서포트는 B3, B4, C2, C3, C4, C5, D2, D3, D4, D5, E3, 및 E4 를 포함한, 12개의 풀-정수 픽셀 위치들을 포함할 수도 있다. 서브-픽셀 "h" 을 예측하는데 사용되는 내삽 필터는 12-탭 필터일 수도 있다.
더욱이, 도 8 에 나타낸 바와 같이, 서브-정수 픽셀 위치 "m" 는 서브-픽셀 "m" 에 가장 가까운 4개의 풀-정수 픽셀 위치들을 이용하여 예측될 수도 있다. 4-탭 내삽 필터가 서브-픽셀 "m" 에 대해 C3, C4, D3, 및 D4 를 포함한 필터 서포트와 함께 사용될 수도 있다. 또 다른 예로서, 서브-정수 픽셀 위치 "f" 는 도 9 에 나타낸 바와 같이 직사각형-형상의 서포트를 이용하여 예측될 수도 있다. 서브-픽셀 "f" 에 대한 필터 서포트는 B3, B4, C3, C4, D3, 및 D4 를 포함한, 6개의 풀-정수 픽셀 위치들을 포함할 수도 있다. 서브-픽셀 "f" 을 예측하는데 사용되는 내삽 필터는 12-탭 분리가능 또는 비-분리가능 필터일 수도 있다.
위에서 설명한 것은 예측 유닛에 대한 서브-픽셀 위치들을 예측하는데 사용되는 필터 서포트의 상이한 세트들 중 단지 몇 개의 예들이다. 본원에서 설명하는 바와 같이, 서브-픽셀 위치들 "e", "j", "h", "k", "m", 및 "f" 는 상이한 필터 서포트를 이용하여 각각 예측된다. 이들 서브-픽셀 위치들 중 일부는 동일한 내삽 필터를 이용하여 예측될 수도 있다. 예를 들어, 서브-픽셀 "e" 및 "f" 는 둘다 6-탭 위이너 필터를 이용하여 예측될 수도 있다. 다른 서브-픽셀 위치들은 다른 서브-픽셀 위치들과는 상이한 내삽 필터들을 이용하여 예측될 수도 있다.
다른 예들에서, 일부 풀-정수 픽셀 위치들은 서브-픽셀 위치의 값을 계산할 때에 반복될 수도 있다. 예를 들어, 1D 6-탭 내삽 필터가 사용되고 있으면, 그 서브-픽셀 위치에 대한 서포트는 6개 미만의 풀-정수 픽셀 위치들의 세트를 포함할 수도 있다. 이러한 예에서는, 풀-정수 픽셀 위치들 중 하나 이상이 반복된다. 일 예에서, 서브-픽셀 위치에 가장 가까운 그들 풀-정수 픽셀 위치들은 반복되는 풀-정수 픽셀 위치들이다. 이와 유사하게, 일 예에서, 1/2-픽셀 위치 "e" 에 있어, 6-탭 필터의 탭들은 B3, C3, C4, D3, 및 D4 에 대응할 수도 있다. 예를 들어, 서브-픽셀 위치 "e" 에 대한 픽셀 값들은 방정식 (8) 을 이용하여 산출될 수도 있다:
Figure pat00016
이들 특정의 예들에서 설명한 바와 같이, 어떤 서브-pel 위치도 또 다른 서브-pel 위치에 의존하지 않는다. 그러나, 다른 예들에서, 서브-pel 위치는 또 다른 서브-pel 위치에 의존할 수도 있다. 필터 서포트의 임의의 조합 및 각각의 서브-픽셀 위치에 대한 내삽 필터의 임의의 선택을 포함한, 많은 다른 예들이 가능하다. 많은 다른 필터 사이즈들 및 형태들이 서브-pel 필터링에 따라서 사용될 수도 있다.
도 10 은 본원에서 설명하는 방법으로 인코딩된 비디오 시퀀스를 디코딩할 수도 있는, 비디오 디코더 (28) 의 일 예를 도시하는 블록도이다. 비디오 디코더 (28) 는 본원에서 또한 "코더" 로서 지칭되는, 특수화된 비디오 컴퓨터 디바이스 또는 장치의 일 예이다. 도 10 에 나타낸 바와 같이, 비디오 디코더 (28) 는 디바이스 (20) 의 비디오 디코더 (28) 에 대응한다. 그러나, 다른 예들에서, 비디오 디코더 (28) 는 상이한 디바이스에 대응할 수도 있다. 추가적인 예들에서, (예를 들어, 다른 인코더/디코더 (코덱들) 과 같은) 다른 유닛들이 또한 비디오 디코더 (28) 와 유사한 기법들을 수행할 수 있다.
비디오 디코더 (28) 는 수신된 비트스트림을 엔트로피 디코딩하여 양자화된 계수들 및 예측 구문 엘리먼트들을 생성하는 엔트로피 디코딩 유닛 (52) 을 포함한다. 예측 구문 엘리먼트들은 코딩 모드, 하나 이상의 모션 벡터들, 서브-픽셀 데이터를 생성하는데 사용하는 내삽 기법을 식별하는 정보, 내삽 필터링에서의 사용을 위한 계수들, 및/또는 예측 블록의 생성과 연관되는 다른 정보를 포함할 수도 있다.
예측 구문 엘리먼트들, 예컨대, 계수들이, 예측 유닛 (55) 으로 전달된다. 예측이 고정된 필터의 계수들에 대해, 또는 서로에 대해 계수들을 코딩하도록 사용되면, 계수 예측 및 역양자화 유닛 (53) 은 실제 계수들을 정의하기 위해 구문 엘리먼트들을 디코딩할 수도 있다. 또한, 양자화가 예측 구문 중 임의의 구문에 적용되면, 계수 예측 및 역양자화 유닛 (53) 은 또한 이런 양자화를 제거할 수 있다. 필터 계수들은, 예를 들어, 본 개시물에 따라서 예측 코딩되고 양자화될 수도 있으며, 이 경우, 이런 계수들을 예측 디코딩하고 양자화 해제하기 위해 계수 예측 및 역양자화 유닛 (53) 이 비디오 디코더 (28) 에 의해 이용될 수 있다.
예측 유닛 (55) 은 비디오 인코더 (22) 의 예측 유닛 (32) 에 대해 위에서 자세히 설명한 방법과 매우 동일한 방법으로, 예측 구문 엘리먼트들 및 메모리 (62) 에 저장된 하나 이상의 이전에 디코딩된 블록들에 기초하여, 예측 데이터를 생성할 수도 있다. 특히, 예측 유닛 (55) 은 예측 블록을 특정의 정밀도, 예컨대 1/4-픽셀 정밀도로 생성하기 위해, 모션 보상 동안 본 개시물의 내삽 필터링 기법들 중 하나 이상을 수행할 수도 있다. 이와 같이, 예측 블록을 생성할 때에 본 개시물의 하나 이상의 기법들이 비디오 디코더 (28) 에 의해 이용될 수도 있다. 예측 유닛 (55) 은 본 개시물의 기법들의 내삽 및 내삽-형 필터링에 사용되는 필터들을 포함하는 모션 보상 유닛을 포함할 수도 있다. 모션 보상 구성요소는 예시의 단순성과 용이성을 위해 도 10 에 도시되지 않는다.
역양자화 유닛 (56) 은 양자화된 계수들을 역양자화한다, 즉 양자화를 해제한다. 역양자화 프로세스는 H.264 디코딩을 위해 또는 임의의 다른 디코딩 표준을 위해 정의된 프로세스일 수도 있다. 역변환 유닛 (58) 은 픽셀 도메인에서 잔여 블록들을 생성하기 위해, 역변환, 예컨대, 역 DCT 또는 개념적으로 유사한 역변환 프로세스를 변환 계수들에 적용한다. 합산기 (64) 는 잔여 블록과 예측 유닛 (55) 에 의해 생성된 대응하는 예측 블록을 합산하여, 비디오 인코더 (22) 에 의해 인코딩된 원래 블록의 재구성된 버전을 형성한다. 원할 경우, 블록킹 현상 아티팩트들을 제거하기 위해 디블로킹 필터가 또한 그 디코딩된 블록들을 필터링하는데 적용될 수도 있다. 디코딩된 비디오 블록들이 그 후 메모리 (62) 에 저장되며, 그 메모리는 후속 모션 보상을 위해 참조 블록들을 제공하고 또한 디스플레이 디바이스를 구동하기 위해 디코딩된 비디오를 (도 1 의 디바이스 (28) 과 같이) 생성한다.
본 개시물의 내삽 필터링 기법들을 이용하여, 비디오 디코더 (28) 는 서브-픽셀 위치들에 대한 픽셀 값들을 임의의 사이즈 또는 형태 필터 서포트를 갖는 내삽 필터를 이용하여 산출할 수도 있다. 일 예에서, 비디오 디코더 (28) 는 서브-픽셀에 대한 픽셀 값들을 36-위치 필터 서포트 (즉, 도 3 에 나타낸 바와 같이, 2D 6 × 6 필터 서포트) 를 이용하여 산출하기 위해 NS-AIF 기법들을 이용한다. 또 다른 예로서, S-AIF 는 분리가능 정수 픽셀 위치들을 내삽 필터링을 위한 필터 서포트로서 이용할 수도 있다. 또한, 또 다른 예에서, D-AIF 는 서브-픽셀 위치들을 6-위치 필터 서포트 또는 12-위치 대각선 필터 서포트를 갖는 내삽 필터를 이용하여 산출한다. 다른 내삽 필터들, 예컨대 임의의 ITU-T H.264 내삽 필터가, 서브-픽셀 위치들을 산출하는데 이용될 수도 있다. 현재 알려져 있거나 또는 추후 예상되는 임의의 적합한 내삽 필터가 서브-픽셀 위치를 코딩하거나 디코딩하는데 이용될 수도 있다. 더욱이, 비디오 디코더 (28) 는 고정된 내삽 필터들, 스위칭된 내삽 필터들, 또는 적응적 내삽 필터들, 또는 이들의 조합들인 내삽 필터들을 이용할 수도 있다. 내삽 필터들은 또한 분리가능 또는 비-분리가능할 수도 있다. 일 예에서, 비디오 디코더 (28) 는 적용할 필터의 표시 뿐만 아니라, 필터에 적용할 필터 서포트의 세트의 표시를, 수신된 비트스트림에서 (예를 들어, 비디오 인코더 (22) 로부터) 수신할 수도 있다.
일부의 경우, 필터 서포트는 주어진 서브-픽셀과의 그의 가능성 있는 상관에 기초하여 선택될 수도 있다. 예를 들어, D-AIF 에서와 같이 대각선 필터 서포트를 이용하는 하나의 단점은, 필터링에 사용되는 정수-픽셀 위치들이 내삽되는 현재의 위치로부터 멀리 떨어져 있다는 점이다. 내삽되는 현재의 위치와 필터 서포트로서 사용되는 픽셀들의 위치들 사이의 거리가 증가함에 따라, 공간 픽셀 상관이 감소한다. 이와 같이, D-AIF 에 사용되는 대각선 필터 서포트가 정확한 예측을 형성하는 데는 덜 적합하다.
내삽되는 위치와 더 높은 상관을 가진 픽셀들 (즉, 내삽되는 위치로부터 더 짧은 거리이거나 또는 더 가까운 픽셀 위치들) 을 이용하여 더 나은 예측을 제공하기 위해, D-AIF 에 의해 제공되는 동일한 낮은 복잡성을 유지하면서, 더 적합한 필터 서포트의 세트가 서브-픽셀에 대해 이용될 수도 있다 (예를 들어, 도 8 에 나타낸 4-위치 필터 서포트가 내삽에 이용될 수도 있다). 본 개시물에서 설명되는 4개-위치 필터 서포트에 사용되는 정수-픽셀 위치들은 서브-픽셀 위치들의 모서리들에 로케이트되기 때문에, "모서리 (corner)" 정수-픽셀 위치들로서 지칭될 수도 있는, 서브-픽셀 위치들을 둘러싸는 4개의 정수-픽셀 위치들, 즉, 정수-픽셀 위치들 C3, C4, D3, 및 D4 을 포함한다. 모서리 정수-픽셀 위치들에 더해, 모서리 정수-픽셀 위치들에 바로 인접한 하나 이상의 정수-픽셀 위치들이 또한 도 9 에 나타낸 바와 같이, 필터 서포트에 사용될 수도 있다. 모서리 정수-픽셀 위치들에 바로 인접한 정수-픽셀 위치들은, 모서리 정수-픽셀 위치들의 바로 좌측 (또는, 서쪽으로) 또는 바로 우측 (또는 동쪽으로) 의 정수-픽셀 위치들 뿐만 아니라, 모서리 정수-픽셀 위치들의 바로 위 (상부 측으로 또는 북쪽으로) 또는 바로 아래 (바닥 측으로 또는 남쪽으로) 정수-픽셀 위치들을 포함할 수도 있다. 이들 특정의 예들에서, 이들 정수-픽셀 위치들 모두는 내삽되는 서브-픽셀의 2개의 정수-픽셀 위치들 내에 로케이트된다.
본 개시물의 기법들에 따른 필터 서포트는 그러나, 추가적인 정수-픽셀 로케이션들을 포함할 수도 있다. 예를 들어, 필터 서포트는 방사상 형태를 형성하는, 내삽되는 서브-픽셀 위치의 3개의 정수-픽셀 위치들 내에 로케이트되는 정수-픽셀 로케이션들을 포함할 수도 있다. 게다가, 필터 서포트는 서브-픽셀 위치의 4개 또는 이상의 정수-픽셀 위치들 내에 로케이트되는 정수-픽셀 로케이션들을 포함할 수도 있다. 일부 예들에서, 필터 서포트는 주어진 코딩된 블록에서의 풀 정수 픽셀 위치들의 임의의 서브세트를 포함할 수도 있다.
심지어 1/4-픽셀 위치들 또는 더 정밀한 해상도가 적어도 2개의 정수-픽셀 위치들 내에 로케이트된 정수 픽셀 위치들에 기초하여 내삽될 수도 있다. 또한, 필터 서포트는 서브-픽셀 위치와의 풀-정수 픽셀 위치들의 상관에 기초하여 선택될 수도 있다. 이 방법에서, 본 개시물의 필터 서포트 기법들은 내삽되는 위치와 더 높은 상관을 갖는 정수-픽셀들을 이용하여 더 나은 내삽 예측을 제공한다. 또한, 임의의 서브-pel 이 의존하는 또 다른 서브-pel 을 예측하거나 또는 디코딩해야 함이 없이 예측되거나 또는 디코딩될 수 있다.
도 11 은 본 개시물에 따른, 픽셀 필터 서포트를 이용하는 비디오 인코더의 예시적인 동작을 도시하는 흐름도이다. 도 11 의 기법은 도 2 의 비디오 인코더 (22) 의 관점으로부터 설명되지만, 다른 디바이스들이 유사한 기법들을 수행할 수도 있다. 비디오 인코더 (22) 는 참조 샘플의 복수의 풀 정수 픽셀 위치들에 대한 값들을 수신할 수도 있다 (102).
비디오 인코더 (22) 는 복수의 풀 정수 픽셀 위치들 중 하나의 제 1 서브-정수 픽셀에 대한 값을 계산하기 위해 내삽 필터를 복수의 풀 정수 픽셀 위치들에 대한 값들의 제 1 세트에 적용할 수도 있다 (104). 비디오 인코더 (22) 는 풀 정수 픽셀 위치들 중 하나의 상이한 제 2 서브-정수 픽셀에 대한 값을 계산하기 위해 동일한 내삽 필터를 복수의 풀 정수 픽셀 위치들에 대한 값들의 상이한 제 2 세트에 적용할 수도 있다 (106). 이들 계산된 값들에 기초하여, 비디오 인코더 (22) 는 제 1 서브-정수 픽셀 및 제 2 서브-정수 픽셀 중 하나를 가리키는 모션 벡터를 이용하여 현재의 픽셀들의 블록을 인코딩할 수도 있다 (108). 도 11 에 관하여 설명한 비디오 인코더 (22) 의 예시적인 동작과 유사한 기법들이 도 12 및 도 13 에서 추가로 설명될 것이다.
도 12 는 본 개시물에 따른, 픽셀 필터 서포트를 이용하는 비디오 인코더의 또 다른 예시적인 동작을 도시하는 흐름도이다. 도 12 의 기법은 도 2 의 비디오 인코더 (22) 의 관점으로부터 설명되지만, 다른 디바이스들이 유사한 기법들을 수행할 수도 있다. 나타낸 바와 같이, 도 12 에서, 예측 유닛 (32) 의 MC 유닛 (37) 은 정수 픽셀 위치들에 대응하는 정수 픽셀 값들을 포함하는 픽셀들의 블록을 메모리 (34) 로부터 획득한다 (112). 각각의 서브-픽셀 위치에 대해, 인코더 (22) 는 그 픽셀들의 블록에서의 풀-정수 픽셀 위치들의 서브세트를 포함하는 필터 서포트를 결정한다 (114). 필터 서포트를 결정하는 방법들은 도 12 및 도 13 에 관하여 아래에서 설명된다. 필터 서포트를 결정하는 방법들은 사용중인 인코더, 예컨대 비디오 인코더 (22) 의 특정의 특성들에 의존할 수도 있다.
필터(들) (39) 은 서브-픽셀 값들을 서브-픽셀 위치들을 둘러싸는 임의 개수의 풀 정수 픽셀 위치들을 포함하는 필터 서포트의 세트에 기초하여 산출한다 (116). 위에서 더 자세히 설명한 바와 같이, 필터 서포트가 임의의 가능한 서브-픽셀 내삽들을 생성하는데 이용될 수도 있다.
일단 필터 서포트가 결정되면, MC 유닛 (37) 은 그 후 그 산출된 서브-픽셀 값들에 기초하여 예측 블록을 생성한다 (118). 특히, MC 유닛 (37) 은 내삽된 서브-픽셀 값들을 포함하는 내삽된 예측 블록을 생성하여 출력할 수도 있다. 가산기 (48) 는 그 후 잔여 블록을 생성하기 위해, 현재의 비디오 블록을, 내삽된 예측 블록에 기초하여, 예컨대, 인코딩중인 비디오 블록으로부터 내삽된 예측 블록을 감산함으로써, 인코딩할 수 있다 (120). 잔여 블록은 그 후 변환 유닛 (38) 및 양자화 유닛 (40) 에 의해 각각 변환되고 양자화될 수도 있다. 엔트로피 코딩 유닛 (46) 에 의한 엔트로피 코딩 후, 비디오 인코더 (22) 는 인코딩된 비디오 비트스트림 및 필터 정보를 출력할 수 있다 (122). 필터 정보는, 본원에서 설명하는 바와 같이, 각각의 서브-픽셀 위치를 인코딩하는데 어느 필터 서포트가 사용되었는 지의 표시를 포함할 수도 있다. 필터 정보는 또한 어느 내삽 필터가 특정의 서브-픽셀 위치에 대해 사용되었는 지의 표시를 포함할 수도 있다. 필터 정보는 코딩된 유닛의 상이한 영역들이 상이한 유형들의 서브-pel 내삽을 이용하면, 코딩된 유닛당 한번, 또는 가능하면 코딩된 유닛당 수회 출력될 수도 있다.
도 13 은 본 개시물에 따른, 서브-정수 픽셀에 대한 필터 서포트를 결정하는 예시적인 방법을 도시하는 흐름도이다. 도 13 의 기법은 도 2 의 비디오 인코더 (22) 의 관점으로부터 설명되지만, 다른 디바이스들이 유사한 기법들을 수행할 수도 있다. 비디오 인코더 (22) 는 픽셀들의 블록에서의 각각의 서브-픽셀 위치에 대해 어느 필터 서포트를 사용할지를 결정하기 위해 멀티-패스 기법들을 채용할 수도 있다.
나타낸 바와 같이, 도 13 에서, 비디오 인코더 (22) 는 풀-정수 픽셀 위치들의 제 1 세트를 이용하여 내삽되는 서브-픽셀 위치에 기초하여 픽셀들의 블록에 대한 제 1 모션 벡터를 계산한다 (132). 모션 벡터는 프레임에 대해, 예를 들어, 종래의 모션 추정 방법을 이용하여 계산될 수도 있다. 위에서 설명한 바와 같이, 풀-정수 픽셀 위치들의 임의의 형태 또는 개수가 서브-pel 위치를 예측하는데 이용될 수도 있다. 비디오 인코더 (22) 는 제 1 모션 벡터에 대한 제 1 오차 값을 계산할 수도 있다 (134). 일 예에서, 인코더 (22) 는 제 1 오차 값을 서브-pel 위치에 대한 예측의 평균 제곱 오차를 이용하여 계산할 수도 있다.
비디오 인코더 (22) 는 풀-정수 픽셀 위치들의 제 2 세트를 이용하여 내삽되는 서브-픽셀 위치에 기초하여 픽셀들의 블록에 대한 제 2 모션 벡터를 계산할 수도 있다 (136). 풀-정수 픽셀 위치들의 제 1 세트는 풀-정수 픽셀 위치들의 제 2 세트와 상이할 수도 있다. 비디오 인코더 (22) 는 제 2 모션 벡터에 대한 제 2 오차 값을 계산할 수도 있다 (138). 이와 유사하게, 제 2 오차 값은 평균 제곱 오차 계산을 이용하여 계산될 수도 있다.
제 1 오차 값과 제 2 오차 값의 비교에 기초하여, 인코더 (22) 는 풀-정수 픽셀 위치들의 제 1 및 제 2 세트들 중 하나를 선택할 수도 있다 (140). 예를 들어, 풀-정수 픽셀 위치들의 세트가 서브-픽셀 위치에 대해 더 작은 오차를 초래하기 때문에, 풀-정수 픽셀 위치들의 세트가 서브-픽셀 위치에 대한 필터 서포트로서 선택될 수도 있다. 도 13 에 나타낸 기법은 픽셀들의 블록에서의 각각의 서브-픽셀 위치에 대해 적용될 수도 있다. 다른 예들에서, 도 13 에 나타낸 기법은 단일 서브-픽셀 위치에 대해 픽셀들의 블록당 한번일 수도 있다.
일 예에서, 이 결정은 서브-픽셀 단위 기준으로 이루어질 수도 있다. 또한, 이 예시적인 방법은 복수의 상이한 내삽 필터들의 각각에 대해 수행될 수도 있다. 이러한 예에서, 필터 서포트 및 내삽 필터는 최저 오차를 제공하는 것과 같은, 주어진 인자에 대해 선택될 수도 있다.
서브-pel, 예를 들어, 서브-pel "b" 를 가리키는 모든 블록들에 대해, 인코더 (22) 는 서브-pel "b" 을 풀-정수 픽셀 로케이션들의 복수의 세트들을 이용하여 예측한다. 인코더 (22) 는 그 후 서브-pel "b" 의 여러 예측들을 위해 평균 제곱 오차를 계산하고, 최저 오차를 생성하는 서브-pel "b" 예측에 대응하는 풀-정수 픽셀 로케이션들의 세트를 선택할 수도 있다. 비디오 인코더 (22) 는 각각의 서브-픽셀 위치에 대해 이 프로세스를 반복할 수도 있다. 다른 예들에서, 비디오 인코더 (22) 는 필터 서포트의 유사한 세트들을 유사하게 위치된 서브-픽셀 위치들에 적용한다.
도 14 는 본 개시물에 따른, 서브-정수 픽셀에 대한 필터 서포트를 결정하는 또 다른 예시적인 방법을 도시하는 흐름도이다. 이 예에서, 필터 서포트는 이전에 인코딩된 제 1 프레임에서의 각각의 서브-픽셀 로케이션에 대해 결정된다 (152). 일 예에서, 필터 서포트가 도 13 에 관하여 설명한 바와 같이, 제 1 프레임에 대해 결정된다. 비디오 인코더 (22) 는 필터 서포트의 세트들이 선행하는 프레임에서의 대응하는 서브-픽셀에 적용되었기 때문에, 동일한 필터 서포트 세트들을 후속 제 2 프레임에서의 각각의 서브-픽셀에 적용할 수도 있다 (154). 이 예시적인 방법은 멀티-패스 기법들을 수행하는 것을 피한다.
서브-pel 위치에 대해 필터 서포트를 선택하는 다른 방법들은 서브-픽셀 위치를 둘러싸는 임의 개수의 풀-정수 픽셀 위치들의 서브세트를 선택하는 단계를 포함할 수도 있다. 풀-정수 픽셀 위치들은 예측되는 서브-픽셀 위치의 로케이션, 서브-픽셀 위치와의 풀-정수 픽셀 위치의 상관, 또는 서브-픽셀 위치에의 풀-정수 픽셀 위치의 근접성을 포함한, 임의 개수의 인자들에 기초하여 선택될 수도 있다.
서브-픽셀 값에 대한 필터 서포트의 일부 예시적인 세트들은 도 3 및 도 7 에 나타낸 바와 같이, 서브-픽셀 위치들을 둘러싸는 12개 또는 이상의 위치들을 포함하는 필터 서포트의 세트에 기초할 수도 있다. 또 다른 예에서, 필터(들) (39) 은 서브-픽셀 값들을 도 4 내지 도 7 및 도 9 에 나타낸 바와 같이, 서브-픽셀 위치와 연관되는 풀 정수 픽셀 위치를 포함하는 6개 또는 이상의 위치들을 포함하는 필터 서포트의 세트에 기초하여 산출한다. 또한, 또 다른 예에서, 필터(들) (39) 은 서브-픽셀 값들을 도 8 에 나타낸 바와 같이, 서브-픽셀 위치를 둘러싸는 4개의 풀-정수 픽셀 위치들을 포함하는 필터 서포트의 세트에 기초하여 산출한다.
도 15 는 본 개시물에 따른, 필터 서포트를 이용하는 비디오 디코더의 예시적인 동작을 도시하는 흐름도이다. 따라서, 도 15 의 프로세스는 도 11 의 인코딩 프로세스에 대해 반대의 디코딩 프로세스로서 간주될 수도 있다. 도 14 는 도 10 의 비디오 디코더 (28) 의 관점으로부터 설명되지만, 다른 디바이스들이 유사한 기법들을 수행할 수도 있다.
비디오 디코더 (28) 는 복수의 풀 정수 픽셀 위치들을 포함하는 참조 샘플을 수신할 수도 있다 (172). 일 예에서, 비디오 디코더 (28) 는 비디오 인코더, 예컨대 비디오 인코더 (22) 로부터 참조 샘플을 수신한다. 비디오 디코더 (28) 는 참조 샘플의 풀 정수 픽셀 위치들의 세트의 표시를 수신할 수도 있다 (174). 풀 정수 픽셀 위치들의 세트가 참조 샘플의 서브-정수 픽셀에 대한 값을 내삽하는데 사용되었을 수도 있다.
내삽 필터가 참조 샘플의 서브-정수 픽셀의 값을 계산하기 위해 비디오 인코더 (28) 에 의해 풀 정수 픽셀 위치들의 세트에 적용될 수도 있다 (176). 비디오 디코더 (28) 는 또한 서브-정수 픽셀의 계산된 값에 대해 현재의 픽셀들의 블록을 디코딩할 수도 있다 (178). 도 15 와 관련하여 설명되는 비디오 디코더 (28) 의 예시적인 동작에 유사한 기법들은 도 16 에서 추가로 설명될 것이다.
도 16 은 본 개시물에 따른, 필터 서포트를 이용하는 비디오 디코더의 또 다른 예시적인 동작을 도시하는 흐름도이다. 따라서, 도 16 의 프로세스는 도 12 의 인코딩 프로세스에 대한 반대의 디코딩 프로세스로서 간주될 수도 있다. 도 14 는 도 10 의 비디오 디코더 (28) 의 관점으로부터 설명되지만, 다른 디바이스들이 유사한 기법들을 수행할 수도 있다.
도 14 에 나타낸 바와 같이, 비디오 디코더 (28) 는 인코딩된 비디오 블록들 및 필터 정보를 수신한다 (202). 엔트로피 디코딩 유닛 (52) 은 이 수신된 정보를 엔트로피 디코딩할 수도 있다. 예측 유닛 (55) 은 본 개시물의 기법들에 따른 내삽 모션 보상을 수행한다. 특히, 예측 유닛 (55) 은 정수 픽셀 위치들에 대응하는 정수 픽셀 값들을 포함하는 픽셀들의 블록을 메모리 (62) 로부터 획득한다 (204). 예측 유닛 (55) 은 내삽을 수행할 방법을 결정하기 위해 수신된 모션 벡터들을 이용할 수도 있다.
이 모션 벡터들에 기초하여, 예측 유닛 (55) 은 서브-픽셀을 필터 서포트의 세트 및 내삽 필터의 유형에 기초하여 산출할 수 있다 (206). 일부 예들에서, 유지하는 내삽 필터의 유형은 일부 서브-픽셀 위치들에 대해 동일하다. 일 예에서, 현재의 픽셀들의 블록을 인코딩하는데 사용되는 풀 정수 픽셀 위치들의 세트의 표시가 디코더 (28) 에, 예측 유닛 레벨, 코딩 유닛 레벨, 프레임 레벨, 슬라이스 레벨, 또는 현재의 픽셀들의 블록의 시퀀스 레벨 중 적어도 하나로 제공된다. 이러한 방법으로, 예측 유닛 (55) 은 내삽을 이용하여, 예측 블록을 생성한다 (208). 가산기 (64) 를 호출하여 예측 블록을 잔여 블록에 가산함으로써, 예측 블록이 잔여 비디오 블록을 디코딩하는데 사용될 수도 있다 (210). 서브-픽셀 위치들에 대한 필터 서포트의 상이한 세트들의 사용을 포함한, 본원에서 설명하는 내삽의 여러 양태들은 종래의 기법들보다 더 나은 품질의 내삽 데이터를 제공함으로써 비디오 인코딩을 향상시킬 수도 있다.
본 개시물에서 설명하는 기법들은 하드웨어, 소프트웨어, 펌웨어, 또는 이들의 임의의 조합으로 구현될 수도 있다. 유닛들 또는 구성요소들로서 설명되는 임의의 특성들은 통합 로직 디바이스로 함께, 또는 별개지만 공용가능한 로직 디바이스들과 같이 별개로 구현될 수도 있다. 소프트웨어로 구현되는 경우, 이 기법들은 실행될 때 위에서 설명한 방법들 중 하나 이상을 수행하는 명령들을 포함하는 컴퓨터-판독가능 매체에 의해 적어도 부분적으로 실현될 수도 있다. 컴퓨터-판독가능 매체는 컴퓨터 프로그램 제품의 부분을 형성할 수도 있으며, 이 컴퓨터 프로그램 제품은 패키징 재료들을 포함할 수도 있다. 컴퓨터-판독가능 매체는 동기적 동적 랜덤 액세스 메모리 (SDRAM) 와 같은 랜덤 액세스 메모리 (RAM), 판독 전용 메모리 (ROM), 비-휘발성 랜덤 액세스 메모리 (NVRAM), 전기적으로 소거가능한 프로그래밍가능 판독 전용 메모리 (EEPROM), 플래시 메모리, 자기 또는 광학적 데이터 저장 매체들 등을 포함할 수도 있다. 이 기법들은 부가적으로, 또는 대안적으로, 코드를 명령들 또는 데이터 구조들의 형태로 운반하거나 또는 통신하고, 그리고 컴퓨터에 의해 액세스되거나, 판독되거나, 및/또는 실행될 수 있는 컴퓨터 판독가능 통신 매체에 의해 적어도 부분적으로 실현될 수도 있다.
코드는 하나 이상의 디지털 신호 프로세서들 (DSPs), 범용 마이크로프로세서들, 주문형 집적회로들 (ASICs), 필드 프로그래밍가능 로직 어레이들 (FPGAs), 또는 다른 등가의 통합 또는 이산 로직 회로와 같은, 하나 이상의 프로세서들에 의해 실행될 수도 있다. 따라서, 용어 “프로세서" 는, 본원에서 사용될 때 전술한 구조 또는 본원에서 설명하는 기법들의 구현에 적합한 임의의 다른 구조 중 임의의 구조를 지칭할 수도 있다. 게다가, 일부 양태들에서, 본원에서 설명하는 기능은 인코딩 및 디코딩용으로 구성된 전용 소프트웨어 유닛들 또는 하드웨어 유닛들 내에 제공되거나, 또는 결합된 비디오 인코더-디코더 (코덱) 에 포함될 수도 있다. 유닛들로서의 상이한 특성들의 서술은 도시된 디바이스들의 상이한 기능적 양태들을 강조하려고 의도된 것이며, 이런 유닛들이 별개의 하드웨어 또는 소프트웨어 구성요소들에 의해 실현되어야 한다는 것을 반드시 암시하는 것은 아니다. 더 정확히 말하면, 하나 이상의 유닛들과 연관되는 기능이 공통 또는 별개의 하드웨어 또는 소프트웨어 구성요소들 내에서 통합될 수도 있다.
본 개시물의 여러 예들이 설명되었다. 이들 및 다른 예들은 다음 청구항들의 범위 이내이다.

Claims (4)

  1. 비디오 데이터를 디코딩하는 방법으로서,
    내삽된 서브-정수 픽셀 값들에 기초하여, 예측 블록을 생성하는 단계로서, 상기 예측 블록을 생성하는 단계는:
    모션 벡터가 서브-정수 픽셀 위치를 나타내는 경우, 필터 서포트의 세트 및 내삽 필터에 기초하여 주어진 서브-정수 픽셀 값을 계산하는 단계로서, 상기 주어진 서브-정수 픽셀 값은 상기 내삽된 서브-정수 픽셀 값들 중 하나이고, 상기 서브-정수 픽셀 위치는 풀 정수 픽셀과 연관된 서로 상이한 15 개의 서브-정수 픽셀 위치들 중 하나이고, 상기 풀 정수 픽셀과 연관된 상기 서브-정수 픽셀 위치들 각각은 필터 서포트의 상이한 세트를 갖는, 상기 주어진 서브-정수 픽셀 값을 계산하는 단계를 포함하는, 상기 예측 블록을 생성하는 단계; 및
    원래의 블록을 재생하기 위해 상기 예측 블록에 잔여 블록을 적용하는 단계를 포함하는, 비디오 데이터를 디코딩하는 방법.
  2. 제 1 항에 있어서,
    상기 풀 정수 픽셀과 연관된 상기 서브-정수 픽셀 위치들의 각각의 개별 서브-정수 픽셀 위치에 대하여, 상기 개별 서브-정수 픽셀 위치에 대한 서포트의 세트는 수직형 또는 수평형을 갖는, 비디오 데이터를 디코딩하는 방법.
  3. 비디오 데이터를 인코딩하는 방법으로서,
    내삽된 서브-정수 픽셀 값들에 기초하여, 예측 블록을 생성하는 단계로서, 상기 예측 블록을 생성하는 단계는:
    모션 벡터가 서브-정수 픽셀 위치를 나타내는 경우, 필터 서포트의 세트 및 내삽 필터에 기초하여 주어진 서브-정수 픽셀 값을 계산하는 단계로서, 상기 주어진 서브-정수 픽셀 값은 상기 내삽된 서브-정수 픽셀 값들 중 하나이고, 상기 서브-정수 픽셀 위치는 풀 정수 픽셀과 연관된 서로 상이한 15 개의 서브-정수 픽셀 위치들 중 하나이고, 상기 풀 정수 픽셀과 연관된 상기 서브-정수 픽셀 위치들 각각은 필터 서포트의 상이한 세트를 갖는, 상기 주어진 서브-정수 픽셀 값을 계산하는 단계를 포함하는, 상기 예측 블록을 생성하는 단계; 및
    잔여 블록을 생성하기 위해 인코딩되는 비디오 블록으로부터 상기 예측 블록을 감산하는 단계를 포함하는, 비디오 데이터를 인코딩하는 방법.
  4. 제 3 항에 있어서,
    상기 풀 정수 픽셀과 연관된 상기 서브-정수 픽셀 위치들의 각각의 개별 서브-정수 픽셀 위치에 대하여, 상기 개별 서브-정수 픽셀 위치에 대한 서포트의 세트는 수직형 또는 수평형을 갖는, 비디오 데이터를 인코딩하는 방법.
KR1020147030817A 2010-12-10 2011-12-07 비디오 코딩을 위해 서브-픽셀들의 값들을 내삽하기 위한 적응적 서포트 KR101784668B1 (ko)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US42205110P 2010-12-10 2010-12-10
US61/422,051 2010-12-10
US13/311,755 US10045046B2 (en) 2010-12-10 2011-12-06 Adaptive support for interpolating values of sub-pixels for video coding
US13/311,755 2011-12-06
PCT/US2011/063730 WO2012078748A1 (en) 2010-12-10 2011-12-07 Adaptive support for interpolating values of sub-pixels for video coding

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020137017983A Division KR101528989B1 (ko) 2010-12-10 2011-12-07 비디오 코딩을 위해 서브-픽셀들의 값들을 내삽하기 위한 적응적 서포트

Publications (2)

Publication Number Publication Date
KR20140140120A true KR20140140120A (ko) 2014-12-08
KR101784668B1 KR101784668B1 (ko) 2017-10-12

Family

ID=46199372

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020137017983A KR101528989B1 (ko) 2010-12-10 2011-12-07 비디오 코딩을 위해 서브-픽셀들의 값들을 내삽하기 위한 적응적 서포트
KR1020147030817A KR101784668B1 (ko) 2010-12-10 2011-12-07 비디오 코딩을 위해 서브-픽셀들의 값들을 내삽하기 위한 적응적 서포트

Family Applications Before (1)

Application Number Title Priority Date Filing Date
KR1020137017983A KR101528989B1 (ko) 2010-12-10 2011-12-07 비디오 코딩을 위해 서브-픽셀들의 값들을 내삽하기 위한 적응적 서포트

Country Status (15)

Country Link
US (1) US10045046B2 (ko)
EP (2) EP2649800A1 (ko)
JP (3) JP2014502800A (ko)
KR (2) KR101528989B1 (ko)
CN (2) CN103250414B (ko)
AU (1) AU2011338449B2 (ko)
BR (1) BR112013014415B1 (ko)
CA (1) CA2820061C (ko)
HK (1) HK1221101A1 (ko)
IL (1) IL226438B (ko)
MY (1) MY180273A (ko)
RU (1) RU2564245C2 (ko)
SG (1) SG190847A1 (ko)
UA (1) UA109923C2 (ko)
WO (1) WO2012078748A1 (ko)

Families Citing this family (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10045046B2 (en) 2010-12-10 2018-08-07 Qualcomm Incorporated Adaptive support for interpolating values of sub-pixels for video coding
US20120163460A1 (en) * 2010-12-23 2012-06-28 Qualcomm Incorporated Sub-pixel interpolation for video coding
WO2013109867A1 (en) * 2012-01-19 2013-07-25 Futurewei Technologies, Inc. Simplification of mode dependent intra smoothing
GB2501535A (en) * 2012-04-26 2013-10-30 Sony Corp Chrominance Processing in High Efficiency Video Codecs
CN102665080B (zh) * 2012-05-08 2015-05-13 开曼群岛威睿电通股份有限公司 用于移动补偿的电子装置及移动补偿方法
US10136144B2 (en) * 2012-05-21 2018-11-20 Mediatek Singapore Pte. Ltd. Method and apparatus of inter-layer filtering for scalable video coding
US10257541B2 (en) * 2013-12-20 2019-04-09 Lg Electronics Inc. Method and apparatus for encoding and decoding video signal using adaptive sampling
US9942560B2 (en) 2014-01-08 2018-04-10 Microsoft Technology Licensing, Llc Encoding screen capture data
US9749642B2 (en) 2014-01-08 2017-08-29 Microsoft Technology Licensing, Llc Selection of motion vector precision
US9774881B2 (en) 2014-01-08 2017-09-26 Microsoft Technology Licensing, Llc Representing motion vectors in an encoded bitstream
WO2016072722A1 (ko) * 2014-11-04 2016-05-12 삼성전자 주식회사 영상 특성을 반영한 보간 필터를 이용하는 비디오 부호화 방법 및 장치, 비디오 복호화 방법 및 장치
CN104683819A (zh) * 2015-01-31 2015-06-03 北京大学 一种自适应环路滤波方法及装置
US10291932B2 (en) 2015-03-06 2019-05-14 Qualcomm Incorporated Method and apparatus for low complexity quarter pel generation in motion search
JP6101722B2 (ja) 2015-03-10 2017-03-22 富士重工業株式会社 車室前部用支持体
US20160345018A1 (en) * 2015-05-19 2016-11-24 Microsoft Technology Licensing, Llc Video encoding and decoding
US10764574B2 (en) 2015-07-01 2020-09-01 Panasonic Intellectual Property Management Co., Ltd. Encoding method, decoding method, encoding apparatus, decoding apparatus, and encoding and decoding apparatus
US10341659B2 (en) * 2016-10-05 2019-07-02 Qualcomm Incorporated Systems and methods of switching interpolation filters
CN107959855B (zh) * 2016-10-16 2020-02-14 华为技术有限公司 运动补偿预测方法和设备
CN111201791B (zh) * 2017-11-07 2022-05-24 华为技术有限公司 用于视频编码的帧间预测装置和方法的插值滤波器
JP7154957B2 (ja) 2017-11-08 2022-10-18 キヤノンメディカルシステムズ株式会社 磁気共鳴イメージング装置および電力供給方法
CN109961199A (zh) * 2017-12-25 2019-07-02 北京京东尚科信息技术有限公司 一种分析数据波动的方法和装置
CN112042199B (zh) * 2018-02-14 2024-06-25 华为技术有限公司 自适应插值滤波器
US10638137B2 (en) * 2018-03-07 2020-04-28 Tencent America LLC Method and apparatus for video coding
BR112020019740A2 (pt) * 2018-03-29 2021-02-17 Huawei Technologies Co., Ltd. aparelho e método de processamento de imagem
US11722673B2 (en) * 2018-06-11 2023-08-08 Samsung Eleotronics Co., Ltd. Encoding method and apparatus therefor, and decoding method and apparatus therefor
CN108833916B (zh) * 2018-06-20 2021-09-24 腾讯科技（深圳）有限公司 视频编码、解码方法、装置、存储介质和计算机设备
BR112021000657A2 (pt) * 2018-12-21 2021-04-13 Huawei Technologies Co., Ltd. Método e aparelho de filtragem de interpolação para codificação preditiva, codificador, decodificador e produto de programa de computador
AU2020240048B2 (en) * 2019-03-18 2022-12-22 Tencent America LLC Method and apparatus for video coding

Family Cites Families (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020172288A1 (en) 2001-03-08 2002-11-21 Nyeongku Kwon Device and method for performing half-pixel accuracy fast search in video coding
GB2379820A (en) 2001-09-17 2003-03-19 Nokia Corp Interpolating values for sub-pixels
US6950469B2 (en) * 2001-09-17 2005-09-27 Nokia Corporation Method for sub-pixel value interpolation
MXPA04006814A (es) * 2002-01-14 2004-12-06 Nokia Corp Filtros dinamicos de codificacion.
AU2003246987A1 (en) * 2002-07-09 2004-01-23 Nokia Corporation Method and system for selecting interpolation filter type in video coding
KR100472476B1 (ko) 2002-08-31 2005-03-10 삼성전자주식회사 움직임 보상을 위한 보간 방법 및 그 장치
EP1578137A2 (en) 2004-03-17 2005-09-21 Matsushita Electric Industrial Co., Ltd. Moving picture coding apparatus with multistep interpolation process
JP2008503960A (ja) 2004-06-23 2008-02-07 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ ピクセル補間
US7653132B2 (en) * 2004-12-21 2010-01-26 Stmicroelectronics, Inc. Method and system for fast implementation of subpixel interpolation
US7623575B2 (en) 2005-01-05 2009-11-24 Lsi Corporation Method and apparatus for sub-pixel motion compensation
JP2008536414A (ja) * 2005-04-13 2008-09-04 ゴットフリート・ヴィルヘルム・ライプニッツ・ウニヴェルジテート・ハノーヴァー ビデオの拡張された符号化方法及び装置
US8208564B2 (en) * 2005-06-24 2012-06-26 Ntt Docomo, Inc. Method and apparatus for video encoding and decoding using adaptive interpolation
JP5044415B2 (ja) 2005-11-30 2012-10-10 株式会社東芝 画像符号化／画像復号化方法及び画像符号化／画像復号化装置
KR100772390B1 (ko) 2006-01-23 2007-11-01 삼성전자주식회사 방향 보간 방법 및 그 장치와, 그 보간 방법이 적용된부호화 및 복호화 방법과 그 장치 및 복호화 장치
JP2007201880A (ja) 2006-01-27 2007-08-09 Victor Co Of Japan Ltd 画像符号化装置および画像復号装置
CN1889691A (zh) 2006-07-19 2007-01-03 四川长虹电器股份有限公司 一种像素插值方法
US8509316B2 (en) 2007-01-09 2013-08-13 Core Wireless Licensing, S.a.r.l. Adaptive interpolation filters for video coding
CN100563322C (zh) 2007-02-07 2009-11-25 扬智科技股份有限公司 滤波动态补偿的非反馈插值器
EP1983759A1 (en) 2007-04-19 2008-10-22 Matsushita Electric Industrial Co., Ltd. Estimation of separable adaptive interpolation filters for hybrid video coding
MX2010003531A (es) 2007-10-05 2010-04-14 Nokia Corp Codificacion de video con filtros direccionales de interpolacion adaptable alineados a pixeles.
CN101453646B (zh) 2007-12-04 2012-02-22 华为技术有限公司 图像插值方法、装置及插值系数的获取方法
KR20090094595A (ko) 2008-03-03 2009-09-08 삼성전자주식회사 복수 참조에 의한 움직임 예측을 이용한 부호화 방법 및장치, 그리고 복수 참조에 의한 움직임 예측을 이용한복호화 방법 및 장치
US8462842B2 (en) 2008-04-10 2013-06-11 Qualcomm, Incorporated Symmetry for interpolation filtering of sub-pixel positions in video coding
US9077971B2 (en) 2008-04-10 2015-07-07 Qualcomm Incorporated Interpolation-like filtering of integer-pixel positions in video coding
US8831086B2 (en) 2008-04-10 2014-09-09 Qualcomm Incorporated Prediction techniques for interpolation in video coding
US8705622B2 (en) * 2008-04-10 2014-04-22 Qualcomm Incorporated Interpolation filter support for sub-pixel resolution in video coding
US20090257499A1 (en) 2008-04-10 2009-10-15 Qualcomm Incorporated Advanced interpolation techniques for motion compensation in video coding
US8804831B2 (en) 2008-04-10 2014-08-12 Qualcomm Incorporated Offsets at sub-pixel resolution
US9967590B2 (en) 2008-04-10 2018-05-08 Qualcomm Incorporated Rate-distortion defined interpolation for video coding based on fixed filter or adaptive filter
US8811484B2 (en) 2008-07-07 2014-08-19 Qualcomm Incorporated Video encoding by filter selection
EP2157799A1 (en) * 2008-08-18 2010-02-24 Panasonic Corporation Interpolation filter with local adaptation based on block edges in the reference frame
US8750378B2 (en) 2008-09-23 2014-06-10 Qualcomm Incorporated Offset calculation in switched interpolation filters
US9078007B2 (en) 2008-10-03 2015-07-07 Qualcomm Incorporated Digital video coding with interpolation filters and offsets
US8634456B2 (en) 2008-10-03 2014-01-21 Qualcomm Incorporated Video coding with large macroblocks
US8831087B2 (en) 2008-10-06 2014-09-09 Qualcomm Incorporated Efficient prediction mode selection
WO2010063881A1 (en) 2008-12-03 2010-06-10 Nokia Corporation Flexible interpolation filter structures for video coding
US10045046B2 (en) 2010-12-10 2018-08-07 Qualcomm Incorporated Adaptive support for interpolating values of sub-pixels for video coding

Also Published As

Publication number Publication date
RU2564245C2 (ru) 2015-09-27
IL226438B (en) 2019-05-30
JP6254063B2 (ja) 2017-12-27
US10045046B2 (en) 2018-08-07
CN103250414A (zh) 2013-08-14
MY180273A (en) 2020-11-26
KR101528989B1 (ko) 2015-06-15
UA109923C2 (uk) 2015-10-26
US20120147967A1 (en) 2012-06-14
CN105704492A (zh) 2016-06-22
AU2011338449B2 (en) 2015-03-12
CN103250414B (zh) 2017-03-08
RU2013131778A (ru) 2015-01-20
HK1221101A1 (zh) 2017-05-19
KR101784668B1 (ko) 2017-10-12
BR112013014415B1 (pt) 2022-02-15
WO2012078748A1 (en) 2012-06-14
BR112013014415A2 (pt) 2016-09-27
EP3203740A1 (en) 2017-08-09
JP2014502800A (ja) 2014-02-03
JP2016201814A (ja) 2016-12-01
KR20130086390A (ko) 2013-08-01
EP2649800A1 (en) 2013-10-16
CN105704492B (zh) 2019-09-27
JP2015046907A (ja) 2015-03-12
AU2011338449A1 (en) 2013-06-20
IL226438A0 (en) 2013-07-31
CA2820061C (en) 2019-12-03
SG190847A1 (en) 2013-07-31
JP6301401B2 (ja) 2018-03-28
CA2820061A1 (en) 2012-06-14

Similar Documents

Publication Publication Date Title
KR101528989B1 (ko) 비디오 코딩을 위해 서브-픽셀들의 값들을 내삽하기 위한 적응적 서포트
US11570431B2 (en) Method and device for performing image decoding on basis of intra prediction in image coding system
KR101202632B1 (ko) 비디오 코딩에서의 보간을 위한 예측 기술
KR101202633B1 (ko) 고정된 필터 또는 적응형 필터에 기초한 비디오 코딩을 위한 레이트 왜곡 정의된 보간
KR101242958B1 (ko) 비디오 코딩에서의 서브-픽셀 해상도를 위한 보간 필터 서포트
KR101250115B1 (ko) 비디오 코딩에서의 서브-픽셀 포지션들의 보간 필터링을 위한 대칭
CN106878744B (zh) 确定时间合并候选块的方法
KR101660133B1 (ko) 적응적 모션 벡터 해상도를 이용한 비디오 코딩
KR102653005B1 (ko) 휘도 샘플을 이용한 색차 블록의 화면 내 예측 방법 및 이러한 방법을 사용하는 장치
KR101547742B1 (ko) 적응적 탭 사이즈를 갖는 저 복잡도 보간 필터링
KR101214021B1 (ko) 비디오 코딩에서의 정수-픽셀 포지션들의 보간형 필터링
KR101469338B1 (ko) 혼합된 탭 필터들
US9055304B2 (en) Reduced resolution pixel interpolation

Legal Events

Date Code Title Description
A107 Divisional application of patent
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant