KR20200057088A - 비디오 코딩을 위한 인터 예측 장치 및 방법을 위한 보간 필터 - Google Patents

비디오 코딩을 위한 인터 예측 장치 및 방법을 위한 보간 필터 Download PDF

Info

Publication number
KR20200057088A
KR20200057088A KR1020207013236A KR20207013236A KR20200057088A KR 20200057088 A KR20200057088 A KR 20200057088A KR 1020207013236 A KR1020207013236 A KR 1020207013236A KR 20207013236 A KR20207013236 A KR 20207013236A KR 20200057088 A KR20200057088 A KR 20200057088A
Authority
KR
South Korea
Prior art keywords
current
pixels
integer
integer pixel
full
Prior art date
Application number
KR1020207013236A
Other languages
English (en)
Other versions
KR102357142B1 (ko
Inventor
막심 보리소비치 시체프
Original Assignee
후아웨이 테크놀러지 컴퍼니 리미티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 후아웨이 테크놀러지 컴퍼니 리미티드 filed Critical 후아웨이 테크놀러지 컴퍼니 리미티드
Publication of KR20200057088A publication Critical patent/KR20200057088A/ko
Application granted granted Critical
Publication of KR102357142B1 publication Critical patent/KR102357142B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/523—Motion estimation or motion compensation with sub-pixel accuracy
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/537—Motion estimation other than block-based
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

본 발명은 비디오 신호의 현재 프레임의 현재 블록의 복수의 픽셀들 중 현재 풀-정수 픽셀의 샘플 값의 인터 예측을 위한 장치(144) 및 방법에 관한 것이다. 장치(144)는 처리 유닛을 포함하며, 그 처리 유닛은: 비디오 신호의 현재 프레임과 참조 프레임에 기초하여 및/또는 모션 보상 모델에 기초하여 현재 풀-정수 픽셀의 모션 벡터를 결정하고; 현재 풀-정수 픽셀의 모션 벡터에 기초하여 현재 풀-정수 픽셀에 대해 참조 프레임 내의 대응하는 서브-정수 픽셀을 결정하고; 현재 프레임 내의 미리 정의된 필터 지원 픽셀 세트에 기초하여 참조 프레임 내의 대응하는 필터 지원 픽셀 세트를 생성하고 - 현재 프레임 내의 미리 정의된 필터 지원 픽셀 세트는 현재 풀-정수 픽셀의 하나 이상의 이웃하는 서브-정수 픽셀을 포함함 - ; 참조 프레임 내의 현재 풀-정수 픽셀의 대응하는 서브-정수 픽셀 및 대응하는 필터 지원 픽셀들의 각자의 샘플 값을 결정하고; 참조 프레임 내의 현재 풀-정수 픽셀의 대응하는 서브-정수 픽셀의 샘플 값에 그리고 참조 프레임 내의 대응하는 필터 지원 픽셀들의 샘플 값들에 공간 고역 통과 필터를 적용하여 현재 프레임 내의 현재 픽셀의 인터 예측된 샘플 값을 결정하도록 구성된다. 또한, 본 발명은 이러한 인터 예측 장치(144)를 포함하는 인코딩 장치(100) 및 디코딩 장치에 관한 것이다.

Description

비디오 코딩을 위한 인터 예측 장치 및 방법을 위한 보간 필터
일반적으로, 본 발명은 비디오 코딩 분야에 관한 것이다. 보다 구체적으로, 본 발명은 비디오 코딩을 위한 인터 예측(inter prediction) 장치 및 방법을 위한 보간 필터뿐만 아니라, 이러한 인터 예측 장치를 포함하는 인코딩 장치 및 디코딩 장치에 관한 것이다.
디지털 비디오 통신 및 저장 애플리케이션들은 광범위한 디지털 디바이스들, 예를 들어, 디지털 카메라들, 셀룰러 무선 전화들, 랩톱들, 방송 시스템들, 비디오 원격회의 시스템들 등에 의해 구현된다. 이러한 애플리케이션들의 가장 중요하고 도전적인 작업들 중 하나가 비디오 압축이다. 비디오 압축 작업은 복잡하고, 2개의 상충되는 파라미터: 압축 효율과 계산 복잡도에 의해 제한된다. ITU-T H.264/AVC 또는 ITU-T H.265/HEVC와 같은 비디오 코딩 표준들은 이러한 파라미터들 사이의 양호한 트레이드오프(tradeoff)를 제공한다. 그러한 이유로, 비디오 코딩 표준들의 지원은 거의 모든 비디오 압축 애플리케이션의 필수 요건이다.
최신의 비디오 코딩 표준들은 소스 프레임 또는 픽처(picture)를 프레임 또는 픽처 블록들로 분할(partitioning)하는 것에 기초한다. 이러한 블록들의 처리는 인코더에 의해 특정되는 이들의 크기, 공간 위치 및 코딩 모드에 의존한다. 코딩 모드들은 예측 타입에 따라 2개의 그룹: 인트라-예측 모드(intra-prediction mode)와 인터-예측 모드(inter-prediction mode)로 분류될 수 있다. 인트라-예측 모드들은 동일한 프레임(픽처 또는 이미지로도 지칭됨)의 픽셀들을 사용하여 참조 샘플들을 생성해서, 재구성되는 블록의 픽셀들에 대한 예측 값들을 계산한다. 인트라-예측은 공간 예측(spatial prediction)으로도 지칭된다. 인터-예측 모드들은 시간 예측(temporal prediction)을 위해 설계되고, 이전 또는 다음 프레임들의 참조 샘플들을 사용하여, 현재 프레임의 블록의 픽셀들을 예측한다. 예측 스테이지 후에, 원래 신호와 그 예측 사이의 차이인 예측 오차에 대해 변환 코딩이 수행된다. 그 후, 변환 계수들 및 부가 정보는 엔트로피 코더(예를 들어, AVC/H.264 및 HEVC/H.265에 대한 CABAC)를 사용하여 인코딩된다. 최근에 채택된 ITU-T H.265/HEVC 표준(ISO/IEC 23008-2:2013, "Information technology - High efficiency coding and media delivery in heterogeneous environments - Part 2: High efficiency video coding", November 2013)은 코딩 효율과 계산 복잡도 사이의 합당한 트레이드오프를 제공하는 한 세트의 최신 비디오 코딩 툴을 공표했다. ITU-T H.265/HEVC 표준의 개요는 [Gary J. Sullivan, "Overview of the High Efficiency Video Coding (HEVC) Standard", in IEEE Transactions on Circuits and Systems for Video Technology, Vol. 22, No. 12, December 2012]에 기재되어 있고, 그 전체 내용은 참조로 본 명세서에 포함된다.
ITU-T H.264/AVC 비디오 코딩 표준과 유사하게, HEVC/H.265 비디오 코딩 표준은 소스 프레임을 소위 코딩 유닛(CU)들의 형태로 된 프레임 블록들로 분할하는 것을 제공한다. 각각의 CU는 더 작은 CU들 또는 예측 유닛(PU)들로 더 분할될 수 있다. PU는 PU의 픽셀들에 대해 적용되는 처리의 타입에 따라 인트라-예측 또는 인터-예측될 수 있다. 인터-예측의 경우, PU는 PU에 대해 특정된 모션 벡터를 사용하는 모션 보상에 의해 처리되는 픽셀들의 영역을 나타낸다. 인트라 예측의 경우, 이웃 블록들의 인접한 픽셀들을 참조 샘플들로서 사용하여 현재 블록을 예측한다. PU는 이 PU에 포함된 모든 변환 유닛(TU)들에 대한 인트라-예측 모드들의 세트로부터 선택되는 예측 모드를 특정한다. TU는 상이한 크기들(예를 들어, 4x4, 8x8, 16x16 및 32x32 픽셀들)을 가질 수 있고, 상이한 방식으로 처리될 수 있다. TU의 경우, 변환 코딩이 수행되며, 즉, 예측 오차는 이산 코사인 변환 또는 이산 사인 변환에 의해 변환되고(HEVC/H.265 표준에서, 이것은 인트라-코딩된 블록들에 적용됨) 양자화된다. 따라서, 재구성된 픽셀들은, 디블록킹 필터(Deblocking Filter, DBF), 샘플 적응 오프셋(Sample Adaptive Offset, SAO) 및 적응 루프 필터(Adaptive Loop Filter, ALF)와 같은 인-루프 필터(in-loop filter)들이 억제하려고 시도하는 양자화 잡음(예를 들어, 유닛들 사이의 블로키니스(blockiness), 날카로운 에지들(sharp edges)과 함께 링잉 아티팩트들(ringing artifacts) 등으로서 명백해질 수 있음)을 포함한다.
인터 예측을 위해 달성될 수 있는 압축 레벨에 대한 예측 정확도를 향상시키기 위해 서브-정수 픽셀 보간(sub-integer pixel interpolation) 기법들이 개발되었다. 이 경우, 비디오 블록을 코딩하는데 사용되는 모션 보상 동안 생성된 예측 데이터는 서브-정수 픽셀들에 대응할 수 있고, 그 값들은 참조 비디오 프레임 또는 모션 벡터가 참조하는 다른 코딩된 유닛의 비디오 블록들의 전체 픽셀들에 대한 값들로부터 보간될 수 있다. 비디오 인코더는 예를 들어 보간 필터들을 지원 픽셀 세트에 적용하는 것에 의해 보간 기법들을 사용하여 서브-정수 픽셀 위치들에 대한 값들, 예를 들어, 풀 정수 픽셀들에 대한 값들 및/또는 다른 서브-정수 픽셀 위치들의 이전에 코딩된 값들을 계산할 수 있다.
오늘날의 표준들 H.264/AVC 및 H.265/HEVC는 1/4 펠(pel) 변위 해상도(displacement resolution)에 기초한다. JVET(Joint Video Exploration Team) 그룹은 아핀 변환들(affine transforms)과 같은 비-병진 모션 보상 모델들(non-translational motion compensation models)을 포함하는 포스트-HEVC 비디오 압축 기술들(post-HEVC video compression technologies)을 탐색하고 있다. 분수-펠(fractional-pel)(또는 서브-정수) 변위들을 추정하고 보상하기 위해, 참조 이미지의 풀-정수 픽셀들(full-integer pixels)은 분수-펠, 즉, 서브-정수 위치들(sub-integer positions)에 보간되어야 한다. 분수-펠 위치들에 보간된 이미지를 얻기 위해 보간 필터들이 사용된다. 비-병진 모션 모델들에 대한 보간의 문제는 가변적인 분수-펠 변위들이다.
보간된 이미지의 품질은 보간 필터(들)의 속성들에 크게 의존한다. 쇼트-탭 필터들(short-tap filters)(예를 들어, 쌍선형(bilinear))은 고주파수들을 억제하고 보간된 픽처를 흐릿하게 만들 수 있다. 한편, 롱-탭 필터들(long-tap filters)(예를 들어, sinc-기반)은 더 많은 메모리 대역폭을 요구하고, 고주파수들을 보존하지만 날카로운 에지들 부근에서 일부 링잉 아티팩트들을 생성할 수 있다. 다른 고려사항은, 비-병진 모델들의 모션 보상의 경우, 보간 및 예측의 정확도를 감소시킴으로써 복잡도가 감소한다는 것이다.
제안된 JEM 아핀 모션 모델에서는, 지원되는 2가지 타입의 모션: 줌(zoom) 및 회전이 존재한다. 분수-펠 위치들의 대부분은 예측 유닛 내에서 비-상수(non-constant)이다. 픽셀들은 보간의 속도를 높이기 위해 서브-블록들로 대체된다. 하나의 서브-블록 내에서, 변위 벡터는 일정하고 병진적이다. 복잡도가 점차 감소되었지만 정확도도 감소되었다. 예측의 품질을 개선하기 위해, 보간 필터들의 양을 증가시킴에 따라 서브-블록들에 대한 모션 벡터 변위의 정밀도를 증가시킴으로써 모션 보상의 정밀도가 개선되었다. 비-병진 모션 모델에 대한 보간 필터링의 현재 정확도는 여전히 향상될 필요가 있다.
따라서, 개선된 비디오 코딩 효율을 제공하는 비디오 코딩을 위한 인터 예측 장치 및 방법을 위한 개선된 보간 필터가 필요하다.
본 발명의 목적은 개선된 비디오 코딩 효율을 제공하는 인터 예측 장치 및 비디오 코딩 방법을 위한 개선된 보간 필터를 제공하는 것이다.
전술한 목적 및 다른 목적은 독립 청구항들의 주제(subject matter)에 의해 달성된다. 추가의 구현 형태들이 종속 청구항들, 설명 및 도면들로부터 명백하다.
제1 양태에 따르면, 본 발명은 비디오 신호의 현재 프레임의 현재 블록의 복수의 픽셀들 중 현재 풀-정수 픽셀의 샘플 값의 인터 예측을 위한 장치에 관한 것이다. 그 장치는 처리 유닛을 포함하며, 그 처리 유닛은: 비디오 신호의 현재 프레임과 참조 프레임 및/또는 모션 보상 모델에 기초하여 현재 풀-정수 픽셀의 모션 벡터를 결정하고; 현재 풀-정수 픽셀의 모션 벡터에 기초하여 현재 풀-정수 픽셀에 대해 참조 프레임 내의 대응하는 서브-정수 픽셀을 결정하고; 현재 프레임 내의 미리 정의된 필터 지원 픽셀 세트에 기초하여 참조 프레임 내의 대응하는 필터 지원 픽셀 세트를 생성하고 - 현재 프레임 내의 미리 정의된 필터 지원 픽셀 세트는 현재 풀-정수 픽셀의 하나 이상의 이웃하는 서브-정수 픽셀을 포함함 - ; 현재 풀-정수 픽셀의 대응하는 서브-정수 픽셀 및 참조 프레임 내의 대응하는 필터 지원 픽셀들의 각자의 샘플 값, 특히, 휘도 값을 결정하고; 참조 프레임 내의 현재 풀-정수 픽셀의 대응하는 서브-정수 픽셀의 샘플 값에 그리고 참조 프레임 내의 대응하는 필터 지원 픽셀들의 샘플 값들에 공간 고역 통과 필터(spatial high-pass filter)를 적용하여 현재 프레임 내의 현재 픽셀의 인터 예측된 샘플 값을 결정하도록 구성된다.
따라서, 비디오 코딩에 대한 효율을 개선시키는 것을 허용하는 개선된 인터 예측 장치가 제공된다.
제1 양태의 추가의 가능한 구현 형태에서, 현재 프레임 내의 미리 정의된 필터 지원 픽셀 세트는 현재 프레임 내의 현재 풀-정수 픽셀의 하나 이상의 수직으로 및/또는 수평으로 이웃하는 하프-정수 픽셀(half-integer pixel)을 포함한다.
제1 양태의 추가의 가능한 구현 형태에서, 현재 프레임 내의 미리 정의된 필터 지원 픽셀 세트는 현재 프레임 내의 현재 풀-정수 픽셀의 하나 이상의 수직으로 및/또는 수평으로 이웃하는 풀-정수 픽셀을 포함한다.
제1 양태의 추가의 가능한 구현 형태에서, 공간 고역 통과 필터는 5-탭 필터(5-tap filter)이다. 구현 형태에서, 5-탭 필터는 대칭 필터, 즉, 제1 및 제5 필터 계수들이 동일하고 제2 및 제4 필터 계수들이 동일한 필터이다. 구현 형태에서, 제1 및 제5 필터 계수들은 네거티브(negative)이고, 5-탭 필터의 다른 필터 계수들은 포지티브(positive)이다.
제1 양태의 추가의 가능한 구현 형태에서, 장치의 처리 유닛은 참조 프레임 내의 각자의 이웃하는 풀-정수 픽셀들의 쌍선형 보간(bilinear interpolation)에 기초하여 참조 프레임 내의 현재 풀-정수 픽셀의 대응하는 서브-정수 픽셀의 그리고 참조 프레임 내의 대응하는 필터 지원 픽셀들의 각자의 샘플 값들을 결정하도록 구성된다.
제1 양태의 추가의 가능한 구현 형태에서, 장치의 처리 유닛은 현재 풀-정수 픽셀의 모션 벡터 및 현재 풀-정수 픽셀의 이웃하는 풀-정수 픽셀들의 하나 이상의 모션 벡터에 기초하여 현재 프레임 내의 필터 지원 픽셀들의 서브-정수 픽셀들 각각의 각자의 모션 벡터를 결정하도록 추가로 구성된다.
제1 양태의 추가의 가능한 구현 형태에서, 장치의 처리 유닛은 현재 풀-정수 픽셀의 모션 벡터와 현재 풀-정수 픽셀의 이웃하는 풀-정수 픽셀들의 하나 이상의 모션 벡터의 평균 벡터(mean vector)를 결정하는 것에 의해 현재 프레임 내의 필터 지원 픽셀들의 서브-정수 픽셀들 각각의 각자의 모션 벡터를 결정하도록 구성된다.
제1 양태의 추가의 가능한 구현 형태에서, 장치의 처리 유닛은 비디오 신호의 현재 프레임과 참조 프레임 및/또는 모션 보상 모델에 기초하여 현재 풀-정수 픽셀의 이웃하는 풀-정수 픽셀들의 하나 이상의 모션 벡터를 결정하도록 추가로 구성된다.
제1 양태의 추가의 가능한 구현 형태에서, 장치의 처리 유닛은, 현재 풀-정수 픽셀의 모션 벡터가 비-병진 모션 보상 모델에 기초하여 결정되는 경우, 참조 프레임 내의 현재 풀-정수 픽셀의 대응하는 서브-정수 픽셀의 샘플 값에 그리고 참조 프레임 내의 대응하는 필터 지원 픽셀들의 샘플 값들에 공간 고역 통과 필터를 적용하여 현재 프레임 내의 현재 픽셀의 인터 예측된 샘플 값을 결정하고, 현재 풀-정수 픽셀의 모션 벡터가 병진 모션 보상 모델에 기초하여 결정되는 경우, H.264/AVC 및 H.265/HEVC에 정의된 종래의 스킴과 같은 종래의 스킴에 기초하여 현재 프레임 내의 현재 픽셀의 인터 예측된 샘플 값을 결정하도록 구성된다.
제1 양태의 추가의 가능한 구현 형태에서, 비-병진 모션 보상 모델은 아핀, 워핑(warping) 및/또는 파노라마(panoramic) 모션 보상 모델이다.
제2 양태에 따르면, 본 발명은 비디오 신호의 현재 프레임의 현재 블록의 복수의 픽셀들 중 현재 풀-정수 픽셀의 샘플 값의 인터 예측을 위한 대응하는 방법에 관한 것이다. 그 방법은: 비디오 신호의 현재 프레임과 참조 프레임에 기초하여 및/또는 모션 보상 모델에 기초하여 현재 풀-정수 픽셀의 모션 벡터를 결정하는 단계; 현재 풀-정수 픽셀의 모션 벡터에 기초하여 현재 풀-정수 픽셀에 대해 참조 프레임 내의 대응하는 서브-정수 픽셀을 결정하는 단계; 현재 프레임 내의 미리 정의된 필터 지원 픽셀 세트에 기초하여 참조 프레임 내의 대응하는 필터 지원 픽셀 세트를 생성하는 단계 - 현재 프레임 내의 미리 정의된 필터 지원 픽셀 세트는 현재 풀-정수 픽셀의 하나 이상의 이웃하는 서브-정수 픽셀을 포함함 - ; 현재 풀-정수 픽셀의 대응하는 서브-정수 픽셀 및 참조 프레임 내의 대응하는 필터 지원 픽셀들의 각자의 샘플 값, 특히, 휘도 값을 결정하는 단계; 및 참조 프레임 내의 현재 풀-정수 픽셀의 대응하는 서브-정수 픽셀의 샘플 값에 그리고 참조 프레임 내의 대응하는 필터 지원 픽셀들의 샘플 값들에 공간 고역 통과 필터를 적용하여 현재 프레임 내의 현재 픽셀의 인터 예측된 샘플 값을 결정하는 단계를 포함한다.
따라서, 비디오 코딩에 대한 효율을 개선시키는 것을 허용하는 개선된 인터 예측 방법이 제공된다.
본 발명의 제2 양태에 따른 인터 예측 방법은 본 발명의 제1 양태에 따른 인터 예측 장치에 의해 수행될 수 있다. 본 발명의 제2 양태에 따른 인터 예측 방법의 추가 특징들은, 본 발명의 제1 양태와 전술 및 후술되는 그의 상이한 구현 형태들에 따른 인터 예측 장치의 기능으로부터 직접 발생한다.
제3 양태에 따르면, 본 발명은 비디오 신호의 현재 프레임을 인코딩하기 위한 인코딩 장치에 관한 것이며, 인코딩 장치는 제1 양태에 따른 인터 예측 장치를 포함한다.
제4 양태에 따르면, 본 발명은 압축된 비디오 신호의 현재 재구성된 프레임을 디코딩하기 위한 디코딩 장치에 관한 것이며, 디코딩 장치는 제1 양태에 따른 인터 예측 장치를 포함한다.
제5 양태에 따르면, 본 발명은 컴퓨터 또는 프로세서 상에서 실행될 때 제2 양태에 따른 방법을 수행하기 위한 프로그램 코드를 포함하는 컴퓨터 프로그램 제품에 관한 것이다.
본 발명의 실시예들은 특히 다음의 이점들을 제공한다. 본 발명의 실시예들은 복잡도를 로우 레벨로 유지하면서 픽셀 단위 정확도(pixel-wise accuracy)로 보간을 수행하는 것을 허용한다. 본 발명의 실시예들은 임의의 종류의 비-병진 이동들(non-translational movements)을 지원한다. 본 발명의 실시예들은 서브-블록 에지들에 걸쳐 블록킹 아티팩트들(blocking artefacts)을 제거하는 것을 허용한다. 본 발명의 실시예들은 메모리 대역폭을 감소시킨다. 본 발명의 실시예들은 필터 계수들의 세트를 저장하기 위한 메모리 요건들을 감소시킨다. 본 발명의 실시예들은 HW 쌍선형 변환(HW bilinear transform)에서 잘 최적화된 재사용을 허용한다. 본 발명의 실시예들은 변환을 따라 필터링의 배향(orientation)을 정렬한다. 본 발명의 실시예들은 보간된 에지들의 품질을 개선하면서 긴 모션 보간 필터(long motion interpolation filter)에 의해 야기되는 링잉 아티팩트들을 감소시키는 것을 허용한다. 본 발명의 실시예들은 재구성된 픽처들에서의 에지들의 주관적 품질(subjective quality)을 증가시키는 것을 허용한다. 또한, 본 발명의 실시예들은 어떠한 추가적인 시그널링도 요구하지 않으며, 따라서 비-병진 이동들을 위한 기존의 보간 방법들을 매끄럽게(seamlessly) 교체할 수 있다. 보간을 2개의 단계로 분할하는 것은 고역 통과 필터링으로부터 분수 오프셋 보상(fractional offset compensation)을 분리하는 것을 허용한다.
본 발명의 추가 실시예들은 이하의 도면들을 참조하여 설명될 것이다.
도 1은 일 실시예에 따른 인터 예측 장치를 포함하는 일 실시예에 따른 인코딩 장치의 예를 개략적으로 도시한다.
도 2는 일 실시예에 따른 인터 예측 장치를 포함하는 일 실시예에 따른 디코딩 장치의 예를 개략적으로 도시한다.
도 3은 일 실시예에 따른 인터 예측 장치에서 구현되는 보간 프로세스의 양태를 개략적으로 예시한다.
도 4는 일 실시예에 따른 인터 예측 장치에서 구현되는 보간 프로세스의 상이한 양태들을 개략적으로 예시한다.
도 5는 일 실시예에 따른 인터 예측 장치에서 구현되는 보간 프로세스의 상이한 양태들을 개략적으로 예시한다.
도 6은 일 실시예에 따른 인터 예측 방법의 단계들을 예시하는 흐름도를 도시한다.
다양한 도면들에서, 동일한 참조 부호들은 동일하거나 기능적으로 동등한 특징부들에 대해 사용될 것이다.
다음의 설명에서는, 본 개시내용의 일부를 형성하고 본 발명이 배치될 수 있는 특정 양태들이 예시로서 도시되는 첨부 도면들을 참조한다. 본 발명의 범위로부터 벗어남이 없이 다른 양태들이 활용될 수 있고 구조적 또는 논리적 변경들이 이루어질 수 있다는 것을 이해할 것이다. 따라서, 본 발명의 범위는 첨부된 청구항들에 의해 정의되므로, 다음의 상세한 설명은 제한적인 의미로 취급되어서는 안된다.
예를 들어, 설명된 방법과 관련된 개시내용은 또한 그 방법을 수행하도록 구성되는 대응하는 디바이스 또는 시스템에 대해 유효할 수 있고, 그 반대의 경우도 마찬가지라는 것을 이해할 것이다. 예를 들어, 특정한 방법 단계가 설명되는 경우, 대응하는 디바이스가, 그러한 유닛이 도면에 명시적으로 설명되거나 예시되지 않더라도, 설명된 방법 단계를 수행하는 유닛을 포함할 수 있다. 또한, 구체적으로 달리 언급되지 않는 한, 본 명세서에 설명된 다양한 예시적인 양태들의 특징들은 서로 조합될 수 있다는 것을 이해할 것이다.
도 1은 일 실시예에 따른 인터 예측 장치(144)를 포함하는 일 실시예에 따른 인코딩 장치(100)를 도시한다. 인코딩 장치(100)는 복수의 프레임들(본 명세서에서는 픽처들 또는 이미지들로도 지칭됨)을 포함하는 비디오 신호의 프레임의 블록을 인코딩하도록 구성되며, 여기서 각각의 프레임은 복수의 블록으로 분할가능하고 각각의 블록은 복수의 픽셀을 포함한다. 실시예에서, 블록들은 매크로 블록들, 코딩 트리 유닛들(coding tree units), 코딩 유닛들, 예측 유닛들 및/또는 예측 블록들일 수 있다.
도 1에 도시된 예시적인 실시예에서, 인코딩 장치(100)는 하이브리드 비디오 코딩 인코더의 형태로 구현된다. 보통, 비디오 신호의 제1 프레임은 인트라 예측(intra prediction)만을 사용하여 인코딩되는 인트라 프레임(intra frame)이다. 이를 위해, 도 2에 도시된 인코딩 장치(100)의 실시예는 인트라 예측을 위한 인트라 예측 유닛(154)을 추가로 포함한다. 인트라 프레임은 다른 프레임들로부터의 정보 없이 디코딩될 수 있다. 인트라 예측 유닛(154)은 인트라 추정 유닛(152)에 의해 제공되는 정보에 기초하여 블록의 인트라 예측을 수행할 수 있다.
제1 인트라 프레임에 후속하는 후속 프레임들의 블록들은 모드 선택 유닛(160)에 의해 선택되는 바와 같이 인터 또는 인트라 예측을 사용하여 코딩될 수 있다. 일반적으로, 인터 예측 유닛(144)은 이하 더 상세히 설명되는 바와 같이, 모션 추정에 기초하여 블록의 모션 보상을 수행하도록 구성될 수 있다. 실시예에서, 모션 추정은 인코딩 장치의 인터 추정 유닛(142)에 의해 수행될 수 있다. 그러나, 다른 실시예들에서, 인터 추정 유닛(142)의 기능은 인터 예측 유닛(144)의 일부로서 또한 구현될 수 있다.
또한, 도 1에 도시된 하이브리드 인코더 실시예에서, 잔차 계산 유닛(104)이 원래 블록과 그 예측 사이의 차이를 결정하고, 즉, 잔차 블록은 인트라/인터 픽처 예측의 예측 오차를 정의한다. 이 잔차 블록은 (예를 들어, DCT를 사용하여) 변환 유닛(106)에 의해 변환되고 변환 계수들은 양자화 유닛(108)에 의해 양자화된다. 양자화 유닛(108)의 출력뿐만 아니라, 예를 들어, 인터 예측 유닛(144)에 의해 제공되는 코딩 또는 부가 정보는 엔트로피 인코딩 유닛(170)에 의해 추가로 인코딩된다.
도 1에 도시된 인코딩 장치(100)와 같은 하이브리드 비디오 인코더는 보통 디코더 처리를 복제(duplicate)하므로, 둘 다 동일한 예측들을 생성할 것이다. 따라서, 도 1에 도시된 실시예에서, 역양자화 유닛(110) 및 역변환 유닛은 변환 유닛(106) 및 양자화 유닛(108)의 역 동작들을 수행하고 잔차 블록의 디코딩된 근사(approximation)를 복제한다. 이어서 디코딩된 잔차 블록 데이터는 재구성 유닛(114)에 의해 예측의 결과들, 즉, 예측 블록에 추가된다. 그 후, 재구성 유닛(114)의 출력은 인트라 예측을 위해 사용되는 라인 버퍼(116)에 제공될 수 있고, 이미지 아티팩트들을 제거하기 위해 인-루프 필터(120)에 의해 더 처리된다. 최종 픽처는 디코딩된 픽처 버퍼(130)에 저장되고, 후속 프레임들의 인터 예측을 위한 참조 프레임으로서 사용될 수 있다.
도 2는 일 실시예에 따른 인터 예측 장치(244)를 포함하는 일 실시예에 따른 디코딩 장치(200)를 도시한다. 디코딩 장치(200)는 인코딩된 비디오 신호의 프레임의 블록을 디코딩하도록 구성된다. 도 2에 도시된 실시예에서, 디코딩 장치(200)는 하이브리드 디코더로서 구현된다. 엔트로피 디코딩 유닛(204)은 인코딩된 픽처 데이터의 엔트로피 디코딩을 수행하는데, 이는 일반적으로 예측 오차들(즉, 잔차 블록들), 모션 데이터 및 다른 부가 정보를 포함할 수 있으며, 이들은 특히 인터 예측 장치(244) 및 인트라 예측 유닛(254)뿐만 아니라 디코딩 장치(200)의 다른 컴포넌트들에 대해 필요하다. 도 2에 도시된 실시예에서, 도 3에 도시된 디코딩 장치(200)의 인터 예측 장치(244) 또는 인트라 예측 유닛(254)은 모드 선택 유닛(260)에 의해 선택되고 도 1에 도시된 인코딩 장치(100)의 인터 예측 장치(144) 및 인트라 예측 유닛(154)과 동일한 방식으로 기능하므로, 인코딩 장치(100) 및 디코딩 장치(200)에 의해 동일한 예측들이 생성될 수 있다. 디코딩 장치(200)의 재구성 유닛(214)은 역양자화 유닛(210) 및 역변환 유닛(212)에 의해 제공되는 잔차 블록 및 필터링된 예측된 블록에 기초하여 블록을 재구성하도록 구성된다. 인코딩 장치(100)의 경우에서와 같이, 재구성된 블록은 인트라 예측을 위해 사용되는 라인 버퍼(216)에 제공될 수 있고, 필터링된 블록/프레임은 장래의 인터 예측들을 위해 인-루프 필터(220)에 의해 디코딩된 픽처 버퍼(230)에 제공될 수 있다.
이미 전술한 바와 같이, 장치(144, 244)는 비디오 신호의 현재 프레임의 현재 블록의 복수의 픽셀들 중 현재 풀-정수 픽셀의 샘플 값의 인터 예측을 수행하도록 구성된다. 장치(144, 244)는 소프트웨어 및/또는 하드웨어로 구현될 수 있는 처리 유닛을 포함한다.
장치(144, 244)의 처리 유닛은 현재 풀-정수 픽셀의 모션 벡터를 결정하도록 구성된다. 실시예에서, 장치(144, 244)의 처리 유닛은 현재 프레임 내의 현재 풀-정수 픽셀에 대응하는 참조 프레임 내의 픽셀의 위치를 결정하는 것에 의해 비디오 신호의 현재 프레임과 참조 프레임에 기초하여 현재 풀-정수 픽셀의 모션 벡터를 결정하도록 구성된다. 실시예에서, 장치(144, 244)의 처리 유닛은 채택된 모션 보상 모델에 기초하여 현재 풀-정수 픽셀의 모션 벡터를 결정하도록 구성된다. 예를 들어, 병진 또는 아핀 모션 보상 모델의 경우에, 현재 풀-정수 픽셀의 모션 벡터는 현재 풀-정수 픽셀이 속하는 동일한 블록의 픽셀들의 하나 이상의 모션 벡터를 사용하여 결정될 수 있다. 본 명세서에서 사용되는 바와 같이, "모션 보상 모델"은 모션 변환 모델, 모션 모델 기술(motion model description) 등으로도 지칭된다.
장치(144, 244)의 처리 유닛은 현재 풀-정수 픽셀의 모션 벡터에 기초하여 현재 풀-정수 픽셀에 대해 참조 프레임 내의 대응하는 서브-정수 픽셀을 결정하도록 추가로 구성된다.
장치(144, 244)의 처리 유닛은 현재 프레임 내의 미리 정의된 필터 지원 픽셀 세트에 기초하여 참조 프레임 내의 대응하는 필터 지원 픽셀 세트를 생성하도록 추가로 구성된다. 현재 프레임 내의 미리 정의된 필터 지원 픽셀 세트는 현재 풀-정수 픽셀의 하나 이상의 이웃하는 서브-정수 픽셀을 포함한다.
실시예에서, 현재 프레임 내의 미리 정의된 필터 지원 픽셀 세트는 현재 프레임 내의 현재 풀-정수 픽셀의 하나 이상의 수직으로 및/또는 수평으로 이웃하는 하프-정수 픽셀을 포함한다. 예를 들어, 실시예에서, 현재 프레임 내의 미리 정의된 필터 지원 픽셀 세트는 현재 풀-정수 픽셀의 위에, 좌측에, 아래에 및 우측에 이웃하는 하프-정수 픽셀들을 포함한다.
실시예에서, 현재 프레임 내의 미리 정의된 필터 지원 픽셀 세트는 현재 프레임 내의 현재 풀-정수 픽셀의 하나 이상의 수직으로 및/또는 수평으로 이웃하는 풀-정수 픽셀을 추가로 포함한다. 예를 들어, 실시예에서, 현재 프레임 내의 미리 정의된 필터 지원 픽셀 세트는 현재 풀-정수 픽셀의 위에, 좌측에, 아래에 및 우측에 이웃하는 풀-정수 픽셀들을 추가로 포함한다. 따라서, 실시예에서, 현재 프레임 내의 미리 정의된 필터 지원 픽셀 세트는 현재 프레임 내의 현재 풀-정수 픽셀의 위에, 좌측에, 아래에 및 우측에 이웃하는 하프-정수 및 풀-정수 픽셀들을 포함할 수 있다.
장치(144, 244)의 처리 유닛은 참조 프레임 내의 현재 풀-정수 픽셀의 대응하는 서브-정수 픽셀 및 대응하는 필터 지원 픽셀들의 각자의 샘플 값, 특히, 휘도 값을 결정하도록 추가로 구성된다.
실시예에서, 장치(144, 244)의 처리 유닛은 참조 프레임 내의 각자의 이웃하는 풀-정수 픽셀들의 쌍선형 보간에 기초하여 참조 프레임 내의 현재 풀-정수 픽셀의 대응하는 서브-정수 픽셀의 그리고 참조 프레임 내의 대응하는 필터 지원 픽셀들의 각자의 샘플 값들을 결정하도록 구성된다. 도 3은 참조 프레임 내의 현재 풀-정수 픽셀의 대응하는 서브-정수 픽셀의 샘플 값을 결정하기 위해 쌍선형 보간을 사용하는 예를 도시한다. 도 3에서, 참조 프레임 내의 참조 블록은 현재 프레임의 예시적인 현재 픽셀을 포함하는 현재 블록에 대해 확대 및 회전된다. 더욱이, 도 3은 필터 지원 픽셀들에 대해 사용되는 증가된 해상도를 예시하였다.
도 3의 확대도로부터 취해질 수 있는 바와 같이, 실시예에서, 참조 프레임 내의 현재 풀-정수 픽셀의 대응하는 서브-정수 픽셀의 샘플 값 L은 다음과 같이 처리 유닛에 의해 결정될 수 있다. 현재 풀-정수 픽셀의 대응하는 서브-정수 픽셀은 참조 프레임의 샘플 그리드의 대응하는 셀 내의 분수 위치(fdX, fdY)를 갖는다. L0, L1, L2, L3은 참조 프레임 내의 이웃하는 풀-정수 픽셀들(즉, 현재 풀-정수 픽셀의 대응하는 서브-정수 픽셀이 위치하는 참조 프레임의 샘플 그리드의 대응하는 셀의 코너들에 위치한 풀-정수 픽셀들)의 알려진 샘플 값들이다. 분수 위치(fdX, fdY)에 기초하여, s0, s1, s2, s3에 대응하는 각자의 직사각형 영역들은 다음과 같이 계산될 수 있다: s0 = fdX*fdY, s1 = (1-fdX)*fdY, s2 = fdX*(1-fdY), s3 = (1-fdX)*(1-fdY). 쌍선형 보간은 다음의 수평 계수들(1-fdX, fdX) 및 다음의 수직 계수들(1-fdY, fdY)을 갖는 2-탭 필터(2-tap filter)를 사용하여 표현될 수 있다. 이러한 가중 인자들(weighting factors)에 기초하여, 참조 프레임 내의 현재 풀-정수 픽셀의 대응하는 서브-정수 픽셀의 샘플 값 L은 다음의 수학식에 기초하여 결정될 수 있다: L = L0*s3 + L1*s2 + L2*s1 + L3*s0. 이미 전술한 바와 같이, 참조 프레임 내의 대응하는 필터 지원 픽셀들에 대한 샘플 값들을 결정하기 위해 동일한 쌍선형 보간이 사용될 수 있다.
장치(144, 244)의 처리 유닛은 참조 프레임 내의 현재 풀-정수 픽셀의 대응하는 서브-정수 픽셀의 샘플 값에 그리고 참조 프레임 내의 대응하는 필터 지원 픽셀들의 샘플 값들에 공간 고역 통과 필터를 적용하여 현재 프레임 내의 현재 픽셀의 인터 예측된 샘플 값을 결정하도록 추가로 구성된다.
실시예에서, 공간 고역 통과 필터는 5-탭 필터이다. 실시예에서, 5-탭 필터는 대칭 필터, 즉, 제1 및 제5 필터 계수들이 동일하고 제2 및 제4 필터 계수들이 동일한 필터이다. 실시예에서, 제1 및 제5 필터 계수들은 네거티브이고, 5-탭 필터의 다른 필터 계수들은 포지티브이다. 실시예에서, 공간 고역 통과 필터는 수직 및 수평 방향으로 개별적으로 적용될 수 있다.
도 4는 도 3에 도시된 예에 대해 수직 및 수평 방향으로 5-탭 필터를 사용하여 장치(144, 244)의 처리 유닛에 의해 수행되는 처리 유닛의 상이한 스테이지들을 예시한다. 도 3에 도시된 예에서와 같이, 참조 블록은 현재 블록에 대해 (아핀 변환에 대응하여) 확대 및 회전되고, 현재 프레임에서 수직 및 수평인 5-탭 필터들은 참조 프레임에서 회전된다.
인터 예측 장치(144, 244)의 다음의 추가 실시예들에서는, 인코딩 장치(100) 및 디코딩 장치(200)가 설명될 것이다. 이러한 맥락에서, 인터 예측 장치(144, 244)의 실시예들은 인코딩 장치(100)에서 구현되는 바와 같은 인터 예측 장치(133)의 실시예들뿐만 아니라 디코딩 장치(200)에서 구현되는 바와 같은 인터 예측 장치(244)의 실시예들에 관련된다는 것이 이해될 것이다.
실시예에서, 장치(144, 244)의 처리 유닛은 현재 풀-정수 픽셀의 모션 벡터 및 현재 풀-정수 픽셀의 이웃하는 풀-정수 픽셀들의 하나 이상의 모션 벡터에 기초하여 현재 프레임 내의 필터 지원 픽셀들의 서브-정수 픽셀들 각각의 각자의 모션 벡터를 결정하도록 추가로 구성된다. 이를 위해, 실시예에서, 장치(144, 244)의 처리 유닛은 현재 풀-정수 픽셀의 모션 벡터와 현재 풀-정수 픽셀의 이웃하는 풀-정수 픽셀들의 하나 이상의 모션 벡터의 평균 벡터를 결정하도록 구성된다. 예를 들어, 현재 프레임 내의 현재 풀-정수 픽셀 위의 하프-정수 픽셀의 모션 벡터를 결정하기 위해, 장치(144, 244)의 처리 유닛은 평균, 즉, 현재 풀-정수 픽셀의 모션 벡터와 현재 풀-정수 픽셀 위의 이웃하는 풀-정수 픽셀의 모션 벡터의 평균을 계산할 수 있다.
현재 픽셀의 모션 벡터의 결정과 유사하게, 장치(144, 244)의 처리 유닛은 비디오 신호의 현재 프레임과 참조 프레임 및/또는 모션 보상 모델에 기초하여 현재 풀-정수 픽셀의 이웃하는 풀-정수 픽셀들의 하나 이상의 모션 벡터를 결정하도록 구성될 수 있다.
실시예에서, 장치(144, 244)의 처리 유닛은, 현재 풀-정수 픽셀의 모션 벡터가 비-병진 모션 보상 모델에 기초하여 결정되는 경우, 참조 프레임 내의 현재 풀-정수 픽셀의 대응하는 서브-정수 픽셀의 샘플 값에 그리고 참조 프레임 내의 대응하는 필터 지원 픽셀들의 샘플 값들에 공간 고역 통과 필터를 적용하여 현재 프레임 내의 현재 픽셀의 인터 예측된 샘플 값을 결정하고, 현재 풀-정수 픽셀의 모션 벡터가 병진 모션 보상 모델에 기초하여 결정되는 경우, H.264/AVC 및 H.265/HEVC에 정의된 종래의 스킴과 같은 종래의 스킴에 기초하여 현재 프레임 내의 현재 픽셀의 인터 예측된 샘플 값을 결정하도록 구성된다. 실시예에서, 비-병진 모션 보상 모델은 아핀, 워핑 및/또는 파노라마 모션 보상 모델이다.
도 5는 위에서 설명한 본 발명의 실시예들의 몇몇 양태들을 요약한다.
도 6은 일 실시예에 따른 대응하는 인터 예측 방법(600)의 단계들을 예시하는 흐름도를 도시한다. 그 방법(600)은 다음의 단계들: 비디오 신호의 현재 프레임과 참조 프레임에 기초하여 및/또는 모션 보상 모델에 기초하여 현재 풀-정수 픽셀의 모션 벡터를 결정하는 단계(601); 현재 풀-정수 픽셀의 모션 벡터에 기초하여 현재 풀-정수 픽셀에 대해 참조 프레임 내의 대응하는 서브-정수 픽셀을 결정하는 단계(603); 현재 프레임 내의 미리 정의된 필터 지원 픽셀 세트에 기초하여 참조 프레임 내의 대응하는 필터 지원 픽셀 세트를 생성하는 단계(605) - 현재 프레임 내의 미리 정의된 필터 지원 픽셀 세트는 현재 풀-정수 픽셀의 하나 이상의 이웃하는 서브-정수 픽셀을 포함함 - ; 참조 프레임 내의 현재 풀-정수 픽셀의 대응하는 서브-정수 픽셀 및 대응하는 필터 지원 픽셀들의 각자의 샘플 값을 결정하는 단계(607); 및 참조 프레임 내의 현재 풀-정수 픽셀의 대응하는 서브-정수 픽셀의 샘플 값에 그리고 참조 프레임 내의 대응하는 필터 지원 픽셀들의 샘플 값들에 공간 고역 통과 필터를 적용하여 현재 프레임 내의 현재 픽셀의 인터 예측된 샘플 값을 결정하는 단계(609)를 포함한다.
처리 유닛은 전술한 각자의 동작들을 수행하도록 구성되는 임의의 종류의 프로그램가능 또는 비-프로그램가능 회로일 수 있다. 처리 유닛은 하드웨어뿐만 아니라 소프트웨어를 포함할 수 있다. 예를 들어, 처리 유닛은 하나 이상의 프로세서, 및 프로그램이 하나 이상의 프로세서에 의해 실행될 때 처리 유닛으로 하여금 각자의 동작들을 수행하게 하는 프로그램을 기억하는 일시적 또는 비일시적 메모리를 포함할 수 있다.
본 개시내용의 특정한 특징 또는 양태가 몇몇 구현들 또는 실시예들 중 하나에 대해서만 개시되었을 수 있지만, 이러한 특징 또는 양태는 임의의 주어진 또는 특정한 응용에 바람직하고 유리할 수 있는 바와 같은 다른 구현들 또는 실시예들의 하나 이상의 다른 특징 또는 양태와 조합될 수 있다. 또한, "포함하다(include)", "갖다(have)", "갖는(with)"이라는 용어들 또는 그 다른 변형들이 상세한 설명 또는 청구항들에서 사용되는 한, 그러한 용어들은 "포함하다(comprise)"라는 용어와 유사한 방식으로 포괄적인 것으로 의도된다. 또한, "예시적인(exemplary)", "예를 들어"("for example" 및 "e.g.")라는 용어들은 최선 또는 최적이라기보다 오히려 단지 예로서 의미된다. "결합된(coupled)" 및 "접속된(connected)"이라는 용어들은 파생어들과 함께 사용될 수 있다. 이러한 용어들은 직접 물리적 또는 전기적 접촉하고 있는지 또는 서로 직접 접촉하고 있지 않은지에 관계없이 2개의 요소가 서로 협력하거나 상호작용하는 것을 나타내기 위해 사용되었을 수 있다는 것을 이해해야 한다.
본 명세서에서 특정 양태들이 예시 및 설명되었지만, 본 기술분야의 통상의 기술자는, 본 개시내용의 범위로부터 벗어남이 없이 도시 및 설명된 특정 양태들에 대해 다양한 대안 및/또는 동등 구현들이 대체될 수 있다는 것을 알 것이다. 본 출원은 본 명세서에서 논의되는 특정 양태들의 임의의 적응들 또는 변형들을 커버하도록 의도된다.
다음의 청구항들에서의 요소들은 대응하는 라벨링에 의해 특정 시퀀스로 열거되지만, 청구항 열거들이 이들 요소들의 일부 또는 전부를 구현하기 위한 특정 시퀀스를 달리 암시하지 않는 한, 이들 요소들은 반드시 그 특정 시퀀스로 구현되는 것으로 제한되도록 의도된 것은 아니다.
위의 교시들에 비추어 많은 대안들, 수정들, 및 변형들이 본 기술분야의 통상의 기술자들에게 명백할 것이다. 물론, 본 기술분야의 통상의 기술자들은 본 명세서에 설명된 것들 이외에 본 발명의 다수의 응용이 있다는 것을 쉽게 인식한다. 본 발명이 하나 이상의 특정 실시예를 참조로 설명되었지만, 본 기술분야의 통상의 기술자들은 본 발명의 범위로부터 벗어나지 않고 그에 대한 많은 변경들이 만들어질 수 있다는 것을 인식한다. 따라서, 첨부된 청구항들 및 그 등가물들의 범위 내에서, 본 발명은 본 명세서에 구체적으로 설명된 것과 다르게 실시될 수 있다는 것을 이해할 것이다.

Claims (14)

  1. 비디오 신호의 현재 프레임의 현재 블록의 복수의 픽셀들 중 현재 풀-정수 픽셀(full-integer pixel)의 샘플 값의 인터 예측(inter prediction)을 위한 장치(144, 244)로서,
    상기 장치(144, 244)는 처리 유닛을 포함하고,
    상기 처리 유닛은:
    상기 비디오 신호의 상기 현재 프레임과 참조 프레임 및/또는 모션 보상 모델(motion compensation model)에 기초하여 상기 현재 풀-정수 픽셀의 모션 벡터를 결정하고;
    상기 현재 풀-정수 픽셀의 상기 모션 벡터에 기초하여 상기 현재 풀-정수 픽셀에 대해 상기 참조 프레임 내의 대응하는 서브-정수 픽셀(sub-integer pixel)을 결정하고;
    상기 현재 프레임 내의 미리 정의된 필터 지원 픽셀 세트에 기초하여 상기 참조 프레임 내의 대응하는 필터 지원 픽셀 세트를 생성하고 - 상기 현재 프레임 내의 상기 미리 정의된 필터 지원 픽셀 세트는 상기 현재 풀-정수 픽셀의 하나 이상의 이웃하는 서브-정수 픽셀을 포함함 - ;
    상기 참조 프레임 내의 상기 현재 풀-정수 픽셀의 대응하는 서브-정수 픽셀 및 상기 대응하는 필터 지원 픽셀들의 각자의 샘플 값을 결정하고;
    상기 참조 프레임 내의 상기 현재 풀-정수 픽셀의 대응하는 서브-정수 픽셀의 샘플 값에 그리고 상기 참조 프레임 내의 상기 대응하는 필터 지원 픽셀들의 샘플 값들에 공간 고역 통과 필터(spatial high-pass filter)를 적용하여 상기 현재 프레임 내의 현재 픽셀의 인터 예측된 샘플 값을 결정하도록 구성되는, 장치(144, 244).
  2. 제1항에 있어서, 상기 현재 프레임 내의 상기 미리 정의된 필터 지원 픽셀 세트는 상기 현재 프레임 내의 상기 현재 풀-정수 픽셀의 하나 이상의 수직으로 및/또는 수평으로 이웃하는 하프-정수 픽셀(half-integer pixel)을 포함하는, 장치(144, 244).
  3. 제1항 또는 제2항에 있어서, 상기 현재 프레임 내의 상기 미리 정의된 필터 지원 픽셀 세트는 상기 현재 프레임 내의 상기 현재 풀-정수 픽셀의 하나 이상의 수직으로 및/또는 수평으로 이웃하는 풀-정수 픽셀을 포함하는, 장치(144, 244).
  4. 제1항 내지 제3항 중 어느 한 항에 있어서, 상기 공간 고역 통과 필터는 5-탭 필터(5-tap filter)인, 장치(144, 244).
  5. 제1항 내지 제4항 중 어느 한 항에 있어서, 상기 장치(144, 244)의 상기 처리 유닛은 상기 참조 프레임 내의 각자의 이웃하는 풀-정수 픽셀들의 쌍선형 보간(bilinear interpolation)에 기초하여 상기 참조 프레임 내의 상기 현재 풀-정수 픽셀의 대응하는 서브-정수 픽셀의 그리고 상기 참조 프레임 내의 상기 대응하는 필터 지원 픽셀들의 각자의 샘플 값들을 결정하도록 구성되는, 장치(144, 244).
  6. 제1항 내지 제5항 중 어느 한 항에 있어서, 상기 장치(144, 244)의 상기 처리 유닛은 상기 현재 풀-정수 픽셀의 모션 벡터 및 상기 현재 풀-정수 픽셀의 이웃하는 풀-정수 픽셀들의 하나 이상의 모션 벡터에 기초하여 상기 현재 프레임 내의 상기 필터 지원 픽셀들의 상기 서브-정수 픽셀들 각각의 각자의 모션 벡터를 결정하도록 추가로 구성되는, 장치(144, 244).
  7. 제6항에 있어서, 상기 장치(144, 244)의 상기 처리 유닛은 상기 현재 풀-정수 픽셀의 모션 벡터와 상기 현재 풀-정수 픽셀의 이웃하는 풀-정수 픽셀들의 하나 이상의 모션 벡터의 평균 벡터(mean vector)를 결정하는 것에 의해 상기 현재 프레임 내의 상기 필터 지원 픽셀들의 상기 서브-정수 픽셀들 각각의 각자의 모션 벡터를 결정하도록 구성되는, 장치(144, 244).
  8. 제6항 또는 제7항에 있어서, 상기 장치(144, 244)의 상기 처리 유닛은 상기 비디오 신호의 상기 현재 프레임과 상기 참조 프레임 및/또는 모션 보상 모델에 기초하여 상기 현재 풀-정수 픽셀의 이웃하는 풀-정수 픽셀들의 하나 이상의 모션 벡터를 결정하도록 추가로 구성되는, 장치(144, 244).
  9. 제1항 내지 제8항 중 어느 한 항에 있어서, 상기 장치(144, 244)의 상기 처리 유닛은, 상기 현재 풀-정수 픽셀의 모션 벡터가 비-병진 모션 보상 모델(non-translational motion compensation model)에 기초하여 결정되는 경우, 상기 참조 프레임 내의 상기 현재 풀-정수 픽셀의 대응하는 서브-정수 픽셀의 샘플 값에 그리고 상기 참조 프레임 내의 대응하는 필터 지원 픽셀들의 샘플 값들에 공간 고역 통과 필터를 적용하여 상기 현재 프레임 내의 상기 현재 픽셀의 인터 예측된 샘플 값을 결정하고, 상기 현재 풀-정수 픽셀의 모션 벡터가 병진 모션 보상 모델(translational motion compensation model)에 기초하여 결정되는 경우, 종래의 스킴에 기초하여 상기 현재 프레임 내의 상기 현재 픽셀의 인터 예측된 샘플 값을 결정하도록 구성되는, 장치(144, 244).
  10. 제9항에 있어서, 상기 비-병진 모션 보상 모델은 아핀(affine), 워핑(warping) 및/또는 파노라마(panoramic) 모션 보상 모델인, 장치(144, 244).
  11. 비디오 신호의 현재 프레임의 현재 블록의 복수의 픽셀들 중 현재 풀-정수 픽셀의 샘플 값의 인터 예측을 위한 방법(600)으로서,
    상기 비디오 신호의 상기 현재 프레임과 참조 프레임에 기초하여 및/또는 모션 보상 모델에 기초하여 상기 현재 풀-정수 픽셀의 모션 벡터를 결정하는 단계(601);
    상기 현재 풀-정수 픽셀의 상기 모션 벡터에 기초하여 상기 현재 풀-정수 픽셀에 대해 상기 참조 프레임 내의 대응하는 서브-정수 픽셀을 결정하는 단계(603);
    상기 현재 프레임 내의 미리 정의된 필터 지원 픽셀 세트에 기초하여 상기 참조 프레임 내의 대응하는 필터 지원 픽셀 세트를 생성하는 단계(605) - 상기 현재 프레임 내의 상기 미리 정의된 필터 지원 픽셀 세트는 상기 현재 풀-정수 픽셀의 하나 이상의 이웃하는 서브-정수 픽셀을 포함함 - ;
    상기 참조 프레임 내의 상기 현재 풀-정수 픽셀의 대응하는 서브-정수 픽셀 및 상기 대응하는 필터 지원 픽셀들의 각자의 샘플 값을 결정하는 단계(607); 및
    상기 참조 프레임 내의 상기 현재 풀-정수 픽셀의 대응하는 서브-정수 픽셀의 샘플 값에 그리고 상기 참조 프레임 내의 상기 대응하는 필터 지원 픽셀들의 샘플 값들에 공간 고역 통과 필터를 적용하여 상기 현재 프레임 내의 현재 픽셀의 인터 예측된 샘플 값을 결정하는 단계(609)
    를 포함하는, 방법(600).
  12. 비디오 신호의 현재 프레임을 인코딩하기 위한 인코딩 장치(100)로서, 상기 인코딩 장치(100)는 제1항 내지 제10항 중 어느 한 항에 따른 인터 예측 장치(144)를 포함하는, 인코딩 장치(100).
  13. 압축된 비디오 신호의 현재 재구성된 프레임을 디코딩하기 위한 디코딩 장치(200)로서, 상기 디코딩 장치(200)는 제1항 내지 제10항 중 어느 한 항에 따른 인터 예측 장치(244)를 포함하는, 디코딩 장치(200).
  14. 컴퓨터 또는 프로세서 상에서 실행될 때 제11항의 방법을 수행하기 위한 프로그램 코드를 포함하는 컴퓨터 프로그램 제품.
KR1020207013236A 2017-11-07 2017-11-07 비디오 코딩을 위한 인터 예측 장치 및 방법을 위한 보간 필터 KR102357142B1 (ko)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/RU2017/000830 WO2019093916A1 (en) 2017-11-07 2017-11-07 Interpolation filter for an inter prediction apparatus and method for video coding

Publications (2)

Publication Number Publication Date
KR20200057088A true KR20200057088A (ko) 2020-05-25
KR102357142B1 KR102357142B1 (ko) 2022-02-08

Family

ID=60629774

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020207013236A KR102357142B1 (ko) 2017-11-07 2017-11-07 비디오 코딩을 위한 인터 예측 장치 및 방법을 위한 보간 필터
KR1020207013132A KR102359415B1 (ko) 2017-11-07 2018-03-06 비디오 코딩을 위한 인터 예측 장치 및 방법을 위한 보간 필터

Family Applications After (1)

Application Number Title Priority Date Filing Date
KR1020207013132A KR102359415B1 (ko) 2017-11-07 2018-03-06 비디오 코딩을 위한 인터 예측 장치 및 방법을 위한 보간 필터

Country Status (8)

Country Link
US (2) US11375199B2 (ko)
EP (2) EP3688987A1 (ko)
JP (2) JP7005854B2 (ko)
KR (2) KR102357142B1 (ko)
CN (2) CN111201791B (ko)
BR (2) BR112020008896A2 (ko)
SG (2) SG11202003260WA (ko)
WO (2) WO2019093916A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11375199B2 (en) 2017-11-07 2022-06-28 Huawei Technologies Co., Ltd. Interpolation filter for an inter prediction apparatus and method for video coding

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102435316B1 (ko) 2018-03-29 2022-08-23 후아웨이 테크놀러지 컴퍼니 리미티드 이미지 처리 장치 및 방법
US11356707B2 (en) * 2019-09-23 2022-06-07 Qualcomm Incorporated Signaling filters for video processing
EP4029250A4 (en) * 2019-09-30 2023-01-04 Huawei Technologies Co., Ltd. INTERPOLATION FILTER FOR INTER PREDICTION DEVICE AND VIDEO CODING METHOD
EP4062638A4 (en) * 2019-12-27 2023-01-11 Zhejiang Dahua Technology Co., Ltd AFFINE PREDICTION PROCESS AND ASSOCIATED DEVICES
CN115567709A (zh) * 2020-07-30 2023-01-03 北京达佳互联信息技术有限公司 对子块中的像素位置处的样点进行编码的方法和装置
WO2022032028A1 (en) * 2020-08-06 2022-02-10 Beijing Dajia Internet Information Technology Co., Ltd. Methods and apparatuses for affine motion-compensated prediction refinement
CN113259669B (zh) * 2021-03-25 2023-07-07 浙江大华技术股份有限公司 编码方法、装置、电子设备及计算机可读存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017052405A1 (en) * 2015-09-25 2017-03-30 Huawei Technologies Co., Ltd. Apparatus and method for video motion compensation
US10045046B2 (en) * 2010-12-10 2018-08-07 Qualcomm Incorporated Adaptive support for interpolating values of sub-pixels for video coding

Family Cites Families (47)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1274254B1 (en) 1995-08-29 2011-07-06 Sharp Kabushiki Kaisha Video coding device and video decoding device with a motion compensated interframe prediction
US20030222998A1 (en) * 2000-12-20 2003-12-04 Satoru Yamauchi Digital still camera system and method
US20030179827A1 (en) * 2002-03-19 2003-09-25 Kenji Sugiyama Video emphasis encoding method and apparatus, video de-emphasis decoding method and apparatus, video emphasis transmitting method and apparatus and video de-emphasis receiving method and apparatus
US7782951B2 (en) 2004-05-13 2010-08-24 Ittiam Systems (P) Ltd. Fast motion-estimation scheme
US7792192B2 (en) 2004-11-19 2010-09-07 Analog Devices, Inc. System and method for sub-pixel interpolation in motion vector estimation
US8208564B2 (en) 2005-06-24 2012-06-26 Ntt Docomo, Inc. Method and apparatus for video encoding and decoding using adaptive interpolation
EP1841230A1 (en) 2006-03-27 2007-10-03 Matsushita Electric Industrial Co., Ltd. Adaptive wiener filter for video coding
US8208553B2 (en) * 2006-05-04 2012-06-26 Altera Corporation Methods and apparatus for quarter-pel refinement in a SIMD array processor
WO2008084378A2 (en) 2007-01-09 2008-07-17 Nokia Corporation Adaptive interpolation filters for video coding
US8971412B2 (en) * 2008-04-10 2015-03-03 Qualcomm Incorporated Advanced interpolation techniques for motion compensation in video coding
US9967590B2 (en) * 2008-04-10 2018-05-08 Qualcomm Incorporated Rate-distortion defined interpolation for video coding based on fixed filter or adaptive filter
US8831086B2 (en) * 2008-04-10 2014-09-09 Qualcomm Incorporated Prediction techniques for interpolation in video coding
US20090257499A1 (en) * 2008-04-10 2009-10-15 Qualcomm Incorporated Advanced interpolation techniques for motion compensation in video coding
US8705622B2 (en) * 2008-04-10 2014-04-22 Qualcomm Incorporated Interpolation filter support for sub-pixel resolution in video coding
US8804831B2 (en) * 2008-04-10 2014-08-12 Qualcomm Incorporated Offsets at sub-pixel resolution
US8462842B2 (en) * 2008-04-10 2013-06-11 Qualcomm, Incorporated Symmetry for interpolation filtering of sub-pixel positions in video coding
US9077971B2 (en) * 2008-04-10 2015-07-07 Qualcomm Incorporated Interpolation-like filtering of integer-pixel positions in video coding
US8750378B2 (en) * 2008-09-23 2014-06-10 Qualcomm Incorporated Offset calculation in switched interpolation filters
JP5446198B2 (ja) * 2008-10-03 2014-03-19 富士通株式会社 画像予測装置及び方法、画像符号化装置、画像復号化装置
US8542732B1 (en) 2008-12-23 2013-09-24 Elemental Technologies, Inc. Video encoder using GPU
EP2360925A1 (en) 2010-01-20 2011-08-24 Siemens Aktiengesellschaft Method for reducing noise for coding of noisy images or image sequences
KR101682147B1 (ko) 2010-04-05 2016-12-05 삼성전자주식회사 변환 및 역변환에 기초한 보간 방법 및 장치
US9094658B2 (en) 2010-05-10 2015-07-28 Mediatek Inc. Method and apparatus of adaptive loop filtering
EP2996336B1 (en) * 2010-09-30 2017-09-13 Samsung Electronics Co., Ltd Device for interpolating images by using a smoothing interpolation filter
US20120134425A1 (en) * 2010-11-29 2012-05-31 Faouzi Kossentini Method and System for Adaptive Interpolation in Digital Video Coding
KR102209697B1 (ko) * 2010-12-08 2021-02-01 엘지전자 주식회사 인트라 예측 방법과 이를 이용한 부호화 장치 및 복호화 장치
US9172972B2 (en) * 2011-01-05 2015-10-27 Qualcomm Incorporated Low complexity interpolation filtering with adaptive tap size
US20120177104A1 (en) 2011-01-12 2012-07-12 Madhukar Budagavi Reduced Complexity Adaptive Loop Filter (ALF) for Video Coding
CA2976108C (en) * 2011-06-28 2020-06-30 Samsung Electronics Co., Ltd. Method for image interpolation using asymmetric interpolation filter and apparatus therefor
NO335667B1 (no) 2011-06-29 2015-01-19 Cisco Systems Int Sarl Metode for videokomprimering
US9055304B2 (en) * 2011-07-01 2015-06-09 Qualcomm Incorporated Reduced resolution pixel interpolation
EP2756678B1 (en) * 2011-09-15 2017-04-19 VID SCALE, Inc. Systems and methods for spatial prediction
US9357235B2 (en) 2011-10-13 2016-05-31 Qualcomm Incorporated Sample adaptive offset merged with adaptive loop filter in video coding
US9445088B2 (en) 2012-04-09 2016-09-13 Qualcomm Incorporated LCU-based adaptive loop filtering for video coding
US9906804B2 (en) * 2014-01-16 2018-02-27 Qualcomm Incorporated Reference layer sample position derivation for scalable video coding
US11122262B2 (en) 2014-06-27 2021-09-14 Samsung Electronics Co., Ltd. System and method for motion compensation in video coding
CN104363451B (zh) * 2014-10-27 2019-01-25 华为技术有限公司 图像预测方法及相关装置
US10104361B2 (en) * 2014-11-14 2018-10-16 Samsung Electronics Co., Ltd. Coding of 360 degree videos using region adaptive smoothing
CN106331722B (zh) 2015-07-03 2019-04-26 华为技术有限公司 图像预测方法和相关设备
MX2018003688A (es) * 2015-09-25 2018-08-01 Huawei Tech Co Ltd Aparato y metodo para compensacion de movimiento de video.
EP3354028B1 (en) * 2015-09-25 2021-09-15 Huawei Technologies Co., Ltd. Apparatus and method for video motion compensation with selectable interpolation filter
CN113301334B (zh) * 2015-11-17 2023-11-03 华为技术有限公司 视频编码样本自适应滤波的方法和装置
FR3044449B1 (fr) * 2015-12-01 2017-11-24 E2V Semiconductors Procede de traitement de signaux issus d'une matrice de prise d'images en couleur, et capteur correspondant
US11134259B2 (en) * 2016-01-15 2021-09-28 Interdigital Madison Patent Holdings, Sas System and method for enhanced motion compensation using adaptive filtering
US11563938B2 (en) * 2016-02-15 2023-01-24 Qualcomm Incorporated Geometric transforms for filters for video coding
US10382781B2 (en) * 2016-09-28 2019-08-13 Qualcomm Incorporated Interpolation filters for intra prediction in video coding
CN111201791B (zh) 2017-11-07 2022-05-24 华为技术有限公司 用于视频编码的帧间预测装置和方法的插值滤波器

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10045046B2 (en) * 2010-12-10 2018-08-07 Qualcomm Incorporated Adaptive support for interpolating values of sub-pixels for video coding
WO2017052405A1 (en) * 2015-09-25 2017-03-30 Huawei Technologies Co., Ltd. Apparatus and method for video motion compensation

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11375199B2 (en) 2017-11-07 2022-06-28 Huawei Technologies Co., Ltd. Interpolation filter for an inter prediction apparatus and method for video coding

Also Published As

Publication number Publication date
US20200267407A1 (en) 2020-08-20
KR102357142B1 (ko) 2022-02-08
KR20200055139A (ko) 2020-05-20
KR102359415B1 (ko) 2022-02-08
CN111201791A (zh) 2020-05-26
EP3688988A1 (en) 2020-08-05
US11297324B2 (en) 2022-04-05
CN111213380A (zh) 2020-05-29
WO2019093922A1 (en) 2019-05-16
US11375199B2 (en) 2022-06-28
BR112020009019A2 (pt) 2020-12-01
EP3688987A1 (en) 2020-08-05
CN111201791B (zh) 2022-05-24
BR112020008896A2 (pt) 2020-10-20
JP6989699B2 (ja) 2022-01-05
SG11202003298YA (en) 2020-05-28
CN111213380B (zh) 2022-10-28
JP7005854B2 (ja) 2022-01-24
WO2019093916A1 (en) 2019-05-16
US20200244965A1 (en) 2020-07-30
JP2021502031A (ja) 2021-01-21
SG11202003260WA (en) 2020-05-28
JP2021502013A (ja) 2021-01-21

Similar Documents

Publication Publication Date Title
US11297324B2 (en) Interpolation filter for an inter prediction apparatus and method for video coding
CN113518221B (zh) 视频编码或解码方法及相应装置
US20180332292A1 (en) Method and apparatus for intra prediction mode using intra prediction filter in video and image compression
US11202082B2 (en) Image processing apparatus and method
US11228780B2 (en) Inter prediction apparatus and method for video coding
EP3698542B1 (en) In-loop filter apparatus, method and computer program product for video coding
US20200145657A1 (en) Devices and methods for video coding

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant