KR20210015963A

KR20210015963A - 인트라-예측을 위한 디바이스 및 방법

Info

Publication number: KR20210015963A
Application number: KR1020207038002A
Authority: KR
Inventors: 알렉세이 콘스탄티노비치 필리포브; 바실리 알렉시비치 루피트스키이
Original assignee: 후아웨이 테크놀러지 컴퍼니 리미티드
Priority date: 2018-06-29
Filing date: 2018-06-29
Publication date: 2021-02-10
Also published as: CN112262574A; JP7293263B2; KR20230127354A; NZ771864A; BR112020026879A2; WO2020005093A1; CN115988202A; AU2018429284A1; CN115988202B; US11563939B2; US20230124833A1; JP2021528919A; JP2023073286A; AU2023201715A1; AU2018429284B2; CA3104611A1; MX2021000168A; US20210120241A1; EP3804313A1; SG11202012838SA

Abstract

본 발명은 화상 처리 분야, 예를 들어 정지 화상/이미지 및/또는 비디오 화상/이미지 코딩에 관한 것이다. 특히, 본 발명은 비디오 이미지의 예측 블록을 인트라-예측하는 디바이스 및 대응하는 방법에 관한 것이다. 상기 디바이스는 지향성 인트라-예측 모드의 세트로부터 지향성 인트라-예측 모드를 선택하도록 구성되며, 각각의 지향성 인트라-예측 모드는 상이한 인트라-예측 각도에 대응한다. 또한, 상기 디바이스는 상기 선택된 지향성 인트라-예측 모드에 기반하여 필터의 세트로부터 필터를 선택하도록 구성된다. 또한, 상기 디바이스는 예측 블록의 주어진 예측 샘플에 대해, 상기 선택된 지향성 인트라-예측 모드에 기반하여 참조 샘플의 세트로부터 참조 샘플을 결정하고, 상기 선택된 필터를 상기 결정된 참조 샘플에 적용하도록 구성된다.

Description

인트라-예측을 위한 디바이스 및 방법

본 발명의 실시 예는 화상 처리의 분야, 예를 들어 정지 화상(picture)/이미지 및/또는 비디오 화상/이미지 코딩에 관한 것이다. 특히, 본 발명은 인트라-예측(intra-prediction), 즉 비디오 이미지의 예측 블록을 인트라-예측하는 디바이스에 관한 것이다. 디바이스는 비디오 이미지 인코더 또는 비디오 이미지 디코더이거나 그 일부일 수 있다. 디바이스는 특히 예측 블록의 지향성(directional) 인트라-예측을 수행하도록 구성된다. 본 발명은 또한 대응하는 인트라-예측 방법에 관한 것이다.

비디오 코딩(비디오 인코딩 및 디코딩)은 예를 들어, 브로드캐스트 디지털 TV, 인터넷 및 모바일 네트워크를 통한 비디오 전송, 화상 채팅, 화상 회의, DVD 및 블루레이 디스크(Blu-ray discs)와 같은 실시간 대화 애플리케이션, 비디오 콘텐츠 수집 및 편집 시스템, 그리고 보안 애플리케이션의 캠코더의 광범위한 디지털 비디오 애플리케이션에 사용된다.

1990년 H.261 표준에서의 블록 기반 하이브리드 비디오 코딩 접근(block-based hybrid video coding)이 개발된 이래, 신규 비디오 코딩 기술과 도구(tool)가 개발되어 신규 비디오 코딩 표준의 기반이 되었다. 대부분의 비디오 코딩 표준의 목표 중 하나는 화질 저하없이 이전 버전에 비해 비트레이트(bitrate)를 감소시키는 것이었다. 추가 비디오 코딩 표준은 MPEG-1 비디오, MPEG-2 비디오, ITU-T H.262/MPEG-2, ITU-T H.263, ITU-T H.264/MPEG-4, Part 10, 향상된 비디오 코딩(Advanced Video Coding, AVC), ITU-T H.265, 고효율 비디오 코딩(High Efficiency Video Coding, HEVC) 및 이러한 표준의 확장(extension), 예를 들어 확장성(scalability) 및/또는 3차원(three-dimensional, 3D) 확장을 포함한다.

비디오 압축은 원하는 비트레이트 감소를 달성할 수 있지만, 복잡한 작업(task)이다. 특히, 비디오 압축은 압축 효율성과 계산 복잡성이라는 두 개의 상반되는 파라미터에 의해 제한된다. ITU-T H.264/AVC 또는 ITU-T H.265/HEVC와 같은 비디오 코딩 표준은 이러한 파라미터간에 적절한 트레이드오프(tradeoff)를 제공한다. 이러한 이유로, 비디오 코딩 표준의 지원은 거의 모든 비디오 압축 애플리케이션의 필수 요건이다.

최첨단 비디오 코딩 표준(the-art video coding standard)의 상태는 소스 화상(source picture)을 블록으로 분할하는(partitioning) 것을 기반으로 한다. 이러한 블록의 처리는 크기, 공간 위치 및 인코더에 의해 지정된 코딩 모드에 따라 다르다.

코딩 모드는 예측 유형에 따라 인트라-예측 모드 및 인터-예측 모드의 두 그룹으로 분류될 수 있다. 인트라-예측 모드는 동일한 화상의 픽셀을 사용하여 참조 샘플을 생성하여 재구성되는 블록의 픽셀에 대한 예측 값을 계산한다. 인터-예측은 공간 예측(spatial prediction)이라고도 지칭된다. 인터-예측 모드는 시간 예측(temporal prediction)을 위해 설계되었으며, 이전 화상 또는 다음 화상의 참조 샘플을 사용하여 현재 화상의 블록의 픽셀을 예측한다.

예측 단계 후, 원본(original) 신호와 그의 예측 사이의 차이인 예측 에러(error)에 대해 변환 코딩이 수행된다. 그런 다음, 변환 계수(transform coefficient) 및 부가 정보(side information)가 엔트로피(entropy) 코더(예를 들어, AVC/H.264 및 HEVC/H.265에 대한 CABAC)를 사용하여 인코딩된다. 최근 채택된 ITU-T H.265/HEVC 표준(ISO/IEC 23008-2:2013, "Information technology - High efficiency coding and media delivery in heterogeneous environments - Part 2: High efficiency video coding", 2013년 11월)은 코딩 효율성과 계산 복잡성 사이의 합리적인 트레이드오프를 제공하는 최첨단 비디오 코딩 도구의 세트를 선언한다. ITU-T H.265/HEVC 표준에 대한 개요는 2012년 12월자 No. 12, Vol. 22의 비디오 기술에 대한 회로 및 시스템에 대한 IEEE 트랜잭션에서, Gary J. Sullivan의 "Overview of the High Efficiency Video Coding(HEVC) Standard"에 의해 제시되었으며, 그 전체 내용은 여기에 참조로 포함된다.

ITU-T H.264/AVC 비디오 코딩 표준과 유사하게, HEVC/H.265 비디오 코딩 표준은 소스 화상을 블록, 예를 들어 코딩 유닛(Coding Unit, CU)으로의 구분(division)을 제공한다. 각각의 CU는 더 작은 CU 또는 예측 유닛(Prediction Unit, PU)으로 더 나눠질 수 있다. PU는 PU의 픽셀에 적용되는 처리 유형에 따라 인트라-예측 또는 인터-예측될 수 있다. 인터-예측의 경우에, PU는 PU에 대해 지정된 모션(motion) 벡터를 사용하는 모션 보상에 의해 처리되는 픽셀의 영역을 나타낸다. 인트라-예측을 위해, 이웃(neighbor) 블록의 인접(adjacent) 픽셀을 참조 샘플로 사용하여 현재 블록을 예측한다.

PU는 이 PU에 포함된 모든 변환 유닛(Transform Unit, TU)에 대한 인트라-예측 모드의 세트로부터 선택되는 예측 모드를 지정한다. 즉, 인트라-예측 모드는 PU의 각각의 TU에 대해 동일하다. TU는 상이한 크기(예를 들어, 4×4, 8×8, 16×16 및 32×32 픽셀)를 가질 수 있으며 그리고 상이한 방식으로 처리될 수 있다. TU의 경우, 변환 코딩이 수행되며, 즉, 예측 에러가 이산 코사인 변환(discrete cosine transform) 또는 이산 사인(sine) 변환(HEVC/H.265 표준에서, 이는 인트라-코딩된 블록에 적용됨)으로 변환되고, 양자화된다. 따라서, 재구성된 픽셀은 DBF, SAO 및 ALF와 같은 인루프(in-loop) 필터가 억제하려고 하는 양자화 노이즈(이는 예를 들어, 유닛 사이의 차단(blockiness), 날카로운 에지(edge)에 따르는 링잉 아티팩트(ringing artifacts) 등이 분명하게 나타날 수 있음)를 포함한다. 정교한 예측 코딩(예를 들어, 모션 보상 및 인트라-예측) 및 분할 기술(예를 들어, HEVC/H.265 표준에서의 CU 및 PU에 대한 쿼드트리(Quad-Tree, QT) 그리고 TU에 대한 잔차 쿼드 트리(Residual Quad-Tree, RQT) 그리고 JEM-3.0 버전부터 시작되는 JEM(Joint Exploration Model) 참조 소프트웨어에 대한 QTBT(Quad-Tree and Binary Tree))의 사용을 통해 표준화 위원회는 PU의 중복성을 크게 감소시킬 수 있다. QT 분할 메커니즘과 QTBT 분할 메커니즘의 근본적인 차이점은 후자가 쿼드 및 이진 트리에 기반하여 분할을 사용하여 정사각형 블록뿐만 아니라 직사각형 블록도 가능하게 한다는 것이다. 본 발명은 지향성 인트라-예측에 관한 것으로, 지향성 인트라-예측 모드의 신규 변형을 도입한다.

HEVC/H.265 표준에 따라, 35개의 인트라-예측 모드가 사용가능할 수 있다. 도 9에 도시된 바와 같이, 이 세트는 다음 모드:

● 평면 모드(planar mode)(인트라-예측 모드 인덱스가 0),

● DC 모드(인트라-예측 모드 인덱스가 1),

● 도 9에서 실선 화살표로 도시된 지향성 모드(인트라-예측 모드 인덱스 값의 범위는 2 ~ 34임)를 포함한다. 지향성 인트라-예측 모드의 세트는 지향성 인트라-예측 모드 사이의 각도 단계(angular step)를 2의 팩터(factor)만큼 감소시켜 최대 65개의 모드(즉, 거의 두 배)로 확장되었다. 이러한 추가적 모드(additional mode)는 도 9에서 점선 화살표로 도시된다.

JEM-3.0 소프트웨어의 경우, QTBT로 알려진 신규 분할 메커니즘이 제안되었다. 도 10에서 볼 수 있듯이, QTBT 분할은 정사각형 블록뿐만 아니라 직사각형 블록도 제공할 수 있다. 물론, 인코더 측에서 일부 시그널링 오버헤드와 증가된 계산 복잡성이 예를 들어 HEVC/H.265 표준에서 사용되는 기존의 QT 기반 분할에 비해, QTBT 분할의 프라이스(price)이다. 그럼에도 불구하고, QTBT 기반 분할은 더 나은 세그먼테인션 속성이 부여되므로, 기존 QT보다 훨씬 높은 코딩 효율성을 보여준다.

그러나, QTBT를 도입할 때, 이용 가능한 지향성 인트라-예측 모드의 세트가 그에 따라 변경되지 않았다. 특히, 도 11에 도시된 바와 같이, 직사각형 블록의 비대칭(asymmetry)은 고려되지 않았다. 따라서, 직사각형 블록의 짧은 면과 긴면 모두를 따라 동일한 수의 참조 샘플이 사용된다. QTBT 프레임워크의 현재 구현에서, 지향성 인트라-예측 모드의 수는 블록의 종횡비(aspect ratio)나 참조 샘플의 실제 가용성에 의존하지 않는다. 결과적으로, 직사각형 블록의 짧은면에 대해 사용되는, 거의 가능성이 없는 참조 샘플이 있는 반면, 긴면에 대해 사용되지 않는, 가능한 참조 샘플이 있을 수 있다.

특히, 도 12에 도시된 바와 같이, 이 문서에서, "수직 방향 블록(vertically oriented block)"("블록의 수직 방향(vertical orientation of a block)") 및 "수평 방향 블록(horizontally oriented block)"("블록의 수평 방향(horizontal orientation of a block)")이라는 용어가 QTBT 프레임워크에 의해 생성된 직사각형 블록에 적용된다. 도 12는 특히 (a) 수평 방향 블록 및 (b) 수직 방향 블록을 도시한다.

기여 JVET-D0113에서, 지향성 인트라-예측 모드의 수를 조정할 수 있는 메커니즘을 적용하는 것이 추가로 제안되었다. 특히, 큰 블록 크기에 대해 지향성 인트라-예측 모드의 수를 131개로 증가시키고, 작은 블록 크기에 대해 지향성 인트라-예측 모드의 수를 감소시키는 것이 추가로 제안되었다. 블록 크기에 기반하여 지향성 인트라-예측 모드 수를 스위칭하는 것은 각각 log2 값-4 및 log2 값-6과 같이 SPS에서 시그널링되는 두 개의 임계 값에 의해 제어된다. 제1 임계 값은 35개의 인트라-예측 모드 방향(mode direction)을 가질 수 있는 가장 큰 블록 크기를 지시하고(indicate), 제2 임계 값은 67개의 인트라-예측 모드 방향을 가질 수 있는 가장 큰 블록 크기를 지시하며, 다른 모든 블록은 131개의 인트라-예측 모드 방향을 사용한다. 기본 설정에서, 임계 값은 각각 4와 6으로 시그널링되며, 고해상도 화상의 경우 5와 8로 설정된다.

구현에서, 지향성 인트라-예측 모드 인덱스는 실제로 사용되는 지향성 인트라-예측 모드의 수에 관계없이 항상 131 모드 범위로 표현된다. 실제로 사용되는 67개의 인트라-예측 모드의 경우, 매 제2 각도(지향성) 모드만 허용되며, 35개의 모드의 경우 매 제2 각도(지향성) 모드만 허용된다. 따라서, 인트라-예측 모드 시그널링 동안, 이웃 블록의 인트라-예측 모드는 가장 가까운 인트라-예측 모드, 또는 제2 각도 인트라-예측 모드, 또는 제4 각도 인트라-예측 모드로 반올림되어야 할 수 있으며, 현재 블록이 131개 보다 작은 인트라-예측 모드 방향을 사용하면, 도 13에 설명되어 있는 바와 같다. 이 컨버전(conversion)은 인트라-예측 모드에 1 또는 2의 오른쪽 시프트 및 왼쪽 시프트를 적용하는 것에 의해 수행된다. 모드가 MPM이 아니면, 모드 시그널링은 JEM-3.0에서와 동일한 프로세스를 따르지만, 상이한 수의 인트라-예측 모드를 사용한다. 평면 모드 및 DC 모드는 변경되지 않고 유지되며, 모드 컨버전이 필요하지 않다. 증가된 인트라-예측 모드를 수용하기 위해, 4-탭(tap) 인트라 필터가 1/32에서 1/64 분수 픽셀로 확장된다. .

또한, 최근 직사각형 블록에 대해 설정된 인트라-예측 모드에 얼마나 많은 지향성 인트라-예측 모드가 포함되어야 하는지를 해결하기 위한 기술이 제안되었다. 도 14에 도시된 바와 같이, 제안된 기술에 따라 지향성 인트라-예측 모드의 세트는 예측 블록의 종횡비에 따라 확장될 수 있으며, 추가된 지향성 인트라-예측 모드를 기존이 서브 세트에 매핑하는 것에 의해 시그널링될 수 있다.

도 15는 이와 관련하여, 지향성 인트라-예측 모드와 관련된 45°와 같은(equal) 각도를 가지는 대각선 방향에서의 인트라-예측의 경우를 예시한다. 이 경우에 대한 대응하는 HEVC 인트라 모드 인덱스는 2(왼쪽 하단부터) 및 35(오른쪽 상단부터)이다.

그러나, 유사한 인트라-예측 메커니즘이 45°보다 작은 각도, 즉 확장된 지향성 인트라-예측 모드에 적용되면, 그 상황은 도 16에 도시된 바와 같다. 즉, 인트라-예측 방향이 예각(acute)으로 (즉, 45° 미만) 지정된 경우, 명백한 불연속성이 예측에서 관찰될 수 있다. 이러한 불연속성의 소스는 특히 두 개의 인접한 예측 샘플의 행 사이의 참조 샘플 위치 간의 차이가 하나의 참조 샘플보다 커질 수 있다는 것이다. 이 문제는 참조 샘플을 처리하고 인트라-예측 보간(interpolation)을 수행하는 방법과 관련이 있다.

전술한 구현의 관점에서, 본 발명은 하이브리드 비디오 코딩을 더욱 개선하는 것을 목표로 한다. 특히, 본 발명은 비디오 이미지의 예측 블록의 개선된 인트라-예측을 위한 디바이스 및 방법을 제공하는 것을 목적으로 한다. 본 발명은 특히 하드웨어 및 계산 복잡성을 추가하지 않고 추가적인 코딩 이득을 목표로 한다. 구체적으로, 본 발명은 45°미만의 예각의 각도에서 발생하는 전술한 문제를 극복하고자 하며, 즉, 이러한 예각의 각도에서 불연속성을 억제하고자 한다. 본 발명은 종래의 지향성 인트라-예측 메커니즘을 사용하는 코덱에서 쉽게 구현되어야 한다.

본 발명의 목적은 독립 청구항의 특징에 의해 정의된 본 발명의 실시 예에 따라 해결된다. 실시 예의 추가적인 유리한 구현은 종속항의 특징에 의해 정의된다.

특히, 본 발명은 인트라-예측의 예각의 각도, 즉 45°미만에 대해, 필터 길이를 연장하는 것에 의해 불연속성을 감소시키는 것을 제안한다. 이 솔루션은 주로 QTBT 및 MTT와 같은 분할 프레임워크(partitioning framework)에 의해 생성된 직사각형 블록에 적용된다.

본 발명의 제1 측면은 비디오 이미지의 예측 블록을 인트라-예측하는 디바이스를 제공하며, 상기 디바이스는 지향성 인트라-예측 모드의 세트로부터 지향성 인트라-예측 모드를 선택하고 - 각각의 지향성 인트라-예측 모드 상이한 인트라-예측 각도에 대응함-, 상기 선택된 지향성 인트라-예측 모드에 기반하여 필터의 세트로부터 필터를 선택하며, 예측 블록의 주어진 예측 샘플에 대해, 상기 선택된 지향성 인트라-예측 모드를 기반으로 참조 샘플의 세트로부터 참조 샘플을 결정하고, 상기 선택된 필터를 상기 결정된 참조 샘플에 적용하도록 구성된다.

제1 측면에 따른 상기 디바이스는 다음과 같은 이점을 제공한다.

● 추가적인 코딩 이득이 도달될 수 있다.

● HM 소프트웨어 및 VPX 비디오 코덱 제품군은 물론 각각 최점단 및 차세대 비디오 코딩 프레임워크인 JEM 및 VTM 소프트웨어와 VPX/AV1 비디오 코덱 제품군과 호환되는 하이브리드 비디오 코딩 패러다임의 많은 잠재적 애플리케이션에서 사용될 수 있다.

● 하드웨어 및 계산 복잡성이 낮게 유지된다.

● 상기 디바이스는 기존의 지향성 인트라-예측 메커니즘을 사용하는 코덱에서 쉽게 구현될 수 있다.

특히, 각도에 따른 필터 길이를 선택하는 것에 의해, 전술한 45°미만의 예각의 인트라-예측 각도 문제가 극복될 수 있다. 두 개의 인접한 예측 샘플의 인트라-예측에 사용되는 두 개의 참조 샘플 사이의 거리가 더 커지게 되어, 두 개의 참조 샘플이 더 이상 서로 인접하지 않으면, 선택한 필터 길이가 클수록 불연속성이 방지된다. 참조 픽셀이 서로 인접해 있는 45°이상의 각도의 경우, 세부 사항을 보존하기 위해 필터 길이를 더 작게 선택할 수 있다.

특히, 예측 블록은 TU 또는 PU일 수 있다. 상기 디바이스는 주어진 예측 샘플에 대해 설명된 바와 같이, 예측 블록의 각각의 예측 샘플을 처리하도록 구성된다. 따라서, 상기 디바이스는 비디오 이미지에서 전체 예측 블록의 인트라-예측을 수행하도록 구성된다. 샘플은 비디오 이미지에서 채널과 픽셀의 교차점이다. 예를 들어, 비디오 이미지의 각각의 픽셀은 빨강, 녹색 및 파랑에 대한 세 가지 샘플을 포함할 수 있다.

제1 측면의 구현 형태에서, 상기 디바이스는 상기 선택된 지향성 인트라-예측 모드에 기반하여 필터 길이를 결정하고, 적어도 상기 결정된 필터 길이를 갖는 필터를 필터로서 선택하도록 구성된다.

따라서, 상기 디바이스는 필터 길이가 각각의 경우 불연속을 피하기에 충분히 길도록 보장한다.

제1 측면의 추가 구현 형태에서, 상기 필터의 세트는 특히 1개 또는 3개 또는 5개의 인접한 참조 샘플에 걸치는(span) 상이한 필터 길이를 갖는 필터를 포함한다.

제1 측면의 추가 구현 형태에서, 상기 필터의 세트에서의 각각의 필터는 상기 결정된 참조 샘플에 적용될 때, 상기 결정된 참조 샘플 및 하나 이상의 인접한 참조 샘플에 대해 상이한 평활화를 수행한다.

더 예각의 각도의 경우, 예를 들어, 적절히 필터를 선택하는 것에 의해 더 인접한 참조 샘플에 대해 더 강한 평활화(stronger smoothing)가 선택될 수 있으며, 덜 예각의(또는 예각이 아닌) 각도의 경우, 예를 들어, 덜 인접한 참조 샘플에 대해 더 부드러운 평활화(softer smoothing)가 선택될 수 있다.

제1 측면의 추가 구현 형태에서, 상기 디바이스는 상기 선택된 지향성 인트라-예측 모드에 대응하는 인트라-예측 각도를 결정하고, 상기 결정된 인트라-예측 각도에 따라 필터를 선택하도록 구성된다.

따라서, 각각의 인트라-예측 각도에 대해 최적의 필터가 선택될 수 있다.

제1 측면의 추가 구현 형태에서, 상기 디바이스는 상기 선택된 지향성 인트라-예측 모드에 대응하는 인트라-예측 각도를 결정하고, 상기 예측 블록의 추가 예측 샘플에 대해, 상기 선택된 지향성 인트라-예측 모드에 기반하여 상기 참조 샘플의 세트로부터 추가 참조 샘플을 지정하며, 상기 결정된 참조 샘플과 상기 추가 참조 샘플 사이의 거리를 결정하고, 상기 결정된 거리에 따라 필터를 선택하도록 구성된다.

상기 디바이스는 상기 선택된 지향성 인트라-예측 모드를 입력으로서 취하는 필터 선택 알고리즘을 수행하여 상기 인트라-예측 각도를 출력으로서 획득하도록 구성될 수 있다. 상기 디바이스는 상기 선택된 지향성 인트라-예측 모드의 인덱스에 기반하여 상기 인트라-예측 각도를 결정할 수 있다. 또한, 상기 디바이스는 상기 예측 블록의 종횡비에 기반하여 상기 각도를 결정하도록 구성될 수 있다.

추가 참조 샘플은 결정된 참조 샘플이 주어진 예측 샘플에 대해 결정되는 것과 동일한 방식으로, 특히 선택된 모드의 인트라-예측 방향, 즉 인트라-예측 각도에 기반하여 추가 예측 샘플에 대해 지정될 수 있다. 결정된 참조 샘플과 추가 참조 샘플 사이의 거리는 예측 블록에서의 주어진 예측 샘플과 추가 예측 샘플 사이의 거리 및 선택된 모드와 관련된 인트라-예측 각도에 기반하여 유추(derive)될 수 있다. 상기 거리는 참조 샘플의 정수 또는 분수로 결정될 수 있다.

더 작은 결정된 거리에 대해 더 긴 필터 길이를 가진 필터가 선택될 수 있고, 더 큰 결정된 거리에 대해 더 짧은 필터 길이를 가진 필터가 선택될 수 있다. 특히, 적어도 상기 결정된 거리의 필터 길이를 갖는 필터가 선택될 수 있다. 선택 가능한 필터가 적어도 상기 결정된 거리의 필터 길이를 가지지 않으면, 필터 세트에서 가장 긴 필터 길이를 가지는 필터가 선택될 수 있다.

따라서, 참조 샘플 사이의 거리가 인트라-예측 후 불연속으로 이어지지 않도록 필터가 선택될 수 있다.

제1 측면의 추가 구현 형태에서, 상기 디바이스는 상기 지향성 인트라-예측 모드의 제1 서브 세트로부터 선택된 각각의 지향성 인트라-예측 모드에 대해 동일한 필터를 선택하고, 상기 지향성 인트라-예측 모드의 제2 서브 세트로부터 선택된 각각의 지향성 인트라-예측에 대해 상이한 필터를 선택하도록 구성된다.

예를 들어, 제1 서브 세트는 45°이상의 인트라-예측 각도와 관련된 지향성 인트라-예측 모드를 포함할 수 있는 반면, 제2 서브 세트는 45°미만의 인트라-예측 각도와 관련된 지향성 인트라-예측 모드를 포함할 수 있다.

제1 측면의 추가 구현 형태에서, 상기 디바이스는 상기 결정된 참조 샘플로부터 직접, 상기 주어진 예측 샘플을 인트라-예측하도록 구성되며, 여기서 상기 디바이스는 상기 주어진 예측 샘플의 인트라-예측 전 또는 인트라-예측 중에, 상기 선택된 필터를 상기 결정된 참조 샘플에 적용하도록 구성된다.

제1 측면의 추가 구현 형태에서, 상기 디바이스는 상기 선택된 인트라-예측 모드에 기반하여 상기 결정된 참조 샘플을 보간하는 것에 의해 전치된 참조 샘플을 생성하고, 상기 전치된 참조 샘플로부터 상기 주어진 예측 샘플을 인트라-예측하도록 구성되며, 여기서 상기 디바이스는 상기 전치된 참조 샘플의 생성 전 또는 생성 중에, 상기 선택된 필터를 상기 결정된 참조 샘플에 적용하도록 구성된다.

제1 측면의 추가 구현 형태에서, 상기 디바이스는 상기 참조 샘플의 세트에서 각각의 참조 샘플을 전치하도록 구성되며, 참조 샘플의 행은 전치된 참조 샘플의 열이 되고, 참조 샘플의 열은 전치된 참조 샘플의 행이 된다.

제1 측면의 추가 구현 형태에서, 상기 참조 샘플의 세트의 참조 샘플은 상기 예측 블록의 위와 오른쪽 위에 인접하게 상기 비디오 이미지의 행에 배열되거나, 및/또는 상기 예측 블록의 왼쪽과 왼쪽 아래에 인접하게 상기 비디오 이미지의 열에 배열된다.

제1 측면의 추가 구현 형태에서, 상기 디바이스는 상기 비디오 이미지를 인코딩 및/또는 디코딩하도록 구성되거나, 상기 디바이스는 비디오 인코더 및/또는 비디오 디코더이다.

예를 들어, 제1 측면의 상기 디바이스는 인코더 또는 디코더의 인트라-예측 유닛일 수 있거나, 그것에 포함될 수 있다.

본 발명의 제2 측면은 비디오 이미지의 예측 블록을 인트라-예측하는 방법ㅇ으을 제공하며, 상기 방법은, 지향성 인트라-예측 모드의 세트로부터 지향성 인트라-예측 모드를 선택하는 단계 - 각각의 지향성 인트라-예측 모드는 상이한 인트라-예측 각도에 대응함 -; 상기 선택된 지향성 인트라-예측 모드에 기반하여 필터의 세트로부터 필터를 선택하는 단계; 상기 예측 블록의 주어진 예측 샘플에 대해, 상기 선택된 지향성 인트라-예측 모드에 기반하여 참조 샘플의 세트로부터 참조 샘플을 결정하는 단계; 및 상기 선택된 필터를 상기 결정된 참조 샘플에 적용하는 단계를 포함한다.

제2 측면의 구현 형태에서, 상기 방법은, 상기 선택된 지향성 인트라-예측 모드에 기반하여 필터 길이를 결정하는 단계 및 적어도 상기 결정된 필터 길이를 갖는 필터를 필터로서 선택하는 단계를 포함한다.

제2 측면의 추가 구현 형태에서, 상기 필터의 세트는 특히 1개 또는 3개 또는 5개의 인접한 참조 샘플에 걸치는 상이한 필터 길이를 갖는 필터를 포함한다.

제2 측면의 추가 구현 형태에서, 상기 필터의 세트에서의 각각의 필터는 상기 결정된 참조 샘플에 적용될 때, 상기 결정된 참조 샘플 및 하나 이상의 인접한 참조 샘플에 대해 상이한 평활화를 수행한다.

제2 측면의 추가 구현 형태에서, 상기 방법은, 상기 선택된 지향성 인트라-예측 모드에 대응하는 인트라-예측 각도를 결정하는 단계 및 상기 결정된 인트라-예측 각도에 따라 필터를 선택하는 단계를 포함한다.

제2 측면의 추가 구현 형태에서, 상기 방법은, 상기 선택된 지향성 인트라-예측 모드에 대응하는 인트라-예측 각도를 결정하는 단계, 상기 예측 블록의 추가 예측 샘플에 대해, 상기 선택된 지향성 인트라-예측 모드에 기반하여 상기 참조 샘플의 세트로부터 추가 참조 샘플을 지정하는 단계, 상기 결정된 참조 샘플과 상기 추가 참조 샘플 사이의 거리를 결정하는 단계 및 상기 결정된 거리에 따라 필터를 선택하는 단계를 포함한다.

제2 측면의 추가 구현 형태에서, 상기 방법은, 상기 지향성 인트라-예측 모드의 제1 서브 세트로부터 선택된 각각의 지향성 인트라-예측 모드에 대해 동일한 필터를 선택하는 단계 및 상기 지향성 인트라-예측 모드의 제2 서브 세트로부터 선택된 각각의 지향성 인트라-예측에 대해 상이한 필터를 선택하는 단계를 포함한다.

제2 측면의 추가 구현 형태에서, 상기 방법은, 상기 결정된 참조 샘플로부터 직접, 상기 주어진 예측 샘플을 인트라-예측하는 단계를 포함하며, 여기서, 상기 방법은, 상기 주어진 예측 샘플의 인트라-예측 전 또는 인트라-예측 중에, 상기 선택된 필터를 상기 결정된 참조 샘플에 적용하는 단계를 포함한다.

제2 측면의 추가 구현 형태에서, 상기 방법은, 상기 선택된 인트라-예측 모드에 기반하여 상기 결정된 참조 샘플을 보간하는 것에 의해 전치된 참조 샘플을 생성하는 단계 및 상기 전치된 참조 샘플로부터 상기 주어진 예측 샘플을 인트라-예측하는 단계를 포함하며, 여기서, 상기 방법은, 상기 전치된 참조 샘플의 생성 전 또는 생성 중에, 상기 선택된 필터를 상기 결정된 참조 샘플에 적용하는 단계를 포함한다.

제2 측면의 추가 구현 형태에서, 상기 방법은, 상기 참조 샘플의 세트에서 각각의 참조 샘플을 전치하는 단계를 포함하며, 여기서 참조 샘플의 행은 전치된 참조 샘플의 열이 되고, 참조 샘플의 열은 전치된 참조 샘플의 행이 된다.

제2 측면의 추가 구현 형태에서, 상기 참조 샘플의 세트의 참조 샘플은 상기 예측 블록의 위와 오른쪽 위에 인접하게 상기 비디오 이미지의 행에 배열되거나, 및/또는 상기 예측 블록의 왼쪽과 왼쪽 아래에 인접하게 상기 비디오 이미지의 열에 배열된다.

제2 측면의 추가 구현 형태에서, 상기 방법은, 상기 비디오 이미지를 인코딩 및/또는 디코딩하기 위해 수행되거나, 상기 방법은 비디오 인코더 및/또는 비디오 디코더에서 수행된다.

제2 측면의 방법 및 그 구현 형태는 제1 측면의 디바이스 및 그 각각의 구현 형태에 대해 전술한 동일한 이점 및 효과를 달성한다.

본 출원에 설명된 모든 디바이스, 엘리먼트, 유닛 및 수단은 소프트웨어 또는 하드웨어 엘리먼트 또는 이들의 임의의 종류의 조합으로 구현될 수 있다는 점에 유의해야 한다. 본 출원에 설명된 다양한 엔티티에 의해 수행되는 모든 단계 및 다양한 엔티티에 의해 수행되도록 설명된 기능은, 각각의 엔티티가 각각의 단계 및 기능을 수행하도록 적응되거나 구성됨을 의미하도록 의도된다. 특정 실시 예에 대한 다음 설명에서, 외부 엔티티에 의해 수행되는 특정 기능 또는 단계가, 특정 단계 또는 기능을 수행하는 엔티티의 특정 세부 엘리먼트에 대한 설명에 반영되지 않더라도, 이들 방법 및 기능은 각각의 소프트웨어 또는 하드웨어 엘리먼트, 또는 이들의 임의의 종류의 조합으로 구현될 수 있다는 것이 당업자에게 명확할 것이다.

하나 이상의 실시 예의 세부 사항은 첨부된 도면 및 아래의 설명에서 설명된다. 다른 특징, 목적 및 이점은 설명, 도면 및 청구 범위로부터 명백해질 것이다.

다음의 실시 예에서 본 발명의 실시 예는 첨부된 그림 및 도면을 참조하여 더욱 상세하게 설명된다.
도 1은 본 발명의 실시 예를 구현하도록 구성된 비디오 인코더의 예시적인 구조를 도시하는 블록도이다.
도 2는 본 발명의 실시 예를 구현하도록 구성된 비디오 디코더의 예시적인 구조를 도시하는 블록도이다.
도 3은 본 발명의 실시 예를 구현하도록 구성된 비디오 코딩 시스템의 예를 도시하는 블록도이다.
도 4는 (a) 인트라-예측 각도가 45°보다 작은 경우에 대한 불연속성의 소스와 (b) 인트라-예측 각도가 45°보다 작은 경우에 대한 행간 불연속성(inter-row discontinuity)을 도시한다.
도 5는 본 발명의 일 실시 예에 따른 디바이스를 도시하는 블록도이다.
도 6은 본 발명의 일 실시 예에 따른 디바이스에 의해 수행되는, 인트라-예측 각도에 의존하는 참조 샘플 필터 선택 메커니즘의 흐름도를 도시한다.
도 7은 본 발명의 일 실시 예에 따른 디바이스에 의해 수행되는 참조 샘플 사전 보간(pre-interpolation) 메커니즘을 도시한다.
도 8은 본 발명의 일 실시 예에 따른 방법의 흐름도를 도시한다.
도 9는 HM 및 JEM 소프트웨어의 인트라-예측 모드(점선으로 표시되는 각도/지향성 모드는 JEM에는 도입되지만 HM에는 적용되지 않음)를 도시한다.
도 10은 QTBT 분할을 개략적으로 도시한다.
도 11은 QT 및 QTBT 프레임워크에서 지향성 인트라-예측 메커니즘의 현재 구현을 도시한다.
도 12는 직사각형 블록의 방향을 설명하며, 특히 (a) 수평 방향 및 (b) 수직 방향의 직사각형 블록을 도시한다.
도 13은 JVET-D0113에서 제안된 인트라-모드 선택을 도시한다.
도 14는 제안된 지향성 인트라-예측 모드의 확장을 도시한다.
도 15는 45°와 같은 인트라-예측 각도에 대해 두 개의 인접한 예측 샘플 행을 인트라-예측하기 위한 참조 샘플 사이의 거리를 개략적으로 도시한다.
도 16은 45°보다 작은 인트라-예측 각도에 대해 두 개의 인접한 예측 샘플 행을 인트라-예측하기 위한 참조 샘플 사이의 거리를 개략적으로 도시한다.

다음의 설명에서, 본 개시의 일부를 형성하고, 예시로서 본 발명의 실시 예의 특정 측면 또는 본 발명의 실시 예가 사용될 수 있는 특정 측면을 나타내는 첨부 도면을 참조한다. 본 발명의 실시 예는 다른 측면에서 사용될 수 있고 도면에 도시되지 않은 구조적 또는 논리적 변화를 포함할 수 있음이 이해된다. 따라서, 다음의 상세한 설명은 제한적인 의미로 받아 들여서는 안되며, 본 발명의 범위는 첨부된 청구 범위에 의해 정의된다.

예를 들어, 설명된 방법과 관련된 개시는 또한 방법을 수행하도록 구성된 대응하는 디바이스 또는 시스템에 대해 유효할(true) 수 있고 그 반대의 경우도 마찬가지인 것으로 이해된다. 예를 들어, 하나 또는 복수의 특정 방법 단계가 설명되면, 비록 그러한 하나 이상의 유닛이 도면에 명시적으로 설명되거나 도시되지 않아도, 대응하는 디바이스는 설명된 하나 또는 복수의 방법 단계를 수행하기 위해 하나 또는 복수의 유닛, 예를 들어 기능 유닛(예를 들어, 하나의 또는 복수의 단계를 수행하는 유닛, 또는 복수의 단계 중 하나 이상을 각각 수행하는 복수의 유닛)을 포함할 수 있다. 한편, 예를 들어, 하나 또는 복수의 유닛, 예를 들어, 기능 유닛을 기반으로 특정 장치가 설명되면, 비록 그러한 하나 또는 복수의 단계가 도면에 명시적으로 설명되거나 도시되지 않더라도, 대응하는 방법은 하나 또는 복수의 유닛의 기능을 수행하기 위한 하나의 단계(하나 또는 복수의 유닛의 기능을 수행하는 하나의 단계, 또는 복수의 유닛 중 하나 이상의 기능을 각각 수행하는 복수의 단계)를 포함할 수 있다. 또한, 여기서 설명되는 다양한 예시적인 실시 예들 및/또는 측면들의 특징들은 특별히 달리 언급되지 않는 한 서로 조합될 수 있다는 것이 이해된다.

비디오 코딩은 일반적으로 비디오 또는 비디오 시퀀스를 형성하는 화상의 시퀀스를 처리하는 것을 지칭한다. 화상이라는 용어 대신에 프레임 또는 이미지라는 용어가 비디오 코딩 분야에서 동의어로 사용될 수 있다. 비디오 코딩은 비디오 인코딩과 비디오 디코딩의 두 부분으로 구성된다. 비디오 인코딩은 소스 측에서 수행되며, (더 효율적인 저장 및/또는 전송을 위해) 비디오 화상을 나타내는데 필요한 데이터의 양을 감소시키기 위해 일반적으로 원본(original) 비디오 화상을 처리하는 것(예를 들어, 압축)을 포함한다. 비디오 디코딩은 목적지(destination) 측에서 수행되며, 일반적으로 비디오 화상을 재구성하기 위해 인코더와 비교하여 역 처리(inverse processing)를 포함한다. 비디오 화상(또는 후술하는 바와 같이 일반적으로 비디오 이미지 또는 화상)의 "코딩"을 참조하는 실시 예는 비디오 화상의 "인코딩" 및 "디코딩" 모두에 관련되는 것으로 이해되어야 한다. 인코딩 부분과 디코딩 부분의 조합을 CODEC(COding and DECoding)이라고도 한다.

무손실(lossless) 비디오 코딩의 경우, 원본 비디오 화상이 재구성될 수 있으며, 즉, 재구성된 비디오 화상은 원본 비디오 화상과 동일한 품질을 갖는다(저장 또는 전송 중에 전송 손실이나 기타 데이터 손실이 없다고 가정). 손실(loosy) 비디오 코딩의 경우, 디코더에서 완전히 재구성될 수 없는 비디오 화상을 나타내는 데이터의 양을 감소시키기 위해, 예를 들어 양자화에 의한 추가 압축이 수행되며, 즉, 재구성된 비디오 화상의 품질이 원본 비디오 화상의 품질과 비교하여 더 낮거나 나쁘다.

H.261 이후의 여러 비디오 코딩 표준은 "손실 하이브리드 비디오 코덱" 그룹(즉, 샘플 도메인에서의 공간 및 시간 예측과 변환(transform) 도메인에서의 양자화를 적용하기 위한 2D 변환 코딩을 조합)에 속한다. 비디오 시퀀스의 각각의 화상은 일반적으로 겹치지 않는(non-overlapping) 블록의 세트로 분할되고, 코딩은 일반적으로 블록 레벨에서 수행된다. 다시 말해서, 인코더에서 비디오는 일반적으로 블록(비디오 블록) 레벨에서 예를 들어, 공간(인트라 화상) 예측 및 시간(인터 화상) 예측을 사용하여 예측 블록을 생성하고, 현재 블록(현재 처리된/처리될 블록)에서 예측 블록을 감산하여 잔차(residual) 블록을 획득하며, 잔차 블록을 변환하고, 변환 도메인에서 잔차 블록을 양자화하여 전송(압축)할 데이터의 양을 감소시키는 것에 의해 처리 즉, 인코딩되며, 반면 디코더에서, 인코더에 비해 역처리가 인코딩되거나 압축된 블록에 적용되어 표현을 위해 현재 블록을 재구성한다. 또한, 인코더는 디코더 처리 루프를 복제하여 둘 다 동일한 예측(identical prediction) (예를 들어, 인트라-예측 및 인터-예측) 및/또는 후속 블록을 처리 즉, 코딩하기 위한 재구성을 생성할 것이다.

비디오 화상 처리(동화상(moving picture) 처리라고도 함) 및 정지 화상 처리(코딩을 포함하는 처리라는 용어)는 많은 개념과 기술 또는 도구를 공유하며, 다음에서 "화상"이라는 용어는 필요하지 않다면, (위에 설명된 바와 같은) 비디오 시퀀스의 비디오 화상 및/또는 정지 화상을 지칭하는데 사용되어, 비디오 화상과 정지 화상 간의 불필요한 반복 및 구별을 방지한다. 설명이 정지 화상(또는 정지 이미지)만을 지칭하는 경우, "정지 화상"이라는 용어를 사용한다.

다음에서 도 4 내지 도 11을 참조하여 본 발명의 실시 예를 보다 상세히 설명하기 전에, 본 발명의 실시 예를 구현하기 위한 인코더(100), 디코더(200) 및 코딩 시스템(300)이 도 1 내지 도 3에 기반하여 설명된다.

도 3은 코딩 시스템(300), 예를 들어 화상 코딩 시스템(300)의 실시 예를 예시하는 개념적 또는 개략적 블록도이며, 여기서 코딩 시스템(300)은 인코딩된 데이터(330), 예를 들어, 인코딩된 화상(330)을 예를 들어, 인코딩된 데이터(330)를 디코딩하기 위한 목적지 디바이스(320)에 제공하도록 구성된 소스 디바이스(310)를 포함한다.

소스 디바이스(310)는 인코더(100) 또는 인코딩 유닛(100)을 포함하고, 추가적으로, 즉 선택적으로, 화상 소스(312), 전처리(pre-processing) 유닛(314), 예를 들어, 화상 전처리 유닛(314), 및 통신 인터페이스 또는 통신 유닛(318)을 포함할 수 있다.

화상 소스(312)는 예를 들어 현실 세계의 화상을 캡처하기 위한 임의의 종류의 화상 캡처 디바이스 및/또는 임의의 종류의 화상 생성 디바이스, 예를 들어 컴퓨터 애니메이션 화상을 생성하기 위한 컴퓨터 그래픽 프로세서 또는 현실 세계 화상, 컴퓨터 애니메이션 화상(예를 들어, 화면 콘텐츠, 가상 현실(virtual reality, VR) 화상) 및/또는 이들의 조합(예를 들어, 증강 현실(augmented reality, AR))을 획득 및/또는 제공하기 위한 임의의 종류의 디바이스이거나 이들을 포함할 수 있다. 이하에서, 특별히 달리 설명하지 않는 한, 이러한 모든 종류의 화상 및 다른 종류의 화상을 "화상"이라고 지칭하며, "비디오 화상", "비디오 이미지", "정지 이미지", "정지 화상"을 포함하는 "화상"이라는 용어에 대한 이전 설명은 명시적으로 다르게 지정되지 않는 한 여전히 유효하다.

(디지털) 화상은 강도(intensity) 값을 가지는 2차원 어레이 또는 샘플 행렬이거나 그것으로 간주될 수 있다. 어레이의 샘플은 픽셀(화상 엘리먼트의 짧은 형태) 또는 pel이라고도 지칭될 수 있다. 어레이 또는 화상의 수평 및 수직 방향(또는 축(axis))에서의 샘플 수는 화상의 크기 및/또는 해상도를 정의한다. 색상 표현을 위해 일반적으로 세 가지 색상 성분이 사용되며, 즉, 화상이 세 개의 샘플 어레이로 표현되거나 이들을 포함할 수 있다. RBG 포맷 또는 색 공간에서, 화상은 대응하는 빨강, 녹색 및 파랑 샘플 어레이로 구성된다. 그러나, 비디오 코딩에서, 각각의 픽셀은 일반적으로 휘도/색차(luminance/chrominance) 포맷 또는 색 공간, 예를 들어, Y로 지시되는 휘도 성분(때로는 L도 대신 사용됨)와 Cb 및 Cr로 지시되는 두 개의 색차 성분을 포함하는 YCbCr로 표시된다. 휘도(또는 짧게 루마(luma)) 성분 Y는 밝기 또는 그레이 레벨 강도(예를 들어, 그레이 스케일 화상 처럼)를 나타내는 반면, 두 개의 색차(또는 짧게 크로마(chroma)) 성분 Cb 및 Cr은 색도(chromaticity) 또는 색상 정보 성분을 나타낸다. 따라서, YCbCr 포맷의 화상은 휘도 샘플 값(Y)의 휘도 샘플 어레이와 색차 값(Cb 및 Cr)의 두 개의 색차 샘플 어레이로 구성된다. RGB 포맷의 화상은 YCbCr 포맷으로 컨버트(convert)되거나 변환될 수 있으며 그 반대의 경우도 마찬가지이며, 이 프로세스는 색상 변환 또는 색상 컨버전이라고도 한다. 화상이 단색이면, 화상은 휘도 샘플 어레이만 포함할 수 있다.

화상 소스(312)는, 예를 들어 화상을 캡처하기 위한 카메라, 이전에 캡처되거나 생성된 화상을 포함하거나 저장하는 메모리, 예를 들어, 화상 메모리, 및/또는 화상을 획득하거나 수신하기 위한 임의의 종류의 인터페이스(내부 또는 외부)일 수 있다. 카메라는 예를 들어 소스 디바이스에 통합된 로컬 또는 통합 카메라일 수 있으며, 메모리는 예를 들어 소스 디바이스에 통합된 로컬 또는 통합 메모리일 수 있다. 인터페이스는 예를 들어 외부 비디오 소스로부터 화상을 수신하기 위한 외부 인터페이스, 예를 들어 카메라와 같은 외부 화상 캡처 디바이스, 외부 메모리 또는 외부 화상 생성 디바이스 예를 들어, 외부 컴퓨터 그래픽 프로세서, 컴퓨터 또는 서버일 수 있다. 인터페이스는 독점적이거나 표준화된 인터페이스 프로토콜에 따른 임의의 종류의 인터페이스 예를 들어, 유선 또는 무선 인터페이스, 광학 인터페이스일 수 있다. 화상 데이터(312)를 획득하기 위한 인터페이스는 통신 인터페이스(318)와 동일한 인터페이스이거나 그 일부일 수 있다.

전처리 유닛(314)과 전처리 유닛(314)에 의해 수행되는 처리와 구별하여, 화상 또는 화상 데이터(313)가 또한 원시(raw) 화상 또는 원시 화상 데이터(313)로 지칭될 수 있다.

전처리 유닛(314)은 (원시) 화상 데이터(313)를 수신하고 화상 데이터(313)에 대해 전처리를 수행하여 전처리된 화상(315) 또는 전처리된 화상 데이터(315)를 획득하도록 구성된다. 전처리 유닛(314)에 의해 수행되는 전처리는 예를 들어 트리밍(trimming), 컬러 포맷 컨버전(예를 들어, RGB에서 YCbCr로), 컬러 보정 또는 노이즈 제거(denosing)를 포함할 수 있다.

인코더(100)는 전처리된 화상 데이터(315)를 수신하고 인코딩된 화상 데이터(171)를 제공하도록 구성된다(더 자세한 사항은 예를 들어, 도 1에 기반하여 설명 될 것이다).

소스 디바이스(310)의 통신 인터페이스(318)는 인코딩된 화상 데이터(171)를 수신하고 이를 저장 또는 직접 재구성을 위해 다른 디바이스 예를 들어, 목적지 디바이스(320) 또는 임의의 다른 디바이스로 직접 전송하거나, 또는 인코딩된 데이터(330)를 저장하기 전에 및/또는 인코딩된 데이터(330)를 다른 디바이스, 예를 들어, 목적지 디바이스(320) 또는 디코딩 또는 저장을 위한 임의의 다른 디바이스로 각각 전송하기 전에, 인코딩된 화상 데이터(171)을 처리하도록 구성될 수 있다.

목적지 디바이스(320)는 디코더(200) 또는 디코딩 유닛(200)을 포함하고, 추가적으로, 즉 선택적으로, 통신 인터페이스 또는 통신 유닛(322), 후처리(post-processing) 유닛(326) 및 디스플레이 디바이스(328)를 포함할 수 있다.

목적지 디바이스(320)의 통신 인터페이스(322)는 인코딩된 화상 데이터(171) 또는 인코딩된 데이터(330)를 예를 들어, 소스 디바이스(310)로부터 직접, 또는 임의의 다른 소스, 예를 들어, 메모리, 예를 들어 인코딩된 화상 데이터 메모리로부터 수신하도록 구성된다.

통신 인터페이스(318) 및 통신 인터페이스(322)는 소스 디바이스(310)와 목적지 디바이스(320) 사이의 직접 통신 링크 예를 들어, 직접 유선 또는 무선 연결을 통해, 또는 임의의 종류의 네트워크, 예를 들어 유선 또는 무선 네트워크 또는 이들의 임의의 조합, 또는 임의의 종류의 사설 및 공용 네트워크, 또는 이들의 임의의 종류의 조합을 통해, 인코딩된 화상 데이터(171) 또는 인코딩된 데이터(330)를 각각 송신 및 수신하도록 구성될 수 있다.

통신 인터페이스(318)는 예를 들어, 인코딩된 화상 데이터(171)를 통신 링크 또는 통신 네트워크를 통한 전송을 위해 적절한 포맷, 예를 들어 패킷으로 패키징하도록 구성될 수 있고, 데이터 손실 보호 및 데이터 손실 복구를 더 포함할 수 있다.

통신 인터페이스(318)의 대응물(counterpart)을 형성하는 통신 인터페이스(322)는, 예를 들어, 인코딩된 화상 데이터(171)를 획득하기 위해 인코딩된 데이터(330)를 디패키징하도록(de-package) 구성될 수 있고, 추가로 데이터 손실 보호 및 데이터 손실 복구 예를 들어, 에러 은닉을 포함하는 것을 수행하도록 구성될 수 있다.

통신 인터페이스(318) 및 통신 인터페이스(322) 모두는 소스 디바이스(310)에서 목적지 디바이스(320)를 가리키는, 도 3의 인코딩된 화상 데이터(330)에 대해 화살표로 지시된 바와 같은 단방향 통신 인터페이스 또는 양방향 통신 인터페이스로서 구성될 수 있으며, 그리고 예를 들어, 연결을 설정하기 위해 예를 들어, 메시지를 송수신하여 화상 데이터를 포함하는 손실되거나 지연된 데이터를 확인(acknowledge) 및/또는 재송신하고, 통신 링크 및/또는 데이터 전송, 예를 들어 인코딩된 화상 데이터 전송에 관련된 다른 정보를 교환하도록 구성될 수 있다.

디코더(200)는 인코딩된 화상 데이터(171)를 수신하고, 디코딩된 화상 데이터(231) 또는 디코딩된 화상(231)을 제공하도록 구성된다(더 자세한 사항은 예를 들어, 도 2에 기반하여 설명될 것이다).

목적지 디바이스(320)의 포스트-프로세서(post-processor)(326)는 디코딩된 화상 데이터(231) 예를 들어, 디코딩된 화상(231)을 후처리하여 후처리된 화상 데이터(327), 예를 들어 후처리된 화상(327)을 획득하도록 구성된다. 후처리 유닛(326)에 의해 수행되는 후처리는 예를 들어, 색상 포맷 컨버전(예를 들어, YCbCr에서 RGB로), 색상 보정, 트리밍 또는 재샘플링(re-sampling), 또는 임의의 다른 처리, 예를 들어 디스플레이 디바이스(328)에 의한 디스플레이를 위해 디코딩된 화상 데이터(231)를 준비하는 것을 포함할 수 있다.

목적지 디바이스(320)의 디스플레이 디바이스(328)는 예를 들어 사용자 또는 뷰어(viewer)에게 화상을 디스플레이하기 위해 후처리된 화상 데이터(327)를 수신하도록 구성된다. 디스플레이 디바이스(328)는 재구성된 화상을 나타내기 위한 임의의 종류의 디스플레이, 예를 들어 통합 또는 외부 디스플레이 또는 모니터일 수 있거나 이를 포함할 수 있다. 디스플레이는 예를 들어 음극선 관(cathode ray tubes, CRT), 액정 디스플레이(liquid crystal displays, LCD), 플라즈마 디스플레이, 유기 발광 다이오드(organic light emitting diodes, OLED) 디스플레이 또는 임의의 종류의 다른 디스플레이, 비머(beamer) 또는 홀로그램(3D)을 포함할 수 있다.

도 3은 소스 디바이스(310) 및 목적지 디바이스(320)를 별개의 디바이스로서 도시하지만, 디바이스의 실시 예는 또한 둘 또는 둘 모두의 기능, 소스 디바이스(310) 또는 대응하는 기능 및 목적지 디바이스(320) 또는 대응하는 기능을 포함할 수 있다. 이러한 실시 예에서, 소스 디바이스(310) 또는 대응하는 기능 및 목적지 디바이스(320) 또는 대응하는 기능은 동일한 하드웨어 및/또는 소프트웨어를 사용하거나 별개의 하드웨어 및/또는 소프트웨어 또는 이들의 임의의 조합에 의해 구현될 수 있다.

설명에 기반하여 당업자에게 명백한 바와 같이, 도 3에 도시된 바와 같이 소스 디바이스(310) 및/또는 목적지 디바이스(320) 내의 상이한 유닛 또는 기능의 존재 및 (정확한) 기능의 분할은 실제 디바이스 및 애플리케이션에 따라 달라질 수 있다.

따라서, 도 3에 도시된 소스 디바이스(310) 및 목적지 디바이스(320)는 본 발명의 예시적인 실시 예일 뿐이며, 본 발명의 실시 예는 도 3에 도시된 것에 제한되지 않는다.

소스 디바이스(310) 및 목적지 디바이스(320)는 임의의 종류의 핸드헬드(handheld) 디바이스 또는 고정(stationary) 디바이스, 예를 들어 노트북 또는 랩톱 컴퓨터, 모바일폰, 스마트 폰, 태블릿 또는 태블릿 컴퓨터, 카메라, 데스크톱 컴퓨터, 셋톱 박스(set-top boxe), 텔레비전, 디스플레이 디바이스, 디지털 미디어 플레이어, 비디오 게임 콘솔, 비디오 스트리밍 디바이스, 방송 수신기 디바이스 등을 포함하는 광범위한 디바이스를 포함할 수 있으며, 임의의 종류의 운영 체제를 사용하거나 사용하지 않을 수 있다.

인코더 및 디코딩 방법

도 1은 인코더(100), 예를 들어, 화상 인코더(100)의 실시 예의 개략적/개념적 블록도를 도시하며, 인코더(100)는 입력(102), 잔차 계산 유닛(104), 변환(transformation) 유닛(106), 양자화 유닛(108), 역 양자화(inverse quantization) 유닛(110), 역 변환(inverse transformation) 유닛(112), 재구성 유닛(114), 버퍼(118), 루프(loop) 필터(120), 디코딩된 화상 버퍼(decoded picture buffer, DPB)(130), 예측 유닛(160)(인터 추정 유닛(142), 인트라-예측 유닛(144), 인트라-추정 유닛(152) 및 인트라-예측 유닛(154)을 포함), 모드 선택 유닛(162), 엔트로피(entropy) 인코딩 유닛(170) 및 출력(172)을 포함한다. 도 1에 도시된 바와 같은 비디오 인코더(100)는 또한 하이브리드 비디오 인코더 또는 하이브리드 비디오 코덱에 따른 비디오 인코더로 지칭될 수 있다.

예를 들어, 잔차 계산 유닛(104), 변환 유닛(106), 양자화 유닛(108) 및 엔트로피 인코딩 유닛(170)은 인코더(100)의 순방향 신호 경로(forward signal path)를 형성하고, 예를 들어 역 양자화 유닛(110), 역 변환 유닛(112), 재구성 유닛(114), 버퍼(118), 루프 필터(120), 디코딩된 화상 버퍼(DPB)(130), 인터-예측 유닛(144) 및 인트라-예측 유닛(154)은 인코더의 역방향 신호 경로(backward signal path)를 형성하며, 여기서 인코더의 역방향 신호 경로는 디코더의 신호 경로에 대응한다(도 2의 디코더(200) 참조).

인코더(100)는 예를 들어, 입력(102)에 의해, 화상(101) 또는 화상(101)의 화상 블록(103), 예를 들어 비디오 또는 비디오 시퀀스를 형성하는 화상 시퀀스의 화상을 수신하도록 구성된다. 화상 블록(103)은 또한 현재 화상 블록 또는 코딩될 화상 블록으로 지칭될 수 있고, 화상(101)은 현재 화상 또는 코딩될 화상으로 지칭될 수 있다(특히, 현재 화상을 다른 화상, 예를 들어, 동일한 비디오 시퀀스 즉 현재 화상도 포함하는 비디오 시퀀스의 이전에 인코딩된 및/또는 디코딩된 화상으로부터 구별하기 위한 비디오 코딩에서).

잔차 계산

잔차 계산 유닛(104)은 화상 블록(103) 및 예측 블록(165)(예측 블록(165)에 대한 추가 세부 사항은 나중에 제공됨)을 기반으로 잔차 블록(105)을 계산하도록 구성되며, 예를 들어 샘플별로, 화상 블록(103)의 샘플 값에서 예측 블록(165)의 샘플 값을 감산하여 샘플 도메인에서 잔차 블록(105)을 획득한다.

변환

변환 유닛(106)은 변환, 예를 들어 공간 주파수 변환 또는 선형 공간(주파수) 변환, 예를 들어 이산 코사인 변환(discrete cosine transform, DCT) 또는 이산 사인 변환(discrete sine transform, DST)을 잔차 블록(105)의 샘플 값에 대해 적용하여, 변환 도메인에서 변환된 계수(107)를 획득하도록 구성된다. 변환된 계수(107)는 또한 변환된 잔차 계수로 지칭될 수 있고, 변환 도메인에서 잔차 블록(105)을 나타낼 수 있다.

변환 유닛(106)은 HEVC/H.265에 대해 지정된 코어(core) 변환과 같은 DCT/DST의 정수 근사(integer approximations)를 적용하도록 구성될 수 있다. 직교 DCT 변환과 비교할 때 이러한 정수 근사는 일반적으로 특정 팩터에 의해 조정된다(scaled). 순방향 및 역 변환에 의해 처리되는 잔차 블록의 놈(norm)을 보존하기 위해 추가 스케일링 팩터(scaling factor)가 변환 프로세스의 일부로 적용된다. 스케일링 팩터는 일반적으로 시프트 연산(shift operation)에 대한 2의 거듭 제곱인 스케일링 팩터, 변환된 계수의 비트 깊이, 정확도와 구현 코스트(cost) 간의 트레이드오프 등 특정 제약 조건에 따라 선택된다. 특정 스케일링 팩터는, 예를 들어 디코더(200)에서 역 변환 유닛(212)에 의한 역 변환(그리고 예를 들어 인코더(100)에서 역 변환 유닛(112)에 의한 대응하는 역 변환)에 대해 지정되고, 예를 들어 인코더(100)에서 변환 유닛(106)에 의한 순방향 변환에 대한 대응하는 스케일링 팩터가 그에 따라 지정될 수 있다.

양자화

양자화 유닛(108)은, 양자화된 계수(109)를 획득하기 위해, 예를 들어 스칼라 양자화 또는 벡터 양자화를 적용하는 것에 의해, 변환된 계수(107)를 양자화하도록 구성된다. 양자화된 계수(109)는 또한 양자화된 잔차 계수(109)로 지칭될 수 있다. 예를 들어, 스칼라 양자화의 경우, 더 미세하거나(finer) 더 거친(coarser) 양자화를 달성하기 위해 상이한 스케일링이 적용될 수 있다. 더 작은 양자화 단계 크기(step size)는 더 미세한 양자화에 대응하는 반면, 더 큰 양자화 단계 크기는 더 거친 양자화에 대응한다. 적용 가능한 양자화 단계 크기는 양자화 파라미터(quantization parameter, QP)에 의해 지시될 수 있다. 양자화 파라미터는, 예를 들어 적용 가능한 양자화 단계 크기의 미리 정의된 세트에 대한 인덱스일 수 있다. 예를 들어, 작은 양자화 파라미터는 미세 양자화(작은 양자화 단계 크기)에 대응할 수 있고, 큰 양자화 파라미터는 거친 양자화(큰 양자화 단계 크기)에 대응할 수 있으며, 또는 그 반대일 수도 있다. 양자화는 양자화 단계 크기에 의한 구분을 포함할 수 있으며, 그리고 예를 들어 역 양자화(110)에 의한 대응 또는 역양자화(dequantization)는 양자화 단계 크기에 의한 곱셈(multiplication)을 포함할 수 있다. HEVC에 따른 실시 예는 양자화 단계 크기를 결정하기 위해 양자화 파라미터를 사용하도록 구성될 수 있다. 일반적으로, 양자화 단계 크기는 나눗셈을 포함하는 방정식의 고정 소수점 근사를 사용하여 양자화 파라미터에 기반하여 계산될 수 있다. 잔차 블록의 놈을 복구하기 위해 추가 스케일링 팩터가 양자화 및 역 양자화(dequantization)에 도입될 수 있으며, 이는 양자화 단계 크기 및 양자화 파라미터에 대한 방정식의 고정 소수점 근사에 사용되는 스케일링으로 인해 수정될 수 있다. 하나의 예시적인 구현에서, 역 변환 및 역양자화(dequantization)의 스케일링이 조합될 수 있다. 다르게는, 맞춤형 양자화 테이블이 사용되어 인코더로부터 디코더로, 예를 들어 비트 스트림으로 시그널링될 수 있다. 양자화는 손실 연산이며, 양자화 단계 크기가 증가함에 따라 손실이 증가한다.

인코더(100)(또는 양자화 유닛(108)의 각각)의 실시 예는, 예를 들어, 대응하는 양자화 파라미터를 통해 양자화 방식(quantization scheme) 및 양자화 단계 크기를 출력하도록 구성될 수 있으므로, 디코더(200)는 대응하는 역 양자화를 수신하고 적용할 수 있다. 인코더(100)(또는 양자화 유닛(108))의 실시 예는 예를 들어 엔트로피 인코딩된 유닛(170) 또는 임의의 다른 엔트로피 코딩 유닛을 통해 직접 또는 엔트로피 인코딩된, 양자화 방식 및 양자화 단계 크기를 출력하도록 구성될 수 있다.

역 양자화 유닛(110)은, 예를 들어, 양자화 유닛(108)과 동일한 양자화 단계 크기에 기반하거나 이를 사용하여 양자화 유닛(108)에 의해 적용된 양자화 방식의 역을 적용하는 것에 의해, 양자화된 계수에 양자화 유닛(108)의 역 양자화를 적용하여 역양자화된 계수(dequantized coefficient)(111)를 획득하도록 구성된다. 역양자화된 계수(111)는 또한 역양자화된 잔차 계수(dequantized residual coefficient)(111)로 지칭될 수 있으며, 일반적으로 양자화에 의한 손실로 인해 변환된 계수와 동일하지는 않지만 변환된 계수(108)에 대응한다.

역 변환 유닛(112)은 변환 유닛(106)에 의해 적용된 변환의 역 변환, 예를 들어 역 이산 코사인 변환(discrete cosine transform, DCT) 또는 역 이산 사인 변환(discrete sine transform, DST)을 적용하여, 샘플 도메인에서 역변환된 블록(113)을 획득하도록 구성된다. 역변환된 블록(113)은 또한 역변환된 역양자화된 블록(113) 또는 역변환된 잔차 블록(113)으로 지칭될 수 있다.

재구성 유닛(114)은 역변환된 블록(113)과 예측 블록(165)을 조합하여, 예를 들어, 디코딩된 잔차 블록(113)의 샘플 값과 예측 블록(165)의 샘플 값을 더하는 샘플 방식(sample wise)에 의해, 샘플 도메인에서 재구성된 블록(115)을 획득하도록 구성된다.

예를 들어, 라인 버퍼(116)와 같은 버퍼 유닛(116)(또는 간략하게 "버퍼"(116))은, 예를 들어 인트라-추정 및/또는 인트라-예측을 위해 재구성된 블록 및 각각의 샘플 값을 버퍼링하거나 저장하도록 구성된다. 추가 실시 예에서, 인코더는 임의의 종류의 추정 및/또는 예측을 위해, 버퍼 유닛(116)에 저장된 필터링되지 않은 재구성된 블록 및/또는 각각의 샘플 값을 사용하도록 구성될 수 있다.

루프 필터 유닛(120)(또는 짧게 "루프 필터"(120))은, 예를 들어 디블로킹(de-blocking) SAO(sample-adaptive offset) 필터 또는 다른 필터, 예를 들어, 선명화(sharpening) 또는 평활화(smoothing) 필터 또는 협업(collaborative) 필터를 적용하는 것에 의해, 재구성된 블록(115)을 필터링하여 필터링된 블록(121)을 획득하도록 구성된다. 필터링된 블록(121)은 필터링된 재구성된 블록(121)으로도 지칭될 수 있다.

루프 필터 유닛(120)의 실시 예는 필터 분석 유닛과 실제 필터 유닛을 포함할 수 있으며(도 1에 도시되지 않음), 여기서 필터 분석 유닛은 실제 필터에 대한 루프 필터 파라미터를 결정하도록 구성된다. 필터 분석 유닛은 고정된 미리 결정된 필터 파라미터를 실제 루프 필터에 적용하거나, 미리 결정된 필터 파라미터의 세트로부터 필터 파라미터를 적응적으로 선택하거나, 실제 루프 필터에 대한 필터 파라미터를 적응적으로 계산하도록 구성될 수 있다.

루프 필터 유닛(120)의 실시 예는 하나 또는 복수의 필터(루프 필터 구성 요소/서브 필터)(도 1에 도시되지 않음), 예를 들어, 하나 이상의 상이한 종류 또는 유형의 필터를 포함하며, 이들은 예를 들어 직렬로 또는 병렬로 또는 이들의 임의의 조합으로 연결되어 있으며, 여기서 각각의 필터는 예를 들어, 전술한 단락에서 설명된 바와 같이 각각의 루프 필터 파라미터를 결정하기 위해 필터 분석 유닛을, 복수의 필터 중 다른 필터와 함께 개별적으로 또는 공동으로 포함할 수 있다.

인코더(100)(각각 루프 필터 유닛(120))의 실시 예는, 예를 들어 집적 또는 엔트로피 인코딩된 유닛(170) 또는 임의의 다른 엔트로피 코딩 유닛을 통해 엔트로피 인코딩된, 루프 필터 파라미터를 출력하도록 구성될 수 있으므로, 예를 들어 디코더(200)는 디코딩을 위해 동일한 루프 필터 파라미터를 수신하고 적용할 수 있다.

디코딩된 화상 버퍼(DPB)(130)는 필터링된 블록(121)을 수신하고 저장하도록 구성된다. 디코딩된 화상 버퍼(130)는 추가로, 동일한 현재 화상 또는 상이한 화상, 예를 들어, 이전에 재구성된 화상의 다른 이전에 필터링된 블록, 예를 들어, 이전에 재구성되고 필터링된 블록(121)을 저장하도록 구성될 수 있으며, 그리고 예를 들어 인터-추정 및/또는 인터-예측을 위해, 완전하고 이전에 재구성된, 즉 디코딩된 화상(및 대응하는 참조 블록 및 샘플) 및/또는 부분적으로 재구성된 현재 화상(및 대응하는 참조 블록 및 샘플)을 제공할 수 있다.

본 발명의 추가 실시 예는 또한 임의의 종류의 추정 또는 예측, 예를 들어 인트라-추정 및 인트라-예측 그리고 인터-추정 및 인터-예측을 위해, 디코딩된 화상 버퍼(130)의 이전에 필터링된 블록 및 대응하는 필터링된 샘플 값을 사용하도록 구성될 수 있다.

모션 추정 및 예측

블록 예측 유닛(160)이라고도 지칭되는 예측 유닛(160)은 화상 블록(103)(현재 화상(101)의 현재 화상 블록(103)) 그리고 디코딩되거나 적어도 재구성된 화상 데이터, 예를 들어, 버퍼(116)로부터의 동일한(현재) 화상의 참조 샘플 및/또는 디코딩된 화상 버퍼(130)로부터의 하나 또는 복수의 이전에 디코딩된 화상으로부터의 디코딩된 화상 데이터(231)를 수신하거나 획득하고, 그리고 예측을 위해 이러한 데이터를 처리하도록, 즉 인터-예측된 블록(145) 또는 인트라-예측된 블록(155)일 수 있는 예측 블록(165)을 제공하도록 구성된다.

모드 선택 유닛(162)은 예측 모드(예를 들어, 인트라-예측 모드 또는 인터-예측 모드) 및/또는 잔차 블록(105)의 계산 및 재구성된 블록(115)의 재구성을 위해 예측 블록(165)으로 사용될, 대응하는 예측 블록(145 또는 155)을 선택하도록 구성될 수 있다.

모드 선택 유닛(162)의 실시 예는 (예를 들어, 예측 유닛(160)에 의해 지원되는 것들로부터) 예측 모드를 선택하도록 구성될 수 있으며, 이는 최상의 매칭을 제공하거나 또는 다시 말해서, 최소 잔차(최소 잔차는 전송 또는 저장을 위한 더 나은 압축을 의미함), 또는 최소 시그널링 오버 헤드(최소 시그널링 오버 헤드는 전송 또는 저장을 위한 더 나은 압축을 의미함)를 제공하거나, 또는 둘 다 고려하거나 균형을 유지한다. 모드 선택 유닛(162)은 레이트 왜곡 최적화(rate distortion optimization, RDO)에 기반하여 예측 모드를 결정하도록 즉, 최소 레이트 왜곡 최적화를 제공하거나 또는 관련 레이트 왜곡이 적어도 예측 모드 선택 기준을 충족시키는 예측 모드를 선택하도록 구성될 수 있다.

다음에서, 예시적인 인코더(100)에 의해 수행되는 예측 처리(예를 들어, 예측 유닛(160) 및 모드 선택(예를 들어, 모드 선택 유닛(162)에 의한))가 더 상세히 설명될 것이다.

전술한 바와 같이, 인코더(100)는 (미리 결정된) 예측 모드의 세트로부터 최고 또는 최적의 예측 모드를 결정하거나 선택하도록 구성된다. 예측 모드의 세트는 예를 들어, 인트라-예측 모드 및/또는 인터-예측 모드를 포함할 수 있다.

인트라-예측 모드의 세트는 32개의 상이한 인트라-예측 모드, 예를 들어 DC(또는 평균) 모드 및 평면 모드와 같은 비 지향성(non-directional) 모드, 또는 예를 들어 H.264에 정의된 바와 같은 지향성 모드를 포함할 수 있거나, 또는 65개의 상이한 인트라-예측 모드, 예를 들어 DC (또는 평균) 모드 및 평면 모드와 같은 비지향성 모드 또는 예를 들어 H.265에 정의된 지향성 모드를 포함할 수 있다.

(또는 가능한) 인터-예측 모드의 세트는 이용 가능한 참조 화상(즉, 예를 들어, DBP(230)에 저장된, 이전에 적어도 부분적으로 디코딩된 화상) 및 다른 인터-예측 파라미터, 예를 들어 전체 참조 화상 또는 참조 화상의 일부만, 예를 들어, 현재 블록의 영역 주변의 검색 창 영역(search window area)이 최상의 매칭하는 참조 블록을 검색하는 데 사용되는지의 여부 및/또는 예를 들어 픽셀 보간, 예를 들어, 절반/반쪽 픽셀 보간(half/semi-pel interpolation) 및/또는 1/4 픽셀 보간이 적용되는지에 따라 다르다.

전술한 예측 모드 외에, 스킵(skip) 모드 및/또는 다이렉트(direct) 모드가 적용될 수 있다.

예측 유닛(160)은 추가로, 예를 들어, 쿼드 트리 분할(quad-tree-partitioning, QT), 이진 분할(binary partitioning, BT) 또는 트리플 트리 분할(triple-tree-partitioning, TT) 또는 이들의 임의의 조합을 반복적으로 사용하여, 블록(103)을 더 작은 블록 파티션(partition) 또는 서브 블록으로 분할하고, 예를 들어 각각의 블록 파티션 또는 서브 블록에 대한 예측을 수행하도록 구성될 수 있으며, 여기서, 모드 선택은 분할된 블록(103)의 트리 구조와 블록 파티션 또는 서브 블록 각각에 적용되는 예측 모드의 선택을 포함한다.

인터 화상 추정 유닛(142)이라고도 하는 인터-추정 유닛(142)은 화상 블록 103(현재 화상(101)의 현재 화상 블록(103)) 및 디코딩된 화상(231) 또는 적어도 하나 또는 복수의 이전에 재구성된 블록, 예를 들어, 인터-추정(또는 "인터 화상 추정")을 위해 하나 또는 복수의 다른/상이한 이전에 디코딩된 화상(231)의 재구성된 블록을 수신하거나 획득하도록 구성된다. 예를 들어, 비디오 시퀀스는 현재 화상 및 이전에 디코딩된 화상(231)를 포함할 수 있거나, 다시 말해서, 현재 화상 및 이전에 디코딩된 화상(231)은 비디오 시퀀스를 형성하는 화상의 시퀀스를 형성하거나 그 일부일 수 있다.

인코더(100)는, 예를 들어, 복수의 다른 화상의 동일하거나 상이한 화상의 복수의 참조 블록으로부터 참조 블록을 선택하고, 참조 화상(또는 참조 화상 인덱스) 및/또는 참조 블록의 위치(x, y 좌표)와 현재 블록의 위치 사이의 오프셋(offset)(공간적 오프셋)을 인터-예측 파라미터(143)로서 인터-예측 유닛(144)에 제공하도록 구성될 수 있다. 이 오프셋은 모션 벡터(motion vector, MV)라고도 한다. 인터-추정은 모션 추정(motion estimation, ME)이라고도 하며, 인터-예측은 모션 예측(motion predict, MP)이라고도 한다.

인터-예측 유닛(144)은 인터-예측 파라미터(143)를 획득, 예를 들어 수신하고, 인터-예측 파라미터(143)에 기반하거나 이를 사용하여 인터-예측을 수행하여 인터-예측 블록(145)을 획득하도록 구성된다.

도 1이 인터-코딩을 위한 두 개의 별개의 유닛(또는 단계), 즉 인터-추정(142) 및 인터-예측(152)을 도시하지만, 예를 들어, 가능한 인터-예측 모드의 모든 가능한 또는 미리 결정된 서브 세트를 반복적으로 테스트하면서 현재 최고의 인터-예측 모드 및 각각의 인터-예측 블록을 저장하고, 다른 시간에 인터-예측(144)을 수행하지 않고, 현재 최고의 인터-예측 모드와 각각의 인터-예측 블록을 (최종)인터-예측 파라미터(143)와 인터-예측 블록(145)으로 사용하는 것에 의해, 두 기능 모두가 하나로서 수행될 수 있다(인터 추정은 일반적으로 인터-예측 블록 즉, 인터-예측(154) 또는 그 종류를 계산하는 것을 포함함).

인트라-추정 유닛(152)은 인트라-추정을 위해 동일한 화상의 화상 블록(103)(현재 화상 블록) 및 하나 또는 복수의 이전에 재구성된 블록, 예를 들어, 재구성된 이웃 블록을 획득, 예를 들어 수신하도록 구성된다. 인코더(100)는 예를 들어, 복수의 인트라-예측 모드로부터 인트라-예측 모드를 선택하고, 이를 인트라-예측 파라미터(153)로서 인트라-예측 유닛(154)에 제공하도록 구성될 수 있다.

인코더(100)의 실시 예들은 최적화 기준(optimization criterion), 예를 들어, 최소 잔차(예를 들어, 현재 화상 블록(103)과 가장 유사한 예측 블록(155)을 제공하는 인트라-예측 모드) 또는 최소 레이트 왜곡에 기반하여 인트라-예측 모드를 선택하도록 구성될 수 있다.

인트라-예측 유닛(154)은 인트라-예측 파라미터(153), 예를 들어, 선택된 인트라-예측 모드(153)에 기반하여, 인트라-예측 블록(155)을 결정하도록 구성된다.

도 1이 인트라 코딩을 위한 두 개의 별개의 유닛(또는 단계), 즉 인트라-예측(152) 및 인트라-추정(152)을 도시하지만, 예를 들어, 가능한 인트라-예측 모드의 모든 가능한 또는 미리 결정된 서브 세트를 반복적으로 테스트하면서 현재 최고의 인트라-예측 모드 및 각각의 인트라-예측 블록을 저장하고, 다른 시간에 인트라-예측(154)을 수행하지 않고 현재 최고의 인트라-예측 모드와 각각의 인트라-예측 블록을 (최종) 인트라-예측 파라미터(153)와 인트라-예측 블록(155)으로 사용하는 것에 의해, 두 기능 모두가 하나로서 수행될 수 있다(인트라-추정은 일반적으로 인트라-예측 블록 즉, 인트라-예측(154) 또는 그 종류를 계산하는 것을 포함함).

본 발명의 실시 예에 따른 디바이스(500)(도 5) 및 방법(800)(도 8)과 관련하여 아래에서 더 설명되는 바와 같이 본 발명은 인코더(100)의 이 위치에 적용될 수 있다. 즉, 디바이스(500)는 인코더(100), 특히 인트라-예측 유닛(154)이거나 그 일부일 수 있다.

엔트로피 인코딩 유닛(170)은 양자화된 잔차 계수(109), 인터-예측 파라미터(143), 인트라-예측 파라미터(153) 및/또는 루프 필터 파라미터에 대해, 엔트로피 인코딩 알고리즘 또는 방식(예를 들어, 가변 길이 코딩(variable length coding, VLC) 방식, 컨텍스트 적응형 VLC 방식(context adaptive VLC scheme, CALVC), 산술 코딩 방식, 컨텍스트 적응 이진 산술 코딩(context adaptive binary arithmetic coding, CABAC)을 개별적으로 또는 공동으로(또는 전혀 아님) 적용하여, 출력(172)에 의해 예를 들어, 인코딩된 비트 스트림(171)의 형태로 출력될 수 있는 인코딩된 화상 데이터(171)를 획득하도록 구성된다.

도 2는 디코딩된 화상(231)을 획득하기 위해, 예를 들어 인코더(100)에 의해 인코딩된 인코딩된 화상 데이터(예를 들어, 인코딩된 비트 스트림)(171)를 수신하도록 구성된 예시적인 비디오 디코더(200)를 도시한다.

디코더(200)는 입력(202), 엔트로피 디코딩 유닛(204), 역 양자화 유닛(210), 역 변환 유닛(212), 재구성 유닛(214), 버퍼(216), 루프 필터(220), 디코딩된 화상 버퍼(230), 예측 유닛(260)(인터-예측 유닛(244) 및 인트라-예측 유닛(254)을 포함), 모드 선택 유닛(260) 및 출력(232)을 포함한다.

엔트로피 디코딩 유닛(204)은 인코딩된 화상 데이터(171)에 대한 엔트로피 디코딩을 수행하여, 예를 들어 양자화된 계수(209) 및/또는 디코딩된 코딩 파라미터(도 2에 도시되지 않음), 예를 들어, 인터-예측 파라미터(143), 인트라-예측 파라미터(153), 및/또는 루프 필터 파라미터의 (디코딩된) 일부 또는 전부를 획득하도록 구성된다.

디코더(200)의 실시 예에서, 역 양자화 유닛(210), 역 변환 유닛(212), 재구성 유닛(214), 버퍼(216), 루프 필터(220), 디코딩된 화상 버퍼(230), 예측 유닛(260) 및 모드 선택 유닛(260)은, 인코더(100)(및 각각의 기능 유닛)의 역 처리를 수행하여 인코딩된 화상 데이터(171)를 디코딩하도록 구성된다.

특히, 역 양자화 유닛(210)은 역 양자화 유닛(110)와 기능면에서 동일할 수 있고, 역 변환 유닛(212)은 역 변환 유닛(112)과 기능면에서 동일할 수 있으며, 재구성 유닛(214)는 재구성 유닛(114)과 기능면에서 동일할 수 있고, 버퍼(216)는 버퍼(116)와 기능면에서 동일할 수 있으며, 루프 필터(220)는 루프 필터(220)와 기능면에서 동일할 수 있고(루프 필터(220)와 같은 실제 루프 필터 관련하여, 일반적으로 원본 이미지(101) 또는 블록(103)에 기반하여 필터 파라미터를 결정하는 필터 분석 유닛을 포함하지 않으나, 인코딩에 사용되는 필터 파라미터를 예를 들어, 엔트로피 디코딩 유닛(204)으로부터 (명시적으로 또는 묵시적으로) 수신하거나 획득함), 그리고 디코딩된 화상 버퍼(230)는 기능면에서 디코딩된 화상 버퍼(130)와 동일할 수 있다.

예측 유닛(260)은 인터-예측 유닛(244) 및 인터-예측 유닛(254)을 포함할 수 있으며, 인터-예측 유닛(144)은 인터-예측 유닛(144)과 기능면에서 동일할 수 있고, 인터-예측 유닛(154)은 인트라-예측 유닛(154)과 기능면에서 동일할 수 있다. 예측 유닛(260) 및 모드 선택 유닛(262)은 일반적으로 블록 예측을 수행하고 및/또는 (원본 이미지(101)에 대한 추가 정보없이) 인코딩된 데이터(171)로부터만 예측 블록(265)을 획득하고 그리고 예를 들어 엔트로피 디코딩 유닛(204)으로부터, 예측 파라미터(143 또는 153) 및/또는 선택된 예측 모드에 대한 정보를 (명시적으로 또는 암시적으로) 수신 또는 획득하도록 구성된다.

본 발명의 실시 예에 따른 디바이스(500)(도 5 참조) 및 방법(800)(도 8 참조)과 관련하여 아래에서 더 설명되는 바와 같이 본 발명은 디코더(200)의 이 위치에 적용될 수 있다. 즉, 디바이스(500)는 디코더(200), 특히 인트라-예측 유닛(154)이거나 그 일부일 수 있다.

디코더(200)는 사용자에게 프리젠테이션 또는 보기(viewing)를 위해, 예를 들어 출력(232)을 통해 디코딩된 화상(230)을 출력하도록 구성된다.

도 15 및 16을 참조하면, 도 4는 (a)에서 본 발명의 실시 예에 의해 제거될 수 있는 불연속성의 소스를 보다 구체적으로 예시한다. 특히, 이러한 불연속성에 대한 이유는 예측 블록(400)(예를 들어, PU 또는 TU)에서 수직으로 인접한 두 개의 예측 샘플(401)이 예각의(acute) 인트라-예측 각도로 인해 서로 인접하지 않은 참조 샘플(403)로부터 예측될 수 있기 때문이며, 이는 보간 결함(interpolation flaw)이다. 이 결함(flaw)은 참조 샘플 평활화 필터 또는 길이가

인 인트라-보간 필터를 적용하여 부분적으로 감소될 수 있지만, 인터-예측 각도가 45°보다 훨씬 작은 경우에 고정 길이(fixed length)가 충분히 크지 않을 수 있다. 필터링 프로세스는 필터링 프로세스 동안에, 도 4에 도시된 참조 샘플(403)을 컨벌루션하는 것에 의해 불연속 효과를 감소시킬 수 있다. 그러나, 수직으로 인접한 예측 샘플(401)에 대해 선택된 참조 샘플(403)이 너무 멀리 떨어져 있으면, 불연속성이 여전히 발생할 수 있다. 예를 들어, 합성된 참조(상단 행(upper row))의 경우, 시각적으로 관찰될 수 있는 이러한 불연속성의 예가 (b)에 도시되어 있다.

도 5는 개선된 방식으로 비디오 이미지의 예측 블록(400)을 인트라-예측하도록 구성된, 즉, 도 4에 도시된 위에 설명된 불연속성의 소스를 제거할 수 있는, 본 발명의 실시 예에 따른 디바이스(500)를 개략적으로 도시한다. 디바이스(500)는 각각 도 1 또는 도 2에 도시된 인코더(100) 또는 디코더(200), 구체적으로 인트라-예측 유닛(154 또는 254)이거나 그 일부일 수 있다.

디바이스(500)는 예를 들어 프로세서 또는 다른 종류의 처리 회로에 의해 구현되는 여러 기능을 수행하도록 구성된다. 구체적으로, 디바이스(500)는 지향성 인트라-예측 모드(501)의 세트로부터 지향성 인트라-예측 모드(501a)를 선택하도록 구성되며, 각각의 지향성 인트라-예측 모드(501)는 상이한 인트라-예측 각도에 대응한다. 이러한 지향성 인트라-예측 모드(501)는 도 9에 도시된 지향성/각도 인트라-예측 모드(및 표준에 정의됨)를 포함할 수 있으며, 예를 들어 도 14에 도시된 바와 같이, 추가 인트라-예측 각도(further intra-prediction angle)에 대응하는 확장된 지향성 인트라-예측 모드를 포함할 수 있다. 특히, 직사각형 예측 블록(400)에 대해, 지향성 인트라-예측 모드(501)는 예각의 인트라-예측 각도(45°보다 작은 각도)와 관련된 모드를 포함할 수 있다. 인트라-예측 각도는 참조 샘플(403)로부터 예측 샘플(401)을 인트라-예측하는 방향에 기반한다. 예를 들어, 상기 각도는 이 인트라-예측 방향과 예측 블록(400)의 상단 에지(upper edge)(수평 에지) 사이에서 정의된다.

또한, 디바이스(500)는 선택된 지향성 인트라-예측 모드(501a)에 기반하여 필터(402)의 세트로부터 필터(402a)를 선택하도록 구성된다. 특히, 디바이스(500)는 선택된 지향성 인트라-예측 모드(401a)에 기반하여 필터 길이를 결정하고, 적어도 결정된 필터 길이를 갖는 세트로부터 하나의 필터(402)를 필터(402a)로서 선택하도록 구성될 수 있다.

디바이스(500)는 추가로, 예측 블록(400)의 주어진 예측 샘플(401)에 대해, 선택된 지향성 인트라-예측 모드(501a)에 기반하여 참조 샘플(403)의 세트로부터 참조 샘플(403a)을 결정하고, 선택된 필터(402a)를 결정된 참조 샘플(403a)에 적용하도록 구성된다. 디바이스(500)는 특히 예측 블록(400)의 각각의 예측 샘플(401)에 대해 이러한 방식으로 진행하도록 구성될 수 있다. 즉, 각각의 예측 샘플(401)에 대해, 디바이스(500)는 참조 샘플(403)로부터 참조 샘플(403a)을 결정할 수 있고, 선택된 필터(402a)를 각각의 참조 샘플(403)에 적용할 수 있다. 이러한 방식으로, 디바이스(500)는 전체 예측 블록(400)을 인트라-예측할 수 있다.

디바이스(500)가 필터(402)를 선택하도록 구성되는 예시적인 필터 세트가 아래 표에 도시되어 있다. 필터 세트는 특히 상이한 필터(402)를 포함한다. 예를 들어, 필터(402)의 세트는 상이한 필터 길이

, 특히 1개 또는 3개 또는 5개의 인접한 참조 샘플(403)에 걸치는(span) 필터 길이

를 갖는 필터(402)를 포함할 수 있다. 또한, 필터(402)의 세트의 각각의 필터(402)는 결정된 참조 샘플(403a)에 적용될 때, 결정된 참조 샘플(403a) 및 하나 이상의 인접한 참조 샘플(403)에 대해 상이한 평활화(smoothing)를 수행할 수 있다. 이 평활화는 상이한 계수에 의해 표에서와 같이 표현될 수 있으며, 여기서 계수의 수는 다른 인접한 참조 샘플에 대한 결정된 참조 샘플(403a)의 상대적 가중치(결정된 참조 샘플(403a)에 대한 중간 수(middle number) 대 인접한 참소 샘플(403)에 대한 각각 0개, 2개 또는 4개의 추가 수(further number))를 지시한다.

도 6은 디바이스(500)가 수행하도록 구성될 수 있는 참조 샘플 필터 선택 메커니즘(600)의 예시적인 흐름도를 도시한다. 디바이스(500)는 특히 인트라-예측 각도에 따라 참조 샘플 필터(402a)를 선택할 수 있다. 메커니즘(600)에 대해 필터 세트(여기서는 F로 표시됨)가 필터 길이

별로 오름차순으로 정렬되는 것으로 가정된다.

블록(601)에서, 디바이스(500)는 선택 메커니즘(600)에 대한 입력으로서 인트라-예측 각도

를 유추하도록 구성된다. 디바이스(500)는 선택된 지향성 인트라-예측 모드(501)에 대응하는 인트라-예측 각도를 결정하도록 구성될 수 있다.

블록(602)에서, 디바이스(500)는 결정된 참조 샘플(403a)과 추가 참조 샘플(403b) 사이의 거리

(예를 들어, 도 4 참조)를 유추하도록 구성되며, 이는 선택된 지향성 인트라-예측 모드(501a)에 기반하여 참조 샘플(403)의 세트로부터 예측 블록(400)의 추가 예측 샘플(401)에 대해 지정될 수 있다.

블록(603)에서, 필터 인덱스가 i = 0으로 초기화된다. 블록(604)에서, 현재 인덱스 i를 갖는 필터(402)가 필터 세트로부터 취해진다. 예를 들어, 위의 표는 필터(402)가 i = 0-3에서 인덱싱될 수 있음을 보여준다.

블록(605)에서, 디바이스(500)는 세트로부터 취해진 필터(402)의 길이

가 거리

보다 작은지를 판정하도록 구성된다. 작지 않으면, 선택 메커니즘(600)이 완료되고, 현재 취해진 필터(402)가 결정된 참조 샘플(403a)에 적용될 필터(402a)로서 선택된다.

그렇지 않으면, 디바이스(500)는 블록(606)에서, 현재 필터 인덱스 i가 k보다 작은지를 판정하도록 구성되며, 여기서 k는 가능한 가장 높은 필터 인덱스일 수 있고 및/또는 필터 세트에서 필터(402)의 수를 지시할 수 있다. 작지 않으면, 선택 메커니즘(600)이 완료되고, 이 경우 필터 길이에 따라 세트가 정렬되는 것을 가정하여 가장 긴 필터 길이

를 가진 필터(402)에 대응하는, 현재 취해진 필터(402)가 결정된 참조 샘플(403a)에 적용될 필터(402a)로서 선택된다. 그렇지 않으면, 필터 인덱스는 블록(607)에서 1씩 증가하고, 선택 메커니즘은 블록(604)으로 진행한다(즉, 세트의 다음 필터(402)가 취해짐).

도 7에 도시된 바와 같이, 디바이스(500)는 또한 참조 샘플(403)의 전처리를 수행하도록 구성될 수 있다. 특히, 디바이스(500)는, 즉 선택된 인트라-예측 모드(501a)에 기반하여 결정된 참조 샘플(403a)을 보간하는 것에 의해, 결정된 참조 샘플(403a)로부터 전치된(transposed) 참조 샘플(700a)을 생성하도록 구성될 수 있다. 그 다음, 디바이스(500)는 결정된 참조 샘플(403a)로부터 직접 가져오는 대신에, 전치된 참조 샘플(700a)로부터, 주어진 예측 샘플(given prediction sample)(401)을 인트라-예측하도록 구성될 수 있다.

전처리의 제1 단계가 도 7의 (a)에 예시적으로 도시되어 있으며, 참조 샘플(403)의 주어진 맨 위 행(

로 표시됨)으로부터 전치된 참조 샘플(700)의 세트(

로 표시됨)를 계산하는 것으로 구성될 수 있다. 이 단계에 대한 입력은 예측될 블록(400)의 상단 및 오른쪽 상단에 위치한 참조 샘플(403)의 세트일 수 있다. 이러한 참조 샘플(403)은 인트라-예측 각도에 따라 전술한 바와 같이 필터링될 수 있다. 즉, 디바이스(500)는 전술한 바와 같이 필터(402a)를 선택한 다음, 전치된 참조 샘플(700a)의 생성 전 또는 생성 중에, 선택된 필터(402a)를 결정된 참조 샘플(403a)에 적용하도록 구성될 수 있다.

제1 단계는 특히

의 두 부분에 대해 수행되는 보간을 통해 수행된다.

로 표시된, 세트의 일부는 블록

의 오른쪽 상단 픽셀의 왼쪽에 있다. 위치

에서의 참조 샘플(403)은 이 제1 단계 동안 변경되지 않으며, 즉,

이다.

로 표시된 다른 부분은

의 오른쪽에 있다. 두 부분 모두의 경우, 예측될 블록(400) 내의 샘플(

로 표시됨)을 예측하는 데 사용되는 것과 동일한 메커니즘을 사용하여 보간이 수행된다. 이 두 부분에 사용되는 예측 각도

는 동일하지만 예측 방향은 반대이다.

전처리의 제2 단계가 도 7의 (b)에 도시되어 있으며, 제2 단계는 예측될 블록(400)의 예측 샘플(401)을, 즉 (a)에 도시된 제1 단계에서 계산된, 전치된 참조 샘플(700)의 세트로부터 인트라-예측 보간을 수행하는 것에 의해, 인트라-예측을 수행하는 것이다. 인트라-예측 방향이 상단 행을 사용하지 않으면, 즉 인트라-예측 방향

의 각도가 180도 보다 크면, 블록 및 대응하는 참조 샘플이 전치되고(행 인덱스는 열 인덱스가 되고 그 반대일 수 있음), 인트라-예측이 전술한 바와 같이 수행된다. 이 경우 최종 결과는 계산된 예측 블록을 다시 전치하는 것에 의해 획득된다.

도 8은 본 발명의 일 실시 예에 따른 방법(800)을 도시한다. 방법(800)은 비디오 이미지의 예측 블록(400)을 인트라-예측하기 위한 것이며, 그리고 도 5에 도시된 디바이스(500)에 의해 수행될 수 있다. 특히, 방법(800)은 지향성 인트라-예측 모드(501)의 세트로부터 지향성 인트라-예측 모드(501a)를 선택하는 단계(801)를 포함하며, 각각의 지향성 인트라-예측 모드(501)는 상이한 인트라-예측 각도에 대응한다. 또한, 방법(800)은 선택된 지향성 인트라-예측 모드(501a)에 기반하여 필터(402)의 세트로부터 필터(402a)를 선택하는 단계(802)를 포함한다. 그 다음, 방법(800)은 예측 블록(400)의 주어진 예측 샘플(401)에 대해, 선택된 지향성 인트라-예측 모드(501a)에 기반하여 참조 샘플(403)의 세트로부터 참조 샘플(403a)을 결정하는 단계(803) 및 선택된 필터(402a)를 결정된 참조 샘플(403a)에 적용하는 단계(804)를 포함한다.

이 사양은 화상(프레임)에 대한 설명을 제공하지만 인터레이스(interlace) 화상 신호의 경우 필드가 화상으로 대체된다.

본 발명의 실시 예가 주로 비디오 코딩에 기반하여 설명되었지만, 인코더(100) 및 디코더(200)(및 대응하는 시스템(300))의 실시 예는 또한 정지 화상 처리 또는 코딩, 즉 비디오 코딩에서와 같이 임의의 선행하는 또는 연속 화상에 독립적인 개별 화상의 처리 또는 코딩에 대해 구성될 수 있다. 일반적으로 화상 처리 코딩이 단일 화상(101)에 제한되는 경우에는 인터 추정(142), 인터 예측(144, 242)만이 이용 가능하지 않다. 비디오 인코더(100) 및 비디오 디코더(200)의 모든 다른 기능(도구 또는 기술이라고도 함)은 대부분은 아니지만, 예를 들어 분할, 변환(스케일링(scaling))(106), 양자화(108), 역 양자화(110), 역 변환(112), 인트라 추정(142), 인트라 예측(154, 254) 및/또는 루프 필터링(120, 220), 및 엔트로피 코딩(170) 및 엔트로피 디코딩(204)이 정지 화상에 동일하게 사용될 수 있다.

당업자는 다양한 도면(방법 및 디바이스)의 "블록"("유닛")이 (반드시 하드웨어 또는 소프트웨어의 개별 "유닛"이라기 보다는) 본 발명의 실시 예의 기능을 나타내거나 설명하며, 따라서 장치 실시 예 및 방법 실시 예의 기능 또는 특징(유닛 = 단계)을 동일하게 설명함을 이해할 것이다.

"유닛"의 용어는 인코더/디코더의 실시 예의 기능의 예시적인 목적으로만 사용되며 본 개시를 제한하려는 의도가 아니다.

본 출원에서 제공된 여러 실시 예에서, 개시된 시스템, 디바이스 및 방법은 다른 방식으로 구현될 수 있다는 것을 이해해야 한다. 예를 들어, 설명된 디바이스 실시 예는 단지 예시일 뿐이다. 예를 들어, 유닛 구분은 단순히 논리적 기능 구분이며 실제 구현에서는 다른 구분일 수 있다. 예를 들어, 복수의 유닛 또는 구성 요소가 다른 시스템에 조합되거나 통합될 수 있거나, 일부 기능이 무시되거나 수행되지 않을 수 있다. 또한, 디스플레이되거나 논의된 상호 결합(coupling) 또는 직접 결합 또는 통신 연결은 일부 인터페이스를 사용하여 구현될 수 있다. 장치 또는 유닛 간의 간접 결합 또는 통신 연결은 전자적, 기계적 또는 다른 형태로 구현될 수 있다.

분리된 부분으로 기술된 유닛은 물리적으로 분리되거나 분리되지 않을 수 있으며, 유닛으로 디스플레이되는 부분은 물리적 유닛일 수도 있고 아닐 수도 있고, 한 위치에 위치할 수도 있고, 복수의 네트워크 유닛에 분산될 수도있다. 유닛의 일부 또는 전부는 실시 예의 솔루션의 목적을 달성하기 위해 실제 필요에 따라 선택될 수 있다.

또한, 본 발명의 실시 예에서의 기능 유닛은 하나의 처리 유닛으로 통합될 수 있거나, 각각의 유닛이 물리적으로 단독으로 존재할 수 있거나, 둘 이상의 유닛이 하나의 유닛으로 통합될 수 있다.

본 발명의 실시 예는 여기에서 설명된 방법 및/또는 프로세스 중 임의의 것을 수행하도록 구성된 처리 회로를 포함하는 디바이스, 예를 들어 인코더 및/또는 디코더를 더 포함할 수 있다.

인코더(100) 및/또는 디코더(200)의 실시 예는 하드웨어, 펌웨어, 소프트웨어 또는 이들의 임의의 조합으로 구현될 수 있다. 예를 들어, 인코더/인코딩 또는 디코더/디코딩의 기능은 펌웨어 또는 소프트웨어가 있거나 없는 처리 회로, 예를 들어 프로세서, 마이크로컨트롤러, 디지털 신호 프로세서(digital signal processor, DSP), 필드 프로그래밍 가능 게이트 어레이(field programmable gate array, FPGA), ASIC(application-specific integrated circuit) 등에 의해 수행될 수 있다.

인코더(100)(및 대응하는 인코딩 방법(100)) 및/또는 디코더(200)(및 대응하는 디코딩 방법(200))의 기능은 컴퓨터가 판독 가능한 매체에 저장된 프로그램 명령에 의해 구현될 수 있다. 프로그램 명령은 실행될 때, 처리 회로, 컴퓨터, 프로세서 등이 인코딩 및/또는 디코딩 방법의 단계를 수행하게 한다. 컴퓨터가 판독 가능한 매체는 블루레이(Bluray) 디스크, DVD, CD, USB(플래시) 드라이브, 하드 디스크, 네트워크를 통해 이용 가능한 서버 저장 장치 등과 같이, 프로그램이 저장된 비 일시적 저장 매체를 포함한 모든 매체일 수 있다.

본 발명의 실시 예는 컴퓨터상에서 실행될 때 여기에 설명된 방법 중 임의의 것을 수행하기 위한 프로그램 코드를 포함하는 컴퓨터 프로그램이거나 이를 포함한다.

본 발명의 실시 예는 프로세서에 의해 실행될 때 컴퓨터 시스템이 여기에 설명된 임의의 방법을 수행하게 하는 프로그램 코드를 포함하는 컴퓨터가 판독 가능한 매체일 수 있거나 이를 포함한다.

도 1
100 인코더
103 화상 블록
102 입력(예를 들어, 입력 포트, 입력 인터페이스)
104 잔차 계산 [유닛 또는 단계]
105 잔차 블록
106 변환(예를 들어, 부가적으로 스케일링을 포함함) [유닛 또는 단계]
107 변환된 계수
108 양자화 [유닛 또는 단계]
109 양자화된 계수
110 역 양자화 [유닛 또는 단계]
111 역양자화된 계수
112 역 변환(예를 들어, 부가적으로 스케일링을 포함함) [유닛 또는 단계]
113 역변환된 블록
114 재구성 [유닛 또는 단계]
115 재구성된 블록
116 (라인) 버퍼 [유닛 또는 단계]
117 참조 샘플
120 루프 필터 [유닛 또는 단계]
121 필터링된 블록
130 디코딩된 화상 버퍼(DPB) [유닛 또는 단계]
142 인터 추정(또는 인터 화상 추정) [유닛 또는 단계]
143 인터 추정 파라미터(예를 들어, 참조 화상/참조 화상 인덱스, 모션 벡터/오프셋)
144 인터 예측(또는 인터 화상 예측) [유닛 또는 단계]
145 인터 예측 블록
152 인트라 추정(또는 인트라 화상 추정) [유닛 또는 단계]
153 인트라 예측 파라미터(예를 들어, 인트라 예측 모드)
154 인트라 예측(인트라 프레임/화상 예측) [유닛 또는 단계]
155 인트라 예측 블록
162 모드 선택 [유닛 또는 단계]
165 예측 블록(인터 예측 블록 145 또는 인트라 예측 블록 155)
170 엔트로피 인코딩 [유닛 또는 단계]
171 인코딩된 화상 데이터(예를 들어, 비트스트림)
172 출력(출력 포트, 출력 인터페이스)
231 디코딩된 화상
도 2
200 디코더
171 인코딩된 화상 데이터(예를 들어, 비트스트림)
202 입력(포트/인터페이스)
204 엔트로피 디코딩
209 양자화된 계수
210 역 양자화
211 역양자화된 계수
212 역 변환(스케일링)
213 역변환된 블록
214 재구성(유닛)
215 재구성된 블록
216 (라인) 버퍼
217 참조 샘플
220 루프 필터(인 루프 필터)
221 필터링된 블록
230 디코딩된 화상 버퍼(DPB)
231 디코딩된 화상
232 출력(포트/인터페이스)
244 인터 예측(인터 프레임/화상 예측)
245 인터 예측 블록
254 인트라 예측(인트라 프레임/화상 예측)
255 인트라 예측 블록
260 모드 선택
265 예측 블록(인터 예측 블록 245 또는 인트라-예측 블록 255)
도 3
300 코딩 시스템
310 소스 디바이스
312 화상 소스
313 (원시) 화상 데이터
314 프리-프로세서(Pre-processor)/전처리 유닛
315 전처리된 화상 데이터
318 통신 유닛/인터페이스
320 목적지 디바이스
322 통신 유닛/인터페이스
326 포스트-프로세서(Post-processor)/후처리 유닛
327 후처리된 화상 데이터
328 디스플레이 디바이스/유닛
330 전송된/수신된/통신된(인코딩된) 화상 데이터
도 4
400 예측 블록
401 예측 샘플
402 필터
403 참조 샘플
도 5
402 필터
402a 선택된 필터
403 참조 샘플
403a 결정된 참조 샘플
500 디바이스
501 지향성 인트라-예측 모드
501a 선택된 지향성 인트라-예측 모드
도 6
600 필터 선택 메카니즘
601-607 메카니즘의 기능 블록
도 7
400 예측 블록
401 예측 샘플
403 참조 샘플
403a 결정된 참조 샘플
700 전치된 참조 샘플
700a 전치된 참조 샘플
도 8
800 예측 블록을 인트라-예측하는 방법
801 인트라-예측 모드를 선택하는 단계
802 필터를 선택하는 단계
803 주어진 예측 샘플에 대해 참조 샘플을 결정하는 단계
804 선택된 필터를 참조 샘플에 적용하는 단계

Claims

비디오 이미지의 예측 블록(400)을 인트라-예측하는 디바이스(500)로서,
상기 디바이스(500)는,
지향성 인트라-예측(directional intra-prediction) 모드(501)의 세트로부터 지향성 인트라-예측 모드(501a)를 선택하고 - 각각의 지향성 인트라-예측 모드(501)는 상이한 인트라-예측 각도에 대응함 -;
상기 선택된 지향성 인트라-예측 모드(501a)에 기반하여 필터(402)의 세트로부터 필터(402a)를 선택하며;
상기 예측 블록(400)의 주어진 예측 샘플(401)에 대해, 상기 선택된 지향성 인트라-예측 모드(501a)에 기반하여 참조 샘플(403)의 세트로부터 참조 샘플(403a)을 결정하고; 그리고
상기 선택된 필터(402a)를 상기 결정된 참조 샘플(403a)에 적용하도록 구성되는, 디바이스(500).
제1항에 있어서,
상기 디바이스(500)는,
상기 선택된 지향성 인트라-예측 모드(401a)에 기반하여 필터 길이를 결정하고,
적어도 상기 결정된 필터 길이를 갖는 것을 상기 필터(402a)로서 선택하도록 구성되는, 디바이스(500).
제2항에 있어서,
상기 필터(402)의 세트는 1개 또는 3개 또는 5개의 인접한 참조 샘플(403)에 걸치는(span) 상이한 필터 길이를 가지는 필터(402)를 포함하는, 디바이스(500).
제1항 내지 제3항 중 어느 한 항에 있어서,
상기 필터(402)의 세트의 각각의 필터(402)는, 상기 결정된 참조 샘플(403a)에 적용될 때, 상기 결정된 참조 샘플(403a) 및 하나 이상의 인접한 참조 샘플(403)에 대해 상이한 평활화(smoothing)를 수행하는, 디바이스(500).
제1항 내지 제4항 중 어느 한 항에 있어서,
상기 디바이스(500)는,
상기 선택된 지향성 인트라-예측 모드(501a)에 대응하는 인트라-예측 각도를 결정하고, 그리고
상기 결정된 인트라-예측 각도에 따라 상기 필터(402)를 선택하도록 구성되는, 디바이스(500).
제1항 내지 제5항 중 어느 한 항에 있어서,
상기 디바이스(500)는,
상기 선택된 지향성 인트라-예측 모드(501)에 대응하는 인트라-예측 각도를 결정하고,
상기 예측 블록(400)의 추가 예측 샘플(further prediction sample)(401)에 대해, 상기 선택된 지향성 인트라-예측 모드(501a)에 기반하여 상기 참조 샘플(403)의 세트로부터 추가 참조 샘플(403b)을 지정하며(specify),
상기 결정된 참조 샘플(403a)과 상기 추가 참조 샘플(403b) 사이의 거리를 결정하고, 그리고
상기 결정된 거리에 따라 상기 필터(402a)를 선택하도록 구성되는, 디바이스(500).
제1항 내지 제6항 중 어느 한 항에 있어서,
상기 디바이스(500)는,
상기 지향성 인트라-예측 모드(501)의 제1 서브 세트로부터 선택된 각각의 지향성 인트라-예측 모드(501a)에 대해 동일한 필터(402a)를 선택하고,
상기 지향성 인트라-예측 모드(501)의 제2 서브 세트로부터 선택된 각각의 지향성 인트라-예측 모드(501a)에 대해 상이한 필터(402a)를 선택하도록 구성되는, 디바이스(500).
제1항 내지 제7항 중 어느 한 항에 있어서,
상기 디바이스(500)는 추가로,
상기 결정된 참조 샘플(403a)로부터 직접 상기 주어진 예측 샘플(401)을 인트라-예측하도록 구성되고,
상기 디바이스(400)는 상기 주어진 예측 샘플(401)의 인트라-예측 전 또는 인트라-예측 중에, 상기 선택된 필터(402a)를 상기 결정된 참조 샘플(403a)에 적용하도록 구성되는, 디바이스(500).
제1항 내지 제7항 중 어느 한 항에 있어서,
상기 디바이스(500)는 추가로,
상기 선택된 인트라-예측 모드(501a)에 기반하여 상기 결정된 참조 샘플(403a)을 보간하여 전치된 참조 샘플(transposed reference sample)(700a)을 생성하고, 그리고
상기 전치된 참조 샘플(700a)로부터 상기 주어진 예측 샘플(401)을 인트라-예측하도록 구성되며,
상기 디바이스(500)는 상기 전치된 참조 샘플(700a)의 생성 전 또는 생성 중에, 상기 선택된 필터(402a)를 상기 결정된 참조 샘플(403a)에 적용하도록 구성되는, 디바이스(500).
제9항에 있어서,
상기 참조 샘플(403)의 세트에서의 각각의 참조 샘플(403)을 전치하도록(transpose) 구성되며, 참조 샘플(403)의 행은 전치된 참조 샘플(700)의 열이 되고, 참조 샘플(403)의 열은 전치된 참조 샘플(700)의 행이 되는, 디바이스(500).
제1항 내지 제10항 중 어느 한 항에 있어서,
상기 참조 샘플(403)의 세트의 참조 샘플(403)은 상기 예측 블록(400)의 위와 오른쪽 위에 인접하게 상기 비디오 이미지의 행에 배열되거나, 및/또는 상기 예측 블록(400)의 왼쪽과 왼쪽 아래에 인접하게 상기 비디오 이미지의 열에 배열되는, 디바이스(500).
제1항 내지 제11항 중 어느 한 항에 있어서,
상기 디바이스(500)가 상기 비디오 이미지를 인코딩 및/또는 디코딩하도록 구성되거나, 또는
상기 디바이스(500)가 비디오 인코더(100) 및/또는 비디오 디코더(200)인, 디바이스(500).
비디오 이미지의 예측 블록(400)을 인트라-예측하는 방법(800)으로서,
상기 방법(800)은,
지향성 인트라-예측 모드(501)의 세트로부터 지향성 인트라-예측 모드(501a)를 선택하는 단계(801) - 각각의 지향성 인트라-예측 모드(501)는 상이한 인트라-예측 각도에 대응함 -;
상기 선택된 지향성 인트라-예측 모드(501a)에 기반하여 필터(402)의 세트로부터 필터(402a)를 선택하는 단계(802);
상기 예측 블록(400)의 주어진 예측 샘플(401)에 대해, 상기 선택된 지향성 인트라-예측 모드(501)에 기반하여 참조 샘플(403)의 세트로부터 참조 샘플(403a)을 결정하는 단계(803); 및
상기 선택된 필터(402a)를 상기 결정된 참조 샘플(403a)에 적용하는 단계(804)
를 포함하는 방법(800).