KR102549670B1 - 크로마 블록 예측 방법 및 디바이스 - Google Patents

크로마 블록 예측 방법 및 디바이스 Download PDF

Info

Publication number
KR102549670B1
KR102549670B1 KR1020217003515A KR20217003515A KR102549670B1 KR 102549670 B1 KR102549670 B1 KR 102549670B1 KR 1020217003515 A KR1020217003515 A KR 1020217003515A KR 20217003515 A KR20217003515 A KR 20217003515A KR 102549670 B1 KR102549670 B1 KR 102549670B1
Authority
KR
South Korea
Prior art keywords
block
luma
chroma
filter
sample
Prior art date
Application number
KR1020217003515A
Other languages
English (en)
Other versions
KR20210025107A (ko
Inventor
샹 마
하이타오 양
지안레 첸
Original Assignee
후아웨이 테크놀러지 컴퍼니 리미티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 후아웨이 테크놀러지 컴퍼니 리미티드 filed Critical 후아웨이 테크놀러지 컴퍼니 리미티드
Priority to KR1020237021569A priority Critical patent/KR20230098717A/ko
Publication of KR20210025107A publication Critical patent/KR20210025107A/ko
Application granted granted Critical
Publication of KR102549670B1 publication Critical patent/KR102549670B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/11—Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/13—Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H04N19/45—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder performing compensation of the inverse transform mismatch, e.g. Inverse Discrete Cosine Transform [IDCT] mismatch
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/625—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using discrete cosine transform [DCT]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/91—Entropy coding, e.g. variable length coding [VLC] or arithmetic coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/96—Tree coding, e.g. quad-tree coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Discrete Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

본 발명은 크로마 블록 예측 방법 및 디바이스를 제공한다. 방법은, 비트스트림을 파싱하여 제 1 표시 정보를 획득하는 단계와, 제 1 표시 정보의 값이 제 1 값일 때 제 1 필터를 사용함으로써 또는 제 1 표시 정보의 값이 제 2 값일 때 제 2 필터를 사용함으로써 제 1 루마 블록에 대해 다운샘플링 동작을 수행하여 제 2 루마 블록을 획득하는 단계 - 제 1 루마 블록은 현재 크로마 블록에 대응하는 루마 블록임 - 와, 복수의 크로마 샘플 및 복수의 루마 샘플을 획득하는 단계와, 복수의 크로마 샘플 및 복수의 루마 샘플에 기초하여 선형 모델 계수를 획득하는 단계와, 제 2 루마 블록 및 선형 모델 계수에 기초하여 현재 크로마 블록의 예측 값을 획득하는 단계를 포함한다.

Description

크로마 블록 예측 방법 및 디바이스
본 발명은 비디오 코딩 분야에 관한 것으로, 특히 크로마 블록 예측 방법 및 디바이스에 관한 것이다.
인터넷 기술이 빠르게 발전하고 사람들의 물질적, 정신적 문화가 점점 더 풍부해짐에 따라, 비디오의 애플리케이션, 특히 고화질 비디오의 애플리케이션에 대한 인터넷 수요가 증가하고 있다. 그러나 고화질 비디오에는 상당히 많은 양의 데이터가 포함되어 있다. 인터넷을 통해 제한된 대역폭으로 고화질 비디오를 전송하기 위해, 먼저 고화질 비디오의 압축 코딩이 수행되어야 한다. 현재 2 개의 국제기구인 ISO/IEC의 MPEG와 ITU-T의 VCEG는 비디오 코딩 표준을 공식화하는데 전념하고 있다. 1986년에 설립된 MPEG는 멀티미디어 분야에서 저장, 방송 텔레비전, 인터넷 또는 무선 네트워크를 통한 스트리밍 미디어 등에 주로 사용되는 관련 표준을 공식화하는데 특화되어 있다. ITU-T는 비디오 통화, 비디오 회의 또는 다른 애플리케이션과 같은 실시간 비디오 통신 분야에 대한 비디오 코딩 표준을 공식화한다. 지난 수십 년 동안, 비디오 코딩 표준은 VCD 용 MPEG-1, DVD 및 DVB 용 MPEG-2, 비디오 회의용 H.261, H.263 및 H.264, 임의의 형태의 객체를 코딩할 수 있게 하는 MPEG-4 및 HEVC 등을 비롯한 다양한 애플리케이션을 위해 공식화되었다.
현재, 널리 사용되는 비디오 코딩 표준인 H.264/AVC(H.264로 표시됨) 및 H.265/HEVC(H.265로 표시됨)에서, 예측, 변환 및 엔트로피 코딩과 같은 다양한 유형의 코딩 동작은 이미지 블록을 기본 단위로서 사용하여 수행된다. 이미지 블록은 2 차원 샘플 어레이, 즉, W*H 샘플의 사이즈를 갖는 어레이이다(여기서 W는 H와 같거나 같지 않을 수 있다). 또한, 각각의 샘플 위치에서의 샘플 값은 알려져 있다.
일반적인 비디오 인코딩 프로세스는 주로 다음과 같은 단계: 인트라 예측(Intra Prediction), 인터 예측(Inter Prediction), 변환(Transform), 양자화(Quantization), 엔트로피 인코딩(Entropy encoding), 인-루프 필터링(in-loop filtering) 등을 포함한다. 인트라 예측 및 인터 예측은 이미지가 이미지 블록으로 파티션된 후에 수행된다. 그런 다음 잔차(residual)가 획득된 후에 변환 및 양자화가 수행된다. 마지막으로, 엔트로피 인코딩이 수행되어 비트스트림을 출력한다.
인트라 예측은 현재 이미지에서 재구성된 영역 내 샘플의 샘플 값이 현재 블록 내 샘플의 샘플 값을 예측하는데 사용되는 것을 의미한다. 일반적으로, 현재 블록 내 샘플의 예측 값은 현재 블록 주위의 재구성된 인접 블록 내 샘플에 기초하여 도출된다. 예를 들어, H.264 또는 H.265에서, 인접 블록의 경계 (현재 블록 근처의 경계) 샘플은 일반적으로 현재 블록의 참조 샘플로서 사용되고, 현재 블록 내 샘플의 예측 값은 특정 방법을 사용하여 이러한 참조 샘플에 기초하여 도출된다. 인트라 예측 모드는 예를 들어, DC(또는 평균) 모드 또는 평면 모드(planar mode)와 같은 비 방향 모드(non-direction mode) 또는 H.265에서 정의된 방향 모드이다.
인트라 예측을 통해 예측 정보가 획득된 후에, 잔차 정보는 대응하는 예측 정보를 현재 코딩 블록 내 샘플 값으로부터 감산함으로써 획득된다. 그 다음에 잔차 정보는 이산 코사인 변환(Discrete Cosine Transformation, DCT)과 같은 방법을 사용하여 변환된다. 마지막으로, 양자화 및 엔트로피 인코딩을 통해 비트스트림이 획득된다. 예측 신호와 재구성된 잔차 신호가 합산된 후에, 재구성된 신호를 획득하기 위해서는 필터링 동작이 더 수행되어야 한다. 재구성된 신호는 후속 인코딩을 위한 참조 신호로서 사용된다.
디코딩은 인코딩의 역 프로세스이다. 엔트로피 디코딩, 역양자화 및 역변환이 먼저 수행되어 잔차 정보를 획득한다. 비트스트림은 디코딩되어 현재 블록에 대해 인트라 예측 또는 인터 예측이 사용되는지를 결정한다. 인트라 인코딩이 사용되면, 인트라 예측 방법을 사용하여 현재 이미지 주위의 재구성된 영역 내 샘플 값에 기초하여 예측 정보가 구성된다. 예측 정보와 잔차 정보가 합산된 후에, 필터링 동작을 수행함으로써 재구성된 정보가 획득될 수 있다.
기존의 비디오는 일반적으로 컬러 비디오이다. 루마 컴포넌트 외에도, 컬러 비디오의 이미지는 크로마 컴포넌트를 더 포함한다. 그러므로 루마 컴포넌트가 코딩되어야 하고 크로마 컴포넌트가 또한 코딩되어야 한다. 인트라 예측에서 크로마 컴포넌트의 코딩 효율성을 개선하는 방법은 현재 여전히 기술적인 도전과제이다.
본 발명의 실시예는 인트라 예측에서 크로마 컴포넌트(크로마 블록)에 대한 코딩 효율을 개선하는 크로마 블록 예측 방법 및 디바이스를 제공한다.
제 1 양태에 따르면, 본 발명의 실시예는 크로마 블록 예측 방법을 제공한다. 방법은 인코더 측의 관점에서 설명된다. 방법은 현재 크로마 블록에 대한 인트라 예측에 사용될 수 있으며, 사용되는 인트라 예측 모드는 선형 모델 모드(linear model mode, 줄여서 LM mode)이다. 방법은, 현재 크로마 블록의 샘플 위치 타입에 기초하여 필터 타입을 결정하는 단계 - 필터 타입은 현재 크로마 블록의 샘플 위치 타입에 기초하여 결정되고, 현재 크로마 블록의 각 샘플 위치 타입은 필터 타입에 대응함 - 와, 제 1 표시 정보를 설정하는 단계 - 제 1 표시 정보는 필터 타입을 표시하기 위해 사용됨 - 와, 제 1 표시 정보를 비트스트림으로 인코딩하여, 비트스트림이 나중에 디코더 측으로 전송되도록 하는 단계를 포함할 수 있다.
본 발명의 본 실시예에서, 인코더는 현재 크로마 샘플의 샘플 위치 타입에 기초하여, 현재 루마 블록에 사용되는 루마 다운샘플링 필터를 결정하고, 표시 정보(indication information)를 통해 디코더에 대한 다운샘플링 필터의 타입을 명시할 수 있다는 것을 알 수 있다. 이것은 두 인코더 측과 디코더 측이 모두 크로마 샘플 위치에 대응하는 필터를 획득할 수 있도록 보장하고, 그럼으로써 인코더 측의 코딩 정확도와 코딩 효율성을 개선한다.
제 1 양태에 기초하여, 가능한 실시예에서, 6 개의 샘플 위치 타입: type0, type, type2, type3, type4 및 type5가 설계될 수 있다. 따라서, 6 개의 샘플 위치 타입에 대응하는 6 가지 타입의 루마 다운샘플링 필터: 필터 0, 필터 1, 필터 2, 필터 3, 필터 4, 필터 5가 있다. 다시 말해, 현재 크로마 블록의 샘플 위치 타입은 6 개의 샘플 위치 타입 중 하나일 수 있다. 이러한 필터를 설정함으로써, 두 인코더 측과 디코더 측은 모두 크로마 샘플 위치에 대응하는 필터를 획득할 수 있는 것이 보장된다. 이것은 상이한 크로마 샘플 위치가 실제로 상이한 비디오 시퀀스에 존재할 수 있는 경우를 고려하는 것이며, 그럼으로써 인코더 측의 코딩 정확도 및 코딩 효율성을 개선한다.
제 1 양태에 기초하여, 가능한 실시예에서, 크로마 샘플 위치: type0 및 type2가 현재 가장 일반적이라고 생각되며, 2 개의 샘플 위치 타입이 대안적으로 설계될 수 있다. 다시 말해, 2 개의 샘플 위치 타입은 type0 및 type2 만을 포함한다. 따라서, 2 개의 샘플 위치 타입에 대응하는 2 가지 타입의 루마 다운샘플링 필터인 필터 0 및 필터 2가 있다. 다시 말해, 현재 크로마 블록의 샘플 위치 타입은 2 개의 샘플 위치 타입 중 하나일 수 있다. 이러한 필터를 설정함으로써, 대부분의 일반적인 코딩 요구 사항이 충족되면서 인코더 측의 코딩 정확도 및 코딩 효율성이 개선될 수 있다.
제 1 양태에 기초하여, 가능한 실시예에서, 시퀀스 파라미터 세트(sequence parameter set, SPS) 파라미터가 새로 추가될 수 있고, SPS 파라미터의 값은 현재 비디오 시퀀스의 인코딩 또는 디코딩 동안 LM 모드에서 루마 다운샘플링 필터의 타입을 표시하는데 사용된다. 인코더 측에서, 이 파라미터는 현재 시퀀스에서 크로마 샘플 위치에 기초하여 설정될 수 있다. 구체적으로, 제 1 표시 정보는 필터 타입에 기초하여 설정될 수 있다. 제 1 표시 정보는 SPS 파라미터의 값을 포함할 수 있으며, 여기서 값은 인코딩 또는 디코딩 동안 크로마 블록에 대한 예측에 사용되는 루마 다운샘플링 필터의 타입을 표시하는데 사용된다.
제 1 양태에 기초하여, 가능한 실시예에서, 복수의 인트라 예측 모드가 인코더 측에서 미리 설정될 수 있다. 복수의 인트라 예측 모드는 LM 모드를 포함한다. 인코더 측은 복수의 인트라 예측 모드를 가로질러 고찰하고, 현재 크로마 블록에 대한 최적의 인트라 예측 모드가 LM 모드라고 결정한다. 또한, 인코더 측은 또한 제 2 표시 정보를 설정하여 - 제 2 표시 정보는 LM 모드를 표시하며, 제 2 표시 정보를 비트스트림으로 인코딩하는데 사용됨 - , 디코더 측이 또한 LM 모드에서 인트라 예측을 수행하도록 하여, 코딩 효율성을 개선할 수 있다.
제 1 양태에 기초하여, 가능한 실시예에서, 예측 블록을 구성하는 동안, 인코더 측은 또한, 제 1 표시 정보에 기초하여, 필터 타입에 대응하는 필터를 결정하고, 필터 타입에 대응하는 필터를 사용함으로써 제 1 루마 블록을 다운샘플링하여 제 2 루마 블록을 획득 - 제 1 루마 블록은 현재 크로마 블록에 대응하는 루마 블록임 - 하고, 템플릿 크로마 샘플 및 템플릿 루마 샘플을 획득 - 템플릿 크로마 샘플은 현재 크로마 블록의 복수의 인접한 크로마 샘플을 포함하고, 템플릿 루마 샘플은 제 1 루마 블록의 복수의 인접한 루마 샘플을 다운샘플링함으로써 획득됨 - 하고, 템플릿 크로마 샘플 및 템플릿 루마 샘플에 기초하여 선형 모델 계수를 획득하고, 제 2 루마 블록 및 선형 모델 계수에 기초하여 현재 크로마 블록의 예측 값을 획득할 수 있다.
제 2 양태에 따르면, 본 발명의 실시예는 크로마 블록 예측 방법을 제공한다. 방법은 현재 크로마 블록에 대한 인트라 예측에 사용될 수 있으며, 사용되는 인트라 예측 모드는 LM 모드이다. 방법은, 비트스트림을 파싱하여 제 1 표시 정보를 획득하는 단계 - 제 1 표시 정보는 필터 타입을 표시하는데 사용됨 - 와, 필터 타입에 대응하는 필터를 사용함으로써 제 1 루마 블록에 대해 다운샘플링 동작을 수행하여 제 2 루마 블록을 획득하는 단계 - 제 1 루마 블록은 현재 크로마 블록에 대응하는 루마 블록이고, 제 2 루마 블록의 루마 샘플의 위치는 현재 크로마 블록의 크로마 샘플의 위치와 일치함 - 와, 템플릿 크로마 샘플 및 템플릿 루마 샘플을 획득하는 단계 - 템플릿 크로마 샘플은 현재 크로마 블록의 복수의 인접한 크로마 샘플을 포함하고, 템플릿 루마 샘플은 제 1 루마 블록의 복수의 인접한 루마 샘플에 대해 다운샘플링 동작을 수행함으로써 획득됨 - 와, 템플릿 크로마 샘플 및 템플릿 루마 샘플에 기초하여 선형 모델 계수를 획득하는 단계와, 제 2 루마 블록 및 선형 모델 계수에 기초하여 현재 크로마 블록의 예측 값을 획득하는 단계를 포함한다.
본 발명의 본 실시예에서, LM 모드의 경우, 디코더 측은 현재 블록의 다운샘플링 동안 비트스트림의 표시 정보에 기초하여, 현재 크로마 블록에 대응하는 루마 블록의 다운샘플링에 사용되는 필터를 결정할 수 있다는 것을 알 수 있다. 이러한 방식으로, 크로마 샘플 위치에 대응하는 필터가 획득될 수 있다. 이것은 상이한 크로마 샘플 위치가 실제로 상이한 비디오 시퀀스에 존재할 수 있는 경우를 고려하는 것이며, 그럼으로써 코딩 정확도 및 코딩 효율성을 개선한다.
구체적으로, 본 발명의 본 실시예에서, 선형 모델 계수의 계산에 사용되는 인접한 상단측 및 인접한 좌측은 템플릿(template)이라고 지칭될 수 있다. 템플릿은 선형 모델 계수의 계산에 사용되는 한 세트의 루마 샘플 또는 한 세트의 크로마 샘플이다. 선형 모델 계수의 계산에 사용되는 루마 샘플(luma sample)의 세트는 템플릿 루마 샘플이라고도 한다. 템플릿 루마 샘플은 루마 블록의 복수의 인접한 루마 샘플에 대해 다운샘플링 동작을 수행함으로써 획득된다(왜냐하면 루마 이미지에서, 템플릿 크로마 샘플에 대응하는 위치에 루마 샘플 값이 없을 수 있기 때문이다). 선형 모델 계수의 계산에 사용되는 크로마 샘플(chroma sample)의 세트는 템플릿 크로마 샘플이라고도 한다. 템플릿 크로마 샘플은 현재 크로마 블록의 복수의 인접한 재구성된 크로마 샘플을 포함한다.
제 2 양태에 기초하여, 가능한 실시예에서, 템플릿 크로마 샘플은 구체적으로 현재 크로마 블록의 인접한 상단 크로마 샘플의 하나 이상의 행 및 현재 크로마 블록의 인접한 좌측 크로마 샘플의 하나 이상의 열을 포함한다. 템플릿 루마 샘플은 템플릿 크로마 샘플과 일대일 대응하고, 템플릿 루마 샘플 내 샘플 값과 템플릿 크로마 샘플 내 샘플 값은 값 쌍을 구성한다.
제 2 양태에 기초하여, 가능한 실시예에서, 템플릿 크로마 샘플은 현재 크로마 블록의 인접한 상단 크로마 샘플의 하나의 행 및 인접한 좌측 크로마 샘플의 하나의 열을 포함한다. 따라서, 템플릿 루마 샘플은 루마 샘플의 하나의 행과 좌측 루마 샘플의 하나의 열을 포함하며, 여기서 루마 샘플의 하나의 행과 좌측 루마 샘플의 하나의 열은 템플릿 크로마 샘플 내 크로마 샘플 위치에 대응한다.
제 2 양태에 기초하여, 가능한 실시예에서, 템플릿 크로마 샘플은 현재 크로마 블록의 인접한 상단 크로마 샘플의 2 개의 행 및 인접한 좌측 크로마 샘플의 2 개의 열을 포함한다. 따라서, 템플릿 루마 샘플은 루마 샘플의 2 개의 열과 루마 샘플의 2 개의 행을 포함하며, 여기서 루마 샘플의 2 개의 행과 루마 샘플의 2 개의 열은 템플릿 크로마 샘플 내 크로마 샘플 위치에 대응한다.
제 2 양태에 기초하여, 가능한 실시예에서, 템플릿 크로마 샘플은 대안적으로 현재 크로마 블록의 인접한 좌측 크로마 샘플의 하나 이상의 열 만을 포함한다. 템플릿 루마 샘플은 루마 샘플의 하나 이상의 열 만을 포함하고, 템플릿 루마 샘플은 템플릿 크로마 샘플과 일대일 대응한다.
제 2 양태에 기초하여, 가능한 실시예에서, 템플릿 크로마 샘플은 대안적으로 현재 크로마 블록의 인접한 상단 크로마 샘플의 하나 이상의 행 만을 포함한다. 템플릿 루마 샘플은 루마 샘플의 하나 이상의 행 만을 포함하고, 템플릿 루마 샘플은 템플릿 크로마 샘플과 일대일 대응한다.
제 2 양태에 기초하여, 가능한 실시예에서, 템플릿 루마 샘플의 경우, 제 1 표시 정보는 필터 타입을 표시하기 때문에, 다운샘플링 동작은 필터 타입에 대응하는 필터를 사용함으로써 제 1 루마 블록의 복수의 인접한 루마 샘플에 대해 수행되어, 템플릿 루마 샘플을 획득할 수 있다. 이러한 방식으로, 디코더 측은 템플릿 루마 샘플을 도출하는 다운샘플링 프로세스 및 현재 블록의 다운샘플링 프로세스에서 동일한 필터를 사용하고, 그럼으로써 처리 효율성을 개선한다.
예를 들어, 디코더 측에 대해 6 개의 필터 타입이 설계되고, 제 1 표시 정보에 의해 현재 표시되는 값이 0 이면, 사용된 루마 다운샘플링 필터는 필터 0이고, 다운샘플링 동작은 필터 0을 사용함으로써 제 1 루마 블록의 복수의 인접한 루마 샘플에 대해 수행되어, 템플릿 루마 샘플 내 각 루마 샘플의 값을 획득할 수 있다.
제 2 양태에 기초하여, 가능한 실시예에서, 비트스트림을 파싱하는 동안, 비트스트림을 파싱함으로써 제 2 표시 정보가 또한 획득될 수 있다. 제 2 표시 정보는 디코더 측에 의해 현재 크로마 블록을 디코딩하기 위해 사용되는 인트라 예측 모드가 LM 모드라는 것을 표시하는데 사용되어, 디코더 측이 비디오 시퀀스에서 현재 이미지에 대한 인트라 예측에 LM 모드를 사용하기로 결정하도록 한다.
제 2 양태에 기초하여, 가능한 실시예에서, 방법은 비디오 시퀀스 내 현재 이미지 블록을 디코딩하는데 사용된다. 현재 이미지 블록은 제 1 루마 블록 및 현재 크로마 블록을 포함하고, 비디오 시퀀스에서 이미지는 4:2:0 포맷 또는 4:2:2 포맷이다.
제 2 양태에 기초하여, 가능한 실시예에서, 인코더 측과 디코더 측은 동일한 설계의 필터 타입을 사용할 수 있다. 예를 들어, (6 개의 크로마 샘플 위치에 대응하는) 6 개의 필터 타입이 인코더 측에 대해 설계되고, 6 개의 필터 타입이 또한 디코더 측에 대해 설계된다. 또한, 디코더 측의 6 개 필터 타입의 다운샘플링 알고리즘은 인코더 측의 6 개 필터 타입의 다운샘플링 알고리즘과 각각 일치한다. 다른 예를 들면, (2 개의 크로마 샘플 위치에 대응하는) 2 개의 필터 타입이 인코더 측에 대해 설계되고, 2 개의 필터 타입이 또한 디코더 측에 대해 설계된다. 또한, 디코더 측의 2 개의 필터 타입의 다운샘플링 알고리즘은 인코더 측의 2 개의 필터 타입의 다운샘플링 알고리즘과 각각 일치한다.
제 2 양태에 기초하여, 가능한 실시예에서, 제 1 표시 정보는 SPS 파라미터의 값을 포함하며, 여기서 값은 인코딩 또는 디코딩 동안 크로마 블록에 대한 예측에 사용되는 루마 다운샘플링 필터의 타입을 표시하는데 사용된다.
제 2 양태에 기초하여, 가능한 실시예에서, 템플릿 크로마 샘플 및 템플릿 루마 샘플에 기초하여 선형 모델 계수를 획득하는 단계는, 최소 제곱 방법(least square method)을 사용함으로써 템플릿 크로마 샘플 및 템플릿 루마 샘플에 기초하여 선형 모델 계수 α 및 β를 획득하는 단계를 포함한다.
제 2 양태에 기초하여, 가능한 실시예에서, 템플릿 크로마 샘플 및 템플릿 루마 샘플에 기초하여 선형 모델 계수를 획득하는 단계는, 극한 방법(extremum method)을 사용함으로써 템플릿 크로마 샘플 및 템플릿 루마 샘플에 기초하여 선형 모델 계수 α 및 β를 획득하는 단계를 포함한다.
제 3 양태에 따르면, 방법은 현재 크로마 블록에 대한 인트라 예측에 사용될 수 있다. 방법은 디코더 측의 관점에서 설명될 수 있고, 사용된 인트라 예측 모드는, 예를 들어, LM 모드이다. 방법은, 현재 크로마 블록의 샘플 위치에 기초하여 필터 타입을 결정하는 단계와, 필터 타입에 대응하는 필터를 사용함으로써 제 1 루마 블록에 대해 다운샘플링 동작을 수행하여 제 2 루마 블록을 획득하는 단계 - 제 1 루마 블록은 현재 크로마 블록에 대응하는 루마 블록임 - 와, 템플릿 크로마 샘플 및 템플릿 루마 샘플을 획득하는 단계 - 템플릿 크로마 샘플은 현재 크로마 블록의 복수의 인접한 크로마 샘플을 포함하고, 템플릿 루마 샘플은 제 1 루마 블록의 복수의 인접한 루마 샘플에 대해 다운샘플링 동작을 수행함으로써 획득됨 - 와, 템플릿 크로마 샘플 및 템플릿 루마 샘플에 기초하여 선형 모델 계수를 획득하는 단계와, 제 2 루마 블록 및 선형 모델 계수에 기초하여 현재 크로마 블록의 예측 값을 획득하는 단계를 포함한다.
본 발명의 본 실시예에서, 인코더는 현재 크로마 블록의 샘플 위치에 기초하여, 현재 루마 블록에 사용되는 루마 다운샘플링 필터를 결정하여, 크로마 샘플 위치에 대응하는 필터를 획득할 수 있다. 이것은 상이한 크로마 샘플 위치가 실제로 상이한 비디오 시퀀스에 존재할 수 있는 경우를 고려하는 것이며, 그럼으로써 코딩 정확도 및 코딩 효율성을 개선한다.
제 3 양태에 기초하여, 가능한 실시예에서, 현재 크로마 블록의 샘플 위치에 기초하여 필터 타입을 결정하는 단계 이전에, 방법은, 비트스트림을 파싱하여 제 1 표시 정보를 획득하는 단계를 포함하며, 여기서 제 1 표시 정보는 현재 크로마 블록의 샘플 위치를 표시하는데 사용된다. 현재 크로마 블록의 샘플 위치는 필터 타입과 연관될 수 있다.
본 발명의 본 실시예에서, 인코더는 제 1 표시 정보에 기초하여 현재 크로마 샘플의 샘플 위치를 결정하여, 크로마 샘플 위치에 대응하는 필터를 획득할 수 있다는 것을 알 수 있다. 두 인코더 측과 디코더 측이 모두 크로마 샘플 위치에 대응하는 필터를 획득할 수 있고, 그럼으로써 인코더 측의 코딩 정확도와 코딩 효율성을 개선한다.
제 3 양태에 기초하여, 가능한 실시예에서, 현재 크로마 블록의 샘플 위치는 예를 들어, 현재 크로마 블록의 샘플 위치 타입에 기초하여 결정될 수 있다. 현재 크로마 블록의 샘플 위치 타입은 필터 타입과 연관될 수 있다.
구현에서, 현재 크로마 블록의 샘플 위치 타입은 다음과 같은 샘플 위치 타입: 샘플 위치 타입 type0 및 샘플 위치 타입 type2 중 적어도 하나이다.
다른 구현에서, 현재 크로마 블록의 샘플 위치 타입은 다음과 같은 샘플 위치 타입: 샘플 위치 타입 type0, 샘플 위치 타입 type1, 샘플 위치 타입 type2, 샘플 위치 타입 type3, 샘플 위치 타입 type4 및 샘플 위치 타입 type5 중 적어도 하나이다.
제 3 양태에 기초하여, 가능한 실시예에서, 비트스트림을 파싱하여 제 1 표시 정보를 획득하는 단계는, 비트스트림에서 시퀀스 파라미터 세트(SPS) 파라미터를 파싱하여 제 1 표시 정보를 획득하는 단계를 포함한다. 본 실시예의 구현 동안, 인코더 측은 현재 크로마 블록의 샘플 위치 타입을 특정 SPS 파라미터를 통해 디코더 측에 표시할 수 있다. 이것은 디코더 측에 다운샘플링 필터의 타입을 명시하는 것과 동등하며, 그럼으로써 두 인코더 측과 디코더 측 모두 크로마 샘플 위치에 대응하는 필터를 획득할 수 있다.
제 4 양태에 따르면, 본 발명의 실시예는 비디오 데이터 인코딩 디바이스를 제공한다. 디바이스는 메모리 및 메모리에 결합된 인코더를 포함한다. 메모리는 비디오 데이터를 비트스트림 형태로 저장하도록 구성된다. 인코더는, 현재 크로마 블록의 샘플 위치 타입에 기초하여 필터 타입을 결정하고, 제 1 표시 정보를 설정 - 제 1 표시 정보는 필터 타입을 표시하기 위해 사용됨 - 하고, 제 1 표시 정보를 비트스트림으로 인코딩하도록 구성된다. 구체적으로, 디바이스는 제 1 양태에서 설명된 방법을 구현하도록 구성될 수 있다.
제 5 양태에 따르면, 본 발명의 실시예는 비디오 데이터 디코딩 디바이스를 제공한다. 디바이스는 메모리 및 메모리에 결합된 디코더를 포함한다. 메모리는 비디오 데이터를 비트스트림 형태로 저장하도록 구성된다. 디코더는, 비트스트림을 파싱하여 제 1 표시 정보를 획득 - 제 1 표시 정보는 필터 타입을 표시하는데 사용됨 - 하고, 필터 타입에 대응하는 필터를 사용함으로써 제 1 루마 블록에 대해 다운샘플링 동작을 수행하여 제 2 루마 블록을 획득 - 제 1 루마 블록은 현재 크로마 블록에 대응하는 루마 블록임 - 하고, 템플릿 크로마 샘플 및 템플릿 루마 샘플을 획득 - 템플릿 크로마 샘플은 현재 크로마 블록의 복수의 인접한 크로마 샘플을 포함하고, 템플릿 루마 샘플은 제 1 루마 블록의 복수의 인접한 루마 샘플에 대해 다운샘플링 동작을 수행함으로써 획득됨 - 하고, 템플릿 크로마 샘플 및 템플릿 루마 샘플에 기초하여 선형 모델 계수를 획득하고, 제 2 루마 블록 및 선형 모델 계수에 기초하여 현재 크로마 블록의 예측 값을 획득하도록 구성된다. 구체적으로, 디바이스는 제 2 양태에서 설명된 방법을 구현하도록 구성될 수 있다.
제 6 양태에 따르면, 본 발명의 실시예는 비디오 데이터 디코딩 디바이스를 제공한다. 디바이스는 메모리 및 메모리에 결합된 디코더를 포함한다. 메모리는 비디오 데이터를 비트 스트림 형태로 저장하도록 구성된다. 디코더는, 현재 크로마 블록의 샘플 위치 타입에 기초하여 필터 타입을 결정하고, 필터 타입에 대응하는 필터를 사용함으로써 제 1 루마 블록에 대해 다운샘플링 동작을 수행하여 제 2 루마 블록을 획득 - 제 1 루마 블록은 현재 크로마 블록에 대응하는 루마 블록임 - 하고, 템플릿 크로마 샘플 및 템플릿 루마 샘플을 획득 - 템플릿 크로마 샘플은 현재 크로마 블록의 복수의 인접한 크로마 샘플을 포함하고, 템플릿 루마 샘플은 제 1 루마 블록의 복수의 인접한 루마 샘플에 대해 다운샘플링 동작을 수행함으로써 획득됨 - 하고, 템플릿 크로마 샘플 및 템플릿 루마 샘플에 기초하여 선형 모델 계수를 획득하고, 제 2 루마 블록 및 선형 모델 계수에 기초하여 현재 크로마 블록의 예측 값을 획득하도록 구성된다. 구체적으로, 디바이스는 제 3 양태에서 설명된 방법을 구현하도록 구성될 수 있다.
제 7 양태에 따르면, 본 발명의 실시예는 인코딩 디바이스를 제공한다. 인코딩 디바이스는 서로 결합된 비휘발성 메모리 및 프로세서를 포함한다. 프로세서는 메모리에 저장된 프로그램 코드를 호출하여 제 1 양태에서 설명된 방법을 수행한다.
제 8 양태에 따르면, 본 발명의 실시예는 디코딩 디바이스를 제공한다. 디코딩 디바이스는 서로 결합된 비휘발성 메모리 및 프로세서를 포함한다. 프로세서는 메모리에 저장된 프로그램 코드를 호출하여 제 2 양태에서 설명된 방법을 수행한다.
제 9 양태에 따르면, 본 발명의 실시예는 디코딩 디바이스를 제공한다. 디코딩 디바이스는 서로 결합된 비휘발성 메모리 및 프로세서를 포함한다. 프로세서는 메모리에 저장된 프로그램 코드를 호출하여 제 3 양태에서 설명된 방법을 수행한다.
제 10 양태에 따르면, 본 발명의 실시예는 시스템을 제공한다. 시스템은 제 4 양태에서 설명된 디바이스 및 제 5 양태에서 설명된 디바이스를 포함하거나, 또는 시스템은 제 4 양태에서 설명된 디바이스 및 제 6 양태에서 설명된 디바이스를 포함한다.
제 11 양태에 따르면, 본 발명의 실시예는 다른 시스템을 제공한다. 시스템은 제 7 양태에서 설명된 인코딩 디바이스 및 제 8 양태에서 설명된 디코딩 디바이스를 포함하거나, 또는 시스템은 제 7 양태에서 설명된 인코딩 디바이스 및 제 9 양태에서 설명된 디코딩 디바이스를 포함한다.
제 12 양태에 따르면, 본 발명의 실시예는 비휘발성 컴퓨터 판독 가능 저장 매체를 제공한다. 컴퓨터 판독 가능 저장 매체는 제 1 양태에서 설명된 방법의 프로그램 코드를 저장하도록 구성된다. 프로그램 코드가 컴퓨팅 디바이스에 의해 실행될 때, 컴퓨팅 디바이스는 제 1 양태에서 설명된 방법을 수행하도록 구성된다.
제 13 양태에 따르면, 본 발명의 실시예는 다른 비휘발성 컴퓨터 판독 가능 저장 매체를 제공한다. 컴퓨터 판독 가능 저장 매체는 제 2 양태 또는 제 3 양태에서 설명된 방법의 프로그램 코드를 저장하도록 구성된다. 프로그램 코드가 컴퓨팅 디바이스에 의해 실행될 때, 컴퓨팅 디바이스는 제 2 양태 또는 제 3 양태에서 설명된 방법을 수행하도록 구성된다.
제 14 양태에 따르면, 본 발명의 실시예는 컴퓨터 프로그램 제품을 제공한다. 컴퓨터 프로그램 제품은 프로그램 명령어를 포함한다. 컴퓨터 프로그램 제품이 컴퓨팅 디바이스에 의해 실행될 때, 컴퓨팅 디바이스는 제 1 양태에서 설명된 방법을 수행한다. 컴퓨터 프로그램 제품은 소프트웨어 설치 패키지일 수 있다. 제 1 양태의 임의의 가능한 설계에서 제공된 방법이 사용될 필요가 있을 때, 컴퓨터 프로그램 제품은 컴퓨팅 디바이스에 다운로드되고 실행되어, 제 1 양태에서 설명된 방법을 구현할 수 있다.
제 15 양태에 따르면, 본 발명의 실시예는 다른 컴퓨터 프로그램 제품을 제공한다. 컴퓨터 프로그램 제품은 프로그램 명령어를 포함한다. 컴퓨터 프로그램 제품이 컴퓨팅 디바이스에 의해 실행될 때, 컴퓨팅 디바이스는 제 2 양태 또는 제 3 양태의 임의의 가능한 설계에서 제공된 방법을 수행한다. 컴퓨터 프로그램 제품은 소프트웨어 설치 패키지일 수 있다. 제 2 양태 또는 제 3 양태의 임의의 가능한 설계에서 제공된 방법이 사용될 필요가 있을 때, 컴퓨터 프로그램 제품은 컴퓨팅 디바이스에 다운로드되고 실행되어, 제 2 양태 또는 제 3 양태에서 설명된 방법을 구현할 수 있다.
본 발명의 실시예에서, LM 모드의 경우, 인코더는 현재 크로마 블록의 샘플 위치에 기초하여, 현재 루마 블록에 사용되는 루마 다운샘플링 필터를 결정하고, 디코더에 대한 다운샘플링 필터의 타입을 표시 정보(예를 들어, 새로 추가된 SPS 파라미터의 값)를 통해 명시할 수 있다는 것을 알 수 있다. 이것은 두 인코더 측과 디코더 측이 모두 크로마 샘플 위치에 대응하는 필터를 획득할 수 있는 것을 보장한다. 이것은 상이한 크로마 샘플 위치가 실제로 상이한 비디오 시퀀스에 존재할 수 있는 경우를 고려하는 것이고, 그럼으로써 다운샘플링된 루마 샘플 위치와 크로마 샘플 위치 간의 일치성을 보장하고, 인코더 측의 코딩 정확도 및 코딩 효율성을 개선한다.
본 발명의 실시예 또는 배경에서 기술적 해결책을 보다 명확하게 설명하기 위해, 다음에는 본 발명의 실시예 또는 배경에서 사용되는 첨부 도면을 설명한다.
도 1a는 본 발명의 실시예를 구현하기 위한 예시적인 비디오 코딩 시스템의 블록도이다.
도 1b는 도 2의 인코더(20) 및 도 3의 디코더(30) 중 어느 하나 또는 둘을 포함하는 예시적인 비디오 코딩 시스템의 블록도이다.
도 2는 본 발명의 실시예를 구현하기 위한 인코더의 예시적인 구조의 블록도이다.
도 3은 본 발명의 실시예를 구현하기 위한 디코더의 예시적인 구조의 블록도이다.
도 4는 예시적인 인코딩 장치 또는 예시적인 디코딩 장치의 블록도이다.
도 5는 다른 예시적인 인코딩 장치 또는 다른 예시적인 디코딩 장치의 블록도이다.
도 6은 YUV 이미지의 여러 포맷의 개략도이다
도 7은 크로마 샘플 위치와 루마 샘플 위치 사이의 관계의 개략도이다.
도 8은 루마 블록, 다운샘플링된 루마 블록 및 현재 크로마 블록의 실시예를 도시한다.
도 9는 템플릿 루마 샘플 및 템플릿 크로마 샘플의 실시예를 도시한다.
도 10은 템플릿 루마 샘플 및 템플릿 크로마 샘플의 다른 실시예를 도시한다.
도 11은 일부 크로마 샘플 위치와 일부 루마 샘플 위치 사이의 관계의 예시적인 다이어그램이다.
도 12는 본 발명의 실시예에 따른 크로마 블록 예측 방법의 흐름도이다.
도 13은 본 발명의 실시예에 따른 다른 크로마 블록 예측 방법의 흐름도이다.
도 14는 루마-크로마 좌표계에서 한 세트의 샘플 값 쌍의 분포에 관한 개략도이다.
도 15는 본 발명의 실시예에 따른 또 다른 크로마 블록 예측 방법의 흐름도이다.
도 16은 콘텐츠 배포 서비스를 구현하기 위한 콘텐츠 공급 시스템의 예시적인 구조의 블록도이다.
도 17은 단말 디바이스의 예시적인 구조의 블록도이다.
다음에는 본 발명의 실시예의 첨부 도면을 참조하여 본 발명의 실시예를 설명한다. 본 발명의 구현에 사용되는 용어는 본 발명의 특정 실시예를 설명하려는 의도일뿐이지, 본 발명을 제한하려는 의도는 아니다.
비디오 코딩은 전형적으로 비디오 또는 비디오 시퀀스를 형성하는 픽처의 시퀀스를 처리하는 것을 말한다. 비디오 코딩 분야에서, "픽처(picture)", "프레임(frame)", "이미지(image)"라는 용어는 동의어로 사용될 수 있다. 본 명세서에서 사용되는 비디오 코딩은 비디오 인코딩 또는 비디오 디코딩을 말한다. 비디오 인코딩은 소스 측에서 수행되며, 일반적으로 보다 효율적인 저장 및/또는 전송을 위해, 원본 비디오 픽처를 처리(예를 들어, 압축)하여 비디오 픽처를 표현하기 위한 데이터의 양을 줄이는 것을 포함한다. 비디오 디코딩은 목적지 측에서 수행되며, 일반적으로 인코더의 처리와 비교해서 역으로 처리하여 비디오 픽처를 재구성하는 것을 포함한다. 실시예에서 비디오 픽처의 "코딩"은 비디오 시퀀스의 "인코딩" 또는 "디코딩"으로 이해되어야 한다. 인코딩 부분과 디코딩 부분의 조합은 코덱(CODEC)(encoding and decoding)이라고도 한다.
비디오 시퀀스에서 복수의 픽처 각각은 전형적으로 한 세트의 겹치지 않는 블록으로 분할되고, 코딩은 전형적으로 블록 레벨에서 수행된다. 다시 말해, 인코더 측에서, 비디오가 전형적으로 처리되고, 즉, 블록(이미지 블록 또는 비디오 블록이라고도 함) 레벨에서, 예를 들어, 공간적(인트라 픽처) 예측 및/또는 시간적(인터 픽처) 예측을 사용하여 예측 블록을 생성하고, 현재 블록(현재 처리 중인/처리될 블록)에서 예측 블록을 감산하여 잔차 블록을 획득하고, 잔차 블록을 변환하고 잔차 블록을 변환 도메인에서 양자화하여 전송될(압축될) 데이터의 양을 줄임으로써 인코딩되고, 반면에 디코더 측에서, 인코더의 처리와 비교하여 역 처리가 인코딩된 또는 압축된 블록에 적용되어 현재 블록을 재구성하여 보여준다. 또한, 인코더는 후속 블록을 처리, 즉, 코딩하기 위해 동일한 예측(예를 들어, 인트라 예측 및 인터 예측) 및/또는 재구성을 생성하도록 디코더 처리 루프를 복제한다.
"블록"이라는 용어는 픽처 또는 프레임의 일부이다. 본 명세서에서, 현재 블록은 현재 처리 중인 블록이다. 예를 들어, 인코딩 동안 현재 블록은 현재 인코딩 중인 블록이고, 디코딩 동안 현재 블록은 디코딩 중인 블록이다. 현재 처리 중인 블록이 크로마 컴포넌트 블록이면, 블록은 현재 크로마 블록으로 지칭된다. 현재 크로마 블록에 대응하는 루마 블록은 현재 루마 블록으로 지칭될 수 있다. 참조 블록은 현재 블록에 대한 참조 신호를 제공하는 블록이다. 참조 신호는 이미지 블록의 픽셀 값, 샘플 값 또는 샘플 신호를 나타낸다. 예측 블록은 현재 블록에 대한 예측 신호를 제공하는 블록이다. 예측 신호는 예측 블록의 픽셀 값, 샘플 값 또는 샘플 신호를 나타낸다. 예를 들어, 복수의 참조 블록이 가로질러 고찰된 후에, 최적의 참조 블록이 발견된다. 최적의 참조 블록은 현재 블록에 대한 예측을 제공하고, 이 블록은 예측 블록으로 지칭된다.
또한, 본 명세서에서, 샘플(또는, 펠(pel))은 샘플이라고도 지칭될 수 있다. 이에 대응하여, 샘플 값은 또한 샘플의 값(또는 샘플 값)이라고도 지칭될 수 있다. 현재 블록에 포함된 샘플이 루마 샘플이면, 현재 블록은 현재 루마 블록(또는 현재 루마 이미지 블록)으로 지칭될 수 있다. 현재 이미지 블록에 포함된 샘플이 크로마 샘플이면, 현재 이미지 블록은 현재 크로마 블록(또는 현재 크로마 이미지 블록)으로 지칭될 수 있다.
다음에는 본 발명의 실시예가 적용되는 시스템 아키텍처를 설명한다. 도 1a는 본 발명의 실시예에서 설명된 예시적인 비디오 코딩 시스템(10)의 블록도이다. 본 명세서에서 사용되는 것으로, "비디오 코덱"이라는 용어는 일반적으로 비디오 인코더 및 비디오 디코더 둘 모두를 지칭한다. 본 명세서에서, "비디오 코딩" 또는 "코딩"이라는 용어는 일반적으로 비디오 인코딩 또는 비디오 디코딩을 지칭할 수 있다. 도 1a에 도시된 바와 같이, 비디오 코딩 시스템(10)은 소스 디바이스(12) 및 목적지 디바이스(14)를 포함할 수 있다. 소스 디바이스(12)는 인코딩된 비디오 데이터를 생성하기 때문에, 소스 디바이스(12)는 비디오 인코딩 디바이스로 지칭될 수 있다. 목적지 디바이스(14)는 소스 디바이스(12)에 의해 생성된 인코딩된 비디오 데이터를 디코딩할 수 있고, 그러므로 목적지 디바이스(14)는 비디오 디코딩 장치로 지칭될 수 있다. 소스 디바이스(12), 목적지 디바이스(14), 또는 소스 디바이스(12)나 목적지 디바이스(14)의 다양한 구현 해결책은 하나 이상의 프로세서 및 하나 이상의 프로세서에 결합된 메모리를 포함할 수 있다. 본 명세서에서 설명되는 바와 같이, 메모리는 이것으로 제한되는 것은 아니지만, RAM, ROM, EEPROM, 플래시 메모리, 또는 원하는 프로그램 코드를 컴퓨터에 의해 액세스 가능한 명령어 또는 데이터 구조의 형태로 저장하는데 사용될 수 있는 임의의 다른 매체를 포함할 수 있다. 소스 디바이스(12) 및 목적지 디바이스(14)는 데스크톱 컴퓨터, 이동 컴퓨팅 장치, 노트북(예를 들어, 랩톱) 컴퓨터, 태블릿 컴퓨터, 셋톱 박스, "스마트폰"과 같은 휴대용 전화 세트, 텔레비전 세트, 카메라, 디스플레이 장치, 디지털 미디어 플레이어, 비디오 게임 콘솔, 차량 내 컴퓨터 및 유사한 장치를 비롯한 다양한 장치를 포함할 수 있다.
소스 디바이스(12)와 목적지 디바이스(14) 간의 통신 연결은 링크(13)를 통해 구현될 수 있고, 목적지 디바이스(14)는 링크(13)를 통해 소스 디바이스(12)로부터 인코딩된 비디오 데이터를 수신할 수 있다. 링크(13)는 소스 디바이스(12)로부터 인코딩된 비디오 데이터를 목적지 디바이스(14)로 이동할 수 있는 하나 이상의 매체 또는 장치를 포함할 수 있다. 예에서, 링크(13)는 소스 디바이스(12)가 인코딩된 비디오 데이터를 목적지 디바이스(14)에 실시간으로 직접 전송할 수 있게 하는 하나 이상의 통신 매체를 포함할 수 있다. 이 예에서, 소스 디바이스(12)는 통신 표준(예를 들어, 무선 통신 프로토콜)에 따라 인코딩된 비디오 데이터를 변조할 수 있고, 변조된 비디오 데이터를 목적지 디바이스(14)에 전송할 수 있다. 하나 이상의 통신 매체는 무선 통신 매체 및/또는 유선 통신 매체, 예를 들어, 라디오 주파수(radio frequency)(RF) 스펙트럼 또는 하나 이상의 물리적 전송 라인을 포함할 수 있다. 하나 이상의 통신 매체는 패킷 기반 네트워크의 일부를 구성할 수 있고, 패킷 기반 네트워크는 예를 들어, 근거리 네트워크, 광역 네트워크 또는 글로벌 네트워크(예를 들어, 인터넷)이다. 하나 이상의 통신 매체는 라우터, 스위치, 기지국, 또는 소스 디바이스(12)로부터 목적지 디바이스(14)로의 통신을 용이하게 하는 다른 디바이스를 포함할 수 있다.
소스 디바이스(12)는 인코더(20)를 포함하고, 선택적으로, 소스 디바이스(12)는 픽처 소스(16), 픽처 전처리기(pre-processor)(18) 및 통신 인터페이스(22)를 더 포함할 수 있다. 특정 구현 형태에서, 인코더(20), 픽처 소스(16), 픽처 전처리기(18) 및 통신 인터페이스(22)는 소스 디바이스(12)의 하드웨어 컴포넌트일 수 있거나 또는 소스 디바이스(12)상의 소프트웨어 프로그램일 수 있다. 별도의 설명은 다음과 같다.
픽처 소스(16)는 예를 들어, 실세계의 픽처를 캡처하도록 구성된 임의의 유형의 픽처 캡처 디바이스; 및/또는 픽처 또는 코멘트(comment)(스크린 콘텐츠 인코딩의 경우, 스크린상의 일부 텍스트는 또한 인코딩될 픽처 또는 이미지의 일부로 간주됨)를 생성하기 위한 임의의 유형의 디바이스, 예를 들어, 컴퓨터 애니메이션 픽처를 생성하도록 구성된 컴퓨터 그래픽 프로세서; 또는 실세계 픽처 또는 컴퓨터 애니메이션 픽처(예를 들어, 스크린 콘텐츠 또는 가상 현실(virtual reality, VR) 픽처); 및/또는 이들의 임의의 조합(예를 들어, 증강 현실(augmented reality, AR) 픽처)를 획득 및/또는 제공하도록 구성된 임의의 유형의 디바이스일 수 있거나 이를 포함할 수 있다. 픽처 소스(16)는 픽처를 캡처하도록 구성된 카메라 또는 픽처를 저장하도록 구성된 메모리일 수 있다. 픽처 소스(16)는 이전에 캡처 또는 생성된 픽처를 저장하기 위한 및/또는 픽처를 획득 또는 수신하기 위한 임의의 유형의 (내부 또는 외부) 인터페이스를 더 포함할 수 있다. 픽처 소스(16)가 카메라일 때, 픽처 소스(16)는 예를 들어, 로컬 카메라 또는 소스 디바이스에 통합된 통합 카메라일 수 있다. 픽처 소스(16)가 메모리일 때, 픽처 소스(16)는 예를 들어, 로컬 메모리 또는 소스 디바이스에 통합된 통합 메모리일 수 있다. 픽처 소스(16)가 인터페이스를 포함할 때, 인터페이스는 예를 들어, 외부 비디오 소스로부터 픽처를 수신하기 위한 외부 인터페이스일 수 있다. 외부 비디오 소스는 예를 들어, 카메라, 외부 메모리 또는 외부 사진 생성 디바이스와 같은 외부 픽처 캡처 디바이스이다. 외부 픽처 생성 디바이스는 예를 들어, 외부 컴퓨터 그래픽 프로세서, 컴퓨터 또는 서버이다. 인터페이스는 임의의 독점적 또는 표준화된 인터페이스 프로토콜에 따른 임의의 유형의 인터페이스, 예를 들어, 유선 또는 무선 인터페이스 또는 광학 인터페이스일 수 있다.
픽처는 루마 값을 가진 샘플의 2 차원 어레이 또는 매트릭스로 간주될 수 있다. 어레이 내 샘플은 샘플(sample)(픽처 요소(picture element)의 줄인 형태) 또는 펠(pel))이라고도 지칭될 수 있다. 어레이 또는 픽처의 수평 및 수직 방향(또는 축)에 있는 샘플의 수량은 픽처의 사이즈 및/또는 해상도를 정의한다. 컬러를 표현하기 위해, 전형적으로 3 개의 컬러 컴포넌트가 사용된다. 예를 들어, 픽처는 3 개의 샘플 어레이로서 표현되거나 이를 포함할 수 있다. RBG 포맷 또는 컬러 공간에서, 픽처는 대응하는 적색, 녹색 및 청색 샘플 어레이를 포함한다. 그러나 비디오 코딩에서, 각각의 샘플은 전형적으로 루미넌스/크로미넌스 포맷 또는 컬러 공간으로 표시된다. 예를 들어, YUV 포맷의 픽처는 Y(때로는 L이 대신 사용됨)로 표시되는 루미넌스 컴포넌트 및 U 및 V로 표시되는 2 개의 크로미넌스 컴포넌트를 포함한다. 루미넌스(루마로 약칭) 컴포넌트 Y는 밝기(brightness) 또는 그레이 레벨 강도(gray level intensity)(예를 들어, 둘은 그레이-스케일 픽처에서는 동일한 것임)내고, 2 개의 크로미넌스(크로마로 약칭) 컴포넌트 U 및 V는 색도(chromaticity) 또는 컬러 정보 컴포넌트를 나타낸다. 따라서, YUV 포맷의 픽처는 루마 샘플 값(Y)의 루마 샘플 어레이와 크로마 값(U 및 V)의 두 크로마 샘플 어레이를 포함한다. RGB 포맷의 픽처는 YUV 포맷의 픽처로 변환(converted) 또는 변형(transformed)될 수 있고 그 반대의 경우도 가능할 수 있으며, 그 프로세스는 컬러 변형 또는 변환이라고도 알려져 있다. 픽처가 단색이라면, 픽처는 루마 샘플 어레이 만 포함할 수 있다. 본 발명의 본 실시예에서, 픽처 소스(16)에 의해 픽처 프로세서로 전송된 픽처는 또한 원시(raw) 픽처 데이터(17)로 지칭될 수 있다. 본 발명의 가능한 실시예에서, 픽처 소스(16)는 또한 현재 비디오 시퀀스에서 각 픽처의 크로마 샘플 위치를 결정하도록 구성될 수 있다.
픽처 전처리기(18)는 원시 픽처 데이터(17)를 수신하고 원시 픽처 데이터(17)를 전처리하여 전처리된 픽처(19) 또는 전처리된 픽처 데이터(19)를 획득하도록 구성된다. 예를 들어, 픽처 전처리기(18)에 의해 수행되는 전처리는 트리밍, 컬러 포맷 변환(예를 들어, RGB 포맷에서 YUV 포맷으로), 컬러 보정 또는 노이즈 제거를 포함할 수 있다. 가능한 실시예에서, 픽처 전처리기(18)는 또한 현재 비디오 시퀀스에서 크로마 샘플 위치를 결정하도록 구성될 수 있다.
인코더(20)(비디오 인코더(20)라고도 함)는 전처리된 픽처 데이터(19)를 수신하고, 관련된 예측 모드(예를 들어, 본 명세서의 본 실시예에서는 인트라 예측 모드)에서 전처리된 픽처 데이터(19)를 처리하여, 인코딩된 픽처 데이터(21)를 제공하도록 구성된다(인코더(20)의 구조적 세부 사항은 아래에서 도 2, 도 4 또는 도 5에 기초하여 추가로 설명된다). 일부 실시예에서, 인코더(20)는 아래에서 설명된 실시예를 수행하여, 본 발명에서 설명된 인코더 측에서의 크로마 블록 예측 방법의 애플리케이션을 구현하도록 구성될 수 있다.
통신 인터페이스(22)는 인코딩된 픽처 데이터(21)를 수신하고, 인코딩된 픽처 데이터(21)를 저장 또는 직접 재구성하기 위해 링크(13)를 통해 목적지 디바이스(14) 또는 임의의 다른 디바이스(예를 들어, 메모리)에 전송하도록 구성될 수 있다. 임의의 다른 디바이스는 디코딩 또는 저장에 사용되는 임의의 디바이스일 수 있다. 통신 인터페이스(22)는, 예를 들어, 인코딩된 픽처 데이터(21)를 적절한 포맷, 예를 들어, 링크(13)를 통해 전송하기 위한 데이터 패킷으로 패키징하도록 구성될 수 있다.
목적지 디바이스(14)는 디코더(30)를 포함하고, 선택적으로, 목적지 디바이스(14)는 통신 인터페이스(28), 픽처 후처리기(post-processor)(32) 및 디스플레이 디바이스(34)를 더 포함할 수 있다. 별도의 설명은 다음과 같다.
통신 인터페이스(28)는 소스 디바이스(12) 또는 임의의 다른 소스로부터 인코딩된 픽처 데이터(21)를 수신하도록 구성될 수 있다. 임의의 다른 소스는 예를 들어, 저장 디바이스이고, 저장 디바이스는 예를 들어, 인코딩된 픽처 데이터 저장 디바이스이다. 통신 인터페이스(28)는 소스 디바이스(12)와 목적지 디바이스(14) 사이의 링크(13)를 통해 또는 임의의 유형의 네트워크를 통해 인코딩된 픽처 데이터(21)를 송신 또는 수신하도록 구성될 수 있다. 링크(13)는 예를 들어, 직접적인 유선 또는 무선 연결이고, 임의의 유형의 네트워크는 예를 들어, 유선 또는 무선 네트워크 또는 이들의 임의의 조합, 또는 임의의 유형의 사설 또는 공용 네트워크, 또는 이들의 임의의 조합이다. 통신 인터페이스(28)는 예를 들어, 통신 인터페이스(22)를 통해 전송된 데이터 패킷을 패키징 해제하여, 인코딩된 픽처 데이터(21)를 획득하도록 구성될 수 있다.
통신 인터페이스(28) 및 통신 인터페이스(22)는 둘 모두 단방향 통신 인터페이스 또는 양방향 통신 인터페이스로서 구성될 수 있으며, 예를 들어, 메시지를 송신 및 수신하여 연결을 설정하고, 통신 링크 및/또는 인코딩된 픽처 데이터 전송과 같은 데이터 전송과 관련된 임의의 다른 정보를 확인응답하고 교환하도록 구성될 수 있다.
디코더(30)(비디오 디코더(30)라고도 함)는 인코딩된 픽처 데이터(21)를 수신하고 디코딩된 픽처 데이터(31) 또는 디코딩된 픽처(31)를 제공하도록 구성된다(디코더(30)의 구조적 세부 사항은 도 3, 도 4 또는 도 5에 기초하여 아래에서 추가로 설명된다). 일부 실시예에서, 디코더(30)는 아래에서 설명된 실시예를 수행하여, 본 발명에서 설명된 디코더 측에서의 크로마 블록 예측 방법의 애플리케이션을 구현하도록 구성될 수 있다.
픽처 후처리기(32)는 디코딩된 픽처 데이터(31)(재구성된 픽처 데이터라고도 함)를 후처리하여, 후처리된 픽처 데이터(33)를 획득하도록 구성된다. 픽처 후처리기(32)에 의해 수행되는 후처리는 컬러 포맷 변환(예를 들어, YUV 포맷에서 RGB 포맷으로), 컬러 보정, 트리밍, 재샘플링 또는 임의의 다른 처리를 포함할 수 있다. 픽처 후처리기(32)는 또한 후처리된 픽처 데이터(33)를 디스플레이 디바이스(34)로 전송하도록 구성될 수 있다.
디스플레이 디바이스(34)는 후처리된 픽처 데이터(33)를 수신하여, 예를 들어, 사용자 또는 시청자에게 픽처를 디스플레이하도록 구성된다. 디스플레이 디바이스(34)는 재구성된 픽처를 제시하도록 구성된 임의의 유형의 디스플레이이거나 이를 포함할 수 있으며, 예를 들어 통합된 또는 외부의 디스플레이 또는 모니터일 수 있다. 예를 들어, 디스플레이는 액정 디스플레이(liquid crystal display, LCD), 유기 발광 다이오드(organic light emitting diode, OLED) 디스플레이, 플라즈마 디스플레이, 프로젝터, 마이크로 LED 디스플레이, 액정 온 실리콘(liquid crystal on silicon, LCoS), 디지털 조명 프로세서(digital light processor, DLP) 또는 임의의 유형의 다른 디스플레이를 포함할 수 있다.
도 1a는 소스 디바이스(12) 및 목적지 디바이스(14)를 별개의 디바이스로 도시하고 있지만, 디바이스의 실시예는 소스 디바이스(12) 또는 대응하는 기능성과 목적지 디바이스(14) 또는 대응하는 기능성을 둘 모두 또는 둘 모두의 기능성을 또한 포함할 수 있다. 이러한 실시예에서, 소스 디바이스(12) 또는 대응하는 기능성 및 목적지 디바이스(14) 또는 대응하는 기능성은 동일한 하드웨어 및/또는 소프트웨어를 사용함으로써 또는 별도의 하드웨어 및/또는 소프트웨어 또는 이들의 임의의 조합을 사용함으로써 구현될 수 있다.
관련 기술분야의 통상의 기술자는 설명에 기초하여, 상이한 유닛의 기능성 또는 도 1a에 도시된 소스 디바이스(12) 및/또는 목적지 디바이스(14)의 상이한 기능성의 존재 및 (정확한) 구분은 실제 디바이스 및 애플리케이션에 따라 달라질 수 있다는 것을 알 수 있다. 소스 디바이스(12) 및 목적지 디바이스(14)는 각각 임의의 유형의 휴대 또는 고정 디바이스, 예를 들어, 노트북 또는 랩톱 컴퓨터, 이동 전화, 스마트폰, 패드 또는 태블릿 컴퓨터, 비디오 카메라, 데스크톱 컴퓨터, 셋톱 박스, 텔레비전, 카메라, 차량 탑재 디바이스, 디스플레이 디바이스, 디지털 미디어 플레이어, 비디오 게임 콘솔, 비디오 스트리밍 디바이스(이를테면 콘텐츠 서비스 서버 또는 콘텐츠 배포 서버), 방송 수신기 디바이스 또는 방송 송신기 디바이스를 비롯한 광범위한 디바이스 중 어느 하나일 수 있으며, 임의의 유형의 오퍼레이팅 시스템을 사용하지 않을 수 있거나 사용할 수 있다.
인코더(20) 및 디코더(30)는 각각 임의의 다양한 적절한 회로, 예를 들어, 하나 이상의 마이크로프로세서, 디지털 신호 프로세서(digital signal processor, DSP), 주문형 집적 회로(application-specific integrated circuit, ASIC), 필드 프로그램 가능 게이트 어레이(field-programmable gate array, FPGA), 이산 로직, 하드웨어 또는 이들의 임의의 조합으로서 구현될 수 있다. 기술이 소프트웨어를 사용하여 부분적으로 구현되면, 디바이스는 적절한 비일시적 컴퓨터 판독 가능 저장 매체에 소프트웨어 명령어를 저장하고, 하나 이상의 프로세서와 같은 하드웨어를 사용하여 명령어를 실행하여, 본 개시내용의 기술을 수행할 수 있다. (하드웨어, 소프트웨어, 하드웨어와 소프트웨어의 조합 등을 비롯한) 전술한 것 중 어느 것이라도 하나 이상의 프로세서로 간주될 수 있다.
일부 경우에, 도 1a에 도시된 비디오 코딩 시스템(10)은 단지 예일 뿐이며 본 출원의 기술은 인코딩 디바이스와 디코딩 디바이스 간의 임의의 데이터 통신을 반드시 포함하는 것이 아닌 비디오 코딩 설정(예를 들어, 비디오 인코딩 또는 비디오 디코딩)에 적용할 수 있다. 다른 예에서, 데이터는 로컬 메모리로부터 검색되거나, 네트워크 등을 통해 스트리밍될 수 있다. 비디오 인코딩 디바이스는 데이터를 인코딩하고 인코딩된 데이터를 메모리에 저장할 수 있고, 및/또는 비디오 디코딩 디바이스는 메모리로부터 데이터를 검색하고 데이터를 디코딩할 수 있다. 일부 예에서, 인코딩 및 디코딩은 서로 통신하지 않고, 단순히 데이터를 메모리에 인코딩하고 및/또는 메모리로부터 데이터를 검색하고 데이터를 디코딩하는 디바이스에 의해 수행된다.
도 1b는 예시적인 실시예에 따른 도 2의 인코더(20) 및/또는 도 3의 디코더(30)를 포함하는 비디오 코딩 시스템(40)의 예의 예시적인 다이어그램이다. 비디오 코딩 시스템(40)은 본 발명의 실시예의 다양한 기술의 조합을 구현할 수 있다. 예시된 구현에서, 비디오 코딩 시스템(40)은 이미징 디바이스(41), 인코더(20), 디코더(30)(및/또는 프로세싱 유닛(46)의 로직 회로(47)에 의해 구현된 비디오 인코더/디코더), 안테나(42), 하나 이상의 프로세서(43), 하나 이상의 메모리(44) 및/또는 디스플레이 디바이스(45)를 포함할 수 있다.
도 1b에 도시된 바와 같이, 이미징 디바이스(41), 안테나(42), 프로세싱 유닛(46), 로직 회로(47), 인코더(20), 디코더(30), 프로세서(43), 메모리(44) 및/또는 디스플레이 디바이스(45)는 서로 통신할 수 있다. 설명된 바와 같이, 비디오 코딩 시스템(40)은 인코더(20) 및 디코더(30)를 사용하여 예시되지만, 상이한 예에서 비디오 코딩 시스템(40)은 인코더(20) 만을 포함하거나 디코더(30) 만을 포함할 수 있다.
일부 예에서, 안테나(42)는 비디오 데이터의 인코딩된 비트스트림을 송신 또는 수신하도록 구성될 수 있다. 또한, 일부 예에서, 디스플레이 디바이스(45)는 비디오 데이터를 제시하도록 구성될 수 있다. 일부 예에서, 로직 회로(47)는 프로세싱 유닛(46)에 의해 구현될 수 있다. 프로세싱 유닛(46)은 주문형 집적 회로(application-specific integrated circuit, ASIC) 로직, 그래픽 프로세서, 범용 프로세서 등을 포함할 수 있다. 비디오 코딩 시스템(40)은 또한 선택적 프로세서(43)를 포함할 수 있다. 선택적 프로세서(43)는 마찬가지로 주문형 집적 회로(application-specific integrated circuit, ASIC) 로직, 그래픽 프로세서, 범용 프로세서 등을 포함할 수 있다. 일부 예에서, 로직 회로(47)는 하드웨어, 예를 들어, 비디오 코딩 전용 하드웨어에 의해 구현될 수 있고, 프로세서(43)는 범용 소프트웨어, 오퍼레이팅 시스템 등에 의해 구현될 수 있다. 또한, 메모리(44)는 임의의 유형의 메모리, 예를 들어, 휘발성 메모리(예를 들어, 정적 랜덤 액세스 메모리(Static Random Access Memory, SRAM), 동적 랜덤 액세스 메모리(Dynamic Random Access Memory, DRAM)) 또는 비 휘발성 메모리(예를 들어, 플래시 메모리)일 수 있다. 비제한적인 예에서, 메모리(44)는 캐시 메모리에 의해 구현될 수 있다. 일부 예에서, 로직 회로(47)는 (예를 들어, 이미지 버퍼의 구현을 위한) 메모리(44)에 액세스할 수 있다. 다른 예에서, 로직 회로(47) 및/또는 프로세싱 유닛(46)은 이미지 버퍼 등의 구현을 위한 메모리(예를 들어, 캐시)를 포함할 수 있다.
일부 예에서, 로직 회로에 의해 구현되는 인코더(20)는 (예를 들어, 프로세싱 유닛(46) 또는 메모리(44)에 의해 구현되는) 이미지 버퍼 및 (예를 들어, 프로세싱 유닛(46)에 의해 구현되는) 그래픽 프로세싱 유닛을 포함할 수 있다. 그래픽 프로세싱 유닛은 이미지 버퍼에 통신 가능하게 결합될 수 있다. 그래픽 프로세싱 유닛은 로직 회로(47)에 의해 구현되어, 도 2를 참조하여 설명된 다양한 모듈 및/또는 본 명세서에 설명된 임의의 다른 인코더 시스템 또는 서브시스템을 구현하는 인코더(20)를 포함할 수 있다. 로직 회로는 본 명세서에서 설명되는 다양한 동작을 수행하도록 구성될 수 있다.
일부 예에서, 디코더(30)는 유사한 방식으로 로직 회로(47)에 의해 구현되어, 도 3의 디코더(30)를 참조하여 설명되는 다양한 모듈 및/또는 본 명세서에서 설명된 임의의 다른 디코더 시스템 또는 서브시스템을 구현할 수 있다. 일부 예에서, 로직 회로에 의해 구현되는 디코더(30)는 (예를 들어, 프로세싱 유닛(46) 또는 메모리(44)에 의해 구현되는) 이미지 버퍼 및 (예를 들어, 프로세싱 유닛(46)에 의해 구현되는) 그래픽 프로세싱 유닛을 포함할 수 있다. 그래픽 프로세싱 유닛은 이미지 버퍼에 통신 가능하게 결합될 수 있다. 그래픽 프로세싱 유닛은 로직 회로(47)에 의해 구현되어, 도 3를 참조하여 설명된 다양한 모듈 및/또는 본 명세서에 설명된 임의의 다른 디코더 시스템 또는 서브시스템을 구현하는 디코더(30)를 포함할 수 있다.
일부 예에서, 안테나(42)는 비디오 데이터의 인코딩된 비트스트림을 수신하도록 구성될 수 있다. 설명된 바와 같이, 인코딩된 비트스트림은 본 명세서에서 설명되는 비디오 프레임 코딩과 관련된 데이터, 표시자, 인덱스 값, 모드 선택 데이터 등, 예를 들어, 코딩 파티셔닝과 관련된 데이터(예를 들어, (설명한 바와 같은) 변환 계수 또는 양자화된 변환 계수, 선택적 표시자 및/또는 코딩 파티셔닝을 정의하는 데이터)를 포함할 수 있다. 비디오 코딩 시스템(40)은 안테나(42)에 결합되고 인코딩된 비트스트림을 디코딩하도록 구성된 디코더(30)를 더 포함할 수 있다. 디스플레이 디바이스(45)는 비디오 프레임을 제시하도록 구성된다.
본 발명의 본 실시예에서, 인코더(20)를 참조하여 설명된 예의 경우, 디코더(30)는 역 프로세스를 수행하도록 구성될 수 있다는 것을 이해해야 한다. 시그널링 신택스 요소와 관련하여, 디코더(30)는 그러한 신택스 요소를 수신 및 파싱하고 이에 대응하여 관련된 비디오 데이터를 디코딩하도록 구성될 수 있다. 일부 예에서, 인코더(20)는 신택스 요소를 인코딩된 비디오 비트스트림으로 엔트로피 인코딩할 수 있다. 그러한 예에서, 디코더(30)는 그러한 신택스 요소를 파싱하고 이에 대응하여 관련된 비디오 데이터를 디코딩할 수 있다.
본 발명의 실시예에서 설명된 크로마 블록 예측 방법은 주로 인트라 예측 프로세스에서 사용되고, 프로세스는 인코더(20) 및 디코더(30) 둘 모두에 존재한다는 점에 유의해야 한다. 본 발명의 실시예에서 인코더(20)/디코더(30)는 H.263, H.264, HEVC, MPEG-2, MPEG-4, VP8, VP9, 또는 (H.266과 같은) 차세대 비디오 표준 프로토콜과 같은 비디오 표준 프로토콜에 대응하는 인코더/디코더일 수 있다.
도 2는 본 발명의 실시예를 구현하도록 구현된 예시적인 인코더(20)의 개략적/개념적 블록도이다. 도 2의 예에서, 인코더(20)는 잔차 계산 유닛(204), 변환 프로세싱 유닛(206), 양자화 유닛(208), 역 양자화 유닛(210), 역 변환 프로세싱 유닛(212), 재구성 유닛(214), 버퍼(216), 루프 필터 유닛(220), 디코딩된 픽처 버퍼(decoded picture buffer, DPB)(230), 예측 프로세싱 유닛(260) 및 엔트로피 인코딩 유닛(270)을 포함한다. 예측 프로세싱 유닛(260)은 인터 예측 유닛(244), 인트라 예측 유닛(254) 및 모드 선택 유닛(262)을 포함할 수 있다. 인터 예측 유닛(244)은 움직임 추정 유닛 및 움직임 보상 유닛(도시되지 않음)을 포함할 수 있다. 도 2에 도시된 인코더(20)는 또한 하이브리드 비디오 인코더 또는 하이브리드 비디오 코덱에 기초한 비디오 인코더로도 지칭될 수 있다.
예를 들어, 잔차 계산 유닛(204), 변환 프로세싱 유닛(206), 양자화 유닛(208), 예측 프로세싱 유닛(260) 및 엔트로피 인코딩 유닛(270)은 인코더(20)의 순방향 신호 경로를 형성하는 반면, 예를 들어 역양자화 유닛(210), 역변환 프로세싱 유닛(212), 재구성 유닛(214), 버퍼(216), 루프 필터(220), 디코딩된 픽처 버퍼(decoded picture buffer, DPB)(230) 및 예측 프로세싱 유닛(260)은 인코더의 역방향 신호 경로를 형성한다. 인코더의 역방향 신호 경로는 디코더(도 3의 디코더(30)를 참조함)의 신호 경로에 대응한다.
인코더(20)는 예를 들어, 입력(202)을 통해, 픽처(201) 또는 픽처(201)의 이미지 블록(203), 예를 들어, 비디오 또는 비디오 시퀀스를 형성하는 픽처의 시퀀스 내의 픽처를 수신한다. 이미지 블록(203)은 또한 현재 픽처 블록 또는 인코딩될 픽처 블록으로 지칭될 수 있다. 픽처(201)는 현재 픽처 또는 인코딩될 픽처로 지칭될 수 있다(특히 비디오 코딩에서, 현재 픽처를 다른 픽처와 구별하기 위해, 다른 픽처는 예를 들어, 동일한 비디오 시퀀스에서, 즉 현재 픽처를 또한 포함하는 비디오 시퀀스에서 이전에 인코딩된 및/또는 디코딩된 픽처이다).
인코더(20)의 실시예는 픽처(201)를 이미지 블록(203)과 같은 복수의 블록으로 파티션하도록 구성된 파티셔닝 유닛(도 2에 도시되지 않음)을 포함할 수 있다. 픽처(201)는 일반적으로 복수의 겹치지 않는 블록으로 파티션된다. 파티셔닝 유닛은 비디오 시퀀스의 모든 픽처에 대해 동일한 블록 사이즈 및 그 블록 사이즈를 정의하는 대응하는 그리드를 사용하거나, 픽처 또는 서브세트 또는 픽처 그룹 사이에서 블록 사이즈를 변경하고 각 픽처를 대응하는 블록으로 파티션하도록 구성될 수 있다.
예에서, 인코더(20)의 예측 프로세싱 유닛(260)은 위에서 설명된 파티셔닝 기술의 임의의 조합을 수행하도록 구성될 수 있다.
이미지 블록(203)의 사이즈가 픽처(201)의 사이즈보다 작지만, 이미지 블록(203)은 픽처(201)와 마찬가지로 루마 값(샘플 값)을 갖는 샘플의 2 차원 어레이 또는 매트릭스이기도 하거나 또는 루마 값(샘플 값)을 갖는 샘플의 2차원 어레이 또는 매트릭스로 간주될 수 있다. 다시 말해, 이미지 블록(203)은 예를 들어, 하나의 샘플 어레이(예를 들어, 단색 픽처(201)의 경우 루마 어레이), 세 개의 샘플 어레이(예를 들어, 컬러 픽처의 경우 하나의 루마 어레이 및 2 개의 크로마 어레이), 또는 적용된 컬러 포맷에 따라 임의의 다른 수량 및/또는 유형의 어레이를 포함할 수 있다. 이미지 블록(203)의 수평 및 수직 방향(또는 축)에 있는 샘플의 수량은 이미지 블록(203)의 사이즈를 정의한다.
도 2에 도시된 인코더(20)는 픽처(201)를 블록 단위로 인코딩하도록, 예를 들어, 각각의 이미지 블록(203)을 인코딩하고 예측하도록 구성된다.
잔차 계산 유닛(204)은 픽처 이미지 블록(203) 및 예측 블록(265)(예측 블록(265)에 관한 자세한 내용은 아래에서 제공됨)에 기초하여 잔차 블록(205)을 계산하도록, 예를 들어, 샘플 별로(sample by sample) 픽처 이미지 블록(203)의 샘플 값으로부터 예측 블록(265)의 샘플 값을 감산함으로써 샘플 도메인에서 잔차 블록(205)을 획득하도록 구성된다.
변환 프로세싱 유닛(206)은 변환, 예를 들어, 이산 코사인 변환(discrete cosine transform, DCT) 또는 이산 사인 변환(discrete sine transform, DST)을 잔차 블록(205)의 샘플 값에 적용하여, 변환 도메인에서 변환 계수(207)를 획득하도록 구성된다. 변환 계수(207)는 또한 변환 잔차 계수라고도 지칭될 수 있고 변환 도메인에서 잔차 블록(205)을 나타낼 수 있다.
변환 프로세싱 유닛(206)은 HEVC/H.265에 명시된 변환과 같은, DCT/DST의 정수 근사(integer approximation)를 적용하도록 구성될 수 있다. 직교 DCT 변환과 비교할 때, 이러한 정수 근사는 전형적으로 특정 팩터에 의해 스케일링된다. 정방향 변환 및 역변환을 사용함으로써 처리되는 잔차 블록의 표준(norm)을 보존하기 위해, 추가 스케일 팩터(scale factor)가 변환 프로세스의 일부로 적용된다. 스케일 팩터는 전형적으로 일부 제약 조건에 기초하여 선택된다. 예를 들어, 스케일 팩터는 시프트 연산을 위한 2의 거듭 제곱, 변환 계수의 비트 심도(bit depth), 정확도와 구현 비용 간의 트레이드오프 등이다. 특정 스케일링 팩터는, 예를 들어, 디코더 측(30)의 역변환 프로세싱 유닛(212)에 의한 역변환(및 예를 들어, 인코더 측(20)의 역변환 프로세싱 유닛(212)에 의한 대응하는 역변환)에 대해 명시되고, 이에 따라 예를 들어, 인코더 측(20)의 변환 프로세싱 유닛(206)에 의한 순방향 변환에 대한 대응하는 스케일링 팩터가 명시될 수 있다.
양자화 유닛(208)은, 예를 들어, 스칼라 양자화 또는 벡터 양자화를 적용함으로써, 변환 계수(207)를 양자화하여 양자화된 변환 계수(209)를 획득하도록 구성된다. 양자화된 변환 계수(209)는 또한 양자화된 잔차 계수(209)로도 지칭될 수 있다. 양자화 프로세스는 변환 계수(207)의 일부 또는 전부와 연관된 비트 심도를 감소시킬 수 있다. 예를 들어, n-비트 변환 계수는 양자화 동안 m-비트 변환 계수로 내림 반올림될 수 있으며, 여기서 n은 m보다 크다. 양자화 파라미터(quantization parameter, QP)를 조정함으로써 양자화 정도가 변경될 수 있다. 예를 들어, 스칼라 양자화의 경우, 더 미세하거나 거친 양자화를 달성하기 위해 상이한 스케일이 적용될 수 있다. 더 작은 양자화 스텝은 더 미세한 양자화에 대응하는 반면, 더 큰 양자화 스텝은 더 거친 양자화에 대응한다. 적절한 양자화 스텝 사이즈는 양자화 파라미터(quantization parameter, QP)에 의해 표시될 수 있다. 양자화 파라미터는 예를 들어, 미리 정의된 세트의 적절한 양자화 스텝 사이즈에 대한 인덱스일 수 있다. 예를 들어, 더 작은 양자화 파라미터는 더 미세한 양자화(더 작은 양자화 스텝 사이즈)에 대응할 수 있고 더 큰 양자화 파라미터는 더 거친 양자화(더 큰 양자화 스텝 사이즈)에 대응하거나 또는 그 반대의 경우도 가능할 수 있다. 양자화는 양자화 스텝 사이즈로 나눗셈 및 대응하는 양자화 및/또는 예를 들어 역양자화 유닛(210)에 의해 수행된 역양자화를 포함할 수 있거나, 또는 양자화 스텝 사이즈로 곱셈을 포함할 수 있다. HEVC와 같은 일부 표준에 따른 실시예에서, 양자화 파라미터는 양자화 스텝 사이즈를 결정하는데 사용될 수 있다. 일반적으로, 양자화 스텝 사이즈는 양자화 파라미터에 기초하여 나눗셈을 포함하는 방정식의 고정 소수점 근사를 사용함으로써 계산될 수 있다. 양자화 및 역양자화에 추가 스케일링 팩터가 도입되어 잔차 블록의 표준을 복원할 수 있으며, 여기서 잔차 블록의 표준은 양자화 스텝 사이즈 및 양자화 파라미터에 대한 방정식의 고정 소수점 근사에 사용된 스케일로 인해 수정될 수 있다. 예시적인 구현에서, 역변환 및 역양자화의 스케일은 결합될 수 있다. 대안적으로, 맞춤형 양자화 테이블이 사용되어, 예를 들어, 비트스트림으로 인코더로부터 디코더로 시그널링될 수 있다. 양자화는 손실이 있는 연산으로, 손실은 양자화 스텝 사이즈가 증가함에 따라 증가한다.
역양자화 유닛(210)은 양자화 해제된(dequantized) 계수(211)를 획득하기 위해 양자화된 계수에 양자화 유닛(208)의 역양자화를 적용하도록, 예를 들어, 양자화 유닛(208)과 동일한 양자화 스텝에 기초하여 또는 이를 사용하여, 양자화 유닛(208)에 의해 적용된 양자화 방식의 역양자화 방식을 적용하도록 구성된다. 양자화 해제된 계수(211)는 또한 양자화 해제된 잔차 계수(211)로도 지칭될 수 있으며, 양자화에 의한 손실로 인한 변환 계수와 전형적으로 동일하지는 않지만 변환 계수(207)에 대응할 수 있다.
역변환 프로세싱 유닛(212)은 변환 프로세싱 유닛(206)에 의해 적용된 변환의 역변환, 예를 들어, 역이산 코사인 변환(discrete cosine transform, DCT) 또는 역이산 사인 변환(discrete sine transform, DST)을 적용하여, 샘플 도메인에서 역변환 블록(213)을 획득하도록 구성된다. 역변환 블록(213)은 또한 역변환 양자화 해제된 블록(213) 또는 역변환 잔차 블록(213)으로 지칭될 수 있다.
재구성 유닛(214)(예를 들어, 합산기(214))은, 예를 들어, 재구성된 잔차 블록(213)의 샘플 값과 예측 블록(265)의 샘플 값을 더함으로써, 역변환 블록(213)(즉, 재구성된 잔차 블록(213))을 예측 블록(265)에 추가하여 샘플 도메인에서 재구성된 블록(215)을 획득하도록 구성된다.
선택적으로, 예를 들어, 라인 버퍼(216)의 버퍼 유닛(216)(줄여서 "버퍼"(216))은 예를 들어, 인트라 예측을 위해, 재구성된 블록(215) 및 대응하는 샘플 값을 버퍼링하거나 저장하도록 구성된다. 다른 실시예에서, 인코더는 임의의 유형의 추정 및/또는 예측을 위해, 예를 들어 인트라 예측을 위해, 버퍼 유닛(216)에 저장되는 필터링되지 않은 재구성된 블록 및/또는 대응하는 샘플 값을 사용하도록 구성될 수 있다.
예를 들어, 인코더(20)의 실시예는 버퍼 유닛(216)이 인트라 예측 유닛(254)에 대한 재구성된 블록(215)을 저장하기 위해 사용될 뿐만 아니라 루프 필터 유닛(220)(도 2에 도시되지 않음)에도 사용되도록 구성될 수 있고, 및/또는 예를 들어, 버퍼 유닛(216) 및 디코딩된 픽처 버퍼 유닛(230)이 하나의 버퍼를 형성하도록 구성될 수 있다. 다른 실시예에서, 디코딩된 픽처 버퍼(230)로부터의 필터링된 블록(221) 및/또는 블록 또는 샘플(블록 또는 샘플은 도 2에 도시되지 않음)은 인트라 예측 유닛(254)의 입력으로서 또는 기초로서 사용된다.
루프 필터 유닛(220)(간략히 "루프 필터"(220)라고 함)은 재구성된 블록(215)을 필터링하여 필터링된 블록(221)을 획득하고, 샘플 전환을 매끄럽게 하거나 비디오 품질을 개선하도록 구성된다. 루프 필터 유닛(220)은 예를 들어, 디블로킹 필터(de-blocking filter), 적응적 샘플 오프셋(sample-adaptive offset, SAO) 필터, 또는 양방향 필터, 적응적 루프 필터(adaptive loop filter, ALF), 선명화(sharpening) 또는 평활화(smoothing) 필터 또는 협업 필터(collaborative filter)를 비롯한 하나 이상의 루프 필터를 나타내는 것으로 의도된다. 루프 필터 유닛(220)이 도 2에서 인-루프 필터(in-loop filter)로서 도시되어 있지만, 다른 구성에서 루프 필터 유닛(220)은 포스트-루프 필터(post-loop filter)로서 구현될 수 있다. 필터링된 블록(221)은 또한 필터링된 재구성된 블록(221)으로도 지칭될 수 있다. 디코딩된 픽처 버퍼(230)는 루프 필터 유닛(220)이 재구성된 인코딩된 블록에 대해 필터링 동작을 수행한 후에 재구성된 인코딩된 블록을 저장할 수 있다.
인코더(20)의 실시예(대응하여, 루프 필터 유닛(220))는 예를 들어, 바로 또는 엔트로피 인코딩 유닛(270) 또는 임의의 다른 엔트로피 인코딩 유닛에 의해 수행된 엔트로피 인코딩 후에, 루프 필터 파라미터(이를테면, 적응적 샘플 오프셋 정보)를 출력하도록 구성되어, 예를 들어, 디코더(30)가 동일한 루프 필터 파라미터를 수신하고 동일한 루프 필터 파라미터를 디코딩에 적용할 수 있도록 할 수 있다.
디코딩된 픽처 버퍼(decoded picture buffer, DPB)(230)는 인코더(20)에 의해 비디오 데이터를 인코딩하기 위한 참조 픽처 데이터를 저장하는 참조 픽처 메모리일 수 있다. DPB(230)는 동적 랜덤 액세스 메모리(dynamic random access memory, DRAM)(동기식 DRAM(synchronous DRAM, SDRAM)), 자기 저항성 RAM(magnetoresistive RAM, MRAM) 및 저항성 RAM(resistive RAM, RRAM)을 포함함), 또는 임의의 유형의 메모리 디바이스와 같은 다양한 메모리 디바이스 중 어느 하나에 의해 형성될 수 있다. DPB(230) 및 버퍼(216)는 동일한 메모리 디바이스 또는 별도의 메모리 디바이스에 의해 제공될 수 있다. 예에서, 디코딩된 픽처 버퍼(decoded picture buffer, DPB)(230)는 필터링된 블록(221)을 저장하도록 구성된다. 디코딩된 픽처 버퍼(230)는 또한 동일한 현재 픽처 또는 상이한 픽처, 예를 들어, 이전에 재구성된 픽처의 또 다른 이전에 필터링된 블록, 예를 들어 이전에 재구성되고 필터링된 블록(221)을 저장하도록 구성될 수 있고, 예를 들어, 인터 예측을 위해 완전한 이전에 재구성된 픽처, 즉, 디코딩된 픽처(및 대응하는 참조 블록 및 샘플) 및/또는 부분적으로 재구성된 현재 픽처(및 대응하는 참조 블록 및 샘플)를 제공할 수 있다. 예에서, 재구성된 블록(215)이 인-루프 필터링 없이 재구성되면, 디코딩된 픽처 버퍼(decoded picture buffer, DPB)(230)는 재구성된 블록(215)을 저장하도록 구성된다.
블록 예측 프로세싱 유닛(260)이라고도 하는 예측 프로세싱 유닛(260)은 이미지 블록(203)(현재 픽처(201)의 현재 이미지 블록(203)) 및 재구성된 픽처 데이터, 예를 들어, 버퍼(216)로부터의 동일한(현재) 픽처의 참조 샘플 및/또는 디코딩된 픽처 버퍼(230)로부터의 하나 이상의 이전에 디코딩된 픽처의 참조 픽처 데이터(231)를 수신 또는 획득하도록 구성되고; 그러한 데이터를 예측을 위해 처리하도록, 즉, 인터 예측 블록(245) 또는 인트라 예측 블록(255)일 수 있는 예측 블록(265)을 제공하도록 구성된다.
모드 선택 유닛(262)은 예측 모드(예를 들어, 인트라 예측 모드 또는 인터 예측 모드) 및/또는 예측 블록(265)으로서 사용될 대응하는 예측 블록(245 또는 255)을 선택하여, 잔차 블록(205)을 계산하고 재구성된 블록(215)을 재구성하도록 구성될 수 있다.
모드 선택 유닛(262)의 실시예는 (예를 들어, 예측 프로세싱 유닛(260)에 의해 지원되는 예측 모드로부터) 예측 모드를 선택하도록 구성될 수 있으며, 여기서 예측 모드는 최적 매칭 또는 최소 잔차(최소 잔차는 전송 또는 저장을 위한 더 나은 압축을 의미함)를 제공하거나, 또는 최소 시그널링 오버헤드(최소 시그널링 오버헤드는 전송 또는 저장을 위한 더 나은 압축을 의미함)를 제공하거나, 또는 둘 모두를 고려하거나 균형을 유지한다. 모드 선택 유닛(262)은 레이트 왜곡 최적화(rate distortion optimization, RDO)에 기초하여 예측 모드를 결정하도록, 즉, 최소 레이트 왜곡 최적화를 제공하는 예측 모드를 선택하거나 또는 관련된 레이트 왜곡이 예측 모드 선택 기준을 적어도 만족시키는 예측 모드를 선택하도록 구성될 수 있다.
예측 프로세싱 유닛(260)은 또한, 예를 들어, 쿼드 트리(quad-tree, QT) 파티셔닝, 바이너리 트리(binary-tree, BT) 파티셔닝, 트리플 트리(triple-tree, TT) 파티셔닝, 또는 이들의 임의의 조합을 반복적으로 사용함으로써, 이미지 블록(203)을 더 작은 블록 파티션 또는 서브블록으로 파티션하고, 예를 들어, 각 블록 파티션 또는 서브블록 각각에 대해 예측을 수행하도록 구성될 수 있으며, 여기서 모드 선택은 파티션된 이미지 블록(203)의 트리 구조의 선택 및 블록 파티션 또는 서브블록 각각에 적용되는 예측 모드의 선택을 포함한다.
인터 예측 유닛(244)은 움직임 추정(motion estimation, ME) 유닛(도 2에 도시되지 않음) 및 움직임 보상(motion compensation, MC) 유닛(도 2에 도시되지 않음)을 포함할 수 있다. 움직임 추정 유닛은 픽처 이미지 블록(203)(현재 픽처(201)의 현재 픽처 이미지 블록(203)) 및 디코딩된 픽처(231), 또는 적어도 하나 이상의 이전에 재구성된 블록, 예를 들어, 재구성된 블록 또는 예를 들어 움직임 추정을 위해 하나 이상의 다른/상이한 이전에 디코딩된 픽처(231)의 재구성된 블록을 수신 또는 획득하도록 구성된다. 예를 들어, 비디오 시퀀스는 현재 픽처 및 이전에 디코딩된 픽처(31)를 포함할 수 있다. 다시 말해, 현재 픽처 및 이전에 디코딩된 픽처(31)는 비디오 시퀀스를 형성하는 픽처의 시퀀스의 일부이거나 픽처의 시퀀스를 형성할 수 있다.
예를 들어, 인코더(20)는 동일한 픽처 또는 복수의 다른 픽처의 상이한 픽처의 복수의 참조 블록으로부터 참조 블록을 선택하고, 참조 픽처를 움직임 추정 유닛(도 2에 도시되지 않음)에 제공하도록 및/또는 참조 블록의 위치(X 및 Y 좌표)와 현재 블록의 위치 사이의 오프셋(공간 오프셋)을 인터 예측 파라미터로서 제공하도록 구성될 수 있다. 이러한 오프셋은 모션 벡터(motion vector, MV)라고도 한다.
움직임 보상 유닛은 인터 예측 파라미터를 획득하고, 인터 예측 파라미터에 기초하여 또는 인터 예측 파라미터를 사용하여 인터 예측을 수행하여, 인터 예측 블록(245)을 획득하도록 구성된다. 움직임 보상 유닛(도 2에 도시되지 않음)에 의해 수행되는 움직임 보상은 움직임 추정을 통해 결정된 움직임/블록 벡터에 기초하여 예측 블록을 페치 또는 생성하는 것(가능하게는 서브샘플 정밀도를 위해 보간을 수행하는 것)을 포함할 수 있다. 보간 필터링은 알려진 픽셀 샘플로부터 추가 픽셀 샘플을 생성할 수 있으며, 이로 인해 픽처 블록을 코딩하는데 사용될 수 있는 후보 예측 블록의 수량을 잠재적으로 증가시킬 수 있다. 움직임 보상 유닛(246)은, 현재 픽처 블록의 PU에 대한 움직임 벡터를 수신하면, 하나의 참조 픽처 리스트에서 움직임 벡터가 가리키는 예측 블록을 찾을 수 있다. 움직임 보상 유닛(246)은 또한 디코더(30)에 의해 비디오 슬라이스의 픽처 블록을 디코딩하기 위해, 블록 및 비디오 슬라이스와 연관된 신택스 요소를 생성할 수 있다.
인트라 예측 유닛(254)은 인트라 추정을 위해, 동일한 픽처의 픽처 이미지 블록(203)(현재 픽처 블록) 및 하나 이상의 이전에 재구성된 블록, 예를 들어, 재구성된 인접 블록을 획득하도록 구성된다. 예를 들어, 인코더(20)는 복수의 인트라 예측 모드로부터 인트라 예측 모드(예를 들어, LM 예측 모드)를 선택하도록 구성될 수 있다.
예를 들어, 비디오 시퀀스에서 이미지의 크로마 컴포넌트에 대해, H.265에서는 이미지의 크로마 컴포넌트에 대해 5 개의 인트라 예측 모드: 평면 모드, 수직 모드, 수평 모드, DC 모드 및 도출 모드(derived mode)(DM)가 있을 수 있다. 차세대 비디오 코딩 표준(예를 들어, H.266)에서, 이미지의 크로마 컴포넌트에 대한 인트라 예측 모드는 크로스 컴포넌트 예측(Cross component predict, CCP) 모드를 더 포함하며, 여기서 크로스 컴포넌트 예측(Cross component predict, CCP) 모드는 또한 크로스 컴포넌트 인트라 예측 모드(Cross component intra predict, CCIP) 또는 크로스 컴포넌트 선형 모드(cross component linear mode)(CCLM) 예측 모드라고도 한다. CCLM 예측 모드는 또한 간략히 선형 모델 모드(linear model mode, 줄여서 LM 모드)라고도 한다. LM 모드는 루마와 크로마 간의 텍스처 상관 관계를 이용하는 크로마 인트라 예측 방법이다.
다른 예를 들면, 비디오 시퀀스에서 이미지의 루마 컴포넌트에 대해, H.265에서는 루마 컴포넌트에 대해 총 35 개의 인트라 예측 모드가 있으며, 여기서 35 개의 인트라 예측 모드는 33 개의 방향성 예측 모드(directional prediction mode), 하나의 DC 예측 모드 및 하나의 평면 예측 모드를 포함한다. 방향성 예측 모드는 (인트라 모드 인덱스 플래그(intra mode index flag)를 사용하여) 특정 방향으로, 참조 샘플을 현재 블록 내 샘플 위치에 매핑하여 현재 샘플의 예측 값을 획득하는 것, 또는 (인트라 모드 인덱스 플래그 사용하여) 특정 방향으로, 현재 블록 내 각 샘플의 위치를 참조 샘플에 역매핑하는 것을 말하며, 여기서 대응하는 참조 샘플의 샘플 값은 현재 샘플의 예측 값이다. 방향성 예측 모드와 달리, DC 예측 모드는 참조 샘플의 평균을 현재 블록 내 샘플의 예측 값으로서 사용하고, 평면 모드는 현재 샘플의 상단과 좌측에 있는 참조 샘플의 샘플 값 및 현재 블록의 우측 상단과 좌측 하단에 있는 참조 샘플의 샘플 값을 사용하여 현재 샘플의 예측 값을 공동으로 도출한다.
인트라 예측 유닛(254)은 또한 예를 들어 선택된 인트라 예측 모드의 인트라 예측 파라미터에 기초하여 인트라 예측 블록(255)을 결정하도록 구성된다. 어쨌든, 블록에 대한 인트라 예측 모드를 선택한 후에, 인트라 예측 유닛(254)은 또한 인트라 예측 파라미터, 즉, 블록에 대해 선택된 인트라 예측 모드를 표시하는 정보를 엔트로피 인코딩 유닛(270)에 제공하도록 구성된다.
본 발명의 본 실시예에서, 인트라 예측 유닛(254)은 필터 세트를 더 포함할 수 있다. 필터 세트는 복수의 필터 타입을 포함하고, 상이한 필터 타입은 각각 상이한 루마 블록 다운샘플링 알고리즘을 나타내며, 각각의 필터 타입은 하나의 크로마 샘플 위치에 대응한다. 인트라 예측 유닛(254)은 또한, 현재 비디오 시퀀스의 크로마 샘플 위치를 결정하고; 크로마 샘플 위치에 기초하여, 현재 인코딩에 사용되는 필터 타입을 결정하고; 필터 타입에 기초하여 표시 정보를 생성하도록 구성된다. 표시 정보는 현재 비디오 시퀀스의 인코딩 또는 디코딩 동안(예를 들어, 픽처(201) 또는 이미지 블록(203)의 인코딩 또는 재구성 동안) LM 예측 모드에서 루마 이미지의 다운샘플링 프로세스에서 사용되는 필터 타입을 표시하는데 사용된다. 인트라 예측 유닛(254)은 또한 필터 타입의 표시 정보를 엔트로피 인코딩 유닛(270)에 제공하도록 구성된다.
구체적으로, 인트라 예측 유닛(254)은 신택스 요소를 엔트로피 인코딩 유닛(270)로 전송할 수 있으며, 여기서 신택스 요소는 인트라 예측 파라미터(예를 들어, 복수의 인트라 예측 모드가 가로질러 고찰된 후에 현재 블록에 대한 예측을 위해 선택된 인트라 예측 모드, 예를 들어 LM 모드의 표시 정보) 및 필터 타입의 표시 정보를 포함한다. 가능한 애플리케이션 시나리오에서, 인트라 예측 모드가 하나뿐이면, 즉, LM 예측 모드 만 있으면, 인트라 예측 파라미터는 신택스 요소에서 반송되지 않을 수 있다. 이 경우, 디코더 측(30)은 디코딩을 위해 LM 예측 모드를 디폴트로 직접 사용할 수 있다. 예에서, 인트라 예측 유닛(254)은 다음의 인터 예측 기술의 임의의 조합을 수행하도록 구성될 수 있다.
엔트로피 인코딩 유닛(270)은 엔트로피 인코딩 알고리즘 또는 방식(예를 들어, 가변 길이 코딩(variable length coding, VLC) 방식, 컨텍스트 적응 VLC(context adaptive VLC, CAVLC) 방식, 산술 코딩 방식, 컨텍스트 적응 이진 산술 코딩(context adaptive binary arithmetic coding, CABAC), 신택스 기반 컨텍스트 적응 이진 산술 코딩(syntax-based context-adaptive binary arithmetic coding, SBAC), 확률 간격 파티셔닝 엔트로피(probability interval partitioning entropy, PIPE) 코딩, 또는 다른 엔트로피 코딩 방법론 또는 기술)을 다음 중 하나 또는 전부: 양자화된 계수(209), 인터 예측 파라미터, 인트라 예측 파라미터 및/또는 루프 필터 파라미터에 적용(또는 우회)하여, 출력(272)을 통해 예를 들어, 인코딩된 비트스트림의 형태로 출력될 수 있는 인코딩된 픽처 데이터(21)를 획득하도록 구성된다. 인코딩된 비트스트림은 디코더(30)에 전송되거나, 디코더(30)에 의한 향후 전송 또는 검색을 위해 보관될 수 있다. 엔트로피 인코딩 유닛(270)은 또한 인코딩되고 있는 현재 비디오 슬라이스에 대한 다른 신택스 요소를 엔트로피 인코딩하도록 구성될 수 있다.
비디오 스트림을 인코딩하기 위해 인코더(20)의 다른 구조적인 변형이 구성될 수 있다. 예를 들어, 비 변환 기반 인코더(non-transform based encoder)(20)가 일부 블록 또는 프레임에 대해 변환 프로세싱 유닛(206) 없이 잔차 신호를 직접 양자화할 수 있다. 다른 구현에서, 인코더(20)는 단일 유닛으로 조합된 양자화 유닛(208) 및 역양자화 유닛(210)을 가질 수 있다.
구체적으로, 본 발명의 실시예에서, 인코더(20)는 크로마 블록의 샘플 위치 타입에 기초하여 필터 타입의 값을 설정하고; 그 값에 기초하여, 필터 타입을 표시하는데 사용되는 제 1 표시 정보를 생성 - 필터 타입은 필터 세트 내 필터에 대응함 - 하고; 제 1 표시 정보를 신택스 요소에 정보로서 비트스트림으로 인코딩하도록 구성될 수 있으며, 여기서, 제 1 표시 정보는 인코딩된 픽처 데이터(21)에서 반송된다.
본 발명의 실시예에서, 인코더(20)는 또한, 복수의 인트라 예측 모드로부터 LM 모드를 선택하고 제 2 표시 정보를 생성 - 제 2 표시 정보는 선형 모델 모드를 표시하기 위해 사용됨 - 하고; 제 2 표시 정보를 신택스 요소에 정보로서 비트스트림으로 인코딩하도록 구성될 수 있으며, 여기서, 제 2 표시 정보는 인코딩된 픽처 데이터(21)에서 반송된다.
본 발명의 실시예에서, 예측 블록을 구성하는 동안, 인코더(20)는 또한, LM 모드에서, 제 1 표시 정보에 기초하여, 필터 세트 내에 있고 필터 타입에 대응하는 필터를 결정하고; 필터를 사용함으로써 제 1 루마 블록을 다운샘플링하여 제 2 루마 블록을 획득 - 제 1 루마 블록은 현재 크로마 블록에 대응하는 루마 블록임 - 하고; 템플릿 크로마 샘플 및 템플릿 루마 샘플을 획득 - 템플릿 크로마 샘플은 현재 크로마 블록의 복수의 인접한 크로마 샘플을 포함하고, 템플릿 루마 샘플은 제 1 루마 블록의 복수의 인접한 루마 샘플을 다운샘플링함으로써 획득됨 - 하고; 템플릿 크로마 샘플 및 템플릿 루마 샘플에 기초하여 선형 모델 계수를 획득하고; 제 2 루마 블록 및 선형 모델 계수에 기초하여 현재 크로마 블록의 예측 값을 획득하도록 구성될 수 있다.
도 3은 본 발명의 실시예를 구현하도록 구성된 예시적인 디코더(30)의 개략적/개념적 블록도이다. 디코더(30)는, 예를 들어, 인코더(20)에 의한 인코딩을 통해 획득된 인코딩된 픽처 데이터(21)를 수신하여, 디코딩된 픽처(231)를 획득하도록 구성된다. 디코딩 동안, 디코더(30)는 인코더(20)로부터 비디오 데이터, 예를 들어, 인코딩된 비디오 슬라이스의 픽처 블록 및 연관된 신택스 요소를 나타내는 인코딩된 비디오 비트스트림을 수신한다.
도 3의 예에서, 디코더(30)는 엔트로피 디코딩 유닛(304), 역양자화 유닛(310), 역변환 프로세싱 유닛(312), 재구성 유닛(314)(예를 들어, 합산기(314)), 버퍼(316), 루프 필터(320), 디코딩된 픽처 버퍼(330) 및 예측 프로세싱 유닛(360)을 포함한다. 예측 프로세싱 유닛(360)은 인터 예측 유닛(344), 인트라 예측 유닛(354) 및 모드 선택 유닛(362)을 포함할 수 있다. 일부 예에서, 디코더(30)는 도 2의 인코더(20)를 참조하여 설명된 인코딩 프로세스와 대략 역으로 된 디코딩 프로세스를 수행할 수 있다.
엔트로피 디코딩 유닛(304)은 인코딩된 픽처 데이터(21)에 대해 엔트로피 디코딩을 수행하여, 예를 들어, 양자화된 계수(309) 및/또는 디코딩된 코딩 파라미터(도 3에 도시되지 않음), 예를 들어, (디코딩되는) 인터 예측 파라미터, 인트라 예측 파라미터, 루프 필터 파라미터 및/또는 다른 신택스 요소 중 어느 하나 또는 전부를 획득하도록 구성된다. 엔트로피 디코딩 유닛(304)은 또한 인터 예측 파라미터, 인트라 예측 파라미터 및/또는 다른 신택스 요소를 예측 프로세싱 유닛(360)에 포워딩하도록 구성된다. 디코더(30)는 비디오 슬라이스 레벨 및/또는 비디오 블록 레벨에서 신택스 요소를 수신할 수 있다.
역양자화 유닛(310)은 역양자화 유닛(210)과 동일한 기능을 가질 수 있다. 역변환 프로세싱 유닛(312)은 역변환 프로세싱 유닛(212)과 동일한 기능을 가질 수 있다. 재구성 유닛(314)은 재구성 유닛(214)과 동일한 기능을 가질 수 있다. 버퍼(316)는 버퍼(216)와 동일한 기능을 가질 수 있다. 루프 필터(320)는 루프 필터(220)와 동일한 기능을 가질 수 있다. 디코딩된 픽처 버퍼(330)는 디코딩된 픽처 버퍼(230)와 동일한 기능을 가질 수 있다.
예측 프로세싱 유닛(360)은 인터 예측 유닛(344) 및 인트라 예측 유닛(354)을 포함할 수 있다. 인터 예측 유닛(344)은 기능에 있어서 인터 예측 유닛(244)과 유사할 수 있고, 인트라 예측 유닛(354)은 기능에 있어서 인트라 예측 유닛(254)과 유사할 수 있다. 예측 프로세싱 유닛(360)은 일반적으로 블록 예측을 수행하고 및/또는 인코딩된 데이터(21)로부터 예측 블록(365)을 획득하고, 예측 관련 파라미터 및/또는 선택된 예측 모드에 관한 정보를, 예를 들어, 엔트로피 디코딩 유닛(304)으로부터 (명시적으로 또는 묵시적으로) 수신 또는 획득하도록 구성된다.
비디오 슬라이스가 인트라 인코딩된 (I) 슬라이스로 인코딩될 때, 예측 프로세싱 유닛(360)의 인트라 예측 유닛(354)은 시그널링된 인트라 예측 모드 및 현재 프레임 또는 픽처의 이전에 디코딩된 블록으로부터 온 데이터에 기초하여 현재 비디오 슬라이스의 픽처 블록에 대한 예측 블록(365)을 생성하도록 구성된다. 비디오 프레임이 인터 인코딩된 (B 또는 P) 슬라이스로서 인코딩될 때, 예측 프로세싱 유닛(360)의 인터 예측 유닛(344)(예를 들어, 움직임 보상 유닛)은 움직임 벡터 및 엔트로피 디코딩 유닛(304)으로부터 수신된 다른 신택스 요소에 기초하여 현재 비디오 슬라이스의 비디오 블록에 대한 예측 블록(365)을 생성하도록 구성된다. 인터 예측을 위해, 예측 블록은 하나의 참조 픽처 리스트 내의 참조 픽처 중 하나로부터 생성될 수 있다. 디코더(30)는 DPB(330)에 저장된 참조 픽처에 기초하여 디폴트 구성 기술을 사용함으로써, 참조 프레임 리스트: 리스트 0 및 리스트 1을 구성할 수 있다.
예측 프로세싱 유닛(360)은 움직임 벡터 및 다른 신택스 요소를 파싱함으로써 현재 비디오 슬라이스의 비디오 블록에 대한 예측 정보를 결정하고, 예측 정보를 사용하여 디코딩되고 있는 현재 비디오 블록에 대한 예측 블록을 생성하도록 구성된다. 예를 들어, 예측 프로세싱 유닛(360)은 수신된 신택스 요소 중 일부를 사용하여 비디오 슬라이스의 비디오 블록을 코딩하는데 사용되는 예측 모드(예를 들어, 인트라 예측 또는 인터 예측), 인터 예측 슬라이스 타입(예를 들어, B 슬라이스, P 슬라이스 또는 GPB 슬라이스), 슬라이스에 대한 참조 픽처 리스트 중 하나 이상에 대한 구성 정보, 슬라이스의 각 인터 인코딩된 비디오 블록에 대한 움직임 벡터, 슬라이스의 각 인터 코딩된 비디오 블록에 대한 인터 예측 상태, 및 현재 비디오 슬라이스의 비디오 블록을 디코딩하기 위한 다른 정보를 결정한다.
역양자화 유닛(310)은 비트스트림에서 제공되고 엔트로피 디코딩 유닛(304)에 의해 디코딩된 양자화된 변환 계수를 역양자화(즉, 양자화 해제(dequantize))하도록 구성될 수 있다. 역양자화 프로세스는 비디오 슬라이스 내 각 비디오 블록에 대해 인코더(20)에 의해 계산된 양자화 파라미터를 사용하여, 적용되어야 하는 양자화 정도를 결정하고, 마찬가지로 적용되어야 하는 역양자화 정도를 결정하는 것을 포함할 수 있다.
역변환 프로세싱 유닛(312)은 역변환(예를 들어, 역 DCT, 역 정수 변환, 또는 개념적으로 유사한 역변환 프로세스)을 변환 계수에 적용하여 샘플 도메인에서 잔차 블록을 생성하도록 구성된다.
재구성 유닛(314)(예를 들어, 합산기(314))은 역변환 블록(313)(즉, 재구성된 잔차 블록(313))을 예측 블록(365)에 더하여, 예를 들어, 재구성된 잔차 블록(313)의 샘플 값과 예측 블록(365)의 샘플 값을 더함으로써, 샘플 도메인에서 재구성된 블록(315)을 획득하도록 구성된다.
루프 필터 유닛(320)은 (코딩 루프 동안 또는 코딩 루프 후에) 재구성된 블록(315)을 필터링하여 필터링된 블록(321)을 획득하거나, 샘플 전환을 매끄럽게 하거나 또는 비디오 품질을 개선하도록 구성된다. 예에서, 루프 필터 유닛(320)은 아래에서 설명되는 필터링 기술의 임의의 조합을 수행하도록 구성될 수 있다. 루프 필터 유닛(320)은 예를 들어, 디블로킹 필터(de-blocking filter), 적응적 샘플 오프셋(sample-adaptive offset, SAO) 필터, 또는 양방향 필터, 적응적 루프 필터(adaptive loop filter, ALF), 선명화(sharpening) 또는 평활화(smoothing) 필터 또는 협업 필터(collaborative filter)를 비롯한 하나 이상의 루프 필터를 나타내는 것으로 의도된다. 루프 필터 유닛(320)이 도 3에서 인-루프 필터(in-loop filter)로서 도시되어 있지만, 다른 구성에서 루프 필터 유닛(320)은 포스트-루프 필터(post-loop filter)로서 구현될 수 있다.
그런 다음 주어진 프레임 또는 픽처의 디코딩된 비디오 블록(321)은 후속 움직임 보상을 위해 사용되는 참조 픽처를 저장하는 디코딩된 픽처 버퍼(330)에 저장된다.
디코더(30)는 예를 들어, 사용자에게 제시하기 위해 또는 사용자가 시청하도록 하기 위해 출력(332)을 통해 디코딩된 픽처(31)를 출력하도록 구성된다.
압축된 비디오스트림을 디코딩하기 위해 디코더(30)의 다른 변형이 구성될 수 있다. 예를 들어, 디코더(30)는 루프 필터 유닛(320) 없이 출력 비디오 스트림을 생성할 수 있다. 예를 들어, 비 변환 기반 디코더(non-transform based decoder)(30)는 일부 블록 또는 프레임에 대해 역변환 프로세싱 유닛(312) 없이 잔차 신호를 직접 역양자화할 수 있다. 다른 구현에서, 디코더(30)는 단일 유닛으로 조합된 양자화 유닛(310) 및 역변환 프로세싱 유닛(312)을 가질 수 있다.
구체적으로, 본 발명의 실시예에서, 디코더(30)는 비트스트림을 파싱하여 제 1 표시 정보 및 제 2 표시 정보를 획득 - 제 2 표시 정보는 크로마 블록을 디코딩하기 위해 현재 사용되는 인트라 예측 모드가 LM 모드라는 것을 표시하는데 사용되고, 제 1 표시 정보는 필터 타입을 표시하는데 사용됨 - 하고, 필터 타입에 대응하는 필터를 사용함으로써 제 1 루마 블록을 다운샘플링하여 제 2 루마 블록을 획득 - 제 1 루마 블록은 현재 크로마 블록에 대응하는 루마 블록임 - 하고, 템플릿 크로마 샘플 및 템플릿 루마 샘플을 획득 - 템플릿 크로마 샘플은 현재 크로마 블록의 복수의 인접한 크로마 샘플을 포함하고, 템플릿 루마 샘플은 제 1 루마 블록의 복수의 인접한 루마 샘플을 다운샘플링함으로써 획득됨 - 하고, 템플릿 크로마 샘플 및 템플릿 루마 샘플에 기초하여 선형 모델 계수를 획득하고, 제 2 루마 블록 및 선형 모델 계수에 기초하여 현재 크로마 블록의 예측 값을 획득하도록 구성된다.
도 4는 본 발명의 실시예에 따른 비디오 코딩 디바이스(400)(예를 들어, 비디오 인코딩 디바이스(400) 또는 비디오 디코딩 디바이스(400))의 개략적인 구조도이다. 비디오 코딩 디바이스(400)는 본 명세서에서 설명된 실시예를 구현하는데 적합하다. 실시예에서, 비디오 코딩 디바이스(400)는 비디오 디코더(예를 들어, 도 1a의 디코더(30)) 또는 비디오 인코더(예를 들어, 도 1a의 인코더(20))일 수 있다. 다른 실시예에서, 비디오 코딩 디바이스(400)는 도 1a의 디코더(30) 또는 도 1a의 인코더(20) 중 하나 이상의 컴포넌트일 수 있다.
비디오 코딩 디바이스(400)는, 데이터를 수신하도록 구성된 입구 포트(410) 및 수신기 유닛(Rx)(420); 데이터를 처리하도록 구성된 프로세서, 로직 디바이스 또는 중앙 프로세싱 유닛(central processing unit)(CPU)(430); 데이터를 송신하도록 구성된 송신기 유닛(Tx)(440) 및 출구 포트(450); 및 데이터를 저장하도록 구성된 메모리(460)를 포함한다. 비디오 코딩 디바이스(400)는 광학 신호 또는 전기 신호의 진입 또는 진출을 위한, 입구 포트(410), 수신기 유닛(420), 송신기 유닛(440) 및 출구 포트(450)에 결합된 광전(optical-to-electrical) 컴포넌트 및 전광(electrical-to-optical)(EO) 컴포넌트를 더 포함할 수 있다.
프로세서(430)는 하드웨어 및 소프트웨어를 사용하여 구현된다. 프로세서(430)는 하나 이상의 CPU 칩, 코어(예를 들어, 멀티-코어 프로세서), FPGA, ASIC 및 DSP로서 구현될 수 있다. 프로세서(430)는 입구 포트(410), 수신기 유닛(420), 송신기 유닛(440), 출구 포트(450) 및 메모리(460)와 통신한다. 프로세서(430)는 코딩 모듈(470)(예를 들어, 인코딩 모듈(470) 또는 디코딩 모듈(470))을 포함한다. 인코딩/디코딩 모듈(470)은 본 명세서에 개시된 실시예를 구현하여, 본 발명의 실시예에서 제공되는 크로마 블록 예측 방법을 구현한다. 예를 들어, 인코딩/디코딩 모듈(470)은 다양한 코딩 동작을 구현하거나, 처리하거나 또는 제공한다. 그러므로 인코딩/디코딩 모듈(470)을 포함시키면 비디오 코딩 디바이스(400)의 기능에 실질적인 개선을 제공하고 비디오 코딩 디바이스(400)의 상이한 상태로의 스위칭에 영향을 미친다. 대안적으로, 인코딩/디코딩 모듈(470)은 메모리(460)에 저장되고 프로세서(430)에 의해 실행되는 명령어로서 구현된다.
메모리(460)는 하나 이상의 디스크, 테이프 드라이브 및 솔리드 스테이트 드라이브를 포함하며, 오버플로우 데이터 저장 디바이스로서 사용되어, 프로그램이 선택적으로 실행될 때 그러한 프로그램을 저장하고, 프로그램 실행 동안 판독되는 명령어 및 데이터를 저장하는데 사용될 수 있다. 메모리(460)는 휘발성 및/또는 비휘발성일 수 있으며, 판독 전용 메모리(read-only memory)(ROM), 랜덤 액세스 메모리(random access memory)(RAM), 터너리 콘텐츠 어드레스 가능 메모리(ternary content-addressable memory)(TCAM) 및 정적 랜덤 액세스 메모리(static random access memory)(SRAM)일 수 있다.
도 5는 예시적인 실시예에 따른 도 1a의 소스 디바이스(12) 및 목적지 디바이스(14) 중 어느 하나 또는 둘로서 사용될 수 있는 장치(500)의 간략화된 블록도이다. 장치(500)는 본 출원의 기술을 구현할 수 있다. 크로마 블록 예측을 위한 장치(500)는 복수의 컴퓨팅 디바이스를 포함하는 컴퓨팅 시스템의 형태일 수 있거나, 또는 이동 전화, 태블릿 컴퓨터, 랩톱 컴퓨터 또는 데스크톱 컴퓨터와 같은 단일 컴퓨팅 디바이스의 형태일 수 있다.
장치(500)의 프로세서(502)는 중앙 프로세싱 유닛일 수 있다. 대안적으로, 프로세서(502)는 정보를 제어 또는 처리할 수 있는 하나 이상의 기존/미래 개발 디바이스의 임의의 다른 유형일 수 있다. 도면에 도시된 바와 같이, 개시된 구현은 프로세서(502)와 같은 단일 프로세서를 사용하여 실행될 수 있지만, 하나를 초과하는 프로세서를 사용함으로써 속도 및 효율성의 장점을 달성할 수 있다.
구현에서, 장치(500)의 메모리(504)는 판독 전용 메모리(Read Only Memory, ROM) 디바이스 또는 랜덤 액세스 메모리(random access memory, RAM) 디바이스일 수 있다. 임의의 다른 적절한 유형의 저장 디바이스가 메모리(504)로서 사용될 수 있다. 메모리(504)는 버스(512)를 통해 프로세서(502)에 의해 액세스되는 코드 및 데이터(506)를 포함할 수 있다. 메모리(504)는 오퍼레이팅 시스템(508) 및 애플리케이션 프로그램(510)을 더 포함할 수 있다. 애플리케이션 프로그램(510)은 프로세서(502)가 본 명세서에서 설명된 방법을 수행할 수 있도록 하는 적어도 하나의 프로그램을 포함한다. 예를 들어, 애플리케이션 프로그램(510)은 애플리케이션 1 내지 N을 포함할 수 있고, 애플리케이션 1 내지 N은 본 명세서에서 설명되는 방법을 수행하는 비디오 코딩 애플리케이션을 더 포함할 수 있다. 장치(500)는 보조 메모리(514) 형태의 추가 메모리를 더 포함할 수 있다. 보조 메모리(514)는 예를 들어 이동 컴퓨팅 디바이스와 함께 사용되는 메모리 카드일 수 있다. 비디오 통신 세션에는 많은 양의 정보가 포함되어 있을 수 있기 때문에, 정보의 전부 또는 일부는 보조 메모리(514)에 저장되고 필요에 따라 처리를 위해 메모리(504)에 로드될 수 있다.
장치(500)는 하나 이상의 출력 디바이스, 예를 들어, 디스플레이(518)를 더 포함할 수 있다. 예에서, 디스플레이(518)는 디스플레이와 터치 입력을 작동 가능하게 감지하는 터치 유닛을 조합한 터치 감지 디스플레이일 수 있다. 디스플레이(518)는 버스(512)를 통해 프로세서(502)에 결합될 수 있다. 사용자가 장치(500)를 프로그램할 수 있게 하거나 또는 사용자가 장치(500)를 다른 방식으로 사용할 수 있게 하는 다른 출력 디바이스가 디스플레이(518)에 추가로 또는 그 대안으로서 제공될 수 있다. 출력 디바이스가 디스플레이일 때 또는 디스플레이를 포함할 때, 디스플레이는 액정 디스플레이(liquid crystal display, LCD), 음극선관(cathode-ray tube, CRT) 디스플레이, 플라즈마 디스플레이 또는 유기 발광 다이오드(organic light emitting diode, OLED) 디스플레이와 같은 발광 다이오드(light emitting diode, LED) 디스플레이를 사용하는 것을 비롯한 다양한 방식으로 구현될 수 있다.
장치(500)는 이미지 감지 디바이스(520)를 더 포함하거나 또는 이미지 감지 디바이스(520)와 통신할 수 있다. 이미지 감지 디바이스(520)는 예를 들어, 카메라 또는 이미지를 감지할 수 있는 임의의 다른 기존/미래 개발 이미지 감지 디바이스(520)이다. 이미지는 예를 들어, 장치(500)를 실행하는 사용자의 이미지이다. 이미지 감지 디바이스(520)는 장치(500)를 실행하는 사용자를 직접 마주 보도록 배치될 수 있다. 예에서, 이미지 감지 디바이스(520)의 위치 및 광학 축은, 이미지 감지 디바이스(520)의 시야가 디스플레이(518)에 인접한 영역을 포함하고 디스플레이(518)가 그 영역에서 보이도록 구성될 수 있다.
장치(500)는 음향 감지 디바이스(522)를 더 포함하거나 또는 음향 감지 디바이스(522)와 통신할 수 있다. 음향 감지 디바이스(522)는 예를 들어, 마이크로폰 또는 장치(500) 근처의 음향을 감지할 수 있는 임의의 다른 기존/미래 개발 음향 감지 디바이스이다. 음향 감지 디바이스(522)는 장치(500)를 실행하는 사용자를 직접 마주하도록 배치될 수 있으며, 사용자가 장치(500)를 실행할 때 발생하는 음향, 예를 들어 음성 또는 다른 음향을 수신하도록 구성될 수 있다.
도 5는 장치(500)의 프로세서(502) 및 메모리(504)가 단일 유닛으로 통합되는 것으로 도시되지만, 다른 구성이 있을 수 있다. 프로세서(502)의 구현은 서로 직접 결합될 수 있거나, 또는 로컬 영역 또는 다른 네트워크에 분산될 수 있는 복수의 머신(각 머신은 하나 이상의 프로세서를 가짐)에 분산될 수 있다. 메모리(504)는 복수의 머신에 걸쳐 분산될 수 있으며, 예를 들어, 메모리(504)는 네트워크 기반 메모리 또는 장치(500)가 실행되는 복수의 머신의 메모리이다. 본 명세서에서 단일 버스 만이 도시되어 있지만, 장치(500)의 버스(512)는 복수의 버스를 포함할 수 있다. 또한, 보조 메모리(514)는 장치(500)의 다른 컴포넌트에 직접 결합될 수 있거나 또는 네트워크를 통해 액세스될 수 있다. 보조 메모리(514)는 메모리 카드와 같은 단일의 통합 유닛 또는 복수의 메모리 카드와 같은 복수의 유닛을 포함할 수 있다. 그러므로 장치(500)는 다양한 구성으로 구현될 수 있다.
본 발명의 실시예의 기술적 해결책을 더 잘 이해하기 위해, 다음에는 본 발명의 실시예에서 크로마 컴포넌트의 인트라 예측을 위한 YUV 이미지(또는 YCbCr 이미지라고 함) 및 LM 모드가 추가로 설명된다.
기존의 비디오는 일반적으로 컬러 비디오이다. 루마(Y) 컴포넌트 외에도, 컬러 비디오는 크로마 컴포넌트(U, V)를 더 포함한다. 그러므로 이러한 이미지는 YUV 이미지라고도 한다. 이 경우, YUV 이미지의 코딩은 루마 컴포넌트의 코딩뿐만 아니라, 크로마 컴포넌트의 코딩도 포함한다. 연구에 따르면 인간의 눈은 컬러보다 밝기에 더 민감하다고 한다. 그러므로 코딩하는 동안, 저장 공간을 절감하고 코딩 효율을 개선하기 위해, 루마 컴포넌트는 전 해상도(full resolution)로 샘플링되고, 크로마 컴포넌트는 전 해상도로 샘플링되지 않을 수 있다. 컬러 비디오의 루마 컴포넌트 및 채도 컴포넌트에 대한 상이한 샘플링 방법에 따라 비디오 시퀀스에는 전형적으로 4:4:4 포맷의 YUV 이미지, 4:2:2 포맷의 YUV 이미지, 4:2:0 포맷의 YUV 이미지 등이 있다. 도 6은 4:4:4 포맷, 4:2:2 포맷 및 4:2:0 포맷의 예를 도시하며, 여기서 도면의 십자 기호(×)는 루마 컴포넌트 샘플을 나타내고, 도면의 원 기호(○)는 크로마 컴포넌트 샘플을 나타낸다.
4:4:4 포맷은 크로마 컴포넌트에 대해 다운샘플링이 수행되지 않음을 나타내며, 4:4:4 포맷은 크로마 컴포넌트의 해상도가 가장 높은 포맷이다. 다시 말해, 4 개의 인접한 샘플의 데이터는 4 개의 Y 컴포넌트, 4 개의 U 컴포넌트 및 4 개의 V 컴포넌트를 포함한다.
4:2:2 포맷은 루마 컴포넌트에 비해 크로마 컴포넌트에 2:1 수평 다운샘플링이 수행되고, 수직 다운샘플링이 수행되지 않음을 표시한다. 2 개의 U 샘플 또는 2 개의 V 샘플마다, 각 행은 4 개의 Y 샘플을 포함한다. 다시 말해, 4 개의 인접한 샘플의 데이터는 4 개의 Y 컴포넌트, 2 개의 U 컴포넌트 및 2 개의 V 컴포넌트를 포함한다.
4:2:0 포맷은 루마 컴포넌트에 비해 크로마 컴포넌트에 2:1 수평 다운샘플링 및 2:1 수직 다운샘플링이 수행된다는 것을 표시한다. 4:2:0 포맷은 크로마 컴포넌트의 해상도가 가장 낮은 포맷이며 가장 일반적인 포맷이기도 하다. 4:2:0 포맷에서, 크로마 샘플의 수량은 각 행에 있는(즉, 수평 방향에 있는) 루마 샘플의 수량의 절반에 불과하고 각 열에 있는(즉, 수직 방향에 있는) 루마 샘플의 수량의 절반에 불과하다. 비디오 이미지가 4:2:0 포맷을 사용할 때, 이미지 블록의 루마 컴포넌트가 2M*2N 사이즈의 이미지 블록이면, 이미지 블록의 크로마 컴포넌트는 M*N 사이즈의 이미지 블록이다. 예를 들어, 이미지 블록의 해상도가 720*480이면, 이미지 블록의 루마 컴포넌트의 해상도는 720*480이고, 이미지 블록의 크로마 컴포넌트의 해상도는 360*240이다.
4:2:0 포맷의 경우, 상이한 크로마 샘플 위치에 기초하여 6 개의 상이한 크로마 샘플 위치 타입이 있을 수 있다. 도 7은 루마 샘플의 루마 샘플 위치와 크로마 샘플의 6 개의 상이한 크로마 샘플 위치 타입 간의 예시적인 관계를 도시한다. 6 개의 상이한 크로마 샘플 위치 타입은: 타입0(type0), 타입1(type1), 타입2(type2), 타입3(type3), 타입4(type4) 및 타입5(type5)이다.
본 명세서에서, 본 발명의 실시예의 기술적 해결책을 설명하는 예로서 4:2:0 포맷의 YUV 이미지가 사용된다. 본 명세서에서, 현재 처리될 이미지 블록의 루마 컴포넌트는 루마 블록이라고도 지칭될 수 있고(또는 현재 크로마 블록에 대응하는 루마 블록, 제 1 루마 블록, 루마 컴포넌트 블록 또는 루마 블록이라고 지칭될 수 있고), 현재 처리될 이미지 블록의 크로마 컴포넌트는 현재 크로마 블록이라고도 지칭될 수 있다(또는 크로미넌스 블록, 크로마 컴포넌트 블록 또는 크로마 블록이라고 지칭될 수 있다).
루마 컴포넌트에 대한 인트라 예측과 유사하게, 크로마 컴포넌트에 대한 인트라 예측은 현재 크로마 블록 주위에 인접한 재구성 블록의 경계 샘플을 현재 크로마 블록의 참조 샘플로서 사용하고, 특정 예측 모드에서 참조 샘플을 현재 크로마 블록 내 샘플에 매핑하고, 매핑된 참조 샘플의 값을 현재 크로마 블록의 샘플의 예측 값으로서 사용한다. 차이점은 크로마 컴포넌트의 텍스처가 일반적으로 비교적 단순하기 때문에 크로마 컴포넌트에 대한 인트라 예측 모드의 수량이 루마 컴포넌트에 대한 인트라 예측 모드의 수량보다 일반적으로 적다는 점에 있다. 예를 들어, H.265에서는 크로마 컴포넌트에 대해 평면 모드, 수직 모드, 수평 모드, DC 모드 및 도출 모드(derived mode)(DM)의 5 개의 인트라 예측 모드 만 있을 수 있다. 차세대 비디오 코딩 표준(예를 들어, H.266)에서, 크로마 컴포넌트에 대한 인트라 예측 모드는 크로스 컴포넌트 예측(Cross component prediction, CCP) 모드를 더 포함한다.
상이한 애플리케이션 시나리오에서, CCP 모드는 또한 크로스 컴포넌트 인트라 예측 모드(Cross component intra prediction, CCIP) 또는 크로스 컴포넌트 선형 예측 모드(cross component linear mode, CCLM)라고도 지칭될 수 있거나, 또는 간략히 선형 모델 모드(linear model mode, LM 모드)라고도 지칭될 수 있다. LM 모드가 본 명세서에서 설명을 위한 예로서 사용된다.
LM 모드는 루마와 크로마 간의 텍스처 상관 관계를 이용하는 크로마 인트라 예측 방법이다. LM 모드는 재구성된 루마 컴포넌트를 사용하여 선형 모델에 기초하여 현재 크로마 블록의 예측 값을 도출하고, 그럼으로써 크로마 컴포넌트에 대한 보다 정확한 예측 값을 제공한다. LM 모드는 다음의 공식으로 표현될 수 있다:
Figure 112021014316451-pct00001
α 및 β는 선형 모델 계수를 나타내고;
Figure 112021014316451-pct00002
는 위치(i,j)에서 크로마 샘플의 예측 값을 나타내고;
Figure 112021014316451-pct00003
는 현재 크로마 블록에 대응하는 루마 블록이 크로마 컴포넌트의 해상도로 다운샘플링된 후에 획득되는 위치(i,j)에서의 재구성된 루마 샘플의 값을 나타낸다. 4:2:0 포맷의 비디오 시퀀스의 경우, 루마 컴포넌트의 해상도는 크로마 컴포넌트의 해상도의 4 배이다. 크로마 블록과 동일한 해상도의 루마 블록을 획득하기 위해, 루마 컴포넌트는, 사용되기 전에, 크로마 컴포넌트의 동일한 다운샘플링 방법을 사용함으로써 크로마 컴포넌트의 해상도로 다운샘플링되어야 한다.
도 8이 예로서 사용된다. 도 8은, 4:2:0 포맷의 YUV 이미지에서, 현재 크로마 블록에 대응하는 루마 블록(즉, 이미지 블록의 루마 컴포넌트) 및 루마 블록의 인접한 상단 참조 샘플 및 인접한 좌측 참조 샘플, 다운샘플링된 루마 블록(즉, 이미지 블록의 다운샘플링된 루마 컴포넌트, 또는 제 2 루마 블록이라고 함) 및 다운샘플링된 루마 블록의 인접한 상단 재구성된 참조 샘플 및 인접한 좌측 재구성된 참조 샘플, 및 현재 크로마 블록(즉, 이미지 블록의 크로마 컴포넌트) 및 현재 크로마 블록의 인접한 상단 재구성된 참조 샘플 및 인접한 좌측 재구성된 참조 샘플을 도시한다. 현재 크로마 블록에 대응하는 루마 블록의 해상도는 2W*2H이고, 다운샘플링된 루마 블록의 해상도는 W*H이고, 현재 크로마 블록의 해상도는 W*H이다. 다시 말해, 루마 블록 및 루마 블록의 인접한 참조 샘플은 크로마 컴포넌트의 해상도로 다운샘플링되어, 다운샘플링된 루마 블록을 획득할 수 있다. 다운샘플링된 루마 블록의 인접한 참조 샘플과 현재 크로마 블록의 인접한 참조 샘플 사이에는 일대일 대응한다.
도 9 및 도 10을 참조한다. 본 발명의 본 실시예에서, 용이한 이해를 위해, 선형 모델 계수의 계산에 사용되는 인접한 상단 측 및 인접한 좌측은 템플릿(template)으로 지칭될 수 있다. 템플릿은 선형 모델 계수의 계산에 사용되는 한 세트의 루마 샘플 또는 한 세트의 크로마 샘플이다. 선형 모델 계수의 계산에 사용되는 루마 샘플(luma sample)의 세트는 템플릿 루마 샘플이라고도 지칭된다. 템플릿 루마 샘플은 루마 블록의 복수의 인접한 루마 샘플에 대해 다운샘플링 동작을 수행함으로써 획득된다(왜냐하면 루마 이미지에서, 템플릿 크로마 샘플에 대응하는 위치에 루마 샘플 값이 없을 수 있기 때문이다). 선형 모델 계수의 계산에 사용되는 크로마 샘플(chroma sample)의 세트는 템플릿 크로마 샘플이라고도 한다. 템플릿 크로마 샘플은 현재 크로마 블록의 복수의 인접한 재구성된 크로마 샘플을 포함한다.
가능한 실시예에서, 템플릿 크로마 샘플은 구체적으로 현재 크로마 블록의 인접한 상단 크로마 샘플의 하나 이상의 행 및 현재 크로마 블록의 인접한 좌측 크로마 샘플의 하나 이상의 열을 포함한다. 템플릿 루마 샘플은 템플릿 크로마 샘플과 일대일 대응하고, 템플릿 루마 샘플 내 샘플 값과 템플릿 크로마 샘플 내 샘플 값은 값 쌍을 구성한다.
예를 들어, 도 9에서, 템플릿 크로마 샘플은 현재 크로마 블록의 인접한 상단 크로마 샘플의 하나의 행 및 인접한 좌측 크로마 샘플의 하나의 열을 포함한다. 따라서, 템플릿 루마 샘플은 루마 샘플의 하나의 행과 좌측 루마 샘플의 하나의 열을 포함하며, 여기서 루마 샘플의 하나의 행과 좌측 루마 샘플의 하나의 열은 템플릿 크로마 샘플 내 크로마 샘플 위치에 대응한다.
예를 들어, 도 10에 도시된 바와 같이, 예에서, 템플릿 크로마 샘플은 현재 크로마 블록의 인접한 상단 크로마 샘플의 2 개의 행 및 인접한 좌측 크로마 샘플의 2 개의 열을 포함한다. 따라서, 템플릿 루마 샘플은 루마 샘플의 2 개의 열과 루마 샘플의 2 개의 행을 포함하며, 여기서 루마 샘플의 2 개의 행과 루마 샘플의 2 개의 열은 템플릿 크로마 샘플 내 크로마 샘플 위치에 대응한다.
물론, 템플릿 크로마 샘플 및 템플릿 루마 샘플의 다양한 특정 구현이 있을 수 있다. 다른 예에서, 템플릿 크로마 샘플은 현재 크로마 블록의 인접한 좌측 크로마 샘플의 하나 이상의 열 만을 포함한다. 템플릿 루마 샘플은 루마 샘플의 하나 이상의 열 만을 포함하고, 템플릿 루마 샘플은 템플릿 크로마 샘플과 일대일 대응한다. 또 다른 예에서, 템플릿 크로마 샘플은 대안적으로 현재 크로마 블록의 인접한 상단 크로마 샘플의 하나 이상의 행 만을 포함한다. 템플릿 루마 샘플은 루마 샘플의 하나 이상의 행 만을 포함하고, 템플릿 루마 샘플은 템플릿 크로마 샘플과 일대일 대응한다.
위에서 설명한 바와 같이, 템플릿 루마 샘플은 루마 블록의 복수의 인접한 루마 샘플에 대해 다운샘플링(downsampling) 동작을 수행함으로써 획득된다. 다음에는 템플릿 루마 샘플에 대해 다운샘플링 동작을 수행하기 위한 방법의 예를 설명한다.
도 11은 일부 크로마 샘플 위치와 일부 루마 샘플 위치 사이의 관계의 예시적인 다이어그램이다. 4:2:0 포맷의 YUV 이미지에 대해, 루마 이미지의 좌측 상부 정점이 루마 샘플의 좌표 원점으로 사용되고 크로마 이미지의 좌측 상부 정점이 크로마 샘플의 좌표 원점으로 사용되면, 루마 이미지의 위치에 대응하는 크로마 이미지의 샘플 위치(xb, yb)는 (2*xb, 2*yb+0.5)이다. 템플릿 루마 샘플 내 루마 샘플의 값, 즉, 샘플 위치(xb, yb)에 대응하는 루마 샘플의 값을 획득하기 위해, 루마 블록의 복수의 인접한 루마 샘플이 먼저 선택될 수 있다. 예를 들어, 루마 블록의 복수의 인접한 루마 샘플의 샘플 위치는 (2*xb, 2*yb), (2*xb-1, 2*yb), (2*xb+1, 2*yb), (2*xb, 2*yb+1), (2*xb-1, 2*yb+1), 및 (2*xb+1, 2*yb+1)이고, (2*xb, 2*yb+0.5)에서의 값은 이들 위치에 대응하는 루마 이미지 내 루마 샘플 값에 기초하여 도출되며, 그 값은 샘플 위치(xb, yb)에 대응하는 루마 샘플의 값으로서 사용된다.
예를 들어, 예에서, 다운샘플링 계산이 다음 공식에 따라 복수의 루마 샘플에 대해 수행되어, 템플릿 루마 샘플의 샘플 위치(xb, yb)에 대응하는 루마 샘플의 값 LC(xb, yb)을 획득할 수 있다:
LC(xb, yb) = (2*L(2*xb, 2*yb) + L(2*xb-1, 2*yb) + L(2*xb + 1, 2*yb) + 2*L(2*xb, 2*yb+1) + L(2*xb-1, 2*yb+1) + L(2*xb+1, 2*yb+1) + 4)>>3
여기서 기호 ">>"는 우측으로 이동함을 나타낸다.
현재 블록의 템플릿 루마 샘플 내 다른 루마 샘플의 값 (xb+1, yb-1), ... (xb+i, yb-1) ... 및(xb-1, yb), ..., 및(xb-1, yb+j)에 대해, 다운샘플링은 또한 동일한 다운샘플링 방법을 사용하여 수행될 수도 있다는 것을 이해할 수 있다.
기존 샘플링 방식의 다운샘플링은 고정 필터에 기초하여 수행된다는 점에 유의해야 한다. 구체적으로, 다양한 비디오 시퀀스의 이미지의 경우, 기존 LM 모드에서, 고정된 다운샘플링 필터는 크로마 샘플 위치에 관계없이 사용되지만, 상이한 크로마 샘플 위치가 실제로 상이한 비디오 시퀀스에서 존재할 수 있고 상이한 크로마 샘플 위치로 인해 루마 다운샘플링 필터에 영향을 미치는 경우는 고려되지 않는다. 루마 다운샘플링 위치가 크로마 샘플 위치와 일치하지 않으면, LM 모델 공식에 따라 도출된 LM 모델 계수 α 및 β는 부정확하고,
Figure 112021014316451-pct00004
및 크로마 샘플 위치는 정렬되지 않는다. 그 결과 코딩 효율성이 감소된다.
전술한 단점을 극복하고, LM 모드에서 크로마 블록에 대한 예측 정확도를 개선하고, 코딩 효율성을 개선하기 위해, 본 발명의 실시예는, 위에서 설명한 시스템 및 디바이스에 기초하여, LM 모드에서 사용되는 크로마 블록 예측 방법을 제공한다. 먼저, 방법은 인코더 측의 관점에서 설명된다. 도 12를 참조하면, 방법은 이것으로 제한되는 것은 아니지만 다음의 단계를 포함한다.
단계(701): 현재 크로마 블록의 예측에 사용되는 인트라 예측 모드가 LM 모드라고 결정한다.
특정 구현에서, 인코더 측은 인트라 예측을 위해 LM 모드 만을 미리 설정할 수 있다. 다시 말해, 이 경우, 인코더 측은 현재 사용되는 인트라 예측 모드가 LM 모드인 것으로 바로 결정한 다음, 단계(702) 내지 단계(704)를 계속 수행한다.
다른 특정 구현에서, 인코더 측은 복수의 인트라 예측 모드를 미리 설정할 수 있고 - 복수의 인트라 예측 모드는 LM 모드를 포함함 - ; 인코더 측은 복수의 인트라 예측 모드를 가로질러 고찰하고, 현재 크로마 블록에 대한 최적의 인트라 예측 모드가 LM 모드라고 결정한다. 이 경우, 인코더 측은 단계(702) 내지 단계(704)와 같은 후속 단계의 실행을 시작한다.
또한, 인코더 측은 또한 제 2 표시 정보를 설정하여 - 제 2 표시 정보는 LM 모드를 표시하는데 사용됨 - , 후속 단계(704)에서 제 2 표시 정보가 비트스트림으로 인코딩되도록 한다.
단계(702): 현재 크로마 블록의 샘플 위치 타입에 기초하여 필터 타입을 결정한다.
다시 말해, 본 발명의 본 실시예의 설계에서, 현재 크로마 블록이 LM 모드에서 예측될 때, 사용되는 루마 다운샘플링 필터는 고정되지 않고, 현재 크로마 블록의 샘플 위치 타입에 따라 결정된다. 현재 크로마 블록의 각각의 샘플 위치 타입은 필터 타입에 대응할 수 있다.
본 발명의 특정 실시예에서, 6 개의 샘플 위치 타입이 설계될 수 있다(이러한 설계는 설계 1라고 지칭될 수 있다). 도 7에 도시된 바와 같이, 6 개의 샘플 위치 타입은: type0, type1, type2, type3, type4 및 type5를 포함한다. 따라서, 6 개의 샘플 위치 타입에 대응하는 6 가지 타입의 루마 다운샘플링 필터: 필터 0, 필터 1, 필터 2, 필터 3, 필터 4, 필터 5가 있다. 예에서, 이들 필터의 다운샘플링 알고리즘은 개별적으로 다음과 같이 설정될 수 있다.
필터 0의 경우:
LC(xb, yb) = (2*L(2*xb, 2*yb) + L(2*xb-1, 2*yb) + L(2*xb+1, 2*yb) + 2*L(2*xb, 2*yb+1) + L(2*xb-1, 2*yb+1) + L(2*xb+1, 2*yb+1) + 4)>>3
필터 1의 경우:
LC(xb, yb) = (L(2*xb, 2*yb) + L(2*xb+1, 2*yb) + L(2*xb, 2*yb+1) + L(2*xb+1, 2*yb+1) + 2)>>2
필터 2의 경우:
LC(xb, yb) = (4*L(2*xb, 2*yb)
+ 2*L(2*xb, 2*yb+1) + 2*L(2*xb, 2*yb-1) + 2*L(2*xb-1, 2*yb) + 2*L(2*xb+1, 2*yb)
+ L(2*xb+1, 2*yb+1) + L(2*xb-1, 2*yb+1) + L(2*xb-1, 2*yb-1) + L(2*xb+1, 2*yb-1) + 8)>>4
필터 3의 경우:
LC(xb, yb) = (2*L(2*xb, 2*yb) + 2*L(2*xb+1, 2*yb) + L(2*xb, 2*yb-1) + L(2*xb+1, 2*yb-1) + L(2*xb, 2*yb+1) + L(2*xb+1, 2*yb+1) + 4)>>3
필터 4의 경우:
LC(xb, yb) =(4*L(2*xb, 2*yb+1)
+ 2*L(2*xb, 2*yb+2) + 2*L(2*xb, 2*yb) + 2*L(2*xb-1, 2*yb+1) + 2*L(2*xb+1, 2*yb+1) + L(2*xb+1, 2*yb+2) + L(2*xb-1, 2*yb+2) + L(2*xb-1, 2*yb) + L(2*xb+1, 2*yb) + 8)>>4
필터 5의 경우:
LC(xb, yb) =(2*L(2*xb, 2*yb+1) + 2*L(2*xb+1, 2*yb+1) + L(2*xb, 2*yb) + L(2*xb+1, 2*yb) + L(2*xb, 2*yb+2) + L(2*xb+1, 2*yb+2) + 4)>>3
필터의 다운샘플링 알고리즘은 제한이 아니라 예일 뿐이라는 점에 유의해야 한다.
본 발명의 다른 특정 실시예에서, 크로마 샘플 위치: type0 및 type2가 현재 가장 일반적이고, 2 개의 샘플 위치 타입이 대안적으로 설계될 수 있다고 생각된다(이러한 설계는 설계 2라고 지칭될 수 있다). 다시 말해, 2 개의 샘플 위치 타입은 type0 및 type2 만을 포함한다. 따라서, 2 개의 샘플 위치 타입에 대응하는 2 가지 타입의 루마 다운샘플링 필터인 필터 0 및 필터 2가 있다. 예에서, 이들 필터의 다운샘플링 알고리즘은 개별적으로 다음과 같이 설정될 수 있다.
필터 0의 경우:
LC(xb, yb) = (2*L(2*xb, 2*yb) + L(2*xb-1, 2*yb) + L(2*xb + 1, 2*yb) + 2*L(2*xb, 2*yb + 1) + L(2*xb-1, 2*yb + 1) + L(2*xb + 1, 2*yb + 1) + 4)>>3
필터 2의 경우:
LC(xb, yb) = (4*L(2*xb, 2*yb)
+ 2*L(2*xb, 2*yb+1) + 2*L(2*xb, 2*yb-1) + 2*L(2*xb-1, 2*yb) + 2*L(2*xb+1, 2*yb) + L(2*xb+1, 2*yb+1) + L(2*xb-1, 2*yb+1) + L(2*xb-1, 2*yb-1) + L(2*xb+1, 2*yb-1) + 8)>>4
필터의 다운샘플링 알고리즘은 제한이 아니라 예일 뿐이라는 점에 유의해야 한다.
전술한 2 개의 설계 이외에, 본 발명의 본 실시예는 대안적으로 다른 설계를 포함할 수 있다는 점에 유의해야 한다. 예를 들어, 3 개의 크로마 샘플 위치가 설계되고 3 개의 크로마 샘플 위치는 각각 3 가지 타입의 필터에 대응한다. 이것은 본 명세서에서 제한되지 않는다.
이러한 방식으로, 인코더 측은 먼저 현재 크로마 블록의 샘플 위치 타입을 결정한 다음, 현재 크로마 블록의 샘플 위치 타입에 기초하여 대응하는 필터 타입을 결정할 수 있다, 즉, LM 모드에서 현재 크로마 블록의 예측에 사용되는 루마 다운샘플링 필터를 결정할 수 있다.
단계(703): 제 1 표시 정보를 설정하며, 여기서 제 1 표시 정보는 필터 타입을 표시하는데 사용된다.
본 발명의 본 실시예에서, 시퀀스 파라미터 세트(sequence parameter set, SPS) 파라미터가 새로 추가될 수 있고, SPS 파라미터의 값은 현재 비디오 시퀀스의 인코딩 또는 디코딩 동안 LM 모드에서 루마 다운샘플링 필터의 타입을 표시하는데 사용된다. 인코더 측에서, 이 파라미터는 현재 시퀀스에서 크로마 샘플 위치에 기초하여 설정될 수 있다. 구체적으로, 제 1 표시 정보는 필터 타입에 기초하여 설정될 수 있다. 제 1 표시 정보는 SPS 파라미터의 값을 포함하며, 여기서 값은 인코딩 또는 디코딩 동안 크로마 블록에 대한 예측에 사용되는 루마 다운샘플링 필터의 타입을 표시하는데 사용된다.
본 발명의 구체적인 구현에서, 새로 추가된 SPS 파라미터의 신택스 요소는 "lm_mode_downsampling_filter_type_idc"로 명명될 수 있으며, 여기서 lm_mode_downsampling_filter_type_idc는 LM 모드에서 다운샘플링 필터 타입을 명시하는데 사용된다.
예를 들어, 단계(702)에서 설명된 설계 1의 경우, 6 개의 필터 타입: 필터 0, 필터 1, 필터 2, 필터 3, 필터 4 및 필터 5의 6 가지 필터 타입이 설계된다. 이 경우, 시퀀스 파라미터 세트는 다음과 같이 설계될 수 있다:
Figure 112021014316451-pct00005
lm_mode_downsampling_filter_type_idc의 값은 0 내지 5를 범위로 하며, 상이한 값은 상이한 필터에 대응한다. 예를 들어, 값 0은 필터 0에 대응하고, 값 1은 필터 1에 대응하고, 값 2는 필터 2에 대응하고, 값 3은 필터 3에 대응하고, 값 4는 필터 4에 대응하고, 값 5는 필터 5에 대응한다. 물론, 값의 전술한 설정 및 각각의 값과 필터 사이의 대응 관계는 제한이라기 보다는 단지 예일 뿐이다.다른 예를 들면, 단계(702)에서 설명된 설계 2의 경우, 2 개의 필터 타입: 필터 0 및 필터 2가 설계된다. 이 경우, 시퀀스 파라미터 세트는 다음과 같이 설계될 수 있다:
Figure 112021014316451-pct00006
lm_mode_downsampling_filter_type_idc의 값은 0 또는 1일 수 있으며, 상이한 값은 상이한 필터에 대응한다. 예를 들어, 값 0은 필터 0에 대응하고 값 1은 필터 2에 대응한다. 물론, 값의 전술한 설정 및 각각의 값과 필터 사이의 대응 관계는 제한이라기 보다는 단지 예일 뿐이다.단계(704): 제 1 표시 정보를 비트스트림으로 인코딩하고, 비트스트림을 디코더 측으로 전송한다. 특정 구현에서, 전술한 단계(701)에서 설정된 제 2 표시 정보는 또한 비트스트림으로 인코딩될 수 있고, 그런 다음 비트스트림은 디코더 측으로 전송된다. 제 2 표시 정보는 LM 모드를 표시하는데 사용되므로, 디코더 측은 LM 모드를 사용하도록 표시된다.
전술한 실시예는 인코더 측이 인코딩 프로세스 및 비트스트림 전송 프로세스를 구현하는 것 만을 설명한다는 점에 유의해야 한다. 전술한 설명에 따라, 관련 기술분야의 통상의 기술자는 인코더 측이 또한 본 발명의 실시예에서 설명된 다른 방법을 다른 절차로 구현할 수 있다는 것을 이해한다. 예를 들어, 크로마 블록 예측에서, 인코더 측에 의해 수행되는 크로마 블록의 재구성의 특정 구현에 대해서는 다음의 디코더 측의 관점에서 설명되는 관련된 방법을 참조한다. 상세한 내용은 여기서 설명되지 않는다.
본 발명의 본 실시예에서, LM 모드에 있어서, 인코더는 현재 크로마 샘플의 샘플 위치 타입에 기초하여, 현재 루마 블록에 사용되는 루마 다운샘플링 필터를 결정하고, 디코더에 대한 다운샘플링 필터의 타입을 표시 정보(예를 들어, 새로 추가된 SPS 파라미터의 값)를 통해 명시할 수 있다는 것을 알 수 있다. 이것은 두 인코더 측과 디코더 측이 모두 크로마 샘플 위치에 대응하는 필터를 획득할 수 있는 것을 보장한다. 이것은 상이한 크로마 샘플 위치가 실제로 상이한 비디오 시퀀스에 존재할 수 있는 경우를 고려하는 것이고, 그럼으로써 다운샘플링된 루마 샘플 위치와 크로마 샘플 위치 간의 일치성을 보장하고, 인코더 측의 코딩 정확도 및 코딩 효율성을 개선한다.
전술한 시스템 및 디바이스에 기초하여, 본 발명의 실시예는 다른 크로마 블록 예측 방법을 제공한다. 방법은 디코더 측의 관점에서 설명된다. 도 13를 참조하면, 방법은 이것으로 제한되는 것은 아니지만 다음의 단계를 포함한다.
단계(801): 비트스트림을 파싱하여 제 1 표시 정보를 획득한다.
구체적으로, 디코더 측은 비트스트림에서 시퀀스 파라미터 세트(SPS) 파라미터를 파싱함으로써 제 1 표시 정보를 획득할 수 있다. 예를 들어, 비트스트림의 SPS 파라미터는 구체적으로 새로 추가된 SPS 파라미터일 수 있다.
실시예에서, 제 1 표시 정보는 필터 타입을 표시하는데 사용된다.
특히, 디코더 측은 인코더 측으로부터 전송된 비트스트림을 파싱하여, 필터 타입을 표시하는데 사용되는 제 1 표시 정보를 획득한다. 제 1 표시 정보의 자세한 내용에 대해서는 도 12의 실시예의 단계(703)의 설명을 참조한다.
인코더 측과 디코더 측은 동일한 설계의 필터 타입을 사용할 수 있다. 예를 들어, (6 개의 크로마 샘플 위치에 대응하는) 6 개의 필터 타입이 인코더 측에 대해 설계되고, 6 개의 필터 타입이 또한 디코더 측에 대해 설계된다. 또한, 디코더 측의 6 개 필터 타입의 다운샘플링 알고리즘은 인코더 측의 6 개 필터 타입의 다운샘플링 알고리즘과 각각 일치한다. 6 개 필터 타입은 필터 0, 필터 1, 필터 2, 필터 3, 필터 4 및 필터 5이다. 이 경우, 디코더 측에 의해 수신된 제 1 표시 정보는 6 개의 필터 타입 중 하나를 표시하는데 사용된다. 예를 들어, 제 1 표시 정보가 SPS 파라미터 lm_mode_downsampling_filter_type_idc이고, SPS 파라미터의 값이 2 일 때, 이것은 제 1 표시 정보는 필터 타입이 필터 2라는 것을 표시한다.
다른 예를 들면, (2 개의 크로마 샘플 위치에 대응하는) 2 개의 필터 타입이 인코더 측에 대해 설계되고, 2 개의 필터 타입이 또한 디코더 측에 대해 설계된다. 또한, 디코더 측의 2 개의 필터 타입의 다운샘플링 알고리즘은 인코더 측의 2 개의 필터 타입의 다운샘플링 알고리즘과 각각 일치한다. 2 개의 필터 타입은: 필터 0과 필터 2이다. 이 경우, 디코더 측에 의해 수신된 제 1 표시 정보는 2 개의 필터 타입 중 하나를 표시하는데 사용된다. 예를 들어, 제 1 표시 정보가 SPS 파라미터 lm_mode_downsampling_filter_type_idc이고, SPS 파라미터의 값이 0 일 때, 이것은 제 1 표시 정보는 필터 타입이 필터 0라는 것을 표시한다.
다른 실시예에서, 제 1 표시 정보는 현재 크로마 블록의 샘플 위치를 표시하는데 사용되며, 현재 크로마 블록의 샘플 위치는 필터 타입과 연관된다. 그러므로 디코더 측은 현재 크로마 블록의 샘플 위치에 기초하여 필터 타입을 결정할 수 있다.
또한, 제 1 표시 정보는 구체적으로 현재 크로마 블록의 샘플 위치 타입을 표시하는데 사용될 수 있으며, 따라서 현재 크로마 블록의 샘플 위치 타입은 필터 타입과 연관된다. 그러므로 디코더 측은 현재 크로마 블록의 샘플 위치 타입에 기초하여 필터 타입을 결정할 수 있다.
예를 들어, (2 개의 크로마 샘플 위치에 대응하는) 2 개의 필터 타입이 인코더 측에 대해 설계되고, 2 개의 필터 타입이 또한 디코더 측에 대해 설계된다. 또한, 디코더 측의 2 개의 필터 타입의 다운샘플링 알고리즘은 인코더 측의 2 개의 필터 타입의 다운샘플링 알고리즘과 각각 일치한다. 2 개의 필터 타입은: 필터 0과 필터 2이다. 이 경우, 디코더 측에 의해 수신된 제 1 표시 정보는 2 개의 크로마 샘플 위치 중 하나를 표시하는데 사용된다. 예를 들어, 제 1 표시 정보가 SPS 파라미터 lm_mode_downsampling_filter_type_idc이고, SPS 파라미터의 값이 0 일 때, 제 1 크로마 샘플 위치, 예를 들면, type0이 표시된다. 샘플 위치 타입이 필터 타입과 연관되기 때문에, 디코더 측은 제 1 샘플 위치 타입 type0에 기초하여, 필터 타입이 필터 0이라는 것을 바로 결정할 수 있다. 다른 예로, SPS 파라미터의 값이 1 일 때, 제 2 크로마 샘플 위치, 예를 들면, type2가 표시된다. 샘플 위치 타입이 필터 타입과 연관되기 때문에, 디코더 측은 제 2 샘플 위치 타입 type2에 기초하여, 필터 타입이 필터 2라는 것을 바로 결정할 수 있다.
또한, 특정 실시예에서, 비트스트림을 파싱하는 동안, 비트스트림을 파싱함으로써 제 2 표시 정보가 또한 획득될 수 있다. 제 2 표시 정보는 디코더 측에 의해 현재 크로마 블록을 디코딩하기 위해 사용되는 인트라 예측 모드가 LM 모드라는 것을 표시하기 위해 사용되므로, 디코더 측은 비디오 시퀀스에서 현재 이미지에 대한 인트라 예측에 LM 모드를 사용하기로 결정한다. 또한, 디코더 측은 관련된 단계(802 내지 805)를 계속 수행한다.
단계(802): 필터 타입에 대응하는 필터를 사용함으로써 제 1 루마 블록에 대해 다운샘플링(downsampling) 동작을 수행하여, 제 2 루마 블록을 획득하며, 여기서 제 1 루마 블록은 현재 크로마 블록에 대응하는 루마 블록이다.
특정 실시예에서, 제 1 표시 정보에 대응하는 필터는 현재 이미지의 현재 크로마 블록에 대응하는 루마 블록(즉, 제 1 루마 블록)을 다운샘플링하여, 다운샘플링된 루마 블록(즉, 제 2 루마 블록) 내 각 루마 샘플의 값을 획득하는데 사용될 수 있다. 이러한 방식으로, LM 모드의 알고리즘 공식의
Figure 112021014316451-pct00007
가 획득된다.
예를 들어, 디코더 측에 대해 6 개의 필터 타입이 설계되고 제 1 표시 정보에 의해 현재 표시되는 값이 0이면, 사용된 루마 다운샘플링 필터는 필터 0이고, 샘플링 알고리즘은 다음과 같다:
LC(xb, yb) = (2*L(2*xb, 2*yb) + L(2*xb-1, 2*yb) + L(2*xb + 1, 2*yb) + 2*L(2*xb, 2*yb+1) + L(2*xb-1, 2*yb+1) + L(2*xb+1, 2*yb+1) + 4)>>3
이 경우, 필터 0은 제 1 루마 블록을 다운샘플링하여, 제 2 루마 블록 내 각 루마 샘플의 값을 획득하는데 사용될 수 있다.
다른 예로, 디코더 측에 대해 2 개의 필터 타입(예를 들어, 필터 0 및 필터 2)이 설계되고 제 1 표시 정보에 의해 현재 표시되는 값이 1이면, 사용된 루마 다운샘플링 필터는 필터 2이고, 샘플링 알고리즘은 다음과 같다:
LC(xb, yb) = (4*L(2*xb, 2*yb)
+ 2*L(2*xb, 2*yb+1) + 2*L(2*xb, 2*yb-1) + 2*L(2*xb-1, 2*yb) + 2*L(2*xb+1, 2*yb) + L(2*xb+1, 2*yb+1) + L(2*xb-1, 2*yb+1) + L(2*xb-1, 2*yb-1) + L(2*xb+1, 2*yb-1) + 8)>>4
이 경우, 필터 2는 루마 블록을 다운샘플링하여, 제 2 루마 블록 내 각 루마 샘플의 값을 획득하는데 사용될 수 있다.
단계(803): 템플릿 크로마 샘플 및 템플릿 루마 샘플을 획득한다. 템플릿 크로마 샘플은 현재 크로마 블록의 복수의 인접한 크로마 샘플을 포함하고, 템플릿 루마 샘플은 제 1 루마 블록의 복수의 인접한 루마 샘플에 대해 다운샘플링 동작을 수행함으로써 획득된다. 단계(803)의 특정 구현에 대해서는 도 9 및 도 10의 실시예의 관련된 설명을 참조한다. 본 명세서의 간결성을 위해, 상세한 내용은 여기서 다시 설명되지 않는다.
단계(802) 및 단계(803)는 순차적이지 않으며, 즉, 단계(802)는 단계(803) 이전 또는 이후에 수행될 수 있거나, 단계(802) 및 단계(803)가 동시에 수행될 수 있다는 점에 유의해야 한다.
단계(804): 템플릿 크로마 샘플 및 템플릿 루마 샘플에 기초하여 선형 모델 계수 α 및 β를 획득한다.
예를 들어, 구현에서, 선형 모델 계수 α 및 β는 최소 제곱 방법을 사용하여 계산될 수 있다. 구체적으로, 예를 들어, 선형 방정식의 시스템은 도 9에 도시된 다운샘플링된 루마 블록의 템플릿 루마 샘플 및 템플릿 크로마 샘플을 사용함으로써 구성될 수 있다. 템플릿 크로마 샘플 또는 템플릿 루마 샘플의 인접한 참조 샘플의 수량은 N으로 표시되고, L(n) 및 C(n)은 각각 n 번째 루마 샘플의 값 및 n 번째 크로마 샘플의 값을 나타낸다. 이 경우, 선형 모델 계수 α 및 β는 다음과 같다:
Figure 112021014316451-pct00008
Figure 112021014316451-pct00009
다른 예를 들면, 구현에서, 선형 모델 계수 α 및 β는 극한 방법을 사용하여 계산될 수 있다. 구체적으로, 템플릿 크로마 샘플 또는 템플릿 루마 샘플의 인접한 참조 샘플의 수량은 N으로 표시되고, L(n) 및 C(n)은 각각 n 번째 루마 샘플의 값 및 n 번째 크로마 샘플의 값을 나타낸다. 한 세트의 샘플 값 쌍은 다음과 같이 획득될 수 있다: {(L0, C0), (L1, C1), (L2, C2)...(Ln, Cn)......(LN-1,CN-1)}, 여기서 N은 선형 모델 계수를 결정하는데 사용되는 현재 크로마 블록의 인접한 샘플의 수량을 나타낸다. 도 14는 루마-크로마 좌표계에서 한 세트의 샘플 값 쌍의 분포를 도시한다. 최대 루마 값 Lmax 및 최소 루마 값 Lmin에 대응하는 값 쌍은 샘플 값 쌍 세트에서 발견된다. i 번째 샘플 B가 최대 루마 값에 대응하고, 즉 Li = Lmax이고 j 번째 샘플 A가 최소 루마 값에 대응한다고, 즉 Lj = Lmin 이라고 가정하면, 선형 모델 계수 α 및 β는 각각 다음과 같다:
Figure 112021014316451-pct00010
Figure 112021014316451-pct00011
전술한 내용은 단지 예일 뿐이지 제한이 아님을 이해해야 한다. 템플릿 크로마 샘플의 각 루마 샘플의 값 및 템플릿 루마 샘플의 각 크로마 샘플의 값이 획득된 후에, 템플릿 크로마 샘플 및 템플릿 루마 샘플에 기초한 LM 모드의 선형 모델 계수 α 및 β를 도출하는 방식은 본 발명의 본 실시예로 제한되지 않는다.
단계(805): 제 2 루마 블록 및 선형 모델 계수에 기초하여 현재 크로마 블록의 예측 값을 획득한다.
다음의 LM 모드의 알고리즘 공식에 따라,
Figure 112021014316451-pct00012
및 선형 모델 계수 α 및 β가 획득된 후에,
Figure 112021014316451-pct00013
현재 크로마 블록 내 각 크로마 샘플의 예측 값
Figure 112021014316451-pct00014
이 획득될 수 있다는 것이 이해될 수 있다.
본 발명의 본 실시예에서, 디코더 측은 비트스트림 내 표시 정보(예를 들어, 새로 추가된 SPS 파라미터의 값)에 기초하여, LM 모드에서 현재 크로마 블록에 대응하는 루마 블록을 다운샘플링하기 위해 사용되는 필터를 결정할 수 있다는 것을 알 수 있다. 이러한 방식으로, 크로마 샘플 위치에 대응하는 필터가 획득될 수 있다. 이것은 상이한 크로마 샘플 위치가 실제로 상이한 비디오 시퀀스에 존재할 수 있는 경우를 고려하는 것이고, 그럼으로써 다운샘플링된 루마 샘플 위치와 크로마 샘플 위치 간의 일치성을 보장한다.
위에서 설명된 시스템 및 디바이스에 기초하여, 본 발명의 실시예는 또 다른 크로마 블록 예측 방법을 제공한다. 방법은 디코더 측의 관점에서 설명된다. 도 15를 참조한다. 도 13과 비교하여, 도 15의 실시예의 단계(903)는 도 13의 실시예의 단계(803)와 상이하다. 방법은 다음과 같이 간략히 설명된다.
단계(901): 비트스트림을 파싱하여 제 1 표시 정보를 획득하며, 여기서 제 1 표시 정보는 필터 타입을 표시하는데 사용된다. 특정 구현에 대해서는 도 13에 도시된 실시예의 단계(801)의 설명을 참조한다. 상세한 내용은 여기서 다시 설명되지 않는다.
단계(902): 필터 타입에 대응하는 필터를 사용함으로써 제 1 루마 블록에 대해 다운샘플링 동작을 수행하여, 제 2 루마 블록을 획득하며, 여기서 제 1 루마 블록은 현재 크로마 블록에 대응하는 루마 블록이고, 제 2 루마 블록은 제 1 크로마 블록 내 한 세트의 다운샘플링된 루마 샘플을 나타낸다. 특정 구현에 대해서는 도 13에 도시된 실시예의 단계(802)의 설명을 참조한다. 상세한 내용은 여기서 다시 설명되지 않는다.
단계(903): 템플릿 크로마 샘플을 획득하고, 제 1 표시 정보에 기초하여 템플릿 루마 샘플을 획득한다.
본 발명의 본 실시예에서, 템플릿 루마 샘플의 경우, 제 1 표시 정보는 필터 타입을 표시하기 때문에, 다운샘플링 동작이 필터 타입에 대응하는 필터를 사용함으로써 제 1 루마 블록의 복수의 인접한 루마 샘플에 대해 수행되어, 템플릿 루마 샘플을 획득할 수 있다.
예를 들어, 디코더 측에 대해 6 개의 필터 타입이 설계되고 제 1 표시 정보에 의해 현재 표시되는 값이 0 이면, 사용된 루마 다운샘플링 필터는 필터 0이고, 샘플링 알고리즘은 다음과 같다:
LC(xb, yb) = (2*L(2*xb, 2*yb) + L(2*xb-1, 2*yb) + L(2*xb+1, 2*yb) + 2*L(2*xb, 2*yb+1) + L(2*xb-1, 2*yb+1) + L(2*xb+1, 2*yb+1) + 4)>>3
이 경우, 필터 0은 제 1 루마 블록의 복수의 인접한 루마 샘플에 대해 다운샘플링 동작을 수행하여, 템플릿 루마 샘플 내 각 루마 샘플의 값을 획득하는데 사용될 수 있다.
다른 예를 들면, 디코더 측에 대해 2 개의 필터 타입(예를 들어, 필터 0 및 필터 2)이 설계되고, 제 1 표시 정보에 의해 현재 표시되는 값이 1이며, 사용된 루마 다운샘플링 필터는 필터 2이고, 샘플링 알고리즘은 다음과 같다:
LC(xb, yb) = (4*L(2*xb, 2*yb)
+ 2*L(2*xb, 2*yb+1) + 2*L(2*xb, 2*yb-1) + 2*L(2*xb-1, 2*yb) + 2*L(2*xb+1, 2*yb) + L(2*xb+1, 2*yb+1) + L(2*xb-1, 2*yb+1) + L(2*xb-1, 2*yb-1) + L(2*xb+1, 2*yb-1) + 8)>>4
이 경우, 필터 2는 제 1 루마 블록의 복수의 인접한 루마 샘플에 대해 다운샘플링 동작을 수행하여, 템플릿 루마 샘플 내 각 루마 샘플의 값을 획득하는데 사용될 수 있다.
전술한 내용은 제한이라기 보다 단지 예일 뿐이라는 것에 유의해야 한다.
본 발명의 본 실시예에서, 템플릿 크로마 샘플의 경우, 템플릿 크로마 샘플은 현재 크로마 블록의 복수의 인접한 크로마 샘플을 포함한다. 템플릿 크로마 샘플을 획득하기 위한 특정 방법에 대해서는 도 9 및 도 10의 실시예의 관련된 설명을 참조한다. 상세한 내용은 여기서 다시 설명되지 않는다.
단계(904): 템플릿 크로마 샘플 및 템플릿 루마 샘플에 기초하여 선형 모델 계수 α 및 β를 획득한다. 특정 구현에 대해서는 도 13에 도시된 실시예의 단계(804)의 설명을 참조한다. 상세한 내용은 여기서 다시 설명되지 않는다.
단계(905): 제 2 루마 블록 및 선형 모델 계수에 기초하여 현재 크로마 블록의 예측 값을 획득한다. 특정 구현에 대해서는 도 13에 도시된 실시예의 단계(805)의 설명을 참조한다. 상세한 내용은 여기서 다시 설명되지 않는다.
특히, 다음의 실시예가 본 명세서에서 제공된다:
실시예 1. 크로마 블록 예측 방법으로서, 방법은,
비트스트림을 파싱하여 제 1 표시 정보를 획득하는 단계 - 제 1 표시 정보는 필터 타입을 표시하는데 사용됨 - 와,
필터 타입에 대응하는 필터를 사용함으로써 제 1 루마 블록에 대해 다운샘플링 동작을 수행하여 제 2 루마 블록을 획득하는 단계 - 제 1 루마 블록은 현재 크로마 블록에 대응하는 루마 블록임 - 와,
템플릿 크로마 샘플 및 템플릿 루마 샘플을 획득하는 단계 - 템플릿 크로마 샘플은 현재 크로마 블록의 복수의 인접한 크로마 샘플을 포함하고, 템플릿 루마 샘플은 제 1 루마 블록의 복수의 인접한 루마 샘플에 대해 다운샘플링 동작을 수행함으로써 획득됨 - 와,
템플릿 크로마 샘플 및 템플릿 루마 샘플에 기초하여 선형 모델 계수를 획득하는 단계와,
제 2 루마 블록 및 선형 모델 계수에 기초하여 현재 크로마 블록의 예측 값을 획득하는 단계를 포함한다.
실시예 2. 실시예 1에 따른 방법에서, 템플릿 루마 샘플을 획득하는 단계는,
필터 타입에 대응하는 필터를 사용함으로써 제 1 루마 블록의 복수의 인접한 루마 샘플에 대해 다운샘플링 동작을 수행하여, 템플릿 루마 샘플을 획득하는 단계를 포함한다.
실시예 3. 실시예 1 또는 2에 따른 방법에서, 템플릿 크로마 샘플은,
현재 크로마 블록의 인접한 좌측 크로마 샘플의 하나 이상의 열을 포함한다.
실시예 4. 실시예 1 또는 2에 따른 방법에서, 템플릿 크로마 샘플은,
현재 크로마 블록의 인접한 상단 크로마 샘플의 하나 이상의 열을 포함한다.
실시예 5. 실시예 1 내지 4 중 어느 하나에 따른 방법에서, 템플릿 크로마 샘플은,
현재 크로마 블록의 인접한 상단 크로마 샘플의 하나 이상의 행 및 현재 크로마 블록의 인접한 좌측 크로마 샘플의 하나 이상의 열을 포함한다.
실시예 6. 실시예 1 내지 5 중 어느 하나에 따른 방법에서, 템플릿 크로마 샘플 및 템플릿 루마 샘플을 획득하는 단계 이전에, 방법은,
비트스트림을 파싱하여 제 2 표시 정보를 획득하는 단계 - 제 2 표시 정보는 현재 디코딩에 사용되는 인트라 예측 모드가 선형 모델 LM 모드라는 것을 표시하는데 사용됨 - 를 더 포함한다.
실시예 7. 실시예 1 내지 6 중 어느 하나에 따른 방법에서,
방법은 비디오 시퀀스 내 현재 이미지 블록을 디코딩하는데 사용되며, 여기서 현재 이미지 블록은 제 1 루마 블록 및 현재 크로마 블록을 포함하고, 비디오 시퀀스에서 이미지는 4:2:0 포맷 또는 4:2:2 포맷이다.
실시예 8. 크로마 블록 예측 방법으로서, 방법은,
현재 크로마 블록의 샘플 위치 타입에 기초하여 필터 타입을 결정하는 단계와,
필터 타입에 대응하는 필터를 사용함으로써 제 1 루마 블록에 대해 다운샘플링 동작을 수행하여 제 2 루마 블록을 획득하는 단계 - 제 1 루마 블록은 현재 크로마 블록에 대응하는 루마 블록임 - 와,
템플릿 크로마 샘플 및 템플릿 루마 샘플을 획득하는 단계 - 템플릿 크로마 샘플은 현재 크로마 블록의 복수의 인접한 크로마 샘플을 포함하고, 템플릿 루마 샘플은 제 1 루마 블록의 복수의 인접한 루마 샘플에 대해 다운샘플링 동작을 수행함으로써 획득됨 - 와,
템플릿 크로마 샘플 및 템플릿 루마 샘플에 기초하여 선형 모델 계수를 획득하는 단계와,
제 2 루마 블록 및 선형 모델 계수에 기초하여 현재 크로마 블록의 예측 값을 획득하는 단계를 포함한다.
실시예 9. 실시예 8에 따른 방법에서, 현재 크로마 블록의 샘플 위치 타입에 기초하여 필터 타입을 결정하기 이전에, 방법은,
비트스트림을 파싱하여 제 1 표시 정보를 획득하는 단계를 더 포함하고, 여기서 제 1 표시 정보는 현재 크로마 블록의 샘플 위치를 표시하는데 사용된다.
실시예 10. 실시예 9에 따른 방법에서, 비트스트림을 파싱하여 제 1 표시 정보를 획득하는 단계는,
비트스트림에서 시퀀스 파라미터 세트(SPS) 파라미터를 파싱하여 제 1 표시 정보를 획득하는 단계를 포함한다.
실시예 11. 크로마 블록 예측 방법으로서, 방법은,
현재 크로마 블록의 샘플 위치 타입에 기초하여 필터 타입을 결정하는 단계와,
제 1 표시 정보를 설정하는 단계 - 제 1 표시 정보는 필터 타입을 표시하는데 사용됨 - 와,
제 1 표시 정보를 비트스트림으로 인코딩하는 단계를 포함한다.
실시예 12. 실시예 11에 따른 방법에서, 현재 크로마 블록의 샘플 위치 타입은 다음과 같은 샘플 위치 타입:
샘플 위치 타입 type0, 샘플 위치 타입 type1, 샘플 위치 타입 type2, 샘플 위치 타입 type3, 샘플 위치 타입 type4 및 샘플 위치 타입 type5 중 적어도 하나이다.
실시예 13. 실시예 11에 따른 방법에서, 현재 크로마 블록의 샘플 위치 타입은 다음과 같은 샘플 위치 타입:
샘플 위치 타입 type0 및 샘플 위치 타입 type2 중 적어도 하나이다.
실시예 14. 실시예 11 내지 13 중 어느 하나에 따른 방법에서, 방법은,
복수의 인트라 예측 모드로부터 선형 모델 LM 모드를 선택하는 단계와,
제 2 표시 정보를 설정하는 단계 - 제 2 표시 정보는 선형 모델 LM 모드를 표시하는데 사용됨 - 와,
제 2 표시 정보를 비트스트림으로 인코딩하는 단계를 더 포함한다.
실시예 15. 실시예 11 내지 14 중 어느 하나에 따른 방법에서, 방법은,
제 1 표시 정보에 기초하여, 필터 타입에 대응하는 필터를 결정하는 단계;
필터 타입에 대응하는 필터를 사용함으로써 제 1 루마 블록을 다운샘플링하여 제 2 루마 블록을 획득하는 단계 - 제 1 루마 블록은 현재 크로마 블록에 대응하는 루마 블록임 - 와,
템플릿 크로마 샘플 및 템플릿 루마 샘플을 획득하는 단계 - 템플릿 크로마 샘플은 현재 크로마 블록의 복수의 인접한 크로마 샘플을 포함하고, 템플릿 루마 샘플은 제 1 루마 블록의 복수의 인접한 루마 샘플을 다운샘플링함으로써 획득됨 - 와,
템플릿 크로마 샘플 및 템플릿 루마 샘플에 기초하여 선형 모델 계수를 획득하는 단계와,
제 2 루마 블록 및 선형 모델 계수에 기초하여 현재 크로마 블록의 예측 값을 획득하는 단계를 더 포함한다.
본 발명의 본 실시예에서, LM 모드의 경우, 템플릿 루마 샘플을 도출하는 다운샘플링 프로세스 및 현재 블록의 다운샘플링 프로세스에서, 디코더 측은 비트스트림 내 표시 정보(예를 들어, 새로 추가된 SPS 파라미터의 값)에 기초하여, LM 모드에서 현재 크로마 블록에 대응하는 루마 블록을 다운샘플링하는데 사용되는 필터를 결정할 수 있다는 것을 알 수 있다. 이러한 방식으로, 크로마 샘플 위치에 대응하는 필터가 획득될 수 있다. 이것은 상이한 크로마 샘플 위치가 실제로 상이한 비디오 시퀀스에 존재할 수 있는 경우를 고려하는 것이고, 그럼으로써 다운샘플링된 루마 샘플 위치와 크로마 샘플 위치 간의 일치성을 보장한다.
다음에는 전술한 실시예에서 설명된 인코딩 방법 및 디코딩 방법의 애플리케이션 및 인코딩 방법 및 디코딩 방법이 사용되는 시스템을 설명한다.
도 16은 콘텐츠 배포 서비스를 구현하기 위한 콘텐츠 공급 시스템(3100)의 블록도이다. 콘텐츠 공급 시스템(3100)은 캡처 디바이스(3102) 및 단말 디바이스(3106)를 포함하고, 선택적으로 디스플레이(3126)를 포함한다. 캡처 디바이스(3102)는 통신 링크(3104)를 통해 단말 디바이스(3106)와 통신한다. 통신 링크는 위에서 설명한 통신 채널(13)을 포함할 수 있다. 통신 링크(3104)는 이것으로 제한되는 것은 아니지만 Wi-Fi, 이더넷, 케이블, 무선(3G/4G/5G), USB, 이들의 임의의 종류의 조합 등을 포함한다.
캡처 디바이스(3102)는 데이터를 생성하고, 전술한 실시예에서 설명된 바와 같은 인코딩 방법을 사용함으로써 데이터를 인코딩할 수 있다. 대안적으로, 캡처 디바이스(3102)는 데이터를 스트리밍 서버(도면에 도시되지 않음)에 배포할 수 있고, 서버는 데이터를 인코딩하고 인코딩된 데이터를 단말 디바이스(3106)로 전송한다. 캡처 디바이스(3102)는 이것으로 제한되는 것은 아니지만 카메라, 스마트폰, 태블릿 컴퓨터, 컴퓨터, 노트북 컴퓨터, 비디오 회의 시스템, PDA, 차량 탑재 디바이스, 이들의 조합 등을 포함한다. 예를 들어, 캡처 디바이스(3102)는 위에서 설명한 바와 같은 소스 디바이스(12)를 포함할 수 있다. 데이터가 비디오를 포함할 때, 캡처 디바이스(3102)에 포함된 비디오 인코더(20)는 실제로 비디오 인코딩 처리를 수행할 수 있다. 데이터가 오디오(예를 들어, 음성)를 포함할 때, 캡처 디바이스(3102)에 포함된 오디오 인코더는 실제로 오디오 인코딩 처리를 수행할 수 있다. 일부 실제 시나리오의 경우, 캡처 디바이스(3102)는 인코딩된 비디오 데이터와 인코딩된 오디오 데이터를 함께 다중화하여 이를 배포한다. 다른 실제 시나리오의 경우, 예를 들어, 비디오 회의 시스템에서, 인코딩된 오디오 데이터와 인코딩된 비디오 데이터는 다중화되지 않는다. 캡처 디바이스(3102)는 인코딩된 오디오 데이터 및 인코딩된 비디오 데이터를 별개로 단말 디바이스(3106)에 배포한다.
콘텐츠 공급 시스템(3100)에서, 단말 디바이스(310)는 인코딩된 데이터를 수신하여 재생한다. 단말 디바이스(3106)는 데이터 수신 및 복원 기능이 있는 디바이스, 이를테면, 스마트폰 또는 태블릿 컴퓨터(3108), 컴퓨터 또는 노트북 컴퓨터(3110), 네트워크 비디오 레코더(network video recorder, NVR)/디지털 비디오 레코더(digital video recorder, DVR)(3112), TV(3114), 셋톱 박스(set top box, STB)(3116), 비디오 회의 시스템(3118), 비디오 감시 시스템(3120), 개인용 정보 단말기(personal digital assistant, PDA)(3122), 차량 탑재 디바이스(3124), 또는 전술한 인코딩된 데이터를 디코딩할 수 있는 이들의 임의의 종류의 조합일 수 있다. 예를 들어, 캡처 디바이스(3106)는 위에서 설명한 바와 같은 목적지 디바이스(14)를 포함할 수 있다. 인코딩된 데이터가 비디오를 포함할 때, 단말 디바이스에 포함된 비디오 디코더(30)는 비디오 디코딩을 수행하도록 우선순위가 지정된다. 인코딩된 데이터가 오디오를 포함할 때, 단말 디바이스에 포함된 오디오 디코더는 오디오 디코딩 처리를 수행하도록 우선순위가 지정된다.
디스플레이가 구비된 단말 디바이스, 예를 들어, 스마트폰 또는 태블릿 컴퓨터(3108), 컴퓨터 또는 노트북 컴퓨터(3110), 네트워크 비디오 레코더(network video recorder, NVR)/디지털 비디오 레코더(digital video recorder, DVR)(3112), TV(3114), 개인용 정보 단말기(personal digital assistant, PDA)(3122), 또는 차량 탑재 디바이스(3124), 네트워크 비디오 레코더(네트워크 비디오 레코더, NVR)/디지털 비디오 레코더(디지털 비디오 레코더, DVR)(3112), TV(3114), 개인용 정보 단말기(Personal Digital Assistant, PDA)(3122) 또는 차량 탑재 디바이스(3124)의 경우, 단말 디바이스는 디코딩된 데이터를 단말 디바이스의 디스플레이에 공급할 수 있다. 디스플레이가 구비되지 않은 단말 디바이스, 예를 들어, STB(3116), 비디오 회의 시스템(3118) 또는 비디오 감시 시스템(3120)의 경우, 디코딩된 데이터를 수신하고 디스플레이하도록 외부 디스플레이(3126)가 연결된다.
이러한 시스템의 각각의 디바이스가 인코딩 또는 디코딩을 수행할 때, 위에서 설명된 실시예에서 설명된 바와 같은 이미지 인코딩 디바이스 또는 이미지 디코딩 디바이스가 사용될 수 있다.
도 17은 단말 디바이스(3106)의 예시적인 구조의 다이어그램이다. 단말 디바이스(3106)가 캡처 디바이스(3102)로부터 스트림을 수신한 후에, 프로토콜 프로세싱 유닛(3202)은 스트림의 전송 프로토콜을 분석한다. 프로토콜은 이것으로 제한되는 것은 아니지만, 실시간 스트리밍 프로토콜(Real Time Streaming Protocol, RTSP), 하이퍼텍스트 전송 프로토콜(Hyper Text Transfer Protocol, HTTP), HTTP 라이브 스트리밍 프로토콜(HTTP Live streaming protocol, HLS), MPEG-DASH, 실시간 전송 프로토콜(Real-time Transport protocol, RTP), 실시간 메시징 프로토콜(Real Time Messaging Protocol, RTMP), 이들의 임의의 종류의 조합 등을 포함한다.
스트림을 처리한 후에, 프로토콜 프로세싱 유닛(3202)은 스트림 파일을 생성한다. 파일은 디멀티플렉서 유닛(3204)으로 출력된다. 디멀티플렉서 유닛(3204)은 다중화된 데이터를 인코딩된 오디오 데이터와 인코딩된 비디오 데이터로 분리할 수 있다. 위에서 설명한 바와 같이, 다른 실제 시나리오의 경우, 예를 들어, 비디오 회의 시스템에서, 인코딩된 오디오 데이터와 인코딩된 비디오 데이터는 다중화되지 않는다. 이러한 상황에서, 인코딩된 데이터는 디멀티플렉서 유닛(3204)을 통하지 않고 비디오 디코더(3206) 및 오디오 디코더(3208)로 전송된다.
비디오 기본 스트림(elementary stream, ES), 오디오 ES 및 선택적으로 자막은 역다중화 처리를 통해 생성된다. 비디오 디코더(3206)는 전술한 실시예에서 설명된 비디오 디코더(30)를 포함하고, 전술한 실시예에 도시된 디코딩 방법을 사용하여 비디오 ES를 디코딩하여 비디오 프레임을 생성하고, 데이터를 동기화 유닛(3212)에 공급한다. 오디오 디코더(3208)는 오디오 ES를 디코딩하여 오디오 프레임을 생성하고, 데이터를 동기화 유닛(3212)에 공급한다. 대안적으로, 비디오 프레임은 비디오 프레임이 동기화 유닛(3212)에 공급되기 전에 버퍼(도면에 도시되지 않음)에 저장될 수 있다. 마찬가지로, 오디오 프레임은 오디오 프레임이 동기화 유닛(3212)에 공급되기 전에 버퍼(도면에 도시되지 않음)에 저장될 수 있다.
동기화 유닛(3212)은 비디오 프레임과 오디오 프레임을 동기화하고, 비디오/오디오를 비디오/오디오 디스플레이(3214)에 제공한다. 예를 들어, 동기화 유닛(3212)은 비디오 정보 및 오디오 정보의 프리젠테이션을 동기화한다. 정보는 인코딩된 오디오 및 비디오 데이터의 표현에 관한 타임 스탬프 및 데이터 스트림의 전달에 관한 타임 스탬프를 사용함으로써 신택스 요소에 인코딩될 수 있다.
스트림에 자막이 포함되면, 자막 디코더(3210)는 자막을 디코딩하고, 자막을 비디오 프레임 및 오디오 프레임과 동기화하고, 비디오/오디오/자막을 비디오/오디오/자막 디스플레이(3216)에 제공한다.
본 발명은 전술한 시스템으로 제한되지 않으며, 전술한 실시예의 이미지 인코딩 디바이스 또는 이미지 디코딩 디바이스는 다른 시스템, 예를 들어, 차량 시스템에 통합될 수 있다.
전술한 실시예의 전부 또는 일부는 소프트웨어, 하드웨어, 펌웨어, 또는 이들의 임의의 조합에 의해 구현될 수 있다. 소프트웨어가 구현에 사용될 때, 실시예는 완전히 또는 부분적으로 컴퓨터 프로그램 제품의 형태로 구현될 수 있다. 컴퓨터 프로그램 제품은 하나 이상의 컴퓨터 명령어를 포함한다. 컴퓨터 프로그램 명령어가 컴퓨터에 로드되어 실행될 때, 본 발명의 실시예에 따른 모든 또는 일부의 절차 또는 기능이 발생된다. 컴퓨터는 범용 컴퓨터, 특수 목적 컴퓨터, 컴퓨터 네트워크 또는 다른 프로그램 가능 디바이스일 수 있다. 컴퓨터 명령어는 컴퓨터 판독 가능 저장 매체에 저장될 수 있거나, 또는 컴퓨터 판독 가능 저장 매체로부터 다른 컴퓨터 판독 가능 저장 매체로 전송될 수 있다. 예를 들어, 컴퓨터 명령어는 유선(예를 들어, 동축 케이블, 광학 섬유 또는 디지털 가입자 회선(digital subscriber line)) 또는 무선(예를 들어, 적외선, 마이크로웨이브 등) 방식으로 웹사이트, 컴퓨터, 서버 또는 데이터 센터로부터 다른 웹 사이트, 컴퓨터, 서버 또는 데이터 센터로 전송될 수 있다. 컴퓨터 판독 가능 저장 매체는 컴퓨터에 의해 액세스 가능한 임의의 사용 가능한 매체이거나, 하나 이상의 사용 가능한 매체를 통합하는 서버 또는 데이터 센터와 같은 데이터 저장 디바이스일 수 있다. 사용 가능한 매체는 자기 매체(예를 들어, 플로피 디스크, 하드 디스크 또는 자기 테이프), 광학 매체(예를 들어, DVD), 반도체 매체(예를 들어, 솔리드 스테이트 드라이브(solid-state drive)) 등일 수 있다.
전술한 실시예에서, 실시예의 설명은 각자에 초점을 맞추고 있다. 실시예에서 상세하게 설명되지 않은 부분에 대해서는 다른 실시예의 관련 설명을 참조한다.

Claims (32)

  1. 크로마 블록 예측 방법으로서,
    비트스트림을 파싱하여 제 1 표시 정보를 획득하는 단계와,
    상기 제 1 표시 정보의 값이 제 1 값일 때 제 1 필터를 사용함으로써 또는 상기 제 1 표시 정보의 값이 제 2 값일 때 제 2 필터를 사용함으로써 제 1 루마 블록에 대해 다운샘플링 동작을 수행하여 제 2 루마 블록을 획득하는 단계 - 상기 제 1 루마 블록은 현재 크로마 블록에 대응하는 루마 블록이고, 상기 현재 크로마 블록의 샘플 위치가 상기 제 1 루마 블록의 샘플 위치와 수직 방향으로 불일치할 때 상기 제 1 표시 정보의 값은 상기 제 1 값이며, 상기 불일치의 값은 0.5임 - 와,
    복수의 크로마 샘플 및 복수의 루마 샘플을 획득하는 단계 - 상기 복수의 크로마 샘플은 상기 현재 크로마 블록의 복수의 인접한 크로마 샘플을 포함하고, 상기 복수의 루마 샘플은 상기 제 1 루마 블록의 복수의 인접한 루마 샘플에 대해 다운샘플링 동작을 수행함으로써 획득됨 - 와,
    상기 복수의 크로마 샘플 및 상기 복수의 루마 샘플에 기초하여 선형 모델 계수를 획득하는 단계와,
    상기 제 2 루마 블록 및 상기 선형 모델 계수에 기초하여 상기 현재 크로마 블록의 예측 값을 획득하는 단계를 포함하는
    크로마 블록 예측 방법.
  2. 제 1 항에 있어서,
    상기 복수의 루마 샘플을 획득하는 것은,
    상기 제 1 표시 정보의 값이 상기 제 1 값일 때 상기 제 1 필터를 사용함으로써 또는 상기 제 1 표시 정보의 값이 상기 제 2 값일 때 상기 제 2 필터를 사용함으로써 상기 제 1 루마 블록의 상기 복수의 인접한 루마 샘플에 대해 상기 다운샘플링 동작을 수행하여 상기 복수의 루마 샘플을 획득하는 것을 포함하는
    크로마 블록 예측 방법.
  3. 제 1 항 또는 제 2 항에 있어서,
    상기 복수의 크로마 샘플 및 복수의 루마 샘플을 획득하는 단계 이전에, 상기 비트스트림을 파싱하여 제 2 표시 정보를 획득하는 단계를 더 포함하되,
    상기 제 2 표시 정보는 현재 디코딩에 사용되는 인트라 예측 모드가 선형 모델 LM 모드라는 것을 표시하는 데 사용되는
    크로마 블록 예측 방법.
  4. 제 1 항 또는 제 2 항에 있어서,
    상기 방법은 비디오 시퀀스 내의 현재 이미지 블록을 디코딩하는 데 사용되고, 상기 현재 이미지 블록은 상기 제 1 루마 블록 및 상기 현재 크로마 블록을 포함하고, 상기 비디오 시퀀스에서 이미지는 4:2:0 포맷 또는 4:2:2 포맷인
    크로마 블록 예측 방법.
  5. 제 1 항 또는 제 2 항에 있어서,
    상기 비트스트림을 파싱하여 제 1 표시 정보를 획득하는 단계는,
    상기 비트스트림에서 시퀀스 파라미터 세트(sequence parameter set)(SPS) 파라미터를 파싱하여 상기 제 1 표시 정보를 획득하는 단계를 포함하는
    크로마 블록 예측 방법.
  6. 제 5 항에 있어서,
    상기 SPS 파라미터의 값이 0일 때 상기 제 1 필터가 상기 다운샘플링 동작을 수행하는데 사용되거나; 또는 상기 SPS 파라미터의 값이 1일 때 상기 제 2 필터가 상기 다운샘플링 동작을 수행하는데 사용되는
    크로마 블록 예측 방법.
  7. 제 1 항 또는 제 2 항에 있어서,
    상기 제 1 필터는 아래에서 정의되는 필터 0이고,
    LC(xb,yb) = (2*L(2*xb,2*yb) + L(2*xb-1,2*yb) + L(2*xb+1,2*yb) + 2* L(2*xb,2*yb+1) + L(2*xb-1,2*yb+1) + L(2*xb+1,2*yb+1)+4)>>3,
    여기서 LC(xb, yb)는 상기 현재 크로마 블록의 샘플 위치(xb, yb)에 대응하는 상기 제 2 루마 블록의 값을 나타내는
    크로마 블록 예측 방법.
  8. 크로마 블록 예측 방법으로서,
    현재 크로마 블록의 샘플 위치의 샘플 위치 타입에 기초하여 상기 현재 크로마 블록에 대응하는 제 1 루마 블록을 다운샘플링하는데 사용되는 필터의 필터 타입을 결정하는 단계 - 상기 현재 크로마 블록의 샘플 위치가 상기 제 1 루마 블록의 샘플 위치와 수직 방향으로 불일치할 때 상기 필터 타입은 제 1 타입이고, 상기 불일치의 값은 0.5임 - 와,
    상기 필터 타입이 상기 제 1 타입일 때 제 1 표시 정보를 제 1 값으로 설정하거나 또는 상기 필터 타입이 제 2 타입일 때 제 1 표시 정보를 제 2 값으로 설정하는 단계와,
    상기 제 1 표시 정보를 비트스트림으로 인코딩하는 단계를 포함하는
    크로마 블록 예측 방법.
  9. 제 8 항에 있어서,
    상기 현재 크로마 블록의 샘플 위치 타입은:
    상기 루마 다운샘플링 필터의 필터 0에 대응하는 샘플 위치 타입 type0 및 상기 루마 다운샘플링 필터의 필터 2에 대응하는 샘플 위치 타입 type2의 두 개의 샘플 위치 타입 중 적어도 하나인
    크로마 블록 예측 방법.
  10. 제 8 항 또는 제 9 항에 있어서,
    복수의 인트라 예측 모드로부터 선형 모델 LM 모드를 선택하는 단계와,
    제 2 표시 정보를 설정하는 단계 - 상기 제 2 표시 정보는 상기 선형 모델 LM 모드를 표시하는 데 사용됨 - 와,
    상기 제 2 표시 정보를 비트스트림으로 인코딩하는 단계를 더 포함하는
    크로마 블록 예측 방법.
  11. 삭제
  12. 삭제
  13. 제 8 항 또는 제 9 항에 있어서,
    상기 제 1 타입은 아래에서 정의되는 필터 0이고,
    LC(xb,yb) = (2*L(2*xb,2*yb) + L(2*xb-1,2*yb) + L(2*xb+1,2*yb) + 2* L(2*xb,2*yb+1) + L(2*xb-1,2*yb+1) + L(2*xb+1,2*yb+1)+4)>>3,
    여기서 LC(xb, yb)는 상기 현재 크로마 블록의 샘플 위치(xb, yb)에 대응하는 제 2 루마 블록의 값을 나타내는
    크로마 블록 예측 방법.
  14. 제 8 항 또는 제 9 항에 있어서,
    상기 제 1 표시 정보를 인코딩하는 단계는 상기 제 1 표시 정보를 상기 비트스트림의 시퀀스 파라미터 세트(SPS) 파라미터로 인코딩하는 단계를 포함하는
    크로마 블록 예측 방법.
  15. 제 8 항 또는 제 9 항에 있어서,
    상기 방법은 비디오 시퀀스 내의 현재 이미지 블록을 인코딩하는데 사용되며, 상기 현재 이미지 블록은 제 1 루마 블록 및 상기 현재 크로마 블록을 포함하고, 상기 비디오 시퀀스에서 이미지는 4:2:0 포맷 또는 4:2:2 포맷인
    크로마 블록 예측 방법.
  16. 서로 결합된 비휘발성 메모리 및 프로세서를 포함하는 디코딩 디바이스로서,
    상기 메모리는 프로그램 명령어를 저장하도록 구성되고, 상기 프로그램 명령어는 상기 프로세서가 제 1 항 또는 제 2 항에 따른 방법을 수행할 수 있게 하는
    디코딩 디바이스.
  17. 서로 결합된 비휘발성 메모리 및 프로세서를 포함하는 인코딩 디바이스로서,
    상기 메모리는 프로그램 명령어를 저장하도록 구성되고, 상기 프로그램 명령어는 상기 프로세서가 제 8 항 또는 제 9 항에 따른 상기 방법을 수행할 수 있게 하는
    인코딩 디바이스.
  18. 제 1 항 또는 제 2 항의 방법에 의해 디코딩된 비트스트림을 포함하는
    비일시적 컴퓨터 판독가능 저장 매체.
  19. 삭제
  20. 삭제
  21. 삭제
  22. 삭제
  23. 삭제
  24. 삭제
  25. 삭제
  26. 삭제
  27. 삭제
  28. 삭제
  29. 삭제
  30. 삭제
  31. 삭제
  32. 삭제
KR1020217003515A 2018-09-05 2019-09-05 크로마 블록 예측 방법 및 디바이스 KR102549670B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020237021569A KR20230098717A (ko) 2018-09-05 2019-09-05 인코딩 방법, 인코딩된 비트스트림 및 인코딩 디바이스

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201811035923.5A CN110881126B (zh) 2018-09-05 2018-09-05 色度块预测方法以及设备
CN201811035923.5 2018-09-05
PCT/CN2019/104527 WO2020048507A1 (zh) 2018-09-05 2019-09-05 色度块预测方法以及设备

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020237021569A Division KR20230098717A (ko) 2018-09-05 2019-09-05 인코딩 방법, 인코딩된 비트스트림 및 인코딩 디바이스

Publications (2)

Publication Number Publication Date
KR20210025107A KR20210025107A (ko) 2021-03-08
KR102549670B1 true KR102549670B1 (ko) 2023-06-29

Family

ID=69721558

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020217003515A KR102549670B1 (ko) 2018-09-05 2019-09-05 크로마 블록 예측 방법 및 디바이스
KR1020237021569A KR20230098717A (ko) 2018-09-05 2019-09-05 인코딩 방법, 인코딩된 비트스트림 및 인코딩 디바이스

Family Applications After (1)

Application Number Title Priority Date Filing Date
KR1020237021569A KR20230098717A (ko) 2018-09-05 2019-09-05 인코딩 방법, 인코딩된 비트스트림 및 인코딩 디바이스

Country Status (9)

Country Link
US (2) US11431991B2 (ko)
EP (1) EP3820152B1 (ko)
JP (2) JP7431803B2 (ko)
KR (2) KR102549670B1 (ko)
CN (5) CN118018746A (ko)
BR (1) BR112021001991A2 (ko)
MX (1) MX2021002486A (ko)
SG (1) SG11202100113RA (ko)
WO (1) WO2020048507A1 (ko)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210070368A (ko) * 2018-10-12 2021-06-14 광동 오포 모바일 텔레커뮤니케이션즈 코포레이션 리미티드 비디오 이미지 요소 예측 방법 및 장치, 컴퓨터 저장 매체
CN113826393A (zh) * 2019-05-03 2021-12-21 韩国电子通信研究院 图像编码/解码方法和装置以及存储比特流的记录介质
CN113497937B (zh) * 2020-03-20 2023-09-05 Oppo广东移动通信有限公司 图像编码方法、图像解码方法及相关装置
WO2021247883A1 (en) * 2020-06-03 2021-12-09 Beijing Dajia Internet Information Technology Co., Ltd. Chroma coding enhancement in cross-component correlation
CN114979629A (zh) * 2021-02-24 2022-08-30 腾讯科技（深圳）有限公司 图像块预测样本的确定方法及编解码设备
CN113365067B (zh) * 2021-05-21 2023-03-14 中山大学 基于位置加权的色度线性预测方法、装置、设备及介质
WO2024061136A1 (en) * 2022-09-19 2024-03-28 Douyin Vision Co., Ltd. Method, apparatus, and medium for video processing

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018514119A (ja) * 2015-03-20 2018-05-31 クアルコム，インコーポレイテッド 線形モデル予測モードのためのダウンサンプリングプロセス

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102229157B1 (ko) * 2011-06-24 2021-03-17 엘지전자 주식회사 영상 정보 부호화 및 복호화 방법
MX2014000163A (es) * 2011-06-28 2014-02-19 Samsung Electronics Co Ltd Metodo y aparato de prediccion para componente de croma de imagen que utiliza componente de luma de imagen.
US9807403B2 (en) * 2011-10-21 2017-10-31 Qualcomm Incorporated Adaptive loop filtering for chroma components
CN103096057B (zh) * 2011-11-08 2016-06-29 华为技术有限公司 一种色度帧内预测方法和装置
CN103369315B (zh) * 2012-04-06 2016-08-24 华为技术有限公司 色度分量的帧内预测模式的编码、解码方法、设备及***
US10321140B2 (en) 2015-01-22 2019-06-11 Mediatek Singapore Pte. Ltd. Method of video coding for chroma components
US10652575B2 (en) 2016-09-15 2020-05-12 Qualcomm Incorporated Linear model chroma intra prediction for video coding

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018514119A (ja) * 2015-03-20 2018-05-31 クアルコム，インコーポレイテッド 線形モデル予測モードのためのダウンサンプリングプロセス

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Jianle Chen et al., "Algorithm Description of Joint Exploration Test Model 3", JVET-C1001, version 3, 2016.7.6.*

Also Published As

Publication number Publication date
JP7431803B2 (ja) 2024-02-15
EP3820152B1 (en) 2024-05-15
CN110881126A (zh) 2020-03-13
WO2020048507A1 (zh) 2020-03-12
BR112021001991A2 (pt) 2021-04-27
EP3820152A4 (en) 2021-05-12
EP3820152A1 (en) 2021-05-12
US20210160514A1 (en) 2021-05-27
KR20210025107A (ko) 2021-03-08
JP2023083292A (ja) 2023-06-15
US20220368928A1 (en) 2022-11-17
CN111801943A (zh) 2020-10-20
CN110881126B (zh) 2024-01-30
KR20230098717A (ko) 2023-07-04
US11431991B2 (en) 2022-08-30
CN117896531A (zh) 2024-04-16
MX2021002486A (es) 2021-05-12
CN118018746A (zh) 2024-05-10
CN111801943B (zh) 2021-08-31
US11962787B2 (en) 2024-04-16
SG11202100113RA (en) 2021-02-25
JP2021535652A (ja) 2021-12-16
CN117915101A (zh) 2024-04-19

Similar Documents

Publication Publication Date Title
US11689723B2 (en) Apparatus and method for inverse quantization
US11930171B2 (en) Video encoder, a video decoder and corresponding methods with improved block partitioning
KR102549670B1 (ko) 크로마 블록 예측 방법 및 디바이스
JP2022140481A (ja) ルーマおよびクロマ成分についてｉｂｃ専用バッファおよびデフォルト値リフレッシュを使用するエンコーダ、デコーダおよび対応する方法
WO2020143594A1 (zh) 视频解码方法、视频编码方法、装置、设备及存储介质
KR20210077759A (ko) 이미지 예측 방법 및 디바이스
JP2022524357A (ja) エンコーダ、デコーダ、及び対応するインター予測方法
US11856228B2 (en) Deblocking filter for sub-partition boundaries caused by intra sub-partition coding tool
US20240056596A1 (en) Encoder, decoder and corresponding methods of most probable mode list construction for blocks with multi-hypothesis prediction
US20240121446A1 (en) Encoder, a decoder and corresponding methods of deblocking filter adaptation
KR20210129729A (ko) 인트라-예측을 위한 방법 및 장치
KR20210103562A (ko) 인트라 예측을 위한 교차-성분 선형 모델링의 방법 및 장치
KR20210145824A (ko) 제산 없는 인트라 예측을 위한 방법 및 장치
RU2787713C2 (ru) Способ и устройство предсказания блока цветности
WO2020073928A1 (en) Inter prediction method and apparatus

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
A107 Divisional application of patent
GRNT Written decision to grant