KR20240016957A - Video coding using nested block motion compensation, combined inter-intra prediction, and/or luma mapping and chroma scaling - Google Patents

Abstract

비디오 데이터를 디코딩하기 위한 예시적인 디바이스는 회로부에서 구현되는 하나 이상의 프로세서들을 포함하고 상기 하나 이상의 프로세서들은: 비디오 데이터의 현재 블록에 대한 인터-예측 블록을 생성하는 것; 비디오 데이터의 상기 현재 블록에 대한 인트라-예측 블록을 생성하는 것; 상기 인터-예측 블록 및 상기 인트라-예측 블록으로부터 비디오 데이터의 상기 현재 블록에 대한 최종 예측 블록을 생성하는 것으로서, 상기 최종 예측 블록을 생성하는 동안 조합된 인터/인트라-예측 (CIIP) 모드, 중첩된 블록 모션 보상 (OBMC), 및 크로마 스케일링을 이용한 루마 맵핑 (LMCS) 의 각각을 수행하는 것을 포함하는, 상기 최종 예측 블록을 생성하는 것; 및 상기 최종 예측 블록을 사용하여 비디오 데이터의 상기 현재 블록을 디코딩하는 것을 행하도록 구성된다. 최종 예측 블록을 생성하기 위해, 프로세서들은 제1 인터-예측 서브 블록에 대해 LMCS 를 수행하고, CIIP를 사용하여 LMCS-맵핑된 제1 인터-예측 서브 블록을 인트라예측 블록과 조합하고, 제1 CIIP 예측 블록과 제 2 인터 예측 서브 블록 사이에서 OBMC 를 수행할 수 있다. An exemplary device for decoding video data includes one or more processors implemented in circuitry that are configured to: generate an inter-prediction block for a current block of video data; generating an intra-prediction block for the current block of video data; generating a final prediction block for the current block of video data from the inter-prediction block and the intra-prediction block, wherein a combined inter/intra-prediction (CIIP) mode, overlapped generating the final prediction block, including performing each of block motion compensation (OBMC) and luma mapping with chroma scaling (LMCS); and decoding the current block of video data using the last prediction block. To generate the final prediction block, processors perform LMCS on the first inter-prediction subblock, combine the LMCS-mapped first inter-prediction subblock with an intra-prediction block using CIIP, and OBMC can be performed between the prediction block and the second inter prediction subblock.

Description

중첩된 블록 모션 보상, 조합된 인터-인트라 예측, 및/또는 루마 맵핑 및 크로마 스케일링을 사용하는 비디오 코딩Video coding using nested block motion compensation, combined inter-intra prediction, and/or luma mapping and chroma scaling

본 출원은 2022 년 5 월 5 일에 출원된 미국 특허출원 제 17/662,140 호, 및 2021 년 6 월 4 일에 출원된 미국 가출원 제 63/197,190 호에 대한 우선권을 주장하며, 이 출원들 각각의 전체 내용은 본 명세서에 참조로 포함된다. 2022년 5월 5일에 출원된 미국 특허출원 제 17/662,140 호는 2021년 6월 4일에 출원된 미국 가출원 제 63/197,190 호의 이익을 주장한다. This application claims priority to U.S. Patent Application No. 17/662,140, filed May 5, 2022, and U.S. Provisional Application No. 63/197,190, filed June 4, 2021, each of which The entire contents are incorporated herein by reference. U.S. Patent Application No. 17/662,140, filed May 5, 2022, claims the benefit of U.S. Provisional Application No. 63/197,190, filed June 4, 2021.

본 개시는 비디오 인코딩 및 비디오 디코딩을 포함하는 비디오 코딩에 관한 것이다.This disclosure relates to video coding, including video encoding and video decoding.

디지털 비디오 능력들은 디지털 텔레비전들, 디지털 직접 브로드캐스트 시스템들, 무선 브로드캐스트 시스템들, 개인용 디지털 보조기들 (PDA들), 랩톱 또는 데스크톱 컴퓨터들, 태블릿 컴퓨터들, e-북 리더들, 디지털 카메라들, 디지털 레코딩 디바이스들, 디지털 미디어 플레이어들, 비디오 게이밍 디바이스들, 비디오 게임 콘솔들, 셀룰러 또는 위성 무선 전화기들, 소위 "스마트 폰들", 비디오 텔레컨퍼런싱 디바이스들, 비디오 스트리밍 디바이스들 등을 포함한, 광범위한 디바이스들에 통합될 수도 있다. 디지털 비디오 디바이스들은 MPEG-2, MPEG-4, ITU-T H.263, ITU-T H.264/MPEG-4, Part 10, AVC (Advanced Video Coding), ITU-T H.265/HEVC (High Efficiency Video Coding), ITU-T H.266/VVC (Versatile Video Coding) 에 의해 정의된 표준들, 및 이러한 표준들의 확장들에서 설명된 것들과 같은 비디오 코딩 기술들, 뿐만 아니라 오픈 미디어를 위한 얼라이언스에 의해 개발된 AOMedia 비디오 1 (AV1) 과 같은 독점적 비디오 코덱들/포맷들을 구현한다. 비디오 디바이스들은 그러한 비디오 코딩 기술들을 구현함으로써 디지털 비디오 정보를 더 효율적으로 송신, 수신, 인코딩, 디코딩, 및/또는 저장할 수도 있다. Digital video capabilities include digital televisions, digital direct broadcast systems, wireless broadcast systems, personal digital assistants (PDAs), laptop or desktop computers, tablet computers, e-book readers, digital cameras, A wide range of devices, including digital recording devices, digital media players, video gaming devices, video game consoles, cellular or satellite wireless phones, so-called “smart phones,” video teleconferencing devices, video streaming devices, etc. It may also be integrated into . Digital video devices are MPEG-2, MPEG-4, ITU-T H.263, ITU-T H.264/MPEG-4, Part 10, AVC (Advanced Video Coding), ITU-T H.265/HEVC (High Efficiency Video Coding), the standards defined by ITU-T H.266/VVC (Versatile Video Coding), and extensions of these standards, as well as those described in the Alliance for Open Media. Implements proprietary video codecs/formats such as AOMedia Video 1 (AV1) developed by AOMedia. Video devices may transmit, receive, encode, decode, and/or store digital video information more efficiently by implementing such video coding techniques.

비디오 코딩 기술들은 비디오 시퀀스들에 내재하는 리던던시를 감소 또는 제거하기 위해 공간 (인트라-픽처) 예측 및/또는 시간 (인터-픽처) 예측을 포함한다. 블록 기반 비디오 코딩을 위해, 비디오 슬라이스 (예를 들어, 비디오 픽처 또는 비디오 픽처의 부분) 는 비디오 블록들로 파티셔닝될 수도 있고, 이 비디오 블록들은 또한 코딩 트리 유닛들 (CTU들), 코딩 유닛들 (CU들) 및/또는 코딩 노드들로서 지칭될 수도 있다. 픽처의 인트라-코딩된 (I) 슬라이스에서의 비디오 블록들은 동일한 픽처의 이웃하는 블록들에서의 기준 샘플들에 대한 공간 예측을 사용하여 인코딩된다. 픽처의 인터-코딩된 (P 또는 B) 슬라이스내의 비디오 블록들은 동일한 픽처내의 이웃하는 블록들에 있는 기준 샘플들에 대한 공간 예측, 또는 다른 기준 픽처들 내의 기준 샘플들에 대한 시간 예측을 이용할 수도 있다. 화상들은 프레임들로 지칭될 수도 있고, 기준 화상들은 기준 프레임들로 지칭될 수도 있다.Video coding techniques include spatial (intra-picture) prediction and/or temporal (inter-picture) prediction to reduce or eliminate redundancy inherent in video sequences. For block-based video coding, a video slice (e.g., a video picture or a portion of a video picture) may be partitioned into video blocks, which may also be divided into coding tree units (CTUs), coding units ( CUs) and/or coding nodes. Video blocks in an intra-coded (I) slice of a picture are encoded using spatial prediction with respect to reference samples in neighboring blocks of the same picture. Video blocks within an inter-coded (P or B) slice of a picture may use spatial prediction relative to reference samples in neighboring blocks within the same picture, or temporal prediction relative to reference samples in other reference pictures. . Pictures may be referred to as frames, and reference pictures may be referred to as reference frames.

일반적으로, 본 개시는 중첩된 블록 모션 보상 (OBMC), 조합된 인터/인트라 예측 (CIIP), 및 루마 맵핑 및 크로마 스케일링 (LMCS) 의 다양한 조합들을 사용하여 비디오 데이터를 코딩하기 위한 기술들을 설명한다. 본 개시는 이들 다양한 코딩 모드들이 어떤 모드들이 인에이블 또는 디스에이블되는지에 따라 조합 또는 배제될 수 있는 다양한 기술들을 설명한다. In general, this disclosure describes techniques for coding video data using various combinations of overlapped block motion compensation (OBMC), combined inter/intra prediction (CIIP), and luma mapping and chroma scaling (LMCS). . This disclosure describes various techniques by which these various coding modes can be combined or excluded depending on which modes are enabled or disabled.

일 예에서, 비디오 데이터를 디코딩하기 위한 방법은 비디오 데이터의 현재 블록에 대한 인터-예측 블록을 생성하는 단계; 비디오 데이터의 상기 현재 블록에 대한 인트라-예측 블록을 생성하는 단계; 상기 인터-예측 블록 및 상기 인트라-예측 블록으로부터 비디오 데이터의 상기 현재 블록에 대한 최종 예측 블록을 생성하는 단계로서, 상기 최종 예측 블록을 생성하는 동안 조합된 인터/인트라-예측 (CIIP) 모드, 중첩된 블록 모션 보상 (OBMC), 및 크로마 스케일링을 이용한 루마 맵핑 (LMCS) 의 각각을 수행하는 것을 포함하는, 상기 최종 예측 블록을 생성하는 단계; 및 상기 최종 예측 블록을 사용하여 비디오 데이터의 상기 현재 블록을 디코딩하는 단계를 포함한다.In one example, a method for decoding video data includes generating an inter-prediction block for a current block of video data; generating an intra-prediction block for the current block of video data; generating a final prediction block for the current block of video data from the inter-prediction block and the intra-prediction block, wherein a combined inter/intra-prediction (CIIP) mode, overlaps while generating the final prediction block. generating the final prediction block, including performing each of block motion compensation (OBMC), and luma mapping with chroma scaling (LMCS); and decoding the current block of video data using the final prediction block.

또 다른 예에서, 비디오 데이터를 디코딩하기 위한 장치는 비디오 데이터를 저장하도록 구성된 메모리; 및 회로부에서 구현되는 하나 이상의 프로세서들을 포함하고, 상기 하나 이상의 프로세서들은: 비디오 데이터의 현재 블록에 대한 인터-예측 블록을 생성하는 것; 상기 비디오 데이터의 상기 현재 블록에 대한 인트라-예측 블록을 생성하는 것; 상기 인터-예측 블록 및 상기 인트라-예측 블록으로부터 비디오 데이터의 상기 현재 블록에 대한 최종 예측 블록을 생성하는 것으로서, 상기 최종 예측 블록을 생성하는 동안 조합된 인터/인트라-예측 (CIIP) 모드, 중첩된 블록 모션 보상 (OBMC), 및 크로마 스케일링을 이용한 루마 맵핑 (LMCS) 의 각각을 수행하는 것을 포함하는, 상기 최종 예측 블록을 생성하는 것; 및 상기 최종 예측 블록을 사용하여 상기 비디오 데이터의 상기 현재 블록을 디코딩하는 것을 행하도록 구성된다.In another example, an apparatus for decoding video data includes a memory configured to store video data; and one or more processors implemented in circuitry, the one or more processors configured to: generate an inter-prediction block for a current block of video data; generating an intra-prediction block for the current block of video data; generating a final prediction block for the current block of video data from the inter-prediction block and the intra-prediction block, wherein a combined inter/intra-prediction (CIIP) mode, overlapped generating the final prediction block, including performing each of block motion compensation (OBMC), and luma mapping with chroma scaling (LMCS); and decoding the current block of video data using the last prediction block.

또 다른 예에서, 컴퓨터 판독가능 저장 매체는 그에 저장된 명령들을 갖고, 상기 명령들은, 실행될 때, 프로세서로 하여금, 비디오 데이터의 현재 블록에 대한 인터-예측 블록을 생성하는 것; 비디오 데이터의 상기 현재 블록에 대한 인트라-예측 블록을 생성하는 것; 상기 인터-예측 블록 및 상기 인트라-예측 블록으로부터 비디오 데이터의 상기 현재 블록에 대한 최종 예측 블록을 생성하는 것으로서, 상기 최종 예측 블록을 생성하는 동안 조합된 인터/인트라-예측 (CIIP) 모드, 중첩된 블록 모션 보상 (OBMC), 및 크로마 스케일링을 이용한 루마 맵핑 (LMCS) 의 각각을 수행하는 것을 포함하는, 상기 최종 예측 블록을 생성하는 것; 및 상기 최종 예측 블록을 사용하여 비디오 데이터의 상기 현재 블록을 디코딩하는 것을 행하게 한다.In another example, a computer-readable storage medium has instructions stored thereon that, when executed, cause a processor to: generate an inter-prediction block for a current block of video data; generating an intra-prediction block for the current block of video data; generating a final prediction block for the current block of video data from the inter-prediction block and the intra-prediction block, wherein a combined inter/intra-prediction (CIIP) mode, overlapped generating the final prediction block, including performing each of block motion compensation (OBMC), and luma mapping with chroma scaling (LMCS); and decoding the current block of video data using the last prediction block.

또 다른 예에서, 비디오 데이터를 디코딩하기 위한 장치는 비디오 데이터의 현재 블록에 대한 인터-예측 블록을 형성하기 위한 수단; 비디오 데이터의 상기 현재 블록에 대한 인트라-예측 블록을 생성하기 위한 수단; 상기 인터-예측 블록 및 상기 인트라-예측 블록으로부터 비디오 데이터의 상기 현재 블록에 대한 최종 예측 블록을 생성하기 위한 수단으로서, 상기 최종 예측 블록을 생성하는 동안 조합된 인터/인트라 예측 (CIIP) 모드, 중첩된 블록 모션 보상 (OBMC), 및 크로마 스케일링을 이용한 루마 맵핑 (LMCS) 의 각각을 수행하는 것을 포함하는, 상기 최종 예측 블록을 생성하기 위한 수단; 및 상기 최종 예측 블록을 사용하여 비디오 데이터의 상기 현재 블록을 디코딩하기 위한 수단을 포함한다.In another example, an apparatus for decoding video data includes means for forming an inter-prediction block for a current block of video data; means for generating an intra-prediction block for the current block of video data; Means for generating a final prediction block for the current block of video data from the inter-prediction block and the intra-prediction block, wherein a combined inter/intra prediction (CIIP) mode, overlaps while generating the final prediction block. means for generating the final prediction block, comprising performing each of: block motion compensation (OBMC), and luma mapping with chroma scaling (LMCS); and means for decoding the current block of video data using the last prediction block.

하나 이상의 예의 상세가 첨부 도면 및 이하의 설명에 기재된다. 다른 특징, 목적 및 이점은 설명, 도면, 및 청구항으로부터 명백해질 것이다.Details of one or more examples are set forth in the accompanying drawings and the description below. Other features, objects and advantages will become apparent from the description, drawings, and claims.

도 1 은 본 개시의 기술들을 수행할 수도 있는 예시의 비디오 인코딩 및 디코딩 시스템을 예시하는 블록도이다.
도 2 는 본 개시의 기술들을 수행할 수도 있는 예시적인 비디오 인코더를 예시하는 블록도이다.
도 3 은 본 개시의 기술들을 수행할 수도 있는 예시적인 비디오 디코더를 예시하는 블록도이다.
도 4 는 크로마 스케일링 (LMCS) 을 이용한 루마 맵핑을 수행하기 위한 예시적인 아키텍처를 예시하는 개념도이다.
도 5a 및 도 5b 는 중첩 블록 모션 보상 (OBMC) 에서 사용되는 서브 블록들의 예들을 나타내는 개념도들이다.
도 6 는 본 개시의 기술들에 따른, 현재 블록을 인코딩하기 위한 예시적인 방법을 예시한 플로우차트이다.
도 7 은 본 개시의 기술들에 따른, 현재 블록을 디코딩하기 위한 예시적인 방법을 예시한 플로우차트이다.
도 8 은 OBMC 및 CIIP 를 함께 사용하여 비디오 데이터의 블록을 예측하는 예시적인 방법을 예시하는 흐름도이다.
도 9 는 CIIP, OBMC, 및 LMCS 를 함께 사용하여 비디오 데이터의 블록을 예측하는 예시적인 방법을 예시하는 흐름도이다.
도 10 은 CIIP, OBMC, 및 LMCS 를 함께 사용하여 비디오 데이터의 블록을 예측하는 또 다른 예시적인 방법을 예시하는 플로우차트이다.1 is a block diagram illustrating an example video encoding and decoding system that may perform the techniques of this disclosure.
2 is a block diagram illustrating an example video encoder that may perform the techniques of this disclosure.
3 is a block diagram illustrating an example video decoder that may perform the techniques of this disclosure.
4 is a conceptual diagram illustrating an example architecture for performing luma mapping using chroma scaling (LMCS).
5A and 5B are conceptual diagrams showing examples of sub-blocks used in overlapping block motion compensation (OBMC).
6 is a flowchart illustrating an example method for encoding a current block, in accordance with the techniques of this disclosure.
7 is a flow chart illustrating an example method for decoding a current block, in accordance with the techniques of this disclosure.
8 is a flow diagram illustrating an example method of predicting a block of video data using OBMC and CIIP together.
9 is a flow diagram illustrating an example method of predicting a block of video data using CIIP, OBMC, and LMCS together.
10 is a flow chart illustrating another example method for predicting blocks of video data using CIIP, OBMC, and LMCS together.

도 1 은 본 개시의 기술들을 수행할 수도 있는 예시적인 비디오 인코딩 및 디코딩 시스템 (100) 을 나타내는 블록도이다. 본 개시의 기술은 일반적으로 비디오 데이터를 코딩 (인코딩 및/또는 디코딩) 하는 것과 관련된다. 일반적으로, 비디오 데이터는 비디오를 프로세싱하기 위한 임의의 데이터를 포함한다. 따라서, 비디오 데이터는 원시, 코딩되지 않은 비디오, 인코딩된 비디오, 디코딩된 (예를 들어, 재구성된) 비디오, 및 시그널링 데이터와 같은 비디오 메타데이터를 포함할 수도 있다. 1 is a block diagram illustrating an example video encoding and decoding system 100 that may perform the techniques of this disclosure. The techniques of this disclosure generally relate to coding (encoding and/or decoding) video data. Generally, video data includes arbitrary data for processing video. Accordingly, video data may include video metadata such as raw, uncoded video, encoded video, decoded (e.g., reconstructed) video, and signaling data.

도 1 에 도시된 바와 같이, 시스템 (100) 은 이 예에서 목적지 디바이스 (116) 에 의해 디코딩되고 디스플레이될 인코딩된 비디오 데이터를 제공하는 소스 디바이스 (102) 를 포함한다. 특히, 소스 디바이스 (102) 는 비디오 데이터를 컴퓨터 판독가능 매체 (110) 를 통해 목적지 디바이스 (116) 에 제공한다. 소스 디바이스 (102) 및 목적지 디바이스 (116) 는 데스크탑 컴퓨터들, 노트북 (즉, 랩탑) 컴퓨터들, 모바일 디바이스들, 태블릿 컴퓨터들, 셋탑 박스들, 전화기 핸드셋들, 예를 들어 스마트폰들, 텔레비전들, 카메라들, 디스플레이 디바이스들, 디지털 미디어 플레이어들, 비디오 게이밍 콘솔들, 비디오 스트리밍 디바이스, 브로드캐스트 수신기 디바이스들 등을 포함한, 광범위한 디바이스들 중 임의의 것을 포함할 수도 있다. 일부 경우들에 있어서, 소스 디바이스 (102) 및 목적지 디바이스 (116) 는 무선 통신을 위해 구비될 수도 있고, 따라서, 무선 통신 디바이스들로서 지칭될 수도 있다. As shown in FIG. 1 , system 100 includes a source device 102 that provides encoded video data to be decoded and displayed by destination device 116 in this example. In particular, source device 102 provides video data to destination device 116 via computer-readable medium 110. Source device 102 and destination device 116 may include desktop computers, notebook (i.e., laptop) computers, mobile devices, tablet computers, set-top boxes, telephone handsets, e.g., smartphones, televisions. , cameras, display devices, digital media players, video gaming consoles, video streaming devices, broadcast receiver devices, etc. In some cases, source device 102 and destination device 116 may be equipped for wireless communication and thus may be referred to as wireless communication devices.

도 1 의 예에서, 소스 디바이스 (102) 는 비디오 소스 (104), 메모리 (106), 비디오 인코더 (200), 및 출력 인터페이스 (108) 를 포함한다. 목적지 디바이스 (116) 는 입력 인터페이스 (122), 비디오 디코더 (300), 메모리 (120), 및 디스플레이 디바이스 (118) 를 포함한다. 본 개시에 따르면, 소스 디바이스 (102) 의 비디오 인코더 (200) 및 목적지 디바이스 (116) 의 비디오 디코더 (300) 는 중첩된 블록 모션 보상 (OBMC), 조합된 인터/인트라 예측 (CIIP), 및 루마 맵핑 및 크로마 스케일링 (LMCS) 의 다양한 조합들을 사용하여 비디오 데이터를 코딩하기 위한 기술들을 적용하도록 구성될 수도 있다. 따라서, 소스 디바이스 (102) 는 비디오 인코딩 디바이스의 예를 나타내는 한편, 목적지 디바이스 (116) 는 비디오 디코딩 디바이스의 예를 나타낸다. 다른 예들에서, 소스 디바이스 및 목적지 디바이스는 다른 컴포넌트들 또는 배열들을 포함할 수도 있다. 예를 들어, 소스 디바이스 (102) 는 외부 카메라와 같은 외부 비디오 소스로부터 비디오 데이터를 수신할 수도 있다. 마찬가지로, 목적지 디바이스 (116) 는 통합된 디스플레이 디바이스를 포함하기 보다는, 외부 디스플레이 디바이스와 인터페이스 접속될 수도 있다.In the example of FIG. 1 , source device 102 includes video source 104, memory 106, video encoder 200, and output interface 108. Destination device 116 includes input interface 122, video decoder 300, memory 120, and display device 118. According to the present disclosure, video encoder 200 of source device 102 and video decoder 300 of destination device 116 include overlapped block motion compensation (OBMC), combined inter/intra prediction (CIIP), and luma. It may be configured to apply techniques for coding video data using various combinations of mapping and chroma scaling (LMCS). Accordingly, source device 102 represents an example of a video encoding device, while destination device 116 represents an example of a video decoding device. In other examples, the source device and destination device may include other components or arrangements. For example, source device 102 may receive video data from an external video source, such as an external camera. Likewise, destination device 116 may be interfaced with an external display device, rather than including an integrated display device.

도 1 에 도시된 바와 같은 시스템 (100) 은 단지 하나의 예일 뿐이다. 일반적으로, 임의의 디지털 비디오 인코딩 및/또는 디코딩 디바이스는 중첩된 블록 모션 보상 (OBMC), 조합된 인터/인트라 예측 (CIIP), 및 루마 맵핑 및 크로마 스케일링 (LMCS) 의 다양한 조합들을 사용하여 비디오 데이터를 코딩하기 위한 기술들을 수행할 수 있다. 소스 디바이스 (102) 및 목적지 디바이스 (116) 는, 소스 디바이스 (102) 가 목적지 디바이스 (116) 로의 송신을 위해 코딩된 비디오 데이터를 생성하는 그러한 코딩 디바이스들의 예들일 뿐이다. 본 개시는 데이터의 코딩 (인코딩 및/또는 디코딩) 을 수행하는 디바이스로서 "코딩" 디바이스를 언급한다. 따라서, 비디오 인코더 (200) 및 비디오 디코더 (300) 는 코딩 디바이스들, 특히 비디오 인코더 및 비디오 디코더의 예들을 각각 나타낸다. 일부 예들에서, 소스 디바이스 (102) 및 목적지 디바이스 (116) 는, 소스 디바이스 (102) 및 목적지 디바이스 (116) 의 각각이 비디오 인코딩 및 디코딩 컴포넌트들을 포함하도록 실질적으로 대칭적인 방식으로 동작할 수도 있다. 따라서, 시스템 (100) 은 예를 들어, 비디오 스트리밍, 비디오 플레이백, 비디오 브로드캐스팅, 또는 비디오 텔레포니를 위해, 소스 디바이스 (102) 와 목적지 디바이스 (116) 사이의 일방향 또는 양방향 비디오 송신을 지원할 수도 있다. System 100 as shown in FIG. 1 is just one example. Typically, any digital video encoding and/or decoding device uses various combinations of overlapped block motion compensation (OBMC), combined inter/intra prediction (CIIP), and luma mapping and chroma scaling (LMCS) to encode video data. You can perform techniques for coding. Source device 102 and destination device 116 are just examples of such coding devices where source device 102 generates coded video data for transmission to destination device 116. This disclosure refers to a “coding” device as a device that performs coding (encoding and/or decoding) of data. Accordingly, video encoder 200 and video decoder 300 represent examples of coding devices, particularly a video encoder and a video decoder, respectively. In some examples, source device 102 and destination device 116 may operate in a substantially symmetrical manner such that each of source device 102 and destination device 116 includes video encoding and decoding components. Accordingly, system 100 may support one-way or two-way video transmission between source device 102 and destination device 116, for example, for video streaming, video playback, video broadcasting, or video telephony. .

일반적으로, 비디오 소스 (104) 는 비디오 데이터 (즉, 원시, 코딩되지 않은 비디오 데이터) 의 소스를 나타내며 픽처들에 대한 데이터를 인코딩하는 비디오 인코더 (200) 에 비디오 데이터의 순차적인 일련의 픽처들 (또한 "프레임들" 로서도 지칭됨) 을 제공한다. 소스 디바이스 (102) 의 비디오 소스 (104) 는 비디오 카메라와 같은 비디오 캡처 디바이스, 이전에 캡처된 원시 비디오를 포함하는 비디오 아카이브, 및/또는 비디오 콘텐츠 제공자로부터 비디오를 수신하기 위한 비디오 피드 인터페이스를 포함할 수도 있다. 추가의 대안으로서, 비디오 소스 (104) 는 컴퓨터 그래픽 기반 데이터를 소스 비디오로서, 또는 라이브 비디오, 아카이브된 비디오, 및 컴퓨터 생성된 비디오의 조합을 생성할 수도 있다. 각각의 경우에, 비디오 인코더 (200) 는 캡처되거나, 미리-캡처되거나, 또는 컴퓨터 생성된 비디오 데이터를 인코딩한다. 비디오 인코더 (200) 는 픽처들을 수신된 순서 (때때로 "디스플레이 순서" 로서 지칭됨) 로부터 코딩을 위한 코딩 순서로 재배열할 수도 있다. 비디오 인코더 (200) 는 인코딩된 비디오 데이터를 포함하는 비트스트림을 생성할 수도 있다. 그 후, 소스 디바이스 (102) 는 예를 들어, 목적지 디바이스 (116) 의 입력 인터페이스 (122) 에 의한 수신 및/또는 검색을 위해 인코딩된 비디오 데이터를 출력 인터페이스 (108) 를 통해 컴퓨터 판독가능 매체 (110) 상으로 출력할 수도 있다. Generally, video source 104 represents a source of video data (i.e., raw, uncoded video data) and transmits a sequential series of pictures (i.e., a sequential series of pictures) of the video data to video encoder 200, which encodes the data for the pictures. Also referred to as “frames”). Video source 104 of source device 102 may include a video capture device, such as a video camera, a video archive containing previously captured raw video, and/or a video feed interface for receiving video from a video content provider. It may be possible. As a further alternative, video source 104 may generate computer graphics-based data as the source video, or a combination of live video, archived video, and computer-generated video. In each case, video encoder 200 encodes captured, pre-captured, or computer-generated video data. Video encoder 200 may reorder the pictures from the received order (sometimes referred to as “display order”) into the coding order for coding. Video encoder 200 may generate a bitstream containing encoded video data. Source device 102 then transmits the encoded video data to a computer-readable medium (e.g., via output interface 108) for reception and/or retrieval by input interface 122 of destination device 116. 110) It can also be output in print.

소스 디바이스 (102) 의 메모리 (106) 및 목적지 디바이스 (116) 의 메모리 (120) 는 범용 메모리들을 나타낸다. 일부 예들에서, 메모리들 (106, 120) 은 원시 비디오 데이터, 예를 들어, 비디오 소스 (104) 로부터의 원시 비디오 및 비디오 디코더 (300) 로부터의 원시, 디코딩된 비디오 데이터를 저장할 수도 있다. 추가적으로 또는 대안적으로, 메모리들 (106, 120) 은 예를 들어, 비디오 인코더 (200) 및 비디오 디코더 (300) 에 의해 실행가능한 소프트웨어 명령들을 각각 저장할 수도 있다. 메모리 (106) 및 메모리 (120) 는 이 예에서 비디오 인코더 (200) 및 비디오 디코더 (300) 와 별도로 도시되지만, 비디오 인코더 (200) 및 비디오 디코더 (300) 는 또한 기능적으로 유사하거나 동등한 목적들을 위한 내부 메모리들을 포함할 수도 있음이 이해되어야 한다. 더욱이, 메모리들 (106, 120) 은, 예를 들어, 비디오 인코더 (200) 로부터 출력되고 비디오 디코더 (300) 에 입력되는 인코딩된 비디오 데이터를 저장할 수도 있다. 일부 예들에서, 메모리들 (106, 120) 의 부분들은 예를 들어, 원시의, 디코딩된, 및/또는 인코딩된 비디오 데이터를 저장하기 위해 하나 이상의 비디오 버퍼들로서 할당될 수도 있다. Memory 106 of source device 102 and memory 120 of destination device 116 represent general-purpose memories. In some examples, memories 106, 120 may store raw video data, e.g., raw video from video source 104 and raw, decoded video data from video decoder 300. Additionally or alternatively, memories 106, 120 may store software instructions executable by, for example, video encoder 200 and video decoder 300, respectively. Although memory 106 and memory 120 are shown separately from video encoder 200 and video decoder 300 in this example, video encoder 200 and video decoder 300 may also serve functionally similar or equivalent purposes. It should be understood that it may also include internal memories. Moreover, memories 106, 120 may store encoded video data output from video encoder 200 and input to video decoder 300, for example. In some examples, portions of memories 106, 120 may be allocated as one or more video buffers, for example, to store raw, decoded, and/or encoded video data.

컴퓨터 판독가능 매체 (110) 는 인코딩된 비디오 데이터를 소스 디바이스 (102) 로부터 목적지 디바이스 (116) 로 송신할 수 있는 임의의 타입의 매체 또는 디바이스를 나타낼 수도 있다. 일 예에서, 컴퓨터 판독가능 매체 (110) 는, 소스 디바이스 (102) 로 하여금, 인코딩된 비디오 데이터를 직접 목적지 디바이스 (116) 에 실시간으로, 예를 들어, 무선 주파수 네트워크 또는 컴퓨터 기반 네트워크를 통해 송신할 수 있게 하기 위한 통신 매체를 나타낸다. 무선 통신 프로토콜과 같은 통신 표준에 따라, 출력 인터페이스 (108) 는 인코딩된 비디오 데이터를 포함하는 송신 신호를 변조할 수도 있고, 입력 인터페이스 (122) 는 수신된 송신 신호를 복조할 수도 있다. 통신 매체는 임의의 무선 또는 유선 통신 매체, 예를 들어 라디오 주파수 (radio frequency; RF) 스펙트럼 또는 하나 이상의 물리적 송신 라인들을 포함할 수도 있다. 통신 매체는 패킷 기반 네트워크, 예를 들어 로컬 영역 네트워크, 광역 네트워크, 또는 인터넷과 같은 글로벌 네트워크의 부분을 형성할 수도 있다. 통신 매체는 라우터들, 스위치들, 기지국들, 또는 소스 디바이스 (102) 로부터 목적지 디바이스 (116) 로의 통신을 가능하게 하는데 유용할 수도 있는 임의의 다른 장비를 포함할 수도 있다. Computer-readable medium 110 may represent any type of medium or device capable of transmitting encoded video data from source device 102 to destination device 116. In one example, computer-readable medium 110 allows source device 102 to transmit encoded video data directly to destination device 116 in real time, e.g., via a radio frequency network or computer-based network. It represents a communication medium to enable this. Depending on a communication standard, such as a wireless communication protocol, output interface 108 may modulate a transmitted signal containing encoded video data and input interface 122 may demodulate a received transmitted signal. Communication media may include any wireless or wired communication medium, such as the radio frequency (RF) spectrum or one or more physical transmission lines. The communication medium may form part of a packet-based network, eg, a local area network, a wide area network, or a global network such as the Internet. Communication media may include routers, switches, base stations, or any other equipment that may be useful to facilitate communication from source device 102 to destination device 116.

일부 예들에서, 소스 디바이스 (102) 는 출력 인터페이스 (108) 로부터 저장 디바이스 (112) 로 인코딩된 데이터를 출력할 수도 있다. 유사하게, 목적지 디바이스 (116) 는 입력 인터페이스 (122) 를 통해 저장 디바이스 (112) 로부터의 인코딩된 데이터에 액세스할 수도 있다. 저장 디바이스 (112) 는 하드 드라이브, 블루-레이 디스크들, DVD들, CD-ROM들, 플래시 메모리, 휘발성 또는 비휘발성 메모리, 또는 인코딩된 비디오 데이터를 저장하기 위한 임의의 다른 적합한 디지털 저장 매체들과 같은 다양한 분산된 또는 로컬로 액세스된 데이터 저장 매체들 중 임의의 것을 포함할 수도 있다. In some examples, source device 102 may output encoded data from output interface 108 to storage device 112. Similarly, destination device 116 may access encoded data from storage device 112 via input interface 122. Storage device 112 may include hard drives, Blu-ray disks, DVDs, CD-ROMs, flash memory, volatile or non-volatile memory, or any other suitable digital storage media for storing encoded video data. It may include any of a variety of distributed or locally accessed data storage media, such as:

일부 예들에서, 소스 디바이스 (102) 는, 소스 디바이스 (102) 에 의해 생성된 인코딩된 비디오 데이터를 저장할 수도 있는 파일 서버 (114) 또는 다른 중간 저장 디바이스로 인코딩된 비디오 데이터를 출력할 수도 있다. 목적지 디바이스 (116) 는 스트리밍 또는 다운로드를 통해 파일 서버 (114) 로부터의 저장된 비디오 데이터에 액세스할 수도 있다. In some examples, source device 102 may output encoded video data to file server 114 or another intermediate storage device that may store encoded video data generated by source device 102. Destination device 116 may access stored video data from file server 114 via streaming or download.

파일 서버 (114) 는 인코딩된 비디오 데이터를 저장하고 그 인코딩된 비디오 데이터를 목적지 디바이스 (116) 로 송신할 수도 있는 임의의 타입의 서버 디바이스일 수도 있다. 파일 서버 (114) 는 (예를 들어, 웹 사이트에 대한) 웹 서버, (파일 전송 프로토콜 (FTP) 또는 FLUTE (File Delivery over Unidirectional Transport) 프로토콜과 같은) 파일 전송 프로토콜 서비스를 제공하도록 구성된 서버, 콘텐츠 전달 네트워크 (CDN) 디바이스, 하이퍼텍스트 전송 프로토콜 (HTTP) 서버, 멀티미디어 브로드캐스트 멀티캐스트 서비스 (MBMS) 또는 강화된 MBMS (eMBMS) 서버, 및/또는 NAS (network attached storage) 디바이스를 나타낼 수도 있다. 파일 서버 (114) 는 추가적으로 또는 대안적으로, DASH (Dynamic Adaptive Streaming over HTTP), HTTP 라이브 스트리밍 (HLS), 실시간 스트리밍 프로토콜 (RTSP), HTTP 동적 스트리밍 등과 같은 하나 이상의 HTTP 스트리밍 프로토콜들을 구현할 수도 있다. File server 114 may be any type of server device that may store encoded video data and transmit the encoded video data to destination device 116. File server 114 is a web server (e.g., for a website), a server configured to provide file transfer protocol services (such as the File Transfer Protocol (FTP) or the File Delivery over Unidirectional Transport (FLUTE) protocol), and content. It may represent a delivery network (CDN) device, a hypertext transfer protocol (HTTP) server, a multimedia broadcast multicast service (MBMS) or enhanced MBMS (eMBMS) server, and/or a network attached storage (NAS) device. File server 114 may additionally or alternatively implement one or more HTTP streaming protocols, such as Dynamic Adaptive Streaming over HTTP (DASH), HTTP Live Streaming (HLS), Real-Time Streaming Protocol (RTSP), HTTP Dynamic Streaming, etc.

목적지 디바이스 (116) 는 인터넷 접속을 포함한, 임의의 표준 데이터 접속을 통해 파일 서버 (114) 로부터의 인코딩된 비디오 데이터에 액세스할 수도 있다. 이것은 파일 서버 (114) 상에 저장된 인코딩된 비디오 데이터에 액세스하기에 적합한, 무선 채널 (예를 들어, Wi-Fi 접속), 유선 접속 (예를 들어, 디지털 가입자 라인 (digital subscriber line; DSL), 케이블 모뎀 등), 또는 양자의 조합을 포함할 수도 있다. 입력 인터페이스 (122) 는 파일 서버 (114) 로부터 미디어 데이터를 검색 또는 수신하기 위한 위에서 논의된 다양한 프로토콜들 중 임의의 하나 이상, 또는 미디어 데이터를 검색하기 위한 다른 그러한 프로토콜들에 따라 동작하도록 구성될 수도 있다.Destination device 116 may access encoded video data from file server 114 via any standard data connection, including an Internet connection. This is suitable for accessing encoded video data stored on the file server 114, over a wireless channel (e.g., Wi-Fi connection), a wired connection (e.g., digital subscriber line (DSL), cable modem, etc.), or a combination of both. Input interface 122 may be configured to operate in accordance with any one or more of the various protocols discussed above for retrieving or receiving media data from file server 114, or other such protocols for retrieving media data. there is.

출력 인터페이스 (108) 및 입력 인터페이스 (122) 는 무선 송신기들/수신기들, 모뎀들, 유선 네트워킹 컴포넌트들 (예를 들어, 이더넷 카드들), 다양한 IEEE 802.11 표준들 중 임의의 것에 따라 동작하는 무선 통신 구성 요소들, 또는 다른 물리적 구성 요소들을 나타낼 수도 있다. 출력 인터페이스 (108) 및 입력 인터페이스 (122) 가 무선 컴포넌트를 포함하는 예들에서, 출력 인터페이스 (108) 및 입력 인터페이스 (122) 는 4G, 4G-LTE (Long-Term Evolution), LTE 어드밴스드, 5G 등과 같은 셀룰러 통신 표준에 따라, 인코딩된 비디오 데이터와 같은 데이터를 전송하도록 구성될 수도 있다. 출력 인터페이스 (108) 가 무선 송신기를 포함하는 일부 예들에서, 출력 인터페이스 (108) 및 입력 인터페이스 (122) 는 IEEE 802.11 사양, IEEE 802.15 사양 (예를 들어, ZigBee™), Bluetooth™ 표준 등과 같은 다른 무선 표준들에 따라, 인코딩된 비디오 데이터와 같은 데이터를 전송하도록 구성될 수도 있다. 일부 예들에서, 소스 디바이스 (102) 및/또는 목적지 디바이스 (116) 는 개별의 시스템-온-칩 (system-on-a-chip; SoC) 디바이스들을 포함할 수도 있다. 예를 들어, 소스 디바이스 (102) 는 비디오 인코더 (200) 및/또는 출력 인터페이스 (108) 에 기인한 기능을 수행하기 위한 SoC 디바이스를 포함할 수도 있고, 목적지 디바이스 (116) 는 비디오 디코더 (300) 및/또는 입력 인터페이스 (122) 에 기인한 기능을 수행하기 위한 SoC 디바이스를 포함할 수도 있다.Output interface 108 and input interface 122 include wireless transmitters/receivers, modems, wired networking components (e.g., Ethernet cards), and wireless communications operating in accordance with any of the various IEEE 802.11 standards. It may also refer to components, or other physical components. In examples where output interface 108 and input interface 122 include wireless components, output interface 108 and input interface 122 may support wireless components such as 4G, 4G-LTE (Long-Term Evolution), LTE Advanced, 5G, etc. Depending on cellular communication standards, it may be configured to transmit data, such as encoded video data. In some examples where output interface 108 includes a wireless transmitter, output interface 108 and input interface 122 may be configured to support other wireless signals, such as the IEEE 802.11 specification, IEEE 802.15 specification (e.g., ZigBee™), Bluetooth™ standard, etc. Depending on standards, it may be configured to transmit data such as encoded video data. In some examples, source device 102 and/or destination device 116 may include separate system-on-a-chip (SoC) devices. For example, source device 102 may include a SoC device to perform functions due to video encoder 200 and/or output interface 108, and destination device 116 may include video decoder 300. and/or a SoC device to perform functions due to input interface 122.

본 개시의 기술들은 오버-디-에어 (over-the-air) 텔레비전 브로드캐스트, 케이블 텔레비전 송신, 위성 텔레비전 송신, 인터넷 스트리밍 비디오 송신, 예를 들어 DASH (dynamic adaptive streaming over HTTP), 데이터 저장 매체 상으로 인코딩되는 디지털 비디오, 데이터 저장 매체에 저장된 디지털 비디오의 디코딩, 또는 다른 애플리케이션들 같은 다양한 멀티미디어 애플리케이션들 중 임의의 것을 지원하는 비디오 코딩에 적용될 수도 있다. The techniques of the present disclosure may be used for over-the-air television broadcasting, cable television transmission, satellite television transmission, Internet streaming video transmission, such as dynamic adaptive streaming over HTTP (DASH), on a data storage medium. It may be applied to video coding to support any of a variety of multimedia applications, such as digital video being encoded, decoding of digital video stored on a data storage medium, or other applications.

목적지 디바이스 (116) 의 입력 인터페이스 (122) 는 컴퓨터 판독가능 매체 (110) (예를 들어, 통신 매체, 저장 디바이스 (112), 파일 서버 (114) 등) 로부터 인코딩된 비디오 비트스트림을 수신한다. 인코딩된 비디오 비트스트림은 비디오 블록들 또는 다른 코딩된 유닛들 (예를 들어, 슬라이스들, 픽처들, 픽처들의 그룹들, 시퀀스들 등) 의 프로세싱 및/또는 특성들을 기술하는 값들을 갖는 신택스 엘리먼트들과 같은, 비디오 디코더 (300) 에 의해 또한 사용되는, 비디오 인코더 (200) 에 의해 정의된 시그널링 정보를 포함할 수도 있다. 디스플레이 디바이스 (118) 는 디코딩된 비디오 데이터의 디코딩된 픽처들을 사용자에게 표시한다. 디스플레이 디바이스 (118) 는 액정 디스플레이 (LCD), 플라즈마 디스플레이, 유기 발광 다이오드 (OLED) 디스플레이, 또는 다른 타입의 디스플레이 디바이스와 같은 다양한 디스플레이 디바이스들 중 임의의 것을 나타낼 수도 있다. Input interface 122 of destination device 116 receives an encoded video bitstream from computer-readable medium 110 (e.g., communication medium, storage device 112, file server 114, etc.). The encoded video bitstream contains syntax elements with values that describe the processing and/or characteristics of video blocks or other coded units (e.g., slices, pictures, groups of pictures, sequences, etc.) may also include signaling information defined by video encoder 200, such as, that is also used by video decoder 300. Display device 118 displays decoded pictures of the decoded video data to the user. Display device 118 may represent any of a variety of display devices, such as a liquid crystal display (LCD), plasma display, organic light emitting diode (OLED) display, or other type of display device.

도 1 에 도시되지 않았지만, 일부 예들에서, 비디오 인코더 (200) 및 비디오 디코더 (300) 는 각각 오디오 인코더 및/또는 오디오 디코더와 통합될 수도 있고, 공통 데이터 스트림에서 오디오 및 비디오 양자 모두를 포함하는 멀티플렉싱된 스트림을 핸들링하기 위해, 적절한 MUX-DEMUX 유닛들, 또는 다른 하드웨어 및/또는 소프트웨어를 포함할 수도 있다. Although not shown in FIG. 1, in some examples, video encoder 200 and video decoder 300 may be integrated with an audio encoder and/or an audio decoder, respectively, and may be used to multiplex multiplexing that includes both audio and video in a common data stream. It may also include appropriate MUX-DEMUX units, or other hardware and/or software, to handle the stream.

비디오 인코더 (200) 및 비디오 디코더 (300) 는 각각 다양한 적합한 인코더 및/또는 디코더 회로부, 예를 들어 하나 이상의 마이크로프로세서들, 디지털 신호 프로세서들 (DSP들), 주문형 집적 회로들 (ASIC들), 필드 프로그래밍가능 게이트 어레이들 (FPGA들), 이산 로직, 소프트웨어, 하드웨어, 펌웨어 또는 이들의 임의의 조합들 중 임의의 것으로서 구현될 수도 있다. 기술들이 부분적으로 소프트웨어로 구현되는 경우, 디바이스는 적합한 비일시적 컴퓨터 판독가능 매체에 소프트웨어에 대한 명령들을 저장하고, 본 개시의 기술들을 수행하기 위해 하나 이상의 프로세서들을 사용하는 하드웨어에서 그 명령들을 실행할 수도 있다. 비디오 인코더 (200) 및 비디오 디코더 (300) 의 각각은 하나 이상의 인코더들 또는 디코더들에 포함될 수도 있는데, 이들 중 어느 하나는 각각의 디바이스에서 조합된 인코더/디코더 (CODEC) 의 부분으로서 통합될 수도 있다. 비디오 인코더 (200) 및/또는 비디오 디코더 (300) 를 포함하는 디바이스는 집적 회로, 마이크로프로세서, 및/또는 무선 통신 디바이스, 예를 들어 셀룰러 전화기를 포함할 수도 있다.Video encoder 200 and video decoder 300 each include a variety of suitable encoder and/or decoder circuitry, such as one or more microprocessors, digital signal processors (DSPs), application specific integrated circuits (ASICs), field It may be implemented as any of programmable gate arrays (FPGAs), discrete logic, software, hardware, firmware, or any combinations thereof. If the techniques are implemented in part in software, the device may store instructions for the software in a suitable non-transitory computer-readable medium and execute the instructions in hardware using one or more processors to perform the techniques of this disclosure. . Each of video encoder 200 and video decoder 300 may be included in one or more encoders or decoders, either of which may be integrated as part of a combined encoder/decoder (CODEC) in the respective device. . A device comprising video encoder 200 and/or video decoder 300 may include an integrated circuit, a microprocessor, and/or a wireless communication device, such as a cellular telephone.

비디오 인코더 (200) 및 비디오 디코더 (300) 는 고 효율 비디오 코딩 (HEVC) 으로서도 지칭되는 ITU-T H.265 와 같은 비디오 코딩 표준 또는 그에 대한 확장들, 예를 들어 멀티-뷰 및/또는 스케일러블 비디오 코딩 확장들에 따라 동작할 수도 있다. 대안적으로, 비디오 인코더 (200) 및 비디오 디코더 (300) 는, 다용도 비디오 코딩 (VVC) 으로도 지칭되는 ITU-T H.266 과 같은 다른 독점 또는 산업 표준들에 따라 동작할 수도 있다. 다른 예들에서, 비디오 인코더 (200) 및 비디오 디코더 (300) 는 AOMedia Video 1 (AV1), AV1 의 확장들, 및/또는 AV1 의 후속 버전들 (예를 들어, AV2) 과 같은 독점 비디오 코덱/포맷에 따라 동작할 수도 있다. 다른 예들에서, 비디오 인코더 (200) 및 비디오 디코더 (300) 는 다른 독점 포멧 또는 산업 표준들에 따라 동작할 수도 있다. 하지만, 본 개시의 기술들은 임의의 특정 코딩 표준 또는 포멧에 한정되지 않는다. 일반적으로, 비디오 인코더 (200) 및 비디오 디코더 (300) 는 중첩된 블록 모션 보상 (OBMC), 조합된 인터/인트라 예측 (CIIP), 및 루마 맵핑 및 크로마 스케일링 (LMCS) 의 다양한 조합들을 사용하는 임의의 비디오 코딩 기술들과 함께 본 개시의 기술들을 수행하도록 구성될 수도 있다. Video encoder 200 and video decoder 300 may support video coding standards such as ITU-T H.265, also referred to as High Efficiency Video Coding (HEVC), or extensions thereto, e.g., multi-view and/or scalable It may also operate according to video coding extensions. Alternatively, video encoder 200 and video decoder 300 may operate according to other proprietary or industry standards, such as ITU-T H.266, also referred to as Versatile Video Coding (VVC). In other examples, video encoder 200 and video decoder 300 may encode a proprietary video codec/format, such as AOMedia Video 1 (AV1), extensions of AV1, and/or successor versions of AV1 (e.g., AV2). It may operate depending on . In other examples, video encoder 200 and video decoder 300 may operate according to other proprietary formats or industry standards. However, the techniques of this disclosure are not limited to any particular coding standard or format. In general, video encoder 200 and video decoder 300 perform random processing using various combinations of overlapped block motion compensation (OBMC), combined inter/intra prediction (CIIP), and luma mapping and chroma scaling (LMCS). May be configured to perform the techniques of this disclosure along with video coding techniques.

일반적으로, 비디오 인코더 (200) 및 비디오 디코더 (300) 는 화상들의 블록 기반 코딩을 수행할 수도 있다. 용어 "블록" 은 일반적으로 프로세싱될 (예를 들어, 인코딩될, 디코딩될, 또는 그렇지 않으면 인코딩 및/또는 디코딩 프로세스에서 사용될) 데이터를 포함하는 구조를 지칭한다. 예를 들어, 블록은 루미넌스 및/또는 크로미넌스 데이터의 샘플들의 2차원 행렬을 포함할 수도 있다. 일반적으로, 비디오 인코더 (200) 및 비디오 디코더 (300) 는 YUV (예를 들어, Y, Cb, Cr) 포맷으로 표현된 비디오 데이터를 코딩할 수도 있다. 즉, 픽처의 샘플들에 대한 적색, 녹색, 및 청색 (RGB) 데이터를 코딩하기 보다는, 비디오 인코더 (200) 및 비디오 디코더 (300) 는 루미넌스 및 크로미넌스 컴포넌트들을 코딩할 수도 있으며, 여기서 크로미넌스 컴포넌트들은 적색 색조 및 청색 색조 크로미넌스 컴포넌트들 양자 모두를 포함할 수도 있다. 일부 예들에서, 비디오 인코더 (200) 는 인코딩 이전에 수신된 RGB 포맷팅된 데이터를 YUV 리프리젠테이션으로 변환하고, 비디오 디코더 (300) 는 YUV 리프리젠테이션을 RGB 포맷으로 변환한다. 대안적으로는, 프리- 및 포스트-프로세싱 유닛들 (도시되지 않음) 이 이들 변환들을 수행할 수도 있다. In general, video encoder 200 and video decoder 300 may perform block-based coding of pictures. The term “block” generally refers to a structure containing data to be processed (e.g., to be encoded, decoded, or otherwise used in an encoding and/or decoding process). For example, a block may include a two-dimensional matrix of samples of luminance and/or chrominance data. In general, video encoder 200 and video decoder 300 may code video data represented in YUV (e.g., Y, Cb, Cr) format. That is, rather than coding red, green, and blue (RGB) data for samples of a picture, video encoder 200 and video decoder 300 may code luminance and chrominance components, where chrominance Nonce components may include both red-tinted and blue-tinted chrominance components. In some examples, video encoder 200 converts the received RGB formatted data to a YUV representation prior to encoding, and video decoder 300 converts the YUV representation to an RGB format. Alternatively, pre- and post-processing units (not shown) may perform these transformations.

본 개시는 일반적으로 픽처의 데이터를 인코딩하거나 또는 디코딩하는 프로세스를 포함하도록 픽처들의 코딩 (예를 들어, 인코딩 및 디코딩) 을 참조할 수도 있다. 유사하게, 본 개시는, 블록들에 대한 데이터를 인코딩하거나 또는 디코딩하는 프로세스, 예를 들어, 예측 및/또는 잔차 코딩을 포함하도록 픽처의 블록들의 코딩을 참조할 수도 있다. 인코딩된 비디오 비트스트림은 일반적으로 코딩 결정들 (예를 들어, 코딩 모드들) 및 블록들로의 픽처들의 파티셔닝을 나타내는 신택스 엘리먼트들에 대한 일련의 값들을 포함한다. 따라서, 화상 또는 블록을 코딩하는 것에 대한 참조들은 일반적으로 화상 또는 블록을 형성하는 신택스 엘리먼트들에 대한 코딩 값들로서 이해되어야 한다. This disclosure may generally refer to coding of pictures (e.g., encoding and decoding) to include the process of encoding or decoding data of a picture. Similarly, this disclosure may refer to the process of encoding or decoding data for blocks, such as coding of blocks of a picture to include prediction and/or residual coding. An encoded video bitstream typically includes a set of values for syntax elements that indicate coding decisions (e.g., coding modes) and partitioning of pictures into blocks. Accordingly, references to coding a picture or block should generally be understood as coding values for syntax elements that form the picture or block.

HEVC 는 코딩 유닛 (CU), 예측 유닛 (PU) 및 변환 유닛 (TU) 을 포함하는 다양한 블록들을 정의한다. HEVC 에 따라, (비디오 인코더 (200) 와 같은) 비디오 코더는 쿼드트리 구조에 따라 코딩 트리 유닛 (CTU) 을 CU들로 파티셔닝한다. 즉, 비디오 코더는 CTU들 및 CU들을 4개의 동등한, 중첩하지 않는 정사각형으로 파티셔닝하고, 쿼드트리의 각 노드는 0 또는 4개의 자식 노드를 갖는다. 자식 노드가 없는 노드들은 "리프 노드들” 로서 지칭될 수도 있으며, 이러한 리프 노드들의 CU들은 하나 이상의 PU 및/또는 하나 이상의 TU 를 포함할 수도 있다. 비디오 코더는 PU들 및 TU들을 추가로 파티셔닝할 수도 있다. 예를 들어, HEVC 에서, 잔차 쿼드트리 (RQT) 는 TU들의 파티셔닝을 나타낸다. HEVC 에서, PU들은 인터 예측 데이터를 나타내는 한편, TU들은 잔차 데이터 (residual data) 를 나타낸다. 인트라-예측되는 CU들은 인트라 모드 표시와 같은 인트라 예측 정보를 포함한다. HEVC defines various blocks including coding units (CUs), prediction units (PUs) and transform units (TUs). According to HEVC, a video coder (such as video encoder 200) partitions a coding tree unit (CTU) into CUs according to a quadtree structure. That is, the video coder partitions the CTUs and CUs into four equal, non-overlapping squares, and each node of the quadtree has 0 or 4 child nodes. Nodes without child nodes may be referred to as “leaf nodes”, and the CUs of these leaf nodes may contain one or more PUs and/or one or more TUs. The video coder may further partition the PUs and TUs. For example, in HEVC, a residual quadtree (RQT) represents the partitioning of TUs. In HEVC, PUs represent inter prediction data, while TUs represent residual data. Intra-predicted CUs contain intra prediction information such as intra mode indication.

다른 예로서, 비디오 인코더 (200) 및 비디오 디코더 (300) 는 VVC 에 따라 동작하도록 구성될 수도 있다. VVC 에 따라, 비디오 코더 (예를 들어 비디오 인코더 (200) ) 는 픽처를 복수의 코딩 트리 유닛 (CTU) 들로 파티셔닝한다. 비디오 인코더 (200) 는 쿼드트리 바이너리 트리 (QTBT) 구조 또는 멀티-타입 트리 (MTT) 구조와 같은 트리 구조에 따라 CTU 를 파티셔닝할 수도 있다. QTBT 구조는 HEVC 의 CU들, PU들, 및 TU들 사이의 분리와 같은 다중 파티션 타입들의 개념들을 제거한다. QTBT 구조는 2개의 레벨: 쿼드트리 파티셔닝에 따라 파티셔닝된 제 1 레벨, 및 바이너리 트리 파티셔닝에 따라 파티셔닝된 제 2 레벨을 포함한다. QTBT 구조의 루트 노드는 CTU 에 대응한다. 바이너리 트리들의 리프 노드들은 코딩 유닛들 (CU들) 에 대응한다.As another example, video encoder 200 and video decoder 300 may be configured to operate in accordance with VVC. According to VVC, a video coder (e.g., video encoder 200) partitions a picture into a plurality of coding tree units (CTUs). Video encoder 200 may partition CTUs according to a tree structure, such as a quadtree binary tree (QTBT) structure or a multi-type tree (MTT) structure. The QTBT structure eliminates the concepts of multiple partition types, such as the separation between CUs, PUs, and TUs in HEVC. The QTBT structure includes two levels: a first level partitioned according to quadtree partitioning, and a second level partitioned according to binary tree partitioning. The root node of the QTBT structure corresponds to CTU. Leaf nodes of binary trees correspond to coding units (CUs).

MTT 파티셔닝 구조에서, 블록들은 쿼드트리 (QT) 파티션, 바이너리 트리 (BT) 파티션, 및 하나 이상의 타입들의 트리플 트리 (TT) (터너리 트리 (TT) 로도 칭함) 파티션들을 사용하여 파티셔닝될 수도 있다. 트리플 또는 터너리 트리 파티션은 블록이 3개의 서브-블록으로 스플릿팅되는 파티션이다. 일부 예들에서, 트리플 또는 터너리 트리 파티션은 중심을 통해 오리지날 블록을 나누지 않으면서 블록을 3개의 서브-블록으로 나눈다. MTT 에서의 파티셔닝 타입들 (예를 들어, QT, BT, 및 TT) 은 대칭적이거나 또는 비대칭적일 수도 있다.In an MTT partitioning structure, blocks may be partitioned using quadtree (QT) partitions, binary tree (BT) partitions, and one or more types of triple tree (TT) (also referred to as ternary tree (TT)) partitions. A triple or ternary tree partition is a partition in which a block is split into three sub-blocks. In some examples, a triple or ternary tree partition divides a block into three sub-blocks without splitting the original block through its center. Partitioning types in MTT (eg, QT, BT, and TT) may be symmetric or asymmetric.

AV1 코덱에 따라 동작할 경우, 비디오 인코더 (200) 및 비디오 디코더 (300) 는 비디오 데이터를 블록들로 코딩하도록 구성될 수도 있다. AV1 에서, 프로세싱될 수 있는 최대 코딩 블록은 수퍼블록으로 지칭된다. AV1 에서, 수퍼블록은 128x128 루마 샘플들 또는 64x64 루마 샘플들 중 어느 하나일 수 있다. 그러나, 후속 비디오 코딩 포맷들 (예를 들어, AV2) 에서, 수퍼블록은 상이한 (예를 들어, 더 큰) 루마 샘플 사이즈들에 의해 정의될 수도 있다. 일부 예들에서, 수퍼블록은 블록 쿼드트리의 최상위 레벨이다. 비디오 인코더 (200) 는 추가로 수퍼블록을 더 작은 코딩 블록들로 파티셔닝할 수도 있다. 비디오 인코더 (200) 는 정사각형 또는 비-정사각형 파티셔닝을 사용하여 수퍼블록 및 다른 코딩 블록들을 더 작은 블록들로 파티셔닝할 수도 있다. 비-정사각형 블록들은 N/2xN, NxN/2, N/4xN, 및 NxN/4 블록을 포함할 수도 있다. 비디오 인코더 (200) 및 비디오 디코더 (300) 는 코딩 블록들의 각각에 대해 별도의 예측 및 변환 프로세스들을 수행할 수도 있다.When operating according to the AV1 codec, video encoder 200 and video decoder 300 may be configured to code video data into blocks. In AV1, the largest coding block that can be processed is referred to as a superblock. In AV1, a superblock can be either 128x128 luma samples or 64x64 luma samples. However, in subsequent video coding formats (eg, AV2), a superblock may be defined by different (eg, larger) luma sample sizes. In some examples, a superblock is the top level of a block quadtree. Video encoder 200 may further partition the superblock into smaller coding blocks. Video encoder 200 may partition superblocks and other coding blocks into smaller blocks using square or non-square partitioning. Non-square blocks may include N/2xN, NxN/2, N/4xN, and NxN/4 blocks. Video encoder 200 and video decoder 300 may perform separate prediction and transform processes for each of the coding blocks.

AV1 은 또한 비디오 데이터의 타일을 정의한다. 타일은 다른 타일들과 독립적으로 코딩될 수도 있는 수퍼블록들의 직사각형 어레이이다. 즉, 비디오 인코더 (200) 및 비디오 디코더 (300) 는 다른 타일들로부터의 비디오 데이터를 사용하지 않으면서 타일 내의 코딩 블록들을 각각 인코딩 및 디코딩할 수도 있다. 그러나, 비디오 인코더 (200) 및 비디오 디코더 (300) 는 타일 경계들에 걸쳐 필터링을 수행할 수도 있다. 타일들은 사이즈가 균일하거나 균일하지 않을 수도 있다. 타일 기반 코딩은 인코더 및 디코더 구현들을 위한 병렬 프로세싱 및/또는 멀티스레딩 (multi-threading) 을 인에이블할 수도 있다.AV1 also defines tiles of video data. A tile is a rectangular array of superblocks that may be coded independently from other tiles. That is, video encoder 200 and video decoder 300 may each encode and decode coding blocks within a tile without using video data from other tiles. However, video encoder 200 and video decoder 300 may perform filtering across tile boundaries. Tiles may or may not be uniform in size. Tile-based coding may enable parallel processing and/or multi-threading for encoder and decoder implementations.

일부 예에서, 비디오 인코더 (200) 및 비디오 디코더 (300) 는 루미넌스 및 크로미넌스 구성 요소들의 각각을 나타내기 위해 단일 QTBT 또는 MTT 구조를 사용할 수도 있는 한편, 다른 예에서, 비디오 인코더 (200) 및 비디오 디코더 (300) 는 2 개 이상의 QTBT 또는 MTT 구조들, 이를 테면 루미넌스 구성 요소를 위한 하나의 QTBT/MTT 구조 및 양자의 크로미넌스 구성 요소를 위한 다른 QTBT/MTT 구조 (또는 각각의 크로미넌스 구성 요소를 위한 2 개의 QTBT/MTT 구조들) 를 사용할 수도 있다. In some examples, video encoder 200 and video decoder 300 may use a single QTBT or MTT structure to represent each of the luminance and chrominance components, while in other examples, video encoder 200 and Video decoder 300 may be configured to use two or more QTBT or MTT structures, such as one QTBT/MTT structure for the luminance component and another QTBT/MTT structure for both chrominance components (or each chrominance component). You can also use two QTBT/MTT structures for components.

비디오 인코더 (200) 및 비디오 디코더 (300) 는 쿼드트리 파티셔닝, QTBT 파티셔닝, MTT 파티셔닝, 수퍼블록, 또는 다른 파티셔닝 구조들을 사용하도록 구성될 수도 있다. Video encoder 200 and video decoder 300 may be configured to use quadtree partitioning, QTBT partitioning, MTT partitioning, superblock, or other partitioning structures.

일부 예들에서, CTU 는 루마 샘플들의 코딩 트리 블록 (CTB), 3개의 샘플 어레이들을 갖는 픽처의 크로마 샘플들의 2 개의 대응하는 CTB들, 또는 샘플들을 코딩하는데 사용된 3개의 별도의 컬러 평면들 및 신택스 구조들을 사용하여 코딩되는 픽처 또는 모노크롬 픽처의 샘플들의 CTB 를 포함한다. CTB 는 CTB들로의 컴포넌트의 분할이 파티셔닝이 되도록 N 의 일부 값에 대한 샘플들의 NxN 블록일 수도 있다.　 컴포넌트는 모노크롬 포맷의 픽처를 위한 어레이 또는 어레이의 단일 샘플 또는 4:2:0, 4:2:2 또는 4:4:4 컬러 포맷의 픽처를 위한 2 개의 어레이 (루마 및 2 개의 크로마) 중 하나로부터의 어레이 또는 단일 샘플일 수도 있다.　 일부 예들에서, 코딩 블록은 코딩 블록들로의 CTB 의 분할이 파티셔닝이도록 M 및 N 의 일부 값들에 대한 샘플들의 MxN 블록이다.　 In some examples, a CTU is a coding tree block (CTB) of luma samples, two corresponding CTBs of chroma samples of a picture with three sample arrays, or three separate color planes and syntax used to code the samples. Contains the CTB of samples of a picture or monochrome picture coded using the structures. A CTB may be an NxN block of samples for some value of N such that the division of the component into CTBs is partitioned. The component can be either an array or a single sample of the array for pictures in monochrome format, or two arrays (luma and two chromas) for pictures in 4:2:0, 4:2:2 or 4:4:4 color format. It may be an array or a single sample from. In some examples, a coding block is an MxN block of samples for some values of M and N such that the division of the CTB into coding blocks is a partitioning.

블록들 (예를 들어, CTU들 또는 CU들) 은 화상에서 다양한 방식들로 그룹화될 수도 있다. 일 예로서, 브릭은 픽처에서의 특정 타일 내에서 CTU 행들의 직사각형 영역을 지칭할 수도 있다. 타일은 픽처에서의 특정 타일 열 및 특정 타일 행 내에서 CTU들의 직사각형 영역일 수도 있다. 타일 열은, 픽처의 높이와 동일한 높이 및 (예를 들어, 픽처 파라미터 세트에서와 같이) 신택스 엘리먼트들에 의해 특정된 폭을 갖는 CTU들의 직사각형 영역을 지칭한다. 타일 행은, (예를 들어, 픽처 파라미터 세트에서와 같이) 신택스 엘리먼트들에 의해 특정된 높이 및 픽처의 폭과 동일한 폭을 갖는 CTU들의 직사각형 영역을 지칭한다.Blocks (eg, CTUs or CUs) may be grouped in various ways in a picture. As an example, a brick may refer to a rectangular area of CTU rows within a specific tile in a picture. A tile may be a rectangular area of CTUs within a specific tile row and a specific tile row in a picture. A tile row refers to a rectangular region of CTUs with a height equal to the height of the picture and a width specified by syntax elements (e.g., as in a picture parameter set). A tile row refers to a rectangular region of CTUs with a height specified by syntax elements (e.g., as in a picture parameter set) and a width equal to the width of the picture.

일부 예들에서, 타일은 다중 브릭들로 파티셔닝될 수도 있으며, 그 각각은 타일 내의 하나 이상의 CTU 행들을 포함할 수도 있다. 다중 브릭들로 파티셔닝되지 않은 타일이 또한, 브릭으로서 지칭될 수도 있다. 그러나, 타일의 진정한 서브세트인 브릭은 타일로 지칭되지 않을 수도 있다. 픽처에서의 브릭들은 또한 슬라이스로 배열될 수도 있다. 슬라이스는 단일의 네트워크 추상화 계층 (NAL) 유닛에 배타적으로 포함될 수도 있는 픽처의 정수 개의 브릭들일 수도 있다. 일부 예들에서, 슬라이스는 다수의 완전한 타일들 또는 하나의 타일의 완전한 브릭들의 연속적인 시퀀스만을 포함한다.In some examples, a tile may be partitioned into multiple bricks, each of which may contain one or more CTU rows within the tile. A tile that is not partitioned into multiple bricks may also be referred to as a brick. However, bricks that are a true subset of tiles may not be referred to as tiles. Bricks in a picture may also be arranged into slices. A slice may be an integer number of bricks of a picture that may be contained exclusively in a single network abstraction layer (NAL) unit. In some examples, a slice contains only a contiguous sequence of multiple complete tiles or complete bricks of one tile.

본 개시는 수직 및 수평 치수들의 관점에서 (CU 또는 다른 비디오 블록과 같은) 블록의 샘플 치수들을 지칭하기 위해 상호교환가능하게 "NxN" 및 "N 바이 N", 예를 들어, 16x16 샘플들 또는 16 바이 16 샘플들을 사용할 수도 있다. 일반적으로, 16x16 CU 는 수직 방향에서 16개의 샘플 (y = 16) 그리고 수평 방향에서 16개의 샘플 (x = 16) 을 가질 것이다. 마찬가지로, NxN CU 는 일반적으로 수직 방향에서 N개의 샘플 및 수평 방향에서 N개의 샘플을 갖고, 여기서 N 은 음이 아닌 정수 값을 나타낸다. CU 에서의 샘플들은 행들 및 열들로 배열될 수도 있다. 또한, CU들은 수직 방향에서와 동일한 수의 샘플들을 수평 방향에서 반드시 가질 필요는 없다. 예를 들어, CU들은 NxM 샘플들을 포함할 수도 있고, 여기서 M 은 N 과 반드시 동일한 것은 아니다. This disclosure uses "NxN" and "N by N" interchangeably to refer to the sample dimensions of a block (such as a CU or other video block) in terms of vertical and horizontal dimensions, e.g., 16x16 samples or 16 By 16 samples can also be used. Typically, a 16x16 CU will have 16 samples in the vertical direction (y = 16) and 16 samples in the horizontal direction (x = 16). Likewise, an NxN CU typically has N samples in the vertical direction and N samples in the horizontal direction, where N represents a non-negative integer value. Samples in a CU may be arranged into rows and columns. Additionally, CUs do not necessarily have to have the same number of samples in the horizontal direction as in the vertical direction. For example, CUs may contain NxM samples, where M is not necessarily equal to N.

비디오 인코더 (200) 는 예측 및/또는 잔차 정보를 나타내는 CU들에 대한 비디오 데이터, 및 다른 정보를 인코딩한다. 예측 정보는, CU 에 대한 예측 블록을 형성하기 위하여 CU 가 어떻게 예측될지를 표시한다. 잔차 정보는 일반적으로, 인코딩 이전의 CU 의 샘플들과 예측 블록 사이의 샘플 별 (sample-by-sample) 차이들을 나타낸다. Video encoder 200 encodes video data for CUs that represent prediction and/or residual information, and other information. Prediction information indicates how the CU will be predicted to form a prediction block for the CU. Residual information generally represents sample-by-sample differences between samples of the CU before encoding and the prediction block.

CU 를 예측하기 위해, 비디오 인코더 (200) 는 일반적으로, 인터-예측 또는 인트라-예측을 통해 CU 에 대한 예측 블록을 형성할 수도 있다. 인터-예측은 일반적으로 이전에 코딩된 픽처의 데이터로부터 CU 를 예측하는 것을 지칭하는 반면, 인트라-예측은 일반적으로 동일한 픽처의 이전에 코딩된 데이터로부터 CU 를 예측하는 것을 지칭한다. 인터-예측을 수행하기 위해, 비디오 인코더 (200) 는 하나 이상의 모션 벡터를 사용하여 예측 블록을 생성할 수도 있다. 비디오 인코더 (200) 는 일반적으로, 예를 들어 CU 와 기준 블록 사이의 차이에 관하여, CU 와 밀접하게 매칭하는 기준 블록을 식별하기 위해 모션 검색을 수행할 수도 있다. 비디오 인코더 (200) 는 기준 블록이 현재 CU 에 근접하게 매칭하는지 여부를 결정하기 위해 절대 차이의 합 (sum of absolute difference; SAD), 제곱 차이들의 합 (sum of squared differences; SSD), 평균 절대 차이 (mean absolute difference; MAD), 평균 제곱 차이들 (mean squared differences; MSD), 또는 다른 그러한 차이 계산들을 사용하여 차이 메트릭을 계산할 수도 있다. 일부 예들에서, 비디오 인코더 (200) 는 단방향 예측 또는 양방향 예측을 사용하여 현재 CU 를 예측할 수도 있다. To predict a CU, video encoder 200 may generally form a prediction block for the CU via inter-prediction or intra-prediction. Inter-prediction generally refers to predicting a CU from data in a previously coded picture, while intra-prediction generally refers to predicting a CU from previously coded data in the same picture. To perform inter-prediction, video encoder 200 may use one or more motion vectors to generate a prediction block. Video encoder 200 may generally perform a motion search to identify a reference block that closely matches a CU, e.g., with respect to the difference between the CU and the reference block. Video encoder 200 uses the sum of absolute differences (SAD), sum of squared differences (SSD), and average absolute difference to determine whether the reference block closely matches the current CU. Difference metrics may be calculated using mean absolute difference (MAD), mean squared differences (MSD), or other such difference calculations. In some examples, video encoder 200 may predict the current CU using one-way prediction or two-way prediction.

VVC 의 일부 예들은 또한, 인터-예측 모드로 고려될 수도 있는 아핀 모션 보상 모드를 제공한다. 아핀 모션 보상 모드에서, 비디오 인코더 (200) 는 줌 인 또는 아웃, 회전, 원근 모션, 또는 다른 불규칙한 모션 타입들과 같은 비-병진 모션을 나타내는 2 이상의 모션 벡터들을 결정할 수도 있다. Some examples of VVC also provide an affine motion compensation mode, which may be considered an inter-prediction mode. In an affine motion compensation mode, video encoder 200 may determine two or more motion vectors that represent non-translational motion, such as zooming in or out, rotation, perspective motion, or other irregular motion types.

인트라-예측을 수행하기 위해, 비디오 인코더 (200) 는 예측 블록을 생성하기 위해 인트라-예측 모드를 선택할 수도 있다. VVC 의 일부 예들은 평면 모드 및 DC 모드 뿐만 아니라, 다양한 방향성 모드들을 포함하여 67 개의 인트라-예측 모드들을 제공한다. 일반적으로, 비디오 인코더 (200) 는, 현재 블록의 샘플들을 예측할 현재 블록 (예를 들어, CU 의 블록) 에 대한 이웃하는 샘플들을 기술하는 인트라-예측 모드를 선택한다. 그러한 샘플들은 일반적으로, 비디오 인코더 (200) 가 래스터 스캔 순서로 (좌측에서 우측으로, 상단에서 하단으로) CTU들 및 CU들을 코딩하는 것을 가정하여, 현재 블록과 동일한 픽처에서 현재 블록의 상측, 상측 및 좌측에, 또는 좌측에 있을 수도 있다. To perform intra-prediction, video encoder 200 may select an intra-prediction mode to generate a prediction block. Some examples of VVC provide 67 intra-prediction modes, including planar mode and DC mode, as well as various directional modes. In general, video encoder 200 selects an intra-prediction mode that describes neighboring samples for a current block (e.g., a block of a CU) for which samples of the current block will be predicted. Such samples are generally in the same picture as the current block, assuming that video encoder 200 codes the CTUs and CUs in raster scan order (left to right, top to bottom). and on the left side, or may be on the left side.

비디오 인코더 (200) 는 현재 블록을 위한 예측 모드를 나타내는 데이터를 인코딩한다. 예를 들어, 인터-예측 모드의 경우, 비디오 인코더 (200) 는 다양한 이용가능한 인터-예측 모드들 중 어느 것이 사용되는지를 나타내는 데이터 뿐만 아니라, 대응하는 모드를 위한 모션 정보를 인코딩할 수도 있다. 단방향 또는 양방향 인터 예측을 위해, 예를 들어, 비디오 인코더 (200) 는 어드밴스드 모션 벡터 예측 (AMVP) 또는 병합 모드 (merge mode) 를 사용하여 모션 벡터들을 인코딩할 수도 있다. 비디오 인코더 (200) 는 유사한 모드들을 사용하여 아핀 모션 보상 모드에 대한 모션 벡터들을 인코딩할 수도 있다. Video encoder 200 encodes data indicating the prediction mode for the current block. For example, for an inter-prediction mode, video encoder 200 may encode data indicating which of the various available inter-prediction modes is used, as well as motion information for the corresponding mode. For one-way or two-way inter prediction, for example, video encoder 200 may encode motion vectors using advanced motion vector prediction (AMVP) or merge mode. Video encoder 200 may encode motion vectors for an affine motion compensation mode using similar modes.

AV1 은 비디오 데이터의 코딩 블록을 인코딩 및 디코딩하기 위한 2개의 일반 기술을 포함한다. 2개의 일반 기술은 인트라 예측 (예를 들어, 인트라 프레임 예측 또는 공간 예측) 및 인터 예측 (예를 들어, 인터 프레임 예측 또는 시간 예측) 이다. AV1 의 컨텍스트에서, 인트라 예측 모드를 사용하여 비디오 데이터의 현재 프레임의 블록들을 예측할 때, 비디오 인코더 (200) 및 비디오 디코더 (300) 는 비디오 데이터의 다른 프레임들로부터의 비디오 데이터를 사용하지 않는다. 대부분의 인트라 예측 모드들에 대해, 비디오 인코더 (200) 는 현재 블록에서의 샘플 값들과 동일한 프레임에서의 기준 샘플들로부터 생성된 예측된 값들 사이의 차이에 기초하여 현재 프레임의 블록들을 인코딩한다. 비디오 인코더 (200) 는 인트라 예측 모드에 기초하여 기준 샘플들로부터 생성된 예측된 값들을 결정한다. AV1 includes two general techniques for encoding and decoding coding blocks of video data. Two common techniques are intra prediction (e.g. intra frame prediction or spatial prediction) and inter prediction (e.g. inter frame prediction or temporal prediction). In the context of AV1, when predicting blocks of the current frame of video data using intra prediction mode, video encoder 200 and video decoder 300 do not use video data from other frames of video data. For most intra prediction modes, video encoder 200 encodes blocks of the current frame based on the difference between sample values in the current block and predicted values generated from reference samples in the same frame. Video encoder 200 determines predicted values generated from reference samples based on intra prediction mode.

블록의 인트라-예측 또는 인터-예측과 같은 예측에 후속하여, 비디오 인코더 (200) 는 블록을 위한 잔차 데이터를 계산할 수도 있다. 잔차 데이터, 예를 들어, 잔차 블록은 대응하는 예측 모드를 사용하여 형성되는, 블록과 블록에 대한 예측 블록 사이의 샘플 별 차이들을 나타낸다. 비디오 인코더 (200) 는 샘플 도메인 대신 변환 도메인에서 변환된 데이터를 생성하기 위해, 잔차 블록에 하나 이상의 변환들을 적용할 수도 있다. 예를 들어, 비디오 인코더 (200) 는 이산 코사인 변환 (DCT), 정수 변환, 웨이브릿 변환, 또는 개념적으로 유사한 변환을 잔차 비디오 데이터에 적용할 수도 있다. 추가적으로, 비디오 인코더 (200) 는 모드 의존적 비분리가능한 2 차 변환 (MDNSST), 신호 의존적 변환, Karhunen-Loeve 변환 (KLT) 등과 같은, 제 1 변환에 후속하는 2 차 변환을 적용할 수도 있다. 비디오 인코더 (200) 는 하나 이상의 변환의 적용에 후속하여 변환 계수들을 생성한다.Following prediction, such as intra-prediction or inter-prediction of a block, video encoder 200 may calculate residual data for the block. Residual data, eg, a residual block, represents sample-by-sample differences between a block and a prediction block for the block, formed using a corresponding prediction mode. Video encoder 200 may apply one or more transforms to the residual block to generate transformed data in the transform domain instead of the sample domain. For example, video encoder 200 may apply a discrete cosine transform (DCT), integer transform, wavelet transform, or conceptually similar transform to the residual video data. Additionally, video encoder 200 may apply a secondary transform subsequent to the first transform, such as a mode dependent non-separable secondary transform (MDNSST), signal dependent transform, Karhunen-Loeve transform (KLT), etc. Video encoder 200 generates transform coefficients following application of one or more transforms.

위에서 언급된 바와 같이, 변환 계수들을 생성하기 위한 임의의 변환들에 후속하여, 비디오 인코더 (200) 는 변환 계수들의 양자화를 수행할 수도 있다. 일반적으로 양자화는 변환 계수들이 그 변환 계수들을 나타내는데 사용되는 데이터의 양을 가능하게는 감소시키도록 양자화되어 추가 압축을 제공하는 프로세스를 지칭한다. 양자화 프로세스를 수행함으로써, 비디오 인코더 (200) 는 변환 계수들의 일부 또는 전부와 연관된 비트 깊이를 감소시킬 수도 있다. 예를 들어, 비디오 인코더 (200) 는 양자화 동안 n-비트 값을 m-비트 값으로 라운딩 다운할 수도 있으며, 여기서 n 은 m 보다 크다. 일부 예들에서, 양자화를 수행하기 위해, 비디오 인코더 (200) 는 양자화될 값의 비트단위 (bitwise) 우측-시프트를 수행할 수도 있다. As mentioned above, following any transforms to generate transform coefficients, video encoder 200 may perform quantization of the transform coefficients. Quantization generally refers to a process in which transform coefficients are quantized to possibly reduce the amount of data used to represent the transform coefficients, thereby providing additional compression. By performing a quantization process, video encoder 200 may reduce the bit depth associated with some or all of the transform coefficients. For example, video encoder 200 may round down n -bit values to m -bit values during quantization, where n is greater than m . In some examples, to perform quantization, video encoder 200 may perform a bitwise right-shift of the value to be quantized.

양자화에 이어, 비디오 인코더 (200) 는 변환 계수들을 스캔하여, 양자화된 변환 계수들을 포함한 2-차원 매트릭스로부터 1-차원 벡터를 생성할 수도 있다. 스캔은 더 높은 에너지 (및 따라서 더 낮은 주파수) 변환 계수들을 벡터의 전방에 배치하고 그리고 더 낮은 에너지 (및 따라서 더 높은 주파수) 변환 계수들을 벡터의 후방에 배치하도록 설계될 수도 있다. 일부 예들에서, 비디오 인코더 (200) 는 양자화된 변환 계수들을 스캔하기 위해 미리정의된 스캔 순서를 활용하여 직렬화된 벡터를 생성하고, 그 다음, 벡터의 양자화된 변환 계수들을 엔트로피 인코딩할 수도 있다. 다른 예들에서, 비디오 인코더 (200) 는 적응 스캔을 수행할 수도 있다. 1-차원 벡터를 형성하기 위해 양자화된 변환 계수들을 스캔한 후, 비디오 인코더 (200) 는, 예를 들어, 컨텍스트 적응 바이너리 산술 코딩 (CABAC) 에 따라, 1-차원 벡터를 엔트로피 인코딩할 수도 있다. 비디오 인코더 (200) 는 또한, 비디오 데이터를 디코딩하는데 있어서 비디오 디코더 (300) 에 의한 사용을 위해 인코딩된 비디오 데이터와 연관된 메타데이터를 기술하는 신택스 엘리먼트들에 대한 값들을 엔트로피 인코딩할 수도 있다. Following quantization, video encoder 200 may scan the transform coefficients to generate a one-dimensional vector from a two-dimensional matrix containing the quantized transform coefficients. The scan may be designed to place higher energy (and therefore lower frequency) transform coefficients in front of the vector and place lower energy (and therefore higher frequency) transform coefficients behind the vector. In some examples, video encoder 200 may utilize a predefined scan order to scan the quantized transform coefficients to generate a serialized vector and then entropy encode the quantized transform coefficients of the vector. In other examples, video encoder 200 may perform adaptive scan. After scanning the quantized transform coefficients to form a one-dimensional vector, video encoder 200 may entropy encode the one-dimensional vector, for example, according to context adaptive binary arithmetic coding (CABAC). Video encoder 200 may also entropy encode values for syntax elements that describe metadata associated with encoded video data for use by video decoder 300 in decoding the video data.

CABAC 을 수행하기 위해, 비디오 인코더 (200) 는 송신될 심볼에 컨텍스트 모델 내에서 컨텍스트를 배정할 수도 있다. 컨텍스트 (context) 는 예를 들어, 심볼의 이웃하는 값들이 제로 값인지 여부와 관련될 수도 있다. 확률 결정은 심볼에 배정된 컨텍스트에 기초할 수도 있다. To perform CABAC, video encoder 200 may assign a context within a context model to the symbol to be transmitted. Context may relate to, for example, whether neighboring values of a symbol are zero values. The probability determination may be based on the context assigned to the symbol.

비디오 인코더 (200) 는 신택스 데이터, 예를 들어 블록 기반 신택스 데이터, 픽처 기반 신택스 데이터, 및 시퀀스 기반 신택스 데이터를, 비디오 디코더 (300) 에, 예를 들어, 픽처 헤더, 블록 헤더, 슬라이스 헤더, 또는 다른 신택스 데이터, 예를 들어 시퀀스 파라미터 세트 (SPS), 픽처 파라미터 세트 (PPS), 또는 비디오 파라미터 세트 (VPS) 에서 추가로 생성할 수도 있다. 마찬가지로, 비디오 디코더 (300) 는 대응하는 비디오 데이터를 디코딩하는 방법을 결정하기 위해 그러한 신택스 데이터를 디코딩할 수도 있다. Video encoder 200 may transmit syntax data, e.g., block-based syntax data, picture-based syntax data, and sequence-based syntax data, to video decoder 300, e.g., a picture header, a block header, a slice header, or It may additionally be generated from other syntax data, such as a sequence parameter set (SPS), a picture parameter set (PPS), or a video parameter set (VPS). Likewise, video decoder 300 may decode such syntax data to determine how to decode the corresponding video data.

이러한 방식으로, 비디오 인코더 (200) 는 인코딩된 비디오 데이터, 예를 들어, 픽처의 블록들 (예를 들어, CU들) 로의 파티셔닝을 기술하는 신택스 엘리먼트들 및 블록들에 대한 예측 및/또는 잔차 정보를 포함하는 비트스트림을 생성할 수도 있다. 궁극적으로, 비디오 디코더 (300) 는 비트스트림을 수신하고, 인코딩된 비디오 데이터를 디코딩할 수도 있다. In this way, video encoder 200 encodes encoded video data, e.g., syntax elements that describe the partitioning of a picture into blocks (e.g., CUs) and prediction and/or residual information for the blocks. You can also create a bitstream containing . Ultimately, video decoder 300 may receive the bitstream and decode the encoded video data.

일반적으로, 비디오 디코더 (300) 는 비트스트림의 인코딩된 비디오 데이터를 디코딩하기 위해 비디오 인코더 (200) 에 의해 수행되는 것과 상호적인 프로세스를 수행한다. 예를 들어, 비디오 디코더 (300) 는 비디오 인코더 (200) 의 CABAC 인코딩 프로세스와 실질적으로 유사하지만, 상반되는 방식으로 CABAC 을 사용하여 비트스트림의 신택스 엘리먼트를 위한 값들을 디코딩할 수도 있다. 신택스 엘리먼트들은 픽처의 CTU들로의 파티셔닝, 및 QTBT 구조와 같은 대응하는 파티션 구조에 따른 각각의 CTU 의 파티셔닝을 위한 파티셔닝 정보를 정의하여, CTU 의 CU들을 정의할 수도 있다. 신택스 엘리먼트들은 비디오 데이터의 블록들 (예를 들어, CU들) 에 대한 예측 및 잔차 정보를 추가로 정의할 수도 있다. In general, video decoder 300 performs processes complementary to those performed by video encoder 200 to decode encoded video data in a bitstream. For example, video decoder 300 may use CABAC to decode values for syntax elements of a bitstream, substantially similar to the CABAC encoding process of video encoder 200, but in a contrasting manner. Syntax elements may define partitioning information for partitioning of a picture into CTUs and partitioning of each CTU according to a corresponding partition structure, such as a QTBT structure, thereby defining CUs of the CTU. Syntax elements may further define prediction and residual information for blocks (e.g., CUs) of video data.

잔차 정보는, 예를 들어, 양자화된 변환 계수들에 의해 표현될 수도 있다. 비디오 디코더 (300) 는 블록에 대한 잔차 블록을 재생성하기 위해 블록의 양자화된 변환 계수들을 역 양자화 및 역 변환할 수도 있다. 비디오 디코더 (300) 는 시그널링된 예측 모드 (인트라-예측 또는 인터-예측) 및 관련된 예측 정보 (예를 들어, 인터-예측을 위한 모션 정보) 를 사용하여 블록에 대한 예측 블록을 형성한다. 비디오 디코더 (300) 는 그후 예측 블록과 잔차 블록을 (샘플 별 기반으로) 조합하여 오리지날 블록을 재생성할 수도 있다. 비디오 디코더 (300) 는 블록의 경계들을 따라 시각적 아티팩트들을 감소시키기 위해 디블록킹 프로세스를 수행하는 것과 같은 추가적인 프로세싱을 수행할 수도 있다.Residual information may be represented by, for example, quantized transform coefficients. Video decoder 300 may inverse quantize and inverse transform the quantized transform coefficients of a block to generate a residual block for the block. Video decoder 300 uses the signaled prediction mode (intra-prediction or inter-prediction) and associated prediction information (e.g., motion information for inter-prediction) to form a prediction block for the block. Video decoder 300 may then combine the prediction block and the residual block (on a per-sample basis) to regenerate the original block. Video decoder 300 may perform additional processing, such as performing a deblocking process to reduce visual artifacts along the boundaries of a block.

본 개시는 일반적으로 신택스 요소들과 같은 소정의 정보를 "시그널링” 하는 것을 참조할 수도 있다. 용어 "시그널링" 은 일반적으로 인코딩된 비디오 데이터를 디코딩하는데 사용되는 신택스 엘리먼트들에 대한 값들 및/또는 다른 데이터의 통신을 지칭할 수도 있다. 즉, 비디오 인코더 (200) 는 비트스트림에서 신택스 엘리먼트들에 대한 값들을 시그널링할 수도 있다. 일반적으로, 시그널링은 비트스트림에서 값을 생성하는 것을 지칭한다. 위에서 언급된 바와 같이, 소스 디바이스 (102) 는 목적지 디바이스 (116) 에 의한 추후 검색을 위해 저장 디바이스 (112) 에 신택스 엘리먼트들을 저장할 때 발생할 수도 있는 바와 같이, 비실시간으로 또는 실질적으로 실시간으로 비트스트림을 목적지 디바이스 (116) 로 전송할 수도 있다.This disclosure may generally refer to “signaling” certain information, such as syntax elements. The term “signaling” generally refers to values for syntax elements and/or other information used to decode encoded video data. May refer to communication of data. That is, video encoder 200 may signal values for syntax elements in a bitstream. In general, signaling refers to generating values in the bitstream. Mentioned above As described above, source device 102 may store the syntax elements in storage device 112 for later retrieval by destination device 116, as may occur in non-real-time or substantially real-time. It may also be transmitted to device 116.

본 개시의 기술들에 따르면, 비디오 인코더 (200) 및 비디오 디코더 (300) 는 아래에서 더 상세히 논의되는 바와 같이, OBMC, CIIP, 및/또는 LMCS 의 다양한 조합들을 사용하여 비디오 데이터의 블록을 코딩 (인코딩 및/또는 디코딩) 할 수도 있다. According to the techniques of this disclosure, video encoder 200 and video decoder 300 code a block of video data using various combinations of OBMC, CIIP, and/or LMCS, as discussed in more detail below ( encoding and/or decoding).

도 2 는 본 개시의 기술들을 수행할 수도 있는 예시의 비디오 인코더 (200) 를 도시하는 블록도이다. 도 2 는 설명의 목적으로 제공되며 본 개시에 폭넓게 예시되고 기재되는 바와 같이 기술들을 제한하는 것으로 고려되지 않아야 한다. 설명의 목적으로, 본 개시는 VVC (ITU-T H.266) 및 HEVC (ITU-T H.265) 의 기술들에 따른 비디오 인코더 (200) 를 기술한다. 그러나, 본 개시의 기술들은 AV1 및 AV1 비디오 코딩 포맷에 대한 후속자들과 같은 다른 비디오 코딩 표준들 및 비디오 코딩 포맷들로 구성되는 비디오 인코딩 디바이스들에 의해 수행될 수도 있다.FIG. 2 is a block diagram illustrating an example video encoder 200 that may perform the techniques of this disclosure. 2 is provided for illustrative purposes and should not be considered limiting of the techniques as broadly illustrated and described in this disclosure. For purposes of explanation, this disclosure describes a video encoder 200 according to the techniques of VVC (ITU-T H.266) and HEVC (ITU-T H.265). However, the techniques of this disclosure may be performed by video encoding devices configured with other video coding standards and video coding formats, such as AV1 and successors to the AV1 video coding format.

도 2 의 예에서, 비디오 인코더 (200) 는 비디오 데이터 메모리 (230), 모드 선택 유닛 (202), 잔차 생성 유닛 (204), 변환 프로세싱 유닛 (206), 양자화 유닛 (208), 역 양자화 유닛 (210), 역 변환 프로세싱 유닛 (212), 재구성된 유닛 (214), 크로마 스캐일링을 이용한 루마 맵핑 (LMCS) 유닛 (228), 필터 유닛 (216), 디코딩된 픽처 버퍼 (DPB) (218), 및 엔트로피 인코딩 유닛 (220) 을 포함한다. 비디오 데이터 메모리 (230), 모드 선택 유닛 (202), 잔차 생성 유닛 (204), 변환 프로세싱 유닛 (206), 양자화 유닛 (208), 역 양자화 유닛 (210), 역 변환 프로세싱 유닛 (212), 재구성 유닛 (214), LMCS 유닛 (228), 루프 필터 유닛 (216), DPB (218), 및 엔트로피 인코딩 유닛 (220) 중 임의의 것 또는 전부는 하나 이상의 프로세서들에서 또는 프로세싱 회로에서 구현될 수도 있다. 예를 들어, 비디오 인코더 (200) 의 유닛들은 하드웨어 회로부의 부분으로서, 또는 프로세서, ASIC, 또는 FPGA 의 부분으로서 하나 이상의 회로들 또는 로직 엘리먼트들로서 구현될 수도 있다. 더욱이, 비디오 인코더 (200) 는 이들 및 다른 기능들을 수행하기 위해 부가 또는 대안의 프로세서들 또는 프로세싱 회로부를 포함할 수도 있다.In the example of Figure 2, video encoder 200 includes video data memory 230, mode selection unit 202, residual generation unit 204, transform processing unit 206, quantization unit 208, and inverse quantization unit ( 210), inverse transform processing unit 212, reconstructed unit 214, luma mapping using chroma scaling (LMCS) unit 228, filter unit 216, decoded picture buffer (DPB) 218, and entropy encoding unit 220. Video data memory 230, mode selection unit 202, residual generation unit 204, transform processing unit 206, quantization unit 208, inverse quantization unit 210, inverse transform processing unit 212, reconstruction Any or all of unit 214, LMCS unit 228, loop filter unit 216, DPB 218, and entropy encoding unit 220 may be implemented in one or more processors or in a processing circuit. . For example, units of video encoder 200 may be implemented as one or more circuits or logic elements as part of hardware circuitry, or as part of a processor, ASIC, or FPGA. Moreover, video encoder 200 may include additional or alternative processors or processing circuitry to perform these and other functions.

비디오 데이터 메모리 (230) 는 비디오 인코더 (200) 의 컴포넌트들에 의해 인코딩될 비디오 데이터를 저장할 수도 있다.　 비디오 인코더 (200) 는 예를 들어, 비디오 소스 (104) (도 1) 로부터 비디오 데이터 메모리 (230) 에 저장된 비디오 데이터를 수신할 수도 있다.　 DPB (218) 는, 비디오 인코더 (200) 에 의한 후속 비디오 데이터의 예측에서의 사용을 위한 기준 비디오 데이터를 저장하는 기준 화상 메모리로서 작용할 수도 있다.　 비디오 데이터 메모리 (230) 및 DPB (218) 는 동기식 DRAM (SDRAM) 을 포함한 동적 랜덤 액세스 메모리 (DRAM), 자기저항성 RAM (MRAM), 저항성 RAM (RRAM), 또는 다른 타입들의 메모리 디바이스들과 같은 다양한 메모리 디바이스들 중 임의의 것에 의해 형성될 수도 있다.　 비디오 데이터 메모리 (230) 및 DPB (218) 는 동일한 메모리 디바이스 또는 별도의 메모리 디바이스들에 의해 제공될 수도 있다. 다양한 예들에서, 비디오 데이터 메모리 (230) 는, 예시된 바와 같은 비디오 인코더 (200) 의 다른 컴포넌트들과 온-칩이거나 또는 그 컴포넌트들에 대해 오프-칩일 수도 있다. Video data memory 230 may store video data to be encoded by components of video encoder 200. Video encoder 200 may receive video data stored in video data memory 230, for example, from video source 104 (Figure 1). DPB 218 may act as a reference picture memory to store reference video data for use in prediction of subsequent video data by video encoder 200. Video data memory 230 and DPB 218 may include a variety of memory devices, such as dynamic random access memory (DRAM), magnetoresistive RAM (MRAM), resistive RAM (RRAM), or other types of memory devices, including synchronous DRAM (SDRAM). It may be formed by any of the memory devices. Video data memory 230 and DPB 218 may be provided by the same memory device or separate memory devices. In various examples, video data memory 230 may be on-chip with or off-chip relative to other components of video encoder 200 as illustrated.

본 개시에서, 비디오 데이터 메모리 (230) 에 대한 언급은, 이와 같이 구체적으로 설명되지 않으면 비디오 인코더 (200) 내부의 메모리, 또는 이와 같이 구체적으로 설명되지 않으면 비디오 인코더 (200) 외부의 메모리로 한정되는 것으로 해석되지 않아야 한다. 오히려, 비디오 데이터 메모리 (230) 에 대한 언급은, 비디오 인코더 (200) 가 인코딩을 위해 수신하는 비디오 데이터 (예를 들어, 인코딩될 현재 블록에 대한 비디오 데이터) 를 저장하는 기준 메모리로서 이해되어야 한다. 도 1 의 메모리 (106) 는 또한 비디오 인코더 (200) 의 다양한 유닛들으로부터의 출력들의 일시적 저장을 제공할 수도 있다.In this disclosure, references to video data memory 230 are limited to memory internal to video encoder 200, unless specifically described as such, or memory external to video encoder 200, unless specifically described as such. It should not be construed as such. Rather, reference to video data memory 230 should be understood as a reference memory that stores video data that video encoder 200 receives for encoding (e.g., video data for the current block to be encoded). Memory 106 of FIG. 1 may also provide temporary storage of outputs from various units of video encoder 200.

도 2 의 다양한 유닛들은 비디오 인코더 (200) 에 의해 수행되는 동작들의 이해를 돕기 위해 도시된다. 그 유닛들은 고정 기능 회로들, 프로그래밍가능 회로들, 또는 이들의 조합으로서 구현될 수도 있다. 고정 기능 회로들은 특정 기능을 제공하는 회로들을 지칭하고, 수행될 수 있는 동작들에 대해 미리 설정된다. 프로그래밍가능 회로들은 다양한 태스크들을 수행하도록 프로그래밍될 수도 있는 회로들을 지칭하고, 수행될 수도 있는 동작들에서 유연한 기능성을 제공한다. 예를 들어, 프로그래밍가능 회로들은, 그 프로그래밍가능 회로들이 소프트웨어 또는 펌웨어의 명령들에 의해 정의된 방식으로 동작하게 하는 소프트웨어 또는 펌웨어를 실행할 수도 있다. 고정 기능 회로들은 (예를 들어, 파라미터들을 수신하거나 또는 파라미터들을 출력하기 위해) 소프트웨어 명령들을 실행할 수도 있지만, 고정 기능 회로들이 수행하는 동작들의 타입들은 일반적으로 불변이다. 일부 예들에서, 유닛들 중 하나 이상은 별개의 회로 블록들 (고정 기능 또는 프로그램가능) 일 수도 있고, 일부 예들에서, 유닛들 중 하나 이상은 집적 회로들일 수도 있다. The various units in FIG. 2 are shown to aid understanding of the operations performed by video encoder 200. The units may be implemented as fixed function circuits, programmable circuits, or a combination thereof. Fixed function circuits refer to circuits that provide a specific function and are preset for the operations that can be performed. Programmable circuits refer to circuits that may be programmed to perform various tasks, providing flexible functionality in the operations that may be performed. For example, programmable circuits may execute software or firmware that causes the programmable circuits to operate in a manner defined by instructions of the software or firmware. Fixed function circuits may execute software instructions (eg, to receive parameters or output parameters), but the types of operations that fixed function circuits perform are generally immutable. In some examples, one or more of the units may be separate circuit blocks (fixed function or programmable), and in some examples, one or more of the units may be integrated circuits.

비디오 인코더 (200) 는 프로그래밍가능 회로들로부터 형성된, 산술 로직 유닛들 (ALU들), EFU들 (elementary function units), 디지털 회로들, 아날로그 회로들, 및/또는 프로그래밍가능 코어들을 포함할 수도 있다. 비디오 인코더 (200) 의 동작들이 프로그래밍가능 회로들에 의해 실행되는 소프트웨어를 사용하여 수행되는 예들에서, 메모리 (106) (도 1) 는 비디오 인코더 (200) 가 수신하고 실행하는 소프트웨어의 명령들 (예를 들어, 오브젝트 코드) 를 저장할 수도 있거나 또는 비디오 인코더 (200) 내의 다른 메모리 (미도시) 가 이러한 명령들을 저장할 수도 있다.Video encoder 200 may include arithmetic logic units (ALUs), elementary function units (EFUs), digital circuits, analog circuits, and/or programmable cores formed from programmable circuits. In examples where the operations of video encoder 200 are performed using software executed by programmable circuits, memory 106 (FIG. 1) stores instructions in the software that video encoder 200 receives and executes (e.g. For example, object code) or other memory (not shown) within video encoder 200 may store these instructions.

비디오 데이터 메모리 (230) 는 수신된 비디오 데이터를 저장하도록 구성된다. 비디오 인코더 (200) 는 비디오 데이터 메모리 (230) 로부터 비디오 데이터의 픽처를 검색하고, 비디오 데이터를 잔차 생성 유닛 (204) 및 모드 선택 유닛 (202) 에 제공할 수도 있다. 비디오 데이터 메모리 (230) 에서의 비디오 데이터는 인코딩될 원시 비디오 데이터일 수도 있다. Video data memory 230 is configured to store received video data. Video encoder 200 may retrieve a picture of video data from video data memory 230 and provide the video data to residual generation unit 204 and mode select unit 202. Video data in video data memory 230 may be raw video data to be encoded.

모드 선택 유닛 (202) 은 모션 추정 유닛 (222), 모션 보상 유닛 (224), 및 인트라-예측 유닛 (226) 을 포함한다. 모드 선택 유닛 (202) 은 다른 예측 모드들에 따라 비디오 예측을 수행하기 위해 추가적인 기능 유닛들을 포함할 수도 있다. 예들로서, 모드 선택 유닛 (202) 은 팔레트 유닛, 인트라-블록 카피 유닛 (모션 추정 유닛 (222) 및/또는 모션 보상 유닛 (224) 의 부분일 수도 있음), 아핀 유닛, 선형 모델 (LM) 유닛 등을 포함할 수도 있다. Mode selection unit 202 includes motion estimation unit 222, motion compensation unit 224, and intra-prediction unit 226. Mode selection unit 202 may include additional functional units to perform video prediction according to different prediction modes . By way of example, mode selection unit 202 may be a palette unit, an intra-block copy unit (which may be part of motion estimation unit 222 and/or motion compensation unit 224), an affine unit, a linear model (LM) unit. etc. may also be included.

모드 선택 유닛 (202) 은 일반적으로 인코딩 파라미터들의 조합들 및 그러한 조합들에 대한 결과적인 왜곡률 값들을 테스트하기 위해 다중 인코딩 패스들을 조정한다. 인코딩 파라미터들은 CU들로의 CTU들의 파티셔닝, CU들을 위한 예측 모드들, CU들의 잔차 데이터를 위한 변환 타입들, CU들의 잔차 데이터를 위한 양자화 파라미터들 등을 포함할 수도 있다. 모드 선택 유닛 (202) 은 궁극적으로 다른 테스트된 조합들보다 양호한 왜곡률 값들을 갖는 인코딩 파라미터들의 조합을 선택할 수도 있다. Mode selection unit 202 generally coordinates multiple encoding passes to test combinations of encoding parameters and resulting distortion values for those combinations. Encoding parameters may include partitioning of CTUs into CUs, prediction modes for CUs, transformation types for residual data of CUs, quantization parameters for residual data of CUs, etc. Mode select unit 202 may ultimately select a combination of encoding parameters that has better distortion values than other tested combinations.

비디오 인코더 (200) 는 비디오 데이터 메모리 (230) 로부터 검색된 픽처를 일련의 CTU들로 파티셔닝하고, 슬라이스 내에 하나 이상의 CTU 를 캡슐화할 수도 있다. 모드 선택 유닛 (202) 은 상기 설명된 또는 MTT 구조, QTBT 구조, 수퍼블록 구조, 또는 쿼드트리 구조 같은 트리 구조에 따라 픽처의 CTU 를 파티셔닝할 수도 있다. 상술한 바와 같이, 비디오 인코더 (200) 는 트리 구조에 따라 CTU 를 파티셔닝하는 것으로부터 하나 이상의 CU 를 형성할 수도 있다. 그러한 CU 는 일반적으로 "비디오 블록" 또는 "블록" 으로서 또한 지칭될 수도 있다. Video encoder 200 may partition a picture retrieved from video data memory 230 into a series of CTUs and encapsulate one or more CTUs within a slice. Mode select unit 202 may partition the CTUs of the picture according to a tree structure described above or such as an MTT structure, QTBT structure, superblock structure, or quadtree structure. As described above, video encoder 200 may form one or more CUs from partitioning CTUs according to a tree structure. Such CUs may also be generally referred to as “video blocks” or “blocks.”

일반적으로, 모드 선택 유닛 (202) 은 또한 그의 컴포넌트들 (예를 들어, 모션 추정 유닛 (222), 모션 보상 유닛 (224), 및 인트라-예측 유닛 (226) ) 을 제어하여 현재 블록 (예를 들어, 현재 CU, 또는 HEVC 에서, PU 및 TU 의 중첩하는 부분) 을 위한 예측 블록을 생성한다. 현재 블록의 인터-예측을 위해, 모션 추정 유닛 (222) 은 하나 이상의 기준 픽처들 (DPB (218) 에 저장된 하나 이상의 이전에 코딩된 픽처들) 에서 하나 이상의 근접하게 매칭하는 기준 블록들을 식별하기 위해 모션 검색을 수행할 수도 있다. 특히, 모션 추정 유닛 (222) 은, 예를 들어, 절대 차이의 합 (SAD), 제곱 차이들의 합 (SSD), 평균 절대 차이 (MAD), 평균 제곱 차이들 (MSD) 등에 따라, 잠재적인 기준 블록이 현재 블록에 얼마나 유사한지를 나타내는 값을 계산할 수도 있다. 모션 추정 유닛 (222) 은 일반적으로 고려되는 기준 블록과 현재 블록 사이의 샘플 별 차이들을 사용하여 이들 계산들을 수행할 수도 있다. 모션 추정 유닛 (222) 은 현재 블록과 가장 근접하게 매칭하는 기준 블록을 표시하는, 이러한 계산들로부터 초래되는 최저 값을 갖는 기준 블록을 식별할 수도 있다.In general, mode select unit 202 also controls its components (e.g., motion estimation unit 222, motion compensation unit 224, and intra-prediction unit 226) to select the current block (e.g. For example, generate a prediction block for the current CU (or, in HEVC, the overlapping portion of PU and TU). For inter-prediction of the current block, motion estimation unit 222 is used to identify one or more closely matching reference blocks in one or more reference pictures (one or more previously coded pictures stored in DPB 218). You can also perform motion search. In particular, motion estimation unit 222 may determine potential criteria, e.g., according to sum of absolute differences (SAD), sum of squared differences (SSD), mean absolute difference (MAD), mean squared differences (MSD), etc. You can also calculate a value indicating how similar a block is to the current block. Motion estimation unit 222 may perform these calculations using generally considered sample-by-sample differences between the reference block and the current block. Motion estimation unit 222 may identify the reference block with the lowest value resulting from these calculations, which indicates the reference block that most closely matches the current block.

모션 추정 유닛 (222) 은 현재 픽처에서의 현재 블록의 위치에 대한 기준 픽처들에서의 기준 블록들의 위치들을 정의하는 하나 이상의 모션 벡터들 (MV들) 을 형성할 수도 있다. 그후, 모션 추정 유닛 (222) 은 모션 벡터들을 모션 보상 유닛 (224) 에 제공할 수도 있다. 예를 들어, 단방향 인터-예측에 대해, 모션 추정 유닛 (222) 은 단일의 모션 벡터를 제공할 수도 있는 반면, 양방향 인터-예측에 대해, 모션 추정 유닛 (222) 은 2 개의 모션 벡터들을 제공할 수도 있다. 그후, 모션 보상 유닛 (224) 은 모션 벡터들을 사용하여 예측 블록을 생성할 수도 있다. 예를 들어, 모션 보상 유닛 (224) 은 모션 벡터를 사용하여 기준 블록의 데이터를 검색 (retrieve) 할 수도 있다. 다른 예로서, 모션 벡터가 분수 샘플 정밀도를 갖는다면, 모션 보상 유닛 (224) 은 하나 이상의 보간 필터들에 따라 예측 블록에 대한 값들을 보간할 수도 있다. 더욱이, 양방향 인터-예측에 대해, 모션 보상 유닛 (224) 은 개별의 모션 벡터들에 의해 식별된 2 개의 기준 블록들에 대한 데이터를 검색하고, 예를 들어, 샘플 별 평균화 또는 가중 평균화를 통해 검색된 데이터를 조합할 수도 있다. Motion estimation unit 222 may form one or more motion vectors (MVs) that define positions of reference blocks in reference pictures relative to the position of the current block in the current picture. Motion estimation unit 222 may then provide motion vectors to motion compensation unit 224. For example, for unidirectional inter-prediction, motion estimation unit 222 may provide a single motion vector, while for bidirectional inter-prediction, motion estimation unit 222 may provide two motion vectors. It may be possible. Motion compensation unit 224 may then use the motion vectors to generate a prediction block. For example, motion compensation unit 224 may use the motion vector to retrieve data of a reference block. As another example, if the motion vector has fractional sample precision, motion compensation unit 224 may interpolate the values for the prediction block according to one or more interpolation filters. Moreover, for two-way inter-prediction, motion compensation unit 224 retrieves data for two reference blocks identified by individual motion vectors and retrieves the Data can also be combined.

AV1 비디오 코딩 포맷에 따라 동작할 때, 모션 추정 유닛 (222) 및 모션 보상 유닛 (224) 은 병진 모션 보상, 아핀 모션 보상, 중첩된 블록 모션 보상 (OBMC), 및/또는 복합 인터-인트라 예측을 사용하여 비디오 데이터의 코딩 블록들 (예를 들어, 루마 및 크로마 코딩 블록들 양쪽) 을 인코딩하도록 구성될 수도 있다. When operating according to the AV1 video coding format, motion estimation unit 222 and motion compensation unit 224 may perform translational motion compensation, affine motion compensation, overlapped block motion compensation (OBMC), and/or complex inter-intra prediction. may be configured to encode coding blocks (e.g., both luma and chroma coding blocks) of video data.

다른 예로서, 인트라-예측 또는 인트라-예측 코딩에 대해, 인트라-예측 유닛 (226) 은 현재 블록에 이웃하는 샘플들로부터 예측 블록을 생성할 수도 있다. 예를 들어, 방향성 모드들에 대해, 인트라-예측 유닛 (226) 은 일반적으로 이웃하는 샘플들의 값들을 수학적으로 조합하고 현재 블록에 걸쳐 정의된 방향에서 이들 계산된 값들을 파퓰레이팅하여 예측 블록을 생성할 수도 있다. 다른 예로서, DC 모드에 대해, 인트라 예측 유닛 (226) 은 현재 블록에 대한 이웃하는 샘플들의 평균을 계산하고 예측 블록을 생성하여 예측 블록의 각각의 샘플에 대해 이러한 결과적인 평균을 포함할 수도 있다. As another example, for intra-prediction or intra-predictive coding, intra-prediction unit 226 may generate a prediction block from samples neighboring the current block. For example, for directional modes, intra-prediction unit 226 typically generates a prediction block by mathematically combining the values of neighboring samples and populating these calculated values in a defined direction over the current block. You may. As another example, for DC mode, intra prediction unit 226 may calculate the average of neighboring samples for the current block and generate a prediction block to include this resulting average for each sample of the prediction block. .

AV1 비디오 코딩 포맷에 따라 동작할 때, 인트라 예측 유닛 (226) 은 방향성 인트라 예측, 비방향성 인트라 예측, 재귀적 필터 인트라 예측, CFL (chroma-from-luma) 예측, 인트라 블록 카피 (IBC), 및/또는 컬러 팔레트 모드를 사용하여 비디오 데이터의 코딩 블록들 (예를 들어, 루마 및 크로마 코딩 블록들 양쪽) 을 인코딩하도록 구성될 수도 있다. 모드 선택 유닛 (202) 은 다른 예측 모드들에 따라 비디오 예측을 수행하기 위해 추가적인 기능 유닛들을 포함할 수도 있다. When operating according to the AV1 video coding format, intra prediction unit 226 may perform directed intra prediction, undirected intra prediction, recursive filter intra prediction, chroma-from-luma (CFL) prediction, intra block copy (IBC), and /or may be configured to encode coding blocks (e.g., both luma and chroma coding blocks) of video data using a color palette mode. Mode selection unit 202 may include additional functional units to perform video prediction according to different prediction modes.

모드 선택 유닛 (202) 은 예측 블록을 잔차 생성 유닛 (204) 에 제공한다. 잔차 생성 유닛 (204) 은 비디오 데이터 메모리 (230) 로부터의 현재 블록의 원시, 코딩되지 않은 버전 및 모드 선택 유닛 (202) 으로부터의 예측 블록을 수신한다. 잔차 생성 유닛 (204) 은 현재 블록과 예측 블록 사이의 샘플 별 차이들을 계산한다. 결과적인 샘플 별 차이들은 현재 블록에 대한 잔차 블록을 정의한다. 일부 예들에서, 잔차 생성 유닛 (204) 은 또한 RDPCM (residual differential pulse code modulation) 을 사용하여 잔차 블록을 생성하기 위해 잔차 블록에서의 샘플 값들 사이의 차이를 결정할 수도 있다. 일부 예들에서, 잔차 생성 유닛 (204) 은 바이너리 감산을 수행하는 하나 이상의 감산기 회로들을 사용하여 형성될 수도 있다. Mode selection unit 202 provides the prediction block to residual generation unit 204. Residual generation unit 204 receives a raw, uncoded version of the current block from video data memory 230 and a prediction block from mode select unit 202. The residual generation unit 204 calculates sample-by-sample differences between the current block and the prediction block. The resulting sample-by-sample differences define the residual block for the current block. In some examples, residual generation unit 204 may also determine the difference between sample values in a residual block to generate the residual block using residual differential pulse code modulation (RDPCM). In some examples, residual generation unit 204 may be formed using one or more subtractor circuits that perform binary subtraction.

모드 선택 유닛 (202) 이 CU들을 PU들로 파티셔닝하는 예들에서, 각각의 PU 는 루마 예측 유닛 및 대응하는 크로마 예측 유닛들과 연관될 수도 있다. 비디오 인코더 (200) 및 비디오 디코더 (300) 는 다양한 사이즈를 갖는 PU들을 지원할 수도 있다. 상기 나타낸 바와 같이, CU 의 사이즈는 CU 의 루마 코딩 블록의 사이즈를 지칭할 수도 있고 PU 의 사이즈는 PU 의 루마 예측 유닛의 사이즈를 지칭할 수도 있다. 특정 CU 의 사이즈가 2Nx2N 임을 가정하면, 비디오 인코더 (200) 는 인트라-예측을 위해 2Nx2N 또는 NxN 의 PU 사이즈들을 지원하고, 인터-예측을 위해 2Nx2N, 2NxN, Nx2N, NxN, 또는 유사한 것의 대칭적 PU 사이즈들을 지원할 수도 있다. 비디오 인코더 (200) 및 비디오 디코더 (300) 는 또한, 인터 예측을 위해 2NxnU, 2NxnD, nLx2N, 및 nRx2N 의 PU 사이즈들에 대한 비대칭적 파티셔닝을 지원할 수도 있다.In examples where mode select unit 202 partitions CUs into PUs, each PU may be associated with a luma prediction unit and corresponding chroma prediction units. Video encoder 200 and video decoder 300 may support PUs of various sizes. As indicated above, the size of a CU may refer to the size of a luma coding block of the CU and the size of a PU may refer to the size of a luma prediction unit of the PU. Assuming the size of a particular CU is 2Nx2N, video encoder 200 supports PU sizes of 2Nx2N or NxN for intra-prediction and symmetric PU sizes of 2Nx2N, 2NxN, Nx2N, NxN, or similar for inter-prediction. Sizes may also be supported. Video encoder 200 and video decoder 300 may also support asymmetric partitioning for PU sizes of 2NxnU, 2NxnD, nLx2N, and nRx2N for inter prediction.

모드 선택 유닛 (202) 이 CU 를 PU들로 추가로 분할하지 않는 예들에서, 각각의 CU 는 루마 코딩 블록 및 대응하는 크로마 코딩 블록들과 연관될 수도 있다. 위와 같이, CU 의 사이즈는 CU 의 루마 코딩 블록의 사이즈를 지칭할 수도 있다. 비디오 인코더 (200) 및 비디오 디코더 (300) 는 2Nx2N, 2NxN, 또는 Nx2N 의 CU 크기들을 지원할 수도 있다.In examples where mode select unit 202 does not further partition the CU into PUs, each CU may be associated with a luma coding block and corresponding chroma coding blocks. As above, the size of the CU may refer to the size of the luma coding block of the CU. Video encoder 200 and video decoder 300 may support CU sizes of 2Nx2N, 2NxN, or Nx2N.

인트라 블록 카피 모드 코딩, 아핀 모드 코딩 및 선형 모델 (LM) 모드 코딩과 같은 다른 비디오 코딩 기술들에 대해, 몇몇 예들에서와 같이, 모드 선택 유닛 (202) 은 코딩 기술과 연관된 개개의 유닛들을 통해, 인코딩되고 있는 현재 블록에 대한 예측 블록을 생성한다. 팔레트 모드 코딩과 같은 일부 예들에서, 모드 선택 유닛 (202) 은 예측 블록을 생성하지 않을 수도 있고, 대신에 선택된 팔레트에 기초하여 블록을 재구성할 방식을 표시하는 신택스 엘리먼트들을 생성할 수도 있다. 이러한 모드들에서, 모드 선택 유닛 (202) 은 이들 신택스 엘리먼트들을 인코딩될 엔트로피 인코딩 유닛 (220) 에 제공할 수도 있다. For other video coding techniques, such as intra block copy mode coding, affine mode coding, and linear model (LM) mode coding, as in some examples, mode selection unit 202 may be configured to: Generates a prediction block for the current block being encoded. In some examples, such as palette mode coding, mode select unit 202 may not generate a predictive block, but instead generate syntax elements indicating how to reconstruct the block based on the selected palette. In these modes, mode select unit 202 may provide these syntax elements to entropy encoding unit 220 to be encoded.

전술한 바와 같이, 잔차 생성 유닛 (204) 은 현재 블록 및 대응하는 예측 블록에 대한 비디오 데이터를 수신한다. 그후, 잔차 생성 유닛 (204) 은 현재 블록에 대한 잔차 블록을 생성한다. 잔차 블록을 생성하기 위해, 잔차 생성 유닛 (204) 은 현재 블록과 예측 블록 사이의 샘플별 차이들을 계산한다.As described above, residual generation unit 204 receives video data for the current block and the corresponding prediction block. Thereafter, residual generation unit 204 generates a residual block for the current block. To generate a residual block, residual generation unit 204 calculates sample-by-sample differences between the current block and the prediction block.

변환 프로세싱 유닛 (206) 은 잔차 블록에 하나 이상의 변환들을 적용하여 변환 계수들의 블록 (본 명세서에서 "변환 계수 블록" 으로서 지칭됨) 을 생성한다. 변환 프로세싱 유닛 (206) 은 다양한 변환들을 잔차 블록에 적용하여 변환 계수 블록을 형성할 수도 있다. 예를 들어, 변환 프로세싱 유닛 (206) 은 이산 코사인 변환 (DCT), 방향성 변환, Karhunen-Loeve 변환 (KLT), 또는 개념적으로 유사한 변환을 잔차 블록에 적용할 수도 있다. 일부 예들에서, 변환 프로세싱 유닛 (206) 은 잔차 블록에 대한 다중의 변환들, 예를 들어 1 차 변환 및 2 차 변환, 예를 들어 회전 변환을 수행할 수도 있다. 일부 예들에서, 변환 프로세싱 유닛 (206) 은 잔차 블록에 변환들을 적용하지 않는다. Transform processing unit 206 applies one or more transforms to the residual block to generate a block of transform coefficients (referred to herein as a “transform coefficient block”) . Transform processing unit 206 may apply various transforms to the residual block to form a transform coefficient block. For example, transform processing unit 206 may apply a discrete cosine transform (DCT), a directional transform, a Karhunen-Loeve transform (KLT), or a conceptually similar transform to the residual block. In some examples, transform processing unit 206 may perform multiple transforms on the residual block, such as a first-order transform and a second-order transform, such as a rotation transform. In some examples, transform processing unit 206 does not apply transforms to the residual block.

AV1 에 따라 동작할 때, 변환 프로세싱 유닛 (206) 은 잔차 블록에 하나 이상의 변환들을 적용하여 변환 계수들의 블록 (본 명세서에서는 "변환 계수 블록" 으로 지칭됨) 을 생성할 수 있다. 변환 프로세싱 유닛 (206) 은 다양한 변환들을 잔차 블록에 적용하여 변환 계수 블록을 형성할 수도 있다. 예를 들어, 변환 프로세싱 유닛 (206) 은 이산 코사인 변환 (DCT), 비대칭 이산 사인 변환 (ADST), 플립된 ADST (예를 들어, 역순의 ADST), 및 아이덴티티 변환 (IDTX) 을 포함할 수도 있는 수평/수직 변환 조합을 적용할 수도 있다. 아이덴티티 변환을 사용하는 경우, 수직 또는 수평 방향들 중 하나에서 변환이 스킵된다. 일부 예들에서, 변환 프로세싱은 스킵될 수도 있다.When operating in accordance with AV1, transform processing unit 206 may apply one or more transforms to the residual block to generate a block of transform coefficients (referred to herein as a “transform coefficient block”). Transform processing unit 206 may apply various transforms to the residual block to form a transform coefficient block. For example, transform processing unit 206 may include a discrete cosine transform (DCT), an asymmetric discrete sine transform (ADST), a flipped ADST (e.g., inverted ADST), and an identity transform (IDTX). A combination of horizontal/vertical transformations can also be applied. When using identity transformation, transformation is skipped in either the vertical or horizontal directions. In some examples, conversion processing may be skipped.

양자화 유닛 (208) 은 양자화된 변환 계수 블록을 생성하기 위해 변환 계수 블록에서의 변환 계수들을 양자화할 수도 있다. 양자화 유닛 (208) 은 현재 블록과 연관된 양자화 파라미터 (QP) 값에 따라 변환 계수 블록의 변환 계수들을 양자화할 수도 있다. 비디오 인코더 (200) 는 (예를 들어, 모드 선택 유닛 (202) 을 통해) CU 와 연관된 QP 값을 조정함으로써 현재 블록과 연관된 변환 계수 블록들에 적용되는 양자화의 정도를 조정할 수도 있다. 양자화는 정보의 손실을 도입할 수도 있으며, 따라서, 양자화된 변환 계수들은 변환 프로세싱 유닛 (206) 에 의해 생성된 오리지날 변환 계수들보다 더 낮은 정밀도를 가질 수도 있다.Quantization unit 208 may quantize the transform coefficients in a transform coefficient block to generate a quantized transform coefficient block. Quantization unit 208 may quantize the transform coefficients of the transform coefficient block according to a quantization parameter (QP) value associated with the current block. Video encoder 200 may adjust the degree of quantization applied to transform coefficient blocks associated with the current block by adjusting the QP value associated with the CU (e.g., via mode select unit 202). Quantization may introduce loss of information, and thus quantized transform coefficients may have lower precision than the original transform coefficients generated by transform processing unit 206.

역 양자화 유닛 (210) 및 역 변환 프로세싱 유닛 (212) 은 양자화된 변환 계수 블록에 역 양자화 및 역 변환들을 각각 적용하여, 변환 계수 블록으로부터 잔차 블록을 재구성할 수도 있다. 재구성 유닛 (214) 은 모드 선택 유닛 (202) 에 의해 생성된 예측 블록 및 재구성된 잔차 블록에 기초하여 (잠재적으로 어느 정도의 왜곡을 가짐에도 불구하고) 현재 블록에 대응하는 재구성된 블록을 생성할 수도 있다. 예를 들어, 재구성 유닛 (214) 은 재구성된 잔차 블록의 샘플들을, 모드 선택 유닛 (202) 에 의해 생성된 예측 블록으로부터의 대응하는 샘플들에 가산하여 재구성된 블록을 생성할 수도 있다. Inverse quantization unit 210 and inverse transform processing unit 212 may apply inverse quantization and inverse transforms, respectively, to the quantized transform coefficient block to reconstruct a residual block from the transform coefficient block. Reconstruction unit 214 may generate a reconstructed block corresponding to the current block (potentially with some degree of distortion) based on the prediction block and the reconstructed residual block generated by mode selection unit 202. It may be possible. For example, reconstruction unit 214 may add samples of the reconstructed residual block to corresponding samples from the prediction block generated by mode select unit 202 to produce a reconstructed block.

LMCS 유닛 (228) 은 루마 맵핑 및 크로마 스케일링을 수행하도록 구성될 수도 있다. LMCS 에 관한 추가적인 상세들은 도 4 와 관련하여 아래에서 논의된다. 일반적으로, LMCS 유닛 (228) 은, 루마 데이터에 대해, 적응적 구분적 선형 모델들에 기초하여 인-루프 맵핑을 수행할 수도 있고, 크로마 데이터에 대해, 루마-의존적 크로마 잔차 스케일링을 수행할 수도 있다. LMCS unit 228 may be configured to perform luma mapping and chroma scaling. Additional details regarding LMCS are discussed below in relation to FIG. 4 . In general, LMCS unit 228 may perform in-loop mapping based on adaptive piecewise linear models on luma data and may perform luma-dependent chroma residual scaling on chroma data. there is.

필터 유닛 (216) 은 재구성된 블록들에 대해 하나 이상의 필터 동작을 수행할 수도 있다. 예를 들어, 필터 유닛 (216) 은 CU들의 에지들을 따라 블록키니스 아티팩트들을 감소시키기 위해 디블록킹 동작들을 수행할 수도 있다. 필터 유닛 (216) 의 동작들은 일부 예들에서 생략될 수도 있다. Filter unit 216 may perform one or more filter operations on the reconstructed blocks. For example, filter unit 216 may perform deblocking operations to reduce blockiness artifacts along the edges of CUs. Operations of filter unit 216 may be omitted in some examples.

AV1 에 따라 동작할 때, 루프 필터 유닛 (216) 은 재구성된 블록들에 대해 하나 이상의 필터 동작들을 수행할 수도 있다. 예를 들어, 필터 유닛 (216) 은 CU들의 에지들을 따라 블록키니스 아티팩트들을 감소시키기 위해 디블록킹 동작들을 수행할 수도 있다. 다른 예들에서, 필터 유닛 (216) 은 디블로킹 후에 적용될 수도 있는 제약된 방향성 향상 필터 (CDEF) 를 적용할 수도 있고, 추정된 에지 방향들에 기초하여 비-분리가능 비선형 로우-패스 방향성 필터들의 적용을 포함할 수도 있다. 또한, 필터 유닛 (216) 은 CDEF 이후에 적용되는 루프 재구성 필터를 포함할 수 있으며, 분리가능한 대칭 정규화된 위너 필터 (Wiener filter) 또는 듀얼 셀프 가이드형 필터 (dual self-guided filter) 를 포함할 수 있다. When operating in accordance with AV1, loop filter unit 216 may perform one or more filter operations on the reconstructed blocks. For example, filter unit 216 may perform deblocking operations to reduce blockiness artifacts along the edges of CUs. In other examples, filter unit 216 may apply a constrained directional enhancement filter (CDEF) that may be applied after deblocking and application of non-separable nonlinear low-pass directional filters based on the estimated edge directions. It may also include . Filter unit 216 may also include a loop reconstruction filter applied after CDEF, and may include a separable symmetric normalized Wiener filter or a dual self-guided filter. there is.

비디오 인코더 (200) 는 DPB (218) 에 재구성된된 블록들을 저장한다. 예를 들어, 필터 유닛 (216) 의 동작들이 수행되지 않은 예들에서, 재구성 유닛 (214) 이, 재구성된 블록들을 DPB (218) 에 저장할 수도 있다. 필터 유닛 (216) 의 동작들이 수행되는 예들에서, 필터 유닛 (216) 은, 필터링된 재구성된 블록들을 DPB (218) 에 저장할 수도 있다. 모션 추정 유닛 (222) 및 모션 보상 유닛 (224) 은 재구성된 (및 잠재적으로 필터링된) 블록들로부터 형성된 DPB (218) 로부터의 기준 픽처를 검색하여, 후속적으로 인코딩된 픽처들의 블록들을 인터-예측할 수도 있다. 또한, 인트라-예측 유닛 (226) 은 현재 픽처에서의 다른 블록들을 인트라-예측하기 위해 현재 픽처의 DPB (218) 에서의 재구성된 블록들을 사용할 수도 있다.Video encoder 200 stores the reconstructed blocks in DPB 218. For example, in instances where the operations of filter unit 216 are not performed, reconstruction unit 214 may store the reconstructed blocks in DPB 218. In examples in which the operations of filter unit 216 are performed, filter unit 216 may store the filtered reconstructed blocks in DPB 218. Motion estimation unit 222 and motion compensation unit 224 retrieve a reference picture from DPB 218 formed from the reconstructed (and potentially filtered) blocks to inter-process blocks of subsequently encoded pictures. It can also be predicted. Additionally, intra-prediction unit 226 may use the reconstructed blocks in DPB 218 of the current picture to intra-predict other blocks in the current picture.

일반적으로, 엔트로피 인코딩 유닛 (220) 은 비디오 인코더 (200) 의 다른 기능 컴포넌트들로부터 수신된 신택스 엘리먼트들을 엔트로피 인코딩할 수도 있다. 예를 들어, 엔트로피 인코딩 유닛 (220) 은 양자화 유닛 (208) 으로부터의 양자화된 변환 계수 블록들을 엔트로피 인코딩할 수도 있다. 다른 예로서, 엔트로피 인코딩 유닛 (220) 은 모드 선택 유닛 (202) 으로부터 예측 신택스 엘리먼트들 (예를 들어, 인트라-예측에 대한 인트라-모드 정보 또는 인터-예측에 대한 모션 정보) 를 엔트로피 인코딩할 수도 있다. 엔트로피 인코딩 유닛 (220) 은 엔트로피 인코딩된 데이터를 생성하기 위해, 비디오 데이터의 다른 예인, 신택스 엘리먼트들에 대해 하나 이상의 엔트로피 인코딩 동작을 수행할 수도 있다. 예를 들어, 엔트로피 인코딩 유닛 (220) 은 컨텍스트 적응 가변 길이 코딩 (CAVLC) 동작, CABAC 동작, V2V (variable-to-variable) 길이 코딩 동작, 신택스 기반 컨텍스트 적응 바이너리 산술 코딩 (SBAC) 동작, 확률 간격 파티셔닝 엔트로피 (PIPE) 코딩 동작, 지수-골롬 인코딩 동작, 또는 다른 타입의 엔트로피 인코딩 동작을 데이터에 대해 수행할 수도 있다. 일부 예들에서, 엔트로피 인코딩 유닛 (220) 은 신택스 엘리먼트들이 엔트로피 인코딩되지 않은 바이패스 모드에서 동작할 수도 있다.In general, entropy encoding unit 220 may entropy encode syntax elements received from other functional components of video encoder 200. For example, entropy encoding unit 220 may entropy encode quantized transform coefficient blocks from quantization unit 208. As another example, entropy encoding unit 220 may entropy encode prediction syntax elements (e.g., intra-mode information for intra-prediction or motion information for inter-prediction) from mode selection unit 202. there is. Entropy encoding unit 220 may perform one or more entropy encoding operations on syntax elements, another example of video data, to generate entropy encoded data. For example, entropy encoding unit 220 may be configured to perform a context-adaptive variable-length coding (CAVLC) operation, a CABAC operation, a variable-to-variable (V2V) length coding operation, a syntax-based context-adaptive binary arithmetic coding (SBAC) operation, and a probability interval. A partitioning entropy (PIPE) coding operation, exponential-Golomb encoding operation, or other type of entropy encoding operation may be performed on the data. In some examples, entropy encoding unit 220 may operate in bypass mode in which syntax elements are not entropy encoded.

비디오 인코더 (200) 는 화상 또는 슬라이스의 블록들을 재구성하는데 필요한 엔트로피 인코딩된 신택스 엘리먼트들을 포함하는 비트스트림을 출력할 수도 있다. 특히, 엔트로피 인코딩 유닛 (220) 이 비트스트림을 출력할 수도 있다.Video encoder 200 may output a bitstream containing entropy encoded syntax elements needed to reconstruct blocks of a picture or slice. In particular, entropy encoding unit 220 may output a bitstream.

AV1 에 따르면, 엔트로피 인코딩 유닛 (220) 은 심볼-대-심볼 적응적 멀티-심볼 산술 코더로서 구성될 수도 있다. AV1 에서의 신택스 엘리먼트는 N개의 엘리먼트들의 알파벳을 포함하고, 컨텍스트 (예를 들어, 확률 모델) 는 N개의 확률들의 세트를 포함한다. 엔트로피 인코딩 유닛 (220) 은 확률을 n-비트 (예를 들어 15-비트) 누적 분포 함수들 (CDF들) 로서 저장할 수 있다. 엔트로피 인코딩 유닛 (220) 은 콘텍스트들을 업데이트하기 위해, 알파벳 크기에 기초한 업데이트 인자로 재귀적 스케일링을 수행할 수도 있다. According to AV1, entropy encoding unit 220 may be configured as a symbol-to-symbol adaptive multi-symbol arithmetic coder. A syntax element in AV1 contains an alphabet of N elements, and the context (eg, a probability model) contains a set of N probabilities. Entropy encoding unit 220 may store probabilities as n-bit (e.g., 15-bit) cumulative distribution functions (CDFs). Entropy encoding unit 220 may perform recursive scaling with an update factor based on alphabet size to update contexts.

상기 설명된 동작들은 블록에 관하여 설명된다. 그러한 설명은 루마 코딩 블록 및/또는 크로마 코딩 블록들을 위한 동작들인 것으로 이해되어야 한다. 위에서 설명된 바와 같이, 일부 예들에서, 루마 코딩 블록 및 크로마 코딩 블록들은 CU 의 루마 및 크로마 컴포넌트들이다. 일부 예들에서, 루마 코딩 블록 및 크로마 코딩 블록들은 PU 의 루마 및 크로마 컴포넌트들이다.The operations described above are described in terms of blocks. Such description should be understood as operations for luma coding blocks and/or chroma coding blocks. As described above, in some examples, the luma coding block and chroma coding blocks are the luma and chroma components of a CU. In some examples, the luma coding block and chroma coding blocks are luma and chroma components of a PU.

일부 예들에서, 루마 코딩 블록에 대해 수행된 동작들은 크로마 코딩 블록들에 대해 반복될 필요가 없다. 하나의 예로서, 크로마 블록들에 대한 모션 벡터 (MV) 및 기준 픽처를 식별하기 위한 동작들은 루마 코딩 블록에 대한 MV 및 기준 픽처를 식별하기 위해 반복될 필요가 없다. 오히려, 루마 코딩 블록에 대한 MV 는 크로마 블록들에 대한 MV 를 결정하도록 스케일링될 수도 있으며, 기준 픽처는 동일할 수도 있다. 또 다른 예로서, 인트라-예측 프로세스는 루마 코딩 블록 및 크로마 코딩 블록들에 대해 동일할 수도 있다.In some examples, operations performed on a luma coding block do not need to be repeated for chroma coding blocks. As one example, operations to identify a motion vector (MV) and reference picture for chroma blocks do not need to be repeated to identify the MV and reference picture for a luma coding block. Rather, the MV for the luma coding block may be scaled to determine the MV for the chroma blocks, and the reference picture may be the same. As another example, the intra-prediction process may be the same for luma coding block and chroma coding blocks.

도 3 은 본 개시의 기술들을 수행할 수도 있는 예시의 비디오 디코더 (300) 를 도시하는 블록 다이어그램이다. 도 3 은 설명의 목적을 위해 제공되고 본 개시에서 폭넓게 예시되고 설명된 기술들에 대해 한정하지 않는다. 설명의 목적들을 위해, 본 개시는 VVC (ITU-T H.266), 및 HEVC (ITU-T H.265) 의 기술들에 따른 비디오 디코더 (300) 를 설명한다. 그러나, 본 개시의 기술들은 다른 비디오 코딩 표준들로 구성되는 비디오 코딩 디바이스들에 의해 수행될 수도 있다.FIG. 3 is a block diagram illustrating an example video decoder 300 that may perform the techniques of this disclosure. 3 is provided for illustrative purposes and is not limiting to the techniques broadly illustrated and described in this disclosure. For purposes of explanation, this disclosure describes a video decoder 300 according to the techniques of VVC (ITU-T H.266), and HEVC (ITU-T H.265). However, the techniques of this disclosure may be performed by video coding devices configured with other video coding standards.

도 3 의 예에서, 비디오 디코더 (300) 는 코딩된 픽처 버퍼 (CPB) 메모리 (320), 엔트로피 디코딩 유닛 (302), 예측 프로세싱 유닛 (304), 역 양자화 유닛 (306), 역 변환 프로세싱 유닛 (308), 재구성된 유닛 (310), 크로마 스케일링을 이용한 루마 맵핑 (LMCS) 유닛 (322), 필터 유닛 (312), 및 디코딩된 픽처 버퍼 (DPB) (314) 를 포함한다. CPB 메모리 (320), 엔트로피 디코딩 유닛 (302), 예측 프로세싱 유닛 (304), 역 양자화 유닛 (306), 역 변환 프로세싱 유닛 (308), 재구성 유닛 (310), 필터 유닛 (312), LMCS 유닛 (322) 및 DPB (314) 중 임의의 것 또는 전부는 하나 이상의 프로세서들에서 또는 프로세싱 회로부에서 구현될 수도 있다. 예를 들어, 비디오 디코더 (300) 의 유닛들은 하나 이상의 회로들 또는 로직 엘리먼트들로서, 하드웨어 회로부의 부분으로서, 또는 프로세서, ASIC, 또는 FPGA 의 부분으로서 구현될 수도 있다. 더욱이, 비디오 디코더 (300) 는 이들 및 다른 기능들을 수행하기 위해 추가적인 또는 대안적인 프로세서들 또는 프로세싱 회로부를 포함할 수도 있다.In the example of Figure 3, video decoder 300 includes coded picture buffer (CPB) memory 320, entropy decoding unit 302, prediction processing unit 304, inverse quantization unit 306, inverse transform processing unit ( 308), a reconstructed unit 310, a luma mapping using chroma scaling (LMCS) unit 322, a filter unit 312, and a decoded picture buffer (DPB) 314. CPB memory 320, entropy decoding unit 302, prediction processing unit 304, inverse quantization unit 306, inverse transform processing unit 308, reconstruction unit 310, filter unit 312, LMCS unit ( Any or all of 322) and DPB 314 may be implemented in one or more processors or processing circuitry. For example, units of video decoder 300 may be implemented as one or more circuits or logic elements, as part of hardware circuitry, or as part of a processor, ASIC, or FPGA. Moreover, video decoder 300 may include additional or alternative processors or processing circuitry to perform these and other functions.

예측 프로세싱 유닛 (304) 은 모션 보상 유닛 (316) 및 인트라 예측 프로세싱 유닛 (318) 을 포함한다. 예측 프로세싱 유닛 (304) 은 다른 예측 모드들에 따라 예측을 수행하기 위해 부가 유닛들을 포함할 수도 있다. 예들로서, 예측 프로세싱 유닛 (304) 은 팔레트 유닛, 인트라-블록 카피 유닛 (모션 보상 유닛 (316) 의 부분을 형성할 수도 있음), 아핀 유닛, 선형 모델 (LM) 유닛 등을 포함할 수도 있다. 다른 예들에서, 비디오 디코더 (300) 는 더 많거나, 더 적거나, 또는 상이한 기능 컴포넌트들을 포함할 수도 있다. Prediction processing unit 304 includes motion compensation unit 316 and intra prediction processing unit 318. Prediction processing unit 304 may include additional units to perform prediction according to different prediction modes. As examples, prediction processing unit 304 may include a palette unit, an intra-block copy unit (which may form part of motion compensation unit 316), an affine unit, a linear model (LM) unit, etc. In other examples, video decoder 300 may include more, fewer, or different functional components.

AV1 에 따라 동작할 때, 보상 유닛 (316) 은 위에서 설명된 바와 같이, 병진 모션 보상, 아핀 모션 보상, OBMC, 및/또는 복합 인터-인트라 예측을 사용하여 비디오 데이터의 코딩 블록들 (예를 들어, 루마 및 크로마 코딩 블록들 양자) 을 디코딩하도록 구성될 수도 있다. 인트라 예측 유닛 (318) 은 위에서 설명된 바와 같이, 방향성 인트라 예측, 비방향성 인트라 예측, 재귀적 필터 인트라 예측, CFL, 인트라 블록 카피 (IBC), 및/또는 컬러 팔레트 모드를 사용하여 비디오 데이터의 코딩 블록들 (예를 들어, 루마 및 크로마 코딩 블록들 양자) 을 디코딩하도록 구성될 수도 있다. When operating in accordance with AV1, compensation unit 316 may use translational motion compensation, affine motion compensation, OBMC, and/or complex inter-intra prediction, as described above, to code blocks of video data (e.g. , both luma and chroma coding blocks). Intra prediction unit 318 codes video data using directed intra prediction, undirected intra prediction, recursive filter intra prediction, CFL, intra block copy (IBC), and/or color palette modes, as described above. may be configured to decode blocks (e.g., both luma and chroma coding blocks).

CPB 메모리 (320) 는, 비디오 디코더 (300) 의 컴포넌트에 의해 디코딩될 인코딩된 비디오 비트스트림과 같은 비디오 데이터를 저장할 수도 있다.　 CPB 메모리 (320) 에 저장된 비디오 데이터는, 예를 들어 컴퓨터 판독가능 매체 (110) (도 1) 로부터 획득될 수도 있다.　 CPB 메모리 (320) 는 인코딩된 비디오 비트스트림으로부터 인코딩된 비디오 데이터 (예를 들어, 신택스 엘리먼트들) 를 저장하는 CPB 를 포함할 수도 있다.　 또한, CPB 메모리 (320) 는 비디오 디코더 (300) 의 다양한 유닛들로부터의 출력들을 나타내는 일시적 데이터와 같은, 코딩된 화상의 신택스 엘리먼트외의 비디오 데이터를 저장할 수도 있다. DPB (314) 는 일반적으로, 인코딩된 비디오 비트스트림의 후속 데이터 또는 화상들을 디코딩할 때 기준 비디오 데이터로서 비디오 디코더 (300) 가 출력 및/또는 사용할 수도 있는 디코딩된 화상들을 저장한다.　 CPB 메모리 (320) 및 DPB (314) 는 다양한 메모리 디바이스들, 이를 테면, SDRAM (synchronous DRAM) 을 포함하는 DRAM (Dynamic random access memory), MRAM (magnetoresistive RAM), RRAM (resistive RAM), 또는 다른 유형들의 메모리 디바이스들 중 임의의 것에 의해 형성될 수도 있다.　 CPB 메모리 (320) 및 DPB (314) 는 동일한 메모리 디바이스 또는 별도의 메모리 디바이스들에 의해 제공될 수도 있다. 다양한 예들에서, CPB 메모리 (320) 는 비디오 디코더 (300) 의 다른 컴포넌트들과 온-칩이거나 또는 그 컴포넌트들에 대해 오프-칩일 수도 있다. CPB memory 320 may store video data, such as an encoded video bitstream, to be decoded by a component of video decoder 300. Video data stored in CPB memory 320 may be obtained, for example, from computer-readable medium 110 (FIG. 1). CPB memory 320 may include a CPB that stores encoded video data (e.g., syntax elements) from an encoded video bitstream. CPB memory 320 may also store video data other than syntax elements of coded pictures, such as temporal data representing outputs from various units of video decoder 300. DPB 314 generally stores decoded pictures that video decoder 300 may output and/or use as reference video data when decoding subsequent data or pictures of the encoded video bitstream. CPB memory 320 and DPB 314 may include various memory devices, such as dynamic random access memory (DRAM), including synchronous DRAM (SDRAM), magnetoresistive RAM (MRAM), resistive RAM (RRAM), or other types. It may be formed by any of these memory devices. CPB memory 320 and DPB 314 may be provided by the same memory device or separate memory devices. In various examples, CPB memory 320 may be on-chip with or off-chip relative to other components of video decoder 300.

추가적으로 또는 대안적으로, 일부 예들에서, 비디오 디코더 (300) 는 메모리 (120) (도 1) 로부터 코딩된 비디오 데이터를 검색할 수도 있다. 즉, 메모리 (120) 는 CPB 메모리 (320) 로 위에 논의된 바와 같이 데이터를 저장할 수도 있다. 마찬가지로, 메모리 (120) 는 비디오 디코더 (300) 의 기능의 일부 또는 전부가 비디오 디코더 (300) 의 프로세싱 회로에 의해 실행될 소프트웨어에서 구현될 때, 비디오 디코더 (300) 에 의해 실행될 명령들을 저장할 수도 있다. Additionally or alternatively, in some examples, video decoder 300 may retrieve coded video data from memory 120 (Figure 1). That is, memory 120 may store data as discussed above with CPB memory 320. Likewise, memory 120 may store instructions to be executed by video decoder 300 when some or all of the functionality of video decoder 300 is implemented in software to be executed by the processing circuitry of video decoder 300.

도 3 에 나타낸 다양한 유닛들은 비디오 인코더 (300) 에 의해 수행된 동작들의 이해를 돕기 위해 도시된다. 그 유닛들은 고정 기능 회로들, 프로그래밍가능 회로들, 또는 이들의 조합으로서 구현될 수도 있다. 도 2 와 유사하게, 고정 기능 회로들은 특정 기능성을 제공하는 회로들을 지칭하며, 수행될 수 있는 동작들에 대해 미리설정된다. 프로그래밍가능 회로들은 다양한 태스크들을 수행하도록 프로그래밍될 수도 있는 회로들을 지칭하고, 수행될 수도 있는 동작들에서 유연한 기능성을 제공한다. 예를 들어, 프로그래밍가능 회로들은, 그 프로그래밍가능 회로들이 소프트웨어 또는 펌웨어의 명령들에 의해 정의된 방식으로 동작하게 하는 소프트웨어 또는 펌웨어를 실행할 수도 있다. 고정 기능 회로들은 (예를 들어, 파라미터들을 수신하거나 또는 파라미터들을 출력하기 위해) 소프트웨어 명령들을 실행할 수도 있지만, 고정 기능 회로들이 수행하는 동작들의 타입들은 일반적으로 불변이다. 일부 예들에서, 유닛들 중 하나 이상은 별개의 회로 블록들 (고정 기능 또는 프로그램가능) 일 수도 있고, 일부 예들에서, 유닛들 중 하나 이상은 집적 회로들일 수도 있다. The various units shown in FIG. 3 are shown to aid understanding of the operations performed by video encoder 300. The units may be implemented as fixed function circuits, programmable circuits, or a combination thereof. Similar to Figure 2, fixed function circuits refer to circuits that provide specific functionality and are predefined for the operations that can be performed. Programmable circuits refer to circuits that may be programmed to perform various tasks, providing flexible functionality in the operations that may be performed. For example, programmable circuits may execute software or firmware that causes the programmable circuits to operate in a manner defined by instructions of the software or firmware. Fixed function circuits may execute software instructions (eg, to receive parameters or output parameters), but the types of operations that fixed function circuits perform are generally immutable. In some examples, one or more of the units may be separate circuit blocks (fixed function or programmable), and in some examples, one or more of the units may be integrated circuits.

비디오 디코더 (300) 는 프로그래밍가능 회로들로부터 형성된, ALU 들, EFU들, 디지털 회로들, 아날로그 회로들, 및/또는 프로그래밍가능 코어들을 포함할 수도 있다. 비디오 디코더 (300) 의 동작들이 프로그래밍가능 회로들 상에서 실행하는 소프트웨어에 의해 수행되는 예들에서, 온-칩 또는 오프-칩 메모리는, 비디오 디코더 (300) 가 수신하고 실행하는 소프트웨어의 명령들 (예를 들어, 오브젝트 코드) 을 저장할 수도 있다.Video decoder 300 may include ALUs, EFUs, digital circuits, analog circuits, and/or programmable cores formed from programmable circuits. In examples where the operations of video decoder 300 are performed by software executing on programmable circuits, on-chip or off-chip memory may store instructions of the software that video decoder 300 receives and executes (e.g. For example, object code) can also be stored.

엔트로피 디코딩 유닛 (302) 은 인코딩된 비디오 데이터를 CPB 로부터 수신하고, 비디오 데이터를 엔트로피 디코딩하여 신택스 엘리먼트들을 재생할 수도 있다. 예측 프로세싱 유닛 (304), 역 양자화 유닛 (306), 역 변환 프로세싱 유닛 (308), 재구성 유닛 (310), 및 필터 유닛 (312) 은 비트스트림으로부터 추출된 신택스 엘리먼트들에 기초하여 디코딩된 비디오 데이터를 생성할 수도 있다.Entropy decoding unit 302 may receive encoded video data from CPB and entropy decode the video data to reproduce syntax elements. Prediction processing unit 304, inverse quantization unit 306, inverse transform processing unit 308, reconstruction unit 310, and filter unit 312 decode video data based on syntax elements extracted from the bitstream. You can also create .

일반적으로, 비디오 디코더 (300) 는 블록 별 기반으로 픽처를 재구성한다. 비디오 디코더 (300) 는 개별적으로 각각의 블록에 대해 재구성 동작을 수행할 수도 있다 (여기서 현재 재구성되는, 즉 디코딩되는 블록은 "현재 블록" 으로 지칭될 수도 있음). In general, video decoder 300 reconstructs a picture on a block-by-block basis. Video decoder 300 may perform a reconstruction operation on each block individually (where the block currently being reconstructed, i.e., being decoded, may be referred to as the “current block”).

엔트로피 디코딩 유닛 (302) 은, 양자화 파라미터 (QP) 및/또는 변환 모드 표시 (들) 와 같은 변환 정보 뿐만 아니라, 양자화된 변환 계수 블록의 양자화된 변환 계수들을 정의하는 신택스 엘리먼트들을 엔트로피 디코딩할 수도 있다. 역 양자화 유닛 (306) 은 양자화된 변환 계수 블록과 연관된 QP 를 사용하여, 양자화의 정도 및 마찬가지로, 역 양자화 유닛 (306) 이 적용할 역 양자화의 정도를 결정할 수도 있다. 역 양자화 유닛 (306) 은, 예를 들어, 양자화된 변환 계수들을 역 양자화하기 위해 비트단위 좌측-시프트 동작을 수행할 수도 있다. 이로써 역 양자화 유닛 (306) 은 변환 계수들을 포함하는 변환 계수 블록을 형성할 수도 있다.Entropy decoding unit 302 may entropy decode syntax elements defining quantized transform coefficients of a quantized transform coefficient block, as well as transform information, such as quantization parameters (QP) and/or transform mode indication(s). . Inverse quantization unit 306 may use the QP associated with the quantized transform coefficient block to determine the degree of quantization and likewise the degree of inverse quantization that inverse quantization unit 306 will apply. Inverse quantization unit 306 may, for example, perform a bitwise left-shift operation to inverse quantize quantized transform coefficients. Inverse quantization unit 306 may thereby form a transform coefficient block containing the transform coefficients.

역 양자화 유닛 (306) 이 변환 계수 블록을 형성한 후, 역 변환 프로세싱 유닛 (308) 은 현재 블록과 연관된 잔차 블록을 생성하기 위해 변환 계수 블록에 하나 이상의 역 변환을 적용할 수도 있다. 예를 들어, 역변환 프로세싱 유닛 (308) 은 역 DCT, 역 정수 변환, 역 Karhunen-Loeve 변환 (KLT), 역 회전 변환, 역 방향성 변환, 또는 다른 역 변환을 변환 계수 블록에 적용할 수도 있다. After inverse quantization unit 306 forms the transform coefficient block, inverse transform processing unit 308 may apply one or more inverse transforms to the transform coefficient block to generate a residual block associated with the current block. For example, inverse transform processing unit 308 may apply an inverse DCT, an inverse integer transform, an inverse Karhunen-Loeve transform (KLT), an inverse rotation transform, an inverse directional transform, or another inverse transform to the transform coefficient block.

또한, 예측 프로세싱 유닛 (304) 은 엔트로피 디코딩 유닛 (302) 에 의해 엔트로피 디코딩된 예측 정보 신택스 엘리먼트들에 따라 예측 블록을 생성한다. 예를 들어, 예측 정보 신택스 엘리먼트들이 현재 블록이 인터-예측됨을 표시하면, 모션 보상 유닛 (316) 은 예측 블록을 생성할 수도 있다. 이 경우에, 예측 정보 신택스 엘리먼트들은 기준 블록을 검색할 DPB (314) 에서의 기준 화상 뿐만 아니라 현재 화상에서의 현재 블록의 위치에 대한 기준 화상에서의 기준 블록의 위치를 식별하는 모션 벡터를 표시할 수도 있다. 모션 보상 유닛 (316) 은 일반적으로 모션 보상 유닛 (224) (도 2) 과 관련하여 설명된 것과 실질적으로 유사한 방식으로 인터-예측 프로세스를 수행할 수도 있다. Prediction processing unit 304 also generates a prediction block according to prediction information syntax elements entropy decoded by entropy decoding unit 302. For example, if prediction information syntax elements indicate that the current block is inter-predicted, motion compensation unit 316 may generate a prediction block. In this case, the prediction information syntax elements may indicate a motion vector that identifies the location of the reference block in the reference picture relative to the location of the current block in the current picture as well as the reference picture in DPB 314 from which to search for the reference block. It may be possible. Motion compensation unit 316 may perform the inter-prediction process generally in a manner substantially similar to that described with respect to motion compensation unit 224 (Figure 2).

다른 예로서, 예측 정보 신택스 엘리먼트들이 현재 블록이 인트라-예측되는 것을 표시하면, 인트라-예측 유닛 (318) 은 예측 정보 신택스 엘리먼트들에 의해 표시된 인트라-예측 모드에 따라 예측 블록을 생성할 수도 있다. 다시, 인트라-예측 유닛 (318) 은 일반적으로 인트라-예측 유닛 (226) (도 2) 과 관련하여 설명된 것과 실질적으로 유사한 방식으로 인트라-예측 프로세스를 수행할 수도 있다. 인트라-예측 유닛 (318) 은 DPB (314) 로부터 현재 블록에 대한 이웃하는 샘플들의 데이터를 검색할 수도 있다. As another example, if the prediction information syntax elements indicate that the current block is intra-prediction, intra-prediction unit 318 may generate the prediction block according to the intra-prediction mode indicated by the prediction information syntax elements. Again, intra-prediction unit 318 may perform the intra-prediction process generally in a manner substantially similar to that described with respect to intra-prediction unit 226 (Figure 2). Intra-prediction unit 318 may retrieve data of neighboring samples for the current block from DPB 314.

재구성 유닛 (310) 은 예측 블록 및 잔차 블록을 사용하여 현재 블록을 재구성 (reconstruct) 할 수도 있다. 예를 들어, 재구성 유닛 (310) 은 잔차 픽셀 블록의 샘플들을 예측 블록의 대응하는 샘플들에 가산하여 현재 블록을 재구성할 수도 있다. Reconstruction unit 310 may reconstruct the current block using the prediction block and the residual block. For example, reconstruction unit 310 may add samples of the residual pixel block to corresponding samples of the prediction block to reconstruct the current block.

LMCS 유닛 (322) 은 루마 맵핑 및 크로마 스케일링을 수행하도록 구성될 수도 있다. LMCS 에 관한 추가적인 상세들은 도 4 와 관련하여 아래에서 논의된다. 일반적으로, LMCS 유닛 (322) 은, 루마 데이터에 대해, 적응적 구분적 선형 모델들에 기초하여 인-루프 맵핑을 수행할 수도 있고, 크로마 데이터에 대해, 루마-의존적 크로마 잔차 스케일링을 수행할 수도 있다. LMCS unit 322 may be configured to perform luma mapping and chroma scaling. Additional details regarding LMCS are discussed below in relation to FIG. 4 . In general, LMCS unit 322 may perform in-loop mapping based on adaptive piecewise linear models on luma data and may perform luma-dependent chroma residual scaling on chroma data. there is.

필터 유닛 (312) 은 재구성된 블록들에 대해 하나 이상의 필터 동작을 수행할 수도 있다. 예를 들어, 필터 유닛 (312) 은 재구성된 블록들의 에지들을 따라 블록크니스 아티팩트들을 감소시키기 위해 디블록킹 동작들을 수행할 수도 있다. 필터 유닛 (312) 의 동작들이 모든 예들에서 반드시 수행되는 것은 아니다. Filter unit 312 may perform one or more filter operations on the reconstructed blocks. For example, filter unit 312 may perform deblocking operations to reduce blockiness artifacts along the edges of reconstructed blocks. The operations of filter unit 312 are not necessarily performed in all examples.

비디오 디코더 (300) 는 DPB (314) 에 재구성된 블록들을 저장할 수도 있다. 예를 들어, 필터 유닛 (312) 의 동작들이 수행되지 않은 예들에서, 재구성 유닛 (310) 이, 재구성된 블록들을 DPB (314) 에 저장할 수도 있다. 필터 유닛 (312) 의 동작들이 수행되는 예들에서, 필터 유닛 (312) 은 필터링된 재구성된 블록들을 DPB (314) 에 저장할 수도 있다. 위에 논의된 바와 같이, DPB (314) 는 예측 프로세싱 유닛 (304) 에 인트라-예측을 위한 현재 화상의 샘플들 및 후속 모션 보상을 위해 이전에 디코딩된 화상들과 같은 기준 정보를 제공할 수도 있다. 더욱이, 비디오 디코더 (300) 는 도 1 의 디스플레이 디바이스 (118) 와 같은 디스플레이 디바이스 상으로의 후속 프리젠테이션을 위해 DPB (314) 로부터 디코딩된 픽처들 (예를 들어, 디코딩된 비디오) 을 출력할 수도 있다. Video decoder 300 may store the reconstructed blocks in DPB 314. For example, in instances where the operations of filter unit 312 are not performed, reconstruction unit 310 may store the reconstructed blocks in DPB 314. In examples in which the operations of filter unit 312 are performed, filter unit 312 may store the filtered reconstructed blocks in DPB 314. As discussed above, DPB 314 may provide prediction processing unit 304 with reference information, such as samples of the current picture for intra-prediction and previously decoded pictures for subsequent motion compensation. Moreover, video decoder 300 may output decoded pictures (e.g., decoded video) from DPB 314 for subsequent presentation on a display device, such as display device 118 of FIG. 1. there is.

도 4 는 크로마 스케일링 (LMCS) 을 이용한 루마 맵핑을 수행하기 위한 예시적인 아키텍처를 예시하는 개념도이다. ITU-T H.266/VVC (Versatile Video Coding) 는 크로마 스케일링을 이용한 루마 맵핑 (LMCS) 기술을 포함하며, 비디오 인코더 (200) 및 비디오 디코더 (300) 와 같은 상기 비디오 코더들이 루프 필터들, 예를 들어 필터 유닛 (216) (도 2) 또는 필터 유닛 (312) (도 3) 전에 별개의 프로세싱 블록으로서 구현할 수도 있다. 4 is a conceptual diagram illustrating an example architecture for performing luma mapping using chroma scaling (LMCS). ITU-T H.266/VVC (Versatile Video Coding) includes luma mapping with chroma scaling (LMCS) technology, wherein video coders such as video encoder 200 and video decoder 300 use loop filters, e.g. It may also be implemented as a separate processing block before, for example, filter unit 216 (FIG. 2) or filter unit 312 (FIG. 3).

도 4 의 예에서, 아키텍처는 크로마 데이터를 디코딩 (즉, 재구성) 하기 위한 크로마 부분 및 루마 데이터를 디코딩하기 위한 루마 부분을 포함한다. 크로마 부분은 크로마 스케일링 유닛 (150), 재구성 유닛 (152), 루프 필터 유닛 (154), DPB (156), 인트라 예측 유닛 (158), 및 모션 보상 유닛 (160) 을 포함한다. 루마 부분은 역 양자화 및 역 변환 유닛 (162), 재구성 유닛 (164), 역 재성형 유닛 (176), 루프 필터 유닛 (166), DPB (168), 인트라 예측 유닛 (170), 모션 보상 유닛 (172), 및 순방향 재성형 유닛 (174) 을 포함한다. In the example of Figure 4, the architecture includes a chroma part to decode (i.e., reconstruct) chroma data and a luma part to decode luma data. The chroma portion includes chroma scaling unit 150, reconstruction unit 152, loop filter unit 154, DPB 156, intra prediction unit 158, and motion compensation unit 160. The luma part consists of inverse quantization and inverse transform unit 162, reconstruction unit 164, inverse reshaping unit 176, loop filter unit 166, DPB 168, intra prediction unit 170, motion compensation unit ( 172), and a forward reshaping unit 174.

VVC 에 따르면, LMCS 는 2 개의 주요 컴포넌트들을 갖는다: 1) 적응적 조각별 선형 모델들 (adaptive piecewise linear models) 에 기초한 루마 컴포넌트의 인-루프 맵핑; 2) 크로마 컴포넌트들에 대해, 루마-의존적 크로마 잔차 스케일링이 적용된다. 도 4 는 비디오 디코더 (300) 와 같은 비디오 디코더의 관점에서 LMCS 아키텍처를 도시한다. 따라서, 비디오 디코더 (300) 는 재구성 유닛 (310) 과 필터 유닛 (312) 사이에 LMCS 유닛을 추가로 포함할 수도 있다. 도 3 의 예에 도시된 바와 같이, 예를 들어, 비디오 디코더 (300) 는 크로마 스케일링 유닛 (150), 역 성형 유닛 (176), 및 순방향 재성형 유닛 (174) 에 대응할 수도 있는 LMCS 유닛 (322) 을 포함한다. 유사하게, 도 2 의 예의 비디오 인코더 (200) 는 도 4 의 크로마 스케일링 유닛 (150), 역 성형 유닛 (176), 및 순방향 재성형 유닛 (174) 에 대응할 수도 있는 LMCS 유닛 (228) 을 포함한다. According to VVC, LMCS has two main components: 1) in-loop mapping of the luma component based on adaptive piecewise linear models; 2) For chroma components, luma-dependent chroma residual scaling is applied. 4 shows the LMCS architecture from the perspective of a video decoder, such as video decoder 300. Accordingly, video decoder 300 may additionally include an LMCS unit between reconstruction unit 310 and filter unit 312. As shown in the example of FIG. 3 , for example, video decoder 300 includes LMCS unit 322, which may correspond to chroma scaling unit 150, reverse shaping unit 176, and forward reshaping unit 174. ) includes. Similarly, video encoder 200 of the example of FIG. 2 includes an LMCS unit 228 that may correspond to chroma scaling unit 150, reverse shaping unit 176, and forward reshaping unit 174 of FIG. 4 .

역 양자화 및 역 변환 (xform) 유닛 (162) 은 역 양자화 유닛 (210) 및 역 변환 프로세싱 유닛 (212) (도 2) 또는 역 양자화 유닛 (306) 및 역 변환 프로세싱 유닛 (308) (도 3) 에 대응할 수도 있다. 도 4 의 재구성 유닛들 (152 및 1654) 은 재구성 유닛 (214) (도 2) 또는 재구성 유닛 (310) (도 3) 에 대응할 수도 있다. 도 4 의 인트라 예측 유닛들 (158, 170) 은 인트라 예측 유닛 (226) (도 2) 또는 인트라 예측 유닛 (318) (도 3) 에 대응할 수도 있다. 도 4 의 역 양자화 및 변환 유닛 (162), 재구성 유닛 (164), 및 인트라-예측 유닛 (170) 은 맵핑된 도메인에서 프로세싱을 수행할 수도 있다. Inverse quantization and inverse transform (xform) unit 162 may be connected to inverse quantization unit 210 and inverse transform processing unit 212 (FIG. 2) or inverse quantization unit 306 and inverse transform processing unit 308 (FIG. 3). You can also respond to . Reconstruction units 152 and 1654 of FIG. 4 may correspond to reconstruction unit 214 ( FIG. 2 ) or reconstruction unit 310 ( FIG. 3 ). Intra prediction units 158, 170 of FIG. 4 may correspond to intra prediction unit 226 (FIG. 2) or intra prediction unit 318 (FIG. 3). Inverse quantization and transform unit 162, reconstruction unit 164, and intra-prediction unit 170 of FIG. 4 may perform processing in the mapped domain.

도 4 의 다른 유닛들은 오리지널 (즉, 맵핑되지 않은) 도메인에서 프로세싱을 수행할 수 있다. 그러한 유닛들은 (디블로킹, ALF, 및 SAO 와 같은) 루프 필터 유닛들 (154, 166), 모션 보상 유닛들 (160, 172), 크로마 인트라 예측 유닛 (158), 재구성 유닛 (152), 및 디코딩된 픽처들을 기준 픽처들로서 저장하는 DPB들 (156, 168) 을 포함한다. 도 4 의 크로마 스케일링 유닛 (150), 순방향 재성형 유닛 (174), 및 역 재성형 유닛 (176) 은 LMCS 기능 블록들에 대응한다. VVC 에서의 대부분의 다른 툴들과 같이, LMCS 는 SPS 플래그를 사용하여 시퀀스 레벨에서 인에이블/디스에이블될 수 있다.Other units in FIG. 4 may perform processing in the original (ie, unmapped) domain. Such units include loop filter units 154, 166 (such as deblocking, ALF, and SAO), motion compensation units 160, 172, chroma intra prediction unit 158, reconstruction unit 152, and decoding and DPBs 156 and 168 that store the obtained pictures as reference pictures. Chroma scaling unit 150, forward reshaping unit 174, and reverse reshaping unit 176 in FIG. 4 correspond to LMCS functional blocks. Like most other tools in VVC, LMCS can be enabled/disabled at the sequence level using the SPS flag.

순방향 재성형 유닛 (174) 은, 압축 효율을 개선하기 위해 동적 범위에 걸쳐 코드워드들을 재분배하는 것을 포함하여, 입력 신호의 동적 범위를 조정하기 위해 루마 컴포넌트의 인-루프 맵핑을 수행할 수도 있다. 순방향 재성형 유닛 (174) 에 의해 수행된 루마 맵핑은 순방향 맵핑 함수, FwdMap 를 사용할 수도 있다. 역 성형 유닛 (176) 은 대응하는 역 맵핑 함수, InvMap 를 실행할 수 있다. Forward reshaping unit 174 may perform in-loop mapping of luma components to adjust the dynamic range of the input signal, including redistributing codewords across the dynamic range to improve compression efficiency. Luma mapping performed by forward reshaping unit 174 may use the forward mapping function, FwdMap . Inverse shaping unit 176 may execute the corresponding inverse mapping function, InvMap .

도 4 에 도시된 바와 같이, 인터-코딩된 블록에 대해, 모션 보상 예측이 맵핑된 도메인에서 수행된다. 즉, DPB 에서 기준 신호에 기초하여 모션 보상된 예측 블록 Y _pred 이 계산된 후, FwdMap 함수를 적용하여 오리지날 도메인의 루마 예측 블록을 맵핑된 도메인에 맵핑하고, Y _'pred =FwdMap (Y _pred ) _. 인트라-코딩된 블록에 대해, FwdMap 함수는 인트라 예측이 맵핑된 도메인에서 수행되기 때문에 적용되지 않는다. 재구성된 블록 Y _r 이 계산된 후, 역 재성형 유닛 (176) 은 InvMap 함수를 실행하여 맵핑된 도메인에서의 재구성된 루마 값들을 오리지날 도메인에서의 재구성된 루마 값들로 다시 변환할 수도 있다 (). InvMap 함수는 인트라- 및 인터-코딩된 루마 블록들 양자 모두에 적용될 수도 있다.As shown in Figure 4, for inter-coded blocks, motion compensated prediction is performed in the mapped domain. That is, after the motion-compensated prediction block Y _pred is calculated based on the reference signal in the DPB , the FwdMap function is applied to map the luma prediction block of the original domain to the mapped domain, Y _'pred = FwdMap (Y _pred ) _. For intra-coded blocks, the FwdMap function does not apply because intra prediction is performed in the mapped domain. Reconstructed block Y _r After this is calculated , inverse reshaping unit 176 may execute the InvMap function to convert the reconstructed luma values in the mapped domain back to the reconstructed luma values in the original domain ( ). The InvMap function may be applied to both intra- and inter-coded luma blocks.

도 5a 및 도 5b는 중첩 블록 모션 보상 (OBMC) 에서 사용되는 서브 블록들의 예들을 나타내는 개념도들이다. 특히, 도 5a 의 예는 OBMC 가 적용되는 CU 또는 그 PU 경계들에서 서브-블록들 (즉, 좌측에서 우측으로 하향 해싱 (hashing) 으로 쉐이딩된 블록들) 을 포함하는 예시적인 블록 (예를 들어, 현재 CU) 을 도시한다. 도 5a 의 예에서, 서브-블록들 (182B 및 182B') 의 모션 벡터들은 서브-블록 (180B) 의 OBMC 를 수행하기 위해 사용되고; 서브-블록 (182C) 의 모션 벡터는 서브-블록 (180C) 의 OBMC 를 수행하기 위해 사용된다. 5A and 5B are conceptual diagrams showing examples of sub-blocks used in overlapping block motion compensation (OBMC). In particular, the example of Figure 5A shows an example block (e.g. , current CU) is shown. In the example of Figure 5A, the motion vectors of sub-blocks 182B and 182B' are used to perform OBMC of sub-block 180B; The motion vector of sub-block 182C is used to perform OBMC of sub-block 180C.

도 5b 는 OBMC 가 ATMVP (advanced temporal motion vector prediction) 모드에서 적용하는 서브-PU들을 포함하는 예시적인 블록 (예를 들어, CU) 을 도시한다. 도 5b 의 예에서, 이웃하는 서브-블록들 (186A-186D) (이웃하는 서브-블록들 (186) ) 의 모션 벡터들은 서브-블록 (184) 의 OBMC 를 수행하는데 사용된다.FIG. 5B shows an example block (e.g., CU) containing sub-PUs that OBMC applies in advanced temporal motion vector prediction (ATMVP) mode. In the example of FIG. 5B , the motion vectors of neighboring sub-blocks 186A-186D (neighboring sub-blocks 186) are used to perform OBMC of sub-block 184.

일부 예들에서, OBMC 는 CU 레벨에서 코딩된 신택스 엘리먼트들 (예를 들어, 플래그들) 을 사용하여 스위치 온 및 오프될 수 있다. OBMC 가 CU 에서 사용될 때, OBMC 는 CU 의 우측 및 하단 경계들을 제외한 모든 모션 보상 (MC) 블록 경계들에 대해 수행될 수도 있다. 또한, OBMC 는 루마 및 크로마 컴포넌트들 양자에 적용될 수도 있다. 일부 비디오 코덱들에서, MC 블록은 코딩 블록에 대응한다. CU 가 서브-CU 모드 (예를 들어, 서브-CU 병합, 아핀, 및 FRUC (Frame Rate Up Conversion) 모드를 포함함) 로 코딩될 때, CU 의 각각의 서브-블록은 MC 블록일 수도 있다. 균일한 방식으로 CU 경계들을 프로세싱하기 위해, OBMC 는 모든 MC 블록 경계들에 대해 서브-블록 레벨에서 수행될 수도 있으며, 여기서 서브-블록 사이즈는 도 5a 및 도 5b 에 예시된 바와 같이 4 × 4 와 동일하게 설정될 수도 있다.In some examples, OBMC can be switched on and off using syntax elements (eg, flags) coded at the CU level. When OBMC is used in a CU, OBMC may be performed on all motion compensation (MC) block boundaries except the right and bottom boundaries of the CU. Additionally, OBMC may be applied to both luma and chroma components. In some video codecs, an MC block corresponds to a coding block. When a CU is coded in sub-CU mode (e.g., including sub-CU merge, affine, and Frame Rate Up Conversion (FRUC) mode), each sub-block of the CU may be an MC block. To process CU boundaries in a uniform manner, OBMC may be performed at the sub-block level for all MC block boundaries, where the sub-block size is 4 × 4 as illustrated in FIGS. 5A and 5B. It may also be set the same.

OBMC 가 현재 서브-블록에 적용될 경우, 현재 모션 벡터들 외에, 4 개의 연결된 이웃하는 서브-블록들의 모션 벡터들은, 이용가능하지 않고 현재 모션 벡터와 동일하지 않은 경우, 현재 서브-블록에 대한 예측 블록을 도출하는데 또한 사용될 수 있다. 다중 모션 벡터들에 기초한 이들 다중 예측 블록들은 현재 서브-블록의 최종 예측 신호를 생성하기 위해 조합될 수 있다.When OBMC is applied to the current sub-block, in addition to the current motion vectors, the motion vectors of the four connected neighboring sub-blocks are, if not available and not identical to the current motion vector, the prediction block for the current sub-block. It can also be used to derive . These multiple prediction blocks based on multiple motion vectors can be combined to generate the final prediction signal of the current sub-block.

이웃하는 서브-블록의 모션 벡터들에 기초한 예측 블록은 P_N 으로 나타내어질 수 있고, 여기서 N 은 이웃하는 상단, 하단, 좌측 및 우측 서브-블록들에 대한 인덱스를 나타내고 현재 서브-블록의 모션 벡터들에 기초한 예측 블록은 Pc 로 표시된다. PN 이 현재 서브-블록과 동일한 모션 정보를 포함하는 이웃하는 서브-블록의 모션 정보에 기초할 경우, OBMC 는 PN 으로부터 수행되지 않을 수 있다. 그렇지 않으면, P_N 의 모든 샘플은 P_C 내의 동일한 샘플에 추가될 수도 있고, 즉 P_N 의 4 개의 행/열이 P_C 에 추가된다. 가중 팩터들 {1/4, 1/8, 1/16, 1/32} 은 P_N 에 사용될 수 있고, 가중 팩터들 {3/4, 7/8, 15/16, 31/32} 은 PC 에 사용될 수 있다. 작은 MC 블록들이 제외되고 (예를 들어, 코딩 블록의 높이 또는 폭이 4 와 동일하거나 또는 CU 가 서브-CU 모드로 코딩될 경우), PN 의 오직 2 개의 행들/열들만이 PC 에 추가된다. 이 경우에 가중 팩터들 {1/4, 1/8} 이 P_N 에 사용되고, 가중 팩터들 {3/4, 7/8} 이 PC 에 사용될 수 있다. 수직으로 (수평으로) 이웃하는 서브-블록의 모션 벡터들에 기초하여 생성된 P_N 에 대해, P_N 의 동일한 행 (열) 에서의 샘플들이 동일한 가중 팩터로 PC 에 추가될 수 있다.A prediction block based on the motion vectors of neighboring sub-blocks can be denoted as P _N , where N represents the indices for the neighboring top, bottom, left and right sub-blocks and is the motion vector of the current sub-block. The prediction block based on these is denoted by Pc. If the PN is based on motion information of a neighboring sub-block that includes the same motion information as the current sub-block, OBMC may not be performed from the PN. Otherwise, all samples of P _N may be added to the same sample in P _C , i.e. 4 rows/columns of P _N are added to P _C . Weighting factors {1/4, 1/8, 1/16, 1/32} can be used for P _N and weighting factors {3/4, 7/8, 15/16, 31/32} can be used for PC can be used for Small MC blocks are excluded (e.g., if the height or width of the coding block is equal to 4 or the CU is coded in sub-CU mode), and only 2 rows/columns of the PN are added to the PC. In this case weighting factors {1/4, 1/8} can be used for P _N and weighting factors {3/4, 7/8} can be used for PC. For P _N generated based on the motion vectors of vertically (horizontally) neighboring sub-blocks, samples in the same row (column) of P _N may be added to PC with the same weighting factor.

ITU-T H.266/VVC (Versatile Video Coding) 에서, CU 는 조합된 인터/인트라 예측 (CIIP) 모드를 사용하여 코딩될 수 있다. CIIP 예측은 그 명칭에서 알 수 있듯이, 인터 예측 신호와 인트라 예측 신호를 조합하여 최종 예측 신호를 형성한다. 인트라 및 인터 예측 신호들은 다음과 같이 가중 평균을 사용하여 조합될 수 있다:In ITU-T H.266/VVC (Versatile Video Coding), CUs can be coded using combined inter/intra prediction (CIIP) mode. As the name suggests, CIIP prediction combines inter prediction signals and intra prediction signals to form the final prediction signal. Intra and inter prediction signals can be combined using a weighted average as follows:

. .

상술한 바와 같이, CIIP 모드를 수행하는 비디오 코더는 인터 예측 블록과 인트라 예측 블록의 가중 평균의 계산을 통해 최종 예측자를 생성한다. LMCS 의 존재시, 인터 예측자는 오리지날 도메인에 있는 반면, 인트라 예측자는 맵핑된 도메인에 있다. 따라서, VVC 에서, 루마 맵핑은 인트라 예측기와의 가중 평균화 전에 맵핑된 도메인에 인터 예측기를 맵핑하기 위해 인터 예측기에 대해 수행된다. OBMC 가 CIIP 코딩된 블록에 적용되어야 할 때, LMCS 와의 상호작용은 아직 정의되지 않는다.As described above, a video coder performing CIIP mode generates a final predictor through calculation of the weighted average of the inter-prediction block and intra-prediction block. In the presence of LMCS, the inter predictor is in the original domain, while the intra predictor is in the mapped domain. Therefore, in VVC, luma mapping is performed on the inter predictor to map the inter predictor to the mapped domain before weighted averaging with the intra predictor. When OBMC is to be applied to CIIP coded blocks, the interaction with LMCS is not yet defined.

본 개시는 OBMC, LMCS, 및 CIIP 의 기술들을 조합하기 위한 다양한 기술들을 설명한다. OBMC, LMCS, 및 CIIP 의 특정 예들이 설명되지만, 이들 기술들은 다른 코딩 기술들에도 적용될 수도 있다. 예를 들어, 이러한 기술들은 상이한 온/오프 제어, 가중 파라미터들, 및/또는 다른 적응 기술들을 사용하는 OBMC 변형들에 적용될 수 있다. 다른 예로서, 이러한 기술들은 상이한 맵핑 기술들을 사용하는 LMCS 변형들에 대해 적용될 수 있다. 또 다른 예로서, 이러한 기술들은 상이한 가중치 계산 방법들 또는 다른 적응 기술들을 사용하는 CIIP 변형들에 적용될 수 있다. 일반적으로, 본 개시의 방법들은 적어도 하나의 인트라 예측기 및 하나의 인터 예측기를 사용하는 코딩 툴, 및 이웃하는 코딩된 블록으로부터의 모션 정보를 사용하는 하나의 인터 예측기에 적용된다. This disclosure describes various techniques for combining the techniques of OBMC, LMCS, and CIIP. Although specific examples of OBMC, LMCS, and CIIP are described, these techniques may also be applied to other coding techniques. For example, these techniques can be applied to OBMC variants that use different on/off control, weighting parameters, and/or other adaptation techniques. As another example, these techniques can be applied to LMCS variants using different mapping techniques. As another example, these techniques can be applied to CIIP variants using different weight calculation methods or other adaptation techniques. Generally, the methods of this disclosure apply to a coding tool that uses at least one intra predictor and one inter predictor, and one inter predictor that uses motion information from a neighboring coded block.

일부 예들에서, CIIP 플래그는 OBMC 플래그 이전에 비트스트림에서 시그널링될 수도 있다. 일 예에서, OBMC 는 CIIP 에 대해 디스에이블된다. 구체적으로, 현재 블록이 CIIP 모드를 사용하여 코딩된다고 (비디오 인코더 (200) 또는 비디오 디코더 (300) 와 같은) 비디오 코더가 결정할 때, 비디오 코더는 OBMC 플래그를 코딩하지 않고 OBMC 플래그가 거짓인 것 (즉, OBMC 가 사용되지 않는 것) 으로 추론한다. 일부 예들에서, 비디오 코더는 LMCS 가 적용되면 CIIP 코딩된 블록에 대해 OBMC 를 디스에이블한다. LMCS 가 적용되고 현재 블록이 CIIP 모드를 사용할 때, 비디오 코더는 OBMC 플래그를 코딩하지 않고 OBMC 플래그가 거짓인 것으로 추론한다. In some examples, the CIIP flag may be signaled in the bitstream before the OBMC flag. In one example, OBMC is disabled for CIIP. Specifically, when a video coder (such as video encoder 200 or video decoder 300) determines that the current block is coded using CIIP mode, the video coder does not code the OBMC flag and sets the OBMC flag to false ( In other words, it is inferred that OBMC is not used. In some examples, the video coder disables OBMC for CIIP coded blocks when LMCS is applied. When LMCS is applied and the current block uses CIIP mode, the video coder does not code the OBMC flag and infers that the OBMC flag is false.

일부 예들에서, 비디오 코더는 현재 블록에 대한 LMCS 의 사용을 표시하는 CU-레벨 플래그를 코딩하며, 여기서, LMCS CU-레벨 플래그는 CIIP 및 OBMC 플래그들 후에 코딩된다. CIIP 플래그가 OBMC 플래그 이전에 표시되는지 여부에 관계없이, OBMC 및 CIIP 양자 모두가 현재 블록에 적용될 때, 비디오 코더는 LMCS CU-레벨 플래그를 명시적으로 코딩하지 않으면서 LMCS CU-레벨 플래그가 거짓이라고 추론할 수도 있다.In some examples, the video coder codes a CU-level flag indicating use of LMCS for the current block, where the LMCS CU-level flag is coded after the CIIP and OBMC flags. Regardless of whether the CIIP flag appears before the OBMC flag, when both OBMC and CIIP are applied to the current block, the video coder can determine that the LMCS CU-level flag is false without explicitly coding the LMCS CU-level flag. You can also infer.

일부 예들에서, OBMC 플래그는 CIIP 플래그 이전에 비트스트림에서 시그널링될 수도 있다. 일 예에서, 비디오 코더는 OBMC 에 대해 CIIP 모드를 디스에이블한다. 구체적으로, 현재 블록이 OBMC 모드를 사용하여 코딩될 때, 비디오 코더는 CIIP 플래그에 대한 값을 코딩하지 않고, CIIP 플래그가 거짓임을 추론한다. 일부 예들에서, 비디오 코더는 LMCS 가 적용되면 OBMC 코딩된 블록에 대한 CIIP 를 디스에이블한다. LMCS 가 적용되고 현재 블록이 OBMC 모드를 사용하여 코딩될 때, 비디오 코더는 CIIP 플래그를 코딩하지 않고 CIIP 플래그가 거짓이라고 추론할 수도 있다.In some examples, the OBMC flag may be signaled in the bitstream before the CIIP flag. In one example, the video coder disables CIIP mode for OBMC. Specifically, when the current block is coded using OBMC mode, the video coder does not code a value for the CIIP flag and infers that the CIIP flag is false. In some examples, the video coder disables CIIP for OBMC coded blocks when LMCS is applied. When LMCS is applied and the current block is coded using OBMC mode, the video coder may not code the CIIP flag and infer that the CIIP flag is false.

도 6 는 본 개시의 기술들에 따른, 현재 블록을 인코딩하기 위한 예시적인 방법을 예시한 플로우차트이다. 현재 블록은 현재 CU 를 포함할 수도 있다. 비디오 인코더 (200) (도 1 및 도 2) 와 관련하여 설명되지만, 도 6 과 유사한 방법을 수행하도록 다른 디바이스들이 구성될 수도 있음을 이해해야 한다.6 is a flowchart illustrating an example method for encoding a current block, in accordance with the techniques of this disclosure. The current block may include the current CU. Although described with respect to video encoder 200 (FIGS. 1 and 2), it should be understood that other devices may be configured to perform a similar method to that of FIG. 6.

이 예에 있어서, 비디오 인코더 (200) 는 초기에 현재 블록을 예측한다 (350). 예를 들어, 비디오 인코더 (200) 는 현재 블록에 대한 예측 블록을 형성할 수도 있다. 비디오 인코더 (200) 는, 도 8 내지 도 10 과 관련하여 위에서 논의된 기술들 또는 아래에서 설명되는 기술들과 같은, 예를 들어, OBMC, CIIP, 및/또는 LMCS 의 다양한 조합들을 사용하여, 블록을 예측하도록 본 개시의 다양한 기술들 중 임의의 것을 사용할 수 있다. 특히, 비디오 인코더 (200) 는 현재 블록에 대한 인터 예측 블록 및 인트라 예측 블록을 생성할 수도 있다. 비디오 인코더 (200) 는 그후 최종 예측 블록을 생성할 때 OBMC, CIIP, 및 LMCS 의 조합을 수행하는 것을 포함하여, 인터-예측 블록 및 인트라-예측 블록으로부터 최종 예측 블록을 생성할 수도 있다. In this example, video encoder 200 initially predicts the current block (350). For example, video encoder 200 may form a prediction block for the current block. Video encoder 200 may use various combinations of, e.g., OBMC, CIIP, and/or LMCS, such as the techniques discussed above with respect to FIGS. 8-10 or the techniques described below, to encode a block Any of the various techniques of this disclosure can be used to predict . In particular, video encoder 200 may generate an inter-prediction block and an intra-prediction block for the current block. Video encoder 200 may then generate a final prediction block from the inter-prediction block and the intra-prediction block, including performing a combination of OBMC, CIIP, and LMCS in generating the final prediction block.

비디오 인코더 (200) 는 그 후에, 현재 블록에 대한 잔차 블록을 계산할 수도 있다 (352). 잔차 블록을 계산하기 위해, 비디오 인코더 (200) 는 오리지날, 코딩되지 않은 블록과 현재 블록에 대한 예측 블록 (즉 최종 예측 블록) 사이의 차이를 계산할 수도 있다. 그후, 비디오 인코더 (200) 는 잔차 블록을 변환하고, 잔차 블록의 변환 계수들을 양자화할 수도 있다 (354). 다음에, 비디오 인코더 (200) 는 잔차 블록의 양자화된 변환 계수들을 스캔할 수도 있다 (356). 스캔 동안, 또는 스캔에 후속하여, 비디오 인코더 (200) 는 변환 계수들을 엔트로피 인코딩할 수도 있다 (358). 예를 들어, 비디오 인코더 (200) 는 CAVLC 또는 CABAC 을 사용하여 변환 계수들을 인코딩할 수도 있다. 그후, 비디오 인코더 (200) 는 블록의 엔트로피 인코딩된 데이터를 출력할 수도 있다 (360). Video encoder 200 may then calculate a residual block for the current block (352). To calculate the residual block, video encoder 200 may calculate the difference between the original, uncoded block and the prediction block for the current block (i.e., the final prediction block). Video encoder 200 may then transform the residual block and quantize the transform coefficients of the residual block (354). Next, video encoder 200 may scan the quantized transform coefficients of the residual block (356). During, or following a scan, video encoder 200 may entropy encode the transform coefficients (358). For example, video encoder 200 may encode transform coefficients using CAVLC or CABAC. Video encoder 200 may then output the block's entropy encoded data (360).

비디오 인코더 (200) 는 또한, (예를 들어, 인터- 또는 인트라-예측 모드들에서) 후속적으로 코딩된 데이터에 대한 기준 데이터로서 현재 블록의 디코딩된 버전을 사용하기 위해, 현재 블록을 인코딩한 후에 현재 블록을 디코딩할 수도 있다. 따라서, 비디오 인코더 (200) 는 잔차 블록을 재생성하기 위해 계수들을 역 양자화 및 역 변환할 수도 있다 (362). 비디오 인코더 (200) 는 디코딩된 블록을 형성하기 위해 잔차 블록을 예측 블록과 조합할 수도 있다 (364). 그 다음, 비디오 인코더 (200) 는 디코딩된 블록을 DPB (218) 에 저장할 수도 있다 (366). Video encoder 200 may also encode the current block to use the decoded version of the current block as reference data for subsequently coded data (e.g., in inter- or intra-prediction modes). You can also decode the current block later. Accordingly, video encoder 200 may inverse quantize and inverse transform the coefficients to recreate the residual block (362). Video encoder 200 may combine the residual block with the prediction block to form a decoded block (364). Video encoder 200 may then store the decoded block in DPB 218 (366).

이러한 방식으로, 도 6 의 방법은 비디오 데이터를 인코딩 및 디코딩하는 방법의 일 예를 나타내며, 상기 방법은, 비디오 데이터의 현재 블록에 대한 인터-예측 블록을 생성하는 단계; 비디오 데이터의 상기 현재 블록에 대한 인트라-예측 블록을 생성하는 단계; 상기 인터-예측 블록 및 상기 인트라-예측 블록으로부터 비디오 데이터의 상기 현재 블록에 대한 최종 예측 블록을 생성하는 단계로서, 상기 최종 예측 블록을 생성하는 동안 조합된 인터/인트라-예측 (CIIP) 모드, 중첩된 블록 모션 보상 (OBMC), 및 크로마 스케일링을 이용한 루마 맵핑 (LMCS) 의 각각을 수행하는 것을 포함하는, 상기 최종 예측 블록을 생성하는 단계; 및 상기 최종 예측 블록을 사용하여 비디오 데이터의 상기 현재 블록을 디코딩하는 단계를 포함한다.In this way, the method of Figure 6 represents an example of a method for encoding and decoding video data, the method comprising: generating an inter-prediction block for a current block of video data; generating an intra-prediction block for the current block of video data; generating a final prediction block for the current block of video data from the inter-prediction block and the intra-prediction block, wherein a combined inter/intra-prediction (CIIP) mode, overlaps while generating the final prediction block. generating the final prediction block, including performing each of block motion compensation (OBMC), and luma mapping with chroma scaling (LMCS); and decoding the current block of video data using the final prediction block.

도 7 은 본 개시의 기술들에 따른 비디오 데이터의 현재 블록을 디코딩하기 위한 예시적인 방법을 나타내는 플로우차트이다. 현재 블록은 현재 CU 를 포함할 수도 있다. 비디오 디코더 (300) (도 1 및 도 3) 와 관련하여 설명되지만, 도 7 과 유사한 방법을 수행하도록 다른 디바이스들이 구성될 수도 있음을 이해해야 한다.7 is a flowchart illustrating an example method for decoding a current block of video data according to the techniques of this disclosure. The current block may include the current CU. Although described with respect to video decoder 300 (FIGS. 1 and 3), it should be understood that other devices may be configured to perform methods similar to FIG. 7.

비디오 디코더 (300) 는 현재 블록에 대한 엔트로피 인코딩된 데이터, 예를 들어 엔트로피 인코딩된 예측 정보 및 현재 블록에 대응하는 잔차 블록의 변환 계수들에 대한 엔트로피 인코딩된 데이터를 수신할 수도 있다 (370). 비디오 디코더 (300) 는 현재 블록에 대한 예측 정보를 결정하고 잔차 블록의 변환 계수들을 재생성하기 위해 엔트로피 인코딩된 데이터를 엔트로피 디코딩할 수도 있다 (372). 비디오 디코더 (300) 는 현재 블록에 대한 예측 블록을 계산하기 위해, 예를 들어, 현재 블록에 대한 예측 정보에 의해 표시된 바와 같은 인트라- 또는 인터-예측 모드를 사용하여, 현재 블록을 예측할 수도 있다 (374). 비디오 디코더 (300) 는, 도 8 내지 도 10 과 관련하여 위에서 논의된 기술들 또는 아래에서 설명되는 기술들과 같은, 예를 들어, OBMC, CIIP, 및/또는 LMCS 의 다양한 조합들을 사용하여, 블록을 예측하도록 본 개시의 다양한 기술들 중 임의의 것을 사용할 수 있다. 특히, 비디오 디코더 (300) 는 현재 블록에 대한 인터 예측 블록 및 인트라 예측 블록을 생성할 수도 있다. 비디오 디코더 (300) 는 그후 최종 예측 블록을 생성할 때 OBMC, CIIP, 및 LMCS 의 조합을 수행하는 것을 포함하여, 인터-예측 블록 및 인트라-예측 블록으로부터 최종 예측 블록을 생성할 수도 있다. Video decoder 300 may receive entropy encoded data for a current block, such as entropy encoded prediction information and entropy encoded data for transform coefficients of a residual block corresponding to the current block (370). Video decoder 300 may entropy decode the entropy encoded data to determine prediction information for the current block and regenerate the transform coefficients of the residual block (372). Video decoder 300 may predict the current block, e.g., using an intra- or inter-prediction mode as indicated by the prediction information for the current block, to calculate a prediction block for the current block ( 374). Video decoder 300 may use various combinations of, e.g., OBMC, CIIP, and/or LMCS, such as the techniques discussed above with respect to FIGS. 8-10 or the techniques described below, to Any of the various techniques of this disclosure can be used to predict . In particular, video decoder 300 may generate an inter-prediction block and an intra-prediction block for the current block. Video decoder 300 may then generate a final prediction block from the inter-prediction block and the intra-prediction block, including performing a combination of OBMC, CIIP, and LMCS in generating the final prediction block.

비디오 디코더 (300) 는 양자화된 변환 계수들의 블록을 생성하기 위해 재생성된 변환 계수들을 역 스캔할 수도 있다 (376). 그후, 비디오 디코더 (300) 는 잔차 블록을 생성하기 위해 변환 계수들을 양자화하고 변환 계수들에 역변환을 적용할 수도 있다 (378). 비디오 디코더 (300) 는 궁극적으로 예측 블록 및 잔차 블록을 조합함으로써 현재 블록을 디코딩할 수도 있다 (380).Video decoder 300 may back-scan the regenerated transform coefficients to generate a block of quantized transform coefficients (376). Video decoder 300 may then quantize the transform coefficients and apply an inverse transform to the transform coefficients to generate a residual block (378). Video decoder 300 may ultimately decode the current block by combining the prediction block and the residual block (380).

이러한 방식으로, 도 6 및 도 7 의 방법들은 비디오 데이터의 현재 블록이 조합된 인터/인트라 예측 (CIIP) 모드를 사용하여 코딩된다고 결정하는 단계; 현재 블록이 CIIP 모드를 사용하여 코딩된다고 결정하는 것에 응답하여, 현재 블록에 대한 중첩된 블록 모션 보상 (OBMC) 정보의 코딩을 방지하는 단계; 및 CIIP 모드를 사용하여 현재 블록을 디코딩하는 단계를 포함하는 방법의 예들을 나타낸다.In this manner, the methods of FIGS. 6 and 7 include determining that the current block of video data is coded using combined inter/intra prediction (CIIP) mode; In response to determining that the current block is coded using CIIP mode, preventing coding of overlapped block motion compensation (OBMC) information for the current block; and decoding the current block using CIIP mode.

도 6 및 도 7 의 방법들은 또한, 비디오 데이터의 현재 블록이 조합된 인터/인트라 예측 (CIIP) 모드를 사용하여 그리고 중첩된 블록 모션 보상 (OBMC) 을 사용하여 코딩된다고 결정하는 단계로서, 현재 블록은 비디오 데이터의 코딩 유닛 (CU) 의 적어도 일부를 포함하는, 상기 결정하는 단계; 현재 블록이 CIIP 모드 및 OBMC 를 사용하여 코딩된다고 결정하는 것에 응답하여, 크로마 스케일링을 이용한 루마 맵핑 (LMCS) 이 현재 블록에 적용되지 않는다고 결정하는 단계; 및 현재 블록에 LMCS 를 적용하지 않고, CIIP 모드 및 OBMC 를 사용하여 현재 블록을 디코딩하는 단계를 포함하는 방법의 예들을 나타낸다.The methods of FIGS. 6 and 7 also include determining that the current block of video data is coded using combined inter/intra prediction (CIIP) mode and using overlapped block motion compensation (OBMC), wherein the current block comprises at least a portion of a coding unit (CU) of video data; In response to determining that the current block is coded using CIIP mode and OBMC, determining that luma mapping with chroma scaling (LMCS) is not applied to the current block; and decoding the current block using CIIP mode and OBMC without applying LMCS to the current block.

도 6 및 도 7 의 방법들은 또한, 비디오 데이터의 현재 블록이 중첩된 블록 모션 보상 (OBMC) 을 사용하여 코딩된다고 결정하는 단계; 현재 블록이 OBMC 를 사용하여 코딩된다고 결정하는 것에 응답하여, 현재 블록에 대한 조합된 인터/인트라 예측 (CIIP) 모드 정보의 코딩을 방지하는 단계; 및 OBMC 모드를 사용하여 현재 블록을 디코딩하는 단계를 포함하는 방법의 예들을 나타낸다.The methods of FIGS. 6 and 7 also include determining that the current block of video data is coded using overlapped block motion compensation (OBMC); In response to determining that the current block is coded using OBMC, preventing coding of combined inter/intra prediction (CIIP) mode information for the current block; and decoding the current block using OBMC mode.

도 6 및 도 7 의 방법들은 또한, 비디오 데이터의 현재 블록이 조합된 인터/인트라 예측 (CIIP) 모드를 사용하여 코딩된다고 결정하는 단계; 중첩된 블록 모션 보상 (OBMC) 을 사용하여 현재 블록에 대한 인터-예측 블록을 생성하는 단계; 현재 블록에 대한 인트라-예측 블록을 생성하는 단계; 인터-예측 블록 및 인트라-예측 블록을 사용하여 상기 현재 블록에 대한 예측 블록을 생성하는 단계; 및 예측 블록을 사용하여 현재 블록을 디코딩하는 단계 (예를 들어, 아래에서 더 상세히 논의되는 바와 같이 도 8의 방법을 포함함) 를 포함하는 방법의 예들을 나타낸다.The methods of FIGS. 6 and 7 also include determining that the current block of video data is coded using combined inter/intra prediction (CIIP) mode; generating an inter-prediction block for the current block using overlapped block motion compensation (OBMC); generating an intra-prediction block for the current block; generating a prediction block for the current block using an inter-prediction block and an intra-prediction block; and decoding the current block using the prediction block (e.g., including the method of Figure 8, as discussed in more detail below).

도 6 및 도 7 의 방법들은 또한, 비디오 데이터의 현재 블록이 조합된 인터/인트라 예측 (CIIP) 모드, 중첩된 블록 모션 보상 (OBMC), 및 크로마 스케일링을 이용한 루마 맵핑 (LMCS) 을 사용하여 코딩된다고 결정하는 단계; 현재 블록의 모션 정보를 사용하여 현재 블록에 대한 중간 인터 예측 블록을 생성하는 단계; 현재 블록에 대한 최종 인터-예측 블록을 형성하기 위해 LMCS 에 따라 중간 인터-예측 블록에 대해 루마 맵핑을 수행하는 단계; 현재 블록에 대한 인트라 예측 블록을 생성하는 단계; 최종 인터-예측 블록을 인트라-예측 블록과 조합하여 현재 블록에 대한 제 1 예측 블록을 형성하기 위해 CIIP 를 수행하는 단계; 최종 인터-예측 블록을 인트라-예측 블록과 조합하여 현재 블록에 대한 제 1 예측 블록을 형성하기 위해 CIIP 를 수행하는 단계; 현재 블록에 대한 하나 이상의 다른 예측 블록들을 형성하기 위해 LMCS 에 따라 하나 이상의 다른 중간 예측 블록들에 대해 루마 맵핑을 수행하는 단계; OBMC 에 따라 제 1 예측 블록 및 하나 이상의 다른 예측 블록들을 사용하여 현재 블록에 대한 최종 예측 블록을 생성하는 단계; 및 최종 예측 블록을 사용하여 현재 블록을 디코딩하는 단계 (예를 들어, 아래에서 더 상세히 논의되는 바와 같이 도 9 의 방법을 포함함) 를 포함하는 방법의 예들을 나타낸다.The methods of FIGS. 6 and 7 also code the current block of video data using combined inter/intra prediction (CIIP) mode, overlapped block motion compensation (OBMC), and luma mapping with chroma scaling (LMCS). deciding that it is possible; generating an intermediate inter prediction block for the current block using motion information of the current block; performing luma mapping on intermediate inter-prediction blocks according to LMCS to form a final inter-prediction block for the current block; generating an intra prediction block for the current block; performing CIIP to combine the final inter-prediction block with the intra-prediction block to form a first prediction block for the current block; performing CIIP to combine the final inter-prediction block with the intra-prediction block to form a first prediction block for the current block; performing luma mapping on one or more other intermediate prediction blocks according to LMCS to form one or more other prediction blocks for the current block; generating a final prediction block for the current block using the first prediction block and one or more other prediction blocks according to OBMC; and decoding the current block using the last prediction block (e.g., including the method of Figure 9, as discussed in more detail below).

도 6 및 도 7 의 방법들은 또한, 비디오 데이터의 현재 블록이 조합된 인터/인트라 예측 (CIIP) 모드, 중첩된 블록 모션 보상 (OBMC), 및 크로마 스케일링을 이용한 루마 맵핑 (LMCS) 을 사용하여 코딩된다고 결정하는 단계; 현재 블록의 모션 정보를 사용하여 현재 블록에 대한 중간 인터 예측 블록을 생성하는 단계; 현재 블록에 대한 최종 인터-예측 블록을 형성하기 위해 LMCS 에 따라 중간 인터-예측 블록에 대해 루마 맵핑을 수행하는 단계; 현재 블록에 대한 인트라 예측 블록을 생성하는 단계; 최종 인터-예측 블록을 인트라-예측 블록과 조합하여 현재 블록에 대한 제 1 예측 블록을 형성하기 위해 CIIP 를 수행하는 단계; 현재 블록에 대한 하나 이상의 이웃 블록들의 모션 정보를 사용하여 현재 블록에 대한 하나 이상의 다른 예측 블록들을 생성하는 단계; OBMC 에 따라 제 1 예측 블록 및 하나 이상의 다른 예측 블록들을 사용하여 현재 블록에 대한 최종 예측 블록을 생성하는 단계; 및 최종 예측 블록을 사용하여 현재 블록을 디코딩하는 단계 (예를 들어, 아래에서 더 상세히 논의되는 바와 같이 도 10 의 방법을 포함함) 를 포함하는 방법의 예들을 나타낸다.The methods of FIGS. 6 and 7 also code the current block of video data using combined inter/intra prediction (CIIP) mode, overlapped block motion compensation (OBMC), and luma mapping with chroma scaling (LMCS). deciding that it is possible; generating an intermediate inter prediction block for the current block using motion information of the current block; performing luma mapping on the intermediate inter-prediction block according to LMCS to form a final inter-prediction block for the current block; generating an intra prediction block for the current block; performing CIIP to combine the final inter-prediction block with the intra-prediction block to form a first prediction block for the current block; generating one or more different prediction blocks for the current block using motion information of one or more neighboring blocks for the current block; generating a final prediction block for the current block using the first prediction block and one or more other prediction blocks according to OBMC; and decoding the current block using the last prediction block (e.g., including the method of Figure 10, as discussed in more detail below).

도 7 의 방법은 비디오 데이터를 디코딩하는 방법의 일 예를 나타내며, 상기 방법은, 비디오 데이터의 현재 블록에 대한 인터-예측 블록을 생성하는 단계; 비디오 데이터의 상기 현재 블록에 대한 인트라-예측 블록을 생성하는 단계; 상기 인터-예측 블록 및 상기 인트라-예측 블록으로부터 비디오 데이터의 상기 현재 블록에 대한 최종 예측 블록을 생성하는 단계로서, 상기 최종 예측 블록을 생성하는 동안 조합된 인터/인트라-예측 (CIIP) 모드, 중첩된 블록 모션 보상 (OBMC), 및 크로마 스케일링을 이용한 루마 맵핑 (LMCS) 의 각각을 수행하는 것을 포함하는, 상기 최종 예측 블록을 생성하는 단계; 및 상기 최종 예측 블록을 사용하여 비디오 데이터의 상기 현재 블록을 디코딩하는 단계를 포함한다.The method of Figure 7 represents an example of a method for decoding video data, the method comprising: generating an inter-prediction block for a current block of video data; generating an intra-prediction block for the current block of video data; generating a final prediction block for the current block of video data from the inter-prediction block and the intra-prediction block, wherein a combined inter/intra-prediction (CIIP) mode, overlaps while generating the final prediction block. generating the final prediction block, including performing each of block motion compensation (OBMC), and luma mapping with chroma scaling (LMCS); and decoding the current block of video data using the final prediction block.

도 8 은 OBMC 및 CIIP 를 함께 사용하여 비디오 데이터의 블록을 예측하는 예시적인 방법을 예시하는 흐름도이다. 비디오 인코더 (200) 또는 비디오 디코더 (300) 는 비디오 데이터의 블록을 예측할 때 이 방법을 수행하도록 구성될 수도 있다. 도 8 의 방법은 비디오 디코더 (300) 에 대해 구체적으로 논의되지만, 비디오 인코더 (200) 가 또한 이 방법 또는 유사한 방법을 수행할 수도 있다는 것이 이해되어야 한다. 도 8 의 방법은 비디오 데이터의 블록의 예측 동안, 예를 들어, 도 6 의 방법의 단계 350 또는 도 7 의 방법의 단계 (374) 동안 수행될 수도 있다.8 is a flow diagram illustrating an example method of predicting a block of video data using OBMC and CIIP together. Video encoder 200 or video decoder 300 may be configured to perform this method when predicting blocks of video data. Although the method of FIG. 8 is discussed specifically with respect to video decoder 300, it should be understood that video encoder 200 may also perform this method or a similar method. The method of FIG. 8 may be performed during prediction of a block of video data, for example, step 350 of the method of FIG. 6 or step 374 of the method of FIG. 7.

이 예에서, 비디오 디코더 (300) 는 초기에 비디오 데이터의 현재 블록의 모션 정보를 사용하여 인터-예측 블록을 생성할 수도 있다 (400). 비디오 디코더 (300) 는 그후 OBMC 인터 예측 블록을 생성하기 위해 OBMC 를 인터-예측 블록에 적용할 수도 있다 (402). 비디오 디코더 (300) 는 그후 LMCS 인터-예측 블록을 형성하기 위해 크로마 스케일링을 이용한 루마 맵핑 (LMCS) 을 OBMC 인터-예측 블록에 수행할 수도 있다 (404). 비디오 디코더 (300) 는 또한 인트라 예측 블록을 생성할 수도 있다 (406). 비디오 디코더 (300) 는 LMCS 인터-예측 블록을 인트라-예측 블록과 조합하기 위해 CIIP 를 수행할 수도 있다 (408).In this example, video decoder 300 may initially generate an inter-prediction block using motion information of the current block of video data (400). Video decoder 300 may then apply OBMC to the inter-prediction block to generate an OBMC inter-prediction block (402). Video decoder 300 may then perform luma mapping with chroma scaling (LMCS) on the OBMC inter-prediction block to form an LMCS inter-prediction block (404). Video decoder 300 may also generate an intra prediction block (406). Video decoder 300 may perform CIIP to combine the LMCS inter-prediction block with an intra-prediction block (408).

다시 말해서, 비디오 디코더 (300) 는 CIIP 블록으로서 최종 예측 블록을 생성할 수 있고 (즉, CIIP 블록에 대한 인터-예측 블록이 OBMC 로 업데이트됨), 그후 비디오 디코더 (300) 는, LMCS 가 존재하는 경우, 인트라-예측 블록과의 가중된 평균화를 수행하기 전에 OBMC-업데이트된 루마 인터-예측 블록에 루마 맵핑을 적용할 수 있다. In other words, video decoder 300 may generate the final prediction block as a CIIP block (i.e., the inter-prediction block for the CIIP block is updated with OBMC), and then video decoder 300 may In this case, luma mapping can be applied to the OBMC-updated luma inter-prediction block before performing weighted averaging with the intra-prediction block.

이러한 방식으로, 도 8 의 방법은 비디오 데이터의 블록을 인코딩 및 디코딩하는 방법의 일 예를 나타내며, 상기 방법은, OBMC 보상된 인터-예측 블록을 형성하기 위해 인터-예측 블록에 대해 OBMC 를 수행하는 단계; LMCS 맵핑된 인터-예측 블록을 형성하기 위해 상기 OBMC 보상된 인터-예측 블록에 대해 LMCS 를 수행하는 단계; 및 최종 예측 블록을 생성하기 위해 CIIP 모드를 사용하여 상기 LMCS 맵핑된 인터-예측 블록을 인트라-예측 블록과 조합하는 단계를 포함한다. In this way, the method of FIG. 8 represents an example of a method for encoding and decoding a block of video data, the method comprising performing OBMC on an inter-prediction block to form an OBMC compensated inter-prediction block. step; performing LMCS on the OBMC compensated inter-prediction block to form an LMCS mapped inter-prediction block; and combining the LMCS mapped inter-prediction block with an intra-prediction block using CIIP mode to generate a final prediction block.

도 9 는 CIIP, OBMC, 및 LMCS 를 함께 사용하여 비디오 데이터의 블록을 예측하는 예시적인 방법을 예시하는 흐름도이다. 비디오 인코더 (200) 또는 비디오 디코더 (300) 는 비디오 데이터의 블록을 예측할 때 이 방법을 수행하도록 구성될 수도 있다. 도 9 의 방법은 비디오 디코더 (300) 에 대해 구체적으로 논의되지만, 비디오 인코더 (200) 가 또한 이 방법 또는 유사한 방법을 수행할 수도 있다는 것이 이해되어야 한다. 도 9 의 방법은 비디오 데이터의 블록의 예측 동안, 예를 들어, 도 6 의 방법의 단계 350 또는 도 7 의 방법의 단계 374 동안 수행될 수도 있다. 9 is a flow diagram illustrating an example method of predicting a block of video data using CIIP, OBMC, and LMCS together. Video encoder 200 or video decoder 300 may be configured to perform this method when predicting blocks of video data. Although the method of FIG. 9 is discussed specifically with respect to video decoder 300, it should be understood that video encoder 200 may also perform this method or a similar method. The method of FIG. 9 may be performed during prediction of a block of video data, for example, step 350 of the method of FIG. 6 or step 374 of the method of FIG. 7.

도 9 의 예에서, 비디오 디코더 (300) 는 CIIP 의 조합된 인터 및 인트라 예측 신호의 상단에 OBMC 의 블렌딩 프로세스를 적용한다. 일반적으로, 비디오 디코더 (300) 는 먼저, 현재 블록의 모션 정보 및 인트라 예측 정보를 사용하여, P _C 로 표시된 조합된 인터 및 인트라 예측 신호를 생성한다. 즉, 비디오 디코더 (300) 는 먼저 현재 블록의 모션 정보를 사용하여 인터 예측 블록을 생성한다 (410). 비디오 디코더 (300) 는 그 후 인터-예측 블록에 대해 크로마 스케일링을 이용한 루마 맵핑을 수행한다 (412). 비디오 디코더 (300) 는 또한 인트라 예측 블록을 생성한다 (414). 비디오 디코더 (300) 는 LMCS 인터-예측 블록을 인트라-예측 블록과 조합하기 위해 CIIP 를 수행하고 (416), 여기서 CIIP-조합된 블록은 P _C 라고 지칭된다. In the example of Figure 9, video decoder 300 applies the blending process of OBMC on top of the combined inter and intra prediction signals of CIIP. In general, video decoder 300 first uses the motion information and intra prediction information of the current block to generate a combined inter and intra prediction signal, denoted P _C . That is, the video decoder 300 first generates an inter prediction block using the motion information of the current block (410). Video decoder 300 then performs luma mapping using chroma scaling on the inter-prediction block (412). Video decoder 300 also generates an intra prediction block (414). Video decoder 300 performs CIIP to combine the LMCS inter-prediction block with an intra-prediction block (416), where the CIIP-combined block is referred to _{as PC} .

그후, 비디오 디코더 (300) 는 이웃하는 서브-블록들의 모션 정보에 기초하여 P _N 으로서 표시된 하나 이상의 다른 예측 블록들을 생성한다 (418). 비디오 디코더 (300) 는 그후, LMCS 가 존재하는 경우, 루마 맵핑을 예측 블록들 P _N (420) 에 적용할 수도 있다. 마지막으로, 비디오 디코더 (300) 는 OBMC 블렌딩 프로세스를 수행하여 P _N 및 P _C 를 조합할 수도 있다 (422).Video decoder 300 then generates one or more other prediction blocks, denoted as P _N , based on the motion information of neighboring sub-blocks (418). Video decoder 300 may then apply luma mapping to predictive blocks P _N ( 420 ), if LMCS is present. Finally, video decoder 300 may perform an OBMC blending process to combine P _N and P _C (422).

이러한 방식으로, 도 9 의 방법은 비디오 데이터를 디코딩 및 인코딩하기 위한 방법의 일 예를 나타내며, 상기 방법은, LMCS 맵핑된 제 1 인터-예측 서브-블록을 형성하기 위해 제 1 인터-예측 서브-블록에 대해 LMCS 를 수행하는 단계; 상기 현재 블록에 대한 제 1 CIIP 예측 서브-블록을 생성하기 위해 CIIP 모드를 사용하여 상기 LMCS 맵핑된 제 1 인터-예측 서브-블록을 상기 인트라-예측 블록과 조합하는 단계; 제 2 인터-예측 서브-블록에 대해 LMCS 를 수행하는 단계; 및 상기 최종 예측 블록을 생성하기 위해 상기 제 1 CIIP 예측 서브-블록과 상기 제 2 인터-예측 서브-블록 사이에서 OBMC 블렌딩을 수행하는 단계를 포함한다.In this way, the method of FIG. 9 represents an example of a method for decoding and encoding video data, the method comprising: forming an LMCS mapped first inter-prediction sub-block; performing LMCS on a block; combining the LMCS mapped first inter-prediction sub-block with the intra-prediction block using CIIP mode to generate a first CIIP prediction sub-block for the current block; performing LMCS on the second inter-prediction sub-block; and performing OBMC blending between the first CIIP prediction sub-block and the second inter-prediction sub-block to generate the final prediction block.

도 10 은 CIIP, OBMC, 및 LMCS 를 함께 사용하여 비디오 데이터의 블록을 예측하는 또 다른 예시적인 방법을 예시하는 플로우차트이다. 비디오 인코더 (200) 또는 비디오 디코더 (300) 는 비디오 데이터의 블록을 예측할 때 이 방법을 수행하도록 구성될 수도 있다. 도 10 의 방법은 비디오 디코더 (300) 에 대해 구체적으로 논의되지만, 비디오 인코더 (200) 가 또한 이 방법 또는 유사한 방법을 수행할 수도 있다는 것이 이해되어야 한다. 도 10 의 방법은 비디오 데이터의 블록의 예측 동안, 예를 들어, 도 6 의 방법의 단계 350 또는 도 7 의 방법의 단계 374 동안 수행될 수도 있다. 10 is a flow chart illustrating another example method for predicting blocks of video data using CIIP, OBMC, and LMCS together. Video encoder 200 or video decoder 300 may be configured to perform this method when predicting blocks of video data. Although the method of FIG. 10 is discussed specifically with respect to video decoder 300, it should be understood that video encoder 200 may also perform this method or a similar method. The method of FIG. 10 may be performed during prediction of a block of video data, for example, step 350 of the method of FIG. 6 or step 374 of the method of FIG. 7.

일반적으로, 도 10 의 예에서, 도 9 의 예와 같이, 비디오 디코더 (300) 는 조합된 인터 및 인트라 예측 신호의 상단에 OBMC 의 블렌딩 프로세스를 적용한다. 그러나, 이 예에서, 루마 맵핑은 이웃하는 블록들의 모션 정보를 사용하여 생성되는 예측 블록들의 상단에 대해 수행되지 않는다. Generally, in the example of FIG. 10, like the example of FIG. 9, video decoder 300 applies the blending process of OBMC on top of the combined inter and intra prediction signals. However, in this example, luma mapping is not performed on top of the prediction blocks, which are generated using motion information of neighboring blocks.

특히, 도 10 의 예에서, 비디오 디코더 (300) 는 먼저 현재 블록의 모션 정보를 사용하여 인터 예측 블록을 생성한다 (430). 비디오 디코더 (300) 는 그 후 인터-예측 블록에 대해 크로마 스케일링을 이용한 루마 맵핑을 수행한다 (432). 비디오 디코더 (300) 는 또한 인트라 예측 블록을 생성한다 (434). 비디오 디코더 (300) 는 LMCS 인터-예측 블록을 인트라-예측 블록과 조합하기 위해 CIIP 를 수행하고 (436), 여기서 CIIP-조합된 블록은 P _C 라고 지칭된다. In particular, in the example of FIG. 10, video decoder 300 first generates an inter prediction block using the motion information of the current block (430). Video decoder 300 then performs luma mapping using chroma scaling on the inter-prediction block (432). Video decoder 300 also generates an intra prediction block (434). Video decoder 300 performs CIIP to combine the LMCS inter-prediction block with an intra-prediction block (436), where the CIIP-combined block is referred to _{as PC} .

그후, 비디오 디코더 (300) 는 이웃하는 서브-블록들의 모션 정보에 기초하여 P _N 으로서 표시된 하나 이상의 다른 예측 블록들을 생성한다 (438). 마지막으로, 비디오 디코더 (300) 는 OBMC 블렌딩 프로세스를 수행하여 P _N 및 P _C 를 조합할 수도 있다 (440).Video decoder 300 then generates one or more other prediction blocks, denoted as P _N , based on the motion information of neighboring sub-blocks (438). Finally, video decoder 300 may perform an OBMC blending process to combine P _N and P _C (440).

이러한 방식으로, 도 10 의 방법은 비디오 데이터를 디코딩 및 인코딩하기 위한 방법의 일 예를 나타내며, 상기 방법은, LMCS 맵핑된 제 1 인터-예측 서브-블록을 형성하기 위해 제 1 인터-예측 서브-블록에 대해 LMCS 를 수행하는 단계; 상기 현재 블록에 대한 제 1 CIIP 예측 서브-블록을 생성하기 위해 CIIP 모드를 사용하여 상기 LMCS 맵핑된 제 1 인터-예측 서브-블록을 상기 인트라-예측 블록과 조합하는 단계; 및 상기 최종 예측 블록을 생성하기 위해 상기 제 1 CIIP 예측 서브-블록과 상기 제 2 인터-예측 서브-블록 사이에서 OBMC 블렌딩을 수행하는 단계를 포함한다.In this way, the method of Figure 10 represents an example of a method for decoding and encoding video data, the method comprising: performing LMCS on a block; combining the LMCS mapped first inter-prediction sub-block with the intra-prediction block using CIIP mode to generate a first CIIP prediction sub-block for the current block; and performing OBMC blending between the first CIIP prediction sub-block and the second inter-prediction sub-block to generate the final prediction block.

다음의 항들은 본 개시의 특정 예의 기술들을 나타낸다.The following sections represent specific example techniques of this disclosure.

조항 1: 비디오 데이터를 디코딩하는 방법으로서, 상기 방법은, 비디오 데이터의 현재 블록이 조합된 인터/인트라 예측 (CIIP) 모드를 사용하여 코딩된다고 결정하는 단계; 현재 블록이 CIIP 모드를 사용하여 코딩된다고 결정하는 것에 응답하여, 현재 블록에 대한 중첩된 블록 모션 보상 (OBMC) 정보의 코딩을 방지하는 단계; 및 CIIP 모드를 사용하여 현재 블록을 디코딩하는 단계를 포함한다.Clause 1: A method of decoding video data, the method comprising: determining that a current block of video data is coded using a combined inter/intra prediction (CIIP) mode; In response to determining that the current block is coded using CIIP mode, preventing coding of overlapped block motion compensation (OBMC) information for the current block; and decoding the current block using CIIP mode.

조항 2: 조항 1 의 방법에 있어서, OBMC 가 상기 현재 블록에 적용되지 않는다고 추론하는 단계를 추가로 포함하고, 상기 현재 블록을 디코딩하는 단계는 OBMC 를 수행하지 않고 상기 현재 블록을 디코딩하는 단계를 포함한다.Clause 2: The method of clause 1, further comprising inferring that OBMC does not apply to the current block, and decoding the current block comprises decoding the current block without performing OBMC. do.

조항 3: 조항 1 및 조항 2 중 어느 한 조항의 방법에 있어서, 크로마 스케일링을 이용한 루마 맵핑 (LMCS) 이 현재 블록에 적용될 것임을 결정하는 단계를 추가로 포함하고, 상기 OBMC 정보가 시그널링되지 않는다고 결정하는 단계는, 상기 현재 블록이 CIIP 모드를 사용하여 코딩되고 상기 LMCS 가 상기 현재 블록에 적용될 것임을 결정하는 것에 응답하여 상기 OBMC 정보가 시그널링되지 않는다고 결정하는 단계를 포함한다.Clause 3: The method of any one of clauses 1 and 2, further comprising determining that luma mapping using chroma scaling (LMCS) will be applied to the current block, and determining that the OBMC information is not signaled. Step includes determining that the OBMC information is not signaled in response to determining that the current block is coded using CIIP mode and that the LMCS is to be applied to the current block.

조항 4: 비디오 데이터를 디코딩하는 방법으로서, 상기 방법은, 비디오 데이터의 현재 블록이 조합된 인터/인트라 예측 (CIIP) 모드를 사용하여 그리고 중첩된 블록 모션 보상 (OBMC) 을 사용하여 코딩된다고 결정하는 단계로서, 상기 현재 블록은 상기 비디오 데이터의 코딩 유닛 (CU) 의 적어도 일부를 포함하는, 상기 결정하는 단계; 현재 블록이 CIIP 모드 및 OBMC 를 사용하여 코딩된다고 결정하는 것에 응답하여, 크로마 스케일링을 이용한 루마 맵핑 (LMCS) 이 현재 블록에 적용되지 않을 것임을 결정하는 단계; 및 LMCS 를 현재 블록에 적용하지 않고 CIIP 모드 및 OBMC 를 사용하여 현재 블록을 디코딩하는 단계를 포함한다.Clause 4: A method of decoding video data, the method comprising determining that a current block of video data is coded using combined inter/intra prediction (CIIP) mode and using overlapped block motion compensation (OBMC). The step of determining, wherein the current block includes at least a portion of a coding unit (CU) of the video data; In response to determining that the current block is coded using CIIP mode and OBMC, determining that luma mapping with chroma scaling (LMCS) will not be applied to the current block; and decoding the current block using CIIP mode and OBMC without applying LMCS to the current block.

조항 5: 조항 4 의 방법에 있어서, LMCS 가 현재 블록에 적용되지 않을 것임을 결정하는 단계는, LMCS 플래그가 CU 에서 시그널링되지 않는다고 결정하는 단계 및 LMCS 플래그에 대해 거짓의 값을 추론하는 단계를 포함하고, LMCS 플래그는 LMCS 가 CU 의 블록들에 적용될 지 여부를 표시한다. Clause 5: The method of clause 4, wherein determining that LMCS will not be applied to the current block comprises determining that the LMCS flag is not signaled in the CU and inferring a value of false for the LMCS flag; , the LMCS flag indicates whether LMCS will be applied to blocks of the CU.

조항 6: 조항 4 및 조항 5 중 어느 한 조항의 방법에 있어서, CIIP 모드가 상기 현재 블록에 적용될 것임을 표시하는 값을 갖는 CIIP 플래그를 코딩하는 단계; 및 OBMC 가 상기 현재 블록에 적용될 것임을 표시하는 값을 갖는 OBMC 플래그를 코딩하는 단계를 추가로 포함한다.Clause 6: The method of any one of clauses 4 and 5, comprising: coding a CIIP flag with a value indicating that a CIIP mode will be applied to the current block; and coding an OBMC flag with a value indicating that OBMC will be applied to the current block.

조항 7: 조항 4 내지 조항 6 중 어느 한 조항의 방법에 있어서, 상기 현재 블록에 대한 임의의 LMCS 정보의 코딩을 회피하는 단계를 추가로 포함한다.Clause 7: The method of any one of clauses 4 to 6, further comprising avoiding coding of any LMCS information for the current block.

조항 8: 비디오 데이터를 디코딩하는 방법으로서, 상기 방법은, 비디오 데이터의 현재 블록이 중첩된 블록 모션 보상 (OBMC) 을 사용하여 코딩된다고 결정하는 단계; 현재 블록이 OBMC 를 사용하여 코딩된다고 결정하는 것에 응답하여, 현재 블록에 대한 조합된 인터/인트라 예측 (CIIP) 모드 정보의 코딩을 방지하는 단계; 및 OBMC 모드를 사용하여 현재 블록을 디코딩하는 단계를 포함한다.Clause 8: A method of decoding video data, the method comprising: determining that a current block of video data is coded using overlapped block motion compensation (OBMC); In response to determining that the current block is coded using OBMC, preventing coding of combined inter/intra prediction (CIIP) mode information for the current block; and decoding the current block using OBMC mode.

조항 9: 조항 8 의 방법에 있어서, CIIP 모드가 상기 현재 블록에 적용되지 않는다고 추론하는 단계를 추가로 포함하고, 상기 현재 블록을 디코딩하는 단계는 CIIP 모드를 수행하지 않고 상기 현재 블록을 디코딩하는 단계를 포함한다.Clause 9: The method of clause 8, further comprising inferring that CIIP mode does not apply to the current block, wherein decoding the current block comprises decoding the current block without performing CIIP mode. Includes.

조항 10: 조항 8 및 조항 9 중 어느 한 조항의 방법에 있어서, 크로마 스케일링을 이용한 루마 맵핑 (LMCS) 이 현재 블록에 적용될 것임을 결정하는 단계를 추가로 포함하고, 상기 CIIP 모드 정보가 시그널링되지 않는다고 결정하는 단계는, 상기 현재 블록이 OBMC 를 사용하여 코딩되고 상기 LMCS 가 상기 현재 블록에 적용될 것임을 결정하는 것에 응답하여 상기 CIIP 모드 정보가 시그널링되지 않는다고 결정하는 단계를 포함한다.Clause 10: The method of any one of clauses 8 and 9, further comprising determining that luma mapping with chroma scaling (LMCS) will be applied to the current block, and determining that the CIIP mode information is not signaled. The step of including determining that the CIIP mode information is not signaled in response to determining that the current block is coded using OBMC and that LMCS is to be applied to the current block.

조항 11: 비디오 데이터를 디코딩하는 방법으로서, 상기 방법은, 비디오 데이터의 현재 블록이 조합된 인터/인트라 예측 (CIIP) 모드를 사용하여 코딩된다고 결정하는 단계; 중첩된 블록 모션 보상 (OBMC) 을 사용하여 현재 블록에 대한 인터-예측 블록을 생성하는 단계; 현재 블록에 대한 인트라-예측 블록을 생성하는 단계; 인터-예측 블록 및 인트라-예측 블록을 사용하여 상기 현재 블록에 대한 예측 블록을 생성하는 단계; 및 상기 예측 블록을 사용하여 상기 현재 블록을 디코딩하는 단계를 포함한다.Clause 11: A method of decoding video data, the method comprising: determining that a current block of video data is coded using combined inter/intra prediction (CIIP) mode; generating an inter-prediction block for the current block using overlapped block motion compensation (OBMC); generating an intra-prediction block for the current block; generating a prediction block for the current block using an inter-prediction block and an intra-prediction block; and decoding the current block using the prediction block.

조항 12: 조항 11 의 방법에 있어서, 상기 인터-예측 블록은 중간 인터-예측 블록을 포함하고, 상기 방법은 최종 인터-예측 블록을 형성하기 위해 크로마 스케일링을 이용한 루마 맵핑 (LMCS) 에 따라 중간 인터-예측 블록에 대해 루마 맵핑을 수행하는 단계를 추가로 포함하고, 상기 예측 블록을 생성하는 단계는 상기 최종 인터-예측 블록 및 상기 인트라-예측 블록을 사용하여 상기 예측 블록을 생성하는 단계를 포함할 수 있다.Clause 12: The method of clause 11, wherein the inter-prediction block comprises an intermediate inter-prediction block, and the method comprises intermediate inter prediction blocks according to luma mapping with chroma scaling (LMCS) to form a final inter-prediction block. - further comprising performing luma mapping on a prediction block, wherein generating the prediction block may include generating the prediction block using the final inter-prediction block and the intra-prediction block. You can.

조항 13: 비디오 데이터를 디코딩하는 방법으로서, 상기 방법은, 비디오 데이터의 현재 블록이 조합된 인터/인트라 예측 (CIIP) 모드, 중첩된 블록 모션 보상 (OBMC), 및 크로마 스케일링을 이용한 루마 맵핑 (LMCS) 을 사용하여 코딩된다고 결정하는 단계; 현재 블록의 모션 정보를 사용하여 현재 블록에 대한 중간 인터 예측 블록을 생성하는 단계; 현재 블록에 대한 최종 인터-예측 블록을 형성하기 위해 LMCS 에 따라 중간 인터-예측 블록에 대해 루마 맵핑을 수행하는 단계; 현재 블록에 대한 인트라 예측 블록을 생성하는 단계; 최종 인터-예측 블록을 인트라-예측 블록과 조합하여 현재 블록에 대한 제 1 예측 블록을 형성하기 위해 CIIP 를 수행하는 단계; 현재 블록에 대한 하나 이상의 이웃 블록들의 모션 정보를 사용하여 현재 블록에 대한 하나 이상의 다른 중간 예측 블록들을 생성하는 단계; 현재 블록에 대한 하나 이상의 다른 예측 블록들을 형성하기 위해 LMCS 에 따라 하나 이상의 다른 중간 예측 블록들에 대해 루마 맵핑을 수행하는 단계; OBMC 에 따라 제 1 예측 블록 및 하나 이상의 다른 예측 블록들을 사용하여 현재 블록에 대한 최종 예측 블록을 생성하는 단계; 및 상기 최종 예측 블록을 사용하여 상기 현재 블록을 디코딩하는 단계를 포함한다.Clause 13: A method of decoding video data, the method comprising: a current block of video data using combined inter/intra prediction (CIIP) mode, overlapped block motion compensation (OBMC), and luma mapping with chroma scaling (LMCS) ), determining that it is coded using; generating an intermediate inter prediction block for the current block using motion information of the current block; performing luma mapping on the intermediate inter-prediction block according to LMCS to form a final inter-prediction block for the current block; generating an intra prediction block for the current block; performing CIIP to combine the final inter-prediction block with the intra-prediction block to form a first prediction block for the current block; generating one or more different intermediate prediction blocks for the current block using motion information of one or more neighboring blocks for the current block; performing luma mapping on one or more other intermediate prediction blocks according to LMCS to form one or more other prediction blocks for the current block; generating a final prediction block for the current block using the first prediction block and one or more other prediction blocks according to OBMC; and decoding the current block using the final prediction block.

조항 14: 비디오 데이터를 디코딩하는 방법으로서, 상기 방법은, 비디오 데이터의 현재 블록이 조합된 인터/인트라 예측 (CIIP) 모드, 중첩된 블록 모션 보상 (OBMC), 및 크로마 스케일링을 이용한 루마 맵핑 (LMCS) 을 사용하여 코딩된다고 결정하는 단계; 현재 블록의 모션 정보를 사용하여 현재 블록에 대한 중간 인터 예측 블록을 생성하는 단계; 현재 블록에 대한 최종 인터-예측 블록을 형성하기 위해 LMCS 에 따라 중간 인터-예측 블록에 대해 루마 맵핑을 수행하는 단계; 현재 블록에 대한 인트라 예측 블록을 생성하는 단계; 최종 인터-예측 블록을 인트라-예측 블록과 조합하여 현재 블록에 대한 제 1 예측 블록을 형성하기 위해 CIIP 를 수행하는 단계; 현재 블록에 대한 하나 이상의 이웃 블록들의 모션 정보를 사용하여 현재 블록에 대한 하나 이상의 다른 예측 블록들을 생성하는 단계; OBMC 에 따라 제 1 예측 블록 및 하나 이상의 다른 예측 블록들을 사용하여 현재 블록에 대한 최종 예측 블록을 생성하는 단계; 및 상기 최종 예측 블록을 사용하여 상기 현재 블록을 디코딩하는 단계를 포함한다.Clause 14: A method of decoding video data, the method comprising: a current block of video data combined inter/intra prediction (CIIP) mode, overlapped block motion compensation (OBMC), and luma mapping with chroma scaling (LMCS) ), determining that it is coded using; generating an intermediate inter prediction block for the current block using motion information of the current block; performing luma mapping on the intermediate inter-prediction block according to LMCS to form a final inter-prediction block for the current block; generating an intra prediction block for the current block; performing CIIP to combine the final inter-prediction block with the intra-prediction block to form a first prediction block for the current block; generating one or more different prediction blocks for the current block using motion information of one or more neighboring blocks for the current block; generating a final prediction block for the current block using the first prediction block and one or more other prediction blocks according to OBMC; and decoding the current block using the final prediction block.

조항 15: 조항 1 내지 조항 14 중 어느 한 조항의 방법에 있어서, 상기 현재 블록을 디코딩하기 전에 현재 블록을 인코딩하는 단계를 추가로 포함한다.Clause 15: The method of any one of clauses 1 to 14, further comprising encoding the current block before decoding the current block.

조항 16: 비디오 데이터를 디코딩하기 위한 디바이스로서, 상기 디바이스는 조항 1 내지 조항 15 중 어느 한 조항의 방법을 수행하기 위한 하나 이상의 수단을 포함한다. Clause 16: A device for decoding video data, said device comprising one or more means for performing the method of any one of clauses 1 to 15.

조항 17: 조항 16 의 디바이스에 있어서, 상기 하나 이상의 수단은 회로부에서 구현된 하나 이상의 프로세서들을 포함한다.Clause 17: The device of clause 16, wherein the one or more means comprise one or more processors implemented in circuitry.

조항 18: 조항 16 및 조항 17 중 어느 한 조항의 디바이스에 있어서, 디코딩된 비디오 데이터를 디스플레이하도록 구성된 디스플레이를 추가로 포함한다.Clause 18: The device of any one of clauses 16 and 17, further comprising a display configured to display decoded video data.

조항 19: 조항 16 내지 조항 18 중 어느 한 조항의 디바이스에 있어서, 디바이스는 카메라, 컴퓨터, 모바일 디바이스, 브로드캐스트 수신기 디바이스, 또는 셋탑 박스 중 하나 이상을 포함한다.Clause 19: The device of any of clauses 16-18, wherein the device comprises one or more of a camera, a computer, a mobile device, a broadcast receiver device, or a set-top box.

조항 20: 조항 16 내지 조항 19 중 어느 한 조항의 디바이스에 있어서, 비디오 데이터를 저장하도록 구성된 메모리를 추가로 포함한다. Clause 20: The device of any one of clauses 16 to 19, further comprising a memory configured to store video data.

조항 21: 명령들을 저장한 컴퓨터 판독가능 저장 매체로서, 명령들은, 실행될 때, 비디오 데이터를 디코딩하기 위한 디바이스의 프로세서로 하여금 조항 1 내지 조항 15 중 어느 한 조항의 방법을 수행하게 한다. Clause 21: A computer-readable storage medium storing instructions, which, when executed, cause a processor of a device for decoding video data to perform the method of any one of clauses 1 to 15.

조항 22: 비디오 데이터를 디코딩하기 위한 디바이스로서, 상기 디바이스는, 비디오 데이터의 현재 블록이 조합된 인터/인트라 예측 (CIIP) 모드를 사용하여 코딩된다고 결정하기 위한 수단; 현재 블록이 CIIP 모드를 사용하여 코딩된다고 결정하는 것에 응답하여 현재 블록에 대한 중첩된 블록 모션 보상 (OBMC) 정보의 코딩을 방지하기 위한 수단; 및 CIIP 모드를 사용하여 현재 블록을 디코딩하기 위한 수단을 포함한다.Clause 22: A device for decoding video data, the device comprising: means for determining that a current block of video data is coded using combined inter/intra prediction (CIIP) mode; means for preventing coding of overlapped block motion compensation (OBMC) information for the current block in response to determining that the current block is coded using CIIP mode; and means for decoding the current block using CIIP mode.

조항 23: 비디오 데이터를 디코딩하기 위한 디바이스로서, 상기 디바이스는, 비디오 데이터의 현재 블록이 조합된 인터/인트라 예측 (CIIP) 모드를 사용하여 그리고 중첩된 블록 모션 보상 (OBMC) 을 사용하여 코딩된다고 결정하기 위한 수단으로서, 상기 현재 블록은 상기 비디오 데이터의 코딩 유닛 (CU) 의 적어도 일부를 포함하는, 상기 결정하기 위한 수단; 현재 블록이 CIIP 모드 및 OBMC 를 사용하여 코딩된다고 결정하는 것에 응답하여 크로마 스케일링을 이용한 루마 맵핑 (LMCS) 이 현재 블록에 적용되지 않을 것임을 결정하는 수단; 및 LMCS 를 현재 블록에 적용하지 않고 CIIP 모드 및 OBMC 를 사용하여 현재 블록을 디코딩하기 위한 수단을 포함한다.Clause 23: A device for decoding video data, wherein the device determines that a current block of video data is coded using combined inter/intra prediction (CIIP) mode and using overlapped block motion compensation (OBMC). means for determining, wherein the current block includes at least a portion of a coding unit (CU) of the video data; means for determining that luma mapping with chroma scaling (LMCS) will not be applied to the current block in response to determining that the current block is coded using CIIP mode and OBMC; and means for decoding the current block using CIIP mode and OBMC without applying LMCS to the current block.

조항 24: 비디오 데이터를 디코딩하기 위한 디바이스로서, 상기 디바이스는, 비디오 데이터의 현재 블록이 중첩된 블록 모션 보상 (OBMC) 을 사용하여 코딩된다고 결정하기 위한 수단; 현재 블록이 OBMC 를 사용하여 코딩된다는 결정에 응답하여 현재 블록에 대한 조합된 인터/인트라 예측 (CIIP) 모드 정보의 코딩을 방지하기 위한 수단; 및 OBMC 모드를 사용하여 현재 블록을 디코딩하기 위한 수단을 포함한다.Clause 24: A device for decoding video data, the device comprising: means for determining that a current block of video data is coded using overlapped block motion compensation (OBMC); means for preventing coding of combined inter/intra prediction (CIIP) mode information for the current block in response to determining that the current block is coded using OBMC; and means for decoding the current block using OBMC mode.

조항 25: 비디오 데이터를 디코딩하기 위한 디바이스로서, 상기 디바이스는, 비디오 데이터의 현재 블록이 조합된 인터/인트라 예측 (CIIP) 모드를 사용하여 코딩된다고 결정하기 위한 수단; 중첩된 블록 모션 보상 (OBMC) 을 사용하여 현재 블록에 대한 인터-예측 블록을 생성하기 위한 수단; 현재 블록에 대한 인트라 예측 블록을 생성하기 위한 수단; 인터-예측 블록 및 인트라-예측 블록을 사용하여 상기 현재 블록에 대한 예측 블록을 생성하기 위한 수단; 및 상기 예측 블록을 사용하여 상기 현재 블록을 디코딩하는 수단을 포함하는, 비디오 데이터를 디코딩하기 위한 디바이스.Clause 25: A device for decoding video data, the device comprising: means for determining that a current block of video data is coded using combined inter/intra prediction (CIIP) mode; means for generating an inter-prediction block for a current block using overlapped block motion compensation (OBMC); means for generating an intra prediction block for the current block; means for generating a prediction block for the current block using an inter-prediction block and an intra-prediction block; and means for decoding the current block using the prediction block.

조항 26: 비디오 데이터를 디코딩하기 위한 디바이스로서, 상기 디바이스는, 비디오 데이터의 현재 블록이 조합된 인터/인트라 예측 (CIIP) 모드, 중첩된 블록 모션 보상 (OBMC), 및 크로마 스케일링을 이용한 루마 맵핑 (LMCS) 을 사용하여 코딩된다고 결정하기 위한 수단; 현재 블록의 모션 정보를 사용하여 현재 블록에 대한 중간 인터 예측 블록을 생성하기 위한 수단; 현재 블록에 대한 최종 인터-예측 블록을 형성하기 위해 LMCS 에 따라 중간 인터-예측 블록에 대해 루마 맵핑을 수행하기 위한 수단; 현재 블록에 대한 인트라 예측 블록을 생성하기 위한 수단; 최종 인터-예측 블록을 인트라-예측 블록과 조합하여 현재 블록에 대한 제 1 예측 블록을 형성하기 위해 CIIP 를 수행하는 단계; 현재 블록에 대한 하나 이상의 이웃 블록들의 모션 정보를 사용하여 현재 블록에 대한 하나 이상의 다른 중간 예측 블록들을 생성하기 위한 수단; 현재 블록에 대한 하나 이상의 다른 예측 블록들을 형성하기 위해 LMCS 에 따라 하나 이상의 다른 중간 예측 블록들에 대해 루마 맵핑을 수행하기 위한 수단; OBMC 에 따라 제 1 예측 블록 및 하나 이상의 다른 예측 블록들을 사용하여 현재 블록에 대한 최종 예측 블록을 생성하기 위한 수단; 및 상기 최종 예측 블록을 사용하여 상기 현재 블록을 디코딩하기 위한 수단Clause 26: A device for decoding video data, the device comprising: a current block of video data combined inter/intra prediction (CIIP) mode, overlapped block motion compensation (OBMC), and luma mapping with chroma scaling ( means for determining that the code is coded using LMCS); means for generating an intermediate inter prediction block for the current block using motion information of the current block; means for performing luma mapping on intermediate inter-prediction blocks according to LMCS to form a final inter-prediction block for the current block; means for generating an intra prediction block for the current block; performing CIIP to combine the final inter-prediction block with the intra-prediction block to form a first prediction block for the current block; means for generating one or more different intermediate prediction blocks for the current block using motion information of one or more neighboring blocks for the current block; means for performing luma mapping on one or more other intermediate prediction blocks according to LMCS to form one or more other prediction blocks for the current block; means for generating a final prediction block for the current block using the first prediction block and one or more other prediction blocks according to OBMC; and means for decoding the current block using the last prediction block.

을 포함한다.Includes.

조항 27: 비디오 데이터를 디코딩하기 위한 디바이스로서, 상기 디바이스는, 비디오 데이터의 현재 블록이 조합된 인터/인트라 예측 (CIIP) 모드, 중첩된 블록 모션 보상 (OBMC), 및 크로마 스케일링을 이용한 루마 맵핑 (LMCS) 을 사용하여 코딩된다고 결정하기 위한 수단; 현재 블록의 모션 정보를 사용하여 현재 블록에 대한 중간 인터 예측 블록을 생성하기 위한 수단; 현재 블록에 대한 최종 인터-예측 블록을 형성하기 위해 LMCS 에 따라 중간 인터-예측 블록에 대해 루마 맵핑을 수행하기 위한 수단; 현재 블록에 대한 인트라 예측 블록을 생성하기 위한 수단; 최종 인터-예측 블록을 인트라-예측 블록과 조합하여 현재 블록에 대한 제 1 예측 블록을 형성하기 위해 CIIP 를 수행하는 단계; 현재 블록에 대한 하나 이상의 이웃 블록들의 모션 정보를 사용하여 현재 블록에 대한 하나 이상의 다른 예측 블록들을 생성하기 위한 수단; OBMC 에 따라 제 1 예측 블록 및 하나 이상의 다른 예측 블록들을 사용하여 현재 블록에 대한 최종 예측 블록을 생성하기 위한 수단; 및 상기 최종 예측 블록을 사용하여 상기 현재 블록을 디코딩하기 위한 수단을 포함한다.Clause 27: A device for decoding video data, the device comprising: a current block of video data combined inter/intra prediction (CIIP) mode, overlapped block motion compensation (OBMC), and luma mapping with chroma scaling ( means for determining that the code is coded using LMCS); means for generating an intermediate inter prediction block for the current block using motion information of the current block; means for performing luma mapping on intermediate inter-prediction blocks according to LMCS to form a final inter-prediction block for the current block; means for generating an intra prediction block for the current block; performing CIIP to combine the final inter-prediction block with the intra-prediction block to form a first prediction block for the current block; means for generating one or more different prediction blocks for the current block using motion information of one or more neighboring blocks for the current block; means for generating a final prediction block for the current block using the first prediction block and one or more other prediction blocks according to OBMC; and means for decoding the current block using the last prediction block.

조항 28: 비디오 데이터를 디코딩하는 방법으로서, 상기 방법은, 비디오 데이터의 현재 블록에 대한 인터-예측 블록을 생성하는 단계; 비디오 데이터의 상기 현재 블록에 대한 인트라-예측 블록을 생성하는 단계; 상기 인터-예측 블록 및 상기 인트라-예측 블록으로부터 비디오 데이터의 상기 현재 블록에 대한 최종 예측 블록을 생성하는 단계로서, 상기 최종 예측 블록을 생성하는 동안 조합된 인터/인트라-예측 (CIIP) 모드, 중첩된 블록 모션 보상 (OBMC), 및 크로마 스케일링을 이용한 루마 맵핑 (LMCS) 의 각각을 수행하는 것을 포함하는, 상기 최종 예측 블록을 생성하는 단계; 및 상기 최종 예측 블록을 사용하여 비디오 데이터의 상기 현재 블록을 디코딩하는 단계Clause 28: A method of decoding video data, the method comprising: generating an inter-prediction block for a current block of video data; generating an intra-prediction block for the current block of video data; generating a final prediction block for the current block of video data from the inter-prediction block and the intra-prediction block, wherein a combined inter/intra-prediction (CIIP) mode, overlaps while generating the final prediction block. generating the final prediction block, including performing each of block motion compensation (OBMC), and luma mapping with chroma scaling (LMCS); and decoding the current block of video data using the final prediction block.

를 포함한다.Includes.

조항 29: 조항 28 의 방법에 있어서, 비디오 데이터의 상기 현재의 블록에 대한 상기 최종 예측 블록을 생성하는 단계는, OBMC 보상된 인터-예측 블록을 형성하기 위해 상기 인터-예측 블록에 대해 OBMC 를 수행하는 단계; LMCS 맵핑된 인터-예측 블록을 형성하기 위해 상기 OBMC 보상된 인터-예측 블록에 대해 LMCS 를 수행하는 단계; 및 최종 예측 블록을 생성하기 위해 CIIP 모드를 사용하여 상기 LMCS 맵핑된 인터-예측 블록을 상기 인트라-예측 블록과 조합하는 단계를 포함한다.Clause 29: The method of clause 28, wherein generating the final prediction block for the current block of video data comprises performing OBMC on the inter-prediction block to form an OBMC compensated inter-prediction block. steps; performing LMCS on the OBMC compensated inter-prediction block to form an LMCS mapped inter-prediction block; and combining the LMCS mapped inter-prediction block with the intra-prediction block using CIIP mode to generate a final prediction block.

조항 30: 조항 28 의 방법에 있어서, 상기 인터-예측 블록은 비디오 데이터의 상기 현재의 블록의 제 1 인터-예측 서브-블록을 포함하고, 상기 방법은 상기 현재의 블록에 대한 제 2 인터-예측 서브-블록을 생성하는 단계를 추가로 포함하고, 비디오 데이터의 상기 현재의 블록에 대한 상기 최종 예측 블록을 생성하는 단계는, LMCS 맵핑된 제 1 인터-예측 서브-블록을 형성하기 위해 제 1 인터-예측 서브-블록에 대해 LMCS 를 수행하는 단계; 상기 현재 블록에 대한 제 1 CIIP 예측 서브-블록을 생성하기 위해 CIIP 모드를 사용하여 상기 LMCS 맵핑된 제 1 인터-예측 서브-블록을 상기 인트라-예측 블록과 조합하는 단계; 및 상기 최종 예측 블록을 생성하기 위해 상기 제 1 CIIP 예측 서브-블록과 상기 제 2 인터-예측 서브-블록 사이에서 OBMC 블렌딩을 수행하는 단계를 포함한다.Clause 30: The method of clause 28, wherein the inter-prediction block comprises a first inter-prediction sub-block of the current block of video data, and the method comprises a second inter-prediction sub-block of the current block. The step further includes generating a sub-block, wherein generating the final prediction block for the current block of video data comprises generating a first inter-prediction block to form an LMCS mapped first inter-prediction sub-block. -Performing LMCS on the prediction sub-block; combining the LMCS mapped first inter-prediction sub-block with the intra-prediction block using CIIP mode to generate a first CIIP prediction sub-block for the current block; and performing OBMC blending between the first CIIP prediction sub-block and the second inter-prediction sub-block to generate the final prediction block.

조항 31: 조항 30 의 방법에 있어서, 상기 OBMC 블렌딩을 수행하기 전에 상기 제 2 인터-예측 서브-블록에 대해 LMCS 를 수행하는 단계를 추가로 포함한다.Clause 31: The method of clause 30, further comprising performing LMCS on the second inter-prediction sub-block before performing the OBMC blending.

조항 32: 조항 28 의 방법에 있어서, 상기 인터-예측 블록은 비디오 데이터의 상기 현재의 블록의 제 1 인터-예측 서브-블록을 포함하고, 상기 방법은, 추가로 상기 현재 블록에 대한 제 2 인터-예측 서브-블록을 생성하는 단계; 및 LMCS 맵핑된 제 2 인터-예측 서브-블록을 형성하기 위해 제 2 인터-예측 서브-블록에 대해 LMCS 를 수행하는 단계를 포함하고; 비디오 데이터의 상기 현재의 블록에 대한 상기 최종 예측 블록을 생성하는 단계는, LMCS 맵핑된 제 1 인터-예측 서브-블록을 형성하기 위해 제 1 인터-예측 서브-블록에 대해 LMCS 를 수행하는 단계; 상기 현재 블록에 대한 제 1 CIIP 예측 서브-블록을 생성하기 위해 CIIP 모드를 사용하여 상기 LMCS 맵핑된 제 1 인터-예측 서브-블록을 상기 인트라-예측 블록과 조합하는 단계; 및 상기 최종 예측 블록을 생성하기 위해 상기 제 1 CIIP 예측 서브-블록과 상기 LMCS 맵핑된 제 2 인터-예측 서브-블록 사이에서 OBMC 블렌딩을 수행하는 단계를 포함한다.Clause 32: The method of clause 28, wherein the inter-prediction block comprises a first inter-prediction sub-block of the current block of video data, and the method further comprises a second inter-prediction sub-block for the current block. - generating a prediction sub-block; and performing LMCS on the second inter-prediction sub-block to form an LMCS mapped second inter-prediction sub-block; Generating the final prediction block for the current block of video data includes performing LMCS on a first inter-prediction sub-block to form an LMCS mapped first inter-prediction sub-block; combining the LMCS mapped first inter-prediction sub-block with the intra-prediction block using CIIP mode to generate a first CIIP prediction sub-block for the current block; and performing OBMC blending between the first CIIP prediction sub-block and the LMCS mapped second inter-prediction sub-block to generate the final prediction block.

조항 33: 조항 28 의 방법에 있어서, 추가로, 상기 현재 블록이 OBMC 를 사용하여 예측될 것임을 표시하는 상기 현재 블록에 대한 OBMC 신택스 엘리먼트를 코딩하는 단계; 상기 현재 블록이 CIIP 를 사용하여 예측될 것임을 표시하는 상기 현재 블록에 대한 CIIP 신택스 엘리먼트를 코딩하는 단계; 및 상기 현재 블록이 LMCS 를 사용하여 예측될 것임을 표시하는 상기 현재 블록에 대한 LMCS 신택스 엘리먼트를 코딩하는 단계를 포함한다.Clause 33: The method of clause 28, further comprising: coding an OBMC syntax element for the current block indicating that the current block is to be predicted using OBMC; coding a CIIP syntax element for the current block indicating that the current block will be predicted using CIIP; and coding an LMCS syntax element for the current block indicating that the current block will be predicted using LMCS.

조항 34: 조항 33 의 방법에 있어서, 상기 CIIP 신택스 엘리먼트를 코딩하는 단계는, 상기 OBMC 신택스 엘리먼트를 코딩한 후에 상기 CIIP 신택스 엘리먼트를 코딩하는 단계를 포함한다.Clause 34: The method of clause 33, wherein coding the CIIP syntax element includes coding the CIIP syntax element after coding the OBMC syntax element.

조항 35: 조항 28 의 방법에 있어서, 현재 블록을 디코딩하기 전에 상기 현재 블록을 인코딩하는 단계를 추가로 포함한다.Clause 35: The method of clause 28, further comprising encoding the current block before decoding the current block.

조항 36: 비디오 데이터를 디코딩하기 위한 디바이스로서, 상기 디바이스는, 비디오 데이터를 저장하도록 구성된 메모리; 및 회로부에서 구현되는 하나 이상의 프로세서들을 포함하고, Clause 36: A device for decoding video data, the device comprising: a memory configured to store video data; and one or more processors implemented in a circuit unit,

상기 하나 이상의 프로세서들은: 비디오 데이터의 현재 블록에 대한 인터-예측 블록을 생성하는 것; 상기 비디오 데이터의 상기 현재 블록에 대한 인트라-예측 블록을 생성하는 것; 상기 인터-예측 블록 및 상기 인트라-예측 블록으로부터 비디오 데이터의 상기 현재 블록에 대한 최종 예측 블록을 생성하는 것으로서, 상기 최종 예측 블록을 생성하는 동안 조합된 인터/인트라-예측 (CIIP) 모드, 중첩된 블록 모션 보상 (OBMC), 및 크로마 스케일링을 이용한 루마 맵핑 (LMCS) 의 각각을 수행하는 것을 포함하는, 상기 최종 예측 블록을 생성하는 것; 및 상기 최종 예측 블록을 사용하여 비디오 데이터의 상기 현재 블록을 디코딩하는 것을 행하도록 구성된다.The one or more processors may: generate an inter-prediction block for a current block of video data; generating an intra-prediction block for the current block of video data; generating a final prediction block for the current block of video data from the inter-prediction block and the intra-prediction block, wherein a combined inter/intra-prediction (CIIP) mode, overlapped generating the final prediction block, including performing each of block motion compensation (OBMC), and luma mapping with chroma scaling (LMCS); and decoding the current block of video data using the last prediction block.

조항 37: 조항 36 의 디바이스에 있어서, 비디오 데이터의 상기 현재의 블록에 대한 상기 최종 예측 블록을 생성하기 위해, 상기 하나 이상의 프로세서들은, OBMC 보상된 인터-예측 블록을 형성하기 위해 상기 인터-예측 블록에 대해 OBMC 를 수행하는 것; LMCS 맵핑된 인터-예측 블록을 형성하기 위해 상기 OBMC 보상된 인터-예측 블록에 대해 LMCS 를 수행하는 것; 및 최종 예측 블록을 생성하기 위해 CIIP 모드를 사용하여 상기 LMCS 맵핑된 인터-예측 블록을 상기 인트라-예측 블록과 조합하는 것을 행하도록 구성된다.Clause 37: The device of clause 36, wherein to generate the final prediction block for the current block of video data, the one or more processors: generate the inter-prediction block to form an OBMC compensated inter-prediction block. performing OBMC on; performing LMCS on the OBMC compensated inter-prediction block to form an LMCS mapped inter-prediction block; and combine the LMCS mapped inter-prediction block with the intra-prediction block using CIIP mode to generate a final prediction block.

조항 38: 조항 36 의 디바이스에 있어서, 상기 인터-예측 블록은 비디오 데이터의 상기 현재의 블록의 제 1 인터-예측 서브-블록을 포함하고, 상기 하나 이상의 프로세서들은 추가로 상기 현재 블록에 대한 제 2 인터-예측 서브-블록을 생성하도록 추가로 구성되고, 상기 비디오 데이터의 상기 현재의 블록에 대한 상기 최종 예측 블록을 생성하기 위해, 상기 하나 이상의 프로세서들은, LMCS 맵핑된 제 1 인터-예측 서브-블록을 형성하기 위해 제 1 인터-예측 서브-블록에 대해 LMCS 를 수행하는 것; 상기 현재 블록에 대한 제 1 CIIP 예측 서브-블록을 생성하기 위해 CIIP 모드를 사용하여 상기 LMCS 맵핑된 제 1 인터-예측 서브-블록을 상기 인트라-예측 블록과 조합하는 것; 및 상기 최종 예측 블록을 생성하기 위해 상기 제 1 CIIP 예측 서브-블록과 상기 제 2 인터-예측 서브-블록 사이에서 OBMC 블렌딩을 수행하는 것을 행하도록 구성된다.Clause 38: The device of clause 36, wherein the inter-prediction block comprises a first inter-prediction sub-block of the current block of video data, and the one or more processors further comprise a second inter-prediction sub-block for the current block. further configured to generate an inter-prediction sub-block, wherein to generate the final prediction block for the current block of video data, the one or more processors are configured to: generate an LMCS mapped first inter-prediction sub-block performing LMCS on the first inter-prediction sub-block to form; combining the LMCS mapped first inter-prediction sub-block with the intra-prediction block using CIIP mode to generate a first CIIP prediction sub-block for the current block; and performing OBMC blending between the first CIIP prediction sub-block and the second inter-prediction sub-block to generate the final prediction block.

조항 39: 조항 38 의 디바이스에 있어서, 상기 하나 이상의 프로세서들은 상기 OBMC 블렌딩을 수행하기 전에 상기 제 2 인터-예측 서브-블록에 대해 LMCS 를 수행하도록 추가로 구성된다.Clause 39: The device of clause 38, wherein the one or more processors are further configured to perform LMCS on the second inter-prediction sub-block before performing the OBMC blending.

조항 40: 조항 36 의 디바이스에 있어서, 상기 인터-예측 블록은 비디오 데이터의 상기 현재의 블록의 제 1 인터-예측 서브-블록을 포함하고, 상기 하나 이상의 프로세서들은 추가로, 상기 현재 블록에 대한 제 2 인터-예측 서브-블록을 생성하는 것; 및 LMCS 맵핑된 제 2 인터-예측 서브-블록을 형성하기 위해 제 2 인터-예측 서브-블록에 대해 LMCS 를 수행하는 것을 행하게 하는 명령들을 포함하고; 상기 비디오 데이터의 상기 현재의 블록에 대한 상기 최종 예측 블록을 생성하기 위해, 상기 하나 이상의 프로세서들은, LMCS 맵핑된 제 1 인터-예측 서브-블록을 형성하기 위해 제 1 인터-예측 서브-블록에 대해 LMCS 를 수행하는 것; 상기 현재 블록에 대한 제 1 CIIP 예측 서브-블록을 생성하기 위해 CIIP 모드를 사용하여 상기 LMCS 맵핑된 제 1 인터-예측 서브-블록을 상기 인트라-예측 블록과 조합하는 것; 및 상기 최종 예측 블록을 생성하기 위해 상기 제 1 CIIP 예측 서브-블록과 상기 LMCS 맵핑된 제 2 인터-예측 서브-블록 사이에서 OBMC 블렌딩을 수행하는 것을 행하도록 구성된다.Clause 40: The device of clause 36, wherein the inter-prediction block comprises a first inter-prediction sub-block of the current block of video data, and the one or more processors further comprise a first inter-prediction sub-block for the current block. 2 Generating inter-prediction sub-blocks; and instructions causing to perform LMCS on the second inter-prediction sub-block to form an LMCS mapped second inter-prediction sub-block; To generate the final prediction block for the current block of video data, the one or more processors process a first inter-prediction sub-block to form an LMCS mapped first inter-prediction sub-block. performing LMCS; combining the LMCS mapped first inter-prediction sub-block with the intra-prediction block using CIIP mode to generate a first CIIP prediction sub-block for the current block; and performing OBMC blending between the first CIIP prediction sub-block and the LMCS mapped second inter-prediction sub-block to generate the final prediction block.

조항 41: 조항 36 의 디바이스에 있어서, 상기 하나 이상의 프로세서들은 추가로, 상기 현재 블록이 OBMC 를 사용하여 예측될 것임을 표시하는 상기 현재 블록에 대한 OBMC 신택스 엘리먼트를 코딩하는 것; 상기 현재 블록이 CIIP 를 사용하여 예측될 것임을 표시하는 상기 현재 블록에 대한 CIIP 신택스 엘리먼트를 코딩하는 것; 및 상기 현재 블록이 LMCS 를 사용하여 예측될 것임을 표시하는 상기 현재 블록에 대한 LMCS 신택스 엘리먼트를 코딩하는 것을 행하도록 구성된다.Clause 41: The device of clause 36, wherein the one or more processors further comprise: coding an OBMC syntax element for the current block indicating that the current block is to be predicted using OBMC; coding a CIIP syntax element for the current block indicating that the current block will be predicted using CIIP; and coding an LMCS syntax element for the current block indicating that the current block will be predicted using LMCS.

조항 42: 조항 41 의 디바이스에 있어서,상기 하나 이상의 프로세서들은 상기 OBMC 신택스 엘리먼트를 코딩한 후에 상기 CIIP 신택스 엘리먼트를 코딩하도록 구성된다.Clause 42: The device of clause 41, wherein the one or more processors are configured to code the CIIP syntax element after coding the OBMC syntax element.

조항 43: 조항 36 의 디바이스에 있어서, 상기 하나 이상의 프로세서들은 상기 현재 블록을 디코딩하기 전에 상기 현재 블록을 인코딩하도록 추가로 구성된다.Clause 43: The device of clause 36, wherein the one or more processors are further configured to encode the current block before decoding the current block.

조항 44: 조항 36 의 디바이스에 있어서, 디코딩된 비디오 데이터를 디스플레이하도록 구성된 디스플레이를 추가로 포함한다.Clause 44: The device of clause 36, further comprising a display configured to display decoded video data.

조항 45: 조항 36 의 디바이스에 있어서, 디바이스는 카메라, 컴퓨터, 모바일 디바이스, 브로드캐스트 수신기 디바이스, 또는 셋톱 박스 중 하나 이상을 포함하는, 디바이스.Clause 45: The device of clause 36, wherein the device comprises one or more of a camera, a computer, a mobile device, a broadcast receiver device, or a set top box.

조항 46: 명령들이 저장된 컴퓨터 판독가능 저장 매체로서, 상기 명령들은, 실행될 때, 비디오 데이터를 디코딩하기 위한 디바이스의 프로세서로 하여금: 비디오 데이터의 현재 블록에 대한 인터-예측 블록을 생성하는 것; 비디오 데이터의 상기 현재 블록에 대한 인트라-예측 블록을 생성하는 것; 상기 인터-예측 블록 및 상기 인트라-예측 블록으로부터 비디오 데이터의 상기 현재 블록에 대한 최종 예측 블록을 생성하는 것으로서, 상기 최종 예측 블록을 생성하는 동안 조합된 인터/인트라-예측 (CIIP) 모드, 중첩된 블록 모션 보상 (OBMC), 및 크로마 스케일링을 이용한 루마 맵핑 (LMCS) 의 각각을 수행하는 것을 포함하는, 상기 최종 예측 블록을 생성하는 것; 및 상기 최종 예측 블록을 사용하여 비디오 데이터의 상기 현재 블록을 디코딩하는 것을 행하게 한다.Clause 46: A computer-readable storage medium having stored thereon instructions that, when executed, cause a processor of a device to decode video data: generate an inter-prediction block for a current block of video data; generating an intra-prediction block for the current block of video data; generating a final prediction block for the current block of video data from the inter-prediction block and the intra-prediction block, wherein a combined inter/intra-prediction (CIIP) mode, overlapped generating the final prediction block, including performing each of block motion compensation (OBMC), and luma mapping with chroma scaling (LMCS); and decoding the current block of video data using the last prediction block.

조항 47: 조항 46 의 컴퓨터 판독가능 저장 매체에 있어서, 상기 프로세서로 하여금, 비디오 데이터의 상기 현재의 블록에 대한 상기 최종 예측 블록을 생성하게 하는 명령들은, 상기 프로세서로 하여금, OBMC 보상된 인터-예측 블록을 형성하기 위해 상기 인터-예측 블록에 대해 OBMC 를 수행하는 것; LMCS 맵핑된 인터-예측 블록을 형성하기 위해 상기 OBMC 보상된 인터-예측 블록에 대해 LMCS 를 수행하는 것; 및 최종 예측 블록을 생성하기 위해 CIIP 모드를 사용하여 상기 LMCS 맵핑된 인터 예측 블록과 상기 인트라 예측 블록을 조합하는 것을 행하게 하는 명령들을 포함한다.Clause 47: The computer-readable storage medium of clause 46, wherein the instructions causing the processor to generate the final prediction block for the current block of video data cause the processor to perform OBMC compensated inter-prediction. performing OBMC on the inter-prediction block to form a block; performing LMCS on the OBMC compensated inter-prediction block to form an LMCS mapped inter-prediction block; and instructions that cause combining the LMCS mapped inter prediction block and the intra prediction block using CIIP mode to generate a final prediction block.

조항 48: 조항 46 의 컴퓨터 판독가능 저장 매체에 있어서, 상기 인터-예측 블록은 비디오 데이터의 상기 현재의 블록의 제 1 인터-예측 서브-블록을 포함하고, 상기 컴퓨터 판독가능 저장 매체는 추가로 상기 프로세서로 하여금 상기 현재 블록에 대한 제 2 인터-예측 서브-블록을 생성하게 하는 명령들을 추가로 포함하고, 상기 프로세서로 하여금, 비디오 데이터의 상기 현재의 블록에 대한 상기 최종 예측 블록을 생성하게 하는 명령들은, 상기 프로세서로 하여금, LMCS 맵핑된 제 1 인터-예측 서브-블록을 형성하기 위해 제 1 인터-예측 서브-블록에 대해 LMCS 를 수행하는 것; 상기 현재 블록에 대한 제 1 CIIP 예측 서브-블록을 생성하기 위해 CIIP 모드를 사용하여 상기 LMCS 맵핑된 제 1 인터-예측 서브-블록을 상기 인트라-예측 블록과 조합하는 것; 및 상기 최종 예측 블록을 생성하기 위해 상기 제 1 CIIP 예측 서브-블록과 상기 제 2 인터-예측 서브-블록 사이에서 OBMC 블렌딩을 수행하게 하는 명령들을 포함한다.Clause 48: The computer readable storage medium of clause 46, wherein the inter-prediction block comprises a first inter-prediction sub-block of the current block of video data, and the computer readable storage medium further comprises the first inter-prediction sub-block of the current block of video data. Instructions further comprising instructions that cause a processor to generate a second inter-prediction sub-block for the current block, and to cause the processor to generate the final prediction block for the current block of video data. They cause the processor to: perform LMCS on a first inter-prediction sub-block to form an LMCS mapped first inter-prediction sub-block; combining the LMCS mapped first inter-prediction sub-block with the intra-prediction block using CIIP mode to generate a first CIIP prediction sub-block for the current block; and instructions for performing OBMC blending between the first CIIP prediction sub-block and the second inter-prediction sub-block to generate the final prediction block.

조항 49: 조항 48 의 컴퓨터 판독가능 저장 매체에 있어서, 상기 프로세서로 하여금, 상기 OBMC 블렌딩을 수행하기 전에 상기 제 2 인터-예측 서브-블록에 대해 LMCS 를 수행하게 하는 명령들을 추가로 포함한다.Clause 49: The computer-readable storage medium of clause 48, further comprising instructions to cause the processor to perform LMCS on the second inter-prediction sub-block before performing the OBMC blending.

조항 50: 조항 46 의 컴퓨터 판독가능 저장 매체에 있어서, 상기 인터-예측 블록은 비디오 데이터의 상기 현재의 블록의 제 1 인터-예측 서브-블록을 포함하고, 상기 컴퓨터 판독가능 저장 매체는 추가로 상기 프로세서로 하여금: 상기 현재 블록에 대한 제 2 인터-예측 서브-블록을 생성하는 것; 및 LMCS 맵핑된 제 2 인터-예측 서브-블록을 형성하기 위해 제 2 인터-예측 서브-블록에 대해 LMCS 를 수행하는 것을 행하게 하는 명령들을 포함하고; 상기 프로세서로 하여금, 비디오 데이터의 상기 현재의 블록에 대한 상기 최종 예측 블록을 생성하게 하는 명령들은, 상기 프로세서로 하여금, LMCS 맵핑된 제 1 인터-예측 서브-블록을 형성하기 위해 제 1 인터-예측 서브-블록에 대해 LMCS 를 수행하는 것; 상기 현재 블록에 대한 제 1 CIIP 예측 서브-블록을 생성하기 위해 CIIP 모드를 사용하여 상기 LMCS 맵핑된 제 1 인터-예측 서브-블록을 상기 인트라-예측 블록과 조합하는 것; 및 상기 최종 예측 블록을 생성하기 위해 상기 제 1 CIIP 예측 서브-블록과 상기 LMCS 맵핑된 제 2 인터-예측 서브-블록 사이에서 OBMC 블렌딩을 수행하는 것을 행하게 하는 명령들을 포함한다.Clause 50: The computer readable storage medium of clause 46, wherein the inter-prediction block comprises a first inter-prediction sub-block of the current block of video data, and the computer readable storage medium further comprises the first inter-prediction sub-block of the current block of video data. Cause the processor to: generate a second inter-prediction sub-block for the current block; and instructions causing to perform LMCS on the second inter-prediction sub-block to form an LMCS mapped second inter-prediction sub-block; Instructions that cause the processor to generate the final prediction block for the current block of video data cause the processor to perform a first inter-prediction sub-block to form an LMCS mapped first inter-prediction sub-block. performing LMCS on sub-blocks; combining the LMCS mapped first inter-prediction sub-block with the intra-prediction block using CIIP mode to generate a first CIIP prediction sub-block for the current block; and instructions to perform OBMC blending between the first CIIP prediction sub-block and the LMCS mapped second inter-prediction sub-block to generate the final prediction block.

조항 51: 조항 46 의 컴퓨터 판독가능 저장 매체에 있어서, 상기 프로세서들로 하여금, 상기 현재 블록이 OBMC 를 사용하여 예측될 것임을 표시하는 상기 현재 블록에 대한 OBMC 신택스 엘리먼트를 코딩하는 것; 상기 현재 블록이 CIIP 를 사용하여 예측될 것임을 표시하는 상기 현재 블록에 대한 CIIP 신택스 엘리먼트를 코딩하는 것; 및 상기 현재 블록이 LMCS 를 사용하여 예측될 것임을 표시하는 상기 현재 블록에 대한 LMCS 신택스 엘리먼트를 코딩하는 것을 행하게 하는 명령들을 추가로 포함한다.Clause 51: The computer-readable storage medium of clause 46, further comprising: causing the processors to: code an OBMC syntax element for the current block indicating that the current block will be predicted using OBMC; coding a CIIP syntax element for the current block indicating that the current block will be predicted using CIIP; and instructions that cause coding an LMCS syntax element for the current block indicating that the current block will be predicted using LMCS.

조항 52: 조항 51 의 컴퓨터 판독가능 저장 매체에 있어서, 상기 프로세서로 하여금, 상기 CIIP 신택스 엘리먼트를 코딩하게 하는 명령들은, 상기 프로세서로 하여금, 상기 OBMC 신택스 엘리먼트를 코딩한 후에 상기 CIIP 신택스 엘리먼트를 코딩하게 하는 명령들을 포함한다.Clause 52: The computer-readable storage medium of clause 51, wherein the instructions causing the processor to code the CIIP syntax element cause the processor to code the CIIP syntax element after coding the OBMC syntax element. Contains commands that

조항 53: 조항 46 의 컴퓨터 판독가능 저장 매체에 있어서, Clause 53: The computer readable storage medium of clause 46,

상기 프로세서로 하여금, 상기 현재 블록들을 디코딩하기 전에 상기 현재 블록들을 인코딩하게 하는 명령들을 추가로 포함한다. It further includes instructions that cause the processor to encode the current blocks before decoding the current blocks.

조항 54: 비디오 데이터를 디코딩하기 위한 디바이스로서, 상기 디바이스는, 비디오 데이터의 현재 블록에 대한 인터-예측 블록을 형성하기 위한 수단; 비디오 데이터의 상기 현재 블록에 대한 인트라-예측 블록을 생성하기 위한 수단; 상기 인터-예측 블록 및 상기 인트라-예측 블록으로부터 비디오 데이터의 상기 현재 블록에 대한 최종 예측 블록을 생성하는 수단으로서, 상기 최종 예측 블록을 생성하는 동안 조합된 인터/인트라 예측 (CIIP) 모드, 중첩된 블록 모션 보상 (OBMC), 및 크로마 스케일링을 이용한 루마 맵핑 (LMCS) 의 각각을 수행하는 것을 포함하는, 상기 최종 예측 블록을 생성하기 위한 수단; 및 상기 최종 예측 블록을 사용하여 비디오 데이터의 상기 현재 블록을 디코딩하기 위한 수단을 포함한다. Clause 54: A device for decoding video data, the device comprising: means for forming an inter-prediction block for a current block of video data; means for generating an intra-prediction block for the current block of video data; Means for generating a final prediction block for the current block of video data from the inter-prediction block and the intra-prediction block, wherein while generating the final prediction block, a combined inter/intra prediction (CIIP) mode, overlapped means for generating the final prediction block, comprising performing each of block motion compensation (OBMC) and luma mapping with chroma scaling (LMCS); and means for decoding the current block of video data using the last prediction block.

조항 55: 조항 54 의 디바이스에 있어서, 상기 인터-예측 블록은 비디오 데이터의 상기 현재의 블록의 제 1 인터-예측 서브-블록을 포함하고, 상기 디바이스는 상기 현재 블록에 대한 제 2 인터-예측 서브-블록을 생성하기 위한 수단을 추가로 포함하고, 비디오 데이터의 상기 현재의 블록에 대한 상기 최종 예측 블록을 생성하기 위한 수단은, LMCS 맵핑된 제 1 인터-예측 서브-블록을 형성하기 위해 제 1 인터-예측 서브-블록에 대해 LMCS 를 수행하기 위한 수단; 상기 현재 블록에 대한 제 1 CIIP 예측 서브-블록을 생성하기 위해 CIIP 모드를 사용하여 상기 LMCS 맵핑된 제 1 인터-예측 서브-블록을 상기 인트라-예측 블록과 조합하기 위한 수단; 및 상기 최종 예측 블록을 생성하기 위해 상기 제 1 CIIP 예측 서브-블록과 상기 제 2 인터-예측 서브-블록 사이에서 OBMC 블렌딩을 수행하기 위한 수단을 포함한다.Clause 55: The device of clause 54, wherein the inter-prediction block comprises a first inter-prediction sub-block of the current block of video data, and the device comprises a second inter-prediction sub-block for the current block. - further comprising means for generating a block, wherein the means for generating the final prediction block for the current block of video data comprises: a first prediction block to form an LMCS mapped first inter-prediction sub-block; means for performing LMCS on an inter-prediction sub-block; means for combining the LMCS mapped first inter-prediction sub-block with the intra-prediction block using CIIP mode to generate a first CIIP prediction sub-block for the current block; and means for performing OBMC blending between the first CIIP prediction sub-block and the second inter-prediction sub-block to generate the final prediction block.

조항 56: 비디오 데이터를 디코딩하는 방법으로서, 상기 방법은, 비디오 데이터의 현재 블록에 대한 인터-예측 블록을 생성하는 단계; 비디오 데이터의 상기 현재 블록에 대한 인트라-예측 블록을 생성하는 단계; 상기 인터-예측 블록 및 상기 인트라-예측 블록으로부터 비디오 데이터의 상기 현재 블록에 대한 최종 예측 블록을 생성하는 단계로서, 상기 최종 예측 블록을 생성하는 동안 조합된 인터/인트라-예측 (CIIP) 모드, 중첩된 블록 모션 보상 (OBMC), 및 크로마 스케일링을 이용한 루마 맵핑 (LMCS) 의 각각을 수행하는 것을 포함하는, 상기 최종 예측 블록을 생성하는 단계; 및 상기 최종 예측 블록을 사용하여 비디오 데이터의 상기 현재 블록을 디코딩하는 단계를 포함한다.Clause 56: A method of decoding video data, the method comprising: generating an inter-prediction block for a current block of video data; generating an intra-prediction block for the current block of video data; generating a final prediction block for the current block of video data from the inter-prediction block and the intra-prediction block, wherein a combined inter/intra-prediction (CIIP) mode, overlaps while generating the final prediction block. generating the final prediction block, including performing each of block motion compensation (OBMC), and luma mapping with chroma scaling (LMCS); and decoding the current block of video data using the final prediction block.

조항 57: 조항 56 의 방법에 있어서, 비디오 데이터의 상기 현재의 블록에 대한 상기 최종 예측 블록을 생성하는 단계는, OBMC 보상된 인터-예측 블록을 형성하기 위해 상기 인터-예측 블록에 대해 OBMC 를 수행하는 단계; LMCS 맵핑된 인터-예측 블록을 형성하기 위해 상기 OBMC 보상된 인터-예측 블록에 대해 LMCS 를 수행하는 단계; 및 최종 예측 블록을 생성하기 위해 CIIP 모드를 사용하여 상기 LMCS 맵핑된 인터-예측 블록을 상기 인트라-예측 블록과 조합하는 단계를 포함한다.Clause 57: The method of clause 56, wherein generating the final prediction block for the current block of video data comprises performing OBMC on the inter-prediction block to form an OBMC compensated inter-prediction block. steps; performing LMCS on the OBMC compensated inter-prediction block to form an LMCS mapped inter-prediction block; and combining the LMCS mapped inter-prediction block with the intra-prediction block using CIIP mode to generate a final prediction block.

조항 58: 조항 56 의 디바이스에 있어서, 상기 인터-예측 블록은 비디오 데이터의 상기 현재의 블록의 제 1 인터-예측 서브-블록을 포함하고, 상기 방법은 상기 현재 블록에 대한 제 2 인터-예측 서브-블록을 생성하는 단계를 추가로 포함하고, 비디오 데이터의 상기 현재의 블록에 대한 상기 최종 예측 블록을 생성하는 단계는, LMCS 맵핑된 제 1 인터-예측 서브-블록을 형성하기 위해 제 1 인터-예측 서브-블록에 대해 LMCS 를 수행하는 단계; 상기 현재 블록에 대한 제 1 CIIP 예측 서브-블록을 생성하기 위해 CIIP 모드를 사용하여 상기 LMCS 맵핑된 제 1 인터-예측 서브-블록을 상기 인트라-예측 블록과 조합하는 단계; 및 상기 최종 예측 블록을 생성하기 위해 상기 제 1 CIIP 예측 서브-블록과 상기 제 2 인터-예측 서브-블록 사이에서 OBMC 블렌딩을 수행하는 단계를 포함한다.Clause 58: The device of clause 56, wherein the inter-prediction block includes a first inter-prediction sub-block of the current block of video data, and the method comprises a second inter-prediction sub-block of the current block. - further comprising generating a block, wherein generating the final prediction block for the current block of video data comprises: generating a first inter-prediction sub-block to form an LMCS mapped first inter-prediction sub-block; performing LMCS on the prediction sub-block; combining the LMCS mapped first inter-prediction sub-block with the intra-prediction block using CIIP mode to generate a first CIIP prediction sub-block for the current block; and performing OBMC blending between the first CIIP prediction sub-block and the second inter-prediction sub-block to generate the final prediction block.

조항 59: 조항 58 의 방법에 있어서, 상기 OBMC 블렌딩을 수행하기 전에 상기 제 2 인터-예측 서브-블록에 대해 LMCS 를 수행하는 단계를 추가로 포함한다.Clause 59: The method of clause 58, further comprising performing LMCS on the second inter-prediction sub-block before performing the OBMC blending.

조항 60: 조항 56 의 방법에 있어서, 상기 인터-예측 블록은 비디오 데이터의 상기 현재의 블록의 제 1 인터-예측 서브-블록을 포함하고, 상기 방법은, 추가로 상기 현재 블록에 대한 제 2 인터-예측 서브-블록을 생성하는 단계; 및 LMCS 맵핑된 제 2 인터-예측 서브-블록을 형성하기 위해 제 2 인터-예측 서브-블록에 대해 LMCS 를 수행하는 단계를 포함하고; 비디오 데이터의 상기 현재의 블록에 대한 상기 최종 예측 블록을 생성하는 단계는, LMCS 맵핑된 제 1 인터-예측 서브-블록을 형성하기 위해 제 1 인터-예측 서브-블록에 대해 LMCS 를 수행하는 단계; 상기 현재 블록에 대한 제 1 CIIP 예측 서브-블록을 생성하기 위해 CIIP 모드를 사용하여 상기 LMCS 맵핑된 제 1 인터-예측 서브-블록을 상기 인트라-예측 블록과 조합하는 단계; 및 상기 최종 예측 블록을 생성하기 위해 상기 제 1 CIIP 예측 서브-블록과 상기 LMCS 맵핑된 제 2 인터-예측 서브-블록 사이에서 OBMC 블렌딩을 수행하는 단계를 포함한다.Clause 60: The method of clause 56, wherein the inter-prediction block comprises a first inter-prediction sub-block of the current block of video data, and the method further comprises a second inter-prediction sub-block for the current block. - generating a prediction sub-block; and performing LMCS on the second inter-prediction sub-block to form an LMCS mapped second inter-prediction sub-block; Generating the final prediction block for the current block of video data includes performing LMCS on a first inter-prediction sub-block to form an LMCS mapped first inter-prediction sub-block; combining the LMCS mapped first inter-prediction sub-block with the intra-prediction block using CIIP mode to generate a first CIIP prediction sub-block for the current block; and performing OBMC blending between the first CIIP prediction sub-block and the LMCS mapped second inter-prediction sub-block to generate the final prediction block.

조항 61: 조항 56 내지 조항 60 중 어느 한 조항의 방법에 있어서, 추가로, 상기 현재 블록이 OBMC 를 사용하여 예측될 것임을 표시하는 상기 현재 블록에 대한 OBMC 신택스 엘리먼트를 코딩하는 단계; 상기 현재 블록이 CIIP 를 사용하여 예측될 것임을 표시하는 상기 현재 블록에 대한 CIIP 신택스 엘리먼트를 코딩하는 단계; 및 상기 현재 블록이 LMCS 를 사용하여 예측될 것임을 표시하는 상기 현재 블록에 대한 LMCS 신택스 엘리먼트를 코딩하는 단계를 포함한다.Clause 61: The method of any of clauses 56-60, further comprising: coding an OBMC syntax element for the current block indicating that the current block is to be predicted using OBMC; coding a CIIP syntax element for the current block indicating that the current block will be predicted using CIIP; and coding an LMCS syntax element for the current block indicating that the current block will be predicted using LMCS.

조항 62: 조항 61 의 방법에 있어서, 상기 CIIP 신택스 엘리먼트를 코딩하는 단계는, 상기 OBMC 신택스 엘리먼트를 코딩한 후에 상기 CIIP 신택스 엘리먼트를 코딩하는 단계를 포함한다.Clause 62: The method of clause 61, wherein coding the CIIP syntax element comprises coding the CIIP syntax element after coding the OBMC syntax element.

조항 63: 조항 56 내지 조항 62 중 어느 한 조항의 방법에 있어서, 상기 현재 블록을 디코딩하기 전에 현재 블록을 인코딩하는 단계를 추가로 포함한다.Clause 63: The method of any one of clauses 56 to 62, further comprising encoding the current block before decoding the current block.

조항 64: 비디오 데이터를 디코딩하기 위한 디바이스로서, 상기 디바이스는, 비디오 데이터를 저장하도록 구성된 메모리; 및 회로부에서 구현되는 하나 이상의 프로세서들을 포함하고, 상기 하나 이상의 프로세서들은: 비디오 데이터의 현재 블록에 대한 인터-예측 블록을 생성하는 것; 상기 비디오 데이터의 상기 현재 블록에 대한 인트라-예측 블록을 생성하는 것; 상기 인터-예측 블록 및 상기 인트라-예측 블록으로부터 비디오 데이터의 상기 현재 블록에 대한 최종 예측 블록을 생성하는 것으로서, 상기 최종 예측 블록을 생성하는 동안 조합된 인터/인트라-예측 (CIIP) 모드, 중첩된 블록 모션 보상 (OBMC), 및 크로마 스케일링을 이용한 루마 맵핑 (LMCS) 의 각각을 수행하는 것을 포함하는, 상기 최종 예측 블록을 생성하는 것; 및 상기 최종 예측 블록을 사용하여 상기 비디오 데이터의 상기 현재 블록을 디코딩하는 것을 행하도록 구성된다.Clause 64: A device for decoding video data, the device comprising: a memory configured to store video data; and one or more processors implemented in circuitry, the one or more processors configured to: generate an inter-prediction block for a current block of video data; generating an intra-prediction block for the current block of video data; generating a final prediction block for the current block of video data from the inter-prediction block and the intra-prediction block, wherein a combined inter/intra-prediction (CIIP) mode, overlapped generating the final prediction block, including performing each of block motion compensation (OBMC), and luma mapping with chroma scaling (LMCS); and decoding the current block of video data using the last prediction block.

조항 65: 조항 64 의 디바이스에 있어서, 비디오 데이터의 상기 현재의 블록에 대한 상기 최종 예측 블록을 생성하기 위해, 상기 하나 이상의 프로세서들은, OBMC 보상된 인터-예측 블록을 형성하기 위해 상기 인터-예측 블록에 대해 OBMC 를 수행하는 것; LMCS 맵핑된 인터-예측 블록을 형성하기 위해 상기 OBMC 보상된 인터-예측 블록에 대해 LMCS 를 수행하는 것; 및 최종 예측 블록을 생성하기 위해 CIIP 모드를 사용하여 상기 LMCS 맵핑된 인터-예측 블록을 상기 인트라-예측 블록과 조합하는 것을 행하도록 구성된다.Clause 65: The device of clause 64, wherein to generate the final prediction block for the current block of video data, the one or more processors: generate the inter-prediction block to form an OBMC compensated inter-prediction block. performing OBMC on; performing LMCS on the OBMC compensated inter-prediction block to form an LMCS mapped inter-prediction block; and combine the LMCS mapped inter-prediction block with the intra-prediction block using CIIP mode to generate a final prediction block.

조항 66: 조항 64 의 디바이스에 있어서, 상기 인터-예측 블록은 비디오 데이터의 상기 현재의 블록의 제 1 인터-예측 서브-블록을 포함하고, 상기 하나 이상의 프로세서들은 추가로 상기 현재 블록에 대한 제 2 인터-예측 서브-블록을 생성하도록 추가로 구성되고, 상기 비디오 데이터의 상기 현재의 블록에 대한 상기 최종 예측 블록을 생성하기 위해, 상기 하나 이상의 프로세서들은, LMCS 맵핑된 제 1 인터-예측 서브-블록을 형성하기 위해 제 1 인터-예측 서브-블록에 대해 LMCS 를 수행하는 것; 상기 현재 블록에 대한 제 1 CIIP 예측 서브-블록을 생성하기 위해 CIIP 모드를 사용하여 상기 LMCS 맵핑된 제 1 인터-예측 서브-블록을 상기 인트라-예측 블록과 조합하는 것; 및 상기 최종 예측 블록을 생성하기 위해 상기 제 1 CIIP 예측 서브-블록과 상기 제 2 인터-예측 서브-블록 사이에서 OBMC 블렌딩을 수행하는 것을 행하게 한다.Clause 66: The device of clause 64, wherein the inter-prediction block comprises a first inter-prediction sub-block of the current block of video data, and the one or more processors further comprise a second inter-prediction sub-block for the current block. further configured to generate an inter-prediction sub-block, wherein to generate the final prediction block for the current block of video data, the one or more processors are configured to: generate an LMCS mapped first inter-prediction sub-block performing LMCS on the first inter-prediction sub-block to form; combining the LMCS mapped first inter-prediction sub-block with the intra-prediction block using CIIP mode to generate a first CIIP prediction sub-block for the current block; and performing OBMC blending between the first CIIP prediction sub-block and the second inter-prediction sub-block to generate the final prediction block.

조항 67: 조항 66 의 디바이스에 있어서, 상기 하나 이상의 프로세서들은 상기 OBMC 블렌딩을 수행하기 전에 상기 제 2 인터-예측 서브-블록에 대해 LMCS 를 수행하도록 추가로 구성된다.Clause 67: The device of clause 66, wherein the one or more processors are further configured to perform LMCS on the second inter-prediction sub-block before performing the OBMC blending.

조항 68: 조항 64 의 디바이스에 있어서, 상기 인터-예측 블록은 비디오 데이터의 상기 현재의 블록의 제 1 인터-예측 서브-블록을 포함하고, 상기 하나 이상의 프로세서들은 추가로, 상기 현재 블록에 대한 제 2 인터-예측 서브-블록을 생성하는 것; 및 LMCS 맵핑된 제 2 인터-예측 서브-블록을 형성하기 위해 제 2 인터-예측 서브-블록에 대해 LMCS 를 수행하는 것을 행하게 하는 명령들을 포함하고; 상기 비디오 데이터의 상기 현재의 블록에 대한 상기 최종 예측 블록을 생성하기 위해, 상기 하나 이상의 프로세서들은, LMCS 맵핑된 제 1 인터-예측 서브-블록을 형성하기 위해 제 1 인터-예측 서브-블록에 대해 LMCS 를 수행하는 것; 상기 현재 블록에 대한 제 1 CIIP 예측 서브-블록을 생성하기 위해 CIIP 모드를 사용하여 상기 LMCS 맵핑된 제 1 인터-예측 서브-블록을 상기 인트라-예측 블록과 조합하는 것; 및 상기 최종 예측 블록을 생성하기 위해 상기 제 1 CIIP 예측 서브-블록과 상기 LMCS 맵핑된 제 2 인터-예측 서브-블록 사이에서 OBMC 블렌딩을 수행하는 것을 행하도록 구성된다.Clause 68: The device of clause 64, wherein the inter-prediction block comprises a first inter-prediction sub-block of the current block of video data, and the one or more processors further comprise a first inter-prediction sub-block for the current block. 2 Generating inter-prediction sub-blocks; and instructions causing to perform LMCS on the second inter-prediction sub-block to form an LMCS mapped second inter-prediction sub-block; To generate the final prediction block for the current block of video data, the one or more processors process a first inter-prediction sub-block to form an LMCS mapped first inter-prediction sub-block. performing LMCS; combining the LMCS mapped first inter-prediction sub-block with the intra-prediction block using CIIP mode to generate a first CIIP prediction sub-block for the current block; and performing OBMC blending between the first CIIP prediction sub-block and the LMCS mapped second inter-prediction sub-block to generate the final prediction block.

조항 69: 조항 64 내지 조항 68 중 어느 하나의 디바이스에 있어서, 상기 하나 이상의 프로세서들은 추가로, 상기 현재 블록이 OBMC 를 사용하여 예측될 것임을 표시하는 상기 현재 블록에 대한 OBMC 신택스 엘리먼트를 코딩하는 것; 상기 현재 블록이 CIIP 를 사용하여 예측될 것임을 표시하는 상기 현재 블록에 대한 CIIP 신택스 엘리먼트를 코딩하는 것; 및 상기 현재 블록이 LMCS 를 사용하여 예측될 것임을 표시하는 상기 현재 블록에 대한 LMCS 신택스 엘리먼트를 코딩하는 것을 행하도록 구성된다.Clause 69: The device of any of clauses 64-68, wherein the one or more processors further comprise: coding an OBMC syntax element for the current block indicating that the current block is to be predicted using OBMC; coding a CIIP syntax element for the current block indicating that the current block will be predicted using CIIP; and coding an LMCS syntax element for the current block indicating that the current block will be predicted using LMCS.

조항 70: 조항 69 의 디바이스에 있어서,상기 하나 이상의 프로세서들은 상기 OBMC 신택스 엘리먼트를 코딩한 후에 상기 CIIP 신택스 엘리먼트를 코딩하도록 구성된다.Clause 70: The device of clause 69, wherein the one or more processors are configured to code the CIIP syntax element after coding the OBMC syntax element.

조항 71: 조항 64 내지 조항 70 중 어느 한 조항의 디바이스에 있어서, 상기 하나 이상의 프로세서들은 상기 현재 블록을 디코딩하기 전에 상기 현재 블록을 인코딩하도록 추가로 구성된다.Clause 71: The device of any of clauses 64-70, wherein the one or more processors are further configured to encode the current block before decoding the current block.

조항 72: 조항 64 내지 조항 71 중 어느 한 조항의 디바이스에 있어서, 디코딩된 비디오 데이터를 디스플레이하도록 구성된 디스플레이를 추가로 포함한다.Clause 72: The device of any of clauses 64-71, further comprising a display configured to display decoded video data.

조항 73: 조항 64 내지 조항 72 중 어느 한 조항의 디바이스에 있어서, 디바이스는 카메라, 컴퓨터, 모바일 디바이스, 브로드캐스트 수신기 디바이스, 또는 셋탑 박스 중 하나 이상을 포함한다.Clause 73: The device of any of clauses 64-72, wherein the device comprises one or more of a camera, a computer, a mobile device, a broadcast receiver device, or a set-top box.

조항 74: 명령들이 저장된 컴퓨터 판독가능 저장 매체로서, 상기 명령들은, 실행될 때, 비디오 데이터를 디코딩하기 위한 디바이스의 프로세서로 하여금: 비디오 데이터의 현재 블록에 대한 인터-예측 블록을 생성하는 것; 비디오 데이터의 상기 현재 블록에 대한 인트라-예측 블록을 생성하는 것; 상기 인터-예측 블록 및 상기 인트라-예측 블록으로부터 비디오 데이터의 상기 현재 블록에 대한 최종 예측 블록을 생성하는 것으로서, 상기 최종 예측 블록을 생성하는 동안 조합된 인터/인트라-예측 (CIIP) 모드, 중첩된 블록 모션 보상 (OBMC), 및 크로마 스케일링을 이용한 루마 맵핑 (LMCS) 의 각각을 수행하는 것을 포함하는, 상기 최종 예측 블록을 생성하는 것; 및 상기 최종 예측 블록을 사용하여 비디오 데이터의 상기 현재 블록을 디코딩하는 것을 행하게 한다.Clause 74: A computer readable storage medium having stored thereon instructions which, when executed, cause a processor of a device to decode video data: generate an inter-prediction block for a current block of video data; generating an intra-prediction block for the current block of video data; generating a final prediction block for the current block of video data from the inter-prediction block and the intra-prediction block, wherein a combined inter/intra-prediction (CIIP) mode, overlapped generating the final prediction block, including performing each of block motion compensation (OBMC), and luma mapping with chroma scaling (LMCS); and decoding the current block of video data using the last prediction block.

조항 75: 조항 74 의 컴퓨터 판독가능 저장 매체에 있어서, 상기 프로세서로 하여금, 비디오 데이터의 상기 현재의 블록에 대한 상기 최종 예측 블록을 생성하게 하는 명령들은, 상기 프로세서로 하여금, OBMC 보상된 인터-예측 블록을 형성하기 위해 상기 인터-예측 블록에 대해 OBMC 를 수행하는 것; LMCS 맵핑된 인터-예측 블록을 형성하기 위해 상기 OBMC 보상된 인터-예측 블록에 대해 LMCS 를 수행하는 것; 및 최종 예측 블록을 생성하기 위해 CIIP 모드를 사용하여 상기 LMCS 맵핑된 인터 예측 블록과 상기 인트라 예측 블록을 조합하는 것을 행하게 하는 명령들을 포함한다.Clause 75: The computer-readable storage medium of clause 74, wherein the instructions causing the processor to generate the final prediction block for the current block of video data cause the processor to perform OBMC compensated inter-prediction. performing OBMC on the inter-prediction block to form a block; performing LMCS on the OBMC compensated inter-prediction block to form an LMCS mapped inter-prediction block; and instructions that cause combining the LMCS mapped inter prediction block and the intra prediction block using CIIP mode to generate a final prediction block.

조항 76: 조항 74 의 컴퓨터 판독가능 저장 매체에 있어서, 상기 인터-예측 블록은 비디오 데이터의 상기 현재의 블록의 제 1 인터-예측 서브-블록을 포함하고, 상기 컴퓨터 판독가능 저장 매체는 추가로 상기 프로세서로 하여금 상기 현재 블록에 대한 제 2 인터-예측 서브-블록을 생성하게 하는 명령들을 추가로 포함하고, 상기 프로세서로 하여금, 비디오 데이터의 상기 현재의 블록에 대한 상기 최종 예측 블록을 생성하게 하는 명령들은, 상기 프로세서로 하여금, LMCS 맵핑된 제 1 인터-예측 서브-블록을 형성하기 위해 제 1 인터-예측 서브-블록에 대해 LMCS 를 수행하는 것; 상기 현재 블록에 대한 제 1 CIIP 예측 서브-블록을 생성하기 위해 CIIP 모드를 사용하여 상기 LMCS 맵핑된 제 1 인터-예측 서브-블록을 상기 인트라-예측 블록과 조합하는 것; 및 상기 최종 예측 블록을 생성하기 위해 상기 제 1 CIIP 예측 서브-블록과 상기 제 2 인터-예측 서브-블록 사이에서 OBMC 블렌딩을 수행하는 것을 행하게 하는 명령들을 포함한다.Clause 76: The computer readable storage medium of clause 74, wherein the inter-prediction block comprises a first inter-prediction sub-block of the current block of video data, and the computer readable storage medium further comprises the first inter-prediction sub-block of the current block of video data. Instructions further comprising instructions that cause a processor to generate a second inter-prediction sub-block for the current block, and to cause the processor to generate the final prediction block for the current block of video data. They cause the processor to: perform LMCS on a first inter-prediction sub-block to form an LMCS mapped first inter-prediction sub-block; combining the LMCS mapped first inter-prediction sub-block with the intra-prediction block using CIIP mode to generate a first CIIP prediction sub-block for the current block; and instructions to perform OBMC blending between the first CIIP prediction sub-block and the second inter-prediction sub-block to generate the final prediction block.

조항 77: 조항 76 의 컴퓨터 판독가능 저장 매체에 있어서, 상기 프로세서로 하여금, 상기 OBMC 블렌딩을 수행하기 전에 상기 제 2 인터-예측 서브-블록에 대해 LMCS 를 수행하게 하는 명령들을 추가로 포함한다.Clause 77: The computer-readable storage medium of clause 76, further comprising instructions to cause the processor to perform LMCS on the second inter-prediction sub-block before performing the OBMC blending.

조항 78: 조항 74 의 컴퓨터 판독가능 저장 매체에 있어서, 상기 인터-예측 블록은 비디오 데이터의 상기 현재의 블록의 제 1 인터-예측 서브-블록을 포함하고, 상기 컴퓨터 판독가능 저장 매체는 추가로 상기 프로세서로 하여금: 상기 현재 블록에 대한 제 2 인터-예측 서브-블록을 생성하는 것; 및 LMCS 맵핑된 제 2 인터-예측 서브-블록을 형성하기 위해 제 2 인터-예측 서브-블록에 대해 LMCS 를 수행하는 것을 행하게 하는 명령들을 포함하고; 상기 프로세서로 하여금, 비디오 데이터의 상기 현재의 블록에 대한 상기 최종 예측 블록을 생성하게 하는 명령들은, 상기 프로세서로 하여금, LMCS 맵핑된 제 1 인터-예측 서브-블록을 형성하기 위해 제 1 인터-예측 서브-블록에 대해 LMCS 를 수행하는 것; 상기 현재 블록에 대한 제 1 CIIP 예측 서브-블록을 생성하기 위해 CIIP 모드를 사용하여 상기 LMCS 맵핑된 제 1 인터-예측 서브-블록을 상기 인트라-예측 블록과 조합하는 것; 및 상기 최종 예측 블록을 생성하기 위해 상기 제 1 CIIP 예측 서브-블록과 상기 LMCS 맵핑된 제 2 인터-예측 서브-블록 사이에서 OBMC 블렌딩을 수행하는 것을 행하게 하는 명령들을 포함한다.Clause 78: The computer readable storage medium of clause 74, wherein the inter-prediction block comprises a first inter-prediction sub-block of the current block of video data, and the computer readable storage medium further comprises the first inter-prediction sub-block of the current block of video data. Cause the processor to: generate a second inter-prediction sub-block for the current block; and instructions causing to perform LMCS on the second inter-prediction sub-block to form an LMCS mapped second inter-prediction sub-block; Instructions that cause the processor to generate the final prediction block for the current block of video data cause the processor to perform a first inter-prediction sub-block to form an LMCS mapped first inter-prediction sub-block. performing LMCS on sub-blocks; combining the LMCS mapped first inter-prediction sub-block with the intra-prediction block using CIIP mode to generate a first CIIP prediction sub-block for the current block; and instructions to perform OBMC blending between the first CIIP prediction sub-block and the LMCS mapped second inter-prediction sub-block to generate the final prediction block.

조항 79: 조항 74 내지 조항 78 중 어느 한 조항의 컴퓨터 판독가능 저장 매체에 있어서, 추가로 상기 프로세서들로 하여금, 상기 현재 블록이 OBMC 를 사용하여 예측될 것임을 표시하는 상기 현재 블록에 대한 OBMC 신택스 엘리먼트를 코딩하는 것; 상기 현재 블록이 CIIP 를 사용하여 예측될 것임을 표시하는 상기 현재 블록에 대한 CIIP 신택스 엘리먼트를 코딩하는 것; 및 상기 현재 블록이 LMCS 를 사용하여 예측될 것임을 표시하는 상기 현재 블록에 대한 LMCS 신택스 엘리먼트를 코딩하는 것을 행하게 하는 명령들을 포함한다.Clause 79: The computer-readable storage medium of any of clauses 74-78, further comprising: an OBMC syntax element for the current block that causes the processors to indicate that the current block is to be predicted using OBMC. coding; coding a CIIP syntax element for the current block indicating that the current block will be predicted using CIIP; and instructions that cause coding an LMCS syntax element for the current block indicating that the current block will be predicted using LMCS.

조항 80: 조항 79 의 컴퓨터 판독가능 저장 매체에 있어서, 상기 프로세서로 하여금, 상기 CIIP 신택스 엘리먼트를 코딩하게 하는 명령들은, 상기 프로세서로 하여금, 상기 OBMC 신택스 엘리먼트를 코딩한 후에 상기 CIIP 신택스 엘리먼트를 코딩하게 하는 명령들을 포함한다.Clause 80: The computer readable storage medium of clause 79, wherein the instructions causing the processor to code the CIIP syntax element cause the processor to code the CIIP syntax element after coding the OBMC syntax element. Contains commands that

조항 81: 조항 74 내지 조항 80 중 어느 한 조항의 컴퓨터 판독가능 저장 매체에 있어서, 상기 프로세서로 하여금, 상기 현재 블록들을 디코딩하기 이전에 상기 현재 블록들을 인코딩하게 하는 명령들을 추가로 포함한다. Clause 81: The computer-readable storage medium of any of clauses 74-80, further comprising instructions to cause the processor to encode the current blocks prior to decoding the current blocks.

조항 82: 비디오 데이터를 디코딩하기 위한 디바이스로서, 상기 디바이스는, 비디오 데이터의 현재 블록에 대한 인터-예측 블록을 형성하기 위한 수단; 비디오 데이터의 상기 현재 블록에 대한 인트라-예측 블록을 생성하기 위한 수단; 상기 인터-예측 블록 및 상기 인트라-예측 블록으로부터 비디오 데이터의 상기 현재 블록에 대한 최종 예측 블록을 생성하는 수단으로서, 상기 최종 예측 블록을 생성하는 동안 조합된 인터/인트라 예측 (CIIP) 모드, 중첩된 블록 모션 보상 (OBMC), 및 크로마 스케일링을 이용한 루마 맵핑 (LMCS) 의 각각을 수행하는 것을 포함하는, 상기 최종 예측 블록을 생성하기 위한 수단; 및 상기 최종 예측 블록을 사용하여 비디오 데이터의 상기 현재 블록을 디코딩하기 위한 수단을 포함한다. Clause 82: A device for decoding video data, the device comprising: means for forming an inter-prediction block for a current block of video data; means for generating an intra-prediction block for the current block of video data; Means for generating a final prediction block for the current block of video data from the inter-prediction block and the intra-prediction block, wherein while generating the final prediction block, a combined inter/intra prediction (CIIP) mode, overlapped means for generating the final prediction block, comprising performing each of block motion compensation (OBMC) and luma mapping with chroma scaling (LMCS); and means for decoding the current block of video data using the last prediction block.

조항 83: 조항 82 의 디바이스에 있어서, 상기 인터-예측 블록은 비디오 데이터의 상기 현재의 블록의 제 1 인터-예측 서브-블록을 포함하고, 상기 디바이스는 상기 현재 블록에 대한 제 2 인터-예측 서브-블록을 생성하기 위한 수단을 추가로 포함하고, 비디오 데이터의 상기 현재의 블록에 대한 상기 최종 예측 블록을 생성하기 위한 수단은, LMCS 맵핑된 제 1 인터-예측 서브-블록을 형성하기 위해 제 1 인터-예측 서브-블록에 대해 LMCS 를 수행하기 위한 수단; 상기 현재 블록에 대한 제 1 CIIP 예측 서브-블록을 생성하기 위해 CIIP 모드를 사용하여 상기 LMCS 맵핑된 제 1 인터-예측 서브-블록을 상기 인트라-예측 블록과 조합하기 위한 수단; 및 상기 최종 예측 블록을 생성하기 위해 상기 제 1 CIIP 예측 서브-블록과 상기 제 2 인터-예측 서브-블록 사이에서 OBMC 블렌딩을 수행하기 위한 수단을 포함한다.Clause 83: The device of clause 82, wherein the inter-prediction block comprises a first inter-prediction sub-block of the current block of video data, and the device comprises a second inter-prediction sub-block for the current block. - further comprising means for generating a block, wherein the means for generating the final prediction block for the current block of video data comprises: a first prediction block to form an LMCS mapped first inter-prediction sub-block; means for performing LMCS on an inter-prediction sub-block; means for combining the LMCS mapped first inter-prediction sub-block with the intra-prediction block using CIIP mode to generate a first CIIP prediction sub-block for the current block; and means for performing OBMC blending between the first CIIP prediction sub-block and the second inter-prediction sub-block to generate the final prediction block.

예에 따라, 본원에 설명된 기술들 중 임의의 것의 소정의 액트들 또는 이벤트들은 상이한 시퀀스로 수행될 수 있고, 전체적으로 부가되거나 병합되거나 또는 제거될 수도 있음 (예를 들어, 설명된 모든 액트들 또는 이벤트들이 그 기술들의 실시를 위해 필수적인 것은 아님) 이 인식되어야 한다. 더욱이, 소정의 예들에서, 액트들 또는 이벤트들은 순차적인 것보다는, 예를 들어 멀티-스레딩된 프로세싱, 인터럽트 프로세싱, 또는 다중의 프로세서들을 통해 동시에 수행될 수도 있다.By way of example, certain acts or events of any of the techniques described herein may be performed in different sequences and may be added, merged, or removed entirely (e.g., all acts described or It should be recognized that events are not essential for implementation of the techniques. Moreover, in certain examples, acts or events may be performed concurrently, for example, through multi-threaded processing, interrupt processing, or multiple processors, rather than sequentially.

하나 이상의 예에서, 설명된 기능들은 하드웨어, 소프트웨어, 펌웨어, 또는 이들의 임의의 조합에서 구현될 수도 있다.　 소프트웨어에서 구현되면, 기능들은 컴퓨터 판독가능 매체 상에 하나 이상의 명령들 또는 코드로서 저장되거나 또는 이를 통해 송신되고 하드웨어 기반 프로세싱 유닛에 의해 실행될 수도 있다. 컴퓨터 판독가능 매체들은 데이터 저장 매체들과 같은 타입의 매체에 대응하는 컴퓨터 판독가능 저장 매체들, 또는 예를 들어 통신 프로토콜에 따라 일 장소로부터 다른 장소로의 컴퓨터 프로그램의 전송을 용이하게 하는 임의의 매체를 포함하는 통신 매체들을 포함할 수도 있다. 이러한 방식으로, 컴퓨터 판독가능 매체들은 일반적으로 (1) 비일시적인 타입의 컴퓨터 판독가능 저장 매체들 또는 (2) 신호 또는 캐리어 파와 같은 통신 매체에 대응할 수도 있다. 　데이터 저장 매체들은 본 개시에 설명된 기술들의 구현을 위한 명령들, 코드 및/또는 데이터 구조들을 검색하기 위해 하나 이상의 컴퓨터 또는 하나 이상의 프로세서에 의해 액세스될 수 있는 임의의 가용 매체들일 수도 있다.　 컴퓨터 프로그램 제품은 컴퓨터 판독가능 매체를 포함할 수 있다.In one or more examples, the functions described may be implemented in hardware, software, firmware, or any combination thereof. If implemented in software, the functions may be stored on or transmitted over as one or more instructions or code on a computer-readable medium and executed by a hardware-based processing unit. Computer-readable media refers to a type of medium such as data storage media, or any medium that facilitates transfer of a computer program from one place to another, e.g., according to a communication protocol. It may also include communication media including. In this manner, computer-readable media may generally correspond to (1) computer-readable storage media of a non-transitory type, or (2) communication media, such as a signal or carrier wave. Data storage media may be any available media that can be accessed by one or more computers or one or more processors to retrieve instructions, code and/or data structures for implementation of the techniques described in this disclosure. A computer program product may include computer-readable media.

한정이 아닌 예시로서, 이러한 컴퓨터 판독가능 저장 매체들은 RAM, ROM, EEPROM, CD-ROM 또는 다른 광학 디스크 저장, 자기 디스크 저장, 또는 다른 자기 저장 디바이스들, 플래시 메모리, 또는 명령들 또는 데이터 구조들의 형태로 희망하는 프로그램 코드를 저장하기 위해 이용될 수 있으며 컴퓨터에 의해 액세스될 수 있는 임의의 다른 매체를 포함할 수 있다.　 또한, 임의의 접속이 컴퓨터 판독가능 매체로 적절히 불린다. 예를 들어, 명령들이 동축 케이블, 광섬유 케이블, 트위스티드 페어, 디지털 가입자 라인 (DSL), 또는 적외선, 무선, 및 마이크로파와 같은 무선 기술들을 사용하여 웹사이트, 서버, 또는 다른 원격 소스로부터 송신되면, 동축 케이블, 광섬유 케이블, 트위스티드 페어, DSL, 또는 적외선, 무선, 및 마이크로파와 같은 무선 기술들은 매체의 정의에 포함된다. 하지만, 컴퓨터 판독가능 저장 매체들 및 데이터 저장 매체들은 커넥션들, 캐리어파들, 신호들, 또는 다른 일시적 매체들을 포함하지 않지만 대신 비일시적 타입의 저장 매체들로 지향됨이 이해되어야 한다. 본 명세서에서 사용된 바와 같이, 디스크 (disk) 와 디스크 (disc) 는, 컴팩트 디스크 (CD), 레이저 디스크, 광학 디스크, 디지털 다기능 디스크 (DVD), 플로피 디스크, 및 블루레이 디스크를 포함하며, 여기서 디스크 (disk) 들은 통상 자기적으로 데이터를 재생하는 한편, 디스크 (disc) 들은 레이저들을 이용하여 광학적으로 데이터를 재생한다. 상기의 조합들이 또한 컴퓨터 판독가능 매체들의 범위 내에 포함되어야 한다.By way of example, and not limitation, such computer-readable storage media may include RAM, ROM, EEPROM, CD-ROM or other optical disk storage, magnetic disk storage, or other magnetic storage devices, flash memory, or in the form of instructions or data structures. It can be used to store desired program code and can include any other medium that can be accessed by a computer. Any connection is also properly termed a computer-readable medium. For example, if commands are transmitted from a website, server, or other remote source using coaxial cable, fiber optic cable, twisted pair, digital subscriber line (DSL), or wireless technologies such as infrared, radio, and microwave, then the commands are coaxial. Cable, fiber optic cable, twisted pair, DSL, or wireless technologies such as infrared, wireless, and microwave are included in the definition of medium. However, it should be understood that computer-readable storage media and data storage media do not include connections, carrier waves, signals, or other transient media, but are instead directed to non-transitory types of storage media. As used herein, disk and disc include compact disk (CD), laser disk, optical disk, digital versatile disk (DVD), floppy disk, and Blu-ray disk, where Disks usually reproduce data magnetically, while discs reproduce data optically using lasers. Combinations of the above should also be included within the scope of computer-readable media.

명령들은 하나 이상의 프로세서, 예를 들어 하나 이상의 디지털 신호 프로세서 (DSP), 범용 마이크로프로세서, 주문형 집적 회로 (ASIC), 필드 프로그램가능 게이트 어레이 (FPGA들), 또는 다른 등가의 집적 또는 이산 로직 회로부에 의해 실행될 수도 있다. 따라서, 본 명세서에서 사용된 바와 같이 용어들 "프로세서" 및 “프로세싱 회로부”는 전술한 구조들 중 임의의 것 또는 본 명세서 설명된 기술들의 구현에 적합한 임의의 다른 구조를 지칭할 수도 있다. 또한, 일부 양태들에 있어서, 본 명세서에서 설명된 기능성은 인코딩 및 디코딩을 위해 구성되거나 또는 조합된 코덱에서 통합된 전용 하드웨어 및/또는 소프트웨어 모듈들 내에 제공될 수도 있다. 또한, 그 기술들은 하나 이상의 회로들 또는 로직 엘리먼트들에서 완전히 구현될 수 있다.The instructions may be executed by one or more processors, such as one or more digital signal processors (DSPs), general purpose microprocessors, application specific integrated circuits (ASICs), field programmable gate arrays (FPGAs), or other equivalent integrated or discrete logic circuitry. It may be executed. Accordingly, the terms “processor” and “processing circuitry” as used herein may refer to any of the foregoing structures or any other structure suitable for implementation of the techniques described herein. Additionally, in some aspects, the functionality described herein may be provided within dedicated hardware and/or software modules configured for encoding and decoding or integrated in a combined codec. Additionally, the techniques may be fully implemented in one or more circuits or logic elements.

본 개시의 기술들은 무선 핸드셋, 집적 회로 (IC) 또는 IC들의 세트 (예를 들어, 칩 세트) 를 포함하여, 광범위하게 다양한 디바이스들 또는 장치들에서 구현될 수도 있다. 다양한 컴포넌트들, 모듈들, 또는 유닛들은 개시된 기술들을 수행하도록 구성된 디바이스들의 기능적 양태들을 강조하기 위해 본 개시에서 설명되지만, 상이한 하드웨어 유닛들에 의한 실현을 반드시 필요로 하는 것은 아니다. 오히려, 위에서 설명된 바와 같이, 다양한 유닛들이 코덱 하드웨어 유닛에 조합될 수도 있거나, 또는 적합한 소프트웨어 및/또는 펌웨어와 함께, 위에서 설명된 바와 같은 하나 이상의 프로세서들을 포함하는 상호동작 하드웨어 유닛들의 집합에 의해 제공될 수도 있다.The techniques of this disclosure may be implemented in a wide variety of devices or apparatus, including a wireless handset, an integrated circuit (IC), or a set of ICs (e.g., a chip set). Various components, modules, or units are described in this disclosure to highlight functional aspects of devices configured to perform the disclosed techniques, but do not necessarily require implementation by different hardware units. Rather, various units may be combined into a codec hardware unit, as described above, or provided by a collection of interoperable hardware units including one or more processors as described above, together with appropriate software and/or firmware. It could be.

다양한 예들이 설명되었다. 이들 및 다른 예들은 다음의 청구항들의 범위 내에 있다.Various examples have been described. These and other examples are within the scope of the following claims.

Claims (28)

비디오 데이터를 디코딩하는 방법으로서,
비디오 데이터의 현재 블록에 대한 인터-예측 블록을 생성하는 단계;
비디오 데이터의 상기 현재 블록에 대한 인트라-예측 블록을 생성하는 단계;
상기 인터-예측 블록 및 상기 인트라-예측 블록으로부터 비디오 데이터의 상기 현재 블록에 대한 최종 예측 블록을 생성하는 단계로서, 상기 최종 예측 블록을 생성하는 동안 조합된 인터/인트라-예측 (CIIP) 모드, 중첩된 블록 모션 보상 (OBMC), 및 크로마 스케일링을 이용한 루마 맵핑 (LMCS) 의 각각을 수행하는 것을 포함하는, 상기 최종 예측 블록을 생성하는 단계; 및
상기 최종 예측 블록을 사용하여 비디오 데이터의 상기 현재 블록을 디코딩하는 단계를 포함하는, 비디오 데이터를 디코딩하는 방법.A method for decoding video data, comprising:
generating an inter-prediction block for a current block of video data;
generating an intra-prediction block for the current block of video data;
generating a final prediction block for the current block of video data from the inter-prediction block and the intra-prediction block, wherein a combined inter/intra-prediction (CIIP) mode, overlaps while generating the final prediction block. generating the final prediction block, including performing each of block motion compensation (OBMC), and luma mapping with chroma scaling (LMCS); and
Decoding the current block of video data using the last prediction block. 제 1 항에 있어서,
비디오 데이터의 상기 현재의 블록에 대한 상기 최종 예측 블록을 생성하는 단계는,
OBMC 보상된 인터-예측 블록을 형성하기 위해 상기 인터-예측 블록에 대해 OBMC 를 수행하는 단계;
LMCS 맵핑된 인터-예측 블록을 형성하기 위해 상기 OBMC 보상된 인터-예측 블록에 대해 LMCS 를 수행하는 단계; 및
최종 예측 블록을 생성하기 위해 CIIP 모드를 사용하여 상기 LMCS 맵핑된 인터-예측 블록을 상기 인트라-예측 블록과 조합하는 단계를 포함하는, 비디오 데이터를 디코딩하는 방법.According to claim 1,
Generating the final prediction block for the current block of video data includes:
performing OBMC on the inter-prediction block to form an OBMC compensated inter-prediction block;
performing LMCS on the OBMC compensated inter-prediction block to form an LMCS mapped inter-prediction block; and
Combining the LMCS mapped inter-prediction block with the intra-prediction block using CIIP mode to produce a final prediction block. 제 1 항에 있어서,
상기 인터-예측 블록은 비디오 데이터의 상기 현재의 블록의 제 1 인터-예측 서브-블록을 포함하고,
상기 방법은 상기 현재의 블록에 대한 제 2 인터-예측 서브-블록을 생성하는 단계를 추가로 포함하고,
비디오 데이터의 상기 현재의 블록에 대한 상기 최종 예측 블록을 생성하는 단계는,
LMCS 맵핑된 제 1 인터-예측 서브-블록을 형성하기 위해 상기 제 1 인터-예측 서브-블록에 대해 LMCS 를 수행하는 단계;
상기 현재 블록에 대한 제 1 CIIP 예측 서브-블록을 생성하기 위해 CIIP 모드를 사용하여 상기 LMCS 맵핑된 제 1 인터-예측 서브-블록을 상기 인트라-예측 블록과 조합하는 단계; 및
상기 최종 예측 블록을 생성하기 위해 상기 제 1 CIIP 예측 서브-블록과 상기 제 2 인터-예측 서브-블록 사이에서 OBMC 블렌딩을 수행하는 단계를 포함하는, 비디오 데이터를 디코딩하는 방법.According to claim 1,
The inter-prediction block includes a first inter-prediction sub-block of the current block of video data,
The method further includes generating a second inter-prediction sub-block for the current block,
Generating the final prediction block for the current block of video data includes:
performing LMCS on the first inter-prediction sub-block to form an LMCS mapped first inter-prediction sub-block;
combining the LMCS mapped first inter-prediction sub-block with the intra-prediction block using CIIP mode to generate a first CIIP prediction sub-block for the current block; and
Performing OBMC blending between the first CIIP prediction sub-block and the second inter-prediction sub-block to generate the final prediction block. 제 3 항에 있어서,
상기 OBMC 블렌딩을 수행하기 전에 상기 제 2 인터-예측 서브-블록에 대해 LMCS 를 수행하는 단계를 추가로 포함하는, 비디오 데이터를 디코딩하는 방법.According to claim 3,
The method of decoding video data further comprising performing LMCS on the second inter-prediction sub-block before performing the OBMC blending. 제 1 항에 있어서,
상기 인터-예측 블록은 비디오 데이터의 상기 현재의 블록의 제 1 인터-예측 서브-블록을 포함하고, 상기 방법은,
상기 현재 블록에 대한 제 2 인터-예측 서브-블록을 생성하는 단계; 및
LMCS 맵핑된 제 2 인터-예측 서브-블록을 형성하기 위해 상기 제 2 인터-예측 서브-블록에 대해 LMCS 를 수행하는 단계를 추가로 포함하고;
비디오 데이터의 상기 현재의 블록에 대한 상기 최종 예측 블록을 생성하는 단계는,
LMCS 맵핑된 제 1 인터-예측 서브-블록을 형성하기 위해 상기 제 1 인터-예측 서브-블록에 대해 LMCS 를 수행하는 단계;
상기 현재 블록에 대한 제 1 CIIP 예측 서브-블록을 생성하기 위해 CIIP 모드를 사용하여 상기 LMCS 맵핑된 제 1 인터-예측 서브-블록을 상기 인트라-예측 블록과 조합하는 단계; 및
상기 최종 예측 블록을 생성하기 위해 상기 제 1 CIIP 예측 서브-블록과 상기 LMCS 맵핑된 제 2 인터-예측 서브-블록 사이에서 OBMC 블렌딩을 수행하는 단계를 포함하는, 비디오 데이터를 디코딩하는 방법.According to claim 1,
The inter-prediction block includes a first inter-prediction sub-block of the current block of video data, the method comprising:
generating a second inter-prediction sub-block for the current block; and
further comprising performing LMCS on the second inter-prediction sub-block to form an LMCS mapped second inter-prediction sub-block;
Generating the final prediction block for the current block of video data includes:
performing LMCS on the first inter-prediction sub-block to form an LMCS mapped first inter-prediction sub-block;
combining the LMCS mapped first inter-prediction sub-block with the intra-prediction block using CIIP mode to generate a first CIIP prediction sub-block for the current block; and
Performing OBMC blending between the first CIIP prediction sub-block and the LMCS mapped second inter-prediction sub-block to generate the final prediction block. 제 1 항에 있어서,
상기 현재 블록이 OBMC 를 사용하여 예측될 것임을 표시하는 상기 현재 블록에 대한 OBMC 신택스 엘리먼트를 코딩하는 단계;
상기 현재 블록이 CIIP 를 사용하여 예측될 것임을 표시하는 상기 현재 블록에 대한 CIIP 신택스 엘리먼트를 코딩하는 단계; 및
상기 현재 블록이 LMCS 를 사용하여 예측될 것임을 표시하는 상기 현재 블록에 대한 LMCS 신택스 엘리먼트를 코딩하는 단계를 추가로 포함하는, 비디오 데이터를 디코딩하는 방법.According to claim 1,
coding an OBMC syntax element for the current block indicating that the current block will be predicted using OBMC;
coding a CIIP syntax element for the current block indicating that the current block will be predicted using CIIP; and
The method of decoding video data further comprising coding an LMCS syntax element for the current block indicating that the current block will be predicted using LMCS. 제 6 항에 있어서,
상기 CIIP 신택스 엘리먼트를 코딩하는 단계는, 상기 OBMC 신택스 엘리먼트를 코딩한 후에 상기 CIIP 신택스 엘리먼트를 코딩하는 단계를 포함하는, 비디오 데이터를 디코딩하는 방법.According to claim 6,
Wherein coding the CIIP syntax element includes coding the CIIP syntax element after coding the OBMC syntax element. 제 1 항에 있어서,
상기 현재 블록을 디코딩하기 전에 상기 현재 블록을 인코딩하는 단계를 추가로 포함하는, 비디오 데이터를 디코딩하는 방법.According to claim 1,
The method of decoding video data, further comprising encoding the current block before decoding the current block. 비디오 데이터를 디코딩하기 위한 디바이스로서,
비디오 데이터를 저장하도록 구성된 메모리; 및
회로부에서 구현되는 하나 이상의 프로세서들을 포함하고,
상기 하나 이상의 프로세서들은:
상기 비디오 데이터의 현재 블록에 대한 인터-예측 블록을 생성하는 것;
상기 비디오 데이터의 상기 현재 블록에 대한 인트라-예측 블록을 생성하는 것;
상기 인터-예측 블록 및 상기 인트라-예측 블록으로부터 상기 비디오 데이터의 상기 현재 블록에 대한 최종 예측 블록을 생성하는 것으로서, 상기 최종 예측 블록을 생성하는 동안 조합된 인터/인트라-예측 (CIIP) 모드, 중첩된 블록 모션 보상 (OBMC), 및 크로마 스케일링을 이용한 루마 맵핑 (LMCS) 의 각각을 수행하는 것을 포함하는, 상기 최종 예측 블록을 생성하는 것; 및
상기 최종 예측 블록을 사용하여 상기 비디오 데이터의 상기 현재 블록을 디코딩하는 것을 행하도록 구성되는, 비디오 데이터를 디코딩하기 위한 디바이스.A device for decoding video data, comprising:
A memory configured to store video data; and
Includes one or more processors implemented in a circuit unit,
The one or more processors:
generating an inter-prediction block for the current block of video data;
generating an intra-prediction block for the current block of video data;
Generating a final prediction block for the current block of video data from the inter-prediction block and the intra-prediction block, wherein a combined inter/intra-prediction (CIIP) mode, overlaps while generating the final prediction block. generating the final prediction block, including performing each of block motion compensation (OBMC), and luma mapping with chroma scaling (LMCS); and
A device for decoding video data, configured to decode the current block of video data using the last prediction block. 제 9 항에 있어서,
비디오 데이터의 상기 현재의 블록에 대한 상기 최종 예측 블록을 생성하기 위해, 상기 하나 이상의 프로세서들은,
OBMC 보상된 인터-예측 블록을 형성하기 위해 상기 인터-예측 블록에 대해 OBMC 를 수행하는 것;
LMCS 맵핑된 인터-예측 블록을 형성하기 위해 상기 OBMC 보상된 인터-예측 블록에 대해 LMCS 를 수행하는 것; 및
상기 최종 예측 블록을 생성하기 위해 CIIP 모드를 사용하여 상기 LMCS 맵핑된 인터-예측 블록을 상기 인트라-예측 블록과 조합하는 것을 행하도록 구성되는, 비디오 데이터를 디코딩하기 위한 디바이스.According to clause 9,
To generate the final prediction block for the current block of video data, the one or more processors:
performing OBMC on the inter-prediction block to form an OBMC compensated inter-prediction block;
performing LMCS on the OBMC compensated inter-prediction block to form an LMCS mapped inter-prediction block; and
A device for decoding video data, configured to combine the LMCS mapped inter-prediction block with the intra-prediction block using CIIP mode to generate the final prediction block. 제 9 항에 있어서,
상기 인터-예측 블록은 비디오 데이터의 상기 현재의 블록의 제 1 인터-예측 서브-블록을 포함하고,
상기 하나 이상의 프로세서들은 상기 현재의 블록에 대한 제 2 인터-예측 서브-블록을 생성하도록 추가로 구성되고,
상기 비디오 데이터의 상기 현재의 블록에 대한 상기 최종 예측 블록을 생성하기 위해, 상기 하나 이상의 프로세서들은,
LMCS 맵핑된 제 1 인터-예측 서브-블록을 형성하기 위해 상기 제 1 인터-예측 서브-블록에 대해 LMCS 를 수행하는 것;
상기 현재 블록에 대한 제 1 CIIP 예측 서브-블록을 생성하기 위해 CIIP 모드를 사용하여 상기 LMCS 맵핑된 제 1 인터-예측 서브-블록을 상기 인트라-예측 블록과 조합하는 것; 및
상기 최종 예측 블록을 생성하기 위해 상기 제 1 CIIP 예측 서브-블록과 상기 제 2 인터-예측 서브-블록 사이에서 OBMC 블렌딩을 수행하는 것을 행하도록 구성되는, 비디오 데이터를 디코딩하기 위한 디바이스.According to clause 9,
The inter-prediction block includes a first inter-prediction sub-block of the current block of video data,
the one or more processors are further configured to generate a second inter-prediction sub-block for the current block,
To generate the final prediction block for the current block of video data, the one or more processors:
performing LMCS on the first inter-prediction sub-block to form an LMCS mapped first inter-prediction sub-block;
combining the LMCS mapped first inter-prediction sub-block with the intra-prediction block using CIIP mode to generate a first CIIP prediction sub-block for the current block; and
A device for decoding video data, configured to perform OBMC blending between the first CIIP prediction sub-block and the second inter-prediction sub-block to generate the final prediction block. 제 11 항에 있어서,
상기 하나 이상의 프로세서들은 상기 OBMC 블렌딩을 수행하기 전에 상기 제 2 인터-예측 서브-블록에 대해 LMCS 를 수행하도록 추가로 구성되는, 비디오 데이터를 디코딩하기 위한 디바이스.According to claim 11,
The one or more processors are further configured to perform LMCS on the second inter-prediction sub-block before performing the OBMC blending. 제 9 항에 있어서,
상기 인터-예측 블록은 비디오 데이터의 상기 현재의 블록의 제 1 인터-예측 서브-블록을 포함하고,
상기 하나 이상의 프로세서들은,
상기 현재 블록에 대한 제 2 인터-예측 서브-블록을 생성하는 것; 및
LMCS 맵핑된 제 2 인터-예측 서브-블록을 형성하기 위해 상기 제 2 인터-예측 서브-블록에 대해 LMCS 를 수행하는 것을 행하도록 추가로 구성되고;
상기 비디오 데이터의 상기 현재의 블록에 대한 상기 최종 예측 블록을 생성하기 위해, 상기 하나 이상의 프로세서들은,
LMCS 맵핑된 제 1 인터-예측 서브-블록을 형성하기 위해 상기 제 1 인터-예측 서브-블록에 대해 LMCS 를 수행하는 것;
상기 현재 블록에 대한 제 1 CIIP 예측 서브-블록을 생성하기 위해 CIIP 모드를 사용하여 상기 LMCS 맵핑된 제 1 인터-예측 서브-블록을 상기 인트라-예측 블록과 조합하는 것; 및
상기 최종 예측 블록을 생성하기 위해 상기 제 1 CIIP 예측 서브-블록과 상기 LMCS 맵핑된 제 2 인터-예측 서브-블록 사이에서 OBMC 블렌딩을 수행하는 것을 행하도록 구성되는, 비디오 데이터를 디코딩하기 위한 디바이스.According to clause 9,
The inter-prediction block includes a first inter-prediction sub-block of the current block of video data,
The one or more processors:
generating a second inter-prediction sub-block for the current block; and
further configured to perform LMCS on the second inter-prediction sub-block to form an LMCS mapped second inter-prediction sub-block;
To generate the final prediction block for the current block of video data, the one or more processors:
performing LMCS on the first inter-prediction sub-block to form an LMCS mapped first inter-prediction sub-block;
combining the LMCS mapped first inter-prediction sub-block with the intra-prediction block using CIIP mode to generate a first CIIP prediction sub-block for the current block; and
performing OBMC blending between the first CIIP prediction sub-block and the LMCS mapped second inter-prediction sub-block to generate the final prediction block. 제 9 항에 있어서,
상기 하나 이상의 프로세서들은,
상기 현재 블록이 OBMC 를 사용하여 예측될 것임을 표시하는 상기 현재 블록에 대한 OBMC 신택스 엘리먼트를 코딩하는 것;
상기 현재 블록이 CIIP 를 사용하여 예측될 것임을 표시하는 상기 현재 블록에 대한 CIIP 신택스 엘리먼트를 코딩하는 것; 및
상기 현재 블록이 LMCS 를 사용하여 예측될 것임을 표시하는 상기 현재 블록에 대한 LMCS 신택스 엘리먼트를 코딩하는 것을 추가로 행하도록 구성되는, 비디오 데이터를 디코딩하기 위한 디바이스.According to clause 9,
The one or more processors:
coding an OBMC syntax element for the current block indicating that the current block will be predicted using OBMC;
coding a CIIP syntax element for the current block indicating that the current block will be predicted using CIIP; and
The device for decoding video data, further configured to code an LMCS syntax element for the current block indicating that the current block will be predicted using LMCS. 제 14 항에 있어서,
상기 하나 이상의 프로세서들은 상기 OBMC 신택스 엘리먼트를 코딩한 후에 상기 CIIP 신택스 엘리먼트를 코딩하도록 구성되는, 비디오 데이터를 디코딩하기 위한 디바이스.According to claim 14,
The one or more processors are configured to code the CIIP syntax element after coding the OBMC syntax element. 제 9 항에 있어서,
상기 하나 이상의 프로세서들은 상기 현재 블록을 디코딩하기 전에 상기 현재 블록을 인코딩하도록 추가로 구성되는, 비디오 데이터를 디코딩하기 위한 디바이스.According to clause 9,
The device for decoding video data, wherein the one or more processors are further configured to encode the current block before decoding the current block. 제 9 항에 있어서,
디코딩된 상기 비디오 데이터를 디스플레이하도록 구성된 디스플레이를 추가로 포함하는, 비디오 데이터를 디코딩하기 위한 디바이스.According to clause 9,
A device for decoding video data, further comprising a display configured to display the decoded video data. 제 9 항에 있어서,
상기 디바이스는 카메라, 컴퓨터, 모바일 디바이스, 브로드캐스트 수신기 디바이스, 또는 셋-톱 박스 중 하나 이상을 포함하는, 비디오 데이터를 디코딩하기 위한 디바이스.According to clause 9,
A device for decoding video data, wherein the device includes one or more of a camera, computer, mobile device, broadcast receiver device, or set-top box. 명령들이 저장된 컴퓨터 판독가능 저장 매체로서,
상기 명령들은, 실행될 때, 비디오 데이터를 디코딩하기 위한 디바이스의 프로세서로 하여금:
비디오 데이터의 현재 블록에 대한 인터-예측 블록을 생성하는 것;
비디오 데이터의 상기 현재 블록에 대한 인트라-예측 블록을 생성하는 것;
상기 인터-예측 블록 및 상기 인트라-예측 블록으로부터 비디오 데이터의 상기 현재 블록에 대한 최종 예측 블록을 생성하는 것으로서, 상기 최종 예측 블록을 생성하는 동안 조합된 인터/인트라-예측 (CIIP) 모드, 중첩된 블록 모션 보상 (OBMC), 및 크로마 스케일링을 이용한 루마 맵핑 (LMCS) 의 각각을 수행하는 것을 포함하는, 상기 최종 예측 블록을 생성하는 것; 및
상기 최종 예측 블록을 사용하여 비디오 데이터의 상기 현재 블록을 디코딩하는 것을 행하게 하는, 컴퓨터 판독가능 저장 매체.A computer-readable storage medium storing instructions, comprising:
The instructions, when executed, cause the device's processor to decode video data:
generating an inter-prediction block for the current block of video data;
generating an intra-prediction block for the current block of video data;
generating a final prediction block for the current block of video data from the inter-prediction block and the intra-prediction block, wherein a combined inter/intra-prediction (CIIP) mode, overlapped generating the final prediction block, including performing each of block motion compensation (OBMC), and luma mapping with chroma scaling (LMCS); and
and decoding the current block of video data using the last prediction block. 제 19 항에 있어서,
상기 프로세서로 하여금, 비디오 데이터의 상기 현재의 블록에 대한 상기 최종 예측 블록을 생성하게 하는 명령들은, 상기 프로세서로 하여금,
OBMC 보상된 인터-예측 블록을 형성하기 위해 상기 인터-예측 블록에 대해 OBMC 를 수행하는 것;
LMCS 맵핑된 인터-예측 블록을 형성하기 위해 상기 OBMC 보상된 인터-예측 블록에 대해 LMCS 를 수행하는 것; 및
최종 예측 블록을 생성하기 위해 CIIP 모드를 사용하여 상기 LMCS 맵핑된 인터-예측 블록을 상기 인트라-예측 블록과 조합하는 것을 행하게 하는 명령들을 포함하는, 컴퓨터 판독가능 저장 매체.According to claim 19,
Instructions that cause the processor to generate the final prediction block for the current block of video data cause the processor to:
performing OBMC on the inter-prediction block to form an OBMC compensated inter-prediction block;
performing LMCS on the OBMC compensated inter-prediction block to form an LMCS mapped inter-prediction block; and
A computer-readable storage medium comprising instructions that cause combining the LMCS mapped inter-prediction block with the intra-prediction block using CIIP mode to produce a final prediction block. 제 19 항에 있어서,
상기 인터-예측 블록은 비디오 데이터의 상기 현재의 블록의 제 1 인터-예측 서브-블록을 포함하고,
상기 컴퓨터 판독가능 저장 매체는 상기 프로세서로 하여금, 상기 현재의 블록에 대한 제 2 인터-예측 서브-블록을 생성하게 하는 명령들을 추가로 포함하고,
상기 프로세서로 하여금, 비디오 데이터의 상기 현재의 블록에 대한 상기 최종 예측 블록을 생성하게 하는 상기 명령들은, 상기 프로세서로 하여금,
LMCS 맵핑된 제 1 인터-예측 서브-블록을 형성하기 위해 상기 제 1 인터-예측 서브-블록에 대해 LMCS 를 수행하는 것;
상기 현재 블록에 대한 제 1 CIIP 예측 서브-블록을 생성하기 위해 CIIP 모드를 사용하여 상기 LMCS 맵핑된 제 1 인터-예측 서브-블록을 상기 인트라-예측 블록과 조합하는 것; 및
상기 최종 예측 블록을 생성하기 위해 상기 제 1 CIIP 예측 서브-블록과 상기 제 2 인터-예측 서브-블록 사이에서 OBMC 블렌딩을 수행하는 것을 행하게 하는 명령들을 포함하는, 컴퓨터 판독가능 저장 매체.According to claim 19,
The inter-prediction block includes a first inter-prediction sub-block of the current block of video data,
The computer-readable storage medium further includes instructions that cause the processor to generate a second inter-prediction sub-block for the current block,
The instructions that cause the processor to generate the final prediction block for the current block of video data cause the processor to:
performing LMCS on the first inter-prediction sub-block to form an LMCS mapped first inter-prediction sub-block;
combining the LMCS mapped first inter-prediction sub-block with the intra-prediction block using CIIP mode to generate a first CIIP prediction sub-block for the current block; and
and performing OBMC blending between the first CIIP prediction sub-block and the second inter-prediction sub-block to produce the final prediction block. 제 21 항에 있어서,
상기 프로세서로 하여금, 상기 OBMC 블렌딩을 수행하기 전에 상기 제 2 인터-예측 서브-블록에 대해 LMCS 를 수행하게 하는 명령들을 추가로 포함하는, 컴퓨터 판독가능 저장 매체.According to claim 21,
The computer-readable storage medium further comprising instructions that cause the processor to perform LMCS on the second inter-prediction sub-block before performing the OBMC blending. 제 19 항에 있어서,
상기 인터-예측 블록은 비디오 데이터의 상기 현재의 블록의 제 1 인터-예측 서브-블록을 포함하고,
상기 컴퓨터 판독가능 저장 매체는 상기 프로세서로 하여금:
상기 현재 블록에 대한 제 2 인터-예측 서브-블록을 생성하는 것; 및
LMCS 맵핑된 제 2 인터-예측 서브-블록을 형성하기 위해 상기 제 2 인터-예측 서브-블록에 대해 LMCS 를 수행하는 것을 행하게 하는 명령들을 추가로 포함하고;
상기 프로세서로 하여금, 비디오 데이터의 상기 현재의 블록에 대한 상기 최종 예측 블록을 생성하게 하는 명령들은, 상기 프로세서로 하여금,
LMCS 맵핑된 제 1 인터-예측 서브-블록을 형성하기 위해 상기 제 1 인터-예측 서브-블록에 대해 LMCS 를 수행하는 것;
상기 현재 블록에 대한 제 1 CIIP 예측 서브-블록을 생성하기 위해 CIIP 모드를 사용하여 상기 LMCS 맵핑된 제 1 인터-예측 서브-블록을 상기 인트라-예측 블록과 조합하는 것; 및
상기 최종 예측 블록을 생성하기 위해 상기 제 1 CIIP 예측 서브-블록과 상기 LMCS 맵핑된 제 2 인터-예측 서브-블록 사이에서 OBMC 블렌딩을 수행하는 것을 행하게 하는 명령들을 포함하는, 컴퓨터 판독가능 저장 매체.According to claim 19,
The inter-prediction block includes a first inter-prediction sub-block of the current block of video data,
The computer-readable storage medium allows the processor to:
generating a second inter-prediction sub-block for the current block; and
further comprising instructions to cause LMCS to be performed on the second inter-prediction sub-block to form an LMCS mapped second inter-prediction sub-block;
Instructions that cause the processor to generate the final prediction block for the current block of video data cause the processor to:
performing LMCS on the first inter-prediction sub-block to form an LMCS mapped first inter-prediction sub-block;
combining the LMCS mapped first inter-prediction sub-block with the intra-prediction block using CIIP mode to generate a first CIIP prediction sub-block for the current block; and
and performing OBMC blending between the first CIIP prediction sub-block and the LMCS mapped second inter-prediction sub-block to produce the final prediction block. 제 19 항에 있어서,
상기 프로세서로 하여금,
상기 현재 블록이 OBMC 를 사용하여 예측될 것임을 표시하는 상기 현재 블록에 대한 OBMC 신택스 엘리먼트를 코딩하는 것;
상기 현재 블록이 CIIP 를 사용하여 예측될 것임을 표시하는 상기 현재 블록에 대한 CIIP 신택스 엘리먼트를 코딩하는 것; 및
상기 현재 블록이 LMCS 를 사용하여 예측될 것임을 표시하는 상기 현재 블록에 대한 LMCS 신택스 엘리먼트를 코딩하는 것을 행하게 하는 명령들을 추가로 포함하는, 컴퓨터 판독가능 저장 매체.According to claim 19,
causing the processor to:
coding an OBMC syntax element for the current block indicating that the current block will be predicted using OBMC;
coding a CIIP syntax element for the current block indicating that the current block will be predicted using CIIP; and
The computer-readable storage medium further comprising instructions that cause coding an LMCS syntax element for the current block indicating that the current block will be predicted using LMCS. 제 24 항에 있어서,
상기 프로세서로 하여금, 상기 CIIP 신택스 엘리먼트를 코딩하게 하는 명령들은, 상기 프로세서로 하여금, 상기 OBMC 신택스 엘리먼트를 코딩한 후에 상기 CIIP 신택스 엘리먼트를 코딩하게 하는 명령들을 포함하는, 컴퓨터 판독가능 저장 매체.According to claim 24,
The instructions that cause the processor to code the CIIP syntax element include instructions that cause the processor to code the CIIP syntax element after coding the OBMC syntax element. 제 19 항에 있어서,
상기 프로세서로 하여금, 상기 현재 블록들을 디코딩하기 전에 상기 현재 블록들을 인코딩하게 하는 명령들을 추가로 포함하는, 컴퓨터 판독가능 저장 매체. According to claim 19,
The computer-readable storage medium further comprising instructions that cause the processor to encode the current blocks before decoding the current blocks. 비디오 데이터를 디코딩하기 위한 디바이스로서,
비디오 데이터의 현재 블록에 대한 인터-예측 블록을 형성하기 위한 수단;
비디오 데이터의 상기 현재 블록에 대한 인트라-예측 블록을 생성하기 위한 수단;
상기 인터-예측 블록 및 상기 인트라-예측 블록으로부터 비디오 데이터의 상기 현재 블록에 대한 최종 예측 블록을 생성하는 수단으로서, 상기 최종 예측 블록을 생성하는 동안 조합된 인터/인트라 예측 (CIIP) 모드, 중첩된 블록 모션 보상 (OBMC), 및 크로마 스케일링을 이용한 루마 맵핑 (LMCS) 의 각각을 수행하는 것을 포함하는, 상기 최종 예측 블록을 생성하기 위한 수단; 및
상기 최종 예측 블록을 사용하여 비디오 데이터의 상기 현재 블록을 디코딩하기 위한 수단을 포함하는, 비디오 데이터를 디코딩하기 위한 디바이스.A device for decoding video data, comprising:
means for forming an inter-prediction block for a current block of video data;
means for generating an intra-prediction block for the current block of video data;
Means for generating a final prediction block for the current block of video data from the inter-prediction block and the intra-prediction block, wherein while generating the final prediction block, a combined inter/intra prediction (CIIP) mode, overlapped means for generating the final prediction block, comprising performing each of block motion compensation (OBMC) and luma mapping with chroma scaling (LMCS); and
A device for decoding video data, comprising means for decoding the current block of video data using the last prediction block. 제 27 항에 있어서,
상기 인터-예측 블록은 비디오 데이터의 상기 현재의 블록의 제 1 인터-예측 서브-블록을 포함하고,
상기 디바이스는 상기 현재의 블록에 대한 제 2 인터-예측 서브-블록을 생성하기 위한 수단을 추가로 포함하고,
비디오 데이터의 상기 현재의 블록에 대한 상기 최종 예측 블록을 생성하기 위한 수단은,
LMCS 맵핑된 제 1 인터-예측 서브-블록을 형성하기 위해 상기 제 1 인터-예측 서브-블록에 대해 LMCS 를 수행하기 위한 수단;
상기 현재 블록에 대한 제 1 CIIP 예측 서브-블록을 생성하기 위해 CIIP 모드를 사용하여 상기 LMCS 맵핑된 제 1 인터-예측 서브-블록을 상기 인트라-예측 블록과 조합하기 위한 수단; 및
상기 최종 예측 블록을 생성하기 위해 상기 제 1 CIIP 예측 서브-블록과 상기 제 2 인터-예측 서브-블록 사이에서 OBMC 블렌딩을 수행하기 위한 수단을 포함하는, 비디오 데이터를 디코딩하기 위한 디바이스.According to clause 27,
The inter-prediction block includes a first inter-prediction sub-block of the current block of video data,
the device further comprises means for generating a second inter-prediction sub-block for the current block,
Means for generating the final prediction block for the current block of video data comprises:
means for performing LMCS on the first inter-prediction sub-block to form an LMCS mapped first inter-prediction sub-block;
means for combining the LMCS mapped first inter-prediction sub-block with the intra-prediction block using CIIP mode to generate a first CIIP prediction sub-block for the current block; and
A device for decoding video data, comprising means for performing OBMC blending between the first CIIP prediction sub-block and the second inter-prediction sub-block to produce the final prediction block.

Images