KR102481051B1 - 비디오 코딩에서의 제한된 선형 모델 파라미터 도출을 위한 방법 및 장치 - Google Patents

비디오 코딩에서의 제한된 선형 모델 파라미터 도출을 위한 방법 및 장치 Download PDF

Info

Publication number
KR102481051B1
KR102481051B1 KR1020207033849A KR20207033849A KR102481051B1 KR 102481051 B1 KR102481051 B1 KR 102481051B1 KR 1020207033849 A KR1020207033849 A KR 1020207033849A KR 20207033849 A KR20207033849 A KR 20207033849A KR 102481051 B1 KR102481051 B1 KR 102481051B1
Authority
KR
South Korea
Prior art keywords
current block
area
current
pixels
boundary
Prior art date
Application number
KR1020207033849A
Other languages
English (en)
Other versions
KR20210016355A (ko
Inventor
치아-밍 차이
치흐-웨이 수
칭-예 첸
츠-더 추앙
유-웬 후앙
Original Assignee
에이치에프아이 이노베이션 인크.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 에이치에프아이 이노베이션 인크. filed Critical 에이치에프아이 이노베이션 인크.
Publication of KR20210016355A publication Critical patent/KR20210016355A/ko
Application granted granted Critical
Publication of KR102481051B1 publication Critical patent/KR102481051B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

교차 색상 LM(Linear Mode) 인트라 예측을 위한 방법들 및 장치가 개시된다. 일 방법에 따르면, 현재 블록의 현재 최상부 영역 또는 현재 좌부 영역이 제한된 경계를 건너서 있을 때, 감소된 이웃하는 재구성된 영역들에 기반하여 현재 LM 파라미터 세트가 도출된다. 감소된 이웃하는 재구성된 영역들은, 현재 최상부 영역 또는 형재 좌부 영역이 제한된 경계를 건너서 있으면 N개보다 적은 최상부 라인들 또는 N개보다 적은 좌부 라인들을 갖는 감소된 최상부 영역을 포함한다. 다른 방법에 따르면, 현재 최상부 영역이 제한된 경계를 건너서 있으면, 확장된 좌부 영역이 LM 파라미터 세트를 도출하기 위해 사용되고, 현재 좌부 영역이 제한된 경계를 건너서 있으면, 확장된 최상부 영역이 LM 파라미터 세트를 도출하기 위해 사용된다. 다중 LM 모드에 대한 방법이 제한된 경계들에 대해 또한 개시된다.

Description

비디오 코딩에서의 제한된 선형 모델 파라미터 도출을 위한 방법 및 장치
본 발명은 2018년 4월 24일에 출원된 미국 특허 가출원 제 62/661,661호 및 2018년 7월 17일에 출원된 미국 특허 가출원 제 62/699,015호를 우선권으로 주장한다. 미국 특허 가출원들은 그 전체가 참조로서 본원에 포함된다.
본 발명은 비디오 코딩에 관한 것이다. 특히, 본 발명은 제한된 데이터를 갖는 선형 모드를 사용하는 인트라 예측(Intra prediction)과 연관된 코딩 기술들에 관한 것이다.
모션 보상되는 프레임간 코딩(motion compensated inter-frame coding)이 MPEG-1/2/4 및 H.261/H.263/H.264/AVC와 같은 다양한 코딩 표준들에서 널리 채택되어 왔다. 모션 보상되는 프레임간 코딩이 압축된 비디오에 대한 비트레이트를 효율적으로 감소시킬 수 있는 반면, 모션 또는 장면(scene) 변화가 많은 영역들을 압축하기 위해 인트라 코딩이 필요된다. 게다가, 인트라 코딩은 또한, 초기 픽처를 프로세싱하거나 또는 랜덤 액세스를 위해 또는 오차 전파(error propagation)의 완화(alleviation)를 위해 I-픽처들 또는 I-블록들을 주기적으로 삽입하기 위해 사용된다. 인트라 예측은 픽처 내의 또는 픽처 영역 내의 공간 상관관계(spatial correlation)를 활용한다. 실제로, 픽처 또는 픽처 영역은 블록들로 분할되고 인트라 예측은 블록 기반으로 수행된다. 현재 블록에 대한 인트라 예측은 프로세싱된 이웃하는 블록들 내의 픽셀들에 의존할 수 있다. 예를 들어, 픽처 또는 픽처 영역 내의 블록들이 좌부(left)에서 우부(right)로 이어서 최상부(top)에서 하부(bottom)로 행 단위로 프로세싱되면, 현재 블록의 최상부의 이웃하는 블록들 및 좌부의 이웃하는 블록들이 현재 블록 내의 픽셀들에 대한 인트라 예측을 형성하기 위해 사용될 수 있다. 프로세싱된 이웃하는 블록들 내의 임의의 픽셀들이 현재 블록 내의 픽셀들의 인트라 예측자(Intra predictor)를 위해 사용될 수 있는 반면, 최상부의 그리고 좌부의 현재 블록 경계들에 인접한 이웃하는 블록들의 픽셀들만이 매우 자주 사용된다.
인트라 예측자는 보통, 부드러운 영역(smooth area)(DC 모드), 수직 선 또는 가장자리(edge), 수평 선 또는 가장자리 및 대각 선 또는 가장자리와 같은 픽처 내의 공간 피처(spatial feature)들을 활용하도록 설계된다. 또한, 루미넌스(luminance)[루마(luma)] 성분(component)과 크로미넌스(chrominance)[크로마(chroma)] 성분 사이에 공간 상관관계가 종종 존재한다. 따라서, 재구성된 루마 픽셀들이 인트라 크로마 예측을 도출하기 위해 사용될 수 있다. 신흥 고효율 비디오 코딩(High Efficiency Video Coding; HEVC)에서, 재구성된 루미넌스 신호에 기반한 크로마 인트라 예측 모드가 고려되어 왔다. 이 유형의 크로마 인트라 예측은 선형 모델(Linear Model; LM) 예측으로 칭해진다. 도 1은 LM 모드에 대한 인트라 예측 도출을 예시한다. 먼저, 도 1 내의 수집된 루마 블록(즉, Y 블록)의 (원들에 의해 표시된) 이웃하는 재구성된 픽셀들 및 크로마 블록(즉, U 또는 V 블록)의 (원들에 의해 표시된) 이웃하는 재구성된 픽셀들이 블록들 간의 선형 모델 파라미터들을 도출하기 위해 사용된다. 루마 블록의 재구성된 픽셀들 및 파라미터들을 사용하여 크로마 블록의 예측된 픽셀들이 생성된다. 파라미터 도출에서, 현재 루마 블록의 최상부 블록 경계에 인접한 최상부의 재구성된 픽셀 행 및 현재 루마 블록의 좌부 블록 경계에 인접한 좌부의 재구성된 픽셀 열이 사용된다. 크로마 픽셀들의 샘플링 위치들을 매칭시키기 위해, 좌부 경계에 바로 인접한 좌부 열 대신에 좌부 경계로부터 두번째 좌부의 재구성된 픽셀 열이 사용된다는 점에 유념해야 한다. 크로마 성분들의 4:2:0 샘플링 포맷을 매칭시키기 위해 루마 블록의 특정 행 및 열이 사용된다. 도 1이 4:2:0 샘플링 포맷에 대한 LM 크로마 모드의 예를 예시하는 반면, 다른 크로마 샘플링 포맷에 대한 LM 크로마가 또한 유사하게 도출될 수 있다.
LM 예측 모드에 따라, 수집된 블록의 재구성된 루마값들로부터 크로마값들이 예측된다. 크로마 성분들은 루마 성분보다 낮은 공간 해상도(spatial resolution)를 가질 수 있다. 크로마 인트라 예측을 위한 루마 신호를 사용하기 위해, 루마 신호의 해상도는 크로마 성분들의 해상도와 매칭되도록 감소되어야 할 수 있다. 예를 들어, 4:2:0 샘플링 포맷에 대해, U 및 V 성분들은 루마 성분으로서 수직 및 수평 방향들의 샘플들의 수의 절반만 갖는다. 따라서, 수직 및 수평 방향들의 2:1 해상도 감소가 재구성된 루마 샘플들에 적용되어야 한다. 해상도 감소는 다운-샘플링 프로세스(down-sampling process) 또는 서브-샘플링 프로세스(sub-sampling process)에 의해 달성될 수 있다.
LM 크로마 모드에서, 자신의 수집된 재구성된 루마 샘플(V col )을 갖는 예측될 크로마 샘플(V)에 대해, LM 예측자(P)를 생성하기 위한 선형 모델이 다음과 같이 공식화된다:
Figure 112020134662884-pct00001
위의 식에서, a 및 b는 LM 파라미터들로 지칭된다. LM 파라미터들은, 파라미터들이 비트스트림으로 코딩될 필요가 없도록 현재 블록 주위의 이웃하는 재구성된 루마 및 크로마 샘플들로부터 도출될 수 있다. LM 파라미터들을 도출한 후, 선형 모델에 따라 현재 블록 내의 수집된 재구성된 루마 샘플들로부터 크로마 예측자가 생성될 수 있다. 예를 들어, 비디오 포맷이 YUV420이면, 도 1에 도시된 바와 같이 각각의 8x8 코딩 유닛에 대해 1개의 8x8 루마 블록 및 2개의 4x4 크로마 블록들이 있다.도 1에서, 각각의 작은 정사각형은 코딩될 현재 코딩 유닛(루마에 대해 2Nx2N 및 크로마에 대해 NxN) 내의 하나의 픽셀에 대응한다. 도 1에서 원들로 나타내어진, 현재 코딩 유닛의 이웃하는 재구성된 샘플들에 기반하여 LM 파라미터들이 먼저 도출된다. YUV420 샘플링 포맷으로 인해, 수집된 크로마 포지션은 2개의 대응하는 수직 루마 샘플들 사이에 위치된다. 2개의 대응하는 수직 루마 샘플들 사이의 평균값이 LM 파라미터들을 도출하기 위해 사용된다. 최상부 블록 경계 위의 이웃하는 픽셀들에 대해, 평균값은 라인 버퍼 요건(line buffer requirement)을 감소시키기 위해 수직 방향으로 가장 가까운 샘플에 의해 대체된다. 현재 루마(Y) 및 크로마(U 또는 V) 코딩 유닛들의 (원들로 도시된) 이웃하는 픽셀들은 도 1에 도시된 바와 같이 각자의 크로마 성분에 대해 LM 파라미터들을 도출하기 위해 사용된다. LM 파라미터들이 도출된 후, 선형 모델 및 수집된 루마 재구성된 샘플들에 기반하여 크로마 예측자들이 생성된다. 비디오 포맷에 따라, 대응하는 루마 샘플 대신 평균 루마값이 사용될 있다.
성능을 더 향상시킬 수 있고/있거나 크로마 인트라 예측의 버퍼 요건을 감소시킬 수 있는 향상된 방법을 개발하는 것이 바람직하다.
(LM 모드 또는 LM 인트라 모드로 지칭되는) 선형 모델을 사용하는 다른 색상의 재구성된 픽셀들에 기반한 교차 색상 인트라 예측(cross-color Intra prediction)을 위한 방법들 및 장치가 개시된다. LM 코딩된 블록은, LM 코딩된 블록의 루마 픽셀들 및 크로마 픽셀들에 관한 선형 모델과 연관된 LM 코딩된 블록의 LM 파라미터 세트를 도출하기 위해 LM 코딩된 블록의 최상부 영역 및 좌부 영역을 포함하는 이웃하는 재구성된 영역들을 정상적으로 사용한다. LM 코딩된 블록의 최상부 영역은 최상부의 이웃하는 재구성된 루마 샘플들의 N개의 최상부 라인들을 포함하고, LM 코딩된 블록의 좌부 영역은 좌부의 이웃하는 재구성된 루마 샘플들의 N개의 좌부 라인들을 포함한다. N은 1보다 큰 값을 포함하는 범위로부터 선택되는 정수이다.일 방법에 따르면, 현재 블록의 현재 최상부 영역 또는 현재 좌부 영역이 제한된 경계를 건너서 있을 때, 감소된 이웃하는 재구성된 영역들 내의 루마 픽셀들 및 크로마 픽셀들에 기반하여 현재 블록에 대한 현재 LM 파라미터 세트가 도출된다. 현재 블록의 루마 픽셀들에 따라 현재 블록의 크로마 픽셀들에 대해 교차 색상 인트라 예측자가 생성되고, 교차 색상 인트라 예측자를 사용하여 현재 블록의 크로마 픽셀들 및 현재 LM 파라미터들이 인코딩되거나 디코딩된다. 감소된 이웃하는 재구성된 영역들은, 현재 최상부 영역이 제한된 경계를 건너서 있으면 최상부의 이웃하는 재구성된 루마 샘플들의 N개보다 적은 최상부 라인들을 갖는 감소된 최상부 영역을 포함하거나 또는 감소된 이웃하는 재구성된 영역들은, 현재 좌부 영역이 제한된 경계를 건너서 있으면 좌부의 이웃하는 재구성된 루마 샘플들의 N개보다 적은 좌부 라인들을 갖는 감소된 좌부 영역을 포함한다.
재구성된 경계는 CTU(coding tree unit) 경계, 슬라이스 경계, 타일 경계, 타일 그룹 경계, 또는 픽처 경계에 대응한다. 일례에서, N은 2와 동일하고, 감소된 최상부 영역은 현재 최상부 영역이 제한된 경계를 건너서 있으면 1개의 최상부 라인을 포함하거나 또는 감소된 좌부 영역은 현재 좌부 영역이 제한된 경계를 건너서 있으면 1개의 좌부 라인을 포함한다.
다른 경우에서, LM 코딩된 블록은, LM 코딩된 블록의 루마 픽셀들 및 크로마 픽셀들에 관한 선형 모델과 연관된 LM 코딩된 블록의 LM 파라미터 세트를 도출하기 위해 LM 코딩된 블록의 최상부 영역 및 좌부 영역을 포함하는 이웃하는 재구성된 영역들을 정상적으로 사용한다. 다른 방법에 따르면, 현재 블록의 현재 최상부 영역 또는 현재 좌부 영역이 제한된 경계를 건너서 있을 때, 수정(modify)된 이웃하는 재구성된 영역들 내의 루마 픽셀들 및 크로마 픽셀들에 기반하여 현재 블록에 대한 현재 LM 파라미터 세트가 도출된다. 현재 블록의 루마 픽셀들에 따라 현재 블록의 크로마 픽셀들에 대해 교차 색상 인트라 예측자가 생성되고, 교차 색상 인트라 예측자를 사용하여 현재 블록의 크로마 픽셀들 및 현재 LM 파라미터들이 인코딩되거나 디코딩된다. 수정된 이웃하는 재구성된 영역은, 현재 최상부 영역이 제한된 경계를 건너서 있으면 현재 블록의 좌부만의 이웃하는 재구성된 픽셀들 또는 현재 좌부 영역이 상기 제한된 경계를 건너서 있으면 현재 블록의 최상부만의 이웃하는 재구성된 픽셀들을 포함한다.
일 실시예에서, 현재 블록의 좌부만의 이웃하는 재구성된 픽셀들은 현재 블록의 좌부 영역보다 추가의 좌부 라인들을 갖는 확장된 좌부 영역(예를 들어, 도 4b의 440, 450 또는 460)에 대응하거나 또는 현재 블록의 최상부만의 이웃하는 재구성된 픽셀들은 현재 블록의 최상부 영역보다 추가의 최상부 라인들을 갖는 확장된 최상부 영역(예를 들어, 도 4a의 410, 420 또는 430)에 대응한다. 다른 실시예에서, 현재 블록의 좌부만의 이웃하는 재구성된 픽셀들은 현재 블록의 좌부 영역에 대응하거나 또는 현재 블록의 최상부만의 이웃하는 재구성된 픽셀들은 현재 블록의 최상부 영역에 대응한다. 또 다른 실시예에서, 현재 블록의 최상부 영역은 현재 블록의 상부 영역(above area)(예를 들어, 도 4a의 410), 상부와 우상부 영역(above-right area)(예를 들어, 도 4a의 420), 또는 우상부 영역(예를 들어, 도 4a의 430)에 대응하고, 현재 블록의 좌부 영역은, 현재 블록의 좌측에 인접한 영역(예를 들어, 도 4b의 440), 좌측에 인접한 영역과 좌하부 영역(left-bottom area)(예를 들어, 도 4b의 450), 또는 좌하부 영역(예를 들어, 도 4b의 460)에 대응한다.
또 다른 경우에서, 다중 LM 모드들을 사용하는 재구성된 픽셀들에 기반한 다중 LM 모드들을 갖는 교차 색상 인트라 예측이 사용된다. 다중 LM 모드들은, 다중 LM 모드들 코딩된 블록의 좌부만의 이웃하는 재구성된 픽셀들을 사용하는 좌부만의 모드, 다중 LM 모드들 코딩된 블록의 최상부만의 이웃하는 재구성된 픽셀들을 사용하는 최상부만의 모드, 다중 LM 모드들 코딩된 블록의 좌부의 이웃하는 재구성된 픽셀들 및 최상부의 이웃하는 재구성된 픽셀들 둘 다를 사용하는 좌부+최상부 모드를 포함한다. 또 다른 방법에 따르면, 현재 블록의 현재 좌부의 이웃하는 재구성된 픽셀들 또는 현재 최상부의 이웃하는 재구성된 픽셀들이 제한된 경계를 건너서 있을 때, 현재 블록의 현재 좌부의 이웃하는 재구성된 픽셀들이 제한된 경계를 건너서 있으면 좌부만의 모드를 암시적으로(implicitly) 제외시킴으로써 감소된 다중 LM 모드들의 세트가 도출된다. 현재 블록의 현재 최상부의 이웃하는 재구성된 픽셀들이 제한된 경계를 건너서 있으면 최상부만의 모드를 암시적으로 제외시킴으로써 감소된 다중 LM 모드들의 세트가 도출된다.
도 1은 4:2:0 샘플링 포맷에 대한 종래의 방법에 따른 재구성된 루마 픽셀들에 기반한 LM 모드에 대한 크로마 인트라 예측의 도출의 예를 예시한다.
도 2a는 슬라이스, 타일, 타일 그룹, 또는 픽처의 최상부 경계에 있는 루마 블록 및 크로마 블록에 대한 예를 예시하고, 여기서 최상부의 이웃하는 샘플들은 제한된 경계를 건너서 있다(즉, 액세스불가).
도 2b는 슬라이스, 타일, 타일 그룹, 또는 픽처의 좌부 경계에 있는 루마 블록 및 크로마 블록에 대한 다른 예를 예시하고, 여기서 좌부의 이웃하는 샘플들은 제한된 경계를 건너서 있다(즉, 액세스불가).
도 3a는 본 발명의 실시예에 따른, 최상부의 이웃하는 재구성된 샘플들이 제한된 경계를 건너서 있으면(즉, 액세스불가) 현재 블록의 좌부만의 이웃하는 재구성된 샘플들을 사용하는 LM 파라미터 세트를 도출하는 예를 예시한다.
도 3b는 본 발명의 실시예에 따른, 좌부의 이웃하는 재구성된 샘플들이 제한된 경계를 건너서 있으면(즉, 액세스불가) 현재 블록의 최상부만의 이웃하는 재구성된 샘플들을 사용하는 LM 파라미터 세트를 도출하는 예를 예시한다.
도 4a는 액세스 제한된 LM 모델의 LM 파라미터 도출을 위한 상부만의, 상부 + 좌상부의, 또는 좌상부만의 영역으로부터의 더 많은 추가적인 이웃하는 재구성된 샘플들을 사용하는 LM 파라미터 세트를 도출하는 예들을 예시한다.
도 4b는 액세스 제한된 LM 모델의 LM 파라미터 도출을 위한 좌부만의, 좌부 + 좌하부의, 또는 좌하부만의 영역으로부터의 더 많은 추가적인 이웃하는 재구성된 샘플들을 사용하는 LM 파라미터 세트를 도출하는 예들을 예시한다.
도 5a는 루마 블록 및 크로마 블록에 대한 좌부+최상부의 LM 모드의 예를 예시한다.
도 5b는 루마 블록 및 크로마 블록에 대한 좌부의 LM 모드의 예를 예시한다.
도 5c는 루마 블록 및 크로마 블록에 대한 최상부의 LM 모드의 예를 예시한다.
도 6a는 2개의 좌부의 이웃하는 재구성된 샘플들이 허용된 경우에서의 제 1 후보(즉, 제 1 좌부 라인)의 예를 예시한다.
도 6b는 2개의 좌부의 이웃하는 재구성된 샘플들이 허용된 경우에서의 제 2 후보(즉, 제 2 좌부 라인)의 예를 예시한다.
도 6c는 2개의 좌부의 이웃하는 재구성된 샘플들이 허용된 경우에서의 제 2 후보(즉, 제 1 좌부 라인 및 2 좌부 라인 둘 다)의 예를 예시한다.
도 7a는 2개의 최상부의 이웃하는 재구성된 샘플들이 허용된 경우에서의 제 1 후보(즉, 제 1 최상부 라인)의 예를 예시한다.
도 7b는 2개의 최상부의 이웃하는 재구성된 샘플들이 허용된 경우에서의 제 2 후보(즉, 제 2 최상부 라인)의 예를 예시한다.
도 7c는 2개의 최상부의 이웃하는 재구성된 샘플들이 허용된 경우에서의 제 2 후보(즉, 제 1 최상부 라인 및 2 최상부 라인 둘 다)의 예를 예시한다.
도 8은 본 발명의 실시예에 따른 LM 파라미터들을 도출하기 위한 제한된 이웃하는 재구성된 픽셀들을 사용하는 LM 인트라 모드에 대한 예시적인 흐름도를 예시한다.
도 9는 본 발명의 실시예에 따른 LM 파라미터들을 도출하기 위한 제한된 이웃하는 재구성된 픽셀들을 사용하는 LM 인트라 모드에 대한 예시적인 흐름도를 예시한다.
도 10은 본 발명의 실시예에 따른 LM 파라미터들을 도출하기 위한 제한된 이웃하는 재구성된 픽셀들을 사용하는 LM 인트라 모드에 대한 예시적인 흐름도를 예시한다.
다음의 설명은 본 발명을 실시하는 것의 최상으로 고려된 모드를 갖는다. 본 설명은 본 발명의 일반적인 원리들을 예시하는 목적을 위해 구성되며 제한적인 의미로 받아들여지지 않아야 한다. 본 발명의 범위는 첨부된 청구범위에 대한 참조에 의해 최상으로 결정된다.
선형 모드에서, 크로마 예측자는 도 1에 도시된 바와 같이 교차 색상 성분들 사이의 LM 파라미터들을 도출하기 위해 최상부의 그리고 좌부의 이웃하는 재구성된 샘플들을 사용한다. 그러나, 일부 환경들에서, 최상부의 그리고/또는 좌부의 이웃하는 재구성된 샘플들이 이용가능하지 않을 수 있다. 본 발명에서, 이용불가한 이웃하는 샘플들의 문제를 처리하기 위해 다양한 방법들이 개시된다.
LM 파라미터 도출을 위한 추가적인 액세스가능한 이웃하는 재구성된 샘플들
일부 경우들에서, 특히 슬라이스 또는 픽처 경계에서, 최상부의 또는 좌부의 이웃하는 샘플들만이 LM 파라미터 도출에서 액세스가능하다. 예를 들어, 도 2a는 슬라이스 또는 픽처의 최상부 경계에 있는 루마 블록(210) 및 크로마 블록(220)에 대한 예를 예시하고, 여기서 최상부의 이웃하는 샘플들은 제한된 경계를 건너서 있다(즉, 액세스불가하다). 도 2b는 슬라이스 또는 픽처의 좌부 경계에 있는 루마 블록(230) 및 크로마 블록(240)에 대한 다른 예를 예시하고, 여기서 좌부의 이웃하는 샘플들은 제한된 경계를 건너서 있다(즉, 액세스불가하다). 액세스불가한 이웃하는 샘플들은, 도출된 LM 파라미터들이 교차 색상 성분들 사이의 관계들을 특성화할만큼 충분히 정확하지 않은 문제를 유발할 수 있다. 따라서, 본 발명의 일 방법에 따라, 좌부의 또는 최상부의 이웃하는 재구성된 샘플들이 현재 블록에 대해 액세스가능하지 않을 때, 현재 블록의 액세스가능한 상측 또는 액세스가능한 좌측으로부터의 추가적인 이웃하는 재구성된 샘플들이 LM 파라미터 도출에 사용된다. 일부 실시예들에서, 좌부의 이웃하는 재구성된 샘플들 중 적어도 일부가 현재 블록에 대해 액세스가능하지 않으면, 좌부의 이웃하는 재구성된 샘플들은 현재 블록에 대해 액세스가능하지 않은 것으로 결정된다. 일부 실시예들에서, 최상부의 이웃하는 재구성된 샘플들 중 적어도 일부가 현재 블록에 대해 액세스가능하지 않으면, 최상부의 이웃하는 재구성된 샘플들은 현재 블록에 대해 액세스가능하지 않은 것으로 결정된다. 본 발명에서 언급되는 제한된 경계는, CTU 경계, 슬라이스 경계, 타일 경계, 타일 그룹 경계, 픽처 경계, 또는 제한 또는 결핍(shortage)이 이웃하는 재구성된 샘플들을 참조하게 하는(즉, 이웃하는 재구성된 샘플들에 대한 제한 또는 결핍이 발생하면, 이웃하는 샘플들은 제한 또는 결핍이 발생한 제한된 경계를 건너서 있는 것으로 결정됨) 임의의 다른 경계일 수 있다.
일 실시예에서, 최상부의 그리고 좌부의 이웃하는 재구성된 샘플들의 한 라인이 LM 파라미터 도출에 정상적으로 사용되고 최상부의 이웃하는 재구성된 샘플들만이 현재 블록에 대해 제한된 경계를 건너서 있으면(즉, 액세스불가), 도 3a에 도시된 바와 같이 좌부의 이웃하는 재구성된 샘플들의 2개의 라인들이 LM 파라미터 도출에 사용된다. 또 다른 실시예에서, 최상부의 이웃하는 재구성된 샘플들만이 제한된 경계를 건너서 있으면, 좌부의 이웃하는 재구성된 샘플들의 2개 이상의 라인들만이 LM 파라미터 도출에 사용된다.
다른 실시예에서, 최상부의 그리고 좌부의 이웃하는 재구성된 샘플들의 한 라인이 LM 파라미터 도출에 정상적으로 사용되고 좌부의 이웃하는 재구성된 샘플들만이 제한된 경계를 건너서 있으면, 도 3b에 도시된 바와 같이 최상부의 이웃하는 재구성된 샘플들의 2개의 라인들이 LM 파라미터 도출에 사용된다. 또 다른 실시예에서, 좌부의 이웃하는 재구성된 샘플들만이 제한된 경계를 건너서 있으면, 최상부의 이웃하는 재구성된 샘플들의 2개 이상의 라인들만이 LM 파라미터 도출에 사용된다.
또 다른 실시예에서, 최상부의 그리고 좌부의 이웃하는 재구성된 샘플들의 K개의 라인이 LM 파라미터 도출에 정상적으로 사용되고 최상부의 이웃하는 재구성된 샘플들만이 현재 블록에 대해 액세스가능하면, 최상부의 이웃하는 재구성된 샘플들의 (K + L)개의 라인들이 LM 파라미터 도출에 사용되고, 여기서 K 및 L은 1 이상이다.
또 다른 실시예에서, 최상부의 그리고 좌부의 이웃하는 재구성된 샘플들의 K개의 라인이 LM 파라미터 도출에 정상적으로 사용되고 좌부의 이웃하는 재구성된 샘플들만이 현재 블록에 대해 액세스가능하면, 좌부의 이웃하는 재구성된 샘플들의 (K + L)개의 라인들이 LM 파라미터 도출에 사용되고, 여기서 K 및 L은 1 이상이다.
다른 실시예에서, 최상부의 그리고 좌부의 이웃하는 재구성된 루마 샘플들의 N개의 라인이 LM 파라미터 도출에 사용되고, 최상부의 이웃하는 재구성된 샘플들이 제한된 경계를 건너서 있으면, 최상부의 이웃하는 루마 재구성된 샘플들의 k개의 라인이 LM 파라미터 도출에 사용되고, 여기서 N>k≥0이다.
또 다른 실시예에서, 최상부의 그리고 좌부의 이웃하는 재구성된 루마 샘플들의 N개의 라인이 LM 파라미터 도출에 사용되고, 좌부의 이웃하는 재구성된 샘플들이 제한된 경계를 건너서 있으면, 좌부의 이웃하는 루마 재구성된 샘플들의 k개의 라인이 LM 파라미터 도출에 사용되고, 여기서 N>k≥0이다.
또 다른 실시예에서, 최상부의 또는 좌부의 이웃하는 재구성된 샘플들이 제한된 경계를 건너서 있으면, 최상부의 또는 좌부의 이웃하는 재구성된 샘플들은 루프 필터링(loop filtering)의 필터링되지 않고 재구성된 샘플 버퍼로부터의 것이다.
또 다른 실시예에서, LM 파라미터 도출에서 사용되는 이웃하는 재구성된 샘플들 중 임의의 샘플이 제한된 경계를 건너서 있으면, LM 크로마 모드가 암시적으로 또는 명시적으로 사용되지 않는다.
또한, 최상부의 그리고 좌부의 이웃하는 재구성된 샘플들이 LM 파라미터 도출에 정상적으로 사용되고, 최상부의 이웃하는 재구성된 샘플들만이 현재 블록에 대해 액세스가능하면, 추가적인 최상부의 이웃하는 재구성된 샘플들이 LM 파라미터 도출에 사용된다. 추가적인 최상부의 이웃하는 재구성된 샘플들은 도 4a 내의 점들로 채워진 영역들에 위치된, 현재 블록의 상부(410)만으로부터의 것, 상부 + 우상부(420)로부터의 것, 또는 우상부 영역들(430)만으로부터의 것일 수 있다.
또한, 최상부의 그리고 좌부의 이웃하는 재구성된 샘플들이 LM 파라미터 도출에 정상적으로 사용되고, 좌부의 이웃하는 재구성된 샘플들만이 현재 블록에 대해 액세스가능하면, 더 많은 좌부의 이웃하는 재구성된 샘플들이 LM 파라미터 도출에 사용된다. 추가적인 좌부의 이웃하는 재구성된 샘플들은 도 4b 내의 점들로 채워진 영역들에 위치된, 현재 블록의 좌부(440)만으로부터의 것, 좌부 + 좌하부(450)로부터의 것, 또는 좌하부 영역들(460)만으로부터의 것일 수 있다.
위의 예들에서, LM 파라미터 도출 프로세스를 예시하기 위해 YUV420 색상 서브-샘플링 포맷이 사용되었다. 그럼에도 불구하고, 본 발명이 YUV420 색상 서브-샘플링 포맷에 제한되는 것은 아니다. 본 발명은 YUV444 및 YUV422와 같은 다른 색상 서브-샘플링 포맷들에도 적용될 수 있다.
다중 LM 크로마 모드에서의 LM 파라미터 도출을 위한 이웃하는 재구성된 샘플들 선택
다중 LM 크로마 모드는, 좌부만을, 최상부만을, 좌부+최상부를, 그리고 다른 LM-기반 크로마 모드들을 포함하고, 여기서 좌부만의 또는 최상부만의 LM 모드가 LM 파라미터 도출에서 좌부의 또는 최상부의 이웃하는 재구성된 샘플들을 사용하고, 좌부+최상부의 LM 모드가 LM 파라미터 도출에서 좌부의 그리고 최상부의 이웃하는 재구성된 샘플들을 둘 다 사용한다. 도 5a는 루마 블록(510) 및 크로마 블록(520)에 대한 좌부+최상부의 LM 모드의 예를 예시한다. 도 5b는 루마 블록(530) 및 크로마 블록(540)에 대한 좌부의 LM 모드의 예를 예시한다. 도 5c는 루마 블록(550) 및 크로마 블록(560)에 대한 최상부의 LM 모드의 예를 예시한다. 좌부의 이웃하는 재구성된 샘플들이 현재 블록에 대해 제한된 경계를 건너서 있으면(즉, 액세스불가), 좌부만의 LM 모드가 크로마 모드 결정에 암시적으로 사용되지 않는다. 경계는 CTU, 슬라이스, 타일, 타일 그룹, 또는 픽처 경계에 대응할 수 있다. 최상부의 이웃하는 재구성된 샘플들이 현재 블록에 대해 제한된 경계를 건너서 있으면(즉, 액세스불가), 최상부만의 LM 모드가 크로마 모드 결정에 암시적으로 사용되지 않는다. 일부 실시예들에서, 좌부의 이웃하는 재구성된 샘플들 중 적어도 일부가 현재 블록에 대해 액세스가능하지 않으면, 좌부의 이웃하는 재구성된 샘플들은 현재 블록에 대해 액세스가능하지 않은 것으로 결정된다. 일부 실시예들에서, 최상부의 이웃하는 재구성된 샘플들 중 적어도 일부가 현재 블록에 대해 액세스가능하지 않으면, 최상부의 이웃하는 재구성된 샘플들은 현재 블록에 대해 액세스가능하지 않은 것으로 결정된다.
일 실시예에서, 좌부의 또는 최상부의 이웃하는 재구성된 샘플들이 현재 블록에 대해 액세스가능하지 않으면, 좌부만의 그리고 최상부만의 LM 모드들 둘 다가 크로마 모드 결정에 사용되지 않는다. 이 경우, 좌부+최상부의 LM 모드는, 최상부의 이웃하는 재구성된 샘플들이 액세스가능하지 않으면 LM 파라미터 도출에서 좌부의 이웃하는 재구성된 샘플들의 2개의 라인들을 사용하고, 좌부의 이웃하는 재구성된 샘플들이 액세스가능하지 않으면 LM 파라미터 도출에서 최상부의 이웃하는 재구성된 샘플들의 2개의 라인들이 사용된다.
다른 실시예에서, 좌부의 이웃하는 재구성된 샘플들이 현재 블록에 대해 액세스가능하지 않거나 이용가능하지 않으면, 좌부만의 LM 모드가 다중 LM 크로마 모드 결정에 암시적으로 사용되지 않고, 좌부만의 LM 모드가 사용되는지의 여부를 표시하기 위해 표시자가 사용되지 않는다.
일 실시예에서, 좌부의 이웃하는 재구성된 샘플들이 제한된 경계를 건너서 있으면, 좌부만의 그리고 최상부만의 LM 모드들 둘 다가 크로마 모드 결정에 사용되지 않는다. 또한, 좌부+최상부의 LM 모드는 LM 파라미터 도출에서 최상부의 이웃하는 재구성된 샘플들의 하나보다 많은 라인들을 암시적으로 사용한다.
다른 실시예에서, 최상부의 이웃하는 재구성된 샘플들이 제한된 경계를 건너서 있으면, 좌부만의 그리고 최상부만의 LM 모드들 둘 다가 크로마 모드 결정에 사용되지 않는다. 또한, 좌부+최상부의 LM 모드는 LM 파라미터 도출에서 좌부의 이웃하는 재구성된 샘플들의 하나보다 많은 라인들을 암시적으로 사용한다.
다른 실시예에서, 좌부의 이웃하는 재구성된 샘플들이 제한된 경계를 건너서 있으면, 좌부만의 LM 모드가 다중 LM 크로마 모드 결정에 암시적으로 사용되지 않고, 좌부만의 LM 모드가 사용되는지의 여부를 표시하기 위해 표시자가 사용되지 않는다.
또 다른 실시예에서, 최상부의 이웃하는 재구성된 샘플들이 현재 블록에 대해 제한된 경계를 건너서 있으면(즉, 액세스불가), 최상부만의 LM 모드가 다중 LM 크로마 모드 결정에 암시적으로 사용되지 않고, 최상부만의 LM 모드가 사용되는지의 여부를 표시하기 위해 표시자가 사용되지 않는다.
또 다른 실시예에서, 좌부의 또는 최상부의 이웃하는 재구성된 샘플들이 현재 블록에 대해 제한된 경계를 건너서 있을 때(즉, 액세스불가), 좌부만의 그리고 최상부만의 LM 모드들 둘 다가 다중 LM 크로마 모드 결정에 암시적으로 사용되지 않고, 좌부만의 모드 또는 최상부만의 모드가 사용되는지의 여부를 표시하기 위해 표시자가 사용되지 않는다.
또 다른 실시예에서, 좌부의 이웃하는 재구성된 샘플들이 현재 블록에 대해 제한된 경계를 건너서 있을 때(즉, 액세스불가), 좌부만의 LM 모드가 크로마 모드 결정에 사용되지 않는다. 게다가, 최상부만의 LM 모드는 LM 파라미터 도출에서 좌부+최상부의 LM 모드보다 추가의 최상부의 이웃하는 재구성된 샘플들을 사용한다.
또 다른 실시예에서, 최상부의 이웃하는 재구성된 샘플들이 현재 블록에 대해 제한된 경계를 건너서 있을 때(즉, 액세스불가), 최상부만의 LM 모드가 크로마 모드 결정에 사용되지 않는다. 게다가, 좌부만의 LM 모드는 LM 파라미터 도출에서 좌부+최상부의 LM 모드보다 추가의 좌부의 이웃하는 재구성된 샘플들을 사용한다.
이전에 제안된 방법들 중 임의의 방법이 인코더들 및/또는 디코더들에 구현될 수 있다. 예를 들어, 제안된 방법들 중 임의의 방법이 인코더의 인터/인트라/예측 모듈, 및/또는 디코더의 인터/인트라/예측 모듈에서 구현될 수 있다. 대안적으로, 제안된 방법들 중 임의의 방법이, 인터/인트라/예측 모듈에 의해 필요되는 정보를 제공하기 위해, 인코더의 인터/인트라/예측 모듈 및/또는 디코더의 인터/인트라/예측 모듈에 커플링된 회로로서 구현될 수 있다.
다시, 위의 예들에서, LM 파라미터 도출 프로세스를 예시하기 위해 YUV420 색상 서브-샘플링 포맷이 사용되었다. 그럼에도 불구하고, 본 발명이 YUV420 색상 서브-샘플링 포맷에 제한되는 것은 아니다. 본 발명은 YUV444 및 YUV422와 같은 다른 색상 서브-샘플링 포맷들에도 적용될 수 있다.
다수의 기준 라인들이 허용되었을 때의 LM 파라미터 도출을 위한 경계 제한들
최상부의 그리고 좌부의 이웃하는 제한된 샘플들 중 2개의 이상의 라인들이 교차 색상 성분들 사이의 LM 파라미터들을 도출하기 위해 사용되는 것이 허용되었을 때, 그리고 현재 블록의 상측 또는 좌측이 제한된 경계(예를 들어, CTU, 슬라이스, 타일, 타일 그룹, 또는 픽처 경계)를 건너서 있으면, 선형 모델 도출을 위해 사용되는 이웃하는 재구성된 샘플들의 라인들이 제한되어야 한다. 일부 실시예들에서, 좌부의 이웃하는 재구성된 샘플들 중 적어도 일부가 현재 블록에 대해 액세스가능하지 않으면, 좌부의 이웃하는 재구성된 샘플들은 현재 블록에 대해 액세스가능하지 않은 것으로 결정된다. 일부 실시예들에서, 최상부의 이웃하는 재구성된 샘플들 중 적어도 일부가 현재 블록에 대해 액세스가능하지 않으면, 최상부의 이웃하는 재구성된 샘플들은 현재 블록에 대해 액세스가능하지 않은 것으로 결정된다.
일 실시예에서, 최상부의 이웃하는 재구성된 샘플들이 제한된 경계를 건너서 있으면(즉, 액세스불가), 모든 좌부의 이웃하는 재구성된 샘플들이 LM 파라미터 도출에 사용된다.
다른 실시예에서, 최상부의 이웃하는 재구성된 샘플들이 제한된 경계를 건너서 있으면(즉, 액세스불가), 모든 최상부의 이웃하는 재구성된 샘플들이 LM 파라미터 도출에 암시적으로 사용되지 않는다.
또 다른 실시예에서, 최상부의 그리고 좌부의 이웃하는 재구성된 루마 샘플들의 N개의 라인이 LM 파라미터 도출에 사용되고, 최상부의 이웃하는 재구성된 샘플들이 제한된 경계를 건너서 있으면(즉, 액세스가능하지 않거나 이용가능하지 않음), 최상부의 이웃하는 루마 재구성된 샘플들의 k개의 라인이 LM 파라미터 도출에 공동으로(jointly) 사용되고, 여기서 N>k≥0이다.
또 다른 실시예에서, 최상부의 그리고 좌부의 이웃하는 재구성된 크로마 샘플들의 N개의 라인이 LM 파라미터 도출에 사용되고, 최상부의 이웃하는 재구성된 샘플들이 제한된 경계를 건너서 있으면(즉, 액세스불가함), 최상부의 이웃하는 크로마 재구성된 샘플들의 k개의 라인이 LM 파라미터 도출에 공동으로 사용되고, 여기서 N>k≥0이다.
또 다른 실시예에서, 최상부의 이웃하는 재구성된 샘플들이 제한된 경계를 건너서 있으면(즉, 액세스불가), 어느 좌부의 라인 샘플들 또는 모드 좌부의 라인 샘플들이 LM 파라미터 도출에 사용되는지를 표시하기 위해 신택스(syntax)가 사용된다. 예를 들어, 2개의 좌부의 이웃하는 재구성된 라인 샘플들이 허용되면, 제 1 후보(610 및 620)에 대해 도 6a에, 제 2 후보(630 및 640)에 대해 도 6b에, 그리고 제 3 후보(650 및 660)에 대해 도 6c에 도시된 바와 같이, 좌부의 라인 샘플 후보들의 선택을 표시하기 위해 신택스가 사용된다.
또 다른 실시예에서, 좌부의 이웃하는 재구성된 샘플들이 제한된 경계를 건너서 있으면(즉, 액세스불가), 모든 최상부의 이웃하는 재구성된 샘플들이 LM 파라미터 도출에 사용된다.
또 다른 실시예에서, 좌부의 이웃하는 재구성된 샘플들이 제한된 경계를 건너서 있으면(즉, 액세스불가), 모든 좌부의 이웃하는 재구성된 샘플들이 LM 파라미터 도출에 암시적으로 사용되지 않는다.
또 다른 실시예에서, 최상부의 그리고 좌부의 이웃하는 재구성된 루마 샘플들의 N개의 라인이 LM 파라미터 도출에 사용되고, 좌부의 이웃하는 재구성된 샘플들이 제한된 경계를 건너서 있으면(즉, 액세스불가함), 좌부의 이웃하는 루마 재구성된 샘플들의 k개의 라인이 LM 파라미터 도출에 공동으로 사용되고, 여기서 N>k≥0이다.
또 다른 실시예에서, 최상부의 그리고 좌부의 이웃하는 재구성된 크로마 샘플들의 N개의 라인이 LM 파라미터 도출에 사용되고, 좌부의 이웃하는 재구성된 샘플들이 제한된 경계를 건너서 있으면(즉, 액세스불가함), 좌부의 이웃하는 크로마 재구성된 샘플들의 k개의 라인이 LM 파라미터 도출에 공동으로 사용되고, 여기서 N>k≥0이다.
또 다른 실시예에서, 좌부의 이웃하는 재구성된 샘플들이 제한된 경계를 건너서 있으면(즉, 액세스불가), 어느 최상부의 라인 샘플들 또는 모드 최상부의 라인 샘플들이 LM 파라미터 도출에 사용되는지를 표시하기 위해 신택스가 사용된다. 예를 들어, 2개의 최상부의 이웃하는 재구성된 라인 샘플들이 허용되면, 제 1 후보(710 및 720)에 대해 도 7a에, 제 2 후보(730 및 740)에 대해 도 7b에, 그리고 제 3 후보(750 및 760)에 대해 도 7c에 도시된 바와 같이, 최상부의 라인 샘플 후보들의 선택을 표시하기 위해 신택스가 사용된다.
본 발명에서 언급되는 최상부의 이웃하는 재구성된 샘플들이 도 4a 내의 점들로 채워진 영역들에 의해 표시된 바와 같이, 상부(410), 우상부(430), 및 상부 + 우상부(420)로부터의 것일 수 있다는 점에 유념해야 한다. 좌부의 이웃하는 재구성된 샘플들은 도 4b 내의 점들로 채워진 영역들에 의해 표시된 바와 같이, 좌부(440), 좌하부(460), 및 좌부 + 좌하부(450)로부터의 것일 수 있다.
위의 예들에서, LM 파라미터 도출 프로세스를 예시하기 위해 YUV420 색상 서브-샘플링 포맷이 사용되었다. 그럼에도 불구하고, 본 발명이 YUV420 색상 서브-샘플링 포맷에 제한되는 것은 아니다. 본 발명은 YUV444 및 YUV422와 같은 다른 색상 서브-샘플링 포맷들에도 적용될 수 있다.
도 8은 본 발명의 실시예에 따른 LM 파라미터들을 도출하기 위한 제한된 이웃하는 재구성된 픽셀들을 사용하는 LM 인트라 모드에 대한 예시적인 흐름도를 예시한다. 정상 LM 모드에서, LM 코딩된 블록은, LM 코딩된 블록의 루마 픽셀들 및 크로마 픽셀들에 관한 선형 모델과 연관된 LM 코딩된 블록의 LM 파라미터 세트를 도출하기 위해 LM 코딩된 블록의 최상부 영역 및 좌부 영역을 포함하는 이웃하는 재구성된 영역들을 사용한다. LM 코딩된 블록의 최상부 영역은 최상부의 이웃하는 재구성된 루마 샘플들의 N개의 최상부 라인들을 포함하고, LM 코딩된 블록의 좌부 영역은 좌부의 이웃하는 재구성된 루마 샘플들의 N개의 좌부 라인들을 포함하며, N은 1보다 큰 정수이다. 흐름도에 도시된 단계들은 인코더측 또는 디코더측에서 하나 이상의 프로세서(예를 들어, 하나 이상의 CPU) 상에서 실행가능한 프로그램 코드들로서 구현될 수 있다. 흐름도에 도시된 단계들은 또한 흐름도 내의 단계들을 수행하도록 배열된 하나 이상의 전자 디바이스 또는 프로세서와 같은 하드웨어에 기반하여 구현될 수 있다. 본 방법에 따르면, 단계(810)에서 인코더측 또는 디코더측에서 입력 데이터가 수신되고, 입력 데이터는 인코더측에서 인코딩될 현재 블록과 연관된 픽셀 데이터 또는 디코더측에서 디코딩될 현재 블록과 연관된 압축된 데이터를 포함한다. 단계(820)에서 현재 블록의 현재 최상부 영역 또는 현재 좌부 영역이 제한된 경계를 건너서 있는지의 여부가 체크된다. 현재 블록의 현재 최상부 영역 또는 현재 좌부 영역이 제한된 경계를 건너서 있으면[즉, 단계(820)로부터의 "예" 경로], 단계들(830 내지 850)이 수행된다. 그렇지 않으면[즉, 단계(820)로부터의 "아니오" 경로], 단계들(830 내지 850)이 스킵된다. 단계(830)에서, 감소된 이웃하는 재구성된 영역들 내의 루마 픽셀들 및 크로마 픽셀들에 기반하여 현재 블록에 대한 현재 LM 파라미터 세트가 도출된다. 감소된 이웃하는 재구성된 영역들은, 현재 최상부 영역이 제한된 경계를 건너서 있으면 최상부의 이웃하는 재구성된 루마 샘플들의 N개보다 적은 최상부 라인들을 갖는 감소된 최상부 영역 또는 현재 좌부 영역이 제한된 경계를 건너서 있으면 좌부의 이웃하는 재구성된 루마 샘플들의 N개보다 적은 좌부 라인들을 갖는 감소된 좌부 영역을 포함한다. 단계(840)에서, 현재 블록의 루마 픽셀들 및 현재 LM 파라미터들에 따라 현재 블록의 크로마 픽셀들에 대한 교차 색상 인트라 예측자가 생성된다. 단계(850)에서, 교차 색상 인트라 예측자를 사용하여 현재 블록의 크로마 픽셀들이 인코딩되거나 디코딩된다.
도 9는 본 발명의 실시예에 따른 LM 파라미터들을 도출하기 위한 제한된 이웃하는 재구성된 픽셀들을 사용하는 LM 인트라 모드에 대한 예시적인 흐름도를 예시한다. 정상 LM 모드에서, LM 코딩된 블록은, LM 코딩된 블록의 루마 픽셀들 및 크로마 픽셀들에 관한 선형 모델과 연관된 LM 코딩된 블록의 LM 파라미터 세트를 도출하기 위해 LM 코딩된 블록의 최상부 영역 및 좌부 영역을 포함하는 이웃하는 재구성된 영역들을 정상적으로 사용한다. 본 방법에 따르면, 단계(910)에서 인코더측 또는 디코더측에서 입력 데이터가 수신되고, 입력 데이터는 인코더측에서 인코딩될 현재 블록과 연관된 픽셀 데이터 또는 디코더측에서 디코딩될 현재 블록과 연관된 압축된 데이터를 포함한다. 단계(920)에서 현재 블록의 현재 최상부 영역 또는 현재 좌부 영역이 제한된 경계를 건너서 있는지의 여부가 체크된다. 현재 블록의 현재 최상부 영역 또는 현재 좌부 영역이 제한된 경계를 건너서 있으면[단계(920)로부터의 "yes" 경로], 단계들(930 내지 950)이 수행된다. 그렇지 않으면[즉, 단계(920)로부터의 "no" 경로], 단계들(930 내지 950)이 스킵된다. 단계(930)에서, 수정된 이웃하는 재구성된 영역들 내의 루마 픽셀들 및 크로마 픽셀들에 기반하여 현재 블록에 대한 현재 LM 파라미터 세트가 도출된다. 수정된 이웃하는 재구성된 영역은, 현재 최상부 영역이 제한된 경계를 건너서 있으면 현재 블록의 좌부만의 이웃하는 재구성된 픽셀들 또는 현재 좌부 영역이 상기 제한된 경계를 건너서 있으면 현재 블록의 최상부만의 이웃하는 재구성된 픽셀들을 포함한다. 단계(940)에서, 현재 블록의 루마 픽셀들 및 현재 LM 파라미터들에 따라 현재 블록의 크로마 픽셀들에 대한 교차 색상 인트라 예측자가 생성된다. 단계(950)에서, 교차 색상 인트라 예측자를 사용하여 현재 블록의 크로마 픽셀들이 인코딩되거나 디코딩된다.
도 10은 본 발명의 실시예에 따른 LM 파라미터들을 도출하기 위한 제한된 이웃하는 재구성된 픽셀들을 사용하는 LM 인트라 모드에 대한 예시적인 흐름도를 예시한다. 정상 다중 LM 모드에서, 다중 LM 모드들은, 다중 LM 모드들 코딩된 블록의 좌부만의 이웃하는 재구성된 픽셀들을 사용하는 좌부만의 모드, 다중 LM 모드들 코딩된 블록의 최상부만의 이웃하는 재구성된 픽셀들을 사용하는 최상부만의 모드, 다중 LM 모드들 코딩된 블록의 좌부의 이웃하는 재구성된 픽셀들 및 최상부의 이웃하는 재구성된 픽셀들 둘 다를 사용하는 좌부+최상부 모드를 포함한다. 본 방법에 따르면, 단계(1010)에서 인코더측 또는 디코더측에서 입력 데이터가 수신되고, 입력 데이터는 인코더측에서 인코딩될 현재 블록과 연관된 픽셀 데이터 또는 디코더측에서 디코딩될 현재 블록과 연관된 압축된 데이터를 포함한다. 단계(1020)에서 현재 블록의 현재 좌부의 이웃하는 재구성된 픽셀들 또는 현재 최상부의 이웃하는 재구성된 픽셀들이 제한된 경계를 건너서 있는지의 여부가 체크된다. 현재 블록의 현재 좌부의 이웃하는 재구성된 픽셀들 또는 현재 최상부의 이웃하는 재구성된 픽셀들이 제한된 경계를 건너서 있으면[즉, 단계(1020)로부터의 "yes" 경로], 단계들(1030 내지 1040)이 수행된다. 그렇지 않으면[즉, 단계(1020)로부터의 "no" 경로], 단계들(1030 내지 1040)이 스킵된다. 단계(1030)에서, 현재 블록의 현재 좌부의 이웃하는 재구성된 픽셀들이 제한된 경계를 건너서 있으면 좌부만의 모드를 제외시키거나 현재 블록의 현재 최상부의 이웃하는 재구성된 픽셀들이 제한된 경계를 건너서 있으면 최상부만의 모드를 제외시킴으로써 감소된 다중 LM 모드들의 세트가 도출된다. 단계(1040)에서, 감소된 다중 LM 모드들의 세트를 사용하여 현재 블록의 크로마 픽셀들이 인코딩되거나 디코딩된다.
위의 도시된 흐름도들은 본 발명의 실시예들을 포함하는 비디오 인코더 및 디코더에 대한 향상된 LM 크로마 모드의 예들을 예시하기 위해 의도된다. 당업자는, 본 발명의 범위로부터 벗어나지 않고 본 발명을 실시하기 위해 각각의 단계를 수정하거나, 단계들을 재배열하거나, 단계를 나누거나, 또는 단계들을 조합할 수 있다.
위의 설명은, 당업자가 특정 응용 및 그 요건의 맥락(context)으로 제공되는 것과 같이 본 발명을 실시하는 것을 가능하게 하기 위해 제시된다. 설명된 실시예들에 대한 다양한 수정들이 당업자에게 명백해질 것이며, 본원에서 정의된 일반적인 원리들이 다른 실시예들에 적용될 수 있다. 따라서, 본 발명이 도시되고 설명된 특정 실시예들에 제한되도록 의도되는 것은 아니지만, 개시된 본원의 원리들 및 신규한 특징들과 일치하는 가장 넓은 범위에 부합되어야 한다. 위의 상세한 설명에서, 본 발명의 철저한 이해를 제공하기 위해 다양한 특성 상세사항들이 예시된다. 그럼에도 불구하고, 본 발명이 실시될 수 있다는 점이 당업자에 의해 이해될 것이다.
위에서 설명된 본 발명의 실시예는 다양한 하드웨어, 소프트웨어 코드들, 또는 이 둘의 조합으로 구현될 수 있다. 예를 들어, 본 발명의 실시예는 본원에서 설명된 프로세싱을 수행하기 위한 비디오 압축 칩에 통합된 회로 또는 비디오 압축 소프트웨어에 통합된 프로그램 코드일 수 있다. 본 발명의 실시예는 또한 본원에서 설명된 프로세싱을 수행하기 위한 디지털 신호 프로세서(Digital Signal Processor; DSP) 상에서 실행될 프로그램 코드일 수 있다. 본 발명은 또한 컴퓨터 프로세서, 디지털 신호 프로세서, 마이크로프로세서, 또는 필드 프로그래밍가능 게이트 어레이(field programmable gate array; FPGA)에 의해 수행될 다수의 기능들을 포함할 수 있다. 이 프로세서들은, 본 발명에 의해 구현되는 특정 방법들을 정의하는 머신 판독가능 소프트웨어 코드 또는 펌웨어 코드를 실행함으로써, 본 발명에 따라 특정 태스크들을 수행하도록 구성될 수 있다. 소프트웨어 코드 또는 펌웨어 코드는 상이한 프로그래밍 언어들 및 상이한 포맷들 또는 스타일들로 개발될 수 있다. 소프트웨어 코드는 또한 상이한 타겟 플랫폼들에 대해 컴파일될 수 있다. 그러나, 본 발명에 따라 태스크들을 수행하기 위한 소프트웨어 코드들의 상이한 코드 포맷들, 스타일들 및 언어들 및 코드를 구성하는 다른 수단이 본 발명의 사상 및 범위로부터 벗어나지 않을 것이다.
본 발명은 본 발명의 사상 또는 본질적인 특성들로부터 벗어나지 않고 다른 특정 형태들로 구현될 수 있다. 설명된 예들은 모든 측면들에서 예시적이며 비제한적인 것으로서 간주되어야 한다. 본 발명의 범위는 따라서, 이전의 설명들보다는 첨부된 청구범위에 의해 표시된다. 청구범위의 등가의 의미 및 범위 내에 있는 모든 변경들은 본 발명의 범위 내에 포함되어야 한다.

Claims (17)

  1. 재구성된 픽셀들에 기반한 교차 색상 인트라 예측(cross-color Intra prediction)의 방법에 있어서, LM(Linear Model) 코딩된 블록이, 상기 LM 코딩된 블록의 루마 픽셀(luma pixel)들 및 크로마 픽셀(chroma pixel)들에 관한 선형 모델과 연관된 상기 LM 코딩된 블록의 LM 파라미터 세트를 도출(derive)하기 위해 상기 LM 코딩된 블록의 최상부 영역(top area) 및 좌부 영역(left area)을 포함하는 이웃하는 재구성된 영역들을 정상적으로(normally) 사용하고, 상기 LM 코딩된 블록의 최상부 영역은 최상부의 이웃하는 재구성된 루마 샘플들의 N개의 최상부 라인들을 포함하고, 상기 LM 코딩된 블록의 좌부 영역은 좌부의 이웃하는 재구성된 루마 샘플들의 N개의 좌부 라인들을 포함하고, N은 1보다 큰 값을 포함하는 범위로부터 선택된 정수이고, 상기 방법은,
    인코더측 또는 디코더측에서 입력 데이터를 수신하는 단계 - 상기 입력 데이터는 상기 인코더측에서 인코딩될 현재 블록과 연관된 픽셀 데이터 또는 상기 디코더측에서 디코딩될 상기 현재 블록과 연관된 압축된 데이터를 포함함 - ;
    상기 현재 블록의 현재 최상부 영역 또는 현재 좌부 영역이 제한된 경계(restricted boundary)를 건너서(across) 있을 때:
    감소된 이웃하는 재구성된 영역들 내의 상기 루마 픽셀들 및 상기 크로마 픽셀들에 기반하여 상기 현재 블록에 대한 현재 LM 파라미터 세트를 도출하는 단계 - 상기 감소된 이웃하는 재구성된 영역들은, 상기 현재 최상부 영역이 상기 제한된 경계를 건너서 있으면 최상부의 이웃하는 재구성된 루마 샘플들의 N개보다 적은 최상부 라인들을 갖는 감소된 최상부 영역 또는 상기 현재 좌부 영역이 상기 제한된 경계를 건너서 있으면 좌부의 이웃하는 재구성된 루마 샘플들의 N개보다 적은 좌부 라인들을 갖는 감소된 좌부 영역을 포함함 - ;
    상기 현재 블록의 루마 픽셀들 및 상기 현재 LM 파라미터 세트에 따라 상기 현재 블록의 크로마 픽셀들에 대한 교차 색상 인트라 예측자(cross-color Intra predictor)를 생성하는 단계; 및
    상기 교차 색상 인트라 예측자를 사용하여 상기 현재 블록의 크로마 픽셀들을 인코딩하거나 디코딩하는 단계
    를 포함하고,
    상기 현재 블록의 최상부 영역은 상기 현재 블록의 상부 영역(above area), 상부와 우상부 영역(above-right area), 또는 우상부 영역에 대응하고, 상기 현재 블록의 좌부 영역은, 상기 현재 블록의 i) 좌측에 인접한 영역, ii) 좌측에 인접한 영역과 좌하부 영역(left-bottom area), 또는 iii) 좌하부 영역에 대응하며,
    상기 제한된 경계는 CTU(coding tree unit) 경계, 슬라이스 경계, 타일 경계, 타일 그룹 경계, 또는 픽처 경계에 대응하는 것인, 재구성된 픽셀들에 기반한 교차 색상 인트라 예측의 방법.
  2. 삭제
  3. 제 1 항에 있어서, N은 2와 동일하고, 상기 감소된 최상부 영역은 상기 현재 최상부 영역이 상기 제한된 경계를 건너서 있으면 1개의 최상부 라인을 포함하거나 또는 상기 감소된 좌부 영역은 상기 현재 좌부 영역이 상기 제한된 경계를 건너서 있으면 1개의 좌부 라인을 포함하는 것인, 방법.
  4. 재구성된 픽셀들에 기반한 교차 색상 인트라 예측(cross-color Intra prediction)의 방법에 있어서, LM(Linear Model) 코딩된 블록이, 상기 LM 코딩된 블록의 루마 픽셀(luma pixel)들 및 크로마 픽셀(chroma pixel)들에 관한 선형 모델과 연관된 상기 LM 코딩된 블록의 LM 파라미터 세트를 도출(derive)하기 위해 상기 LM 코딩된 블록의 최상부 영역(top area) 및 좌부 영역(left area)을 포함하는 이웃하는 재구성된 영역들을 정상적으로(normally) 사용하고, 상기 LM 코딩된 블록의 최상부 영역은 최상부의 이웃하는 재구성된 루마 샘플들의 N개의 최상부 라인들을 포함하고, 상기 LM 코딩된 블록의 좌부 영역은 좌부의 이웃하는 재구성된 루마 샘플들의 N개의 좌부 라인들을 포함하고, N은 1보다 큰 값을 포함하는 범위로부터 선택된 정수이고, 상기 방법은,
    인코더측 또는 디코더측에서 입력 데이터를 수신하는 단계 - 상기 입력 데이터는 상기 인코더측에서 인코딩될 현재 블록과 연관된 픽셀 데이터 또는 상기 디코더측에서 디코딩될 상기 현재 블록과 연관된 압축된 데이터를 포함함 - ;
    상기 현재 블록의 현재 최상부 영역 또는 현재 좌부 영역이 제한된 경계(restricted boundary)를 건너서(across) 있을 때:
    감소된 이웃하는 재구성된 영역들 내의 상기 루마 픽셀들 및 상기 크로마 픽셀들에 기반하여 상기 현재 블록에 대한 현재 LM 파라미터 세트를 도출하는 단계 - 상기 감소된 이웃하는 재구성된 영역들은, 상기 현재 최상부 영역이 상기 제한된 경계를 건너서 있으면 최상부의 이웃하는 재구성된 루마 샘플들의 N개보다 적은 최상부 라인들을 갖는 감소된 최상부 영역 또는 상기 현재 좌부 영역이 상기 제한된 경계를 건너서 있으면 좌부의 이웃하는 재구성된 루마 샘플들의 N개보다 적은 좌부 라인들을 갖는 감소된 좌부 영역을 포함함 - ;
    상기 현재 블록의 루마 픽셀들 및 상기 현재 LM 파라미터 세트에 따라 상기 현재 블록의 크로마 픽셀들에 대한 교차 색상 인트라 예측자(cross-color Intra predictor)를 생성하는 단계; 및
    상기 교차 색상 인트라 예측자를 사용하여 상기 현재 블록의 크로마 픽셀들을 인코딩하거나 디코딩하는 단계
    를 포함하고,
    상기 현재 블록의 최상부 영역은 상기 현재 블록의 상부 영역(above area), 상부와 우상부 영역(above-right area), 또는 우상부 영역에 대응하고, 상기 현재 블록의 좌부 영역은, 상기 현재 블록의 i) 좌측에 인접한 영역, ii) 좌측에 인접한 영역과 좌하부 영역(left-bottom area), 또는 iii) 좌하부 영역에 대응하며,
    상기 감소된 최상부 영역 또는 상기 감소된 좌부 영역 내의 재구성된 샘플들은, 루프 필터링(loop filtering) 없는 필터링되지 않은 재구성된 샘플들에 대응하는 것인, 방법.
  5. 제 1 항에 있어서, 상기 현재 블록에 대한 현재 LM 파라미터 세트를 도출하는 단계는 감소된 이웃하는 재구성된 영역들 내의 상기 루마 픽셀들 및 상기 크로마 픽셀들에 기반하고, 상기 감소된 이웃하는 재구성된 영역들은, 상기 현재 최상부 영역이 상기 제한된 경계를 건너서 있으면 최상부의 이웃하는 재구성된 루마 샘플들의 N개보다 적은 최상부 라인들을 갖는 감소된 최상부 영역 또는 상기 현재 좌부 영역이 상기 제한된 경계를 건너서 있으면 좌부의 이웃하는 재구성된 루마 샘플들의 N개보다 적은 좌부 라인들을 갖는 감소된 좌부 영역을 포함하는 것인, 방법.
  6. 비디오 인코더 또는 디코더 내의 재구성된 픽셀들에 기반한 교차 색상 인트라 예측을 위한 장치에 있어서, LM 코딩된 블록이, 상기 LM 코딩된 블록의 루마 픽셀들 및 크로마 픽셀들에 관한 선형 모델과 연관된 상기 LM 코딩된 블록의 LM 파라미터 세트를 도출하기 위해 상기 LM 코딩된 블록의 최상부 영역 및 좌부 영역을 포함하는 이웃하는 재구성된 영역들을 정상적으로 사용하고, 상기 LM 코딩된 블록의 최상부 영역은 최상부의 이웃하는 재구성된 루마 샘플들의 N개의 최상부 라인들을 포함하고, 상기 LM 코딩된 블록의 좌부 영역은 좌부의 이웃하는 재구성된 루마 샘플들의 N개의 좌부 라인들을 포함하고, N은 1보다 큰 값을 포함하는 범위로부터 선택된 정수이고, 상기 장치는 하나 이상의 전자부(electronic) 또는 프로세서를 포함하고, 상기 하나 이상의 전자부 또는 프로세서는,
    인코더측 또는 디코더측에서 입력 데이터를 수신하도록 - 상기 입력 데이터는 상기 인코더측에서 인코딩될 현재 블록과 연관된 픽셀 데이터 또는 상기 디코더측에서 디코딩될 상기 현재 블록과 연관된 압축된 데이터를 포함함 - ;
    상기 현재 블록의 현재 최상부 영역 또는 현재 좌부 영역이 제한된 경계를 건너서 있을 때:
    감소된 이웃하는 재구성된 영역들 내의 상기 루마 픽셀들 및 상기 크로마 픽셀들에 기반하여 상기 현재 블록에 대한 현재 LM 파라미터 세트를 도출하도록 - 상기 감소된 이웃하는 재구성된 영역들은, 상기 현재 최상부 영역이 상기 제한된 경계를 건너서 있으면 최상부의 이웃하는 재구성된 루마 샘플들의 N개보다 적은 최상부 라인들을 갖는 감소된 최상부 영역 또는 상기 현재 좌부 영역이 상기 제한된 경계를 건너서 있으면 좌부의 이웃하는 재구성된 루마 샘플들의 N개보다 적은 좌부 라인들을 갖는 감소된 좌부 영역을 포함함 - ;
    상기 현재 블록의 루마 픽셀들 및 상기 현재 LM 파라미터 세트에 따라 상기 현재 블록의 크로마 픽셀들에 대한 교차 색상 인트라 예측자를 생성하도록; 그리고
    상기 교차 색상 인트라 예측자를 사용하여 상기 현재 블록의 크로마 픽셀들을 인코딩하거나 디코딩하도록
    배열되고,
    상기 현재 블록의 최상부 영역은 상기 현재 블록의 상부 영역(above area), 상부와 우상부 영역(above-right area), 또는 우상부 영역에 대응하고, 상기 현재 블록의 좌부 영역은, 상기 현재 블록의 i) 좌측에 인접한 영역, ii) 좌측에 인접한 영역과 좌하부 영역(left-bottom area), 또는 iii) 좌하부 영역에 대응하며,
    상기 제한된 경계는 CTU(coding tree unit) 경계, 슬라이스 경계, 타일 경계, 타일 그룹 경계, 또는 픽처 경계에 대응하는 것인, 비디오 인코더 또는 디코더 내의 재구성된 픽셀들에 기반한 교차 색상 인트라 예측을 위한 장치.
  7. 다른 색상 성분(color component)의 재구성된 픽셀들에 기반한 교차 색상 인트라 예측의 방법에 있어서, LM 코딩된 블록이, 상기 LM 코딩된 블록의 루마 픽셀들 및 크로마 픽셀들에 관한 선형 모델과 연관된 상기 LM 코딩된 블록의 LM 파라미터 세트를 도출하기 위해 상기 LM 코딩된 블록의 최상부 영역 및 좌부 영역을 포함하는 이웃하는 재구성된 영역들을 정상적으로 사용하고, 상기 방법은,
    인코더측 또는 디코더측에서 입력 데이터를 수신하는 단계 - 상기 입력 데이터는 상기 인코더측에서 인코딩될 현재 블록과 연관된 픽셀 데이터 또는 상기 디코더측에서 디코딩될 상기 현재 블록과 연관된 압축된 데이터를 포함함 - ;
    상기 현재 블록의 현재 최상부 영역 또는 현재 좌부 영역이 제한된 경계를 건너서 있을 때:
    수정(modify)된 이웃하는 재구성된 영역 내의 상기 루마 픽셀들 및 상기 크로마 픽셀들에 기반하여 상기 현재 블록에 대한 현재 LM 파라미터 세트를 도출하는 단계 - 상기 수정된 이웃하는 재구성된 영역은, 상기 현재 최상부 영역이 상기 제한된 경계를 건너서 있으면 상기 현재 블록의 좌부만의 이웃하는 재구성된 픽셀들 또는 상기 현재 좌부 영역이 상기 제한된 경계를 건너서 있으면 상기 현재 블록의 최상부만의 이웃하는 재구성된 픽셀들을 포함함 - ;
    상기 현재 블록의 루마 픽셀들 및 상기 현재 LM 파라미터 세트에 따라 상기 현재 블록의 크로마 픽셀들에 대한 교차 색상 인트라 예측자를 생성하는 단계; 및
    상기 교차 색상 인트라 예측자를 사용하여 상기 현재 블록의 크로마 픽셀들을 인코딩하거나 디코딩하는 단계
    를 포함하고, 상기 현재 블록의 최상부 영역은 상기 현재 블록의 상부 영역(above area), 상부와 우상부 영역(above-right area), 또는 우상부 영역에 대응하고, 상기 현재 블록의 좌부 영역은, 상기 현재 블록의 i) 좌측에 인접한 영역, ii) 좌측에 인접한 영역과 좌하부 영역(left-bottom area), 또는 iii) 좌하부 영역에 대응하며,
    상기 제한된 경계는 CTU(coding tree unit) 경계, 슬라이스 경계, 타일 경계, 타일 그룹 경계, 또는 픽처 경계에 대응하는 것인, 다른 색상 성분의 재구성된 픽셀들에 기반한 교차 색상 인트라 예측의 방법.
  8. 제 7 항에 있어서, 상기 현재 블록의 좌부만의 이웃하는 재구성된 픽셀들은 상기 현재 블록의 좌부 영역보다 추가의 좌부 라인들을 갖는 확장된 좌부 영역에 대응하거나; 또는 상기 현재 블록의 최상부만의 이웃하는 재구성된 픽셀들은 상기 현재 블록의 최상부 영역보다 추가의 최상부 라인들을 갖는 확장된 최상부 영역에 대응하는 것인, 방법.
  9. 제 7 항에 있어서, 상기 현재 블록의 좌부만의 이웃하는 재구성된 픽셀들은 상기 현재 블록의 좌부 영역에 대응하거나; 또는 상기 현재 블록의 최상부만의 이웃하는 재구성된 픽셀들은 상기 현재 블록의 최상부 영역에 대응하는 것인, 방법.
  10. 제 9 항에 있어서, 상기 현재 블록의 좌부만의 이웃하는 재구성된 픽셀들 또는 상기 현재 블록의 최상부만의 이웃하는 재구성된 픽셀들은 다수의 라인들을 포함하고, 상기 현재 블록의 좌부만의 이웃하는 재구성된 픽셀들 또는 상기 현재 블록의 최상부만의 이웃하는 재구성된 픽셀들의 어느 라인 또는 어느 라인들이 상기 현재 블록에 대한 현재 LM 파라미터 세트를 도출하는 단계를 위해 사용되는지를 표시하기 위해 신택스(syntax)가 시그널링되는 것인, 방법.
  11. 삭제
  12. 삭제
  13. 비디오 인코더 또는 디코더 내의 다른 색상 성분의 재구성된 픽셀들에 기반한 교차 색상 인트라 예측을 위한 장치에 있어서, LM 코딩된 블록이, 상기 LM 코딩된 블록의 루마 픽셀들 및 크로마 픽셀들에 관한 선형 모델과 연관된 상기 LM 코딩된 블록의 LM 파라미터 세트를 도출하기 위해 상기 LM 코딩된 블록의 최상부 영역 및 좌부 영역을 포함하는 이웃하는 재구성된 영역들을 정상적으로 사용하고, 상기 장치는 하나 이상의 전자부 또는 프로세서를 포함하고, 상기 하나 이상의 전자부 또는 프로세서는,
    인코더측 또는 디코더측에서 입력 데이터를 수신하도록 - 상기 입력 데이터는 상기 인코더측에서 인코딩될 현재 블록과 연관된 픽셀 데이터 또는 상기 디코더측에서 디코딩될 상기 현재 블록과 연관된 압축된 데이터를 포함함 - ;
    상기 현재 블록의 현재 최상부 영역 또는 현재 좌부 영역이 제한된 경계를 건너서 있을 때:
    수정된 이웃하는 재구성된 영역 내의 상기 루마 픽셀들 및 상기 크로마 픽셀들에 기반하여 상기 현재 블록에 대한 현재 LM 파라미터 세트를 도출하도록 - 상기 수정된 이웃하는 재구성된 영역은, 상기 현재 최상부 영역이 상기 제한된 경계를 건너서 있으면 상기 현재 블록의 좌부만의 이웃하는 재구성된 픽셀들 또는 상기 현재 좌부 영역이 상기 제한된 경계를 건너서 있으면 상기 현재 블록의 최상부만의 이웃하는 재구성된 픽셀들을 포함함 - ;
    상기 현재 블록의 루마 픽셀들 및 상기 현재 LM 파라미터 세트에 따라 상기 현재 블록의 크로마 픽셀들에 대한 교차 색상 인트라 예측자를 생성하도록; 그리고
    상기 교차 색상 인트라 예측자를 사용하여 상기 현재 블록의 크로마 픽셀들을 인코딩하거나 디코딩하도록
    배열되고,
    상기 현재 블록의 최상부 영역은 상기 현재 블록의 상부 영역(above area), 상부와 우상부 영역(above-right area), 또는 우상부 영역에 대응하고, 상기 현재 블록의 좌부 영역은, 상기 현재 블록의 i) 좌측에 인접한 영역, ii) 좌측에 인접한 영역과 좌하부 영역(left-bottom area), 또는 iii) 좌하부 영역에 대응하며,
    상기 제한된 경계는 CTU(coding tree unit) 경계, 슬라이스 경계, 타일 경계, 타일 그룹 경계, 또는 픽처 경계에 대응하는 것인, 비디오 인코더 또는 디코더 내의 다른 색상 성분의 재구성된 픽셀들에 기반한 교차 색상 인트라 예측을 위한 장치.
  14. 다중 LM 모드들을 사용하는 재구성된 픽셀들에 기반한 교차 색상 인트라 예측의 방법에 있어서, 상기 다중 LM 모드들은, 다중 LM 모드들 코딩된 블록의 좌부만의 이웃하는 재구성된 픽셀들을 사용하는 좌부만의 모드, 상기 다중 LM 모드들 코딩된 블록의 최상부만의 이웃하는 재구성된 픽셀들을 사용하는 최상부만의 모드, 상기 다중 LM 모드들 코딩된 블록의 좌부의 이웃하는 재구성된 픽셀들 및 최상부의 이웃하는 재구성된 픽셀들 둘 다를 사용하는 좌부+최상부 모드를 포함하고, 상기 방법은,
    인코더측 또는 디코더측에서 입력 데이터를 수신하는 단계 - 상기 입력 데이터는 상기 인코더측에서 인코딩될 현재 블록과 연관된 픽셀 데이터 또는 상기 디코더측에서 디코딩될 상기 현재 블록과 연관된 압축된 데이터를 포함함 - ;
    상기 현재 블록의 현재 좌부의 이웃하는 재구성된 픽셀들 또는 현재 최상부의 이웃하는 재구성된 픽셀들이 제한된 경계를 건너서 있을 때:
    상기 현재 블록의 현재 좌부의 이웃하는 재구성된 픽셀들이 상기 제한된 경계를 건너서 있으면 상기 좌부만의 모드를 제외시키거나, 또는 상기 현재 블록의 현재 최상부의 이웃하는 재구성된 픽셀들이 상기 제한된 경계를 건너서 있으면 상기 최상부만의 모드를 제외시킴으로써, 감소된 다중 LM 모드들의 세트를 도출하는 단계; 및
    상기 감소된 다중 LM 모드들의 세트를 사용하여 상기 현재 블록의 크로마 픽셀들을 인코딩하거나 디코딩하는 단계
    를 포함하고, 상기 현재 블록의 최상부는 상기 현재 블록의 상부 영역(above area), 상부와 우상부 영역(above-right area), 또는 우상부 영역에 대응하고, 상기 현재 블록의 좌부는, 상기 현재 블록의 i) 좌측에 인접한 영역, ii) 좌측에 인접한 영역과 좌하부 영역(left-bottom area), 또는 iii) 좌하부 영역에 대응하며,
    상기 제한된 경계는 CTU(coding tree unit) 경계, 슬라이스 경계, 타일 경계, 타일 그룹 경계, 또는 픽처 경계에 대응하는 것인, 다중 LM 모드들을 사용하는 재구성된 픽셀들에 기반한 교차 색상 인트라 예측의 방법.
  15. 제 14 항에 있어서, 상기 감소된 다중 LM 모드들의 세트는 또한, 상기 현재 블록의 현재 좌부의 이웃하는 재구성된 픽셀들이 상기 제한된 경계를 건너서 있으면 상기 좌부만의 모드를 제외시키고, 상기 현재 블록의 현재 최상부의 이웃하는 재구성된 픽셀들이 상기 제한된 경계를 건너서 있으면 상기 최상부만의 모드를 제외시키는 것인, 방법.
  16. 다중 LM 모드들을 사용하는 재구성된 픽셀들에 기반한 교차 색상 인트라 예측의 방법에 있어서, 상기 다중 LM 모드들은, 다중 LM 모드들 코딩된 블록의 좌부만의 이웃하는 재구성된 픽셀들을 사용하는 좌부만의 모드, 상기 다중 LM 모드들 코딩된 블록의 최상부만의 이웃하는 재구성된 픽셀들을 사용하는 최상부만의 모드, 상기 다중 LM 모드들 코딩된 블록의 좌부의 이웃하는 재구성된 픽셀들 및 최상부의 이웃하는 재구성된 픽셀들 둘 다를 사용하는 좌부+최상부 모드를 포함하고, 상기 방법은,
    인코더측 또는 디코더측에서 입력 데이터를 수신하는 단계 - 상기 입력 데이터는 상기 인코더측에서 인코딩될 현재 블록과 연관된 픽셀 데이터 또는 상기 디코더측에서 디코딩될 상기 현재 블록과 연관된 압축된 데이터를 포함함 - ;
    상기 현재 블록의 현재 좌부의 이웃하는 재구성된 픽셀들 또는 현재 최상부의 이웃하는 재구성된 픽셀들이 제한된 경계를 건너서 있을 때:
    상기 현재 블록의 현재 좌부의 이웃하는 재구성된 픽셀들이 상기 제한된 경계를 건너서 있으면 상기 좌부만의 모드를 제외시키거나, 또는 상기 현재 블록의 현재 최상부의 이웃하는 재구성된 픽셀들이 상기 제한된 경계를 건너서 있으면 상기 최상부만의 모드를 제외시킴으로써, 감소된 다중 LM 모드들의 세트를 도출하는 단계; 및
    상기 감소된 다중 LM 모드들의 세트를 사용하여 상기 현재 블록의 크로마 픽셀들을 인코딩하거나 디코딩하는 단계
    를 포함하고, 상기 현재 블록의 최상부는 상기 현재 블록의 상부 영역(above area), 상부와 우상부 영역(above-right area), 또는 우상부 영역에 대응하고, 상기 현재 블록의 좌부는, 상기 현재 블록의 i) 좌측에 인접한 영역, ii) 좌측에 인접한 영역과 좌하부 영역(left-bottom area), 또는 iii) 좌하부 영역에 대응하며,
    상기 좌부만의 모드를 제외시키는 것 또는 상기 최상부만의 모드를 제외시키는 것은 표시자를 시그널링하지 않고 암시적으로(implicitly) 표시되는 것인, 방법.
  17. 비디오 인코더 또는 디코더 내의 다중 LM 모드들을 사용하는 재구성된 픽셀들에 기반한 교차 색상 인트라 예측을 위한 장치에 있어서, 상기 다중 LM 모드들은, 다중 LM 모드들 코딩된 블록의 좌부만의 이웃하는 재구성된 픽셀들을 사용하는 좌부만의 모드, 상기 다중 LM 모드들 코딩된 블록의 최상부만의 이웃하는 재구성된 픽셀들을 사용하는 최상부만의 모드, 상기 다중 LM 모드들 코딩된 블록의 좌부의 이웃하는 재구성된 픽셀들 및 최상부의 이웃하는 재구성된 픽셀들 둘 다를 사용하는 좌부+최상부 모드를 포함하고, 상기 장치는 하나 이상의 전자부 또는 프로세서를 포함하고, 상기 하나 이상의 전자부 또는 프로세서는,
    인코더측 또는 디코더측에서 입력 데이터를 수신하도록 - 상기 입력 데이터는 상기 인코더측에서 인코딩될 현재 블록과 연관된 픽셀 데이터 또는 상기 디코더측에서 디코딩될 상기 현재 블록과 연관된 압축된 데이터를 포함함 - ;
    상기 현재 블록의 현재 좌부의 이웃하는 재구성된 픽셀들 또는 현재 최상부의 이웃하는 재구성된 픽셀들이 제한된 경계를 건너서 있을 때:
    상기 현재 블록의 현재 좌부의 이웃하는 재구성된 픽셀들이 상기 제한된 경계를 건너서 있으면 상기 좌부만의 모드를 제외시키거나, 또는 상기 현재 블록의 현재 최상부의 이웃하는 재구성된 픽셀들이 상기 제한된 경계를 건너서 있으면 상기 최상부만의 모드를 제외시킴으로써, 감소된 다중 LM 모드들의 세트를 도출하도록; 그리고
    상기 감소된 다중 LM 모드들의 세트를 사용하여 상기 현재 블록의 크로마 픽셀들을 인코딩하거나 디코딩하도록
    배열되고,
    상기 현재 블록의 최상부는 상기 현재 블록의 상부 영역(above area), 상부와 우상부 영역(above-right area), 또는 우상부 영역에 대응하고, 상기 현재 블록의 좌부는, 상기 현재 블록의 i) 좌측에 인접한 영역, ii) 좌측에 인접한 영역과 좌하부 영역(left-bottom area), 또는 iii) 좌하부 영역에 대응하며,
    상기 제한된 경계는 CTU(coding tree unit) 경계, 슬라이스 경계, 타일 경계, 타일 그룹 경계, 또는 픽처 경계에 대응하는 것인, 비디오 인코더 또는 디코더 내의 다중 LM 모드들을 사용하는 재구성된 픽셀들에 기반한 교차 색상 인트라 예측을 위한 장치.
KR1020207033849A 2018-04-24 2019-04-23 비디오 코딩에서의 제한된 선형 모델 파라미터 도출을 위한 방법 및 장치 KR102481051B1 (ko)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201862661661P 2018-04-24 2018-04-24
US62/661,661 2018-04-24
US201862699015P 2018-07-17 2018-07-17
US62/699,015 2018-07-17
PCT/CN2019/083808 WO2019206115A1 (en) 2018-04-24 2019-04-23 Method and apparatus for restricted linear model parameter derivation in video coding

Publications (2)

Publication Number Publication Date
KR20210016355A KR20210016355A (ko) 2021-02-15
KR102481051B1 true KR102481051B1 (ko) 2022-12-23

Family

ID=68293486

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020207033849A KR102481051B1 (ko) 2018-04-24 2019-04-23 비디오 코딩에서의 제한된 선형 모델 파라미터 도출을 위한 방법 및 장치

Country Status (4)

Country Link
EP (1) EP3785437A4 (ko)
KR (1) KR102481051B1 (ko)
TW (1) TWI716860B (ko)
WO (1) WO2019206115A1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113497937B (zh) * 2020-03-20 2023-09-05 Oppo广东移动通信有限公司 图像编码方法、图像解码方法及相关装置

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9288500B2 (en) * 2011-05-12 2016-03-15 Texas Instruments Incorporated Luma-based chroma intra-prediction for video coding
US9693070B2 (en) * 2011-06-24 2017-06-27 Texas Instruments Incorporated Luma-based chroma intra-prediction for video coding
CN103918269B (zh) * 2012-01-04 2017-08-01 联发科技（新加坡）私人有限公司 色度帧内预测方法及装置
CN104871537B (zh) * 2013-03-26 2018-03-16 联发科技股份有限公司 色彩间帧内预测的方法
KR101530782B1 (ko) * 2013-12-03 2015-06-22 연세대학교 산학협력단 영상 부호화 및 복호화 방법, 장치 및 시스템
US10455249B2 (en) * 2015-03-20 2019-10-22 Qualcomm Incorporated Downsampling process for linear model prediction mode
WO2017139937A1 (en) * 2016-02-18 2017-08-24 Mediatek Singapore Pte. Ltd. Advanced linear model prediction for chroma coding
US10484712B2 (en) * 2016-06-08 2019-11-19 Qualcomm Incorporated Implicit coding of reference line index used in intra prediction
US10652575B2 (en) * 2016-09-15 2020-05-12 Qualcomm Incorporated Linear model chroma intra prediction for video coding

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
Benjamin Bross et al, CE3: Multiple reference line intra prediction (Test 5.4.1, 5.4.2, 5.4.3 and 5.4.4), JVET of ITU-T and ISO/IEC 11th Meeting, JVET-K0051 version 1(2018.07.02.)
Geert Van der Auwera et al, Description of Core Experiment 3: Intra Prediction and Mode Coding, JVET of ITU-T and ISO/IEC 10th Meeting, JVET-J1023 version 1(2018.04.20.)
Jianle Chen et al. Algorithm Description of Joint Exploration Test Model 4, JVET of ITU-T and ISO/IEC 4th Meeting, JVET-D1001_v1(2016.11.19.)
M. Albrecht et al, Description of SDR, HDR, and 360° video coding technology proposal by Fraunhofer HHI, JVET of ITU-T and ISO/IEC 10th Meeting, JVET-J0014 version 4(2018.04.12.)
Po-Han Lin et al, Multiple reference line intra prediction based on JEM7.0, JVET of ITU-T and ISO/IEC 10th Meeting, JVET-J0070 version 2(2018.04.14.)

Also Published As

Publication number Publication date
EP3785437A4 (en) 2022-04-20
EP3785437A1 (en) 2021-03-03
TW202005375A (zh) 2020-01-16
WO2019206115A1 (en) 2019-10-31
KR20210016355A (ko) 2021-02-15
TWI716860B (zh) 2021-01-21

Similar Documents

Publication Publication Date Title
CN107211121B (zh) 视频编码方法与视频解码方法
US10701355B2 (en) Method and apparatus of directional intra prediction
TWI627855B (zh) 視頻編碼之色度分量之增強幀內預測的方法與裝置
KR101708985B1 (ko) 루마 기반 크로마 인트라 예측의 방법 및 장치
EP3205092B1 (en) Intra block copy prediction restrictions for parallel processing
US9736487B2 (en) Method of cross color intra prediction
US10887587B2 (en) Distance weighted bi-directional intra prediction
CN113228644B (zh) 带有约束的亮度-色度单独的编码树编码的方法和设备
US11272182B2 (en) Methods and apparatus of alternative transform skip mode for image and video coding
KR20200051831A (ko) 비디오 코딩을 위한 가이드된 크로스-컴포넌트 예측 방법
US20140119439A1 (en) Method and apparatus of intra mode coding
CA2964642A1 (en) Method of improved directional intra prediction for video coding
KR20140005257A (ko) 기하학적 기반 인트라 예측을 위한 방법 및 장치
CN108055536B (zh) 帧内编码将像素指定给各组的块的方法和装置
JP2013541303A (ja) 改良されたイントラ予測モード符号化の方法及び装置
KR20190087512A (ko) 미리 결정된 방향성 인트라 예측 모드들의 세트를 확장하기 위한 인트라 예측 장치
US10178405B2 (en) Enhanced coding and decoding using intra block copy mode
CN110999295B (zh) 边界强制分区的改进
WO2017008679A1 (en) Method and apparatus of advanced intra prediction for chroma components in video and image coding
CN112997481B (zh) 带有约束的亮度-色度单独的编码树编解码的方法和设备
TWI719612B (zh) 圖像和視訊處理中產生mpm 以進行幀內預測的方法和裝置
TWI749420B (zh) 在區塊分割中條件式編碼或解碼視訊區塊的方法和裝置
US20190037216A1 (en) Video signal encoding/decoding method and apparatus for same
TW201919400A (zh) 用於圖像和視訊編解碼的畫面內預測融合的方法和裝置
US20200351511A1 (en) Method and device for video coding using various transform techniques

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
N231 Notification of change of applicant
E701 Decision to grant or registration of patent right
GRNT Written decision to grant