KR101752612B1 - 비디오 코딩을 위한 샘플 적응적 오프셋 프로세싱의 방법 - Google Patents

비디오 코딩을 위한 샘플 적응적 오프셋 프로세싱의 방법 Download PDF

Info

Publication number
KR101752612B1
KR101752612B1 KR1020167000807A KR20167000807A KR101752612B1 KR 101752612 B1 KR101752612 B1 KR 101752612B1 KR 1020167000807 A KR1020167000807 A KR 1020167000807A KR 20167000807 A KR20167000807 A KR 20167000807A KR 101752612 B1 KR101752612 B1 KR 101752612B1
Authority
KR
South Korea
Prior art keywords
sao
value
offset
reconstructed pixel
sign
Prior art date
Application number
KR1020167000807A
Other languages
English (en)
Other versions
KR20160019531A (ko
Inventor
시이타 시앙
유웬 후앙
Original Assignee
에이치에프아이 이노베이션 인크.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 에이치에프아이 이노베이션 인크. filed Critical 에이치에프아이 이노베이션 인크.
Publication of KR20160019531A publication Critical patent/KR20160019531A/ko
Application granted granted Critical
Publication of KR101752612B1 publication Critical patent/KR101752612B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/147—Data rate or code amount at the encoder output according to rate distortion criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/567—Motion estimation based on rate distortion criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/91—Entropy coding, e.g. variable length coding [VLC] or arithmetic coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

성능을 개선하기 위해 비디오 코딩 시스템에서 재구성된 화상에 대한 변형된 샘플 적응적 오프셋(sample adaptive offset; SAO) 프로세싱의 방법이 개시된다. 일 실시예에서, SAO 사인 문턱값은 현재 재구성된 픽셀과 이웃 재구성된 픽셀 간의 차이의 사인을 결정하도록 도입된다. 음의 SAO 사인 문턱값보다 크고 양의 SAO 사인 문턱값보다 작은 다양한 차이 값들이 0의 사인 값을 갖도록 할당된다. 다른 예에서, SAO 오프셋 값은 SAO 비트 시프트 값만큼 좌측 시프트를 절대 SAO 오프셋 값에 적용한 결과와 SAO 오프셋 사인을 곱함으로써 유도된다. 또 다른 예에서, 절대 SAO 오프셋 값은 트렁케이티드 라이스(truncated Rice; TR) 코드들에 의해 코딩되고, 최대 TR 값은 신택스 엘리먼트에 의해 표시된다.

Description

비디오 코딩을 위한 샘플 적응적 오프셋 프로세싱의 방법{METHOD OF SAMPLE ADAPTIVE OFFSET PROCESSING FOR VIDEO CODING}
관련 출원들에 대한 상호참조
본 발명은 2013년 7월 15일 출원되고 발명의 명칭이 "Method and Apparatus for Image and Video Coding with Modified sample adaptive Offset Processing"인 미국 가특허 출원 번호 제61/846,130호를 우선권으로 주장한다. 이 미국 가특허 출원은 그 전체가 참조로서 본원에 포함된다.
기술 분야
본 발명은 샘플 적응적 오프셋(sample adaptive offset; SAO) 프로세싱에 관한 것이다. 특히, 본 발명은 SAO 프로세싱의 성능을 개선하기 위한 수정된 SAO 프로세싱에 관한 것이다.
모션 추정(motion estimation; ME)은 비디오 시퀀스들에 있어서 시간적인 리던던시(temporal redundancy)를 이용하기 위한 효과적인 인터 프레임 코딩 기법(inter frame coding technique)이다. 모션 보상된 인터 프레임 코딩은 다양한 국제 비디오 코딩 표준들에서 폭넓게 사용되었다. 다양한 코딩 표준들에서 채택된 모션 추정은 종종, 모션 벡터 및 코딩 모드와 같은 모션 정보가 각각의 매크로블록 또는 유사한 블록 구성에 대해 결정되는 블록 기반 기법이다. 또한, 화상(picture)이 어떠한 다른 화상도 참조하지 않고 프로세싱되는 인트라 코딩(intra coding)이 또한 적응적으로 적용된다. 인터 예측 또는 인트라 예측 리지듀(residue)들은 보통 압축된 비디오 스트림을 생성하기 위해 변환, 양자화 및 엔트로피 코딩에 의해 추가로 프로세싱된다. 인코딩 프로세스 동안, 코딩 아티팩트(coding artifact)들이 특히 양자화 프로세스에서 도입된다. 코딩 아티팩트들을 완화하기 위해, 부가적인 프로세싱이 더 새로운 코딩 시스템에서 화상 품질을 강화하도록 재구성된 비디오에 적용된다. 부가적인 프로세싱은, 인코더 및 디코더가 개선된 시스템 성능을 달성하기 위해 동일한 기준 화상들을 유도할 수 있도록 인루프 동작(in loop operation)에서 구성된다. 고효율 비디오 코딩(High Efficiency Video Coding; HEVC)은 비디오 코딩에 관한 공동협력 팀(Joint Collaborative Team on Video Coding; JCT VC) 하에서 개발된 신세대 국제 비디오 코딩 표준이다.
도 1은 적응적 인터/인트라 예측을 이용하는 고효율 비디오 코딩(HEVC)에 기초한 비디오 인코더에 대한 예시적인 시스템 블록도를 예시한다. 시스템에서, 화상은 다수의 오버랩되지 않는 최대 코딩 유닛 또는 이른바 코딩 트리 블록(coding tree block; CTB)들로 분할된다. 인터 예측에 대해, 모션 추정(ME)/모션 보상(motion compensation; MC)(112)은 다른 화상 또는 화상들로부터의 비디오 데이터에 기초하여 예측 데이터를 제공하는데 사용된다. 스위치(114)는 ME/MC(112)로부터 인터 예측 데이터, 또는 인트라 예측(110)으로부터 인트라 예측 데이터를 선택한다. 선택된 예측 데이터(136)는 리지듀들이라고도 불리우는 예측 에러들을 형성하기 위해 입력 비디오 데이터로부터 감산되도록 가산기(116)에 공급된다. 예측 에러는 이어서 변환(T)(118)에 이어 양자화(Q)(120)에 의해 프로세싱된다. 변환되고 양자화된 리지듀들은 이어서 엔트로피 인코더(122)에 의해 코딩되어 압축된 비디오 데이터에 대응하는 비디오 비트스트림을 형성한다. 변환 계수들과 연관되는 비트스트림은 이어서 모션, 모드 및 이미지 영역과 연관되는 다른 정보와 같은 사이드 정보와 함께 패킹(pack)된다. 사이드 정보는 또한 요구되는 대역폭을 감소시키도록 엔트로피 코딩이 될 수 있다. 이에 따라, 사이드 정보와 연관되는 데이터는 도 1에서 도시된 바와 같이 엔트로피 인코더(122)에 제공된다. 인터 예측 모드가 사용될 때, 기준 화상 또는 화상들은 인코더 엔드(encoder end)에서 또한 재구성되어야 한다. 결과적으로, 변환되고 양자화된 리지듀들은 역 양자화(IQ)(124) 및 역 변환(IT)(126)에 의해 프로세싱되어 리지듀들을 복구한다. 리지듀들은 이어서 비디오 데이터를 재구성하기 위해 재구성(REC)(128)에서 예측 데이터(136)에 역으로(back) 가산된다. 재구성된 비디오 데이터는 기준 화상 버퍼(134)에 저장되고 다른 프레임들의 예측을 위해 사용될 수 있다.
도 1에서 도시된 바와 같이, 인입하는 비디오 데이터는 인코딩 시스템에서 일련의 프로세싱을 겪는다. REC(128)로부터 재구성된 비디오 데이터는 일련의 프로세싱으로 인한 다양한 손상들을 당할 수 있다. 이에 따라, 다양한 인루프 프로세싱은 재구성된 비디오 데이터가 비디오 품질을 개선하기 위해 기준 화상 버퍼(134)에 저장되기 이전에 재구성된 비디오 데이터에 적용된다. 개발되고 있는 고효율 비디오 코딩(HEVC) 표준에서, 디블로킹 필터(DF)(130) 및 샘플 적응적 오프셋(SAO)(131)은 화상 품질을 강화하기 위해 개발되었다. 인루프 필터 정보는 디코더가 요구되는 정보를 적절히 복구할 수 있도록 비트스트림 내에 포함되어야 할 수도 있다. 그러므로 SAO로부터의 인루프 필터 정보는 비트스트림 내로의 포함을 위해 엔트로피 인코더(122)에 제공된다.
현재의 HEVC 표준은 각각의 컬러 컴포넌트에 대한 8비트들 또는 10비트들과 동일한 픽셀 깊이를 갖는 4:0:0 및 4:2:0 화상 샘플링 포맷들만을 지원할 수 있다. 그러나 HEVC의 범위 확장은 UHDTV(Ultra High Definition Television)와 같은 고 신뢰도 레벨의 최근 생겨난 비디오 코딩 애플리케이션들에 대해 개발되고 있다. 확장된 HEVC 표준은 YUV4:2:2, YUV4:4:4 및 RGB4:4:4 화상 포맷들을 추가로 지원할 수 있을 것으로 예상되며, 픽셀 깊이는 각각의 컬러 컴포넌트에 대해 12비트들 및 16비트들을 추가로 지원할 수 있다.
HEVC 표준에서, 샘플 적응적 오프셋(sample adaptive offset; SAO) 프로세싱은 재구성된 화상들의 왜곡을 감소시키는데 활용된다. SAO 프로세싱은 디블로킹 필터링(deblocking filtering; DF) 이후에 수행되고 비디블록 필터링(non deblock filtering; NDF) 동작의 부분이다. 도 2는 디블로킹 필터(DF) 및 SAO를 포함하는 예시적인 HEVC 기반 디코더의 시스템 블록도를 예시한다. 인코더가 비디오 데이터를 재구성하기 위한 로컬 디코더를 포함하기 때문에, 몇몇 디코더 컴포넌트들은 인코더에서 또한 사용된다. 디코더에 대해, 엔트로피 디코더(222)는 리지듀들(residues), 모션 정보 및 다른 제어 데이터에 관련된 코딩된 신택스 엘리먼트들을 파싱 및 복원하는데 사용된다. 스위치(214)는 인트라 예측 또는 인터 예측을 선택하고 선택된 예측 데이터는 복원된 리지듀들과 결합되도록 재구성(REC)(228)에 공급된다. 압축된 비디오 데이터 상에서 엔트로피 디코딩을 수행하는 것 외에도, 엔트로피 디코딩(222)은 또한 사이드 정보(side information)의 엔트로피 디코딩을 담당하고 사이드 정보를 각각의 블록들에 제공한다. 예를 들어, 인트라 모드 정보는 인트라 예측(210)에 제공되고, 인터 모드 정보는 모션 보상(212)에 제공되고, 샘플 적응적 오프셋 정보는 SAO(232)에 제공되고, 리지듀들은 역양자화(224)에 제공된다. 리지듀들은 IQ(224), IT(226) 및 비디오 데이터를 재구성하기 위한 후속 재구성 프로세스에 의해 프로세싱된다. 재차, REC(228)로부터의 재구성된 비디오 데이터는 도 2에서 도시된 바와 같이 IQ(224) 및 IT(226)를 포함하는 일련의 프로세싱을 겪고, 세기 시프트(intensity shift)에 처해진다. 재구성된 비디오 데이터는 추가로 디블로킹 필터(DF)(230) 및 샘플 적응적 오프셋(SAO)(232)에 의해 추가로 프로세싱된다.
SAO의 개념은 재구성된 픽셀들을 그의 이웃 픽셀 값들에 따라 카테고리들로 분류하는 것이다. 각각의 카테고리에는 이어서 비트스트림 내에 코딩된 오프셋 값이 할당되고, 재구성된 신호의 왜곡은 각각의 카테고리의 재구성된 픽셀들에 오프셋을 가산함으로써 감소된다. HEVC 표준에서, SAO 툴은 2개의 종류들의 픽셀 분류 방법들: 대역 오프셋(band offset; BO) 및 에지 오프셋(edge offset; EO)을 지원한다.
BO에 대해, 재구성된 픽셀들은 도 3에서 도시된 바와 같이 픽셀 크기를 양자화함으로써 2개의 대역들로 분류된다. 오프셋 값은 이어서 대역에서 재구성된 픽셀들의 왜곡을 감소시키도록 각각의 대역에 대해 유도될 수 있다. 시작 대역 포지션에 의해 식별되는 오프셋들의 그룹이 선택되고 비트스트림 내에 코딩된다. 각각의 컬러 컴포넌트(루마 또는 크로마)에 대해, SAO 알고리즘은 오버랩하지 않는 영역들로 화상을 분할할 수 있고, 각각의 영역은 BO(시작 대역 포지션을 가짐), 4개의 EO 타입들(클래스들) 및 프로세싱 없음(OFF) 중에서 하나의 SAO 타입을 선택할 수 있다. SAO 파티셔닝은 CTB 기반 프로세싱을 용이하게 하도록 CTB 바운더리들로 정렬될 수 있다. 하나의 화상에서 오프셋 값들의 총 수는 영역 파티션들의 수 및 각각의 영역에 의해 선택된 SAO 타입에 의존한다.
EO에 대해, 재구성된 픽셀들은 도 4에서 도시된 바와 같이 EO 타입에 의해 식별된 방향에 따라 그의 이웃 픽셀들에 현재 픽셀을 비교함으로써 카테고리들로 분류된다. 표 1은 HEVC 에 따른 EO 픽셀 분류에 대한 판단을 나열하며, 여기서 "c"는 분류될 현재 픽셀을 나타낸다. 현재 픽셀"c"에 대한 기존의 HEVC 표준에 따른 카테고리 인덱스(cat_jdx)는 다음에 의해 결정된다:
Figure 112016003415217-pct00001
(1)
Figure 112016003415217-pct00002
(2)
여기서 "c1" 및 "c-1"은 도 4에서 도시된 바와 같이 주어진 EO 타입에 대응하는 이웃 픽셀들이다. 상이한 방향들에 대한 이웃 픽셀들의 선택들을 갖는 4개의 EO 타입들이 또한 도 4에서 도시된다. 오프셋 값은 각각의 카테고리의 모든 픽셀들에 대해 유도된다. 카테고리 인덱스(1 내지 4)에 대응하는 4개의 오프셋 값들은 각각 HEVC에서 하나의 코딩 트리 블록(coding tree block; CTB)에 대해 코딩된다.
Figure 112016003415217-pct00003
EO 분류의 카테고리는 3개의 연속적인 샘플들에 관련되는 몇 개의 물리적 의미를 갖는다. 도 5에서 도시된 바와 같이, 3개의 이웃 픽셀들의 시나리오들이 대응하는 카테고리에 대해 도시된다. 예를 들어, 카테고리 1은 밸리(valley)에 대응하고 카테고리 4는 피크(peak)에 대응한다.
HEVC에서, 화상은 다수의 오버랩하지 않는 코딩 트리 유닛들(CTU들)로 분할되며, 각각의 CTU는 다수의 CTB들로 구성되고 각각의 CTB는 하나의 컬러 컴포넌트에 대한 것이다. 각각의 CTB는 프로세싱 없음(SAO off)을 선택하거나 SAO 타입들 또는 클래스들(즉, 시작 대역 포지션 인덱스를 갖는 BO, 0도 EO, 90도 EO, 135도 EO 및 45도 EO) 중 하나를 적용한다. 사이드 정보를 추가로 감소시키기 위해 현재의 SAO 파라미터들은 도 6에서 도시된 바와 같은 머지 신택스(Merge syntax)를 이용함으로써 그의 상위 또는 좌측 CTB의 SAO 파라미터들을 재사용할 수 있다. SAO 신택스는 sao_merge_left_flag, sao_merge_up_flag, sao_type_idx_luma, sao_type_idx_chroma, sao_eo_class_luma, sao_eo_class_chroma, sao_band_position, sao_offset_abs, 및 sao_offset_sign로 구성된다. 신택스(sao_merge_left_flag)는 현재 CTB가 좌측 CTB의 파라미터들을 재사용한다는 것을 나타낸다. 신택스(sao_merge_up_flag)는 현재 CTB가 상위 CTB의 파라미터들을 재사용한다는 것을 나타낸다. 신택스(sao_type_idx)는 선택된 SAO 타입(즉, 루마 컴포넌트 및 크로마 컴포넌트 각각에 대해 sao_type_idx_luma 및 sao_type_idx_chroma)을 나타낸다. 신택스(sao_eo_class_luma 및 sao_eo_class_ chroma)는 루마 및 크로마 각각에 대해 선택된 EO 타입을 나타낸다. 신택스(sao_band_position)는 선택된 대역들의 시작 대역 포지션을 나타낸다. cldx는 3개의 컬러 컴포넌트들 중 하나를 나타낸다. 또한 SAO 프로세싱은 비디오 데이터의 상이한 컬러 컴포넌트들로 별개로 적용된다. 컬러 컴포넌트들은 (Y, Cb, Cr), (Y, U, V) 또는 (R, G, B)에 대응할 수 있다.
신택스(sao_offset_abs)는 오프셋 크기를 나타내고 신택스(sao_offset_sign)는 오프셋 사인을 나타낸다. 오프셋 값(SaoOffsetVal)은 다음에 따라 결정된다:
Figure 112016003415217-pct00004
(3)
bitDepth는 미가공 픽셀의 각각의 컴포넌트에 대해 사용된 비트들의 수이고, offsetSign는 sao_offset_sign이 1일 때 -1과 동일하고 그렇지 않으면 1과 동일하다. 신택스(sao_offset_abs)는 다음에 의해 주어지는 파라미터들을 갖는 트렁케이티드 라이스(truncated Rice; TR) 이진화 프로세스를 이용하여 기존의 HEVC 표준에 따라 코딩된 엔트로피이다.
Figure 112016003415217-pct00005
(4)
라이스 파라미터(cRiceParam)는 0과 동일하다. 트렁케이티드 라이스 코드는 비디오 코딩에 대한 분야에서 잘 알려져 있다. TR 코드들은 트렁케이티드 유너리(truncated unary; TU) 코드들에 의해 표현되는 프리픽스 및 트렁케이션 없이 고정 길이 코드워드들에 의해 표현되는 잔여 부분을 포함한다.
도 7은, 현재 CTU가 좌측 또는 위의 CTU와 병합되지 않을 때 CTU 레벨 SAO 정보에 대한 코딩 프로세스를 예시한다. EO 클래스들 및 대역 포지션은 SAO 타입 정보를 기술하기 위한 한 종류의 서브 클래스 또는 서브 타입이라는 것에 주의한다.
도 7에서 도시된 바와 같이, SAO 타입 판단은 단계(710)에서 이루어진다. 그것이 EO 타입이면 무사인(unsigned) 루마 오프셋들(712) 및 루마 EO 클래스(714)가 비트스트림 내에 코딩된다. SAO 타입이 BO이면, 유사인(signed) 루마 오프셋(716) 및 루마 대역 포지션(718)이 비트스트림 내에 코딩된다. SAO 타입이 오프(off)이면, 어떠한 다른 SAO 정보도 시그널링되지 않고 프로세스는 단계(720)로 진행된다. 크로마 컴포넌트들에 대해 유사한 SAO 정보가 이어진다. 크로마 컴포넌트들이 EO를 선택하면, 무사인 Cb 오프셋들(722), 크로마 EO 클래스(724) 및 무사인 Cr 오프셋들(726)이 시그널링된다. 크로마 컴포넌트들이 BO를 선택하면, 유사인 Cb 오프셋들(732), Cb 대역 포지션(734), 유사인 Cr 오프셋(736) 및 Cb 대역 포지션(738)이 시그널링된다. SAO 타입이 크로마 컴포넌트들에 대해 오프인 경우, 어떠한 다른 SAO 정보도 시그널링되지 않고 프로세스는 단계(740)로 진행된다.
기존의 HEVC 표준의 SAO 프로세스가 로컬 세기 오프셋을 적응적으로 보상함으로써 성능을 개선할 수 있지만, 전체 효율 타겟을 달성하기 위해, 가능할 때마다 성능을 추가로 개선하는 것이 바람직하다.
성능을 개선하기 위해 비디오 코딩 시스템에서 재구성된 화상에 대한 변형된 SAO(sample adaptive offset) 프로세싱의 방법이 개시된다. 일 실시예에서, SAO 사인 문턱값은 현재 재구성된 픽셀과 이웃 재구성된 픽셀 간의 차이의 사인을 결정하도록 도입된다. 음의 SAO 사인 문턱값보다 크고 양의 SAO 사인 문턱값보다 작은 다양한 차이 값들이 0의 사인 값을 갖도록 할당된다. 2개의 SAO 사인들은 현재 재구성된 픽셀과 2개의 대응하는 이웃 재구성된 픽셀들 간의 2개의 차이들에 대해 결정된다. 현재 재구성된 픽셀에 대한 EO 분류 인덱스는 그 후 2개의 SAO 사인들에 기초하여 결정된다. 현재 재구성된 픽셀은 그 후 상응하게 SAO 보상된다. 현재 재구성된 픽셀과 2개의 이웃 재구성된 픽셀들은 수평 방향, 수직 방향, 45도 대각 방향 또는 135도 대각 방향의 3개의 연속적인 픽셀들에 대응한다. SAO 사인 문턱값에 대응하는 신택스 엘리먼트는 슬라이스 헤더와 같은 비트스트림 내에 시그널링된다. SAO 사인 문턱값은 레이트 왜곡 최적화(rate distortion optimization; RDO) 프로시저에 따라 비디오 코딩 시스템의 인코더 측에서 결정될 수 있다.
다른 실시예에서, 현재 재구성된 픽셀에 대한 EO 분류 인덱스 또는 BO 시작 대역 포지션과 연관되는 SAO 오프셋 값은 SAO 오프셋 사인, 절대 SAO 오프셋 값 및 SAO 비트 시프트 값에 따라 결정될 수 있으며, SAO 오프셋 값은, SAO 비트 시프트 값만큼 절대 SAO 오프셋 값에 대해 좌측 시프트를 적용한 결과와 SAO 오프셋 사인을 곱함으로써 유도된다. SAO 비트 시프트 값은, 현재 재구성된 픽셀과 연관된 양자화 파라미터들(quantization parameters; QP)이 제 1 문턱값보다 작을 때 0으로 세팅될 수 있으며, 제 1 문턱값은 비디오 데이터의 비트 깊이에 의존한다. SAO 비트 시프트 값에 대응하는 신택스 엘리먼트는 슬라이스 헤더와 같은 비트스트림 내에 시그널링될 수 있다.
또 다른 실시예에서, 절대 SAO 오프셋 값은 트렁케이티드 라이스(truncated Rice; TR) 코드들에 의해 코딩되고, 최대 TR 값은 신택스 엘리먼트에 의해 표시된다. 별개의 최대 TR 값들은 비디오 코딩 시스템에 대한 비디오 데이터의 상이한 컬러 컴포넌트들에 대해 사용될 수 있다. 최대 TR 값에 대한 신택스 엘리먼트는 비트스트림의 화상 레벨 또는 슬라이스 레벨에 시그널링될 수 있다. 최대 TR 값은 레이트 왜곡 최적화(rate distortion optimization; RDO) 프로시저에 따라 비디오 코딩 시스템의 인코더 측에서 결정된다.
위의 개별 변형된 SAO 프로세싱이 또한 결합될 수 있다.
도 1은 샘플 적응적 오프셋(sample adaptive offset; SAO) 프로세싱을 포함하는 고효율 비디오 코딩(High Efficiency Video Coding; HEVC) 표준에 기초한 예시적인 비디오 인코딩 시스템의 블록도를 예시한다.
도 2는 샘플 적응적 오프셋(sample adaptive offset; SAO) 프로세싱을 포함하는 고효율 비디오 코딩(High Efficiency Video Coding; HEVC) 표준에 기초한 예시적인 비디오 디코딩 시스템의 블록도를 예시한다.
도 3은 고효율 비디오 코딩(High Efficiency Video Coding; HEVC) 표준에 의해 사용되는 대역 오프셋(band offset; BO)에 따라 다수의 대역들로 세기들을 파티셔닝하는 것에 의한 샘플 적응적 오프셋(sample adaptive offset; SAO) 프로세싱을 예시한다.
도 5는 고효율 비디오 코딩(High Efficiency Video Coding; HEVC) 표준에 의해 사용되는 0도, 90도, 135도 및 45도에 대응하는 4개의 에지 오프셋(edge offset; EO) 타입들을 예시한다.
도 5는 다양한 EO 카테고리들에 대응하는 예시적인 이웃 픽셀 특성들을 예시한다.
도 6은 현재 CTU(coding tree unit)가 좌측 또는 위의 CTU의 SAO 파라미터들을 재사용할 수 있는 경우 이웃 블록들과의 SAO 정보 공유를 예시한다.
도 7은 현재 CTU가 좌측 또는 위의 CTU와 병합되지 않을 때 CTU 레벨 SAO 정보를 전송하기 위한 코딩 프로세스를 예시한다.
도 8은 본 발명의 실시예에 따라 시퀀스 레벨에 SAO 비트 시프트 플래그를 포함시키기 위한 예시적인 신택스 설계를 예시한다.
도 9는 본 발명의 실시예에 따라 슬라이스 헤더에 루마 및 크로마 컴포넌트들에 대한 SAO 비트 시프트 값들을 포함시키기 위한 예시적인 신택스 설계를 예시한다.
도 10은 본 발명의 실시예에 따라 시퀀스 레벨에 루마 및 크로마 컴포넌트들에 대한 SAO 비트 시프트 값들을 포함시키기 위한 예시적인 신택스 설계를 예시한다.
도 11은 본 발명의 실시예에 따라 SAO 사인 문턱값을 포함하는 변형된 SAO 프로세싱에 대한 예시적인 흐름도를 예시한다.
도 12는 본 발명의 실시예에 따라 변형된 SAO 프로세싱을 포함하는 변형된 SAO 프로세싱에 대한 예시적인 흐름도를 예시하며, 여기서 SAO 오프셋 값은 SAO 비트 시프트 값만큼 좌측 시프트를 절대 SAO 오프셋 값에 적용한 결과와 SAO 오프셋 사인을 곱함으로써 유도된다.
도 13은 본 발명의 실시예에 따라 변형된 SAO 프로세싱을 포함하는 변형된 SAO 프로세싱에 대한 예시적인 흐름도를 예시하며, 여기서 절대 SAO 오프셋 값은 트렁케이티드 라이스(truncated Rice; TR) 코드들에 의해 코딩되고 최대 TR 값은 신택스 엘리먼트에 의해 표시된다.
기존의 고효율 비디오 코딩(High Efficiency Video Coding; HEVC) 표준에서 SAO 프로세싱의 성능을 개선하기 위해, 변형된 SAO 프로세싱이 개시된다. 변형된 SAO 프로세싱은 새로운 신택스 엘리먼트들의 도입과 함께 변형된 프로세싱을 포함한다.
본 발명에 따른 일 실시예에서, 변형된 SAO 사인 결정이 도입된다. 기존의 HEVC 표준에 따른 SAO 사인은 수학식 1 및 2에서 도시된 바와 같이, 직접적으로 현재 샘플(c)과 이웃 샘플(c1 또는 c-1) 간의 근본적인 차이의 사인이다. 그러므로 0값의 근본적인 차이만이 0의 값이 할당되는 그의 대응하는 sao_sign를 갖는다. 본 발명의 실시예들은 SAO 사인 문턱값(sao_sign_thre)을 도입함으로써 0의 값이 할당되는 근본적인 차이의 데이터 범위를 연장한다. 본 발명의 실시예들에 따른 근본적인 차이의 SAO 사인은 다음의 수학식에 따라 결정된다:
Figure 112016003415217-pct00006
(5)
여기서 변수 saoSignThre는 신택스 엘리먼트(sao_sign_thre)에 의해 특정된다.
이에 따라, -saoSignThre보다 크고 saoSignThre보다 더 작은 값을 갖는 근본적인 차이는 0의 값이 할당되는 SAO 사인을 가질 것이다. 동시에, sao_sign 값들(1 및 -1)과 연관되는 데이터 범위들은 감소될 것이다. 신택스 엘리먼트(sao_sign_thre)는 EO 타입에 대한 픽셀 분류를 위해 변형된 SAO 프로세싱에서 활용된다. 적절한 sao_sign_thre 값은 개선된 성능을 달성하도록 시퀀스, 화상, 슬라이스 또는 다른 화상 유닛에 대해 선택될 수 있다. 예를 들어, 인코더는 최상의 성능을 달성하는 sao_sign_thre 값을 결정하도록 레이트 왜곡 프로시저(rate distortion procedure)를 이용할 수 있다. 변형된 SAO 프로세싱에 따라 현재 픽셀"c"에 대한 카테고리 인덱스(cat_idx)는 HEVC 표준과 동일한 방식으로 결정되는데, 즉 다음과 같다:
Figure 112016003415217-pct00007
(6)
다른 실시예에서, 기존의 HEVC 표준의 SAO 프로세싱에 대한 제 2 변형은 SAO 오프셋 값(SaoOffsetVal)의 표현과 관련된다. 신택스 엘리먼트(sao_bit_shift)는 다음과 같이 오프셋 값(SaoOffsetVal)을 표현하기 위해 변형된 SAO 프로세싱에서 활용된다:
Figure 112016003415217-pct00008
(7)
여기서 변수(saoBitShift)는 신택스 엘리먼트(sao_bit_shift)에 의해 특정된다. 다른 한편, 기존의 HEVC 표준에 따라 SaoOffsetVal를 획득하기 위한 좌측 시프트 동작에 대한 값은 (bitDepth - Min(bitDepth,10)이다. 새로운 신택스 엘리먼트(sao_bit_shift)와 함께 SAO 오프셋 값을 획득하기 위한 변형된 SAO 동작은 특히 높은 샘플 비트 깊이에 대한 성능을 개선하는데 도움을 줄 수 있다. SAO 프로세싱에 대한 이러한 제 2 변형은 에지 오프셋(EO), 대역 오프셋(BO), 또는 둘 다에 적용될 수 있다.
본 발명의 실시예에 따라 sao_bit_shift를 시그널링하기 위한 샘플 신택스 설계는 도 8 및 도 9에서 도시된다. 도 8에서, SAO 비트 시프트 플래그(adaptive_sao_bit_shift_active_fiag)는, SAO가 SAO 인에이블 플래그(sample_adaptive_offset_enabled_flag)에 의해 표시된 바와 같이 인에이블될 때 시퀀스 파라미터 세트 RBSP(raw byte sequence payload)에 포함된다. 관련된 신택스 엘리먼트들은 도 8의 참조 번호(810)에 의해 표시된다. SAO 비트 시프트 플래그가 1의 값을 가지면, 이는, sao_luma_bit_shift 및 sao_chroma_bit_shift가 슬라이스 세그먼트 헤더에 존재할 수 있다는 것을 암시한다. SAO 비트 시프트 플래그가 0의 값을 가지면, 이는, sao_luma_bit_shift 및 sao_chroma_bit_shift가 슬라이스 세그먼트 헤더에 존재하지 않는다는 것을 암시한다. 존재하지 않을 때, SAO 비트 시프트 플래그의 값은 0인 것으로 추론된다. 신택스 엘리먼트(sao_luma_bit_shift)는 루마 샘플들에 대한 SAO 오프셋 값들을 유도하는데 사용되는 파를 특정한다. 일 실시예에서, sao_luma_bit_shift의 값은 0부터 BitDepthY-6까지를 포함하는 범위에 있을 수 있다. 존재하지 않을 때, sao_luma_bit_shift의 값은 bitDepth Y - Min( bitDepthY, 10 )인 것으로 추론된다. 신택스 엘리먼트(sao_chroma_bit_shift)는 크로마 샘플들에 대한 SAO 오프셋 값들을 유도하는데 사용되는 파라미터를 특정한다. sao_chroma_bit_shift의 값은 0부터 BitDepthC-6까지를 포함하는 범위에 있을 수 있다. 존재하지 않을 때 sao_chroma_bit_shift의 값은 bitDepthC - Min( bitDepthC, 10 )인 것으로 추론된다. 도 9에서, 그것은 참조 번호(910)에 의해 표시된 바와 같이 슬라이스 세그먼트 헤더에 sao_luma_bit_shift 및 sao_chroma_bit_shift를 포함하는 샘플 신택스 설계를 예시한다.
도 10은 본 발명의 실시예를 포함하는 다른 샘플 신택스 설계를 예시하며, 여기서 sao_luma_bit_shift 및 sao_chroma_bit_shift는 참조 번호(1010)에 의해 표시된 바와 같이 화상 파라미터 세트 RBSP에 포함된다. SAO 비트 시프트는 또한 시퀀스 레벨과 같은 비디오 비트스트림의 다른 위치들에 포함될 수 있다.
HEVC 표준에서, 절대 오프셋 값은 0으로 세팅된 라이스 파라미터(cRiceParam) 및 수학식 4에 따라 최대 가능 값(cMax) 세트로 트렁케이티드 라이스(truncated Rice; TR) 코드들을 이용하여 코딩된다. 본 발명의 실시예에 따라 변형된 SAO 프로세싱은 직접적으로 최대 오프셋 값(cMax)을 표현하기 위한 새로운 신택스 엘리먼트(sao_offset_max)를 이용한다. 아래에서 도시된 바와 같이 특정된 cMax 및 cRiceParam와 관련하여, 신택스 엘리먼트(sao_offset_abs)는 트렁케이티드 라이스(truncated Rice; TR) 이진화 프로세스를 이용하여 상응하게 엔트로피 코딩될 수 있고,
Figure 112016003415217-pct00009
여기서 변수(saoOffsetMax)는 신택스 엘리먼트(sao_offset_max)에 의해 특정된다.
SAO 비트 시프트 값은 현재 재구성된 픽셀과 연관된 양자화 파라미터들(quantization parameters; QP)이 문턱값보다 작을 때 0으로 세팅될 수 있다. 예를 들어, 문턱값은 비디오 데이터의 비트 깊이에 의존할 수 있으며, 여기서 더 작은 문턱값은 더 큰 비트 깊이에 대해 사용될 수 있다.
변형된 SAO 프로세싱에 따라 본 발명의 실시예를 포함하는 비디오 코딩 시스템의 성능은, 각각 다양한 코딩 티어들(메인, 하이 및 수퍼 하이)에서 올 인트라(ALL Intra), 랜덤 액세스(Random Access) 및 로우 딜레이 B(Low Delay B) 화상 코딩 구성들에 대해 표 2 내지 4에서 도시된 바와 같이 HTM 10.0에 기초한 종래 시스템의 성능에 비교된다. BD 레이트 차이들은 개별 비디오 컴포넌트들(Y, U 및 V)에 대해 도시된다. BD 레이트에서 음의 값은, 본 발명이 더 나은 성능을 갖는다는 것을 나타낸다. 표 2 내지 4에서 도시된 바와 같이, 본 발명의 실시예를 포함하는 개별 컴포넌트들(Y, U 및 V)에 대한 BD 레이트들은 0.1% 내지 1.6%만큼 감소된다.
Figure 112016003415217-pct00010
Figure 112016003415217-pct00011
Figure 112016003415217-pct00012
sao_luma_bit_shift 및 sao_chroma_bit_shift를 이용하여 본 발명의 실시예를 포함하는, 16 비트 및 12 비트에서 더 높은 비트 깊이들을 갖는 비디오 코딩 시스템의 성능은 각각 올 인트라 및 로우 딜레이 코딩 구성들에 대해 표 5 및 표 6에서 도시된 바와 같이 HTM 10.0에 기초한 종래의 시스템의 성능에 비교된다. 성능 비교는 제 1 열에서 나열된 상이한 테스트 데이터의 세트들에 기초한다. 표 5에서 도시된 바와 같이, 본 발명의 실시예를 포함하는 개별 컴포넌트들(Y/G, Cb/B 및 Cr/R)에 대한 BD 레이트들은 올 인트라 구성에 대해 종래 HEVC와 대략 동일하다. 그러나 표 6에서 도시된 바와 같이, 본 발명의 실시예를 포함하는, 개별 컴포넌트들(Y/G, Cb/B 및 Cr/R)에 대한 BD 레이트들은 로우 딜레이 B 화상 구성에 대해 0.1% 내지 3.3%만큼 감소된다.
Figure 112016003415217-pct00013
Figure 112016003415217-pct00014
도 11은 본 발명의 실시예에 따른 SAO 사인 문턱값을 이용한 SAO 프로세싱의 예시적인 흐름도를 예시한다. 시스템은 단계(1110)에서 도시된 바와 같이 재구성된 화상과 연관된 입력 데이터를 수신한다. 재구성된 화상은 프로세서로부터 수신되거나 메모리로부터 리트리브(retrieve)될 수 있다. 현재 재구성된 픽셀과 제 1 이웃 재구성된 픽셀 간의 제 1 차이 및 현재 재구성된 픽셀과 제 2 이웃 재구성된 픽셀 간의 제 2 차이가 단계(1120)에서 도시된 바와 같이 결정된다. 제 1 차이 및 SAO 사인 문턱값에 기초한 제 1 SAO 사인이 단계(1130)에서 도시된 바와 같이 결정되며, 여기서 제 1 차이가 SAO 사인 문턱값 이상이면 제 1 SAO 사인은 1과 동일하고, 제 1 차이가 음의 SAO 사인 문턱값 이하이면 제 1 SAO 사인은 -1과 동일하고, 제 1 차이의 절대값이 SAO 사인 문턱값보다 작으면 제 1 SAO 사인은 0과 동일하다. 제 2 차이 및 SAO 사인 문턱값에 기초한 제 2 SAO 사인은 단계(1140)에서 결정되며, 여기서 제 2 차이가 SAO 사인 문턱값 이상이면 제 2 SAO 사인은 1과 동일하고, 제 2 차이가 음의 SAO 사인 문턱값 이하이면 제 2 SAO 사인은 -1과 동일하고, 제 2 차이의 절대값이 SAO 사인 문턱값보다 작으면 제 2 SAO 사인은 0과 동일하다. 현재 재구성된 픽셀에 대한 EO 분류 인덱스는 단계(1150)에서 도시된 바와 같이 제 1 SAO 사인 및 제 2 SAO 사인에 따라 결정된다. 현재 재구성된 픽셀은 그 후 단계(1160)에서 도시된 바와 같이, EO 분류 인덱스와 연관된 SAO 오프셋 값을 현재 재구성된 픽셀에 가산함으로써 보상된다.
도 12는 본 발명의 실시예에 따라 변형된 SAO 프로세싱을 포함하는 변형된 SAO 프로세싱에 대한 예시적인 흐름도를 예시하며, 여기서 SAO 오프셋 값은 SAO 비트 시프트 값 만큼 좌측 시프트를 절대 SAO 오프셋 값에 적용한 결과와 SAO 오프셋을 곱함으로써 유도된다. 재구성된 화상과 연관되는 입력 데이터가 단계(1210)에서 수신된다. 현재 재구성된 픽셀에 대한 EO 분류 인덱스 또는 현재 재구성된 픽셀에 대한 BO용 시작 대역 포지션은 단계(1220)에서 도시된 바와 같이 현재 재구성된 픽셀 및 이웃 재구성된 픽셀들에 기초하여 결정된다. 현재 재구성된 픽셀에 대한 BO 시작 대역 포지션 또는 EO 분류 인덱스와 연관되는 SAO 오프셋 값은 단계(1230)에서 도시된 바와 같이 SAO 오프셋 사인, 절대 SAO 오프셋 값 및 SAO 비트 시프트 값에 따라 결정된다. SAO 오프셋 값은 SAO 비트 시프트 값만큼 좌측 시프트를 절대 SAO 오프셋 값에 적용한 결과와 SAO 오프셋 사인은 곱함으로써 유도된다. 현재 재구성된 픽셀은 그 후 단계(1240)에서 도시된 바와 같이, EO 분류 인덱스 또는 BO 시작 대역 포지션과 연관되는 SAO 오프셋 값을 현재 재구성된 픽셀에 가산함으로써 보상된다.
도 13은 본 발명의 실시예에 따라 변형된 SAO 프로세싱을 포함하는 변형된 SAO 프로세싱에 대한 예시적인 흐름도를 예시하며, 여기서 절대 SAO 오프셋 값은 트렁케이티드 라이스(TR) 코드들에 의해 코딩되고, 최대 TR 값은 신택스 엘리먼트에 의해 표시된다. 재구성된 화상과 연관되는 입력 데이터는 단계(1310)에서 수신된다. EO 분류 인덱스들과 연관되는 SAO 오프셋 값들은 단계(1320)에서 도시된 바와 같이 결정되며, 여기서 각각의 SAO 오프셋 값의 절대값은 트렁케이티드 라이스(TR) 코드들에 의해 코딩되고, 최대 TR 값은 신택스 엘리먼트에 의해 표시된다. 현재 재구성된 픽셀에 대한 현재 EO 분류 인덱스는 단계(1330)에서 도시된 바와 같이 현재 재구성된 픽셀 및 이웃 재구성된 픽셀들에 기초하여 결정된다. 현재 재구성된 픽셀은 그 후 단계(1340)에서 도시된 바와 같이, EO 분류 인덱스와 연관된 SAO 오프셋 값을 현재 재구성된 픽셀에 가산함으로써 보상된다.
위에서 도시된 흐름도들은 본 발명에 따라 수정된 SAO 프로세싱의 예들을 예시하도록 의도된다. 당업자들은 본 발명의 사상으로부터 벗어남 없이 본 발명을 실시하기 위해 각각의 단계를 변형하고, 단계들을 재배열하고, 단계를 분할하거나, 또는 단계들을 결합할 수 있다.
위의 설명은 당업자가, 특정한 애플리케이션 및 그의 요건의 맥락에서 제공되는 바와 같이 본 발명을 실시하는 것을 가능케 하도록 제시된다. 설명된 실시예들에 대한 다양한 변형들이 당업자들에게 자명하게 될 것이고, 본 명세서에서 정의된 일반 원리들은 다른 실시예들에 적용될 수 있다. 그러므로 본 발명은 도시되고 설명된 특정한 실시예들로 제한되도록 의도되는 것이 아니라, 본 명세서에서 개시된 원리들 및 독창적인 특징들에 부합하는 최광의의 범위로 허여될 것이다. 위의 상세한 설명에서, 다양한 특정한 세부사항들은 본 발명의 완전한 이해를 제공하기 위해 예시된다. 그럼에도, 본 발명은 실시될 수 있다는 것이 당업자에 의해 이해될 것이다.
위에서 설명된 바와 같은 본 발명의 실시예는 다양한 하드웨어, 소프트웨어 코드들 또는 이 둘의 결합으로 구현될 수 있다. 예를 들어, 본 발명의 실시예는 본 명세서에서 설명된 프로세싱을 수행하기 위해 비디오 압축 소프트웨어에 통합되는 프로그램 코드 또는 비디오 압축 칩에 통합되는 회로일 수 있다. 본 발명의 실시예는 또한 본 명세서에서 설명된 프로세싱을 수행하기 위해 디지털 신호 프로세서(Digital Signal Processor; DSP) 상에서 실행되는 프로그램 코드일 수 있다. 본 발명은 또한 컴퓨터 프로세서, 디지털 신호 프로세서, 마이크로프로세서, 또는 필드 프로그래밍 가능 게이트 어레이(field programmable gate array; FPGA)에 의해 수행되는 다수의 함수들을 포함할 수 있다. 이들 프로세서들은 본 발명에 의해 실현되는 특정한 방법들을 정의하는 머신 판독 가능한 소프트웨어 코드 또는 펌웨어 코드에 의해 본 발명에 따른 특정한 작업들을 수행하도록 구성될 수 있다. 소프트웨어 코드 또는 펌웨어 코드는 상이한 프로그래밍 언어들 및 상이한 포맷들 또는 스타일들로 개발될 수 있다. 소프트웨어 코드는 상이한 타겟 플랫폼들에 대해 또한 컴파일될 수 있다. 그러나 소프트웨어 코드들의 상이한 코드 포맷들, 스타일들 및 언어들 및 본 발명에 따른 작업들을 수행하도록 코드를 구성하는 다른 수단은 본 발명의 사상 및 범위로부터 벗어나지 않을 것이다.
본 발명은 본 발명의 사상 또는 본질적인 특성들로부터 벗어남 없이 다른 특정한 형태들로 실현될 수 있다. 설명된 예들은 모든 면에서 제한적이 아니라 단지 예시적인 것으로서 고려될 것이다. 본 발명의 범위는 이에 따라 위의 설명에 의해서 보단 첨부된 청구항들에 의해 표시된다. 청구항들의 등가물의 의미 및 범위 내에 있게 되는 모든 변화들은 본 발명의 범위 내에 포함될 것이다.

Claims (20)

  1. 비디오 코딩 시스템을 위한 EO(edge offset) SAO(sample-adaptive offset) 프로세싱의 방법에 있어서,
    재구성된 화상과 연관되는 입력 데이터를 수신하는 단계와,
    현재 재구성된 픽셀과 제 1 이웃 재구성된 픽셀 간의 제 1 차이 및 상기 현재 재구성된 픽셀과 제 2 이웃 재구성된 픽셀 간의 제 2 차이를 결정하는 단계와,
    상기 제 1 차이 및 SAO 사인 문턱값에 기초하여 제 1 SAO 사인을 결정하는 단계로서, 상기 제 1 차이가 상기 SAO 사인 문턱값 이상이면 상기 제 1 SAO 사인은 1과 동일하고, 상기 제 1 차이가 음의 SAO 사인 문턱값 이하이면 상기 제 1 SAO 사인은 -1과 동일하고, 상기 제 1 차이의 절대값이 상기 SAO 사인 문턱값 보다 작으면 상기 제 1 SAO 사인은 0과 동일한, 상기 제 1 SAO 사인을 결정하는 단계와,
    상기 제 2 차이 및 상기 SAO 사인 문턱값에 기초하여 제 2 SAO 사인을 결정하는 단계로서, 상기 제 2 차이가 상기 SAO 사인 문턱값 이상이면 상기 제 2 SAO 사인은 1과 동일하고, 상기 제 2 차이가 상기 음의 SAO 사인 문턱값 이하이면 상기 제 2 SAO 사인은 -1과 동일하고, 상기 제 2 차이의 절대값이 상기 SAO 사인 문턱값 보다 작으면 상기 제 2 SAO 사인은 0과 동일한, 상기 제 2 SAO 사인을 결정하는 단계와,
    상기 제 1 SAO 사인 및 상기 제 2 SAO 사인에 따라 상기 현재 재구성된 픽셀에 대한 EO 분류 인덱스(classification index)를 결정하는 단계와,
    상기 EO 분류 인덱스와 연관되는 SAO 오프셋 값을 상기 현재 재구성된 픽셀에 가산함으로써 상기 현재 재구성된 픽셀을 보상하는 단계
    를 포함하고,
    상기 SAO 사인 문턱값에 대응하는 신택스 엘리먼트(syntax element)는 비트스트림으로 시그널링되는 것인 비디오 코딩 시스템을 위한 EO SAO 프로세싱의 방법.
  2. 제 1 항에 있어서,
    상기 제 1 이웃 재구성된 픽셀, 상기 현재 재구성된 픽셀, 및 상기 제 2 이웃 재구성된 픽셀은, 수평 방향, 수직 방향, 45도 대각 방향 또는 135도 대각 방향의 3개의 연속적인 픽셀들에 대응하는 것인 비디오 코딩 시스템을 위한 EO SAO 프로세싱의 방법.
  3. 삭제
  4. 제 1 항에 있어서,
    상기 SAO 사인 문턱값에 대응하는 신택스 엘리먼트는 상기 비트스트림으로 슬라이스 헤더(slice header)에서 시그널링되는 것인 비디오 코딩 시스템을 위한 EO SAO 프로세싱의 방법.
  5. 제 1 항에 있어서,
    상기 SAO 사인 문턱값은, 레이트 왜곡 최적화(rate-distortion optimization; RDO) 프로시저에 따라 상기 비디오 코딩 시스템의 인코더 측에서 결정되는 것인 비디오 코딩 시스템을 위한 EO SAO 프로세싱의 방법.
  6. 제 1 항에 있어서,
    상기 현재 재구성된 픽셀에 대한 EO 분류 인덱스와 연관되는 SAO 오프셋 값은, SAO 오프셋 사인, 절대 SAO 오프셋 값 및 SAO 비트 시프트 값에 따라 결정되고, 상기 SAO 오프셋 값은, 상기 SAO 비트 시프트 값만큼의 좌측 시프트를 상기 절대 SAO 오프셋 값에 적용한 결과와 상기 SAO 오프셋 사인을 곱함으로써 유도되는 것인 비디오 코딩 시스템을 위한 EO SAO 프로세싱의 방법.
  7. 제 6 항에 있어서,
    상기 SAO 비트 시프트 값에 대응하는 신택스 엘리먼트는 비트스트림으로 시그널링되는 것인 비디오 코딩 시스템을 위한 EO SAO 프로세싱의 방법.
  8. 제 7 항에 있어서,
    상기 SAO 비트 시프트 값에 대응하는 신택스 엘리먼트는 상기 비트스트림으로 슬라이스 헤더에서 시그널링되는 것인 비디오 코딩 시스템을 위한 EO SAO 프로세싱의 방법.
  9. 제 6 항에 있어서,
    상기 절대 SAO 오프셋 값은 트렁케이티드 라이스(truncated Rice; TR) 코드들에 의해 코딩되고, 최대 TR 값은 신택스 엘리먼트에 의해 표시되는 것인 비디오 코딩 시스템을 위한 EO SAO 프로세싱의 방법.
  10. 제 1 항에 있어서,
    상기 SAO 오프셋 값의 절대 SAO 오프셋 값은 트렁케이티드 라이스(TR) 코드들에 의해 코딩되고, 최대 TR 값은 신택스 엘리먼트에 의해 표시되는 것인 비디오 코딩 시스템을 위한 EO SAO 프로세싱의 방법.
  11. 비디오 코딩 시스템을 위한 SAO(sample-adaptive offset) 프로세싱의 방법에 있어서,
    재구성된 화상과 연관되는 입력 데이터를 수신하는 단계와,
    현재 재구성된 픽셀과 이웃 재구성된 픽셀들에 기초하여 상기 현재 재구성된 픽셀에 대한 EO 분류 인덱스 또는 BO 시작 대역 포지션을 결정하는 단계와,
    SAO 오프셋 사인, 절대 SAO 오프셋 값 및 SAO 비트 시프트 값에 따라 상기 현재 재구성된 픽셀에 대한 EO 분류 인덱스 또는 BO 시작 대역 포지션과 연관되는 SAO 오프셋 값을 결정하는 단계로서, 상기 SAO 오프셋 값은, 상기 SAO 비트 시프트 값만큼의 좌측 시프트를 상기 절대 SAO 오프셋 값에 적용한 결과와 상기 SAO 오프셋 사인을 곱함으로써 유도되는, 상기 SAO 오프셋 값을 결정하는 단계와,
    상기 EO 분류 인덱스 또는 상기 BO 시작 대역 포지션과 연관된 SAO 오프셋 값을 상기 현재 재구성된 픽셀에 가산함으로써 상기 현재 재구성된 픽셀을 보상하는 단계
    를 포함하고,
    상기 SAO 비트 시프트 값에 대응하는 신택스 엘리먼트는 비트스트림으로 시그널링되는 것인 비디오 코딩 시스템을 위한 SAO 프로세싱의 방법.
  12. 제 11 항에 있어서,
    상기 SAO 비트 시프트 값은, 상기 현재 재구성된 픽셀과 연관되는 양자화 파라미터(quantization parameter; QP)가 제 1 문턱값보다 작을 때 0으로 세팅되고, 상기 제 1 문턱값은 비디오 데이터의 비트 깊이에 의존하는 것인 비디오 코딩 시스템을 위한 SAO 프로세싱의 방법.
  13. 삭제
  14. 제 11 항에 있어서,
    상기 SAO 비트 시프트 값에 대응하는 신택스 엘리먼트는, 상기 비트스트림으로 시퀀스 레벨, 화상 레벨 또는 슬라이스 레벨로 시그널링되는 것인 비디오 코딩 시스템을 위한 SAO 프로세싱의 방법.
  15. 제 11 항에 있어서,
    상기 절대 SAO 오프셋 값은 트렁케이티드 라이스(TR) 코드들에 의해 코딩되고, 최대 TR 값은 신택스 엘리먼트에 의해 표시되는 것인 비디오 코딩 시스템을 위한 SAO 프로세싱의 방법.
  16. 제 15 항에 있어서,
    상기 신택스 엘리먼트는 비트스트림의 슬라이스 헤더에서 시그널링되는 것인 비디오 코딩 시스템을 위한 SAO 프로세싱의 방법.
  17. 비디오 코딩 시스템을 위한 EO(edge offset) SAO(sample-adaptive offset) 프로세싱의 방법에 있어서,
    재구성된 화상과 연관되는 입력 데이터를 수신하는 단계와,
    EO 분류 인덱스들과 연관되는 SAO 오프셋 값들을 결정하는 단계로서, 각각의 SAO 오프셋 값의 절대값은 트렁케이티드 라이스(TR) 코드들에 의해 코딩되고, 최대 TR 값은 신택스 엘리먼트에 의해 표시되는, 상기 SAO 오프셋 값들을 결정하는 단계와,
    현재 재구성된 픽셀 및 이웃 재구성된 픽셀들에 기초하여 상기 현재 재구성된 픽셀에 대한 현재 EO 분류 인덱스를 결정하는 단계와,
    상기 EO 분류 인덱스에 대응하는 SAO 오프셋 값을 상기 현재 재구성된 픽셀에 가산함으로써 상기 현재 재구성된 픽셀을 보상하는 단계
    를 포함하는 비디오 코딩 시스템을 위한 EO SAO 프로세싱의 방법.
  18. 제 17 항에 있어서,
    상기 비디오 코딩 시스템용 비디오 데이터의 상이한 컬러 컴포넌트들에 대해 별개의 최대 TR 값들이 사용되는 것인 비디오 코딩 시스템을 위한 EO SAO 프로세싱의 방법.
  19. 제 17 항에 있어서,
    상기 신택스 엘리먼트는 비트스트림의 화상 레벨 또는 슬라이스 레벨로 시그널링되는 것인 비디오 코딩 시스템을 위한 EO SAO 프로세싱의 방법.
  20. 제 17 항에 있어서,
    상기 최대 TR 값은 레이트 왜곡 최적화(RDO) 프로시저에 따라 상기 비디오 코딩 시스템의 인코더 측에서 결정되는 것인 비디오 코딩 시스템을 위한 EO SAO 프로세싱의 방법.
KR1020167000807A 2013-07-15 2014-07-15 비디오 코딩을 위한 샘플 적응적 오프셋 프로세싱의 방법 KR101752612B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201361846130P 2013-07-15 2013-07-15
US61/846,130 2013-07-15
PCT/CN2014/082221 WO2015007200A1 (en) 2013-07-15 2014-07-15 Method of sample adaptive offset processing for video coding

Publications (2)

Publication Number Publication Date
KR20160019531A KR20160019531A (ko) 2016-02-19
KR101752612B1 true KR101752612B1 (ko) 2017-06-29

Family

ID=52345754

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020167000807A KR101752612B1 (ko) 2013-07-15 2014-07-15 비디오 코딩을 위한 샘플 적응적 오프셋 프로세싱의 방법

Country Status (7)

Country Link
US (1) US10659817B2 (ko)
EP (1) EP3011744A4 (ko)
JP (2) JP6328759B2 (ko)
KR (1) KR101752612B1 (ko)
CN (1) CN105230020A (ko)
CA (1) CA2908323C (ko)
WO (1) WO2015007200A1 (ko)

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150195574A1 (en) * 2013-11-06 2015-07-09 Arris Enterprises, Inc. Modification of picture parameter set (pps) for hevc extensions
JP6253406B2 (ja) * 2013-12-27 2017-12-27 キヤノン株式会社 画像符号化装置、撮像装置、画像符号化方法、及びプログラム
US10341685B2 (en) 2014-01-03 2019-07-02 Arris Enterprises Llc Conditionally parsed extension syntax for HEVC extension processing
CN112887737B (zh) * 2014-01-03 2024-04-02 康普英国有限公司 用于hevc扩展处理的条件解析扩展语法
CN105208382A (zh) * 2015-09-23 2015-12-30 北京君正集成电路股份有限公司 采样点自适应补偿模式判决方法和装置
KR20180064423A (ko) 2015-11-04 2018-06-14 엘지전자 주식회사 영상 코딩 시스템에서 영상 디코딩 방법 및 장치
CN105657433B (zh) * 2015-12-30 2019-09-03 航天恒星科技有限公司 一种基于图像复杂度的信源实时编码方法及***
EP3430808A4 (en) 2016-03-16 2020-01-15 Mediatek Inc. METHOD AND DEVICE FOR PROCESSING VIDEO DATA WITH RESTRICTED BLOCK SIZE IN VIDEO CODING
CN105979262B (zh) * 2016-05-06 2019-12-03 西安电子科技大学 一种hevc基于时间相关性和帧内预测方向的sao优化方法
CN116708785A (zh) * 2016-07-12 2023-09-05 韩国电子通信研究院 图像编码/解码方法以及用于该方法的记录介质
US10623737B2 (en) * 2016-10-04 2020-04-14 Qualcomm Incorporated Peak sample adaptive offset
US11134247B2 (en) 2016-10-11 2021-09-28 Lg Electronics Inc. Image encoding and decoding method and apparatus therefor
KR20180074150A (ko) * 2016-12-23 2018-07-03 삼성전자주식회사 Sao 필터링을 포함하는 비디오 데이터의 부호화를 위한 방법 및 장치
JP6769302B2 (ja) * 2016-12-28 2020-10-14 富士通株式会社 動画像符号化装置、動画像符号化方法、動画像符号化用コンピュータプログラム、動画像復号装置及び動画像復号方法ならびに動画像復号用コンピュータプログラム
CN111418214B (zh) * 2017-11-28 2021-06-29 华为技术有限公司 使用重建像素点的语法预测
GB2575119B (en) * 2018-06-29 2021-11-24 Canon Kk Methods and devices for performing sample adaptive offset (SAO) filtering
US11595644B2 (en) * 2020-10-01 2023-02-28 Tencent America LLC Method and apparatus for offset in video filtering
US11785213B2 (en) * 2021-03-12 2023-10-10 Tencent America LLC Method and apparatus for video filtering
US11849117B2 (en) * 2021-03-14 2023-12-19 Alibaba (China) Co., Ltd. Methods, apparatus, and non-transitory computer readable medium for cross-component sample adaptive offset
GB2617839A (en) * 2022-04-19 2023-10-25 Canon Kk Video coding and decoding

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013070955A2 (en) 2011-11-08 2013-05-16 General Instrument Corporation Devices and methods for sample adaptive offset coding and/or signaling

Family Cites Families (43)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7218691B1 (en) * 2001-03-05 2007-05-15 Marvell International Ltd. Method and apparatus for estimation of orthogonal frequency division multiplexing symbol timing and carrier frequency offset
US6771836B2 (en) * 2001-06-21 2004-08-03 Microsoft Corporation Zero-crossing region filtering for processing scanned documents
JP4094604B2 (ja) * 2004-11-30 2008-06-04 本田技研工業株式会社 車両周辺監視装置
WO2008049446A1 (en) * 2006-10-25 2008-05-02 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Quality scalable coding
JP4412323B2 (ja) * 2006-12-28 2010-02-10 株式会社日立製作所 映像処理装置及び映像表示装置
US8208560B2 (en) * 2007-10-15 2012-06-26 Intel Corporation Bit depth enhancement for scalable video coding
JP2010199631A (ja) * 2007-11-30 2010-09-09 国立大学法人京都大学 画像ノイズ除去方法
KR20100099686A (ko) * 2007-12-04 2010-09-13 소니 주식회사 화상 처리 장치 및 방법, 프로그램, 및 기록 매체
JP5624619B2 (ja) * 2009-07-15 2014-11-12 カーディアック ペースメイカーズ， インコーポレイテッド 埋め込み型医療装置における遠隔感知
US8508811B2 (en) * 2009-12-14 2013-08-13 Samsung Electronics Co., Ltd. Image forming apparatus and method of copying two-sided card thereof
WO2011078264A1 (ja) * 2009-12-25 2011-06-30 本田技研工業株式会社 画像処理装置、画像処理方法、コンピュータプログラム及び移動体
US8693769B2 (en) * 2009-12-28 2014-04-08 Industrial Technology Research Institute Image classification methods and systems
KR101665137B1 (ko) * 2010-04-07 2016-10-12 삼성전자주식회사 이미지 센서에서 발생되는 잡음을 제거하기 위한 장치 및 방법
US8660174B2 (en) 2010-06-15 2014-02-25 Mediatek Inc. Apparatus and method of adaptive offset for video coding
KR101663764B1 (ko) * 2010-08-26 2016-10-07 에스케이 텔레콤주식회사 인트라 예측을 이용한 부호화 및 복호화 장치와 방법
CN107087180B (zh) 2010-10-05 2019-10-29 寰发股份有限公司 基于分区基础的自适应环路滤波方法和装置
JP5562812B2 (ja) * 2010-11-22 2014-07-30 株式会社東芝 送受切替回路、無線装置および送受切替方法
CN103404137B (zh) 2011-01-09 2016-10-19 寰发股份有限公司 有效的样本自适应补偿的方法和装置
US9161041B2 (en) * 2011-01-09 2015-10-13 Mediatek Inc. Apparatus and method of efficient sample adaptive offset
US20120236936A1 (en) * 2011-03-14 2012-09-20 Segall Christopher A Video coding based on edge determination
CN102227127B (zh) 2011-06-21 2012-11-14 天津理工大学 全自动多媒体素材缺陷检测及质量分析方法
US9942573B2 (en) * 2011-06-22 2018-04-10 Texas Instruments Incorporated Systems and methods for reducing blocking artifacts
JP5973434B2 (ja) 2011-06-23 2016-08-23 華為技術有限公司Ｈｕａｗｅｉ Ｔｅｃｈｎｏｌｏｇｉｅｓ Ｃｏ．，Ｌｔｄ． 画像フィルタ装置、フィルタ方法および動画像復号装置
US10070152B2 (en) * 2011-08-24 2018-09-04 Texas Instruments Incorporated Sample adaptive offset (SAO) parameter signaling
US9344743B2 (en) * 2011-08-24 2016-05-17 Texas Instruments Incorporated Flexible region based sample adaptive offset (SAO) and adaptive loop filter (ALF)
WO2013046990A1 (ja) 2011-09-29 2013-04-04 シャープ株式会社 オフセット復号装置、オフセット符号化装置、画像フィルタ装置、および、データ構造
US8913656B2 (en) * 2011-10-14 2014-12-16 Mediatek Inc. Method and apparatus for in-loop filtering
JP2013138395A (ja) * 2011-11-04 2013-07-11 Sharp Corp 画像フィルタ装置、画像復号装置、画像符号化装置、および、データ構造
US9253482B2 (en) * 2011-11-08 2016-02-02 Texas Insturments Incorporated Method and apparatus for sample adaptive offset without sign coding
US9277194B2 (en) * 2011-11-08 2016-03-01 Texas Instruments Incorporated Method and apparatus for image and video coding using hierarchical sample adaptive band offset
WO2013103892A1 (en) * 2012-01-05 2013-07-11 General Instrument Corporation Devices and methods for sample adaptive offset coding and/or selection of edge offset parameters
US9955153B2 (en) * 2012-01-05 2018-04-24 Google Technology Holdings LLC Devices and methods for sample adaptive offset coding
US9282328B2 (en) * 2012-02-10 2016-03-08 Broadcom Corporation Sample adaptive offset (SAO) in accordance with video coding
US9030714B2 (en) * 2012-03-22 2015-05-12 Canon Kabushiki Kaisha Image processing apparatus and image processing method to set appropriate ink amount for character data and for image data
US8953882B2 (en) * 2012-05-31 2015-02-10 Apple Inc. Systems and methods for determining noise statistics of image data
US9031319B2 (en) * 2012-05-31 2015-05-12 Apple Inc. Systems and methods for luma sharpening
EP2869554B1 (en) * 2012-06-27 2020-10-07 Sun Patent Trust Image coding method, image decoding method, image coding device, image decoding device, and image coding and decoding apparatus
US9083948B2 (en) * 2012-07-18 2015-07-14 Qualcomm Incorporated Crosstalk reduction in multiview video processing
JP5987660B2 (ja) * 2012-11-30 2016-09-07 富士通株式会社 画像処理装置、画像処理方法及びプログラム
US9053389B2 (en) * 2012-12-03 2015-06-09 Analog Devices, Inc. Hough transform for circles
US20140192266A1 (en) * 2013-01-04 2014-07-10 Qualcomm Incorporated Method and apparatus of reducing compression noise in digital video streams
GB2509707B (en) * 2013-01-04 2016-03-16 Canon Kk A method, device, computer program, and information storage means for encoding or decoding a video sequence
US10708588B2 (en) * 2013-06-19 2020-07-07 Apple Inc. Sample adaptive offset control

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013070955A2 (en) 2011-11-08 2013-05-16 General Instrument Corporation Devices and methods for sample adaptive offset coding and/or signaling

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Benjamin Bross, et al., ‘Proposed Editorial Improvements for HEVC Text Specification Draft 8 with Range Extensions’, (JCTVC-K0383), JCT-VC of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG11, 11th Meetin*
Shih-Ta Hsiang, et al., ‘Modified SAO for range extensions’, (JCTVC-N0246), JCT-VC of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG11, 14th Meeting: Vienna, AT, 16 July 2013

Also Published As

Publication number Publication date
WO2015007200A1 (en) 2015-01-22
JP2018082453A (ja) 2018-05-24
CA2908323C (en) 2021-07-06
EP3011744A4 (en) 2017-03-01
CN105230020A (zh) 2016-01-06
JP6529568B2 (ja) 2019-06-12
CA2908323A1 (en) 2015-01-22
JP2016527793A (ja) 2016-09-08
KR20160019531A (ko) 2016-02-19
US10659817B2 (en) 2020-05-19
EP3011744A1 (en) 2016-04-27
JP6328759B2 (ja) 2018-05-23
US20160127747A1 (en) 2016-05-05

Similar Documents

Publication Publication Date Title
KR101752612B1 (ko) 비디오 코딩을 위한 샘플 적응적 오프셋 프로세싱의 방법
US10116967B2 (en) Method and apparatus for coding of sample adaptive offset information
AU2013248857B2 (en) Method and apparatus for loop filtering across slice or tile boundaries
US9872015B2 (en) Method and apparatus for improved in-loop filtering
CN107426578B (zh) 图像信息编码和解码方法
AU2012327672B2 (en) Method and apparatus for non-cross-tile loop filtering
KR101919394B1 (ko) 무손실 인트라 ｈｅｖｃ 코딩을 위한 지수-골룸 이진화에 대한 파라미터 결정
US20220303587A1 (en) Method and Apparatus for Adaptive Loop Filtering at Picture and Sub-Picture Boundary in Video Coding

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant