KR20150001896A - 저복잡도 인터 레이어 적응적 샘플 오프셋 방법 - Google Patents

저복잡도 인터 레이어 적응적 샘플 오프셋 방법 Download PDF

Info

Publication number
KR20150001896A
KR20150001896A KR20130074716A KR20130074716A KR20150001896A KR 20150001896 A KR20150001896 A KR 20150001896A KR 20130074716 A KR20130074716 A KR 20130074716A KR 20130074716 A KR20130074716 A KR 20130074716A KR 20150001896 A KR20150001896 A KR 20150001896A
Authority
KR
South Korea
Prior art keywords
sao
image
tap
base layer
frequency
Prior art date
Application number
KR20130074716A
Other languages
English (en)
Inventor
이배근
Original Assignee
주식회사 케이티
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 케이티 filed Critical 주식회사 케이티
Priority to KR20130074716A priority Critical patent/KR20150001896A/ko
Publication of KR20150001896A publication Critical patent/KR20150001896A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/34—Scalability techniques involving progressive bit-plane based encoding of the enhancement layer, e.g. fine granular scalability [FGS]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/89—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

고주파 인터 레이어 SAO 필터 링방법에서 업샘플링한 베이스 레이어 영상에서 업샘플링한 베이스 레이어에 3-tap 저주파 필터링을 수행해 얻은 영상을 빼서 업샘플링한 베이스 레이어 복원 영상을 얻게 된다.
이 과정에서 슬라이스 단위 또는 픽쳐 단위로 3-tap 저주파수 필터 ([5 6 5]/16)을사용하게 되어 연산량이 증가하게 된다. 인터 레이어 SAO에서는 베이스 레이어 복원 영상에서 저주파수 복원 영상을 빼서 얻은 고주파 복원 영상에 필터링을 하기 때문에 저주파 영상의 화질이 전체 성능에 미치는 영향이 적게 된다.
즉, 3-tap 저주파수 필터 대신에 2-tap 바이리니어(bi-linear)([1 1]/2)를 사용해서 전체 성능에 미치는 영향이 적게 된다. 따라서 고주파 인터 레이어 SAO 수행 중에 3-tap 저주파 필터 대신에 2-tap bi-linear 필터를 사용할 수 있다.

Description

저복잡도 인터 레이어 적응적 샘플 오프셋 방법{Low Complexity Inter Layer Sample Adaptive Offset method}
본 발명은 저복잡도 인터 레이어 적응적 샘플 오프셋(Sample Adaptive Offset(SAO))방법에 관한 것이다.
High Efficiency Video Codec(HEVC)에서 새롭게 제안된 방법인 적응적 샘플 오프셋(Sample Adaptive Offset(SAO))는 디블로킹 필터링 후에 남아 있는 영상의 오류를 보정하는 내용에 대한 발명이다.
High Efficiency Video Codec(HEVC)에서 새롭게 제안된 방법인 적응적 샘플 오프셋(Sample Adaptive Offset(SAO))는 디블로킹 필터링 후에 남아 있는 영상의 오류를 보정하고자 한다.
베이스 레이어 복원 영상을 업샘플링한 후 그 영상의 특정 주파수 영역이나전체 영상에 SAO를 수행하는 과정을 인터 레이어 SAO라고 부른다.
인터 레이어 SAO를 수행한 후 생성되는 영상을 베이스 레이어 레퍼런스 픽쳐라고 부르고 베이스 레이어 레퍼런스 픽쳐를 참조 픽쳐로 사용할 수도 있다.
즉 인터 예측 모드에서 베이스 레이어 레퍼런스 픽쳐를 이용하여 움직임 보상을 수행할 수 있다(RefIdx모드).
또는 베이스 레이어 레퍼런스 픽쳐를 예측 신호로 사용 해인핸스먼 트레이어의 효율을 높이는 방법을 사용할 수 있다. 이 경우에는 업샘플링한 베이스 레이어 복원 영상의 모션 정보를 머지 후보로 유도하여 사용하거나, 베이스 레이어 복원 영상의 텍스쳐 정보를 예측 신호로 사용하는 인터 레이어 텍스쳐 예측 (inter-layer texture prediction)을 수행할 수 있다.
High Efficiency Video Codec(HEVC)에서 새롭게 제안된 방법인 적응적 샘플 오프셋(Sample Adaptive Offset(SAO))는 디블로킹 필터링 후에 남아 있는 영상의 오류를 보정하는 것이 제공된다.
도 1은 엣지 오프셋의 경우에 블록 내에서 가능한 4가지 클래스를 도시한 도면이다.
도 2는 인터 레이어 SAO 필터링 과정을 도시한 도면이다.
도 3은 고주파 인터레이어 SAO 복호화 과정을 도시한 도면이다.
High Efficiency Video Codec(HEVC)에서 새롭게 제안된 방법인 적응적 샘플 오프셋(Sample Adaptive Offset(SAO))는 디블로킹 필터링 후에 남아 있는 영상의 오류를 보정하기 위한 것이다.
부호화 과정 중 양자화는 부호화 오류의 가장 큰 원인 중 하나인데, SAO를 이용해 샘플에 오프셋(offset)값을 더해 복원 영상을 원본 영상에 가깝게 만들 수 있다.
SAO는 PU, TU 단위가 아니라, 전체 화면을 쿼드 트리 기반으로 분할한 것을 기본 단위로 한다.
SAO 수행 단위의 최소 크기는 가장 큰 코딩 유닛(Largest Coding Unit(LCU))이며, 최대 크기는 화면 전체이다. SAO는 그 특징에 따라 크게 에지 오프셋(Edge Offset(EO))와 밴드 오프셋(Band Offset(BO)) 두 종류로 분류 된다.
EO 는블록 내 경계의 특징을 이용해 오프셋을 구하는 방식이고, 밴드 오프셋은원본 영상과 복원 영상의 히스토그램을 이용해 오프셋을 구하는 방식이다.
SAO 수행 단위가 결정되면 각 SAO 영역에 대해 타입 정보, 오프셋 크기등 SAO에 필요한 구문들이 시그날링 된다.
베이스 레이어 복원 영상을 업샘플링한 후 그 영상의 특정 주파수 영역이나전체 영상에 SAO를 수행하는 과정을 인터 레이어 SAO라고 부른다.
인터 레이어 SAO를 수행한 후 생성되는 영상을 베이스 레이어 레퍼런스 픽쳐라고 부르고 베이스 레이어 레퍼런스 픽쳐를 참조 픽쳐로 사용할 수도 있다.
즉 인터 예측 모드에서 베이스 레이어 레퍼런스 픽쳐를 이용하여 움직임 보상을 수행할 수 있다(RefIdx모드).
또는 베이스 레이어 레퍼런스 픽쳐를 예측 신호로 사용 해인핸스먼 트레이어의 효율을 높이는 방법을 사용할 수 있다. 이 경우에는 업샘플링한 베이스 레이어 복원 영상의 모션 정보를 머지 후보로 유도하여 사용하거나, 베이스 레이어 복원 영상의 텍스쳐 정보를 예측 신호로 사용하는 인터 레이어 텍스쳐 예측 (inter-layer texture prediction)을 수행할 수 있다.
도 1처럼 엣지 오프셋의 경우에는 블록 내에서 가능한 4가지 클래스를 가지고 있다.
엣지 오프셋 클래스가 결정이 된 후, 주변 블록과의 값의 차이를 이용해 식(1)처럼 엣지 인덱스(Edge Index)를 유도할 수있다.
EdgeIdx(c) = sign( c-c2) -sign( c1 - c) + 2 (1)
여기서 sign은다음과같이정의한다.
sign(x) = 1 → x 가 0 보다 큰 경우
sign(x) = -1 → x 가 0 보다 작은 경우
sign(x) = 0 → x 가 0인 경우
결정된 엣지 인덱스(edgeIdx) 값에 따라 표 1처럼 Edge offset의 엣지 패턴을결정하게 된다. edgeIdx값이 0인 경우에는 Edge offset이 엣지 패턴 1에 속한다고 결정할 수 있고, edgeIdx값이 1인 경우에는 엣지 패턴 2, edgeIdx값이 2인 경우에는 엣지 패턴 3 그리고, edgeIdx값이 4인 경우에는 엣지 패턴 4에 속한다고 결정할 수 있다.
표 1
Figure pat00001
엣지 패턴 1과 엣지 패턴 2의 경우 c 위치의 화소에 오프셋값을 더하고, 엣지 패턴 3과 엣지 패턴 4의 경우 c위치의 화소에 오프셋을 빼서 화소의 분포를 매끄럽게 만들 수 있다.
멀티 레이어 구조를 지원하는 SHVC(Scalable High Efficiency Video Codec)에서는 도 2처럼 업샘플링한 기존 HEVC에서 적용한 SAO 방법을 이용해 베이스 레이어에 SAO를 적용한 영상을 얻을 수 있다. SAO가 적용된 영상을 인핸스먼트 레이어의 레퍼런스 픽쳐로 사용할 수 있는데, 이를 베이스 레이어 레퍼런스 픽쳐 라고 부른다.
또는 HEVC에서 전체 주파수 영역에 SAO를 수행하던 것과 다르게, 고주파 영역(High frequency)에만 SAO를 수행할 수도 있다. 고주파수 영역 인터 레이어 SAO 수행 방법은 다음과 같다.
도 3처럼 업샘플링한 베이스 레이어 복원 영상에 3-tap 스무딩 필터(smoothing filter)([5 6 5]/16)를 이용하여 저주파수 필터링(low-pass filtering)을 수행한 후 업샘플링한 저주파수 복원 영상을 얻게 된다. 업샘플링한 베이스 레이어 복원 영상에서 업샘플링한 저주파수 복원 영상을 빼서 업샘플링한 고주파수 복원 영상(High frequency base layer reconstruction)을 얻게 된다. 업샘플링한 고주파수 복원 영상에 밴드 오프셋은 적용하지 않고, 에지 오프셋만 적용하여 SAO 필터링을 수행한 영상을 업샘플링한 베이스 레이어 복원 영상에 더해 준다.
저 복잡도 고주파 인터레이어 SAO 방법
고주파 인터 레이어 SAO 필터 링방법에서 업샘플링한 베이스 레이어 영상에서 업샘플링한 베이스 레이어에 3-tap 저주파 필터링을 수행해 얻은 영상을 빼서 업샘플링한 베이스 레이어 복원 영상을 얻게 된다.
이 과정에서 슬라이스 단위 또는 픽쳐 단위로 3-tap 저주파수 필터 ([5 6 5]/16)을사용하게 되어 연산량이 증가하게 된다. 인터 레이어 SAO에서는 베이스 레이어 복원 영상에서 저주파수 복원 영상을 빼서 얻은 고주파 복원 영상에 필터링을 하기 때문에 저주파 영상의 화질이 전체 성능에 미치는 영향이 적게 된다.
즉, 3-tap 저주파수 필터 대신에 2-tap 바이리니어(bi-linear)([1 1]/2)를 사용해서 전체 성능에 미치는 영향이 적게 된다. 따라서 고주파 인터 레이어 SAO 수행 중에 3-tap 저주파 필터 대신에 2-tap bi-linear 필터를 사용할 수 있다.
또는 슬라이스 단위 또는 픽쳐 단위로 3-tap 저주파수 필터를 사용할 지 2-tap bi-linear 필터를 사용할 지 선택하여 시그날링할 수 있다.
다음은 저복잡도 고주파 인터 레이어 SAO를 적용할 때의 시퀀스 파라미터 및 슬라이스 헤더 내의 신택스 예시이다.
Figure pat00002
sample_adaptive_offset_enabled_flag : 시퀀스(sequence)에서 SAO를 적용할지 말지를 알려주는 플래그 . 값이 1이면 디블로킹 필터링한 영상에 SAO를 적용할 수 있다.
Figure pat00003
slice_sao_luma_flag : 슬라이스 내의 휘도 성분에서 SAO를 적용할지 말지를 알려주는 플래그. 값이 1이면 디블로킹 필터링 한 영상에 SAO를 적용한다.
slice_sao_chroma_flag : 슬라이스 내의 색차 성분에서 SAO를 적용할지 말지를 알려주는 플래그. 값이 1이면 디블로킹 필터링 한 영상에 SAO를 적용한다.
slice_interlayer_sao_luma_flag : 슬라이스 내의 휘도 성분에서 인터 레이어 SAO를 적용할지 말지를 알려주는 플래그.
slice_interlayer_sao_chroma_flag : 슬라이스 내의 색차 성분에서 인터 레이어 SAO를 적용할지 말지를 알려주는 플래그.
interlayer_sao_luma_3tap_filter_flag: 휘도 성분에서 인터 레이어 SAO 수행 시저주파수 필터 tap이 3-tap인지 아닌지를 알려주는 플래그. 값이 1이면 인터 레이어 SAO 수행시 3-tap 저주파수 필터를 사용하고, 값이 0이면 인터 레이어 SAO 수행 시 2-tap 필터를 사용한다.
interlayer_sao_chroma_3tap_filter_flag: 색차 성분에서 인터 레이어 SAO 수행시 저주파수 필터 tap이 3-tap인지 아닌지를 알려주는 플래그. 값이 1이면 인터 레이어 SAO 수행시 3-tap 저주파수 필터를 사용하고, 값이 0이면 인터 레이어 SAO 수행시 2-tap 필터를 사용한다.
휘도 성분 영상과 비교 했을 때 색차 성분 영상의 경우 더 저주파수 영상인 경우가 많이 발생한다. 이 경우에 휘도 영상과 같이 3-tap 이상의 필터를 이용하여 스무딩 필터링을 하는 경우에는 영상이 극심한 저주파수 특징을 가질 수 있다. 이경우에는 색차 성분에서는 더 작은 필터 tap을 이용하여저 주파수 필터링을 적용 하는 것이 부호화효율이 좋은 경우가 발생한다. 따라서 휘도 성분에서는 3-tap 저주파 필터를 사용해서 저주파수 필터링을 수행하고, 색차 성분에서는 2-tap bi-linear 필터를 사용해서 저주파수 필터링을 수행 할 수 있다.
저주파수 필터링
베이스 레이어 고주파수 복원 영상
베이스 레이어 저주파수 복원 영상

Claims (1)

  1. 저복잡도 인터 레이어 적응적 샘플 오프셋 방법.
KR20130074716A 2013-06-27 2013-06-27 저복잡도 인터 레이어 적응적 샘플 오프셋 방법 KR20150001896A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR20130074716A KR20150001896A (ko) 2013-06-27 2013-06-27 저복잡도 인터 레이어 적응적 샘플 오프셋 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR20130074716A KR20150001896A (ko) 2013-06-27 2013-06-27 저복잡도 인터 레이어 적응적 샘플 오프셋 방법

Publications (1)

Publication Number Publication Date
KR20150001896A true KR20150001896A (ko) 2015-01-07

Family

ID=52475448

Family Applications (1)

Application Number Title Priority Date Filing Date
KR20130074716A KR20150001896A (ko) 2013-06-27 2013-06-27 저복잡도 인터 레이어 적응적 샘플 오프셋 방법

Country Status (1)

Country Link
KR (1) KR20150001896A (ko)

Similar Documents

Publication Publication Date Title
JP6316487B2 (ja) エンコーダ、デコーダ、方法、及びプログラム
JP4454678B2 (ja) 隣接するブロック間のブロック境界の特徴を定める方法
CN107257458B (zh) 采用回路内滤波处理来处理视频的方法和装置
KR102130480B1 (ko) 영상의 재구성된 샘플 세트에 대한 보상 오프셋들의 인코딩/디코딩을 최적화하는 방법 및 장치
CN113994670B (zh) 具有虚拟边界的跨分量自适应环路滤波的视频编解码方法及装置
KR102227411B1 (ko) 거리 가중 양지향성 인트라 예측
KR20110113561A (ko) 적응적인 필터를 이용한 인트라 예측 부호화/복호화 방법 및 그 장치
JP2011125034A (ja) 低ビットレート映像圧縮のための画像エンハンスメント方法及び装置
US20150124867A1 (en) Apparatus for coding a bit stream representing a three-dimensional video
JP2015521443A (ja) サンプルアダプティブオフセット情報（ＳａｍｐｌｅＡｄａｐｔｉｖｅＯｆｆｓｅｔＩｎｆｏｒｍａｔｉｏｎ）の符号化の方法と装置
WO2012044487A1 (en) Optimized filter selection for reference picture processing
GB2509707A (en) Encoding or decoding a video sequence using SAO parameters
EP2870758B1 (en) Controlling deblocking filtering
KR20170106926A (ko) 적어도 하나의 이미지 유닛을 인코딩하는 방법 및 디바이스, 및 적어도 하나의 이미지 유닛을 나타내는 스트림을 디코딩하는 방법 및 디바이스
CN114125445B (zh) 解码方法、装置、设备及机器可读存储介质
CN114640847B (zh) 编解码方法、装置及其设备
Unterweger Compression artifacts in modern video coding and state-of-the-art means of compensation
KR20150001896A (ko) 저복잡도 인터 레이어 적응적 샘플 오프셋 방법
KR20150001898A (ko) 인터 레이어 적응적 샘플 오프셋(Sample Adaptive Offset(SAO))의 엣지 패턴 유도 방법
Mallik et al. HEVC based mixed-resolution stereo video codec
KR20150001897A (ko) 주변 블록 및 동일 위치 베이스 레이어를 이용한 인터 레이어 적응적 샘플 오프셋(Sample Adaptive Offset(SAO)) 방법
KR20140072938A (ko) 화면 내 예측을 위한 적응적 참조 픽셀 필터링 방법 및 장치
KR20150001900A (ko) 간략화된 인터레이어 적응적 샘플 오프셋 방법
Norkin et al. Two HEVC encoder methods for block artifact reduction
Alshina et al. Inter-layer filtering for scalable extension of HEVC

Legal Events

Date Code Title Description
WITN Withdrawal due to no request for examination