KR101985833B1

KR101985833B1 - 인루프 필터에 관한 영상 부호화 및 복호화 장치 및 방법

Info

Publication number: KR101985833B1
Application number: KR1020170036290A
Authority: KR
Inventors: 정제창; 이정현
Original assignee: 국방과학연구소
Priority date: 2017-03-22
Filing date: 2017-03-22
Publication date: 2019-06-04
Also published as: KR20180107660A

Abstract

본 발명은 인루프 필터를 사용하는 영상 부호화 및 복호화 장치 및 방법에 관한 것이다. 본 발명에 따른 인루프 필터에 관한 영상 부호화 및 복호화 장치는, 영상 부호화를 위해, 적응적 샘플 오프셋(SAO: Sample Adaptive Offset) 타입 각각에 대하여, 화소 별로 카테고리를 계산하고, 각 카테고리가 갖는 차이 값을 계산한 통계자료를 수집하는 통계 수집부; 상기 통계자료에 근거하여, 적응적 샘플 오프셋 타입 각각에 대한 RD 비용을 산출하는 RDO 비교부; 및 상기 산출한 RD 비용에 근거하여, 최적의 RD 비용을 갖는 최종 적응적 샘플 오프셋 모드를 결정하는 SAO 필터링 결정부;를 포함한다.

Description

인루프 필터에 관한 영상 부호화 및 복호화 장치 및 방법{METHOD AND APPARATUS FOR ENCODING AND DECODING IMAGE ABOUT IN-LOOP FILTER}

본 발명은 인루프 필터를 사용하는 영상 부호화 및 복호화 장치 및 방법에 관한 것이다.

인루프 필터(in-loop filter)는 HEVC(High Efficiency Video Codec)에서 영상 부호화/복호화(encoding/decoding) 장치의 화면 내 예측 및 화면 간 예측을 통하여 복원된 픽쳐에 필터링을 적용한 후, 이를 재생장치로 출력할 수 있다.

또한, DPB(Decoded Picture Buffer)에도 삽입하여 화면 간 예측 모드에서 필터링 된 픽쳐가 참조 픽쳐로 사용될 수 있도록 하여 부호화 효율을 높이는데 기여하고 있다.

현재 HEVC 표준의 인루프 필터에는 디블록킹 필터와 적응적 샘플 오프셋(SAO: Sample Adaptive Offset)이 표준으로 포함되어 있다.

이 중 적응적 샘플 오프셋의 경우, 에지 오프셋(EO: Edge Offset)과 밴드 오프셋(BO: Band Offset) 또는 오프셋을 적용하지 않는 3가지 경우의 RD-비용값을 비교하여 최적의 경우를 선택하게 된다.

에지 오프셋의 경우, 현재 픽셀 c를 기준으로 주요 에지 패턴인 클래스를 정의하게 된다.

도 1은 HEVC의 적응적 샘플 오프셋 내 에지 오프셋의 클래스를 설명하기 위한 개념도이다.

도 1을 참조하면, 에지 오프셋 클래스에는 수평, 수직, 135, 45의 총 4가지가 존재한다. 에지 오프셋이 선택되었다는 정보와 에지 오프셋의 클래스 정보는 부호화 장치에서 최적의 값을 결정하여 복호화 장치로 전송한다.

하지만 픽셀단위로 계산되는 카테고리 값은 전송되지 않고, 복호화 장치에서도 직접 계산하여 결정한다.

도 2는 기존의 HEVC의 적응적 샘플 오프셋 내 에지 오프셋 카테고리 결정 조건을 설명하기 위한 표이다.

도 2를 참조하면, 에지 오프셋의 카테고리는 표의 수식에 의해 결정될 수 있다.

도 3은 기존의 HEVC의 적응적 샘플 오프셋 내 에지 오프셋 카테고리 결정 조건을 도식화한 그래프이다.

도 3을 참조하면, 에지 오프셋은 현재 픽셀 c를 기준으로 주변 픽셀 a와 b로부터 연속적인 형태를 유도하기 위하여, 양수 오프셋 혹은 음수 오프셋 값을 더하여 영상의 픽셀 간의 선형적 형태를 보존하는데 그 목적이 있다.

하지만 이러한 목적과 달리, 스크린 컨텐츠 영상에서 텍스트 영상 및 그래픽 영상들이 갖고있는 에지들이 잘 보존되어야 하는 특성에는 에지 오프셋이 효과를 발휘하지 못한다는 단점이 있다.

본 발명은 전술한 문제 및 다른 문제를 해결하는 것을 목적으로 한다. 또 다른 목적은, 에지 오프셋의 카테고리 결정 시, 에지 환경을 고려한 카테고리를 추가하여, 스크린 콘텐츠 영상의 화질을 개선시키는 인루프 필터에 관한 영상 부호화 및 복호화 장치 및 방법을 제공하는 것을 그 목적으로 한다.

상기 또는 다른 목적을 달성하기 위해 본 발명의 일 측면에 따르면, 영상 부호화를 위해, 적응적 샘플 오프셋(SAO: Sample Adaptive Offset) 타입 각각에 대하여, 화소 별로 카테고리를 계산하고, 각 카테고리가 갖는 차이 값을 계산한 통계자료를 수집하는 통계 수집부; 상기 통계자료에 근거하여, 적응적 샘플 오프셋 타입 각각에 대한 RD 비용을 산출하는 RDO 비교부; 및 상기 산출한 RD 비용에 근거하여, 최적의 RD 비용을 갖는 최종 적응적 샘플 오프셋 모드를 결정하는 SAO 필터링 결정부;를 포함하는 것을 특징으로 하는 인루프 필터에 관한 영상 부호화 및 복호화 장치를 제공한다.

실시 예에 있어서, 상기 통계 수집부는, 주변 픽셀들과 선형적인 구조를 유지하기 위한 값이 오프셋 값으로 산출되는 것에 근거하여, 에지 오프셋(EO: Edge Offset)의 카테고리를 결정할 수 있다.

실시 예에 있어서, 상기 통계 수집부는, 주변 픽셀들과 레벨 차이가 기 설정된 임계 값 이상이면, 차이가 적은 주변 픽셀 값을 오프셋 값으로 산출하고, 에지 오프셋의 카테고리를 결정할 수 있다.

실시 예에 있어서, 상기 RDO 비교부는, 에지 오프셋, 밴드 오프셋, 머지(merge)를 적용한 경우, 머지를 적용하지 않은 경우 각각에 대한 RD 비용을 산출할 수 있다.

또한, 본 발명의 다른 측면에 따르면, (a) 영상 부호화를 위해, 적응적 샘플 오프셋(SAO: Sample Adaptive Offset) 타입 각각에 대하여, 화소 별로 카테고리를 계산하고, 각 카테고리가 갖는 차이 값을 계산한 통계자료를 수집하는 통계 수집단계; (b) 상기 통계자료에 근거하여, 적응적 샘플 오프셋 타입 각각에 대한 RD 비용을 산출하는 RDO 비교단계; 및 (c) 상기 산출한 RD 비용에 근거하여, 최적의 RD 비용을 갖는 최종 적응적 샘플 오프셋 모드를 결정하는 SAO 필터링 결정단계;를 포함하는 것을 특징으로 하는 인루프 필터에 관한 영상 부호화 및 복호화 방법을 제공한다.

실시 예에 있어서, 영상 복호화를 위해, 적응적 샘플 오프셋의 타입이 에지 오프셋, 밴드 오프셋, 머지를 적용 또는 적용하지 않았는지 판단한 후, 각각의 타입에 따른 복호화 과정을 진행하는 단계;를 포함할 수 있다.

실시 예에 있어서, 적응적 샘플 오프셋의 타입이 에지 오프셋인 것에 근거하여, 해당 픽셀의 에지 오프셋 클래스를 파싱하고, 상기 파싱된 클래스를 적용하여 현재 픽셀 위치에서 카테고리를 계산하는 단계;를 포함할 수 있다.

본 발명에 따른 인루프 필터에 관한 영상 부호화 및 복호화 장치 및 방법의 효과에 대해 설명하면 다음과 같다.

본 발명의 실시 예들 중 적어도 하나에 의하면, 현재 HEVC 표준화에서 논의되고 있는 스크린 컨텐츠 영상의 경우, 텍스트나 디지털 그래픽 영상들이 자연영상과 달리 특별하게 날카로운 에지들을 많이 포함하고 있어, 적응적 샘플 오프셋 방법이 효과를 발휘하기 어려운 환경을 갖고 있다.

하지만 본 발명에서는 에지 환경을 고려한 카테고리를 추가함으로써, 스크린 컨텐츠 영상에서의 추가적 화질 개선에 도움을 줄 수 있다.

뿐만 아니라 에지 오프셋은 시작되는 밴드와 4개의 각 밴드 오프셋 값들을 전송하는 밴드 오프셋에 비해, 부호화 장치에서 계산하여 복호화 장치로 전송하는 정보가 적어 부호화 효율을 증가시키는데 더 효과적이다.

따라서, 밴드 오프셋으로 결정되는 경우가 추가 카테고리를 통한 오프셋으로 결정될 경우, 비트를 추가적으로 절약할 수 있으므로 부호화 효과를 가져올 수 있다.

본 발명의 적용 가능성의 추가적인 범위는 이하의 상세한 설명으로부터 명백해질 것이다. 그러나 본 발명의 사상 및 범위 내에서 다양한 변경 및 수정은 당업자에게 명확하게 이해될 수 있으므로, 상세한 설명 및 본 발명의 바람직한 실시 예와 같은 특정 실시 예는 단지 예시로 주어진 것으로 이해되어야 한다.

도 1은 HEVC의 적응적 샘플 오프셋 내 에지 오프셋의 클래스를 설명하기 위한 개념도이다.
도 2는 기존의 HEVC의 적응적 샘플 오프셋 내 에지 오프셋 카테고리 결정 조건을 설명하기 위한 표이다.
도 3은 기존의 HEVC의 적응적 샘플 오프셋 내 에지 오프셋 카테고리 결정 조건을 도식화한 그래프이다.
도 4는 본 발명에 따른 HEVC의 적응적 샘플 오프셋 내 에지 오프셋 카테고리 결정 조건을 설명하기 위한 표이다.
도 5는 본 발명에 따른 HEVC의 적응적 샘플 오프셋 내 에지 오프셋 카테고리 결정 추가 조건을 도식화한 그래프이다.
도 6은 본 발명에 따른 인루푸 필터링 내 적응적 샘플 오프셋의 부호화 장치 및 방법의 실시 예를 설명하기 위한 개념도이다.
도 7은 본 발명에 따른 부호화 장치의 적응적 샘플 오프셋 중 통계 수집부의 세부 내용을 설명하기 위한 개념도이다.
도 8은 본 발명에 따른 부호화 장치의 적응적 샘플 오프셋 중 RDO 비교부의 세부 내용을 설명하기 위한 개념도이다.
도 9는 본 발명에 따른 인루푸 필터링 내 적응적 샘플 오프셋의 복호화 방법의 실시 예를 설명하기 위한 흐름도이다.
도 10은 본 발명에 따른 복호화 방법에서 에지 오프셋의 세부 과정을 설명하기 위한 흐름도이다.

이하, 첨부된 도면을 참조하여 본 명세서에 개시된 실시 예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 유사한 구성요소에는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다. 또한, 본 명세서에 개시된 실시 예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 명세서에 개시된 실시 예의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 첨부된 도면은 본 명세서에 개시된 실시 예를 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 명세서에 개시된 기술적 사상이 제한되지 않으며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.

제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되지는 않는다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.

어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.

단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다.

본 출원에서, "포함한다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

앞서 설명한 바와 같이, 현재 픽셀 c를 기준으로 주변 픽셀 a와 b 사이 관계에 따라 클래스(주요 에지 패턴)를 도 1과 같이 결정한다. 이와 같이 클래스를 결정한 후, 카테고리를 결정하여 RD-비용값이 최적인 경우를 선택할 수 있다.

도 4는 본 발명에 따른 HEVC의 적응적 샘플 오프셋 내 에지 오프셋 카테고리 결정 조건을 설명하기 위한 표이다.

도 4를 참조하면, 본 발명에 따른 카테고리 결정 방법은 아래와 같은 구성으로 이루어질 수 있다.

① 에지 오프셋의 기존 카테고리(카테고리 1~4)

카테고리 1~4는 도 4의 수식과 같은 경우를 따져 도 3의 도식화와 같은 상황의 경우를 의미한다. 그리고 주변 픽셀 a와 c로부터 선형적인 구조를 유지하기 위한 오프셋 값을 계산하여 결정한다.

예를 들어, 카테고리 1과 4의 경우, 현재 픽셀 b를 a(혹은 c) 값과 같게 만드는 값을 오프셋 값으로 갖는다. 카테고리 2와 3의 경우, 현재 픽셀 b를 (a+c)/2 의 값과 같게 만드는 값을 오프셋 값으로 갖는다. 이때, 카테고리 1과 2는 양수 에지 오프셋을 갖고, 카테고리 3과 4는 음수 에지 오프셋을 갖게 된다.

② 에지 오프셋의 추가 카테고리(카테고리 5)

카테고리 5는 도 4의 수식과 같이 픽셀 a와 b의 레벨 차(|a-b|)와 픽셀 b와 c의 레벨 차(|b-c|)의 차이가 일정 임계값(TH)보다 클 때, 현재 에지 패턴은 점차 흐려지거나 진해지는 상황이 아닌, 날카로운 에지를 갖고 있는 패턴으로 판단하여, b의 레벨 값을 주변 픽셀 a 레벨과 c 레벨 중에 가까운 픽셀 값과 같아지도록 만드는 값을 오프셋으로 갖게 된다. 다른 표현으로는 현재 픽셀 b의 값을 주변 픽셀 a와 c중 가까운 픽셀 값으로 치환하는 것이다.

도 5는 본 발명에 따른 HEVC의 적응적 샘플 오프셋 내 에지 오프셋 카테고리 결정 추가 조건을 도식화한 그래프이다.

도 6은 본 발명에 따른 인루푸 필터링 내 적응적 샘플 오프셋의 부호화 장치 및 방법의 실시 예를 설명하기 위한 개념도이다.

도 6을 참조하면, 본 발명에 따른 부호화 장치 내 적응적 샘플 오프셋은 통계 수집부, RDO 비교부 및 SAO 필터링 결정부를 포함할 수 있다.

이에 따라, 4개 클래스의 에지 오프셋과 밴드 오프셋에 대한 모든 경우의 수를 계산해보고, 상황에 따른 RDO 비교를 통해 최종적인 적응적 샘플 오프셋 모드를 결정하게 되는 과정이 진행될 수 있다.

도 7은 본 발명에 따른 부호화 장치의 적응적 샘플 오프셋 중 통계 수집부의 세부 내용을 설명하기 위한 개념도이다.

도 7을 참조하면, 통계 수집부는 4개 클래스의 에지 오프셋과 밴드 오프셋 등 총 5개의 후보가 갖는 각 경우의 계산 결과에 대한 통계적 자료를 수집한다.

각 오프셋의 경우에 대하여 화소 별로 카테고리를 계산하고, 빠른 왜곡 판단을 위해 각 카테고리가 갖는 차이 값을 계산하여 통계적 자료를 계산한다.

에지 오프셋의 경우, 도 4에 기재된 총 5개의 카테고리에 의해 오프셋 값을 계산한다. 앞서 설명한 바와 같이, 기존 방식의 4개의 카테고리와 도 5의 카테고리를 사용할 수 있다.

밴드 오프셋의 경우, 기존 부호화 및 복호화 장치 및 방법의 밴드 오프셋 방법과 동일하다.

도 8은 본 발명에 따른 부호화 장치의 적응적 샘플 오프셋 중 RDO 비교부의 세부 내용을 설명하기 위한 개념도이다.

도 8을 참조하면, RDO 비교부는 4개의 클래스의 에지 오프셋과 밴드 오프셋 및 머지(merge)를 적용한 경우, 그리고 적용하지 않을 경우(Off) 등 총 7개의 후보가 갖는 RD 비용을 계산한다. 이때, 상기 통계 수집부에서 얻어진 통계적 자료를 활용한다.

이어서, SAO 필터링 결정부는 상기 RDO 비교부에서 계산된 결과를 토대로, 최적의 RD 비용을 갖는 최종 적응적 샘플 오프셋 모드를 결정한다.

도 9는 본 발명에 따른 인루푸 필터링 내 적응적 샘플 오프셋의 복호화 방법의 실시 예를 설명하기 위한 흐름도이다.

도 9를 참조하면, 우선 SAO 타입을 확인하는 단계가 진행된다.

이에 따라, 에지 오프셋일 경우 에지 오프셋 복호화 과정을 진행하고, 밴드 오프셋일 경우 밴드 오프셋 복호화 과정을 진행한다.

적응적 샘플 오프셋 타입이 에지 오프셋 또는 밴드 오프셋이 아닐 경우, 머지 혹은 적용하지 않을 경우에 대한 기타 복호화 과정을 진행한다.

도 10은 본 발명에 따른 복호화 방법에서 에지 오프셋의 세부 과정을 설명하기 위한 흐름도이다.

도 10을 참조하면, 에지 오프셋을 복호화 하기 위하여 가장 먼저 해당 픽셀의 에지 오프셋 클래스를 파싱한다.

이어서, 파싱된 클래스를 적용하여 현재 픽셀 위치에서 카테고리를 계산한다. 카테고리는 도 4에 기재된 총 5개의 카테고리에 의해 오프셋 값을 계산한다. 앞서 설명한 바와 같이, 기존 부호화 및 복호화 장치 및 방법인 도 3의 4개의 카테고리와 도 5의 카테고리를 사용한다.

한편, 밴드 오프셋의 복호화 과정과 머지 및 적용하지 않을 경우에 대한 복호화 과정은 기존의 복호화 방법과 동일하다.

전술한 본 발명은, 프로그램이 기록된 매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 매체는, 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 매체의 예로는, HDD(Hard Disk Drive), SSD(Solid State Disk), SDD(Silicon Disk Drive), ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장 장치 등이 있으며, 또한 캐리어 웨이브(예를 들어, 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한, 상기의 상세한 설명은 모든 면에서 제한적으로 해석되어서는 아니되고 예시적인 것으로 고려되어야 한다. 본 발명의 범위는 첨부된 청구항의 합리적 해석에 의해 결정되어야 하고, 본 발명의 등가적 범위 내에서의 모든 변경은 본 발명의 범위에 포함된다.

Claims

영상 부호화를 위해, 적응적 샘플 오프셋(SAO: Sample Adaptive Offset) 타입 각각에 대하여, 화소 별로 카테고리를 계산하고, 각 카테고리가 갖는 픽셀의 차이 값을 계산한 통계자료를 수집하는 통계 수집부;
상기 통계자료에 근거하여, 적응적 샘플 오프셋 타입 각각에 대한 RD 비용을 산출하는 RDO 비교부; 및
상기 산출한 RD 비용에 근거하여, 최적의 RD 비용을 갖는 최종 적응적 샘플 오프셋 모드를 결정하는 SAO 필터링 결정부;를 포함하고,
상기 통계 수집부는,
현재 픽셀을 기준으로, 주변 픽셀들과 레벨 차이가 기 설정된 임계 값 이상이면, 차이가 적은 주변 픽셀 값을 오프셋 값으로 산출하고, 에지 오프셋의 카테고리를 결정하는 것을 특징으로 하는 인루프 필터에 관한 영상 부호화 장치.
제1항에 있어서,
상기 통계 수집부는,
주변 픽셀들과 선형적인 구조를 유지하기 위한 값이 오프셋 값으로 산출되는 것에 근거하여, 에지 오프셋(EO: Edge Offset)의 카테고리를 결정하는 것을 특징으로 하는 인루프 필터에 관한 영상 부호화 장치.
삭제
제1항에 있어서,
상기 RDO 비교부는,
에지 오프셋, 밴드 오프셋, 머지(merge)를 적용한 경우, 머지를 적용하지 않은 경우 각각에 대한 RD 비용을 산출하는 것을 특징으로 하는 인루프 필터에 관한 영상 부호화 장치.
(a) 영상 부호화를 위해, 적응적 샘플 오프셋(SAO: Sample Adaptive Offset) 타입 각각에 대하여, 화소 별로 카테고리를 계산하고, 각 카테고리가 갖는 픽셀의 차이 값을 계산한 통계자료를 수집하는 통계 수집 단계;
(b) 상기 통계자료에 근거하여, 적응적 샘플 오프셋 타입 각각에 대한 RD 비용을 산출하는 RDO 비교단계; 및
(c) 상기 산출한 RD 비용에 근거하여, 최적의 RD 비용을 갖는 최종 적응적 샘플 오프셋 모드를 결정하는 SAO 필터링 결정단계;를 포함하고,
상기 통계 수집 단계는,
현재 픽셀을 기준으로, 주변 픽셀들과 레벨 차이가 기 설정된 임계 값 이상이면, 차이가 적은 주변 픽셀 값을 오프셋 값으로 산출하고, 에지 오프셋의 카테고리를 결정하는 것을 특징으로 하는 인루프 필터에 관한 영상 부호화 방법.
영상 복호화를 위해, 적응적 샘플 오프셋의 타입이 에지 오프셋, 밴드 오프셋, 머지를 적용 또는 적용하지 않았는지 판단한 후,
상기 판단 결과에 따라, 각각의 타입에 따른 복호화 과정을 진행하는 단계;
적응적 샘플 오프셋의 타입이 에지 오프셋인 것에 근거하여, 해당 픽셀의 에지 오프셋 클래스를 파싱하고, 상기 파싱된 클래스를 적용하여 현재 픽셀 위치에서 카테고리를 계산하는 단계;를 포함하고,
상기 카테고리는,
현재 픽셀을 기준으로, 주변 픽셀들과 레벨 차이가 기 설정된 임계 값 이상이면, 차이가 적은 주변 픽셀 값을 오프셋 값으로 산출되고, 에지 오프셋의 카테고리가 결정되는 것을 특징으로 하는 인루프 필터에 관한 영상 복호화 방법.
삭제