KR100720841B1 - 블록 효과 감소를 위해 필터링 단계를 사용한 비디오 복호화 장치 및 방법 - Google Patents

Abstract

비디오 부호화에서의 양자화(quantization)는 손실 처리(lossy treatment)이며, 그것의 주요 결과로써 복호화 과정 동안 두 블록들의 경계에서 발생하는 블로킹 아티팩트(blocking artefact)들을 가진다. 본 발명은 이들 블로킹 아티팩트들을 제거하는 방법에 관한 것이다. 그것은 경계에 걸치는 픽셀들의 세그먼트(segment)에 적용되는 복호화 과정에서 필터링하는 단계를 실행하고, 세그먼트는 색 유사성 기준(chrominence similarity criterion)(단계 1)에 부합하는 종단들에서 픽셀들을 가지며 즉, 필터링은 종단들에서 상기 픽셀들이 유사한 컬러들을 가지는 세그먼트들에 적용된다. 응용 : 영상 전화 및 화상 회의와 같은 저 비트율 응용들.

블록 효과, 양자화, 블로킹 아티팩트, 세그먼트, 색 유사성 기준, 휘도

Description

블록 효과 감소를 위해 필터링 단계를 사용한 비디오 복호화 장치 및 방법{Video decoding device and method using a filtering step for block effect reduction}

본 발명은 블록들로 미리 나누어져 부호화된 픽쳐들의 시퀀스를 나타내는 데이터를 복호화하는 방법에 관한 것으로, 각각의 연속 픽쳐에 대해, 적어도:

- 상기 데이터를 복호화하는 단계와,

- 상기 복호화된 데이터를 필터링하는 단계를 포함하며,

상기 필터링 단계는 현재 픽쳐의 단일 라인 또는 열 및 세그먼트를 두 부분들로 나누는 두 블록들간 경계의 양 측면들상에 위치된 연속적인 픽셀들 중 선택된 세그먼트의 적어도 하나의 픽셀 성분에 적용된다.

본 발명은 또한 대응하는 장치에 관한 것이다. 이 발명은 특히 화상 전화(videophony) 또는 화상 회의(videoconferencing)와 같은 낮은 비트율을 갖는 응용들에 사용될 수 있다.

픽쳐들의 시퀀스를 코딩하는 단계는 다른 단계들을 포함한다. 각각의 픽쳐는 픽쳐 요소들 또는 픽셀들의 2차원 배열로 구성되며, 그들은 각각 휘도(luminance) 및 크로미넌스(chrominance) 성분들을 가진다. 부호화되기 위해서, 상기 픽쳐는 픽셀들의 블록들로 세분된다. 이산 코사인 변환(discrete cosine transform;DCT)이 픽쳐의 각 블록에 적용된다. 이 이산 코사인 변환으로부터 획득된 계수들은 그들이 나타내는 블록 내의 공간 주파수(spatial frequency)에 의존하여, 고정된 양자화법에 의해 주어진 가장 근접한 값으로 반올림되고, 그 다음 양자화된다. 데이터 전송에서, 양자화(quantization)는 데이터 압축 단계들 중 하나이고, 손실 데이터 처리(lossy data treatment)이다.

복호화하는 동안, 데이터는 역 양자화 및 역 이산 코사인 변환에 의해 연속적으로 처리되고, 최종적으로 디스플레이되기 전에 필터링된다.

코딩 과정에서 DCT 계수들의 양자화에 의해 도입된 양자화 오차들은 그들의 주요 결과로서 두 블록들의 경계에서 발생하는 블로킹 아티팩트들(blocking artefacts)을 갖는다. 각각의 블록이 코딩하는 동안 분리되어 처리되기 때문에, DCT로부터 획득된 계수들은 두 블록들에 대해 실로 다르게 양자화된다. 시각적으로, 일종의 격자가 복호화된 화상에 나타난다. 단지 데이터 압축의 목적으로 도입된 블록들의 공간 격자 패턴은 디스플레이된 복호 픽쳐로 식별가능하게 된다. 복호화한 후에, 픽쳐의 화질은 급격히 떨어진다.

국제 특허 출원 제 WO 98/41025 호는 블록 경계의 환경에서 프레임의 화상 내용에 기초하여 블로킹 아티팩트들을 제거하는 방법을 개시한다. 예를 들어, 검사되고 필터링된 픽셀들의 수는 픽셀들 사이에서의 색조값 변화(tonal value change) 및 양자화 스텝 크기(step of the quantisation step)에 의존한다.

두 블록들의 경계에서 발생하는 블로킹 아티팩트들을 감소시키는 방법의 또 다른 유형을 제안함으로써 복호화된 픽쳐의 화질을 향상시키는 것이 본 발명의 목적이다.

이 때문에, 본 발명은 전문의 설명에서 정의된 것과 같은 복호화 방법에 관한 것으로서, 상기 필터링 단계는 상기 세그먼트의 종단들에 있는 두 픽셀들이 유사성 기준에 부합하는 색성분들을 가지는 경우에만 적용된다.

그러므로, 본 발명은 조건부 필터링 단계의 정의를 포함한다. 이 복호화 방법은 효율성과 복잡성 사이의 훌륭한 타협이 된다. 필터링은 단지 서로 충분히 근접한 색성분들을 갖는 두 개의 인접한 블록들, 즉, 그들의 경계 근처에서 유사한 컬러(color)들을 갖는 두 블록들에서 수행된다.

더 정확하게, 상기 필터링 단계는 하기 부-단계들, 즉,

- 두 픽셀들의 각각의 색성분들을 비교하는 단계,

- 단지 상기 각각의 색성분들 사이의 차가 미리 결정된 문턱값보다 더 낮을 때에만 필터링하는 단계를 포함한다.

미리 결정된 문턱값을 가진 두 색성분들의 차를 비교하고 결정에 부합시키는 이들 부-단계들은 기준의 간단한 수행을 허용한다.

향상된 실시예들에서, 또한 픽셀 색값들상의 조건들 또는 휘도값들상의 조건들도 본 방법에 추가될 수 있다. 그 후 언급된 필터링 단계는 화질의 선명도 및 디테일들을 보호하면서 가능한한 많은 블로킹 아티팩트들을 제거하는 데 목적이 있다.

본 방법을 수행함에 있어서, 본 발명은 또한 블록들로 미리 나누어져 부호화된 픽쳐들의 시퀀스에 상응하는 데이터를 복호화하는 장치에 관한 것으로서, 복호화하는 수단과 두 블록들간 경계의 양 측면들 상에 위치된 연속 픽셀들 중 선택된 세그먼트를 필터링하는 수단을 포함하고, 경계의 각 측면 상에 적어도 하나의 픽셀을 구비하며, 상기 장치는 또한 상기 세그먼트의 종단들에 있는 두 픽셀들이 유사성 기준에 부합하지 않는 색성분들을 가지는 경우에만 상기 필터링 수단을 직접 연결로 대체하기 위한 스위칭 수단을 포함한다.

본 발명의 특별한 양태들은 이후 아래에 설명되고 첨부 도면들에 관련하여 고려된 실시예들을 참조하여 설명될 것이다.

도 1은 디스플레이될 픽쳐들에 대해 필터링 회로를 구비하는 종래 기술의 복호화 장치 묘사도.

도 2는 본 발명에 따른 방법에서 블록 경계에 걸치는 연속 픽셀들의 세그먼트 표시도.

도 3은 본 발명에 따른 복호화 방법의 순서도.

도 4는 본 발명에 따른 복호화 방법의 개량된 순서도.

도 5는 본 발명에 따른 복호화 방법의 개량된 순서도.

도 6은 본 발명에 따른 방법을 수행하기 위한 필터링 회로를 구비하는 복호화 장치 묘사도.

종래 기술에 따른 복호화 장치의 예가 도 1에 도시된다. 각각의 픽쳐가 픽셀들의 블록들로 나누어져 부호화되는, 부호화 채널(encoding channel; ENC)은 픽쳐들의 시퀀스를 수신한다. 상기 부호화 채널(ENC)은 압축된 형태로 데이터를 제공하기 위해 일반적으로 이산 코사인 변환 및 양자화를 채용한다. 상기 부호화된 픽쳐들은 복호기(DEC)로 보내지고, 상기 복호기는 복호화된 미분 픽쳐를 생성한다. 상기 복호화된 미분 픽쳐는 가산기(S)에서 예상 스테이지(prediction stage; PRED)에서 나온 그리고, 이전 픽쳐를 기초하여 형성된 예상 픽쳐와 합해지며, 상기 합산은 복호화된 픽쳐로 된다. 상기 복호화된 픽쳐는 필터(FILT)로 보내지고, 필터링 후, 스크린 디스플레이(DISP)로 공급되고 동시에 픽쳐 메모리(MEM)에 저장된다. 다음 픽쳐를 복호화하기 위해, 그 픽쳐 메모리에 저장된 것은 기준 픽쳐(reference picture)로서 판독되고, 예상 스테이지(PRED)에서 새로운 예상 픽쳐로 변환된다.

도 2는 수직 블록 경계의 양 측면들상에 12개의 선택된 픽셀들의 세그먼트의 위치를 도시한다. 고려된 세그먼트에서, 좌측 블록에 속하는 픽셀들은 경계에 대한 그들의 거리에 따라, L1, L2, L3 등으로 불려진다. 유사하게, 우측 블록에 속하는 픽셀들은 R1,..,R6로 불려진다. 고려된 픽셀들의 수는 임의이고, 상기 세그먼트는 경계에 관해서 대칭일 필요는 없다. 상기 경계는 세그먼트를 두 부분들로 나누고, 각 부분은 블록들 중 하나에 속한다. 블록들의 두 개의 인접한 라인들상에 위치된 두 블록간의 수평 경계에 걸치는 단일 열의 픽셀들을 고려하는 것 또한 본 발명의 범위 내에 있다.

상술된 양자화 과정에 기인하여, 우측 및 좌측 블록들로부터의 픽셀들은, 비록 그들이 본래의 픽쳐에서 유사했을지라도, 복호화 후 달라질 수 있다. 경계의 각 측에 위치된 픽셀들에 적용된 필터가 상기 차를 상쇄하거나 감소시킨다.

그러나, 만일 이 필터링 단계가 경계상에서 임의의 구별(discrimination)이 없이 실행된다면, 그 주변에 위치된 미세의 디테일(detail)들이 사라질 수 있고, 그래서 흐릿한 픽쳐가 얻어진다. 본 발명에 따라서, 기준이 정말 필터링되어야 하는 경계들이 무엇인지를 결정하기 위해 선택된다. 이 때문에, 다른 두 물체들은 그들의 컬러들에 의해서 가장 잘 구분될 수 있고, 그 결과, 필터링은 단지 한 물체가 두 블록들의 경계의 양 측면들상에서 검출될 때만 수행된다.

본 발명에 따라서, 상기 필터링 단계는 상기 세그먼트의 종단들에 있는 두 픽셀들이 유사성 기준에 부합하는 색성분들을 가질 때에만 적용된다. 도 3은 단순한 유사성 기준을 구성하는 복호화 방법의 단계들의 순서도를 도시한다. 이 유사성 기준은 블록들을 두 카테고리들, 즉, 필터링되어야 하는 것과 필터링되지 않아야하는 것으로, 분류하는 것을 허용한다. 도 3에 기초하는 방법은 도 2의 인덱스들을 사용할 때, 여섯 개의 연속 픽셀들{L3, L2, L1, R1, R2, R3}의 세그먼트에 적용된다. 상기 유사성 기준은 세그먼트의 종단들에 있는 두 픽셀들(R3, L3)의 색성분들(R, G, B)에 기초한다. 단계 2는 R3 및 L3의 색성분들(R, G, B)을 평가하는 단계와 주어진 문턱값(t1)과 이들 성분들과의 차를 비교하는 후속 단계 1로 이루어져 있다. 만일 그 차가 t1보다 크다면, 필터링은 수행되지 않고, 그렇지 않으면 필터링은 세그먼트의 모든 픽셀들상에 대해 수행된다. 필터링은 세그먼트의 모든 픽셀들의 휘도 성분들의 업데이트로 구성될 수 있다. 만일 업데이트가 결정되면, 픽셀들(L2, L1, R1, R2)은 L3 및 R3 간의 간단한 선형 보간(simple linear interpolation)에 의해 다시 계산될 수 있다. 이 업데이팅 방식은 결코 본 발명의 제한이 아니다.

이 방법은 필터링 단계에 또 다른 조건을 추가함으로써 향상될 수 있다. 도 4는 본 발명에 따른 방법의 향상된 구현의 순서도를 도시한다. 그때 상기 필터링 단계는 상기 세그먼트 부분들 중 하나의 종단에 있는 두 픽셀들이 유사성 기준에 부합하는 휘도 성분들을 가질 때에만 적용된다. 상기 기준은 다른 블록의 경계에서 하나의 블록에 존재할 수 있는 미세의 디테일의 검출을 허용한다. 도 4에서 설명된 방법의 수행에 사용된 기준은, 단계 3에서, 미리 결정된 문턱값(t2)과 L1 및 L3의 휘도 차의 절대값을 비교하는 것으로 이루어져있다. 그러므로, 단계 3이 수행되고, 만일 L1 및 L3가 상기 기준에 부합한다면, 단계 2와 최종적으로 단계 1이 수행된다. 도 4는 두 단계{단계 2, 단계 1} 앞에 놓인 단계 3을 수행하는 경로를 도시한다. 또 다른 방법이 다른 경로(단계 2, 단계 1에 이어 단계 3)로 수행될 수 있다. 또한, 좌측 블록의 픽셀들에 적용된 이 기준은 우측 블록의 픽셀들에만 또는 관련된 블록들 모두에 적용될 수 있다.

도 5에 관련하여 설명하면, 필터링 단계는 이후 단지 경계의 각 측면에 위치된 상기 세그먼트의 두 개의 연속 픽셀들이 유사성 기준에 부합하는 휘도 성분들을 가질 때에만 적용된다. 단계 5는 상기 서술된 방법에 추가된다. 이 단계는 경계의 각 측면에 위치된 두 픽셀들(L1, R1)의 휘도값들 차의 절대값을 비교하는 단계로 이루어져있다. 만일 두 블록간의 차가 블로킹 아티팩트 때문이 아니라 경계에 존재하는 디테일 때문이라면, 이 새로운 조건은 두 블록들의 필터링을 방지한다. 도 5는 이 새로운 단계 5, 미리 설명된 단계들 1, 2, 3 및 우측 블록에 대해 같은 경로로 수행되는 단계 3에 상응하는 단계 4를 포함한다. 또 상기 방법의 단계들을 실행하는 순서는 결코 정해져 있지 않다.

필터에 대한 결정이 취해질 때, 업데이팅이 휘도 성분들에 대해 수행된다. 그러나, 양자택일로 업데이팅은 색성분들에 대해 실행될 수 있다.

도 6은 본 발명에 따른 복호화 장치의 실시예의 블록도를 도시한다. 상기 장치는 부호기(ENC)로부터의 비트스트림(bitstream)으로써 부호화된 데이터를 수신하는 복호기(DEC)와, 복호기(DEC)의 출력에 위치하고 데이터 압축에 기인한 오차들을 제거하기 위한 필터링 수단(FILT)을 포함한다. 본 발명에 따른 방법을 실행함에 있어서, 그 복호화 장치는 또한 본 발명에 의해, 필터링에 대한 결정이 취해지지 않을 때, 필터링 수단(FILT)을 직접 연결로 대체하기 위한 스위칭 수단(SWIT)을 포함한다. 스위칭 수단(SWIT)은 필터링 수단(FILT)과 병렬로 놓여지고, 복호기(DEC)로부터 수신된 디지털 데이터에 따라서, 필요한 때에 연결 라인 c1을 경유하여 직접 연결을 확립하며, 한편 필터링 수단(FILT)은 만일 상기 직접 연결이 확립되면 더 이상 연결되지 않는다.

Claims (6)

1. 미리 블록들로 분할되어 부호화된 픽쳐들의 시퀀스를 나타내는 데이터를 복호화하는 방법에 있어서,

   각각의 연속하는 픽쳐에 대하여, 상기 데이터를 복호화하는 단계 및 상기 복호화된 데이터를 필터링하는 단계를 적어도 포함하고,

   상기 필터링 단계는, 현재의 픽쳐의 단일 라인 또는 열에 위치하고 상기 세그먼트를 두 개의 부분들로 분할하는 경계에 의해 분리된, 상기 현재의 픽쳐의 좌측 및 우측 블록들에 대칭적으로 속하는, 연속적인 픽셀들 중 선택된 세그먼트의 각각의 픽셀에 적용되고,

   상기 필터링 단계는, 상기 세그먼트의 종단들에 있는 두 개의 픽셀들이 상기 각각의 색 성분들간의 차가 미리 결정된 문턱값보다 적은 색 성분들을 갖는 경우에만 적용되고,

   상기 필터링 단계는 또한, 상기 두 개의 부분들 중 어느 하나의 종단에서 인접하지 않는 두 개의 픽셀들이, 상기 두 개의 픽셀들의 휘도 성분들의 차의 절대값이 미리 결정된 문턱값보다 낮게 되는 유사성 기준에 부합하는 휘도 성분들을 갖는 경우에만 적용되는, 데이터 복호화 방법.
2. 제 1 항에 있어서,

   상기 필터링하는 단계는 하기 부-단계들, 즉,

   - 상기 두 픽셀들의 각각의 상기 색 성분들을 비교하는 단계; 및

   - 단지 상기 각각의 상기 색 성분들 사이의 차가 미리 결정된 문턱값보다 더 낮은 경우에만 필터링하는 단계를 포함하는, 데이터 복호화 방법.
3. 제 1 항 또는 제 2 항에 있어서,

   상기 필터링하는 단계는 상기 세그먼트의 부분의 상기 종단들에 있는 상기 두 픽셀들이 유사성 기준에 부합하는 휘도 성분들을 가지는 경우에만 적용되는, 데이터 복호화 방법.
4. 제 1 항 또는 제 2 항에 있어서,

   상기 필터링하는 단계는, 상기 세그먼트의 각 부분에 대해, 상기 세그먼트의 부분의 종단들에 있는 상기 두 픽셀들이 유사성 기준에 부합하는 휘도 성분들을 가지는 경우에만 적용되는, 데이터 복호화 방법.
5. 제 1 항 또는 제 2 항에 있어서,

   상기 필터링하는 단계는 상기 경계의 각 측면 상에 위치된 상기 세그먼트의 상기 두 개의 연속 픽셀들이 유사성 기준에 부합하는 휘도 성분들을 가지는 경우에만 적용되는, 데이터 복호화 방법.
6. 미리 블록들로 분할되고 부호화된 픽쳐들의 시퀀스에 대응하는 데이터를 복호화하는 장치에 있어서,

   상기 부호화된 데이터를 복호화하는 수단 및 현재의 픽쳐의 단일 라인 또는 열에 위치하고 세그먼트들을 두 개의 부분들로 분할하는 경계에 의해 분리된, 상기 현재 픽쳐의 좌측 및 우측 블록들에 대칭적으로 속하는, 연속적인 픽셀들의 선택된 세그먼트의 각각의 픽셀을 필터링하는 수단을 포함하고,

   상기 장치는 또한, 상기 세그먼트의 상기 종단들에서 두 개의 픽셀들이 상기 각각의 색 성분들간의 차가 미리 결정된 문턱값보다 적은 색 성분들을 갖는 때를 제외하고 직접 접속으로 상기 필터링 수단을 대체하기 위한 스위칭 수단을 포함하고,

   상기 필터링 수단은 또한, 상기 두 개의 부분들 중 어느 하나의 종단에서 인접하지 않는 두 개의 픽셀들이, 상기 두 개의 픽셀들의 휘도 성분들의 차의 절대값이 미리 결정된 문턱값보다 낮게 되는 유사성 기준에 부합하는 휘도 성분들을 갖는 경우에만 활성화되는, 데이터 복호화 장치.

Images