KR20030033123A - 주변 화소의 표본들을 이용한 에러 은닉 장치 및 방법 - Google Patents

Abstract

본 발명은 주변 화소의 표본들을 이용한 에러 은닉 장치 및 방법에 관한 것으로, 특히, 현재 프레임의 매크로블럭 정보가 움직임 벡터 정보와 함께 손상되었을 때 이미 복호되어 재구성된 이전 프레임에서 손상된 매크로블럭의 주변 화소들의 표본과 MAE(mean absolute error)가 최소가 되는 매크로블럭을 찾아 에러를 복원하는 에러 은닉 장치 및 방법에 관한 것이다

Description

주변 화소의 표본들을 이용한 에러 은닉 장치 및 방법{Error concealment device using samples of adjacent pixel and method thereof}

본 발명은 주변 화소의 표본들을 이용한 에러 은닉 장치 및 방법에 관한 것으로, 특히, 현재 프레임의 매크로블럭 정보가 움직임 벡터 정보와 함께 손상되었을 때 이미 복호되어 재구성된 이전 프레임에서 손상된 매크로블럭 주변 화소들의 표본과 MAE(mean absolute error)가 최소가 되는 매크로블럭을 찾아 에러를 복원하는 주변 화소의 표본들을 이용한 에러 은닉 장치 및 방법에 관한 것이다.

최근 영상의 디지털화가 빠르게 이루어지면서 기존의 아날로그 TV 영상에서 발전하여 디지털 TV의 이용이 급격히 증가하고 있다. 디지털 동영상은 표현 정보량의 방대함으로 인하여 정보의 저장과 전송시 많은 메모리와 대역폭을 필요로 하게 되었고, 이러한 문제점을 해결하기 위해 많은 압축 코딩 기술들의 전송 비트율이나 저장 용량을 줄이기 위한 방법이 발전되었다.

이러한 방법으로 MPEG기술을 이용한 영상 압축 코딩 기술이 일반적으로 쓰이고 있다. 이 중 MPEG-2의 비트열은 블럭 단위로 DCT(discrete cosine transform;이산 코사인 변환), 양자화된 계수 및 매크로블럭 단위로 찾아진 움직임 벡터 정보가 가변장 부호화되어 있다. 그러므로, 매크로블럭에 에러가 발생하면 오류의 영향이 한 화소에 국한되지 않고 매크로블럭 또는 슬라이스 단위로 퍼져나가 정보가 손실된다.

또한, MPEG-2는 비트열 안에서의 동기 문제를 해결하기 위해 MPEG-2 계층구조의 상위 4개의 층, 즉, 비디오 시퀀스 층(Video Sequence Layer), GOP(group of pictures) 층, 영상층(Picture Layer) 및 슬라이스 층(Slice Layer)에 고정된 길이의 시작코드가 존재한다. 그러므로, 복호기가 다음 시작 코드를 발견할 때 까지 전송 에러의 전파 효과는 계속되어 영상들의 큰 열화를 초래할 것이다. 이러한 현상을 해결하기 위해 손상된 매크로블럭의 주변 화소를 이용하는 에러 은닉 방법이 연구되었다.

한편, 디지털 동영상의 전송시 발생하는 전송 에러는 크게 랜덤 에러(random error)와 연속 에러(burst error)로 구분할 수 있다. 먼저, 랜덤 에러는 가령 고정 길이 부호화 방식일 경우 한 부호어(codeword)에만 영향을 미치게 되며, 이는 일반적으로 복호화가 가능하다. 그러나, 가변 길이 부호화 방식일 경우 랜덤 에러는 부호화된 정보의 동기를 어긋나게 함으로써 이후에 나타나는 부호어는 복호를 할 수 없게 된다. 또한, 연속 에러는 패킷망에서 패킷 손실 혹은 저장 장치의 물리적 결함으로 인한 연속 에러 등의 형태로 나타나는데, 이는 랜덤 에러에 비해 데이터 전송 시스템에 미치는 영향이 더 치명적이다. 또한, 최근의 정지 영상/동영상 압축 기술에서는 대부분 가변 길이 부호화 방식을 채택하고 있는데, 이러한 시스템에서 랜덤 에러가 발생하면 마치 연속 에러가 발생할 때와 같이 연속하는 데이터가 모두 왜곡되게 된다.

즉, 데이타의 전송시 에러가 발생하여 움직임 벡터의 정보도 손상된 경우, 영상이 복호화 되지 않아 출력 화면은 깨지게 된다. 따라서, 에러가 생긴 블럭의 움직임 보상을 위한 에러 은닉기술은 복호기 쪽에서 매우 중요하다. 이때, 움직임 벡터를 복원하는 방법은 여러가지가 있다. 우선 주변의 움직임 벡터의 평균을 취하는 방법, 또는 메디안을 취하는 방법 등이 있다. 하지만, 이렇게 주변의 움직임벡터를 이용하는 방법의 한계는 손상된 매크로블럭의 움직임이 주변 블럭의 움직임과의 상관도가 높아야 하며, 만약 손상된 매크로블럭에서만 움직임이 일어났거나 움직임이 일어나지 않았다면 복원된 영상은 움직이던 물체가 없어지거나 움직임이 생기게 되는 문제점이 발생한다.

상술된 에러를 은닉하기 위한 종래의 기술은 "Recovery of lost or erroneously received motion vectors, Proceedings ICASSP'93 pp v417~v420"에 기술되어 있다. 그러나, 이러한 종래의 에러 은닉 방법은 손상된 블럭 주변의 모든 화소를 이용하기 때문에 계산량이 많은 문제점이 있다.

본 발명은 상기와 같은 문제점을 해결하기 위하여 창출된 것으로, 손상된 매크로블럭을 재구성할 영역을 찾을 경우 손상된 매크로블럭 주위의 경계 화소들의 표본을 추출하여 이전 프레임의 일정한 탐색 범위 안에서 MAE가 최소가 되는 매크로블럭을 찾아 손상된 매크로블럭을 재구성하도록 하는 주변 화소의 표본들을 이용한 에러 은닉 장치 및 방법에 관한 것이다.

도 1은 본 발명에 따른 주변 화소의 표본들을 이용한 에러 은닉 장치에 관한 구성도.

도 2a, 도 2b는 손상된 매크로블럭과 이웃하는 매크로블럭을 나타내는 도면.

도 3a, 도 3b는 본 발명에서 주변 화소를 2:1로 표본화하는 실시예를 나타낸 도면.

도 4a, 도 4b는 본 발명에서 주변 화소를 4:1로 표본화하는 실시예를 나타낸 도면.

도 5는 본 발명에 따른 주변 화소의 표본들을 이용한 에러 은닉 방법의 플로우 차트.

도 6 내지 도 8은 본 발명의 에러 은닉 시간을 나타내는 그래프.

< 도면의 주요 부분에 대한 부호의 설명 >

10 : 에러 검출부 20 : 에러 은닉 제어부

30 : 디코딩부

상기한 목적을 달성하기 위한 본 발명의 주변 화소의 표본들을 이용한 에러 은닉 장치는, 부호화된 비트스트림을 입력받아 에러의 발생 여부를 검출하는 에러 검출부와, 에러 검출부로부터 에러 발생 신호의 입력시 에러가 발생한 매크로블럭의 이전 프레임에서 주변 화소의 표본들을 샘플링하여 일정한 탐색 범위에서 가장 작은 평균 절대값 오차를 갖는 매크로블럭을 복사하여 에러를 은닉하는 에러 은닉제어부 및 에러 은닉 제어부로부터 에러가 은닉된 영상을 입력받아 디코딩하여 출력하는 디코딩부로 구성됨을 특징으로 한다.

또한, 본 발명의 주변 화소의 표본들을 이용한 에러 은닉 방법은, 현재 프레임에서 에러가 발생하였는지의 여부를 검출하는 제 1단계와, 에러가 발생한 현재 프레임의 매크로블럭과 같은 위치에 있는 이전 프레임의 매크로블럭에서 경계화소의 평균 절대값 오차를 계산하는 제 2단계와, 제 2단계에서 계산한 평균 절대값 오차를 기설정된 임계값과 비교하는 제 3단계와, 제 3단계에서 평균 절대값 오차가 임계값보다 작은 경우 같은 위치의 매크로블럭을 이전 프레임에서 복사하고, 클 경우 매크로블럭의 주변화소를 일정 비율로 샘플링하는 제 4단계와, 제 4단계에서 샘플링된 주변화소에 대응하여 전영역을 탐색범위로 설정하여 평균절대값 오차를 계산하는 제 5단계 및 제 5단계에서 계산된 평균 절대값 오차에 대응하여 가장 작은 평균 절대값 오차를 갖는 매크로블럭을 이전 프레임에서 복사하는 제 6단계를 포함하는 것을 특징으로 한다.

이하, 첨부한 도면을 참조하여 본 발명의 실시예에 대해 상세히 설명하고자 한다.

본 발명에서는 손상된 매크로블럭 주변의 표본화소만을 이용하여 탐색범위를 설정함으로써 에러 블럭 주변의 모든 경계 화소를 이용하는 기존 방법과 비교하여 계산량을 획기적으로 줄일 수 있도록 한다. 이러한 본 발명의 기술은 MPEG-2를 이용하는 DTV 비디오 디코더에 효율적인 에러 은닉 알고리즘으로 적용될 수 있다.

도 1은 본 발명에 따른 이웃한 매크로블럭의 움직임 벡터를 이용한 에러 은닉 장치에 관한 구성도이다.

도 1을 보면, 본 발명은 부호화된 비트스트림을 입력받아 에러의 발생 여부를 검출하는 에러 검출부(10)와, 에러 검출부(10)로부터 에러 발생 신호의 입력시 에러가 발생한 매크로 블럭의 이전 프레임에서 주변 화소의 표본들을 2:1 또는 4:1로 샘플링하여 일정한 탐색 범위에서 가장 작은 MAE(Mean Absolute error;평균 절대값 오차)를 갖는 매크로블럭을 복사하여 에러를 은닉하는 에러 은닉 제어부(20) 및 에러 은닉 제어부(20)로부터 에러가 은닉된 영상을 입력받아 디코딩하여 출력하는 디코딩부(30)로 구성된다.

본 발명에서는 랜덤 에러와 연속에러를 구분하지 않고 모두 전송 에러의 범위에 넣어 고려하기로 한다.

도 2a 및 도 2b는 현재 프레임의 손상된 매크로블럭과, 현재 프레임과 같은 위치에 있는 이전 프레임의 매크로블럭 주변의 화소들을 나타낸다.

여기서, Ci와 Pi는 각각 현재 프레임과 이전 프레임 블럭의 주변 화소 값을 의미한다.

본 발명의 동작 과정을 살펴보면, 먼저, 도 1의 에러 검출부(10)는 도 2에 도시된 바와 같이 손상된 매크로블럭이 있는지를 검출하여 에러 은닉 제어부(20)에 에러 검출 결과를 출력한다.

여기서, 에러 은닉 제어부(20)에서의 전체 범위 탐색을 위한 평균 절대값 오차를 구하는 식은 다음과 같다.

평균 절대값 오차 MAE= │Ci-Pi│ ....... (1)

식 (1)은 MAE를 구하는 식으로 N은 주변 화소의 개수를 의미한다. 16×16 매크로블럭의 경우 주변화소의 개수 N은 68개가 된다. 만약, MAE의 값이 설정한 임계값보다 작으면 움직임이 없는 것으로 판단하여 현재 프레임과 같은 위치에 있는 이전 프레임의 매크로블럭을 그대로 복사해오며, 그렇지 않을 경우는 움직임이 있는 것으로 판단하여 전 범위 탐색을 통해 주변 화소간의 MAE가 최소가 되는 블럭을 찾는다.

여기서, 임계값을 설정한 이유는 화면이 고정된 상태에서 배경과 같이 움직임이 거의 없는 경우는 현재 프레임과 같은 위치에 있는 이전 프레임의 MAE는 충분히 작을 것이기 때문이다. 따라서, 이렇게 임계값을 이용하면 불필요한 탐색을 하지 않아 계산량과 수행시간 모든 면에서 효과적인 결과를 얻을 수 있다. 전 범위 탐색을 통해 주변화소의 MAE를 최소로 하는 매크로블럭을 찾는 방법은 움직임 추정시 탐색 범위 내에서 움직임 벡터를 찾았던 것과 같은 원리이므로, 원래 그 블럭의 움직임 벡터와 가장 유사성이 높다.

이때, 주변 화소에서 인접한 화소간의 상관도는 매우 높으므로 주변 화소를 표본화하여 MAE를 계산하여 가장 최소가 되는 매크로블럭 위치를 찾게 되면 계산량을 현저히 줄일 수 있으며, 복원된 영상의 화질 측면에서도 우수한 주관적, 객관적 화질을 얻을 수 있다.

도 3a,도 3b는 에러 은닉 제어부(20)에서 에러가 발생한 매크로블럭의 주변화소를 2:1로 샘플링하는 예를 보여주고 있다.

MAE= │C2i-P2i│.......(2)

식 (2)에서 주변화소의 갯수 N은 16×16 블럭의 경우 34개가 된다.

또한, 도 4a,도 4b는 에러 은닉 제어부(20)에서 에러가 발생한 매크로블럭의 주변 화소를 4:1로 샘플링하는 예를 보여주고 있다.

MAE= │C4i-P4i│.......(3)

식(3)에서 주변화소의 갯수 N은 16×16블럭의 경우 17개가 된다.

도 3 및 도 4에서 어두운 부분으로 표시된 블럭은 MAE의 계산에 사용되는 주변화소의 갯수 N의 샘플링 값들이다. 즉, 도 3은 두개 중 하나의 값을 샘플링한 것이고, 도 4는 네개 중 하나의 값을 샘플링한 것이다.

도 5는 에러 은닉 제어부(20)에서 주변 화소의 표본들을 이용한 에러 은닉 과정을 나타내는 흐름도이다.

먼저, 에러가 발생하여 매크로블럭이 손상되었을 때, 현재 프레임의 손상된 매클럭블럭의 주변 화소와 같은 위치에 있는 이전 프레임의 매크로블럭에서 주변 화소의 MAE를 계산한다.(단계 100) 이어서, 계산된 MAE의 값이 기설정된 임계값 Th보다 작으면 움직임이 없는 것으로 판단(움직임 벡터가 (0,0))하여 이전 프레임에서 같은 위치의 매크로블럭을 현재 프레임으로 복사해온다.(단계 102) 만약, 계산된 MAE의 값이 기설정된 임계값 Th보다 클 경우에는 매크로블럭의 주변화소를 2:1 또는 4:1로 샘플링한다.(단계 103) 다음에, 2:1 또는 4:1로 샘플링된 이전 프레임에서 전영역을 탐색범위 [-R, +R-1] 로 설정한다.(단계 104) 여기서, 본 발명의 탐색영역의 범위 [-R, +R-1]는 [-15, 16]으로 설정한다. 다음에, 샘플링된 탐색범위 내에 전 영역의 MAE를 계산하여 가장 작은 MAE를 갖는 매크로 블럭을 복사하여 현재 프레임의 손상된 매크로블럭을 복원한다.(단계 105)

도 6 내지 도 8은 본 발명의 주변 화소들의 표본화를 이용한 에러 은닉 방법의 에러 은닉 시간을 나타내고 있다.

도 6은 Football Sequence에 따른 에러 은닉 시간을 나타내는 그래프이고, 도 7은 Flower Garden Sequence에 따른 에러 은닉 시간을 나타내는 그래프이고, 도 8은 table tennis Sequence에 따른 에러 은닉 시간을 나타내는 그래프이다.

도 6 내지 도 8을 보면, 본 발명은 모든 주변 화소를 이용한 방법과 비교하여 볼때, 2:1 표본화 및 4:1로 표본화했을 때 에러 은닉 시간이 각각 줄어드는 것을 알 수 있다. 이러한 실험 결과를 통해 본 발명에서 제안한 표본화를 통한 은닉 방법은 에러 은닉 시간을 최소화할 수 있는 방법임을 알 수 있다.

이상에서 설명한 바와 같이, 본 발명은 MPEG-2 비트열에서 발생한 에러를 주변화소의 표본화를 통해 효율적으로 처리함으로써 에러 은닉 수행시간을 줄일 수 있도록 하는 효과를 제공한다.

Claims (4)

1. 부호화된 비트스트림을 입력받아 에러의 발생 여부를 검출하는 에러 검출부;

   상기 에러 검출부로부터 에러 발생 신호의 입력시 에러가 발생한 매크로블럭의 이전 프레임에서 주변 화소의 표본들을 샘플링하여 일정한 탐색 범위에서 가장 작은 평균 절대값 오차를 갖는 매크로블럭을 복사하여 에러를 은닉하는 에러 은닉 제어부; 및

   상기 에러 은닉 제어부로부터 에러가 은닉된 영상을 입력받아 디코딩하여 출력하는 디코딩부로 구성됨을 특징으로 하는 주변 화소의 표본들을 이용한 에러 은닉 장치.
2. 제 1 항에 있어서, 상기 에러 은닉 제어부는

   MAE= │Ci-Pi│

   의 식을 이용하여 상기 평균 절대값 오차를 구함(N은 주변 화소의 개수, Ci와 Pi는 각각 현재 프레임과 이전 프레임 블럭의 주변 화소 값)을 특징으로 하는 주변 화소의 표본들을 이용한 에러 은닉 장치.
3. 현재 프레임에서 에러가 발생하였는지의 여부를 검출하는 제 1단계;

   상기 에러가 발생한 현재 프레임의 매크로블럭과 같은 위치에 있는 이전 프레임의 매크로블럭에서 경계화소의 평균 절대값 오차를 계산하는 제 2단계;

   상기 제 2단계에서 계산한 평균 절대값 오차를 기설정된 임계값과 비교하는 제 3단계;

   상기 제 3단계에서 평균 절대값 오차가 임계값보다 작은 경우 같은 위치의 매크로블럭을 이전 프레임에서 복사하고, 클 경우 매크로블럭의 주변화소를 일정 비율로 샘플링하는 제 4단계;

   상기 제 4단계에서 샘플링된 주변화소에 대응하여 전영역을 탐색범위로 설정하여 평균절대값 오차를 계산하는 제 5단계; 및

   상기 제 5단계에서 계산된 평균 절대값 오차에 대응하여 가장 작은 평균 절대값 오차를 갖는 매크로블럭을 이전 프레임에서 복사하는 제 6단계를 포함하는 것을 특징으로 하는 주변 화소의 표본들을 이용한 에러 은닉 방법.
4. 제 3 항에 있어서, 상기 제 5단계는

   MAE= │Ci-Pi│

   의 식을 이용하여 상기 평균 절대값 오차를 구함(N은 주변 화소의 개수, Ci와 Pi는 각각 현재 프레임과 이전 프레임 블럭의 주변 화소 값)을 특징으로 하는 주변 화소의 표본들을 이용한 에러 은닉 방법.