KR100587274B1 - 엠펙­２ 압축복원시스템에서의 오류 은폐방법 - Google Patents

Abstract

본 발명은 손실된 매크로 블록의 주변 블록을 공유하도록 다수개의 서브 블록을 정의한 후 각각의 움직임 벡터를 추정한 후 서브 블록과 움직임 보상된 이전 프레임내 서브 블록의 차이값에 따른 가중치(w)를 부여하여 손실된 블록의 움직임 벡터를 결정하여 손실된 블록을 복원하도록 하기 위한 엠펙-2 압축복원시스템에서의 오류 은폐방법을 제공하기 위한 것으로서, 슬라이스 단위로 에러가 발생할 경우 손실된 매크로 블록의 위, 아래 매크로 블록을 다수개의 서브 블록으로 정의한 후 에러를 복원하는 엠펙-2 압축복원시스템에서의 오류 은폐방법에 있어서, 상기 손실된 매크로 블록의 위, 아래 매크로 블록 각각의 왼쪽, 오른쪽 매크로 블록과 상기 손실된 매크로 블록을 각각 포함하는 소정 크기의 서브 블록을 다수개를 정의하여 움직임 벡터를 구하는 단계와, 상기 다수개의 서브 블록과 서브 블록과 움직임 보상된 이전 프레임내 서브 블록간의 차이값을 각각 구한 후 그 결과에 따라 소정 가중치(w)를 설정하는 단계와, 상기 다수개의 서브 블록 각각의 움직임 벡터와 가중치(w)를 곱한 후 총 합을 상기 손실된 블록의 움직임 벡터로 결정하는 단계와, 상기 결정된 움직임 벡터로 이전 매크로 블록을 탐색하여 동영상을 복원하는 단계를 포함하여 이루어지며, 손실된 매크로 블록의 주변 블록을 공유하도록 다수개의 서브 블록을 정의하여 각각의 움직임 벡터를 추정함으로써 다음 손실된 블록의 복원시 수행 시간을 반으로 줄일 수 있으며, 실제 위치의 블록의 차이값에 따른 가중치(w)를 부여하여 손실된 블록의 움직임 벡터를 결정하여 보다 정확하게 손실 된 블록을 복원하도록 함으로써 시스템의 성능을 향상시킬 수 있는 효과가 있다.

동영상 복원

Description

엠펙­２ 압축복원시스템에서의 오류 은폐방법{method for concealing error in MPEG-2 decompression system}

도 1 은 화면내 오류 전파를 나타낸 도면

도 2 는 본 발명이 적용되는 엠펙-2 압축복원시스템의 일예를 나타낸 도면

도 3a 및 도 3b 는 본 발명에 따른 엠펙-2 압축복원시스템에서의 오류 은폐방법에 의한 움직임 벡터 추정방법의 일실시예를 나타낸 도면

본 발명은 엠펙-2 압축복원시스템에 관한 것으로, 특히 엠펙-2 압축복원시스템에서의 오류 은폐방법에 관한 것이다.

최근 디지털 신호처리 기술의 발전에 힘입어 제한된 대역폭의 전송 채널을 통해 많은 양의 동영상 정보를 압축, 전송하는 방식들이 개발되어 왔다.

하지만 전송 채널상의 오류가 발생하면 복원 영상의 화질이 크게 저하되는 문제가 생긴다.

이때 제한된 대역폭을 최대한으로 이용하기 위해 오류 정정 부호를 사용하지 않고, 정상적으로 복원된 주변의 정보들로부터 잃어버린 정보를 보완하여 원영상에 가깝게 복구하는 오류 은폐 기법들이 연구되고 있다.

현재 디지털 TV에 사용되고 있는 오류 은폐 기법들로는 영상 정보에 따라 연속된 프레임간의 중복된 정보를 이용하는 시간 예측 오류 은폐기법과 손실된 정보가 포함된 동일 프레임에서 공간적 중복성을 이용하는 공간 예측 은폐기법이 있다.

부호화된 영상 정보에 오류가 발생할 경우 그 영향은 사용된 부호화 기법에 따라 여러 가지 다양한 형태로 나타나게 된다.

특히 MPEG과 같은 경우 에러가 발생하면 다음 동기 신호인 슬라이스 헤더를 찾을 때까지의 모든 정보를 손실하게 된다.

또한, 움직임 보상 부호화기법을 이용하기 때문에 손상된 부분의 영향이 이후 계속된 여러 장의 프레임에 걸쳐 계속된다.

공간 예측 은폐기법은 시간적인 중복성을 사용하지 않고 현재 프레임내의 손상되지 않은 매크로 블록들의 정보를 이용하여 손상된 매크로 블록을 보상하는 기법이다.

이때 손실 블록에 가까운 주위에 해당하는 매크로 블록으로 대치하거나 여러 가지 보간법을 사용한 오류 은폐기법들이 제안되었다.

그러나, 이러한 기법의 경우 손실된 매크로 블록을 복원하기 위해서 사용될 수 있는 정보는 위와 아래의 매크로 블록 정도임으로 복원된 영상에서 선명도를 기대하기가 어렵다.

시간 예측 은폐기법은 연속된 영상들은 시간적으로 상관성이 있음을 이용하여 현재 프레임내에서 손실된 매크로 블록의 정보를 복원하기 위해서 여러 가지 방 법들이 제안되었다.

가장 일반적인 방법으로 동일한 위치에 해당하는 이전 프레임내의 매크로 블록들의 정보로 대치한다.

또한, 손상된 매크로 블록의 상하에 위치한 매크로 블록의 움직임 벡터의 평균을 취함으로 손상된 매크로 블록의 움직임 벡터를 추정할 수 있다.

그러나, 단순한 대치 방법은 현재 프레임내의 손실된 매크로 블록들의 움직임들을 고려하지 않기 때문에 연속적인 두 프레임간의 움직임이 많은 경우 화질에 큰 저하를 가져올 수 있고 평균을 이용하는 방법은 주변의 매크로 블록의 움직임 벡터를 가지지 않을 때 문제가 발생한다.

따라서 본 발명은 상기와 같은 문제점을 해결하기 위해 안출한 것으로서, 손실된 매크로 블록의 주변 블록을 공유하도록 다수개의 서브 블록을 정의한 후 각각의 움직임 벡터를 추정한 후 서브 블록과 움직임 보상된 이전 프레임내 서브 블록의 차이값에 따른 가중치(w)를 부여하여 손실된 블록의 움직임 벡터를 결정하여 손실된 블록을 복원하도록 하기 위한 엠펙-2 압축복원시스템에서의 오류 은폐방법을 제공하는데 그 목적이 있다.

상기와 같은 목적을 달성하기 위한 본 발명에 따른 엠펙-2 압축복원시스템에서의 오류 은폐방법의 특징은, 슬라이스 단위로 에러가 발생할 경우 손실된 매크로 블록의 위, 아래 매크로 블록을 다수개의 서브 블록으로 정의한 후 에러를 복원하 는 엠펙-2 압축복원시스템에서의 오류 은폐방법에 있어서, 상기 손실된 매크로 블록의 위, 아래 매크로 블록 각각의 왼쪽, 오른쪽 매크로 블록과 상기 손실된 매크로 블록을 각각 포함하는 소정 크기의 서브 블록을 다수개를 정의하여 움직임 벡터를 구하는 단계와, 상기 다수개의 서브 블록과 움직임 벡터를 이용하여 이전 프레임에서 가져온 서브 블록간의 차이값을 각각 구한 후 그 결과에 따라 소정 가중치(w)를 설정하는 단계와, 상기 다수개의 서브 블록 각각의 움직임 벡터와 가중치(w)를 곱한 후 총 합을 상기 손실된 블록의 움직임 벡터로 결정하는 단계와, 상기 결정된 움직임 벡터로 이전 매크로 블록을 탐색하여 동영상을 복원하는 단계를 포함하여 이루어지는데 있다.

상기 다수개의 서브 블록은 상기 위, 아래 매크로 블록과 상기 위, 아래 매크로 블록의 왼쪽, 오른쪽 매크로 블록과 손실된 매크로 블록을 각각 공유하는데 다른 특징이 있다.

상기 가중치(w)는 상기 차이값이 작으면 가중치(w)를 크게, 크면 가중치(w)를 작게 설정하는데 또다른 특징이 있다.

본 발명은 손실된 매크로 블록의 주변 블록을 공유하도록 다수개의 서브 블록을 정의하여 각각의 움직임 벡터를 추정한 후 서브 블록과 움직임 보상된 이전 프레임내 서브 블록의 차이값에 따른 가중치(w)를 부여하여 손실된 블록의 움직임 벡터를 결정하여 보다 정확하게 손실된 블록을 복원하도록 함으로써 다음 손실된 블록의 복원시 수행 시간을 반으로 줄여 시스템의 성능을 향상시킬 수 있다.

본 발명의 다른 목적, 특징 및 잇점들은 첨부한 도면을 참조한 실시예들의 상세한 설명을 통해 명백해질 것이다.

이하, 본 발명에 따른 엠펙-2 압축복원시스템에서의 오류 은폐방법의 바람직한 실시예에 대하여 첨부한 도면을 참조하여 설명하면 다음과 같다.

도 1 은 화면내 오류 전파를 나타낸 도면이다.

도 2 는 본 발명이 적용되는 엠펙-2 압축복원시스템의 일예를 나타낸 도면으로, 회로 전체의 동작을 총괄적으로 제어하는 제어부(1)와, 상기 제어부(1)의 제어신호에 따라 비트 스트림(bit stream)을 복호화하는 트랜스포트 스트림 복호부(2)와, 상기 트랜스포트 스트림 복호부(2)에서 복호화된 트랜스포트 스트림을 가변 길이로 디코드한 후 에러 발생시 에러 플래그를 붙여 출력하는 가변 길이 디코더(3)와, 상기 가변 길이 디코더(3)에서 디코드된 신호를 비디오 신호로 디코드하여 메모리(5)에 저장한 후 디스플레이스부(7)를 통해 디스플레이하는 비디오 디코더(4)와, 상기 가변 길이 디코더(3)의 에러 플래그에 따라 에러를 은폐보상하는 에러 은폐부(6)로 구성된다.

도 3a 및 도 3b 는 본 발명에 따른 엠펙-2 압축복원시스템에서의 오류 은폐방법에 의한 움직임 벡터 추정방법의 일실시예를 나타낸 도면이다.

이와 같이 구성된 본 발명에 따른 엠펙-2 압축복원시스템에서의 오류 은폐방법에 대하여 첨부한 도면을 참조하여 상세히 설명하면 다음과 같다.

대부분의 동영상 표준화 규격에서는 영상을 도 1 에 도시된 바와 같이, 매크로 블록(macro block)이라 불리는 16*16의 크기의 블록들로 나누어 처리하고 있으며, 여러 개의 매크로 블록은 슬라이스 단위로 묶이게 된다.

그러므로 슬라이스 단위에서 오류가 발생하면 다음번 동기신호를 찾을 때가지 여러 개의 매크로 블록들이 연속적으로 손실된다.

따라서 이용 가능한 정보는 손실된 매크로 블록의 위, 아래 방향으로 근접한 매크로 블록의 정보이다.

이러한 손실된 블록의 에러를 복원하기 위해 도 2 에 도시된 바와 같이, 제어부(1)의 제어신호에 따라 비트스트림(Bitstream)은 수신기에서 순방향 오류 정정 부호기(forward error correction code)인 리드-솔로몬(Reed-Solomon) 등의 채널 복호기를 거친 후 에러가 발생하면 트랜스포트 스트림 디코더(2)는 상기 트랜스포트 스트림에 transport_error_indicator신호를 1로 세팅하여 출력한다.

그러면 비디오 디코더(4)는 상기 트랜스포트 스트림 디코더(2)의 신호에 따라 sequence_error_start_code를 붙여서 비디오 스트림을 출력한다.

이에 따라 가변 길이 디코더(3)는 상기 비디오 디코더(4)의 sequence_error_start_code에 따라 트랜스포트 스트림 디코더(2)의 신호를 가변 길이로 디코드하여 에러가 발생하지 않았다면 상기 가변 길이로 디코드된 신호를 출력하고, 에러가 발생하면 가변 길이로 디코드된 신호에 에러 플러그(EF)를 붙여 출력한다.

즉, 가변 길이 디코더(3)는 상기 트랜스포트 스트림 복호기(2)의 신호를 가변 길이로 디코드하여 비디오 스트림내 syntax 에러나 semantic 에러가 발생하면 에러 플래그(Error_Flag)신호를 출력한다.

그러면 비디오 디코더(4)는 상기 가변 길이 디코더(3)에서 에러가 발생되지 않은 비디오 스트림을 디코드하여 메모리(5)에 저장하고, 에러가 발생된 비디오 스트림의 주소를 에러 데이터(ED)로 출력한다.

이에 따라 에러 은폐 유니트(6)는 상기 가변 길이 디코더(3)의 에러 플래그(EF)와 비디오 디코더(4)의 에러 데이터(ED)에 따라 상기 메모리(5)로부터 현재 프레임내에서 손실된 블록의 위치를 정상적으로 복원된 주위 블록들의 움직임 정보를 인출하여 가중치(w)를 부여한 후 손실된 블록의 움직임 벡터를 결정하여 동영상 복원을 수행한다.

이렇게 오류 은폐된 비디오 스트림은 상기 비디오 디코더(4)를 통해 디코드되어 디스플레이부(7)에 디스플레이된다.

상기 오류 은폐기법을 도 3a 및 도 3b 를 참조하여 설명하면 다음과 같다.

먼저, 도 1 에 도시된 바와 같은 위(MB1), 아래(MB2)의 매크로 블록이 모두 움직임 벡터를 가질 수 있도록 하기 위하여 도 3a 에 도시된 바와 같이, 손실된 매크로 블록의 위(MB1), 아래(MB2)의 매크로 블록을 서브 블록(STB1~STB4)으로 정의한 후 각각의 움직임 벡터(M1~M4)를 구한 후 그 평균(M₁+M₂+M₃+M₄/4)을 손실된 매크로 블록의 움직임 벡터(Vp,q)라고 추정한다.

그러나 각각의 서브 블록들은 8*8 크기로써 움직임 예측을 수행하는데 상당히 많은 시간이 소요된다.

그러므로, 도 3b 에 도시된 바와 같이, 손실된 매크로 블록의 위, 아래의 매크로 블록의 왼쪽 및 오른쪽 매크로 블록과 상기 손실된 매크로 블록을 각각 공유 하는 8*8의 서브 블록(STB1~STB4)을 다수개 정의한 후 각각의 움직임 벡터(M1~M4)를 구한다.

이때 구한 각각의 움직임 벡터(M1~M4)중 각각 2개의 움직임 벡터(M1, M3)(M2, M4)는 다음 손실된 매크로 블록의 움직임 벡터 추정에 사용할 수 있으므로 수행 시간을 반으로 줄일 수 있다.

이후 상기 정의된 서브 블록(STB1~STB4)들의 예측 블록과 서브 블록과 움직임 벡터들(M1~M4)들 이용하여 이전 프레임에서 가져온 블록간의 차이값을 구해서 그 값이 작으면 움직임 예측이 정확한 것이라고 가정하여 가중치(w)를 크게, 차이값이 크면 가중치(w)를 작게 설정한다.

이어 상기 각각의 움직임 벡터와 가중치(w)를 곱한 후 총 합을 계산하여 이를 손실된 매크로 블록의 움직임 벡터(Vp,q)라고 결정한 후 이전 매크로 블록을 탐색하여 가장 유사한 매크로 블록을 상기 손실된 블록으로 복원한다.

그리고 상기 슬라이스 단위의 모든 손실된 블록에 따른 동영상이 복원될 때까지 상기의 과정을 반복수행한다.

이상에서 설명한 바와 같이 본 발명에 따른 엠펙-2 압축복원시스템에서의 오류 은폐방법은 다음과 같은 효과가 있다.

첫째, 손실된 매크로 블록의 주변 블록을 공유하도록 다수개의 서브 블록을 정의하여 각각의 움직임 벡터를 추정함으로써 다음 손실된 블록의 복원시 수행 시간을 반으로 줄일 수 있다.

둘째, 현재 프레임내 서브 블록과 움직임 보상된 이전 프레임내 서브 블록의 차이값에 따른 가중치(w)를 부여하여 손실된 블록의 움직임 벡터를 결정하여 보다 정확하게 손실된 블록을 복원하도록 함으로써 시스템의 성능을 향상시킬 수 있다.

이상 설명한 내용을 통해 당업자라면 본 발명의 기술 사상을 일탈하지 아니하는 범위에서 다양한 변경 및 수정이 가능함을 알 수 있을 것이다.

따라서, 본 발명의 기술적 범위는 실시예에 기재된 내용으로 한정되는 것이 아니라 특허 청구의 범위에 의하여 정해져야 한다.

Claims (3)

1. 슬라이스 단위로 에러가 발생할 경우 손실된 매크로 블록의 위, 아래 매크로 블록을 다수개의 서브 블록으로 정의한 후 에러를 복원하는 엠펙-2 압축복원시스템에서의 오류 은폐방법에 있어서,

   상기 손실된 매크로 블록의 위, 아래 매크로 블록 각각의 왼쪽, 오른쪽 매크로 블록과 상기 손실된 매크로 블록을 각각 포함하는 소정 크기의 서브 블록을 다수개를 정의하여 움직임 벡터를 구하는 단계와;

   상기 다수개의 서브 블록과 움직임 벡터를 이용하여 이전 프레임에서 가져온 블록간의 차이값을 각각 구한 후 그 결과에 따라 소정 가중치(w)를 설정하는 단계와;

   상기 다수개의 서브 블록 각각의 움직임 벡터와 가중치(w)를 곱한 후 총 합을 상기 손실된 블록의 움직임 벡터로 결정하는 단계와;

   상기 결정된 움직임 벡터로 이전 매크로 블록을 탐색하여 동영상을 복원하는 단계를 포함하여 구성된 것을 특징으로 하는 엠펙-2 압축복원시스템에서의 오류 은폐방법.
2. 제 1 항에 있어서,

   상기 다수개의 서브 블록은 상기 위, 아래 매크로 블록과 상기 위, 아래 매크로 블록의 왼쪽, 오른쪽 매크로 블록과 손실된 매크로 블록을 각각 공유함을 특 징으로 하는 엠펙-2 압축복원시스템에서의 오류 은폐방법.
3. 제 2 항에 있어서,

   상기 가중치(w)는 상기 차이값이 작으면 가중치를 크게, 크면 가중치를 작게 설정함을 특징으로 하는 엠펙-2 압축복원시스템에서의 오류 은폐방법.

Images