KR100215428B1

KR100215428B1 - B픽처의에러은폐방법

Info

Publication number: KR100215428B1
Application number: KR1019950001093A
Authority: KR
Inventors: 김성봉
Original assignee: 윤종용; 삼성전자주식회사
Priority date: 1995-01-23
Filing date: 1995-01-23
Publication date: 1999-08-16
Also published as: US5727088A; KR960030703A

Abstract

본 발명은 B픽처에서의 장면변화를 고려하여 에러가 발생한 B픽처의 매크로블럭을 은폐할 수 있도록 한 B픽처의 에러은폐방법에 관한 것으로, 인접한 매크로블럭으로부터 동벡터를 취하고, B픽처의 매크로블럭들에 부가된 매크로블럭_ 포워드와 매크로블럭_ 백워드의 계수결과에 따라 예측픽처를 선정하여 에러가 발생한 매크로블럭을 동보상하므로써 화상재현시 보다 자연스러운 영상을 얻을 수 있는 효과가 있다.

Description

B픽처의 에러은폐방법

제1도(a)는 디스플레이되는 순서에 따라 픽처들을 나타낸 일예시도,

제1도(b)는 디코딩되는 순서에 따라 픽처들을 나타낸 일예시도,

제2도는 B픽처에서의 에러은폐방법을 설명하기 위한 개념도.

도면의 주요부분에 대한 부호의 설명

C1, C2, C3, D1, D4, D5 : B픽처의 매크로블럭

d5 : B픽처에 대한 전방픽처의 매크로블럭

d15 : B픽처에 대한 후방픽처의 매크로블럭

본 발명은 부호화되어 압축된 영상신호의 비트열을 복호화하는데 있어서, 비트열을 구성하는 B(Bi-directional)픽처에서 에러가 발생하고 마침 그 B픽처를 기점으로 장면변화가 발생하는 경우 B픽처의 전/후 화면을 참조하여 그 에러를 은폐할 수 있도록 한 B픽처의 에러은폐방법에 관한 것이다.

근래 들어 대량의 영상정보를 처리하는 고화질TV(HDTV), 고화질 VTR, 디지탈캠코더, 멀티미디어와 같은 디지탈신호처리방식을 적용한 영상기기와 오디오기기의 제품개발이 늘어나는 추세이다. 영상신호를 디지탈테이타로 부호화할 경우 소요데이타량이 많아 이를 능률적으로 전송하거나 기록매체에 저장하기 위해서는 데이타를 압축하는 과정이 필요하게 된다. 또, 압축된 데이타를 화상 또는 음성으로 재현하고자 하는 경우 본래의 신호로 복원하는 과정이 요구된다. 이러한 데이타 압축/복원을 원할하게 수행키 위해서는 부호화측(또는 송신측)과 복호화측(또는 수신측)간에 세부규정을 약정할 필요가 있으며, 이를 위해 국제표준화기관(ISO)은 정기적으로 표준안을 제안해 왔다.

일예로, MPEG(동영상전문가그룹)에서 제안한 권고안중 동영상데이타에 관한 세부사항에 따르면, 동영상데이타는 여러종류의 층으로 된 계층구조의 비트열형태로 이루어진다. 즉, 선두에 비디오시퀀스층이 위치하며 이어서 GOP(Group Of Picture)층, 픽처(프레임)층, 슬라이스층, 매크로블럭층, 블럭층이 뒤따르는 데이타구조를 갖는다. 가령, 부호화측의 GOP층이 IBBPBBP …형태를 가진다면 복호화측에서는 이 GOP구조에 의해 랜덤억세스(random access)처리를 할 수 있다. 픽처층은 I픽처, B픽처, P픽처등으로 구분되며 각 픽처층은 복수의 슬라이스층으로 구성되나. 이 슬라이층은 복수의 매크로블럭으로 구성되며, 슬라이스의 선두에는 제어정보등이 위치한다. 또, 매크로블럭은 단위픽셀(화소)로 이루어진 블럭들로 구성된다.

일반적으로, 연속된 동화상에서는 전후의 화상과 현재의 화상과는 거의 유사하다. 그래서, P픽처는 시간적으로 전방에 위치하는 픽처와 차분을 구한후 이 차분치를 부호화하며, B픽처는 전방과 후방의 픽처와의 차분을 구하여 부호화하므로써 전송데이타를 작게 하고 있다. 또, 차분치를 부호화함과 아울러 동벡터(Moion Vector)를 이용하여 동보상(Motion Compensation)을 행하므로써 전송데이타량을 더욱 줄이는 기법을 사용한다. 복호화측에서는 압축된 데이타 복원하기 위해 픽처들을 디코딩할 경우 부호화된 화상데이타 뿐만 아니라 부가된 파라메타(parameter)를 이용하여 본래의 영상데이타를 재현한다. 그러나, 전송도중 노이즈에 의해 에러가 발생하거나 디코딩과정에서 에러가 발생할 경우 이에 대한 적정한 보상을 행하지 않고 디스플레이하면 부호화되기 전의 화상으로 완전하게 복원되지 않게 되어 열악한 화상을 재현할 수 밖에 없다. 이러한 경우 P픽처와 B픽처는 각각 전방픽처와 전/후방픽처를 참조하여 보상하는 에러은폐(error concealment) 기법을 이용하여 에러에 의한 화상의 열화를 방지하고 있다.

제 1 도(a)는 디스플레이되는 순서에 따라 픽처들을 나타낸 일예시도이고, 제 1 도(b)는 디코딩되는 순서에 따라 픽처들을 나타낸 일예시도이다. 먼저 제 1 도(a)에 도시한 바와 같이, 현재 디스플레이중인 픽처는 B픽처(B0)이고, 그 B픽처(B0)의 전방에 위치한 B픽처(B12, B13)와, P픽처(P14)는 이미 디스플레이 된 픽처인 반면 후방에 위치한 B픽처(B1)와 I픽처(I2)는 B픽처(B0)가 디스플레이된 후에 이어서 디스플레이할 픽처들이다. 가령, 파선(X)을 기준으로 장면변화가 있는 경우 전방픽처(P14)와 B픽처(B0)는 서로 유사성이 적으나 후방픽처(I2)와 B픽처(B0)는 상대적으로 유사한 특성을 갖는다. 이와 달리, 파선(Y)을 기준으로 장면변화가 있는 경우 후방픽처(I2)에 대한 B픽처(B0)의 유사성에 비하여 전방픽처(P14)에 대한 B픽처(B0)의 유사성은 상대적으로 크다. 한편, 픽처들을 디스플레이하는 과정에 앞서 부호화된 픽처들을 디코딩하는 과정이 있으며, 전술한 디스플레이 순서와는 다른 순서에 따라 디코딩이 이루어진다. 이는 부호호측에서 B픽처가 전/후방 픽처(디스플레이 시점을 기준)와의 차분값을 이용하여 부호화되었으므로 B픽처(B0)가 디스플레이된 후 후방픽처(I2)가 디스플레이되더라도 디코딩시에는 1도(b)에 도시된 디코딩순서에 따라 후방픽처(I2)가 B픽처(B0)보다 먼저 디코딩된다. 그런데, 디코딩도중 픽처내에서 에러가 발생하면 부호화측에서 부가된 파라메타를 이용하여 에러은폐를 수행한 후 픽처들을 디스플레이한다. 픽처층의 하부계층인 슬라이스층은 다수의 매크로블럭층으로 구성되며, 그 매크로블럭층에는 매크로블럭번호(MMB), 양자화레벨 및 매크로블럭정보(MB info)가 부가된다. 매크로블럭정보(MB info)에는 필드/프레임 결정정보, 매크로블럭의 양자화레벨, 인터/인트라 결정정보, 동벡터등이 포함되어 있다.

종래에는 픽처층을 디코딩하는 과정에서 슬라이스헤드(슬라이스층의 선두에 위치하며 슬라이스층의 개시제어코드)에서 에러가 발생하면 그 슬라이스헤더부터 그 슬라이스의 마지막 매크로블럭까지 에러은폐를 행해야 하는 대상이 된다. 슬라이스헤더가 아닌 임의의 매크로블럭에서 에러가 발생하면 그 매크로블럭부터 그 슬라이스의 마지막 매크로블럭까지가 에러은폐를 행해야 하는 대상이 된다. 일예로, 제2도에 도시한 바와 같이 매크로블럭(D4)을 에러은폐하고자 하면 이미 디코딩이 완료된 매크로블럭(C1)에 부가된 동벡터를 이용하여 에러은폐를 수행하며, 다른 매크로블럭을 에러은폐시에도 마찬가지로 은폐하려는 매크로블럭의 바로 윗행의 동열에 위치한 매크로블럭에 부가된 동벡터를 이용하여 에러은폐를 수행하였다. 그런데, 동벡터를 취하고자 하는 매크로블럭이 인트라매크로블럭(intra macro block)이면서 동벡터가 부가되지 않은 경우에는 일률적으로 전방픽처의 매크로블럭중 은폐하려는 매크로블럭(D5)과 공간상 동위치에 있는 매크로블럭(d5)에서 동벡터를 취하여 에러은폐를 수행하였다.

그러나, 이와 같은 에러은폐방법은 에러가 발생된 픽처가 B픽처이고 마침 그 B픽처를 기준으로 장면변화가 있는 경우에는 연관성이 적은 전방 픽처를 예측픽처로 하여 에러은폐를 수행케되어 화상재현시 사람의 눈에 거슬리는 문제점이 있었다.

본 발명의 목적은 B픽처에 대한 에러은폐시 동벡터를 취하려는 매크로블럭에 동벡터가 부가되지 않은 경우 전방픽처와 후방픽처중 적응적으로 예측픽처를 선정하며 인접한 매크로블럭에서 동벡터를 취하므로써 B픽처의 장면변화에 대응할 수 있는 B픽처의 에러은폐방법을 제공함에 있다.

상기와 같이 본 발명의 목적은 B픽처를 디코딩시 에러가 발생된 매크로블럭을 동보상하기 위해 예측픽처를 선정하고 타매크로블럭의 동벡터를 취하여 에러은폐를 수행하는 B픽처의 에러은폐방법에 있어서, 상기 B픽처를 기점으로 장면변화의 유무를 판별하는 단계, 상기 판별결과에 따라 에러가 발생된 매크로블럭에 대한 예측픽처를 선택하는 단계, 상기 매크로블럭의 바로 윗행에 위치하는 타매크로블럭에서 동벡터를 취하는 단계에 의하여 달성된다.

이하, 본 발명에 따른 B픽처의 에러은폐방법을 제2도를 참조하여 상세히 설명한다.

에러가 발생한 픽처가 P픽처나 I픽처이면 전술한 종래의 기술에 따라 에러은폐를 수행하므로 이에 대한 중복설명은 생략한다. 본 발명은 에러가 발생한 픽처가 B픽처인 경우로 가정하여 설명한다.

제 2 도의 매크로블럭(D5)에서 에러가 발생하면 B픽처를 기점으로 장면변화가 있는 지를 판별한다. 이는, 파선(U)을 기점으로 장면변화가 일어난 경우와 파선(V)을 기점으로 장면변화가 일어난 경우에 따라 픽처간의 연관성이 다르므로 유사성이 큰 픽처를 예측픽처로 선정하기 위한 것이다. 이러한 예측픽처의 선정에는 매크로블럭에 부가된 매크로블럭에 대한 파라메터를 이용한다. 공간상 동위치를 갖는 전/후방 픽처의 매크로블럭과의 유사정도에 따라 B픽처의 매크로블럭들에는 매크로블럭_포워드(macro block-forward) 또는 매크로블럭_ 백워드(macro block-backward)라는 파라메타가 포함되어 있다. 따라서 슬라이스를 구성하는 매크로블럭의 파라메타를 척도로 장면변화의 유무를 판별할 수 있으며, 전방픽처 또는 후방픽처 중 B픽처와 연관성이 큰 예측픽처를 판별할 수 있다. 즉, 매크로블럭(D5)의 윗행의 매크로블럭들에 포함된 매크로블럭_포워드플래그(flag) 또는 매크로블럭_백워드플래그(flag)가 1인 것을 계수하여 많은 쪽을 매크로블럭(D5)의 예측방향으로 정한다. 일예로, 파선(V)을 기점으로 장면변화가 일어나면 1로 설정된 매크로블럭_포워드플래그가 매크로블럭_백워드플래그보다 계수값이 크며, 예측픽처로 전방픽처를 선택하여 화살표(A1)로 도시한 바와 같이 공간상 동위치에 있는 매크로블럭(d5)의 영상정보를 취한다. 반면, 파선(U)을 기점으로 장면변화가 일어나면 1로 설정된 매크로블럭_백워드플래그가 매크로블럭_포워드플래그보다 계수값이 크며, 예측픽처로 후방픽처를 선택하여 화살표(A2)와 같이 매크로블럭(d15)의 영상정보를 취한다. 그런데, 매크로블럭(D5)의 윗행의 매크로블럭들이 모두 인트라매크로블럭(intra macro block)이거나, 매크로블럭_포워드플래그와 매크로블럭_백워드플래그의 계수된 결과가 동수일 경우에는 장면변화가 발생하지 않은 것으로 보고 전방픽처를 예측픽처로 선택한다. 예측픽처의 선택이 끝난 다음 매크로블럭(D5)의 동벡터를 추정하는데, 매크로블럭(D5)의 바로 윗행의 동열에 위치한 매크로블럭(C2)의 동벡터를 취하여 에러은폐를 행해야 하나, 상기 매크로블럭(C2)의 인트라매크로블럭이고 동벡터를 포함하고 있지 않으면 동벡터를 취할 수 없다. 이러한 경우 매크로블럭(C2)과 인접한 매크로블럭(C1)(C3)의 동벡터를 산술평균한 값을 매크로블럭(D5)의 동벡터로 취한다. 상기 매크로블럭(C1)(C3)중 어느 하나가 인트라매크로블럭인 경우에는 매크로블럭(D5)의 동벡터 값을 0으로 결정한다. 매크로블럭(D5)에 대한 예측픽처와 동벡터가 결정되면 이를 이용하여 매크로블럭(D5)을 동보상함으로써 에러가 발생된 매크로블럭(D5)이 에러은폐된다.

상술한 실시예에서는 에러가 발생된 매크로블럭에 국한하여 에러은폐 방법을 설명하였으나, 에러은폐를 하고자 하는 매크로블럭에 대한 본 발명의 에러은폐방법을 적용할 수 있다.

이상과 같은 본 발명은 B픽처에서 발생한 에러를 은폐할 경우 장면변화를 고려하여 에러은폐를 수행하므로 사람의 시각특성에 어긋나는 인조화상이 발생되지 않아 화상재현시 보다 자연스러운 영상을 얻을 수 있는 효과가 있다.

Claims

B픽처를 디코딩시 에러가 발생된 매크로블럭의 에러은폐를 위한 B픽처의 에러은폐방법에 있어서, 상기 B픽처를 기점으로 장면변화의 유무를 판별하는 단계; 상기 판별결과에 따라 상기 B픽처의 전방픽처 및 후방픽처중에서 상기 B픽처와 상관성이 큰 픽처를 상기 에러가 발생된 매크로블럭의 에러은폐용 동보상을 위한 예측픽처로 선택하는 단계; 상기 에러가 발생된 매크로블럭이 바로 윗행에 위치하는 타매크로블럭에서 동벡터를 취하는 단계; 및 상기 선택된 예측픽처내의 상기 취해진 동벡터가 지정하는 매크로블럭을 사용하여 상기 에러가 발생된 매크로블럭을 동보상하는 단계를 포함하는 것을 특징으로 하는 B픽처의 에러은폐방법.
제 1 항에 있어서, 상기 장면변화의 유무를 판별하는 단계는 에러가 발생된 매크로블럭의 윗행에 위치하는 타매크로블럭들에 부가된 파라메타중 매크로블럭_포워드 또는 매크로블럭_백워드의 설정값이 1인 것을 각각 계수하는 단계를 포함하는 것을 특징으로 하는 B픽처의 에러은폐방법.
제 2 항에 있어서, 상기 파라메타와 계수단계는 매크로블럭_포워드의 계수값이 매크로블럭_백워드의 계수값보다 크거나 동수이면 장면변화가 발생하지 않은 것으로 판별하며 매크로블럭_ 포워드의 계수값이 매크로블럭_백워드의 계수값보다 작으면 장면변화가 발생한 것으로 판별하는 것을 특징으로 하는 B픽처의 에러은폐방법.
제 1 항에 있어서, 상기 예측픽처의 선택단계는 B픽처를 기점으로 장면변화가 없으면 전방픽처를 예측픽처로 선택하며, B픽처를 기점으로 장면변화가 있으며 후방픽처를 예측픽처로 선택학는 것을 특징으로 하는 B픽처의 에러은폐방법.
제 1 항에 있어서, 상기 타매크로블럭에서 동벡터를 취하는 단계는 타매크로블럭과 인접하며 전/후에 위치하는 인접매크로블럭들의 동벡터를 산술평균한 값을 에러가 발생한 매크로블럭의 동벡터로 설정하는 것을 특징으로 하는 B픽처의 에러은폐방법.
제 5 항에 있어서, 상기 타매크로블럭에서 동벡터를 취하는 단계는 인접매크로블럭중 어느 하나가 인트라타입의 매크로블럭이면 에러가 발생한 매크로블럭의 동벡터를 0으로 설정하는 것을 특징으로 하는 B픽처의 에러은폐방법.