KR100338724B1 - 비디오 부호화 및 복호화 장치 및 그 방법 - Google Patents

Abstract

MPEG 규격에 있어서 여러 채널의 비디오 데이터를 동시에 부호화 및 복호화하는 장치 및 방법에 관한 것이며, 복수개의 채널로 입력되는 비디오 데이터가 각 채널별로 독립된 참조 픽쳐에 의해 부호화되고, 상기 부호화된 비트스트림이 인접된 참조 픽쳐간에는 서로 독립적이고 같은 채널의 인접된 참조 픽쳐 끼리 서로 연관성을 가지는 것을 특징으로 하며, 본 발명에 의하면, 복수개의 채널 비디오를 서로 독립된 여러 가지의 참조 픽쳐(Reference Picture)를 이용하여 MPEG 규격의 비디오를 복호화 및 부호화 함으로써 여러 채널의 비디오 데이터를 동시에 부호화 및 복호화할 수있다.

Description

비디오 부호화 및 복호화 장치 및 그 방법{Video encoding/decording apparatus and method thereof}

본 발명은 MPEG(Moving Picture Experts Group) 비디오 부호화 및 복호화 창치 및 그 방법에 관한 것으로서, 특히 MPEG 규격에 있어서 여러 채널의 비디오 데이터를 동시에 부호화 및 복호화하는 장치 및 방법에 관한 것이다.

MPEG은 동영상 부호화 및 복호화에 있어 가장 대표적인 국제 규격이며 하나의 정지된 화상을 보다 효율적으로 압축하는 방법을 고안하고 있는 JPEG과 달리 동화상 즉, 시간에 따라 변하는 비디오 데이터 압축과 코드 표현을 통하여 데이터를 전송하기 위한 규격이다.

도 1은 일반적인 MPEG 비디오 부호화 장치의 블록도이다.

먼저, 입력되는 디지털 비디오 데이터는 프레임/필드 메모리(101)를 통해 데이터의 순서와 부호화되는 순서가 제어되고, DCT(Discrete Cosine Transform)(103), 양자화기(104), VLC(Variable Length Coding)(114)을 통해 압축 부호화되며, 버퍼(116)를 통해 일정한 속도로 부호화된 비트스트림(bitstream)으로 출력된다. 또한 프레임/필드 메모리(101)로부터 발생되는 디지털 비디오 데이터는 복잡도 예측기(Activity Estimator)(110)를 통해 복잡도가 예측되며, 그 복잡도와 버퍼(116)의 상태를 기초로하여 레이트 조절기(112)에서 레이트 조절되고, 그 에 따라 양자화기(104)의 양자화가 제어된다.

MPEG은 부호화하는 픽쳐를 크게 3가지 즉, I(Intra), P(Predicted), B(Bidirectional) 픽쳐로 분류한다. 도 2에 도시된 MPEG 비디오 픽쳐에서와 같이 I 픽쳐는 픽쳐 자체내의 정보만을 이용하여 부호화하기 때문에 복호화된 다른 픽쳐의 참조 없이도 복호화될 수있으며, P 픽쳐는 앞단의 I 또는 P 픽쳐의 정보를 순방향 예측하여 최적의 화질이 나타나도록 부호화한 것으로 순방향 예측에 사용한 픽쳐 데이터가 있어야 복호될 수있다. 또 B 픽쳐는 과거와 미래의 픽쳐(I 또는 P픽쳐)정보를 양방향 예측하여 부호화한 것으로 복호시 양방향 예측에서 사용한 두 개의 픽쳐 데이터가 있어야 복호된다.

한편 도 1에서 부호화하는 픽쳐가 I 픽쳐일 경우 양자화를 수행한 데이터는 다시 역양자화기(105), IDCT(Inverse DCT)(106)를 통해 복호과정을 거쳐 프레임 메모리(107)에 저장되어 다음의 비디오 부호화에 대한 참조 픽쳐(Reference Picture)로 이용된다. 또한 부호화하는 픽쳐가 P 픽쳐일 경우 입력 데이터와 참조 픽쳐로부터 움직임 예측기(108)에서 움직임을 예측하고, 움직임 예측(Motion Estimation)에 의한 오차값과 움직임 값을 부호화하고, 역양자화, IDCT과정을 거쳐 프레임 메모리(107)에 저장되어 있는 참조 픽쳐를 이용해 움직임 보상기(107)에서 움직임 보상을 수행함으로써 완전한 하나의 픽쳐로 복호하여 프레임 메모리(107)에 새로운 참조 픽쳐로 저장한다. 부호화하는 픽쳐가 P 픽쳐일 경우 움직임 예측이 두 개의 참조 픽쳐를 이용하여 최적의 움직임 예측을 수행하게 되며, B 픽쳐는 참조 픽쳐로 이용되지 않으므로 별도의 복호 동작을 필요하지 않는다. 또한 B 픽쳐는 입력되는 데이터의 순서가 P 픽쳐보다 먼저 입력되지만 P 픽쳐를 이용하여 부호화되므로 도 1의 프레임/필드 메모리(101)에서 버퍼링을 통해 P 픽쳐가 먼저 부호화된 후 부호화된다.

도 3은 도 1의 프레임 메모리(107)의 내용을 도시한 것이며, 프레임 메모리(107)는 B 픽쳐를 부호화하기 위하여 2개의 참조 픽쳐(Reference Picture)를 동시에 이용하므로 참조 픽쳐 1(Reference 1), 참조 픽쳐 2(Reference 2)를 모두 구비해야한다. 이와 같이 부호화하면서 계속적으로 발생하는 참조 픽쳐는 두 개만을 이용하므로 도 3의 참조 픽쳐 영역을 번갈아 가면서 계속 수정된다.

도 4는 MPEG 비디오 복호화 장치의 블록도이며, 부호화된 데이터 입력부(412), 데이터 복호부(414), 디지털비디오출력부(416), 메모리인터페이스부(418), 외부메모리(420)로 구성된다. I, P 픽쳐는 데이터 복호부(414)에서 복호후에도 B 픽쳐의 복호를 위해 참조 픽쳐로 다시 이용되어야 하므로 외부 메모리(420)에 저장된다. 외부 메모리(420)는 입력하는 데이터를 저장하는 비트스트림 버퍼와 복호과정중 필요한 참조 픽쳐 두개와 복호된 B 픽쳐를 저장하는 프레임 버퍼를 구비한다. 프레임 버퍼는 두 개의 참조 픽쳐 영역만을 이용하여 계속적으로 참조 픽쳐를 수정하면서 모든 데이터에 대해 복호를 수행한다. 기존에는 여러 채널의 비디오 데이터를 동시에 부호화하거나 복호화하기 위해서 이러한 복수개의 MPEG 부호화기와 복호화기를 사용해야하므로 시스템이 복잡해지고 그에 따라 코스트가 상승하는 문제점이 있었다.

본 발명이 이루고자하는 기술적과제는 MPEG 규격의 비디오 부호화 및 복호화에 있어서 서로 독립된 여러 가지의 참조 픽쳐(Reference Picture)를 이용하여 여러 채널의 비디오 데이터를 동시에 부호화하는 장치 및 그 방법을 제공하는 데 있다.

본 발명이 이루고자하는 기술적과제는 MPEG 규격의 비디오 부호화 및 복호화에 있어서 서로 독립된 여러 가지의 참조 픽쳐(Reference Picture)를 이용하여 여러 채널의 비디오 데이터를 동시에 복호화하는 방법을 제공하는 데 있다.

도 1은 일반적인 MPEG 비디오 부호화 장치의 블록도이다.

도 2는 일반적인 MPEG 비디오 방식의 픽쳐 구조를 도시한 것이다.

도 3은 도 1의 프레임 메모리의 내용을 도시한 것이다.

도 4는 MPEG 비디오 복호화 장치의 블록도이다.

도 5는 본 발명에 따른 비디오 부호화 장치를 보이는 블록도이다.

도 6은 본 발명에 따른 부호화하는 비디오 픽쳐의 구성예를 도시한 것이다.

도 7은 참조 픽쳐가 격납된 프레임 메모리의 내용을 도시한 것이다.

도 8은 본 발명에 따른 복호화 프레임 메모리의 내용을 도시한 것이다.

도 9는 본 발명에 따른 비디오 복호 장치의 구성을 보이는 블록도이다.

도 10은 본 발명에 따른 비디오 복호의 다른 실시예를 보이는 흐름도이다.

상기의 기술적 과제를 해결하기 위하여, 복수개의 비디오 채널을 동시에 부호화하는 방법에 있어서,

상기 복수개의 채널로 입력되는 비디오 데이터가 각 채널별로 독립된 참조 픽쳐에 의해 부호화되고,

상기 부호화된 비트스트림이 인접된 참조 픽쳐간에는 서로 독립적이고 같은 채널의 인접된 참조 픽쳐 끼리 서로 연관성을 가지는 것을 특징으로 하는 비디오 부호화 방법이다.

상기의 기술적 다른 과제를 해결하기 위하여, 복수개의 비디오 채널을 동시에 부호화하는 장치에 있어서,

상기 복수개의 비디오 채널을 시간적으로 분할하여 한 개의 채널 데이터를 선택하여 출력하는 스위치부;

상기 스위치부에서 선택된 하나의 비디오 채널 데이터를 필터링하는 필터부;

상기 필터부에서 필터링된 비디오 데이터를 부호화하는 부호화부를 포함하는 것을 특징으로 하는 비디오 부호화 장치이다.

상기의 다른 기술적 과제를 해결하기 위하여, 채널별로 해당하는 참조 픽쳐를 구비하여 복수개의 비디오 채널을 동시에 복호화하는 방법에 있어서,

입력되는 비트 스트림이 인접된 참조 픽쳐들간에 서로 독립적이고 같은 채널의 인접한 참조 픽쳐들 끼리 연관성을 가지며,

상기 채널별로 독립된 참조 픽쳐를 업데이트하면서 복수개의 채널별 비디오데이터를 복호화하는 것을 특징으로 하는 비디오 복호화 방법이다.

이하 첨부된 도면을 참조로하여 본 발명의 바람직한 실시예를 설명하기로 한다.

도 5는 본 발명에 따른 비디오 부호화 장치를 보이는 블록도이며, 복수개 채널(A-Ch, B-Ch, C-Ch, D-Ch)의 데이터가 스위치(510), 데시메이션(decimation) 필터(520), MPEG 비디오 인코더(530)을 통하여 다중화된 비트스트림(bitstream)으로 출력된다.

도 5에 도시된 바와 같이 4개의 비디오 데이터를 동시에 부호화할 경우 각각 A-Ch, B-Ch, C-Ch, D-ch의 데이터가 동시에 입력된다. A-Ch, B-Ch, C-Ch, D-ch의 데이터는 스위치(510)에 의해 순간적으로 하나만이 선택되어 출력된다. 예를 들면 스위치(510)가 NTSC의 프레임 주파수인 30Hz 단위로 스위칭을 수행하면 1/30초마다 채널을 바꾸면서 입력되는 채널 데이터를 선택하게 된다. 데시메이션 필터(510)는 스위치(510)에 의해 선택된 데이터를 필터링하여 데이터량을 줄인다. 예를 들면 특정 필드의 데이터를 제거하거나, 입력되는 픽쳐의 가로, 세로 화소수를 1/2씩 줄인다. MPEG비디오인코더(530)는 데시메이션 필터(510)에서 필터링된 데이터를 MPEG 규격에 의한 부호화를 수행하여 다중화된 비트스트림으로 출력한다.

도 6은 본 발명에 따른 부호화하는 비디오 픽쳐의 구성예를 도시한 것이다. 도 5의 스위치(510)에 A-ch, B-ch, C-ch, D-ch의 순으로 비디오 데이터가 입력된다면, 첫 번째 입력되는 A-ch 1은 단독으로 MPEG 규격에의한 I 픽쳐로 부호화되고, 두 번째 입력되는 B-ch 2도 단독으로 MPEG 규격에의한 I 픽쳐로 부호화되고, 세 번째 입력되는 C-ch 3도 단독으로 MPEG 규격에의한 I 픽쳐로 부호화되고, 네 번째 입력되는 D-ch 4도 단독으로 MPEG 규격에의한 I 픽쳐로 부호화된다. 이들 I 픽쳐들은 도 1의 장치를 통해 일련의 복호 과정을 거쳐 다음에 부호화되는 P 픽쳐나 B 픽쳐에 대한 참조 픽쳐로 사용된다. 그 참조 픽쳐들은 도 7에 도시된 바와 같은 프레임 메모리 내용에 도시된 바와 같이 각각 A-Ch 참조 픽쳐 1, B-Ch 참조 픽쳐 1, C-Ch 참조 픽쳐 1, D-ch 참조 픽쳐 1 영역에 격납된다.

다음으로 입력되는 각 채널의 데이터들은 B 픽쳐로 부호화되어야한다. 이를 위하여 도 1의 장치에서와 같은 과정으로 먼저 P 픽쳐가 부호화되어야 하므로 프레임/필드 메모리(101)를 이용하여 버퍼링을 행하고, 뒤에 입력되는 A-Ch 9, B-Ch 10, C-Ch 11, D-Ch 12를 먼저 부호화한다. 이때 입력되는 A-ch 9는 A-ch 참조 픽쳐 1을 사용하여 MPEG 규격에 의한 P 픽쳐로 부호화되고, 다음으로 입력되는 B-ch 10은 B-ch 참조 픽쳐 1을 사용하여 MPEG 규격에 의한 P 픽쳐로 부호화되고, 다음으로 입력되는 C-ch 11은 C-ch 참조 픽쳐 1을 사용하여 MPEG 규격에 의한 P 픽쳐로 부호화되고, 다음으로 입력되는 D-ch 12는 D-ch 참조 픽쳐 1을 사용하여 MPEG 규격에 의한 P 픽쳐로 부호화된다. 이들 부호화된 P 픽쳐들은 도 1의 부호화 장치에서와 같이 일련의 부호화 과정을 거쳐 다음에 부호화되는 P 픽쳐나 B픽쳐에 대한 참조 픽쳐로 사용되며, 도 7에 도시된 바와 같이 각각 A-Ch 참조 픽쳐 2, B-Ch 참조 픽쳐 2, C-Ch 참조 픽쳐 2, D-ch 참조 픽쳐 2 영역에 격납된다.

다음으로 먼저 입력되어 버퍼링되어 있는 데이터들은 프레임 메모리(107)에 격납된 각각의 참조 픽쳐를 이용하여 B 픽쳐로 부호화하여야한다. 즉, 먼저 입력된A-ch 5는 도 7의 A-ch 참조 픽쳐 1, 2를 사용하여 B 픽쳐로 부호화되고, 다음으로 입력된 B-ch 6는 도 7의 B-ch 참조 픽쳐 1, 2를 사용하여 B 픽쳐로 부호화되고, 다음으로 입력된 C-ch 7는 도 7의 C-ch 참조 픽쳐 1, 2를 사용하여 B 픽쳐로 부호화되고, 다음으로 입력된 D-ch 8는 도 7의 D-ch 참조 픽쳐 1, 2를 사용하여 B 픽쳐로 부호화된다. 이와 같이 각 채널별로 두 개의 참조 픽쳐를 계속적으로 업데이트하면서 부호화하며, 이에 따라 각 채널에 대해 혼합하여 동시에 부호화하는 것이 가능하다. 여기서 I, B, P 픽쳐의 개수는 일반적인 MPEG 비디오 방식과 응용처에 따라 설정한다.

도 8은 본 발명에 따른 복호화 프레임 메모리의 내용을 도시한 것이다.

복호하고자하는 데이터는 도 4에 도시된 바와 같이 비트스트림 버퍼에 저장된 후 복호된다. 4개 채널이 혼합되어 부호화되어 있는 경우 첫 번째 복호된 데이터가 A-ch에 대한 I 픽쳐인데, 이는 복호를 위한 첫 번째 참조 픽쳐로 사용될 픽쳐이므로 도 8의 A-ch 참조 픽쳐 1에 저장된다. 다음에 입력되는 B-ch, C-ch, D-ch의 I 픽쳐는 각각 동일하게 복호되어 각각 B-Ch 참조 픽쳐 1, C-Ch 참조 픽쳐 1, D-ch 참조 픽쳐 1에 저장된다. 그리고 다음에 복호하는 데이터가 각각 A-ch, B-ch, C-ch, D-ch에 해당하는 P 픽쳐이면, A-ch 참조 픽쳐 1, B-Ch 참조 픽쳐 1, C-Ch 참조 픽쳐 1, D-ch 참조 픽쳐 1을 이용하여 P 픽쳐를 복호하고, 복호된 픽쳐는 도 8의 A-ch 참조 픽쳐 2, B-Ch 참조 픽쳐 2, C-Ch 참조 픽쳐 2, D-ch 참조 픽쳐 2에 각각 저장하여 다음에 입력되는 각 채널의 B 픽쳐를 복호하는 데 사용된다.

또한 다음에 복호하는 데이터가 각각 A-ch, B-ch, C-ch, D-ch에 해당되는 B픽쳐이면, A-ch 참조 픽쳐 1, B-Ch 참조 픽쳐 1, C-Ch 참조 픽쳐 1, D-ch 참조 픽쳐 1, A-ch 참조 픽쳐 2, B-Ch 참조 픽쳐 2, C-Ch 참조 픽쳐 2, D-ch 참조 픽쳐 2를 이용하여 B 픽쳐를 복호한다. 이와 같이 각 채널에 대한 별도의 독립된 참조 픽쳐를 이용하고, 복호를 수행하면서 참조 픽쳐를 계속적으로 업데이트 함으로써 여러 채널의 MPEG 비디오 데이터를 동시에 복호할 수있다.

MPEG 비디오 복호는 데이터를 복호하는 과정과 이를 외부에 표시하는 과정이 동시에 실행된다. 즉, 프레임 메모리가 논리적으로 디스플레이 버퍼로 사용되어 비디오 데이터를 외부에 표시한다. 도 8은 하나의 화면으로 표시될 영역을 각각의 A-ch, B-ch, C-ch, D-ch 표시 영역으로 구분되고, 각각의 표시영역은 채널별로 할당된 참조 픽쳐 또는 B 픽쳐중 하나로 매핑함으로써 화면에 표시된다. 즉, 도 8에 도시된 바와 같이 각 채널별로 복호된 참조 픽쳐 1, 참조 픽쳐 2, B 픽쳐중 각 채널별 표시 순서에 의거해 하나의 픽쳐를 선택하여 이를 A-ch 표시영역에 매핑한다. 표시 순서는 MPEG의 부호화 구조상 설정되어 있다. 이와 같이 각 채널별로 픽쳐를 선택하여 각각의 표시영역에 매핑하면 여러 채널의 데이터를 동시에 표시할 수있다.

도 9는 본 발명에 따른 비디오 복호 장치의 구성을 보이는 블록도이며, 다중화된 비트스트림을 입력으로 하며, MPEG 비디오 디코더(910), 인터폴레이션 필터(920)로 구성된다.

복호된 데이터는 여러 채널의 비디오 데이터가 동시에 출력될 수도 있고, 사용자의 선택에 따라 특정 채널의 데이터만 선택되어 출력될 수있다. MPEG 비디오디코더(910)는 다채널로 이루어진 다중화된 비트스트림을 입력하여 원래의 비디오 신호로 디코딩한다. 인터폴레이션 필터(920)는 도 8의 4개의 표시 영역에 매핑되어 있는 데이터중에서 특정 채널의 표시 영역만이 선택되어 출력되는 경우 도 6의 데시메이션 필터와 역동작을 수행하여 비디어 데이터를 전체 화면에 맞게 변화시켜 출력한다. 이 인터폴레이션 필터(920)는 MPEG 규격의 복호장치에서 통상적으로 사용된다. 또한 여러 채널의 데이터가 동시에 출력될 경우 이 데이터를 그대로 출력시키면 여러 채널의 데이터를 동시에 표시할 수있다.

도 10은 본 발명에 따른 비디오 복호의 다른 실시예를 보이는 흐름도이다.

여러 채널이 동시에 부호화되어 있는 경우, 먼저 1110과정에서 픽쳐 스타트 코드를 검출한다. 1120과정에서 각 픽쳐에 있는 채널에 대한 정보를 분석하여 복호를 원하는 채널에 대한 픽쳐인가를 체크한다. 여기서 복호를 원하는 채널에 대한 픽쳐이면 1130과정에서 그 픽쳐에 대해서만 복호를 수행하고 원하지 않는 픽쳐는 스킵한다. 1140과정에서 비트스트림이 종료이면 복호를 종료한다.

상술한 바와 같이 본 발명에 의하면, 복수개의 채널 비디오를 서로 독립된 여러 가지의 참조 픽쳐(Reference Picture)를 이용하여 MPEG 규격의 비디오를 복호화 및 부호화 함으로써 여러 채널의 비디오 데이터를 동시에 부호화 및 복호화할 수있다.

Claims (12)

1. 복수개의 비디오 채널을 동시에 부호화하는 방법에 있어서,

   상기 복수개의 채널로 입력되는 비디오 데이터가 각 채널별로 독립된 참조 픽쳐에 의해 부호화되고,

   상기 부호화된 비트스트림 인접된 참조 픽쳐간에는 서로 독립적이고 같은 채널의 인접된 참조 픽쳐 끼리 서로 연관성을 가지는 것을 특징으로 하는 비디오 부호화 방법.
2. 제1항에 있어서, 상기 참조 픽쳐는 복수개 채널각각에 설치되며, 각 채널당 2개의 참조 픽쳐로 구성되는 것임을 특징으로 하는 비디오 부호화 방법.
3. 제1항에 있어서, 상기 입력되는 복수개 채널의 비디오는 각 채널별로 두 개의 참조 픽쳐를 업데이트하면서 부호화되는 것임을 특징으로 하는 비디오 부호화 방법.
4. 복수개의 비디오 채널을 동시에 부호화하는 장치에 있어서,

   상기 복수개의 비디오 채널을 시간적으로 분할하여 한 개의 채널 데이터를 선택하여 출력하는 스위치부;

   상기 스위치부에서 선택된 하나의 비디오 채널 데이터를 필터링하는 필터부;

   상기 필터부에서 필터링된 채널별 비디오 데이터를 각 채널별로 독립된 참조 픽쳐에 의해 부호화하는 부호화부를 포함하며,

   상기 부호화부에서 부호화된 비트스트림이 인접된 참조 픽쳐간에는 서로 독립적이고 같은 채널의 인접된 참조 픽쳐 끼리 서로 연관성을 가지는 것을 특징으로 하는 비디오 부호화 장치.
5. 제4항에 있어서, 상기 스위치부는 프레임 주파수 단위마다 복수개의 채널을 바꾸면서 데이터를 선택하는 것임을 특징으로 하는 비디오 부호화 장치.
6. 제4항에 있어서, 상기 필터부는 데시메이션에 의해 데이터를 필터링하는 것임을 특징으로 하는 비디오 부호화 장치.
7. 채널별로 해당하는 참조 픽쳐를 구비하여 복수개의 비디오 채널을 동시에 복호화하는 방법에 있어서,

   입력되는 비트 스트림이 인접된 참조 픽쳐들간에 서로 독립적이고 같은 채널의 인접한 참조 픽쳐들 끼리 연관성을 가지며,

   상기 채널별로 독립된 참조 픽쳐를 업데이트하면서 복수개의 채널별 비디오 데이터를 복호화하는 것을 특징으로 하는 비디오 복호화 방법.
8. 제7항에 있어서, 상기 참조 픽쳐는 각 채널당 2개의 참조 픽쳐로 구성되는 것임을 특징으로 하는 비디오 복호화 방법.
9. 제7항에 있어서, 상기 입력되는 비트 스트림은 각 채널별로 두 개의 참조 픽쳐를 업데이트하면서 복호화되는 것임을 특징으로 하는 비디오 복호화 방법.
10. 제7항에 있어서, 상기 복수개 채널에 대해 각 채널별로 별도의 표시 영역을 설정하고

    상기 각 채널별로 복호된 픽쳐를 표시 순서에 따라 상기의 각 채널별 표시 영역에 매핑하는 과정을 더 포함하는 것을 특징으로 하는 비디오 복호화 방법.
11. 제7항에 있어서, 복호되는 복수개 채널의 픽쳐중 특정한 채널의 데이터가 선택되면, 상기 선택된 데이터가 인터폴레이션되는 것을 특징으로 하는 비디오 복호화 방법.
12. 제7항에 있어서, 픽쳐 단위로 부호화되어 있는 데이터에서 픽쳐별로 채널 정보를 구하여 원하는 채널 데이터를 선택하여 복호화하는 것을 특징으로 하는 특징으로 하는 비디오 복호화 방법.