KR20040031868A

KR20040031868A - 동영상 부호화 방법

Info

Publication number: KR20040031868A
Application number: KR1020020061003A
Authority: KR
Inventors: 정영안
Original assignee: 엘지전자 주식회사
Priority date: 2002-10-07
Filing date: 2002-10-07
Publication date: 2004-04-14

Abstract

본 발명은 IMT-2000과 같은 무선 영상 통신 단말기의 코덱에서 인트라 모드 부호화를 할 때, 메모리 크기와 계산량을 줄인 동영상 디코딩 방법을 개시한다. 개시된 본 발명은 영상 신호를 이산여현변환, 양자화를 하며 매크로 블록 단위로 부호화를 하는 단계; 상기 부호화된 영상 신호중 인트라 모드 예측을 위하여 매크로 블록 내의 블록들 중 첫단의 수직, 수평의 DC 성분과 AC 성분만을 저장하는 단계; 및 상기 저장된 블록들의 수평, 수직 DC 성분과 AC 성분을 이용하여 이후 인가되는 영상 신호를 인트라 부호화하는 단계;를 포함하는 것을 특징으로 한다.

여기서, 상기 인트라 부호화를 위한 매크로 블록의 윗단과 인접 단의 수직, 수평 DC, 계수만을 저장하고, 상기 영상 신호의 첫 영상 프레임 이후에는 인트라 부호화된 매크로 블록의 DC, AC 계수만을 선택적으로 저장하여 인트라 부호화 과정에서 사용하는 것을 특징으로 한다.

Description

동영상 부호화 방법{METHOD FOR CODING MOVING PICTURE}

본 발명은 동영상 부호화 방법에 관한 것으로, 보다 구체적으로는 영상 신호를 인트라 부호화 할 때, 메모리 부하와 부피를 줄이면서, 계산량을 줄일 수 있는 동영상 부호화 방법에 관한 것이다.

현재, 그리고 미래의 통신 환경은 유선과 무선의 영역 구분이나, 지역이나 국가의 구분을 초월할 만큼 급변하고 있으며, 특히 IMT-2000 등으로 대별되는 미래 통신환경은 영상과 음성은 물론 사용자가 필요로 하는 다양한 정보를 실시간으로 또는 종합적으로 제공하는 환경으로 구축되어 가는 추세이다.

또한, 개인 휴대 통신 시스템의 발달은 현재 셀룰러폰이나 PCS등에서도 단순히 음성통신만을 수행하던 차원에서 벗어나서 문자 정보의 전송은 물론, 개인 휴대 통신 단말기를 이용해서 무선으로 인터넷에 접속하여 다양한 정보를 취득할 수 있는 정도까지 도달해 있다.

더구나, 동영상을 디지털 데이터로 가공하여 실시간으로 전송하고 또 이 것을 수신하여 디스플레이 하는 디지털 텔레비전 시스템은 종전에 단순히 영상(음성)만을 송출하는 차원에서 한 걸음 더 나아가, 디지털 정보가 가지는 이점을 극대화하기 위한 일련의 연구와 그 성과가 가시적으로 나타나고 있다.

특히, 영상신호를 디지털 데이터로 압축가공하고, 이 것을 보다 빠른 속도와 보다 풍부한 정보량으로 고속, 고화질의 실시간 전송을 위한 연구는 그 성과가 이미 나타나고 있으며, 상당한 수준에서 상용화가 이루어지고 또 이루어질 전망이며, 이러한 디지털 동영상 정보의 송출과 수신이 위성방송을 비롯하여 지상파 방송 시스템(때로는 유선 방송 시스템)으로 제공되는 단계에 와 있다.

최근 디지털 신호처리 기술의 발전에 힘입어 제한된 대역폭의 전송 채널을통해 많은 양의 동영상 정보를 압축, 전송하는 방식들이 개발되어 왔으나, 전송 채널상의 오류가 발생하면 복원 영상의 화질이 크게 저하되는 문제가 생긴다.

이때 제한된 대역폭을 최대한으로 이용하기 위해 오류 정정 부호를 사용하지 않고, 정상적으로 복원된 주변의 정보들로부터 잃어버린 정보를 보완하여 원 영상에 가깝게 복구하는 오류 은폐 기법들이 연구되고 있다.

특히 MPEG(Moving Picture Experts Group)과 같은 경우 에러(error)가 발생하면 다음 동기 신호인 슬라이스 헤더를 찾을 때까지의 모든 정보를 손실하게 된다. 또한, 움직임 보상 부호화기법을 이용하기 때문에 손상된 부분의 영향이 이후 계속된 여러 장의 프레임에 걸쳐 계속된다.

본 발명은 비디오 데이터의 빠른 인코딩과 화질개선을 가능하게 할 수 있는 하드웨어 엑셀레이터 구조에 최적화된 모션 판단 값과 인트라 모드 압축 알고리듬을 적용한 IMT-2000 화상단말기이다. 무선화상 통신을 위하여 일반적으로 사용되어지는 엠펙(MPEG) 압축 방식의 모션 판단 값은 가장 많은 계산 량을 가지며 화질과 비트(bit)량에 직접적인 영향을 미치므로 매우 중요하다고 할 수 있다.

따라서 모션 판단 값에 관한 많은 연구가 끊임없이 이루어 졌으며, 최근에는 모션 판단 값을 다이아몬드 서치 패턴(diamond search pattern)을 이용하여 풀 서치(full search)와 거의 비슷한 화질과 비트 량을 가지며 가장 범용 적으로 쓰이는 트리 스텝 서치(three step search) 방식이 사용되고 있다.

도 1은 본 발명에 따른 동영상 인코더 시스템을 도시한 도면이다.

도 1에 도시된 바와 같이, 실제 물체를 촬영한 아날로그 비디오 신호가 들어오면 이를 디지털 변환한 후, 부호화하기 위하여 코딩 작업이 이루어진다. 디지털 비디오 신호로 변환된 영상 신호는 DCT(Discrete Cosine Transform: 1)에서 이산여현변환이 이루어지고, 주파수 형태로 변환된 영상 신호는 양자화부(3)에서 양자화 가된 다음 VLC(Variable Length Coding: 10)에서 엔트로피화 과정을 거쳐 외부로 송신된다.

이때, 부호화되는 디지털 영상이 인터 모드(Inter mode)인 경우에는 모션 예측기(Motion Predict: 9)로부터 이전 영상을 예측할 수 있는 모션 벡터를 생성한다. 영상 프레임 들로부터 움직임을 추정할 수 있도록 부호화 영상을 외부로 송신하기 위한 엔트로피 과정과 함께 양자화한 영상 데이터를 다시 역양자화부(5)에서 역양자화하고, 그런 다음 역DCT(7)에서 역이산여현변환을 하여 재구성된 영상을 영상 메모리(8)에 저장한다.

또한, 부호화되는 영상이 최초 영상으로서 상기 영상 메모리(8)에 저장되어 있는 것이 아닐 경우에는 인트라 예측을 위하여 부호화를 실시한다.

상기 인트라 예측은 부호화되는 영상 프레임 내의 매크로 블록들을 참조하여 디코더에서 디코딩을 할 수 있도록 하기 위함이다.

도 2는 종래 기술에 따른 인트라 모드 부호화 과정을 설명하기 위한 도면이다.

도 2에 도시된 바와 같이, 영상 신호가 이산여현변환, 양자화에 의하여 부호화가 되면, 가변장 부호화를 거쳐 외부로 송신되지만, 이후 인가되는 영상 신호의 인트라 모드 예측을 위하여 역이산여현변환, 역양자화를 거쳐 메모리에 저장을 한다.

인트라 모드는 부호화되는 영상 프레임 내의 매크로 블록만으로 예측을 실시하여 부호화를 하기 때문에, 인터 모드에 비하여 계산량이 많고, 많은 메모리를 차지한다.

먼저 인트라 모드 부호화는 영상 프레임 내의 매크로 블록 단위로 이루어지기 때문에 전체 영상 프레임에 해당하는 메모리를 할당한 다음, 부호화를 진행할 매크로 블록의 인접 매크로 블록과 윗단의 매크로 블록의 DC와 AC 값을 이용하여 예측을 진행한다.

이와 같은 과정은 H.263 표준에서는 GOB 단위로 스캔 방식으로 차례로 부호화를 하도록 하는데, 도시된 것과 같이 X 매크로 블록인 인접한 A 매크로 블록과 C 매크로 블록의 저장된 메모리 계수 값을 이용하여 인트라 부호화를 진행한다.

그리고 계속해서 Y 매크로 블록을 부호화할 때, 상기 인트라 부호화한 X 매크로 블록과 윗단의 D 매크로 블록의 계수 값을 이용하여 부호화 예측을 진행한다.

그러나, 상기와 같이 영상 신호를 부호화 할 때는 부호화되는 영상 프레임 각각에 대하여 화면 전체의 화소 값들에 대한 메모리를 할당 한 다음, 현재 부호화할 매크로 블록의 윗단 매크로 블록과 인접 매크로 블록의 계수로부터 DC와 AC 값을 비교하여 예측 방향을 결정하도록 하고 있다.

이로 인하여 메모리에 부하가 많이 걸릴 뿐만 아니라, 부호화 로딩과 저장을 위한 계산량이 증가되는 문제가 있다.

또한, 메모리 크기와 계산량의 증가로 인하여 코덱의 부피가 증가하여 최근소형화 단말기에서 사용하기에는 어려운 문제가 있다.

본 발명은, 영상 신호를 부호화 할 때 인트라 예측을 위하여 매크로 블록 내의 계수 값들만 저장하여 이후, 인트라 예측을 위한 정보로 사용하도록 함으로써 부호화 과정에서 필요로 하는 메모리 크기와 계산량을 줄일 수 있는 동영상 부호화 방법을 제공함에 그 목적이 있다.

도 1은 종래 기술에 따른 동영상 인코더 시스템을 도시한 도면.

도 2는 종래 기술에 따른 인트라 모드 부호화 과정을 설명하기 위한 도면.

도 3은 본 발명에 따라 인트라 부호화를 위하여 매크로 블록 내의 계수들을 저장하는 과정을 설명하기 위한 도면.

도 4는 본 발명에 따라 영상 프레임 내의 매크로 블록들 중에서 선택적으로 매크로 블록의 계수들을 저장하는 모습을 설명하기 위한 도면.

도 5는 본 발명에 따른 동영상 부호화 방법을 설명하기 위한 플로 챠트.

*도면의 주요 부분에 대한 부호의 설명*

1: DCT3: 양자화부

5: 역 양자화부7: 역DCT

8: 영상 메모리9: 모션 예측기

10:VLC

상기한 목적을 달성하기 위한, 본 발명에 따른 동영상 부호화 방법은,

영상 신호를 이산여현변환, 양자화를 하며 매크로 블록 단위로 부호화를 하는 단계;

상기 부호화된 영상 신호중 인트라 모드 예측을 위하여 매크로 블록 내의 블록들 중 첫단의 수직, 수평의 DC 성분과 AC 성분만을 저장하는 단계; 및

상기 저장된 블록들의 수평, 수직 DC 성분과 AC 성분을 이용하여 이후 인가되는 영상 신호를 인트라 부호화하는 단계;를 포함하는 것을 특징으로 한다.

여기서, 상기 인트라 부호화를 위한 매크로 블록의 윗단과 인접단의 수직, 수평 DC, 계수만을 저장하고, 상기 영상 신호의 첫 영상 프레임 이후에는 인트라 부호화된 매크로 블록의 DC, AC 계수만을 선택적으로 저장하여 인트라 부호화 과정에서 사용하는 것을 특징으로 한다.

본 발명에 의하면, 영상 신호를 인트라 부호화 할 때, 매크로 블록 단위의 DC와 AC 계수만을 인트라 예측을 위하여 사용함으로써, 메모리 할당량을 줄이면서계산량을 줄일 수 있는 효과가 있다.

이하, 첨부한 도면에 의거하여 본 발명의 바람직한 실시 예를 자세히 설명하도록 한다.

도 3은 본 발명에 따라 인트라 부호화를 위하여 매크로 블록 내의 계수들을 저장하는 과정을 설명하기 위한 도면이다.

도 3에 도시된 바와 같이, 영상 프레임을 구성하는 매크로 블록은 4개의 8*8 화소 블록들과 2개의 색차 블록으로 이루어져 있다. 본 발명에서는 인트라 모드 부호화를 진행할 영상 프레임 내의 모드 화소들의 값에 해당하는 메모리를 할당한 다음에, 인접한 매크로 블록들로부터 인트라 예측을 진행하는 것이 아니라, 인트라 부호화 예측을 위하여 필요한 매크로 블록들의 DC, AC 계수 값들만 메모리에 저장하도록 하여 메모리 크기를 크게 줄였다.

즉, 인트라 모드 부호화를 위하여 매크로 블록 내의 6개의 화소 블록들 중에서 인트라 예측을 위하여 사용되는 첫단의 수직, 수평 DC, AC 계수 값만을 저장하도록 하였다.

하나의 매크로 블록 내의 6개의 화소 블록들에 대한 수평 방향 계수 값들은 도시된 바와 같이, DC, AC 계수 값을 포함한 48개의 화소 계수 값만을 저장하고, 수직 방향 계수 값들도 마찬가지로 DC, AC 계수 값을 포함한 48개의 화소 계수 값만을 저장한다.

따라서, 종래에는 인트라 모드 부호화를 위하여 영상 프레임 내의 전체 매크로 블록들에 대한 메모리를 할당한, 다음, 각각의 매크로 블록 내의 DC, AC 계수값을 이용하여 인트라 예측을 하였지만, 본 발명에서는 실제 사용되는 DC, AC 계수 값만을 메모리에 저장하여 인트라 예측을 하도록 하였다.

이와 같이, 인트라 부호화 시에 메모리를 할당하면 QCIF 영상 포맷(1/4CIF)인 경우에는 종래에는 38016 크기의 메모리를 할당하였지만, 본 발명에서는 1056 크기의 메모리를 할당할 수 있어 크기를 현저히 줄였다.

또한, 인트라 부호화시 저장되어 있는 계수만을 로딩하고, 예측을 하므로 부화화 시간이 단축되고, 계산량이 줄어드는 이점이 있다.

도 4는 본 발명에 따라 영상 프레임 내의 매크로 블록들 중에서 선택적으로 매크로 블록의 계수들을 저장하는 모습을 설명하기 위한 도면이다.

도 4에 도시된 바와 같이, 첫 번째 영상 신호 이후 계속해서 영상 프레임이 들어올 경우에는 상기 영상 프레임 내에 포함되어 있는 매크로 블록들은 인트라 부호화할 것이 있거나, 인트라 부호화할 것으로 구분된다.

상기 영상 프레임 내의 인트라 부호화 매크로 블록만을 선별적으로 선택하여 계수 값을 저장함으로써, 메모리 수를 또한 크게 감소시킬 수 있게 된다.

아울러, 선택된 매크로 블록의 저장된 계수를 이용하여 이후 인트라 모드 예측을 할 때 사용함으로써 부호화 계산량을 줄일 수 있게 된다.

도 5는 본 발명에 따른 동영상 부호화 방법을 설명하기 위한 플로 챠트이다.

도 5에 도시된 바와 같이, 인코더에서는 인트라 모드 부호화와 인터 모드 부호화를 진행하는데, 인터 모드 부호화는 이전 부호화 영상 신호를 그대로 사용하여 부호화량을 줄이도록 하는 부호화 방식이고, 인트라 모드 부호화는 참조할 부호화영상이 없는 최초 부호화된 영상 신호를 예측하는 방식이다.

상기 인코더에 영상 신호가 인가되면, 이산여현변환, 양자화가 진행되며, 최초 영상 프레임인 경우에는 디코더에서 참조할 영상이 존재하지 않으므로, 영상 프레임 내의 매크로 블록들로부터 예측하도록 부호화를 진행한다.(S501)

본 발명에서는 인트라 모드 부호화시에 부호화된 영상 신호로부터 영상 프레임 전체에 대한 메모리를 할당하지 않고, 인트라 예측시에 직접 사용되는 매크로 블록들의 DC, AC 값의 계수만을 저장한다.(S502)

상기 매크로 블록의 계수 값들을 이용하여 인트라 모드 예측을 진행하고, 이후에 인가되는 부호화 영상 신호에서는 인트라 부호화 매크로 블록에 대해서만, 계수 값을 저장하여 계산량을 줄였다.(S503)

또한, 이후 인가되는 영상 프레임 중에서 인트라 매크로 블록에 대하여 선택적으로 부호화를 실시함으로써, 이후 인트라 모드 부호화 계산량을 줄였다.(S504)

이상에서 자세히 설명된 바와 같이, 본 발명은 인트라 부호화를 위하여 매크로 블록들의 계수 값만을 저장하도록 함으로써, 부호화시에 필요한 메모리 크기를 줄이면서, 부호화 계산량을 줄인 효과가 있다.

또한, 영상 프레임 내에 포함되어 있는 매크로 블록들 중에서 인트라 부호화된 매크로 블록의 계수만을 선택적으로 부호화 할 수 있어, 이후 부호화 과정에서도 부호화 메모리와 계산량을 줄일 수 있는 효과가 있다.

본 발명은 상기한 실시 예에 한정되지 않고, 이하 청구 범위에서 청구하는본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 분야에서 통상의 지식을 가진 자라면 누구든지 다양한 변경 실시가 가능할 것이다.

Claims

영상 신호를 이산여현변환, 양자화를 하며 매크로 블록 단위로 부호화를 하는 단계;

상기 부호화된 영상 신호중 인트라 모드 예측을 위하여 매크로 블록 내의 블록들 중 첫단의 수직, 수평의 DC 성분과 AC 성분만을 저장하는 단계; 및

상기 저장된 블록들의 수평, 수직 DC 성분과 AC 성분을 이용하여 이후 인가되는 영상 신호를 인트라 부호화하는 단계;를 포함하는 것을 특징으로 하는 동영상 부호화 방법.
제 1 항에 있어서,

상기 인트라 부호화를 위한 매크로 블록의 윗단과 인접단의 수직, 수평 DC, 계수 만을 저장하는 것을 특징으로 하는 동영상 부호화 방법.
제 1 항에 있어서,

상기 영상 신호의 첫 영상 프레임 이후에는 인트라 부호화된 매크로 블록의 DC, AC 계수 만을 선택적으로 저장하여 인트라 부호화 과정에서 사용하는 것을 특징으로 하는 동영상 부호화 방법.