KR100281463B1

KR100281463B1 - 물체 기반 부호화 시스템의 보조 정보 부호화 장치

Info

Publication number: KR100281463B1
Application number: KR1019980008638A
Authority: KR
Inventors: 김진헌
Original assignee: 전주범; 대우전자주식회사
Priority date: 1998-03-14
Filing date: 1998-03-14
Publication date: 2001-02-01
Also published as: EP1076999A1; EP1076999B1; KR19990074807A; US6351492B1; CN1166204C; CN1229324A; WO1999048300A1; AU749227B2; DE69837497D1; AU7940098A; JPH11298900A; DE69837497T2

Abstract

본 발명은 물체 기반 부호화 시스템에서, 텍스쳐 정보를 부호화하는 과정에서 발생되는 보조 정보를 부호화하는 보조 정보 부호화 장치에 관한 것으로, 각 블록내의 텍스쳐 정보를 부호화하기 위한 DCT타입을 결정하는 DCT 타입 결정 수단;DCT변환된 각 블록이 AC성분을 포함하고 있는지를 판별하는 AC성분 검출 수단; 상기 AC 성분 검출 수단의 판별 결과에 대응하여 각 블록에 대한 CBPY 정보를 생성하는 CBPY 생성 수단; 상기 각 블록내의 윤곽 정보를 상기 DCT 타입 정보에 대응되게 변환한후, 상기 CBPY 정보의 비트수를 결정하는 CBPY 비트수 결정 수단; 상기 CBPY 비트수에 대응하는 VLC 테이블을 구비하며, 상기 CBPY 비트수 결정 수단에 의해 상기 CBPY 정보의 비트수가 결정되면, 해당 CBPY 비트수에 대응하는 VLC테이블을 이용하여 상기 CBPY 정보를 부호화하는 CBPY 부호화 수단;상기 DCT 타입 정보와 상기 부호화된 CBPY 정보를 다중화하여 출력하는 다중화 수단을 구비하여 구성함을 특징으로 한다.

Description

물체 기반 부호화 시스템의 보조 정보 부호화 장치{SUB-DATA ENCODING APPARATUS IN OBJECT BASED ENCODING SYSTEM}

본 발명은 영상 신호를 윤곽(shape) 정보와 텍스쳐(texture) 정보로 분리한후 저 전송률로 압축 부호화하는 물체 기반 부호화 시스템에 있어서, 특히 텍스쳐 정보를 부호화하는 과정에서 발생되는 보조 정보를 부호화하는 보조 정보 부호화 장치에 관한 것이다.

일련의 영상 "프레임"을 표함하는 영상 신호가 디지탈 형태로 표현될 때, 상당한 양의 전송 데이터가 발생된다. 그러나, 통상적인 전송 채널의 이용 가능한 주파수 대역폭은 한정되어 있기 때문에, 한정된 채널 대역폭을 통해서 상당한 양의 디지탈 데이터를 전송하기 위해서는 전송 데이터를 압축 또는 감축하지 않으면 안된다.

특히 비디오 전화, 원격 화상 회의 시스템과 같이 저속 전송로를 통하여 영상 데이터를 전송할 경우, 보다 압축율이 높은 저전송률 동영상 부호화 기법에 필요하며, 이를 위해 MPEG4(Motion Picture Expert Group 4)에서는 저전송률 부호화 기법에 대한 다양한 표준안을 제시하고 있는 실정이다.

본 발명에 관련되는 동영상 물체 기반 부호화 기법은 이와같은 저전송률 동영상 부호화 기법에 해당된 것으로, 프레임 단위의 영상을 다수개의 객체 평면(Video Object Plane : 이하, VOP라함)들로 분할하고, 각 VOP를 다시 윤곽 정보와 텍스쳐 정보로 나눈후, 윤곽 정보와 텍스쳐 정보가 서로 다른 압축 부호화 경로를 경유하도록 하는 기법이다(Michale Hotter, "Object-Oriented Analysis-Synthesis Coding Based on Moving Two-Dimentional Objects", Signal Processing : Image Communication 2, pp.409-428(December,1990. 참조).

텍스쳐 정보가 경유하는 압축 부호화 경로에는 대체적으로 잘알려져 있는 부호화 기법, 예를들어, DCT(Discrete Cosine Transformation), 양자화, 차분 영상 부호화, VLC(Variable Length Coding) 기법등이 적용되고 있다. 또한 텍스쳐 정보의 압축 부호화 처리는 16*16 픽셀 범위를 갖는 매크로 블록(Macro Block : 이하 MB라함)을 기본 단위로하여 수행되나, DCT의 경우에는 MB내의 8*8 픽셀 범위를 갖는 4개의 블록 단위로 나뉘어 수행된다.

한 MB의 텍스쳐 정보를 블록 단위로 DCT하게되면, 각 블록에는 하나의 DC 성분과, 다수개의 AC 성분이 발생한다. 이때, AC 성분은 정보량이 매우 많아 텍스쳐 정보를 압축한다는 점에 있어서, 부담으로 작용한다. 따라서, 전송 비트률을, 보다 낮추어주기 위해 각 블록내의 AC 성분의 유무에 대한 보조 정보, 통상적인 명칭으로는 CBPY(Coded Block Pattern Type)라고 하는 정보를 따로 전송해주는 기법이 제안되고 있다. 예를들어, 각 블록의 텍스쳐 정보를 DCT한 결과, 해당 블록내에 AC성분이 없는 경우, AC성분 영역을 모두 비트'0'로 채워서 전송해주어야만 하기 때문에, 이는 결과적으로 전송 비트률이 높아지게 된다. 따라서, 각 블록의 텍스쳐 정보를 DCT한 결과, 해당 블록내에 AC성분이 있을 경우에는 예를들어 CBPY를 비트'1'로 하고, 해당 블록내에 AC성분이 없는 경우에는 예를들어 CBPY를 비트'0'로하여 전송해주면, 복호화측에서는 단지 CBPY 정보만으로 해당 블록에 AC정보가 있는지 없는지를 판별할수 있게되는 것이다.

CBPY 정보는 MB내의 윤곽 정보로부터 비트수가 결정되는데, 예를들어 도 1a의 경우에는 4비트의 CBPY가 발생되고, 도 1b의 경우에는 3비트의 CBPY가 발생되며, 도 1c의 경우에는 2비트의 CBPY가 발생된다. 즉, 도 1a에는, 블록②, 블록④, 블럭③에 걸쳐 윤곽 정보가 있기 때문에, 각 블록에 대응되게 비트 '1'또는 비트'0'의 CBPY가 발생되어, 4비트의 CBPY가 발생되는 것이다. 또한 도 1b의 경우에는 블록②, 블록①, 블록③에 걸쳐 윤곽 정보가 있고, 나머지 하나의 블록에는 아무런 정보가 없는 투명 블록으로 이루어져 있기 때문에, 3비트의 CBPY가 발생된다. 도 1c의 경우에는 블록①, 블록③에 윤곽 정보가 있고, 나머지 두개의 블록, 즉 블록②, 블록④에는 아무런 정보가 없는 투명 블록으로 이루어져 있기 때문에 2비트의 CBPY가 발생된다.

이와 같이, 각 블록내의 AC 성분의 유무에 대한 보조 정보, 즉 CBPY를 따로 전송해주는 기법은, AC 성분이 없는 블록내의 각 픽셀을 모두 비트'0'으로 채워서 전송하는 것보다 비트 전송률을 낮출수 있어 매우 효율적이라 할수 있다.

한편, 한 프레임의 텍스쳐 정보를 부호화하는데 있어서, 인터레이스 타입(interlace type)의 텍스쳐 정보를 부호화하여 전송하는 것이 프로그래시브 타입(progressive)의 텍스쳐 정보를 부호화하여 전송하는것보다 화질이 좋다는 이유로, 최근에는 인터레이스 타입의 텍스쳐 정보를 부호화하는 기법을 선호하고 있다. 그러나, 인터레이스 타입의 텍스쳐 정보를 부호화하는 기법이 반드시 효율적인 것만은 아니기 때문에, 인터레이스 타입의 텍스쳐 정보를 부호화하는 기법과, 프로그래시브 타입의 텍스쳐 정보를 부호화하는 기법을 적응적으로 운용하는 추세에 있다.

따라서, 이경우에도 보조 정보가 필요하게 된다. 즉, 텍스쳐 정보를 부호화하여 전송하는데 있어서, 인터레이스 타입의 텍스쳐 정보를 부호화하였는지, 또는 프로그래시브 타입의 텍스쳐 정보를 부호화하였는지에 대한 보조 정보, 통상적인 명칭으로는 DCT 타입 정보를 따로 전송해주어야만, 복호화측에서 DCT 타입 정보에 의거하여 텍스쳐 정보를 복호화 할수 있게되는 것이다.

이와 같이, 동영상 물체 기반 부호화 시스템의 송신측에서는, 서로 다른 압축 부호화 경로를 거친 윤곽 정보와 텍스쳐 정보를 전송하되, 상술한 보조 정보, 즉 CBPY정보와, DCT타입 정보를 부가하여 전송하고, 동영상 물체 기반 부호화 시스템의 수신측에서는, 부호화된 윤곽 정보와 텍스쳐 정보를 원래의 신호로 복호화하되, 특히 텍스쳐 정보에 대해서는 상술한 보조 정보가 필수적으로 활용된다.

도 2에는, 동영상 물체 기반 부호화 시스템의 데이터 스트림 포맷이 도시된다. 도 2에 도시된 바와 같이, 동영상 물체 기반 부호화 시스템의 데이터 스트림은 윤곽 정보, CBPY 정보, DCT 타입 정보, 텍스쳐 정보를 포함한다.

따라서, 복호화측에서는 CBPY 정보에 의거하여, 하나의 MB을 구성하고 있는 각 블록내의 텍스쳐 정보에 대한 AC성분 유,무를 판별하고, DCT타입 정보에 의해 현재 입력되는 MB내의 텍스쳐 정보가 인터레이스 타입의 텍스쳐 정보인지, 또는 프로그래시브 타입의 텍스쳐 정보인지를 판별하는 것이다.

그런데, 경계 영역에 위치한 MB내의 텍스쳐 정보를 부호화하는데 있어서, DCT 타입에 따라 CBPY 정보의 비트수가 달라지는 경우가 있다.

도 3a에 도시된 MB를 보면, 3비트의 CBPY가 발생됨을 알수 있을 것이다. 그러나, 도 3a에 도시된 MB를 인터레이스 타입으로 변환하게 되면, 도 3b 및 도 3c와 같이, 4비트의 CBPY가 발생되어야만 한다.

그런데, 종래의 경우에는 MB의 DCT타입에 대해서는 전혀 상관하지않고, 단지 도 3a에 도시된 MB내의 윤곽 정보()에 의거하여, CBPY의 비트수를 결정하고 있다. 즉, 종래에는 도 3a에 도시된 MB를 인터레이스 타입으로 변환하여 전송할지라도, CBPY는 3비트만이 VLC 부호화되어 전송되었다.

따라서, 복호화측면에서 보면, 텍스쳐 정보를 복호화하는데 있어서, 4비트의 CBPY가 필요한데, 전송되어 오는 CBPY는 단지 3비트만이 존재하기 때문에 복호화 과정에서 에러가 발생되는 문제점이 있었다.

본 발명은 상기 문제점을 해결하기 위하여 안출한 것으로, DCT 타입에 따라 CBPY 정보의 비트수를 결정하여 전송하는 보조 정보 부호화 장치를 제공함에 그 목적이 있다.

본 발명은 상기 목적을 달성하기 위하여, 영상 프레임으로부터 분리된 윤곽 정보와 텍스쳐 정보를 N*N 블록으로 분할한후, 각 블록내의 정보를 압축 부호화하여 전송하되, 상기 텍스쳐 정보에 대해서는 소정의 DCT 타입으로 DCT변환하여 압축 부호화하는 물체 기반 부호화 시스템의 보조 정보 부호화 장치에 있어서: 상기 각 블록내의 텍스쳐 정보를 부호화하기 위한 DCT타입을 결정하는 DCT 타입 결정 수단; 상기 DCT변환된 각 블록이 AC성분을 포함하고 있는지를 판별하는 AC성분 검출 수단; 상기 AC 성분 검출 수단의 판별 결과에 대응하여 각 블록에 대한 CBPY 정보를 생성하는 CBPY 생성 수단; 상기 각 블록내의 윤곽 정보를 상기 DCT 타입 정보에 대응되게 변환한후, 상기 CBPY 정보의 비트수를 결정하는 CBPY 비트수 결정 수단; 상기 CBPY 비트수에 대응하는 VLC 테이블을 구비하며, 상기 CBPY 비트수 결정 수단에 의해 상기 CBPY 정보의 비트수가 결정되면, 해당 CBPY 비트수에 대응하는 VLC테이블을 이용하여 상기 CBPY 정보를 부호화하는 CBPY 부호화 수단; 상기 DCT 타입 정보와 상기 부호화된 CBPY 정보를 다중화하여 출력하는 다중화 수단을 구비하여 구성함을 특징으로 한다.

도 1a 내지 도 1c는 CBPY 발생 배경을 설명하기 위한 도면,

도 2는 동영상 물체 기반 부호화 시스템의 데이터 스트림 포맷도,

도 3a, 도 3b 및 도 3c는 프로그래시브 타입에서 발생된 CBPY와 인터레이스 타입에서 발생된 CBPY를 대비하기 위한 도면,

도 4는 본 발명의 바람직한 실시예에 따른 보조 정보 부호화 장치를 나타낸 도면,

도 5a 내지 도 5c는 CBPY 정보를 부호화하기 위한 VLC테이블도.

<도면의 주요부분에 대한 부호의 설명>

110 : DCT 타입 결정부 120 : CBPY 비트수 결정부

130 : DCT부 140 : 텍스쳐 정보 부호화부

150 : 윤곽 정보 부호화부 160 : AC성분 검출부

170 : CBPY 생성부 180 : CBPY 부호화부

190 : 다중화부

이하, 첨부된 도면을 참조하여 본 발명을 상세히 설명한다.

도 4에는 본 발명의 바람직한 실시예에 따른 보조 정보 부호화 장치가 도시된다.

도 4에서, 보조 정보 부호화 장치는 DCT 타입 결정부(110), CBPY 비트수 결정부(120), DCT부(130), 텍스쳐 정보 부호화부(140), 윤곽 정보 부호화부(150), AC성분 검출부(160), CBPY 생성부(170), CBPY 부호화부(180), 다중화부(190)로 구성된다.

도 4를 참조하면, DCT 타입 결정부(110)에는 16*16 픽셀 범위를 갖는 MB단위의 텍스쳐 정보가 입력된다. DCT 타입 결정부(110)는 MB단위의 텍스쳐 정보로부터 DCT타입을 결정한후, 라인 L1, 라인L2, 및 라인 L3에 각각 DCT 타입에 대한 정보를 출력한다.

DCT부(130)에는 DCT타입 결정부(110)에 입력되는 MB단위의 텍스쳐 정보가 다시 8*8 픽셀 범위를 갖는 4개의 블록 단위로 나뉘어 입력된다. 따라서, DCT부(130)는 블록 단위의 텍스쳐 정보에 대하여 DCT 변환을 수행하되, 라인L1상의 DCT타입 정보에 대응하여, 인터레이스 타입 또는 프로그래시브 타입으로 DCT 변환을 수행하고, 그 결과를 라인L4을 통하여 출력한다.

텍스쳐 정보 부호화부(140)는 라인L4을 통하여 입력되는 DCT변환된 텍스쳐 정보를 소정의 영상 압축 알고리즘, 예를들어 양자화, VLC 기법 등에 의거하여 압축 부호화한후 라인L5를 통하여 출력한다.

한편, CBPY 비트수 결정부(120)에는 DCT타입 결정부(110)에 입력되는 MB내의 윤곽 정보가 입력되고, 라인L2을 통하여 DCT타입 정보가 입력된다. CBPY 비트수 결정부(120)는 라인L2상의 DCT타입 정보에 의거하여, MB내의 윤곽 정보로부터 CBPY 비트수를 결정한다. 예를들어, DCT 타입이 프로그래시브 타입일 경우, MB내의 윤곽 정보를 프로그래시브 타입으로 하여, CBPY 비트수를 결정하고, DCT 타입이 인터레이스 타입을 경우, MB내의 윤곽 정보를 인터레이스 타입으로하여 CBPY 비트수를 결정한후, 결정된 CBPY 비트수를 라인L6을 통하여 출력한다.

AC 성분 검출부(160)는 DCT부(130)에서 블록 단위의 텍스쳐 정보에 대하여 DCT 변환을 수행할 때, 각 블록에 AC성분이 있는지 또는 없는지른 나타내는 정보를 라인L7을 통하여 검출한후, 그 결과를 라인L8상에 출력한다. CBPY 생성부(170)는 라인L8상의 정보로부터 각 블록에 대응하는 CBPY를 생성한다. 예를들어, 소정 블록에 AC성분이 있을 경우, 해당 블록에 대한 CBPY를 비트'1'로 하고, AC성분이 없는 경우, 해당 블록에 대한 CBPY를 비트'0'로하여 라인L9상에 CBPY 정보를 출력한다.

CBPY 부호화부(180)는 라인L6상의 CBPY 비트수에 의거하여, 라인L9상의 CBPY 정보를 부호화한후, 라인L10을 통하여 출력한다. CBPY정보는 VLC 기법에 의해 압축부호화되는데, 도 5에는 CBPY 정보에 대한 VLC 테이블이 도시된다. 도 5a는 4비트의 CBPY 정보에 대한 VLC 테이블이고, 도 5b는 3비트의 CBPY 정보에 대한 VLC 테이블이며, 도 5c는 2비트의 CBPY 정보에 대한 VLC 테이블이다.

이때, 라인L6상의 CBPY 비트수는 CBPY정보를 VLC 부호화하는데 필요한 VLC 테이블을 선택하는 정보로 작용한다. 즉, 라인L6상의 CBPY 비트수가 4일 경우, 라인L9상의 CBPY 정보는 도 5a에 도시된 VLC테이블에 의거하여 부호화되고, 라인L6상의 CBPY 비트수가 3일 경우, 라인L9상의 CBPY 정보는 도 5b에 도시된 VLC테이블에 의거하여 부호화되며, 라인L6상의 CBPY 비트수가 2일 경우, 라인L9상의 CBPY 정보는 도 5c에 도시된 VLC테이블에 의거하여 부호화된다.

윤곽 정보 부호화부(150)에는 DCT타입 결정부(110)에 입력되는 MB내의 윤곽 정보가 입력된다. 따라서, 윤곽 정보 부호화부(150)는 MB블럭내의 윤곽 정보를 소정의 압축 알고리즘, 예를들어 산술 부호화 코딩 기법 등에 의거하여 압축한후, 라인L11을 통하여 출력한다.

다중화부(190)에는 라인L3상의 DCT 타입 정보와, 라인L5상의 부호화된 텍스쳐 정보와, 라인L10상의 부호화된 CBPY 정보 및, 라인L11상의 부호화된 윤곽 정보가 입력된다. 다중화부(190)는 라인L3상의 DCT 타입 정보와, 라인L5상의 부호화된 텍스쳐 정보와, 라인L10상의 부호화된 CBPY 정보 및, 라인L11상의 부호화된 윤곽 정보를 다중화하여 수신측에 전송한다. 이때, 순서적으로는 윤곽 정보를 가장 먼저 전송하고, 그 다음에 DCT타입 정보를 전송하며, 이어서 CBPY 정보를 전송하고, 마지막으로 텍스쳐 정보를 전송하는 것이 바람직하다. 이점에 대해서는 후술하는 수신단측의 복호화 과정에 대한 설명으로 이해될 수 있을 것이다.

즉, 복호화측에서는 VLC 부호화된 CBPY 정보를 복호화하는데 있어서, 해당 매크로 블록의 윤곽 정보 및 DCT 타입 정보를 이용한다. 부호화측에서 특정 매크로 블록에 대하여 윤곽 정보, DCT 타입 정보, CBPY정보, 텍스쳐 정보 순으로 데이터를 전송하면, 복호화측에서는 먼저 윤곽 정보를 복호화한후에, DCT타입 정보에 의거하여, 뒤이어 수신될 텍스쳐 정보가 프로그래시브 타입으로 부호화된 것인지, 또는 인터레이스 타입으로 부호화된 것인지 판별한다. 예를들어, DCT 타입이 프로그램시브 타입일 경우, 복호화측에서는 복호화된 윤곽 정보를 프로그램시브 타입으로 하여, CBPY정보의 비트수를 알아낸다. 그러나, DCT 타입이 인터레이스 타입일 경우, 수신측에서는 복호화된 윤곽 정보를 인터레이스 타입으로 하여, CBPY 비트수를 알아낸다.

이와 같은 기법에 의해 CBPY 비트수가 결정되면, CBPY정보를 복호화하기 위한 VLC 테이블을 바르게 선택할수 있게 된다. 따라서, 복호화측에서는 상술한 기법에 의거하여 CBPY 정보를 복호화하고, 이미 수신된 DCT 타입과, 복호화된 CBPY 정보에 의거하여 텍스쳐 정보를 원래의 신호로 복원할수 있게 된다.

이상, 설명한 바와 같이, 본 발명은 DCT 타입에 따라 CBPY 정보의 비트수를 결정한후, DCT 타입 정보를 우선적으로 전송하고, 이후에 CBPY정보를 전송해줌으로서, 경계 블록에서 발생될수 있는 복호화 에러를 없앨수 있는 효과가 있다.

Claims

영상 프레임으로부터 분리된 윤곽 정보와 텍스쳐 정보를 N*N 블록으로 분할한후, 각 블록내의 정보를 압축 부호화하여 전송하되, 상기 텍스쳐 정보에 대해서는 소정의 DCT 타입으로 DCT변환하여 압축 부호화하는 물체 기반 부호화 시스템의 보조 정보 부호화 장치에 있어서:

상기 각 블록내의 텍스쳐 정보를 부호화하기 위한 DCT타입을 결정하는 DCT 타입 결정 수단;

상기 DCT변환된 각 블록이 AC성분을 포함하고 있는지를 판별하는 AC성분 검출 수단;

상기 AC 성분 검출 수단의 판별 결과에 대응하여 각 블록에 대한 CBPY 정보를 생성하는 CBPY 생성 수단;

상기 각 블록내의 윤곽 정보를 상기 DCT 타입 정보에 대응되게 변환한후, 상기 CBPY 정보의 비트수를 결정하는 CBPY 비트수 결정 수단;

상기 CBPY 비트수에 대응하는 VLC 테이블을 구비하며, 상기 CBPY 비트수 결정 수단에 의해 상기 CBPY 정보의 비트수가 결정되면, 해당 CBPY 비트수에 대응하는 VLC테이블을 이용하여 상기 CBPY 정보를 부호화하는 CBPY 부호화 수단;

상기 DCT 타입 정보와 상기 부호화된 CBPY 정보를 다중화하여 출력하는 다중화 수단을 구비하여 구성한 보조 정보 부호화 장치.
제 1 항에 있어서, 상기 다중화 수단은:

상기 DCT 타입 정보를 우선적으로 전송하고, 상기 부호화된 CBPY 정보를 나중에 전송하는 보조 정보 부호화 장치.