KR100483674B1 - 신축형모양정보부호화시손실부호화방법 - Google Patents

Abstract

본 발명은 영상 입력장치를 통해 인가되는 동영상을 임의의 모양 정보(SHAPE INFORMATION)를 갖는 각각의 대상물 영상과 배경 영상으로 분리하여 처리하는 모양 정보 부호화 방법(SHAPE INFORMATION CODING METHOD)에 관한 것으로, 특히, 신축형 모양정보 부호화(SCALABLE SHAPE CODING) 과정 중 스캔 인터리빙(SCAN INTERLEAVING)을 사용하여 손실 부호화가 가능할 수 있도록 저해상도이 베이스 레이어의 영상을 스캔 인터리빙 방법을 사용하여 고해상도의 인헨스먼트 레이어의 영상으로 부호화 할 경우, 산술 부호화 방법의 확률표를 변경하여 적용함으로써 부호화 효율을 향상시킨 것이다.

Description

신축형 모양정보 부호화 시 손실 부호화 방법

본 발명은 영상 입력장치를 통해 인가되는 동영상을 임의의 모양 정보(SHAPE INFORMATION)를 갖는 각각의 대상물 영상과 배경 영상으로 분리하여 처리하는 모양 정보 부호화 방법(SHAPE INFORMATION CODING METHOD)에 관한 것으로, 특히, 신축형 모양정보 부호화(SCALABLE SHAPE CODING) 과정 중 스캔 인터리빙(SCAN INTERLEAVING)을 사용하여 손실 부호화가 가능할 수 있도록 산술 부호화에 사용되는 확률표를 수정한 것이다.

주지하다시피, 최근의 영상 처리 기술은, 인가되는 한 프레임(FRAME) 분의 영상을 전체적으로 압축 부호화하는 방법에서 탈피하여, 임의의 모양 정보를 갖는 소정의 단위블럭으로 구분하여 그 각각에 대해 압축 부호화하여 전송하는 방향으로 흐르고 있다.

즉, 인가되는 영상을 각각의 대상물 영상과 배경 영상으로 분리하여, 상기 대상물 영상의 변화 여부만을 전송하므로써 압축 효율화 및 부호화 효율을 꾀하고 있으며, 이에 대한 국제 표준안을 마련하고 있다.

예를 들어, 세계 표준화 기구인 ISO/IEC 산하의 WG11에서는 MPEG(MOVIGN PICTURE EXPERTS GROUP:미디어 통합계 동영상 압축의 국제표준:이하 MPEG이라 한다)-1, MPEG-2와는 달리 임의의 모양정보를 갖는 물체를 부호화하는 방식에 대한 표준화작업인 MPEG-4를 진행하고 있으며, 상기 표준화가 진행되고 있는 MPEG-4는 임의의 모양정보를 갖는 단위블럭으로 VOP(VIDEO OBJECT PLANE:이하 VOP라 한다)의 개념을 기초로 하고 있다.

여기서 상기 VOP는, 인가되는 영상을 배경 영상과 각각의 대상물 영상으로 분리하고, 상기 분리한 배경 영상과 대상물 영상을 포함하는 사각형으로 정의 되는 것으로, MPEG-4에서는, 영상 내에 소정의 물체, 또는 소정의 영역으로 이루어진 대상물의 영역이 존재할 경우, 그 대상물의 영상을 각각의 VOP로 분리하고, 분리한 상기 VOP를 각기 부호화 하는 것을 골격으로 하고 있다.

이러한 VOP는 자연 영상, 또는 인공 영상 등을 대상물 영상의 단위로 하여 자유자재로 합성 내지는 분해할 수 있는 장점을 가지는 것으로, 컴퓨터 그래픽스 및 멀티미디어 분야 등에서 대상물의 영상을 처리하는 데 기본이 되고 있다.

도1은 국제표준 산하기구(ISO/IEC JTC1/SC29/WG11 MPEG96/N1172 JANUARY)에서 1차적으로 확정한 VM(VERIFICATION MODEL:검증모델:이하 VM이라 한다)인코더(ENCODER)(100)의 구성을 나타낸 블록도이다.

여기서, VOP형성부(VOP FORMATION)(100)는 전송 또는 저장할 영상 시퀀스(SEQUENCE)가 입력될 경우에 이를 대상물 영상 단위로 나누어 각기 다른 VOP로 형성한다.

도2는 대상물 영상으로 고양이의 영상을 설정하여 하나의 VOP를 형성한 일례를 나타낸 것이다.

여기서, VOP의 가로 방향 크기는 VOP폭으로 정의되고, 세로 방향의 크기는 VOP높이로 정의되며, 형성된 VOP는 좌측 상단을 그리드(GRID) 시작점으로 하여, X축 및 Y축으로 각기 M개 및 N개의 화소를 가지는 M×N 매크로 블럭으로 구획된다. 예를 들면 X축 및 Y축으로 각기 16개의 화소를 가지는 16×16 매크로 블럭으로 구획된다.

이때, VOP의 우측과 하단에 형성되는 매크로 블럭의 X축 및 Y축 화소가 각기 M개 및 N개가 아닐 경우에는 VOP의 크기를 확장하여 각각의 매크로 블럭의 X축 및 Y축 화소가 모두 M개 및 N개로 되게 한다.

그리고, 상기 M 및 N은 후술하는 대상물내부부호화부(TEXTURE CODING) 에서 서브 블럭의 단위로 부호화를 수행할 수 있도록 하기 위하여 각기 짝수로 설정된다.

한편, 상기 VOP형성부(110)에서 형성된 각각의 VOP는 VOP부호화부(120a, 120b, …, 120n)에 각기 입력되어 VOP 별로 부호화 되고, 멀티플렉서(13)에서 다중화되어 비트열(BIT STREAM)로 전송된다.

도4는 국제표준 산하기구에서 1차적으로 확정한 VM코인더(100)의 VOP부호화부(120a, 120b, …, 120n)의 구성을 나타낸 블럭도로 이를 설명하면 다음과 같다.

먼저, 상기 VOP형성부(110)에서 형성된 각각의 대상물 영상에 대한 VOP가 움직임추정부(MOTION ESTIMATION)(121)에 입력되면, 상기 움직임추정부(121)는 인가된 VOP로부터 매크로 블럭 단위의 움직임을 추정하게 된다.

또한, 상기 움직임추정부(121)에서 추정된 움직임 정보는 움직임보상부(MOTION COMPENSTION)(122)에 입력되어 움직임이 보상된다.

그리고, 상기 움직임보상부(122)에서 움직임이 보상된 VOP는 상기 VOP형성부(110)에서 형성된 VOP와 함께 감산기(123)에 입력되어 차이값이 검출되고, 상기 감산기(123)에서 검출된 차이값은 대상물내부부호화부(124)에 입력되어 매크로 블럭의 서브 블럭 단위로 대상물의 내부정보가 부호화된다.

예를 들면, 매크로 블럭의 X축 및 Y축이 M/2×N/2으로 각기 8개의 화소를 가지는 8×8의 서브 블럭으로 세분화된 후 대상물 내부정보가 부호화된다.

한편, 상기 움직임보상부(122)에서 움직임이 보상된 VOP와, 상기 대상물내부부호화부(124)에서 부호화된 대상물의 내부정보는 가산기(125)에 입력되어 가산되고, 상기 가산기(125)의 출력신호는 이전VOP검출부(PREVIOU RECONSTRUCTED VOP)(126)에 입력되어 현재영상 바로 전 영상의 VOP인 이전VOP가 검출된다.

또한, 상기 이전VOP검출부(126)에서 검출된 상기 이전VOP는 상기 움직임추정부(121) 및 움직임보상부(122)에 입력되어 움직임 추정 및 움직임 보상에 사용된다.

그리고, 상기 VOP형성부(110)에서 형성된 VOP는 모양부호화부(SHAPE CODING BLOCK)(127)에 입력되어 모양 정보가 부호화된다.

여기서, 상기 모양부호화부(127)의 출력신호는 상기 VOP부호화부(120a, 120b, …, 120n)가 적용되는 분야에 따라 사용 여부가 가변되는 것으로, 점선으로 표시된 바와 같이, 상기 모양부호화부(127)의 출력신호를 움직임추정부(121), 움직임보상부(122) 및 대상물내부부호화부(124)에 입력시켜 움직임 추정, 움직임 보상 및 대상물의 내부 정보를 부호화 하는 데 사용할 수 있다.

또한, 상기 움직임추정부(121)에서 추정된 움직임 정보와, 상기 대상물내부부호화부(124)에서 부호화된 대상물 내부 및 상기 모양부호화부(127)에서 부호화된 모양 정보는 멀티플렉서(128)에 인가되어 다중화 된 후, 버퍼9129)를 통해 도1의 멀티플렉서(130)로 출력되어 비트열로 전송된다.

도3은 국제표준 산하기구에서 1차적으로 확정된 VM디코더(DECODER)(200)의 구성을 나타낸 블록도이다.

상기 VM인코더(100)를 통해 부호화되고, 비트열로 전송되는 정보인 VOP의 부호화 신호는 VM디코더(200)의 디멀티플렉서(210)에서 VOP 별로 각기 분리된다.

또한, 상기 분리된 각가의 VOP 부호화 신호는 VOP리코더(120a, 120b, …, 120n)에 의해 각기 디코딩되며, 상기 VOP디코더(120a, 120b, …, 120n)에서 출력되는 디코딩신호는 합성부(230)에서 합성되어 원래의 영상으로 출력된다.

이러한 MPEG-4에 있어서, 상기 VOP형성부(110)에서 전송된 각각의 VOP를 부호화하는 상기 모양부호화부(127)에 적용되는 기술로는, N×N 블럭 (N=16, 8, 4)을 기반으로 하는 모양 정보를 부호화하는 MMR 모양 정보 부호화 기술(MMR SHAPE CODING TECHNIQUE)과, 정점을 기반으로 하여 모양 정보를 부호화하는 정점 기반 모양 정보 부호화 기술(VERTEX-BASED SHAPE CODING TECHNIQUE)과, 기초선 기반 모양 정보 부호화기술(BASELINE-BASED SHAPE CODING TECHNIQUE) 및 상황 기반 산술 부호화 기술(CONTEXT-BASED ARITHMETIC CODING) 등이 있다.

한편, 신축형 모양 정보 부호화 기술은, 해상도가 높아 정보량이 많은 영상(정지영상, 또는 동영상)을 해상도가 낮은 영상으로 변환하여 전송한 후, 이를 다시 해상도가 높은 원래의 영상으로 변환함으로써 전송 정보량을 감축시키는 기술이다.

즉, 인코더에서 고해상도의 영상을 정보량이 적은 저해상도의 영상으로 변환하여 인코딩한 후 디코더로 전송하면, 디코더에서 전송된 저해상도의 영상을 디코딩하여 고해상도의 영상으로 복원하는 것으로, 신축형 모양 정보 부호화 방법을 인코딩 과정과 디코딩 과정으로 나누어 설명하면 다음과 같다.

본 설명에서는 설명의 편의상, 도5, 도6에서 도시되는 바와 같이, 4×4의 인헨스먼트 레이어의 영상을 베이스 레이어의 영상으로 변환하여 부호화하여 전송한 후, 이를 다시 스캔 인터리빙 방법에 의해 인헨스먼트 레이어의 영상으로 부호화하는 과정을 상세히 설명하면 다음과 같다.

인코더에서는, 도5a와 같은 4×4의 인헨스먼트 레이어의 영상을 4등분 한 후 그 우측 아래의 화소(A5, A7, A13, A15)를 선택하여 도5b와 같이 원 영상의 1/4 크기를 갖는 베이스 레이어의 영상을 만들어, 이를 손실 부호화, 또는 무손실 부호화하여 디코더에 전송한다.

또한, 베이스 레이어의 영상을 추출하였을 경우에는, 베이스 레이어의 영상(축소된 영상)과 인헨스먼트 레이어의 영상(원래의 영상)을 비교하여, 트랜지셔날 샘플 데이터(TRANSITIONAL SAMPLE DATA :이하 TSD라 한다.)와 익셉셔날 샘플 데이터(EXCEPTIONAL SAMPLE DATA:이하 ESD라 한다)의 존재 유무를 검출한다. 이때, TSD, 또는 ESD가 검출되었을 경우에는 이를 컨택스트 기반 산술부호화 (CONTEXT-BASED ARITHMETIC ENCODING:이하 CAE라 한다.)하여 베이스 레이어의 영상과 함께 디코더에 전송한다.

여기서, 상기 TSD와 ESD를 검출하여 부호화 하는 이유는 다음과 같다.

도7은 베이스 레이어의 영상과 인헤스먼트 영상을 비교하는 과정 중 수평방향의 검색(HORIZONTALSCANNING)을 나타낸 것으로, 도면중에서 페러런스 스캔 라인(REFERENCE SCAN LINE:이하 RSL라 한다.)은 베이스 레이어 영상의 수평방향 화소가 포함된 화소열이며, 코드 스캔 라인(CODED SCAN LINE:이하 CSL이라 한다.)은 베이스 레이어 영상 추출과정에서 제외된 인헨스먼트 레이어 영상의 수평방향 화소열을 나타낸 것이다. 또한, 상기 CSL을 부호화 하기 위해서는, 부호화할 화소의 아래와 위에 존재하는 RSL을 이용하는데, 도6에서 도시되는 바와 같이 이에는 일정한 규칙이 있음을 알 수 있다.

즉, CSL 상에 존재하는 부호화할 화소의 아래와 위에 존재하는 RSL 상의 두 이웃 화소의 값이 같을 경우에는 부호화 하고자 하는 현재 위치의 화소값도 같은 값을 가질 가능성이 많으므로, 두 이웃 화소값이 같고 현재 위치의 화소값도 두 이웃 화소값과 같을 경우는 부호화를 하지 않는다.

그러나, 두 이웃 화소값이 다를 경우는 현재 위치의 화소값이 다를 가능성이 많으므로, 부호화 하고자 하는 현재위치의 화소값을 부호화 해주어야 하는데, 이 경우를 트랜지셔날 샘플(TRANSITIONAL SAMPLE)(도6 중 실선으로 표시한 타원)이라 한다.

또한, 두 이웃 화소값은 같지만 현재 위치의 화소값이 다를 경우도 부호화를 해주어야 하는데, 이 경우를 익셉셔날 샘플(EXCEPTIONAL SAMPLE)(도6 중 점선으로 표시한 타원)이라 한다.

따라서, 인헨스먼트 레이어를 부호화 하기 위해서는 두 가지 종류의 데이터, 즉, TSD와 ESD가 존재할 수 있으며, 상기 TSD와 ESD가 존재할 경우에는 이에 대한 정보를 디코더에 전송해 주어야 인헨스먼트 레이어의 영상을 정확하게 복원할 수 있게 된다. CAE는 상기 TSD와 ESD에 대한 정보를 부호화 할 경우, 소요되는 비트수를 절감하기 위해 사용하는 기법이다.

한편 디코더에서는, 인코더에서 전송된 상기 베이스 레이어 영상에 대한 부호화 신호와 TSD, 또는 ESD에 대한 부호화 신호를 디코딩하여 인헨스먼트 레이어의 영상을 복원하게 되는 것으로, 이를 수평 방향 검색과 수직 방향 검색(VERTICAL SCANNING)으로 나누어 상세히 설명하면 다음과 같다.

도6a는 수평 방향 검색 방법을 설명하기 위한 것으로, 현재 X(A10)점의 화소를 부호화 할 차례라 할 경우, 상기 X점에 이웃하는 화소는 도면에서 도시되는 바와 같이, A5, A6, A7, A13, A14, A15 및 BO(A9)이다. 이때, 상기 A5, A6, A7, A13, A14, A15 및 BO 화소는 전단계의 스캔인터리빙 방법에 의해 그 값이 구해진 것으로, 구하고자 하는 X점의 화소는, 상기 A5, A6, A7, A13, A14, A15, B0의 값을 CAE를 수행하여 구한다. 즉, 수평, 수직방향에 존재하는 7개 화소에 대한 컨택스트(CONTEXT)를 이용하여 CAE를 수행하여 부호화를 하는 것이다.

마찬가지로, 수직 방향 검색 방법은, 도6b에서 도시되는 바와 같이, C0, C1, C2, A5, A7, A13, A15의 화소값으로부터 구하고자 하는 Y점의 화소값을 구하게 된다.

여기서, BO, CO, C2의 화소는 수평 방향 검색 방법에 의해 구한 값을 나타낸 것이고, C1화소는 수직 방향 검색 방법에 의해 구한 값을 나타낸 것이며, 빗금친 화소는 다음번에 구할 화소를 나타낸 것이다.

따라서, 수평 방향 검색을 행하면 세로 방향의 화소가 2배로, 수직 방향 검색을 행하면 가로 방향의 화소가 2배로 증가되어, 결국 2×2의 베이스 레이어 영상으로 부터 4×4의 인헨스먼트 레이어의 영상으로 복원되게 되는 것이다.

또한, 동영상의 경우에는 MPEG-4에서 신축형 모양정보 부호화 기능을 지원하고 있는데, MPEG-4의 경우에는, 도8에서 도시되는 바와 같이, 그 동영상 전송 특성상 베이스 레이어 영상의 I-VOP(INTRA VIDEO OBJECT PLANE:이하 I-VOP라 한다.)를 이용하여 인헨스먼트 레이어의 영상을 복원하는 방법과, P-VOP(PREDICTED VIDEO OBJECT PLANE:이하 P-VOP라 한다.)이용하여 인헨스먼트 레이어의 영상을 복원하는 방법 및 B-VOP(BY-DIRECTION VIDEO OBJECT PLANE:이하 P-VOP라 한다.)을 이용하여 인헨스먼트 레이어의 영상을 복원하는 방법 등이 있다.

한편, MPEG-4의 가장 큰 특징 중 하나의 객체(OBJECT)를 기반으로 처리를 한다는 것이다. 즉, 한 영상을 여러 개의 객체로 나누고 그 각각의 객체를 개별적으로 부호화하고 처리할 수 있는 것이다. 따라서 객체를 만들기 위해서 모양정보를 알아야 한다. 여기서 말하는 모양정보를 흔히 마스크(MASK)라고 하는데 영상에서 객체 부분은 '1'로 표현하고 객체 바깥 부분(배경 부분)은 '0'으로 표현한다. 이 모양정보를 이용하여 영상에서 한 객체를 얻을 수 있다. 그리고 이 모양정보를 이용하여 복호기 측에서 객체 부분을 복호하기 때문에 모양정보를 부호화하여 복호기측에 전송해주어야 한다.

현재 MPEG-4에서 모양정보 부호화를 하기 위해서 CAE를 이용한다. CAE는 16×16 BAB(BINARY ALPHA BLOCK)단위로 각 화소에 도 9와 같은 컨텍스트 탬플렛(CONTEXT TEMPLATE)를 이용하여 식 [1]과 같이 컨택스트 번호를 구하고 구해진 컨텍스트 번호를 이용하여 그 컨텍스트가 발생하였을 경우 '0'이 발생할 확률과 '1'이 발생할 확률을 구하고 그 구해진 확률을 이용하여 산술(ARITHMETIC) 부호화 방법을 사용하여 부호화를 한다.

C=SIGMA CK×2K --------[1]이 때 손실 부호화를 하기 위해서는 산술 부호화하기 이전에 CR(CONVERSION RATIO:이하 CR이라 한다.)에 의하여 BAB의 크기를 줄이고, 줄여진 BAB를 다시 원래의 크기로 복원했을 경우 원 BAB와 복원된 BAB의 차의 절대값이 임계치 이하이면 줄어든 크기로 CAE를 이용하여 부호화 하고 임계치보다 크다면 원 BAB를 이용해서 CAE에 의해서 부호화 한다. CR은 BAB의 크기를 변화시키는 변수로써 MxM BAB가 (MxCR)x(MxCR)로 줄어든다. 따라서 CR=1/2일 경우는 부호화 할 화소 수가 1/4로 줄어든다. 따라서 CR을 이용하여 도면 2와 같이 BAB의 크기를 줄이고 그 BAB를 다시 복원한 값과 원 BAB의 차의 절대값을 구했을 때 오차가 임계치 이하일 때는 줄어든 BAB를 이용하여 CAE를 수행하게 된다.

그러나, 상기와 같은 종래의 CAE는, 컨텍스트 탬플렛 식을 이용하여 컨택스트 번호를 구하고, 구해진 이 컨텍스트 번호를 이용하여 그 컨텍스트가 발생했을 경우 '0'이 발생할 확률과 '1'이 발생할 확율을 구하고 그 구해진 확률을 이용하여 산술 부호화 하므로 인해 부호화 효율이 저하된다는 문제점이 있었다.

본 발명의 목적은, 상기와 같은 종래의 문제점을 해소하기 위한 것으로, 특히, 산술 부호화에 사용되는 확률표를 수정하므로 인해, 스캔 인터리빙을 사용하여 손실 부호화가 가능하도록 한 신축형 모양정보 부호화 시 손실 부호화 방법을 제공하는 데 있다.

상기와 같은 목적을 달성하기 위하여 본 발명 신축형 모양정보 부호화 시 손실 부호화 방법은, 영상 입력장치를 통해 인가되는 동영상을 임의의 모양 정보를 갖는 각각의 대상물 영상과 배경 영상으로 분리한 후, 해상도가 다른 복수개의 레이어로 전송하여 복호화하는 신축형 모양정보 부호화 방법에 있어서, 저해상도인 베이스 레이어의 영상을 스캔 인터리빙 방법을 사용하여 고해상도의 인헨스먼트 레이어의 영상으로 부호화 할 경우, 산술 부호화 방법의 확률표를 변경하여 적용함을 그 방법적 구성상의 특징으로 한다.

이하, 본 발명 신축형 대상물 영상의 스캔 인터리빙 방법의 기술적 사상에 따른 일 실시예를 들어 그 구성 및 동작을 첨부된 도면에 의거 상세히 설명하면 다음과 같다.

먼저, 모양정보 부호화를 손실 부호화 하기 위해서 본 실시예에서는 CAE의 확률표를 적용하는 방법을 사용한다.

우선 CAE에서 사용되는 기준의 확률표에서 물체의 내부를 1, 물체의 외부를 0이라 했을 경우 0 또는 1이 발생할 확률 중 큰 값은 1, 작은 값은 0의 값을 갖도록 확률표를 새로 만든다. 수정된 확률표를 이용할 경우는 모든 확률이 1, 또는 0이므로 부가적인 부호화 과정을 거치지 않고 컨텍스트 번호만 안다면 그 확률표를 이용하여 부호화할 위치의 화소값을 바로 알 수 있다.

즉, 예를 들어 확률표가 아래와 같다면,

종래의 경우, 확률표의 최대값은 2의 16제곱인 65535(=2^16-1)으로부호화대상인 TSD, ESD가 물체 내부일 확률을 표현하고 있다. 참조한 index의 값이 확률표 최대값의 1/2보다 크면 물체 내부로 판단하고, 1/2보다 작으면 물체외부로 판단하였다. 그러나, 본 발명에서는 상술한 바와 같이, 참조하는 index에 해당하는 값이 1/2보다 큰지 작은지를 계산할 필요도 없이 상기 예시한 확률표를 수정하여 1/2보다 크면 당연히 물체내부일 것이므로 해당값 대신 '1'을, 1/2보다 작으면 '0'으로 해당값을 대체하는 방식으로 확률표를 수정하여 물체내부인지 물체외부인지를 확률표로부터 직접 참조 할 수 있다.

따라서, 수정될 확률표를 이용하여 복원한 BAB가 부호화하고자하는 본래의 BAB정보 사이의 오차가 임계치 이하가 될 경우 수정된 확률표를 이용했다는 정보만을 전송해줌으로써 손실 부호화할 수 있으므로 효율을 높일 수 있다.

이 방법에서 사용되는 입계치로는 하나의 BAB를 4×4의 서브블럭(SUB-BLOCK)으로 나누고 각 서브 블록에 대해서 16*alphaTH를 임계치로 정한다. 그리고 모든 서브 블록이 임계치를 만족하면 수정된 확률표를 이용한다.

이 방법은 I-VOP 뿐 아니라, P, B-VOP를 부호화 할 경우에도 똑같이 적용할 수 있다.

즉, I-VOP를 이용할 경우에는 210개의 컨텍스트에 대한 확률표를 새로 만들고, P,B-VOP의 경우는 29개의 컨텍스트에 대한 확률표를 새로 만들면 된다.

한편, 상기의 실시예에서와는 별개로, 기존의 CR을 이용하여 손실 부호화를 하는 방법에 본 실시예에서 제시한 방법을 병합해서 이용할 수 있다.

즉, 도11에서 도시되는 바와 같이, CR을 적용했을 때 CR 오차가 임계치보다 작은 경우 CR에 따라 BAB 크기를 줄인 후 CAE를 수행하는데, 본 예에서는 CAE를 수행하기 전에 먼저 수정된 확률표를 적용하여 새롭게 BAB를 재구성하였을 때 오차가 임계치보다 작을 경우에는 CR과 수정된 확률표를 이용했다는 정보만 전송하고, 오차가 임계치보다 큰 경우에는 CR과 CAE 정보를 전송한다. 이를 도12에 나타내었다. 또한 이때, 수정된 확률표를 이용할지 안할지에 대한 임계치는 16*alphaTH*CR2를 사용한다.

또한, CR을 이용하여 영상의 크기를 전환하기 전에 수정된 확률값을 이용했을 때의 오차가 임계치보다 작을 경우에는 수정된 확률값을 이용하였다는 정보를 보내주고, 오차가 클 경우에는 CR을 이용하여 손실 부호화를 할 수 있다.

또한, CR을 이용하여 영상의 크기를 전환하기 전에 수정된 확률값을 이용했을 때의 오차가 임계치보다 작을 경우에는 수정된 확률값을 이용하였다는 정보를 보내주고, 오차가 클 경우에는 상기의 방법을 이용하여 손실 부호화를 할 수 있다.

또한, 수정된 확률표를 이용했는지에 대한 부가정보를 보내기 위해서 기존의 모양정보 부호화 모드(MODE) 7가지 ((!)∼(7))에 다음의 세가지((8), (9), (10))를 첨가한다.

(1)MVDs== 0 No Update(2) MVDs != 0 No Update(3) all_0(4) all_255(5) intraCAE(6)MVDs== 0 interCAE(7)MVDs != 0 interCAE(8)intraCAE with modified probability table(9)MVDs== 0 interCAE with modified probability table(10) MVDs != 0 interCAE with modified probability tableI-VOP일 경우는 위 모드 중 (3), (4), (5), (8)만 사용한다.

그리고, 모양정보 부호화 모드를 가변 길이 부호(VIRIABLE LENGTH CODE)로 부호화할 수 있다.

또한, 모양정보 부호화 모드를 다르게 설정하는 것이 아니라 각 BAB에 대해서 CAE과정에서 수정된 확률표를 이용했는지에 대한 부가정보를 첨가하는 방법이 있다.

이 경우는 모양정보 모드를 7가지 중에서 CAE를 수행하는 BAB((5), (6), (7))에 대해 부가 정보를 표현해주는 방식과 첨가된 부호화 모드를 고려한 가변 길이 부호로 부호화 하는 방법이 있다.

또한, 신축형 부호화 과정에 인헨스먼트 레이어의 영상을 부호화할 때, TSD 를 부호화할 때 사용되는 CAE 알고리즘에서도 수정된 확률표를 이용했을 경우 오차가 임계치 이하일 경우는 산술 부호화를 하지 않고 수정된 확률표를 이용했다는 부가정보만을 보내줌으로써 인헨스먼트 레이어의 영상을 부호화할 수 있다.

이상에서 살펴본 바와 같이 본 발명 신축형 모양정보 부호화 시 손실 부호화 방법은, 특히, CAE를 이용하여 모양정보 손실 부호화를 할 때, 모든 확률을 1, 또는 0으로 바꾼 수정된 확률표를 이용해서 그 오차가 임계치를 넘지 않을 경우 부호화를 하지 않고 수정된 확률표를 적용했다는 부가 정보만을 전송함으로써 부호화 효율을 향상시킬 수 있게 되는 효과가 있는 것이다.

도 1은 국제표준 산하기구에서 1차적으로 확정한 VM 엔코더의 구성을 나타낸 블럭도,

도 2는 모양 정보를 가지는 VOP를 매크로 블럭으로 구획하여 나타낸 도면,

도 3은 국제표준 산하기구에서 1차적으로 확정한 VM 디코더의 구성을 나타낸 블럭도,

도 4는 국제표준 산하기구에서 1차적으로 확정한 VOP 부호화부의 구성을 나타낸 블럭도,

도 5 내지 도 7은 신축형 부호화 중 스캔 인터리빙 방법을 설명하기 위한 도면,

도 8은 공간적 신축형 부호화를 설명하기 위한 도면,

도 9(a)는 인트라 컨텍스트 템플렛을 나타낸 도면,

도 9(b)는 인터 컨텍스트 템플렛을 나타낸 도면,

도 10은 크기 전환관계를 나타낸 도면,

도 11은 CR의 결정과정을 나타낸 신호 흐름도,

도 12는 본 발명의 수정된 확률값을 적용했을 때의 모양정보 부호화 과정을 나타낸 신호 흐름도.

도면의 주요부분에 대한 부호의 설명

10:VM엔코더 11:VOP형성부

12A, 12B, …, 12N:VOP부호화부 13, 38:멀티플렉서

20:VM디코더 21:디멀티플렉서

22A, 22B, …22N:VOP리코더 23:합성부

31:움직임추정부 32:움직임보상부

33:감산기 34:대상물내부부호화부

35:가산기 36:이전VOP검출부

37:모양부호화부

Claims (16)

1. 영상 입력장치를 통해 인가되는 동영상을 임의의 모양 정보를 갖는 각각의 대상물 영상과 배경 영상으로 분리한 후, 해상도가 다른 복수개의 레이어로 전송하여 복호화하는 신축형 모양정보 부호화 방법에 있어서,

   저해상도인 베이스 레이어의 영상을 스캔 인터리빙 방법을 사용하여 고해상도의 인헨스먼트 레이어의 영상으로 부호화 할 경우, 산술 부호화 방법의 확률표를 변경하여 적용함을 특징으로 하는 신축형 모양정보 부호화 시 손실 부호화 방법.
2. 제 1항에 있어서, 상기 부호화 방법은, CAE에서 사용되는 기준의 확률표에서 물체의 내부를 '1', 물체의 외부를 '0'이라 했을 경우 '0' 또는 '1'이 발생할 확률 중 큰 값은 1, 작은 값은 0의 값을 갖도록 확률표를 새로 만드는 장치와 CAE를 이용한 모양정보 부호화시 모든 확률을 바꾼 수정된 확률표를 적용하여 모양정보를 손실 부호화 함을 특징으로 하는 신축형 모양정보 부호화 시 손실 부호화 방법.
3. 제 1항에 있어서, 상기 부호화 방법은, I-VOP에 대해서 모든 확률을 '1' 또는 '0'으로 바꾼 수정된 확률표를 적용하여 모양정보 손실 부호화 함을 특징으로 하는 신축형 모양정보 부호화 시 손실 부호화 방법.
4. 제 1항에 있어서, 상기 부호화 방법은, P, B-VOP에 대해서 모든 확률을 '1' 또는 '0'으로 바꾼 수정된 확률표를 적용하여 모양정보 손실 부호화 함을 특징으로 하는 신축형 모양정보 부호화 시 손실 부호화 방법.
5. 제 1항에 있어서, 상기 부호화 방법은, I-VOP에 대해서 모든 확률을 '1' 또는 '0'으로 바꾼 수정된 확률표를 적용하여 모양정보 손실 부호화를 하는 장치에서 확률표를 수정하는 방법으로 기준의 INTRA 확률표에서 각 context에 대한 확률 중 확률이 큰 쪽을 1, 작은 쪽을 0으로 설정함을 특징으로 하는 신축형 모양정보 부호화 시 손실 부호화 방법.
6. 제 1항에 있어서, 상기 부호화 방법은, P, B-VOP에 대해서 모든 확률을 '1' 또는 '0'으로 바꾼 수정된 확률표를 적용하여 모양정보 손실 부호화를 하는 장치에서 확률표를 수정하는 방법으로 기존의 INTRA 확률표에서 각 context에 대한 확률 중 확률이 큰 쪽을 1, 작은 쪽을 0으로 설정함을 특징으로 하는 신축형 모양정보 부호화 시 손실 부호화 방법.
7. 제 1항에 있어서, 상기 부호화 방법은, I-VOP에 대해서 모든 확률을 '1' 또는 '0'으로 바꾼 수정된 확률표를 적용하여 모양정보 손실 부호화 함을 특징으로 하는 신축형 모양정보 부호화 시 손실 부호화 방법.
8. 제 1항에 있어서, 상기 부호화 방법은, P, B-VOP에 대해서 모든 확률을 '1' 또는 '0'으로 바꾼 수정된 확률표를 적용하여 모양정보 손실 부호화 함을 특징으로 하는 신축형 모양정보 부호화 시 손실 부호화 방법.
9. 제 1항에 있어서, 상기 부호화 방법은, CR을 이용해서 BAB의 크기를 전환하고 전환된 BAB가 임계치를 만족할 경우 전환된 BAB를 기반으로 CAE를 수행할 때 모든 확률을 '1' 또는 '0'으로 바꾼 수정된 확률표를 이용하여 부호화 함을 특징으로 하는 신축형 모양정보 부호화 시 손실 부호화 방법.
10. 제 9항에 있어서, 상기 부호화 방법은, 수정된 확률표를 이용할 것인지에 대한 임계치를 설정함을 특징으로 하는 신축형 모양정보 부호화 시 손실 부호화 방법.
11. 제 1항에 있어서, 상기 부호화 방법은, 수정된 확률표를 이용했는지에 대한 정보를 전송하기 위해 모양 정보 부호화 모드를 추가함을 특징으로 하는 신축형 모양정보 부호화 시 손실 부호화 방법.
12. 제 1항에 있어서, 상기 부호화 방법은, 수정된 확률표를 이용했는지에 대한 정보를 전송하기 위해 CAE를 실행하는 BAB에 대해 1비트의 부가정보를 추가함을 특징으로 하는 신축형 모양정보 부호화 시 손실 부호화 방법.
13. 제 1항에 있어서, 상기 부호화 방법은, 수정된 확률표를 이용했는지에 대한 정보를 전송하기 위해 10항에서 추가된 모드를 고려하여 부호화 모드를 가변 길이 부호로 부호화 함을 특징으로 하는 신축형 모양정보 부호화 시 손실 부호화 방법.
14. 제 1항에 있어서, 상기 부호화 방법은, 신축형 부호화 과정에서 베이스 레이어의 영상을 부호화할 때 사용되는 CAE에서 수정된 확률값을 이용하여 부호화 함을 특징으로 하는 신축형 모양정보 부호화 시 손실 부호화 방법.
15. 제 1항에 있어서, 상기 부호화 방법은, 신축형 부호화 과정에서 인헨스먼트 레이어의 영상을 부호화할 때 사용되는 CAE에서 수정된 확률값를 이용하여 부호화 함을 특징으로 하는 신축형 모양정보 부호화 시 손실 부호화 방법.
16. 제 15항에 있어서, 상기 부호화 방법은, TSD를 부호화할 때 사용되는 CAE에서 수정된 확률값을 이용하여 부호화함을 특징으로 하는 신축형 모양정보 부호화 시 손실 부호화 방법.

Images