KR19990065274A - 격행주사를 위한 모양정보 부호화 방법 - Google Patents

격행주사를 위한 모양정보 부호화 방법 Download PDF

Info

Publication number
KR19990065274A
KR19990065274A KR1019980000491A KR19980000491A KR19990065274A KR 19990065274 A KR19990065274 A KR 19990065274A KR 1019980000491 A KR1019980000491 A KR 1019980000491A KR 19980000491 A KR19980000491 A KR 19980000491A KR 19990065274 A KR19990065274 A KR 19990065274A
Authority
KR
South Korea
Prior art keywords
bab
field
shape information
mvds
frame
Prior art date
Application number
KR1019980000491A
Other languages
English (en)
Inventor
천승문
신동규
문주희
Original Assignee
김영환
현대전자산업 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 김영환, 현대전자산업 주식회사 filed Critical 김영환
Priority to KR1019980000491A priority Critical patent/KR19990065274A/ko
Priority to KR1019980039193A priority patent/KR100535631B1/ko
Priority to EP19980307921 priority patent/EP0924932A3/en
Priority to US09/162,604 priority patent/US6307976B1/en
Priority to JP27603398A priority patent/JPH11177980A/ja
Publication of KR19990065274A publication Critical patent/KR19990065274A/ko

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

본 발명은 동영상의 격행주사를 위한 부호화시 모양정보의 움직임 정도를 검출하여 그 움직임량에 따라 프레임 단위 또는 필드단위로 모양정보를 부호화하는 격행주사를 위한 모양정보 부호화 방법에 관한 것으로서, 이러한 본 발명은 격행주사를 위한 모양정보 부호화에 있어서, 현재(Current) 프레임의 홀수 필드의 움직임 예측방향을 결정할 때 이전(Reference) 프레임의 홀수 필드에서 움직임 추정을 한 SAD(Sum Absolute Difference)의 최소값을 움직임 예측방향을 결정하고, 현재(Current) 프레임의 짝수 필드의 움직임 예측방향을 결정할 때 이전(Reference) 프레임의 짝수 필드에서 움직임 추정을 한 SAD(Sum Absolute Difference)의 최소값으로 움직임 추정을 수행하여 모양정보를 부호화하는 것이다.

Description

격행주사를 위한 모양정보 부호화 방법
본 발명은 격행주사를 위한 모양정보 부호화에 관한 것으로, 특히 동영상의 격행주사를 위한 부호화시 모양정보의 움직임 정도를 검출하여 그 움직임량에 따라 프레임 단위 또는 필드단위로 모양정보를 부호화하는 격행주사를 위한 모양정보 부호화 방법에 관한 것이다.
일반적으로, 영상 및 음향 부호화 기술 및 시스템 구성에 관한 국제 표준안 (MPEG-1, MPEG-2)을 개발하고 의결한 MPEG 그룹이 국제 표준으로 채택할 예정의 차세대 영상 및 음향 부호화 기술 및 시스템 구성에 관한 국제 표준안 (MPEG-4)을 연구, 개발중에 있다. MPEG-4의 개발은 기존의 알려진 표준안으로는 지원할 수 없는 차세대 영상 및 음향 응용물들을 지원할 필요성에서 출발했다.
MPEG-4는 영상 및 음향 데이타의 통신과 접속, 그리고 조작을 위한 새로운 방법들(예를 들자면, 특성이 다른 네트워크를 통한 물체 중심 대화형 기능 및 접속 등)을 제공한다.
또한 에러가 쉽게 발생되는 통신 환경과 저전송율의 통신환경에서도 유용하게 동작하는 특성을 제공한다. 더욱이 컴퓨터 그래픽 기술을 통합하여 자연영상 및 음향과 인공영상 및 음향들을 함께 부호화하고 조작할 수 있는 기능들을 제공한다.
요약컨대, MPEG-4는 여러 응용분야에서 요구되고 예상되는 모든 기능들을 지원해야 한다. 따라서, 멀티미디어 정보의 급팽창과 기술 향상에 의해 새롭게 개발됐거나 개발될 저가, 고기능의 모든 가능한 응용 분야들에 요구되는 기능들을 지원할 수 있도록 확장 가능하고 개방적인 구조를 가지게 된다. 그 중에는 전송 및 저장 기능과 비용 절감에 필요한 부호화 효과의 향상 기능(Improved Compression Efficiency)이 있다.
현재 MPEG-4의 기술이 응용될 것으로 기대되는 응용물로는 인터넷 멀티미디어(IMM: Internet Multimedia), 대화형 비디오 게임(IVG: Interactive Video Games), 영상회의 및 영상전화 등의 상호 통신(IPC: Interpersonal Communications), 쌍방향 저장매체(ISM: Interactive Storage Media), 멀티미디어 전자우편(MMM: Multimedia Mailing), 무선 멀티미디어 (WMM: Wireless Multimedia), ATM망 등을 이용한 네트웍 데이타베이스서비스(NDB: Networked Database Service), 원격 응급 시스템(RES: Remote Emergency Systems), 원격 영상 감시(RVS: Remote Video Surveillance) 등이 있다.
기존의 응용물이나 앞으로 기대되는 응용물들을 지원하기 위해서는 유저들이 영상 내의 원하는 객체만을 통신할 수 있고, 찾고 읽을 수 있도록 접근할 수 있으며, 자르고 붙일 수 있도록 편집할 수 있는 영상 부호화기술이 필요하다.
현재 세계 표준화 작업이 진행중인 새로운 영상 및 음향 부호화 기술인 MPEG-4는 이러한 필요를 충족시키기 위한 것이다.
도 1은 현재 국제표준 산하기구에서 1차적으로 확정한 MPEG-4의 VOP 영상 부호화기의 구성도이다.
이는 기존의 영상부호화 세계표준화인 H.261, H.263, MPEG-1, MPEG-2의 영상 부호화기 구조와는 다른 구조를 지닌다. 특히 모양정보 부호화부(Shape Coder)와 VOP(Video Object Planes)라는 개념의 도입이 가장 두드러진 차이를 보이고 있다. VOP는 유저가 접근 및 편집할 수 있는 임의 모양의 내용물의 시간축상의 한 시점의 객체를 의미하며, 내용물 기반의 기능성(content-based functionality)을 지원하기 위해서는 VOP별로 부호화 되어야 한다.
이러한 VOP 부호화기는, VOP형성부(11)에서 형성된 각각의 대상물 영상에 대한 VOP가 움직임 추정부(MOTION ESTIMATION)(13)에 입력되면, 움직임 추정부(13)는 인가된 VOP로부터 매크로 블록 단위의 움직임을 추정하게 된다.
또한, 상기 움직임 추정부(13)에서 추정된 움직임 정보는 움직임 보상부(MOTION COMPENSATION)(14)에 입력되어 움직임이 보상된다. 그리고, 움직임 보상부(14)에서 움직임이 보상된 VOP는 상기 VOP형성부(11)에서 형성된 VOP와 함께 감산기(16)에 입력되어 차이 값이 검출되고, 감산기(16)에서 검출된 차이 값은 대상물 내부 부호화부(18)에 입력되어 매크로 블록의 서브 블록 단위로 대상물의 내부정보가 부호화 된다.
예를 들면, 매크로 블록의 X축 및 Y축이 M/2 × N/2로 각기 8개의 화소를 가지는 8 × 8의 서브 블록으로 세분화된 후 대상물 내부정보가 부호화 된다.
한편, 움직임 보상부(14)에서 움직임이 보상된 VOP와, 대상물 내부 부호화부(18)에서 부호화된 대상물의 내부정보는 가산기(17)에 입력되어 가산되고, 가산기(17)의 출력신호는 이전 VOP 검출부(PREVIOUS RECONSTRUCTED VOP)(15)에 입력되어 현재 영상 바로 이전 영상의 VOP인 이전 VOP가 검출된다.
또한, 이전 VOP검출부(15)에서 검출된 이전 VOP는 상기 움직임 추정부(13) 및 움직임 보상부(14)에 입력되어 움직임 추정 및 움직임 보상에 사용된다.
그리고, VOP형성부(11)에서 형성된 VOP는 모양정보 부호화부(SHAPE CODING)(12)에 입력되어 모양 정보가 부호화 된다.
여기서, 모양정보 부호화부(12)의 출력신호는 VOP 부호화기가 적용되는 분야에 따라 사용 여부가 가변 되는 것으로, 점선으로 표시된 바와 같이, 모양정보 부호화부(12)의 출력신호를 움직임 추정부(13), 움직임 보상부(14) 및 대상물 내부 부호화부(18)에 입력시켜 움직임 추정, 움직임 보상 및 대상물의 내부 정보를 부호화 하는 데 사용할 수 있다.
또한, 움직임 추정부(13)에서 추정된 움직임 정보와, 대상물 내부 부호화부(18)에서 부호화된 대상물 내부 정보 및 상기 모양정보 부호화부(12)에서 부호화된 모양 정보는 다중화부(19)에 인가되어 다중화된 후, 비트스트림으로 도면에는 도시하지 않았지만 다수개의 부호화기의 출력을 다시 다중화 하여 전송하는 다중화기에 전달되어 전송되어진다.
이러한 개념의 MPEG-4(Moving Picture Expert Group-4)의 가장 큰 특징 중 하나가 객체(object)를 기반으로 처리를 한다는 것이다. 즉, 한 영상을 여러 개의 객체로 나누고 그 각각의 객체를 개별적으로 부호화하고 처리할 수 있는 것이다. 따라서 객체를 만들기 위해서 모양정보를 알아야 한다.
상기에서 말하는 모양정보를 흔히 마스크(mask)라고 하는데 영상에서 객체 부분은 '1'로 표현하고 객체 바깥 부분(배경 부분)은 '0'으로 표현한다. 이 모양정보를 이용하여 영상에서 한 객체를 얻을 수 있다. 그리고 이 모양정보를 이용하여 복호기 측에서 객체 부분을 복호하기 때문에 모양정보를 부호화 하여 복호기측에 전송해주어야 한다.
영상에서 객체를 분리하기 위한 모양 정보(shape information)와 객체의 움직임 정보(motion information)및 영상 정보(texture information)를 가지고 있어야하고, 정보들을 각각 부호화하여 전송하여야 한다. 블럭단위로 움직임 추정(Motion Estimation)을 하고, 여기에서 생성된 움직임 벡터(Motion vector)로 움직임 보상(Motion Compensation)을 한후에 움직임 보상이 되지않은 부분에 대하여 영상정보 부호화(Texture coding)를 수행한다. 그리고 객체의 모양정보에 대해 모양정보 부호화(Shape coding)를 수행한다.
일반적으로, 움직임 영상을 전송하는 방법으로 순행주사(Progressive)와 격행주사(Interlaced)가 있다. 순행주사는 한 프레임(Frame)단위로 영상을 부호화 하고 전송하며 디스플레이 한다.
그러나 격행주사는 한 프레임을 첫번째 필드(Top Field :홀수 필드)와 두번째 필드(Bottom Field : 짝수 필드)로 나누어 영상을 부호화하고 전송하며 디스플레이 한다.
이때 기존의 격행주사는 한 프레임을 두 필드로 나누어서 전송하기 때문에 두 필드간에는 시간축상으로 움직임이 발생하여 움직임의 크기만큼 영상의 차이가 발생하는 문제점을 유발 하였다.
이에 본 발명은 상기와 같은 종래 격행주사시 발생하는 제반 문제점을 해결하기 위해서 제안된 것으로,
본 발명은 동영상의 격행주사를 위한 부호화시 모양정보의 움직임 정도를 검출하여 그 움직임량에 따라 프레임 단위 또는 필드단위로 모양정보를 부호화하는 격행주사를 위한 모양정보 부호화 방법을 제공하는 데 그 목적이 있다.
상기와 같은 목적을 달성하기 위한 본 발명에 의한 방법은,
격행주사를 위한 모양정보 부호화에 있어서,
현재(Current) 프레임의 홀수 필드의 움직임 예측방향을 결정할 때 이전(Reference) 프레임의 홀수 필드에서 움직임 추정을 한 SAD(Sum Absolute Difference)의 최소값을 움직임 예측방향을 결정하고, 현재(Current) 프레임의 짝수 필드의 움직임 예측방향을 결정할 때 이전(Reference) 프레임의 짝수 필드에서 움직임 추정을 한 SAD(Sum Absolute Difference)의 최소값으로 움직임 추정을 수행하여 모양정보를 부호화하는 것을 특징으로 한다.
상기와 같은 목적을 달성하기 위한 본 발명에 의한 다른 방법은,
격행주사를 위한 모양정보 부호화에 있어서,
이진 모양정보(Binary Alpha Block: BAB)에 대하여 이전 프레임의 정보를 이용한 움직임 추정(Motion Estimation)을 수행하여 한개의 16x16 프레임 움직임 벡터 혹은 두개의 8x16 프레임 움직임 벡터를 구한 후 MVDs가 0이 아닌경우 한개의 16x16 움직임 벡터를 이용하였는지 두개의 8x16 움직임 벡터를 이용하였는가의 여부인 shape_field_prediction(ON: 필드 예측, OFF: 프레임 예측)을 결정하여 모양정보를 부호화하는 것을 특징으로 한다.
상기에서, shape_field_prediction이 필드예측이면 1을 전송하고 프레임 예측이면 0을 전송하는 것을 특징으로 한다.
또한, 상기에서 shape_field_prediction이 필드예측이면 0을 전송하고 프레임 예측이면 1을 전송하는 것을 특징으로 한다.
상기와 같은 목적을 달성하기 위한 본 발명에 의한 또 다른 방법은,
격행주사를 위한 모양정보 부호화에 있어서,
이진 모양정보(Binary Alpha Block: BAB)에 대하여 이전 프레임의 정보를 이용한 움직임 추정(Motion Estimation)을 수행하여 한개의 16x16 프레임 움직임 벡터 혹은 두개의 8x16 프레임 움직임 벡터를 구한 후 MVDs가 0이 아닌경우 한개의 16x16 움직임 벡터를 이용하였는지 두개의 8x16 움직임 벡터를 이용하였는가의 여부인 shape_field_prediction(ON: 필드 예측, OFF: 프레임 예측)을 결정하는 과정과; 모양정보 부가정보(mode)인 BAB_type을 결정하는 과정과; 이진 모양정보의 타입이 All_0이거나 All_255이거나 MVDs=0No_update인 경우에는 BAB에 대한 부호화를 수행하는 과정과; 상기 BAB 타입이 상기 세가지의 경우가 아닐 경우에는 선택적인 격행주사 모양정보 부호화를 수행하기 위해 우선 프레임 CAE 모드인지 필드 CAE 모드 인지의 여부를 확인하여 CAE_type을 결정하는 과정과; 필드 CAE 모드가 선택되면 두 개의 8x16 필드 BAB에 대하여 동일한BAB_type을 적용하여 부호화를 한뒤, 부호화 비트수가 적은 쪽으로 IntraCAE냐 MVDs!=0 No_Update냐 MVDs==0 InterCAE 혹은 MVDs!=0InterCAE냐를 결정하여 BAB_type을 결정하는 과정을 순차 실행시킴을 특징으로 한다.
상기에서, CAE_type이 필드 CAE인지 프레임 CAE인지의 결정은, 필드 혹은 프레임 단위로 CAE를 수행한 후 발생되는 비트수가 적은 쪽으로 CAE_Type을 결정하는 것을 특징으로 한다.
상기에서, CAE_type이 필드 모드일 때 ST(Scan_type)을 한 개만 이용하는 것을 특징으로 한다.
상기에서, CAE_type이 필드 CAE 모드일 때 부호화 효율을 높이기 위하여 각 필드 BAB별로 Flusih bit을 생성하지 않고, 홀수(Top) 필드 BAB을 부호화하고 난 후에는 Flush bit를 보내지 않고 짝수(Bottom) 필드 BAB을 부호화 한후에 플러쉬 비트를 한 번만 생성하여 전송하는 것을 특징으로 한다.
상기에서, BAB_type결정을 CR과 연관지어 수행함으로써 손실부호화(Lossy Coding)일때 원래 형태의 BAB에 CR를 적용하여 All_0,All_255 여부를 결정하고, 재배치 BAB (Permuted BAB)에 CR을 적용하여 All_0, All_255을 여부를 결정한후, 두 경우중 하나라도 All_0 또는All_255인 경우가 있으면 BAB_type을 All_0, All_255로 결정하는 거을 특징으로 한다.
상기에서, BAB_type결정을 CR과 연관지어 수행함으로써 손실부호화(Lossy Coding)일때 BAB에 CR를 적용하여 MVDs==0No_Update, MVDs!=0 No_Update 여부를 결정하고, 재배치 BAB(Permuted BAB)에 CR을 적용하여 MVDs==0 No_Update, MVDs!=0 No_Update여부를 결정한 후, 두 경우중 하나라도 MVDs==0No_Update 또는 MVDs!=0 No_Update인 경우가 있으면 BAB_type을MVDs==0No_Update 또는 MVDs!=0 No_Update로 결정하는 것을 특징으로 한다.
도1은 현재 국제표준 산하기구에서 1차적으로 확정한 MPEG-4의 VOP 영상 부호화기의 구성도,
도2는 순행주사(Progressive)와 격행주사(Interlaced)시 프레임과 필드의 시간축상의 전송순서도,
도3은 적응적인 격행주사 모양정보 부호화(Adaptive Interlaced shape coding)의 순서도,
도4는 필드 예측을 수행할 때 이전의 필드를 참조하는 방향의 예시도,
도5는 매크로 블럭(MB)단위로 부호화할 프레임 MB과 필드 MB의 구성도,
도6은 도5에서 이진 모양정보(Mask)가 존재할 경우 움직임이 적은 영상 예시도,
도7은 도5에서 이진 모양정보(Mask)가 존재할 경우 움직임이 많은 영상 예시도,
도8은 가장자리를 16x16의 매크로 블럭으로 나타낸 움직임 보상 이진 모양 블럭도(Bordered MC BAB),
도9는 가장자리를 16x16의 매크로 블럭으로 나타낸 현재의 이진모양 블럭도(Bordered Current BAB),
도10은 원래 형태의 프레임에 대하여 CR(Conversion ratio)을 결정하는 과정에 대한 흐름도(이 경우 결정되는 CR은 1개),
도11은 CR을 결정하기 전에 필드별 재배치(Reordering)를 한후 재배치 BAB을 구성하고 여기서 CR (Conversion ratio)을 결정하는 순서도(이 경우 결정되는 CR은 1개),
도12는 홀수(Top) 필드 BAB와 짝수(Bottom) 필드 BAB에 대하여 각각 CR(Conversion ratio)을 결정하는 과정에 대한 순서도(이 경우 결정되는 CR은 필드 BAB별로 총 2개),
도13은 CAE_type이 필드 CAE 모드일 경우 재배치 BAB에 대하여CR (Conversion Ratio)를 결정하는 순서도(이 경우 결정되는 CR은 1개),
도14는 도3에서 추가되는 CAE_type의 1비트의 Syntax구성도,
도15는 도3에서 추가되는 CAE_type의 1비트와 모양정보 움직임 예측의 shape_field_prediction 1비트와 Bottom 필드의 추가 움직임 벡터 Syntax구성도,
도16은 기존의 움직임 벡터의 가변길이 부호화 테이블,
도17은 움직임 벡터의 가로방향(x축)의 좌표가 0일때 적용되는 가변길이 부호화 테이블.
도면의 주요 부분에 대한 부호의 설명
11:VOP 형성부
12:모양정보 부호화부
13:움직임 추정부
14:움직임 보상부
18:대상물 내부 부호화부
19:다중화부
20:버퍼
이하, 본 발명의 바람직한 실시예를 첨부한 도면에 의거 상세히 설명하면 다음과 같다.
도3은 선택적인 격행주사 모양정보 부호화에 관한 순서도를 나타내었다.
이진 모양정보(Binary Alpha Block: BAB)에 대하여 이전 프레임의 정보를 이용한 움직임 추정(Motion Estimation)을 수행하여 한개의 16x16 프레임 움직임 벡터 혹은 두개의 8x16 프레임 움직임 벡터를 구한 후 MVDs가 0이 아닌경우 한개의 16x16 움직임 벡터를 이용하였는지 두개의 8x16 움직임 벡터를 이용하였는가의 여부인 shape_field_prediction(ON: 필드 예측, OFF: 프레임 예측)을 결정한다.
그 후 모양정보 부가정보(mode)인 BAB_type을 결정한다.
상기 BAB_type은All_0, All_255, MVDs=0No_update, MVDs!=0No_update, IntraCAE , MVDs=0InterCAE, MVDs!=0 InterCAE 로 구분된다.
여기에서 블럭(BAB)의 모양정보가 모두 0일 경우에는 All_0로 정의하고 블럭(BAB)의 모양정보가 모두 255일 경우에는 All_255로 정의한다. MVDs=0No_update의 정의는 BAB의 모양정보 움직임 벡터가 0이고 이전 BAB와 동일하여 부호화를 하지 않는 경우이고 MVDs!=0No_update의 정의는 BAB의 모양정보 움직임 벡터가 0이 아니고 이전 BAB와 움직임 보상을 하였을 때 동일하여 부호화를 하지 않는 경우이다.
Intra CAE는 BAB를 Intra CAE 부호화 하는 것을 말하고 MVDs=0InterCAE의 정의는 BAB의 모양정보 움직임 벡터가 0이고 이전 BAB와 동일하지 않아서 Inter CAE 부호화를 해야 하는 경우이고 MVDs!=0InterCAE 의 정의는 BAB의 모양정보 움직임 벡터가 0이 아니고 이전 BAB와 움직임 보상을 하였을 때 동일하지 않아서 Inter CAE 부호화를 해야 하는 경우이다.
All_0, All_255, MVDs==0No_update, 세가지의 경우BAB_type이 부호화됨으로써 BAB에 대한 부호화가 종료된다. 위의 세가지가 아닌 경우 선택적인 격행주사 모양정보 부호화를 수행하기 위해 우선 프레임 CAE 모드인지 필드 CAE 모드 인지의 여부를 확인하여CAE_type을 결정한다.
상기 CAE_type 결정에는 여러가지 방법이 있을 수 있다.
프레임 CAE 모드가 선택되면 16x16 BAB 단위로 부호화를 한뒤, 부호화 비트수가 적은 쪽으로 IntraCAE냐 MVDs!=0No_Update냐 MVDs==0InterCAE 혹은 MVDs!=0InterCAE냐를 결정하여 BAB_type을 결정한다.
필드 CAE 모드가 선택되면 16x16 BAB가 두개의 8x16 서브블럭(이하 이를 필드 BAB이라 칭한다.)으로 나뉘게 되는데, 두 8x16 필드 BAB에 대하여 동일한BAB_type을 적용하여 부호화를 한뒤, 부호화 비트수가 적은 쪽으로 IntraCAE냐 MVDs!=0 No_Update냐 MVDs==0 InterCAE 혹은 MVDs!=0InterCAE냐를 결정하여 BAB_type을 결정한다.
제4도는 현재(Current) 프레임의 홀수 필드(Top field)와 짝수 필드(Bottom field)의 모양정보 움직임 추정 방향에 대한 그림을 나타내었다.
현재(Current) 프레임의 홀수 필드(Top field)의 움직임 예측방향을 결정할 때, 이전(Reference) 프레임의 홀수 필드(Top field)에서 움직임 추정을 해보아 SAD(Sum Absolute Difference)의 최소값이 얻어지는움직임 벡터를 결정한다.
또한, 현재(Current) 프레임의 짝수 필드(Bottom field)의 움직임 예측방향을 결정할 때 이전(Reference) 프레임의 짝수 필드(Bottom field)에서 움직임 추정을 해보아 SAD(Sum Absolute Difference)의 최소값이 얻어지는 움직임 벡터를 결정한다.
도5는 두 필드를 한 프레임으로 구성한 후에 예를 들어 매크로 블럭사이즈로 부호화를 할 때 프레임 단위로 부호화 할 것인가 아니면 필드단위로 부호화 할 것인가의 영상 구성에 대한 도면이다.
흰색 라인은 홀수필드(Top field)이고, 회색 라인은 짝수필드(Bottom field)를 나타낸다.
도6은 움직임이 적은 영상이나 정지 영상일 때 이진 모양정보(Binary Mask)를 구성하여 프레임 단위와 필드 단위로 부호화 하는 경우를 나타낸다.
시간상의 변화가 아주 적기 때문에 두 필드 간의 영상 모양의 변화가 거의 없다. 이 경우에는 프레임 단위로 모양정보 부호화 하는 것이 유리하다. 프레임 단위로 부호화할 때 이진 모양정보의 변화가 심하지 않기 때문이다
도7은 움직임이 많은 영상일 때 이진 모양정보(Binary Mask)를 구성하여 프레임 단위와 필드 단위로 부호화 하는 경우를 나타낸다. 시간상의 변화가 많기 때문에 두필드간의 영상모양의 변화가 심하다. 이 경우에는 필드단위로 모양정보 부호화 하는 것이 유리하다. 필드단위로 부호화할 때 이진 모양정보의 변화가 심하지 않기 때문이다.
상기 도6과 도7의 예에서 보듯이 움직임이 많고 적음에 따라 격행주사(Interlaced)의 부호화 효율이 다르게 나타난다. 선택적(Adaptive)으로 프레임과 필드를 구분하여 부호화 함으로서 최적의 부호화 효율을 얻을 수 있게 된다. 부호화 방법으로는 현재 국제표준MPEG-4 CD(Committee Draft)에 채택된 CAE(Context-based Arithmetic Encoding)가 이용된다.
매크로블럭 내의 움직임이 많고 적고 하는 기준은 다음의 수식으로 정할 수 있다. 도6에서 보듯이 이진 모양정보가 존재하는 화소를 1로 정하고 이진 모양정보가 존재하지 않는 화소를 0이라고 정한다.
｜P2i,j-P2i+1,j｜+｜P2i+1,j-P2i+2,j｜) ｜P2i,j-P2i+2,j｜+｜P2i+1,j-P2i+3,j｜)
여기에서 Pi,j는 이진 모양정보 데이타이다 즉 모양정보가 존재하면 1이고 없으면 0이다.
좌변값이 크면 필드 CAE 모드가 선택되고 우변값이 크면 프레임 CAE 모드가 선택된다. 여기에 추가로 필드 CAE 모드인가 프레임 CAE 모드인가의 여부가 CAE_type(1비트)으로 전송된다. CAE_type에 따라 필드 혹은 프레임 단위로 CAE가 수행된다. 위와 같은 수식을 사용하지 않고, 필드 혹은 프레임 단위로CAE를 수행한 후 발생되는 비트수가 적은 쪽으로 CAE_Type을 결정할 수도 있다.
도8의 왼쪽그림은 16x16의 매크로 블럭의 가장자리를 나타낸 움직임 보상 이진 모양 블럭(Bordered MC BAB:Bordered Motion Compensated Binary Alpha Block)을 나타낸다. 굵은선 내부는 부호화 하고자 하는 매크로 블럭(16x16)을 의미한다. 도8의 오른쪽 그림은 필드(Field) CAE 모드가 선택된 경우, 8x16의 홀수필드와 짝수필드로 나누어 지고 각각의 8x16의 서브블럭의 가장자리의 데이타는 각각의 필드와 관련있는 부분에서 가져와 구성됨을 나타낸다. 즉 Bordered MC BAB가 두필드로 나누어 사용된다.
도9의 왼쪽그림은 16x16의 매크로 블럭의 가장자리를 나타낸 현재 이진 모양 블럭(Bordered Current BAB: Bordered Current Binary Alpha Block)을 나타낸다. 도9의 오른쪽 그림은 필드(Field) CAE 모드가 선택된 경우, 8x16의 홀수필드와 짝수필드로 나누어 지고 각각의 8x16의 서브블럭의 가장자리의 데이타는 각각의 필드
와 관련있는 부분에서 가져와 구성됨을 나타낸다. 즉 Bordered Current BAB가 두필드로 나누어 사용된다. 위쪽 가장자리(Top border)와 왼쪽 가장자리(Left border)만 각각의 필드에서 데이타를 가져와 구성하게 된다.
손실 부호화(Lossy coding)를 위한 모양정보 부호화 과정에서 대상 BAB를 어떠한 형태로 구성하여 CR(Conversion Ratio)을 결정하는 가에 관하여 도10,도11,도12,도13을 이용하여 나타내었다.
대상 BAB를 구성하는 방법은 두가지가 있다.
도5를 참조하여 설명하면, 왼쪽의 그림과 같이 원래 형태의 BAB을 유지할 수도 있고 오른쪽의 그림과 같이 필드별로 모아 재배치하여 새로운 형태의 BAB을 구성할 수도 있다. 이하 필드별로 모아 재배치하여 구성한 BAB을 재배치 BAB (Permuted BAB)이라 칭한다.
도10은 원래 형태의 Frame에 대하여 CR(Conversion ratio)을 결정하는 과정에 대한 블럭도이다. 이 경우 결정되는 CR은 1개이다.
도11은 상기 CR을 결정하기 전에 필드별 재배치(Reordering)를 한후 재배치 BAB을 구성하고 여기서 CR (Conversion ratio)을 결정하는 블럭도이다. 이 경우 결정되는 CR은 1개이다.
도12는 홀수(Top) 필드 BAB와 짝수(Bottom) 필드 BAB에 대하여 각각 CR(Conversion ratio)을 결정하는 과정에 대한 블럭도이다. 이 경우 결정되는 CR은 필드 BAB별로 총 2개 이다.
도13은 CAE_type이 필드 CAE 모드일 경우 재배치 BAB에 대하여CR (Conversion Ratio)를 결정한다. CAE_type이 프레임 CAE 모드이면 BAB에 대하여 CR을 결정한다. 이 경우 결정되는 CR은 1개 이다.
위에 기술된 CR 결정방법에 덧붙여 BAB_type결정을 CR과 연관지어 수행함으로써 손실부호화(Lossy Coding)일때 부호화 이득을 얻는 방법들을 다음과 같다.
원래 형태의 BAB에 CR를 적용하여 All_0,All_255 여부를 결정하고, 재배치 BAB (Permuted BAB)에 CR을 적용하여 All_0, All_255을 여부를 결정한후, 두 경우중 하나라도 All_0 또는All_255인 경우가 있으면 BAB_type을 All_0, All_255로 결정한다.
BAB에 CR를 적용하여 MVDs==0No_Update, MVDs!=0 No_Update 여부를 결정하고, 재배치 BAB(Permuted BAB)에 CR을 적용하여 MVDs==0 No_Update, MVDs!=0 No_Update여부를 결정한 후, 두 경우중 하나라도 MVDs==0No_Update 또는 MVDs!=0 No_Update인 경우가 있으면 BAB_type을MVDs==0No_Update 또는 MVDs!=0 No_Update로 결정한다.
이 밖에도 부호화 효율 향상을 위하여 다음 사항들을 고려하여야 한다
CAE_type이 필드 모드일 때 ST(Scan_type)을 한 개만 이용한다. 즉 홀수(Top) 필드 BAB과 짝수(Bottom) 필드 BAB에 동일한 ST를 이용한다. 각 8x16 필드BAB단위로 총 2개를 보내면 부가정보가 늘어나서 비트량에서 손해를 보기 때문이다.
일반적으로 CAE(Context Arithmetic Encoding)할 때 부호화 단위별(BAB단위)로 각화소의 발생확률을 이용하여 Arithmetic Coding을 한후에 Flush bit(2-3비트)를 보내는 방법을 이용한다. CAE_type이 필드 CAE 모드일 때 부호화 효율을 높이기 위하여 각 필드 BAB별로 Flusih bit을 생성하지 않고, 홀수(Top) 필드 BAB을 부호화하고 난 후에는 Flush bit를 보내지 않고 짝수(Bottom) 필드BAB을 부호화 한후에 한 번만 생성한다.
도14는 움직임 벡터가 16x16 한 개의 벡터로 전송될때 CAE_type 1비트의 추가정보의 syntax상의 위치를 나타내었다.
도15는 움직임 벡터가 8x16 두 개의 벡터로 전송될때 CAE_type 1비트의 추가정보의 syntax상의 위치와 shape_field_prediction, 추가의 움직임 벡터의 syntax상의 위치를 나타내었다.
도16은 기존의 움직임 벡터의 가변길이 부호화 테이블 이고, 도17은 움직임 벡터의 가로방향(x축)의 좌표가 0일때 적용되는 가변길이 부호화 테이블이다.
도16의 가변길이 부호화 테이블을 shape_field_prediction이 ON일 때 x축,y축 움직임 벡터의 가변길이 부호화 테이블로 사용해야 한다.(이 때 움직임 벡터의 가로방향(x축)의 좌표가 0일때도 도16을 이용한다)
이상에서 상술한 바와 같이 본 발명은, 선택적인 격행주사 모양정보 부호화시 프레임과 필드 사이에서 모양정보의 움직임 량에 따라 부호화 모드를 선택 함으로써 격행주사시 모양정보의 부효화 효율을 높일 수 있는 효과가 있다.

Claims (10)

  1. 격행주사를 위한 모양정보 부호화에 있어서,
    현재(Current) 프레임의 홀수 필드의 움직임 예측방향을 결정할 때 이전(Reference) 프레임의 홀수 필드에서 움직임 추정을 한 SAD(Sum Absolute Difference)의 최소값을 움직임 예측방향을 결정하고, 현재(Current) 프레임의 짝수 필드의 움직임 예측방향을 결정할 때 이전(Reference) 프레임의 짝수 필드에서 움직임 추정을 한 SAD(Sum Absolute Difference)의 최소값으로 움직임 추정을 수행하여 모양정보를 부호화하는 것을 특징으로 하는 격행주사를 위한 모양정보 부호화 방법.
  2. 격행주사를 위한 모양정보 부호화에 있어서,
    이진 모양정보(Binary Alpha Block: BAB)에 대하여 이전 프레임의 정보를 이용한 움직임 추정(Motion Estimation)을 수행하여 한개의 16x16 프레임 움직임 벡터 혹은 두개의 8x16 프레임 움직임 벡터를 구한 후 MVDs가 0이 아닌경우 한개의 16x16 움직임 벡터를 이용하였는지 두개의 8x16 움직임 벡터를 이용하였는가의 여부인 shape_field_prediction(ON: 필드 예측, OFF: 프레임 예측)을 결정하여 모양정보를 부호화하는 것을 특징으로 하는 격행주사를 위한 모양정보 부호화 방법.
  3. 제 2 항에 있어서,
    상기 shape_field_prediction이 필드예측이면 1을 전송하고 프레임 예측이면 0을 전송하는 것을 특징으로 하는 격행주사를 위한 모양정보 부호화 방법.
  4. 제 2 항에 있어서,
    상기 shape_field_prediction이 필드예측이면 0을 전송하고 프레임 예측이면 1을 전송하는 것을 특징으로 하는 격행주사를 위한 모양정보 부호화 방법.
  5. 격행주사를 위한 모양정보 부호화에 있어서,
    이진 모양정보(Binary Alpha Block: BAB)에 대하여 이전 프레임의 정보를 이용한 움직임 추정(Motion Estimation)을 수행하여 한개의 16x16 프레임 움직임 벡터 혹은 두개의 8x16 프레임 움직임 벡터를 구한 후 MVDs가 0이 아닌경우 한개의 16x16 움직임 벡터를 이용하였는지 두개의 8x16 움직임 벡터를 이용하였는가의 여부인 shape_field_prediction(ON: 필드 예측, OFF: 프레임 예측)을 결정하는 과정과; 모양정보 부가정보(mode)인 BAB_type을 결정하는 과정과; 이진 모양정보의 타입이 All_0이거나 All_255이거나 MVDs=0No_update인 경우에는 BAB에 대한 부호화를 수행하는 과정과; 상기 BAB 타입이 상기 세가지의 경우가 아닐 경우에는 선택적인 격행주사 모양정보 부호화를 수행하기 위해 우선 프레임 CAE 모드인지 필드 CAE 모드 인지의 여부를 확인하여 CAE_type을 결정하는 과정과; 필드 CAE 모드가 선택되면 두 개의 8x16 필드 BAB에 대하여 동일한BAB_type을 적용하여 부호화를 한뒤, 부호화 비트수가 적은 쪽으로 IntraCAE냐 MVDs!=0 No_Update냐 MVDs==0 InterCAE 혹은 MVDs!=0InterCAE냐를 결정하여 BAB_type을 결정하는 과정을 순차 실행시킴을 특징으로 하는 격행주사를 위한 모양정보 부호화 방법.
  6. 제 5 항에 있어서,
    상기 CAE_type이 필드 CAE인지 프레임 CAE인지의 결정은, 필드 혹은 프레임 단위로 CAE를 수행한 후 발생되는 비트수가 적은 쪽으로 CAE_Type을 결정하는 것을 특징으로 하는 격행주사를 위한 모양정보 부호화 방법.
  7. 제 5 항에 있어서,
    상기 CAE_type이 필드 모드일 때 ST(Scan_type)을 한 개만 이용하는 것을 특징으로 하는 격행주사를 위한 모양정보 부호화 방법.
  8. 제 5 항에 있어서,
    상기 CAE_type이 필드 CAE 모드일 때 부호화 효율을 높이기 위하여 각 필드 BAB별로 Flusih bit을 생성하지 않고, 홀수(Top) 필드 BAB을 부호화하고 난 후에는 Flush bit를 보내지 않고 짝수(Bottom) 필드 BAB을 부호화 한후에 플러쉬 비트를 한 번만 생성하여 전송하는 것을 특징으로 하는 격행주사를 위한 모양정보 부호화 방법.
  9. 제 5 항에 있어서,
    상기 BAB_type결정을 CR과 연관지어 수행함으로써 손실부호화(Lossy Coding)일때 원래 형태의 BAB에 CR를 적용하여 All_0,All_255 여부를 결정하고, 재배치 BAB (Permuted BAB)에 CR을 적용하여 All_0, All_255을 여부를 결정한후, 두 경우중 하나라도 All_0 또는All_255인 경우가 있으면 BAB_type을 All_0, All_255로 결정하는 거을 특징으로 하는 격행주사를 위한 모양정보 부호화 방법.
  10. 제 5 항에 있어서,
    상기 BAB_type결정을 CR과 연관지어 수행함으로써 손실부호화(Lossy Coding)일때 BAB에 CR를 적용하여 MVDs==0No_Update, MVDs!=0 No_Update 여부를 결정하고, 재배치 BAB(Permuted BAB)에 CR을 적용하여 MVDs==0 No_Update, MVDs!=0 No_Update여부를 결정한 후, 두 경우중 하나라도 MVDs==0No_Update 또는 MVDs!=0 No_Update인 경우가 있으면 BAB_type을MVDs==0No_Update 또는 MVDs!=0 No_Update로 결정하는 것을 특징으로 하는 격행주사를 위한 모양정보 부호화 방법.
KR1019980000491A 1997-09-29 1998-01-10 격행주사를 위한 모양정보 부호화 방법 KR19990065274A (ko)

Priority Applications (5)

Application Number Priority Date Filing Date Title
KR1019980000491A KR19990065274A (ko) 1998-01-10 1998-01-10 격행주사를 위한 모양정보 부호화 방법
KR1019980039193A KR100535631B1 (ko) 1997-09-29 1998-09-22 적응적 비월주사 모양정보 부호화/복호화 장치및 방법
EP19980307921 EP0924932A3 (en) 1997-09-29 1998-09-29 Apparatus and method of adaptively coding/decoding interlaced shape information
US09/162,604 US6307976B1 (en) 1997-09-29 1998-09-29 Apparatus and method of adaptively coding/decoding interlaced shaped material
JP27603398A JPH11177980A (ja) 1997-09-29 1998-09-29 適応的インタレース走査形状情報符号化／復号化装置および方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1019980000491A KR19990065274A (ko) 1998-01-10 1998-01-10 격행주사를 위한 모양정보 부호화 방법

Publications (1)

Publication Number Publication Date
KR19990065274A true KR19990065274A (ko) 1999-08-05

Family

ID=65728360

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1019980000491A KR19990065274A (ko) 1997-09-29 1998-01-10 격행주사를 위한 모양정보 부호화 방법

Country Status (1)

Country Link
KR (1) KR19990065274A (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20000021867A (ko) * 1998-09-30 2000-04-25 전주범 이진 형상 신호의 움직임 벡터 부호화 방법
KR100495100B1 (ko) * 1998-04-28 2005-10-26 주식회사 팬택앤큐리텔 디지털 영상 처리 시스템의 이동 벡터 부호화/복호화 방법

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100495100B1 (ko) * 1998-04-28 2005-10-26 주식회사 팬택앤큐리텔 디지털 영상 처리 시스템의 이동 벡터 부호화/복호화 방법
KR20000021867A (ko) * 1998-09-30 2000-04-25 전주범 이진 형상 신호의 움직임 벡터 부호화 방법

Similar Documents

Publication Publication Date Title
JP3895431B2 (ja) 物体境界ブロック合併／分割を利用した映像情報符号化方法
JP5289440B2 (ja) 画像符号化装置、画像復号装置、画像符号化方法及び画像復号方法
KR100681370B1 (ko) 전방 예측된 인터레이스드 비디오 프레임의 필드에 대한모션 벡터의 예측
KR19990067723A (ko) 비디오 프레임 시퀀스의 인코딩 방법 및 시스템과, 제조 물품
KR19990074806A (ko) 격행 부호화에서의 움직임 추정을 위한 텍스쳐 패딩 장치 및그 패딩 방법
KR100535631B1 (ko) 적응적 비월주사 모양정보 부호화/복호화 장치및 방법
JP2004511978A (ja) 動きベクトルの圧縮
KR19990065274A (ko) 격행주사를 위한 모양정보 부호화 방법
KR100482282B1 (ko) 신축형(스케일러블)부호화시고위계층(EnhancementLayer)부호화방법
KR100350376B1 (ko) 격행주사를 위한 모양정보 부호화방법 및 그 장치
KR19990069012A (ko) 격행주사를 위한 모양정보 부호화 방법 및 그 장치
KR100483673B1 (ko) 이진 마스크의 신축형(스케일러블) 부호화시 익셉셔널 샘플 부호화 방법
KR100351568B1 (ko) 움직임 보상 예측 블록의 경계 방향성을 고려한 고압축장치 및 그 방법
KR100466592B1 (ko) 물체경계블록영상정보부호화방법
KR100488421B1 (ko) 이진영상의 손실 부호화 방법
KR100495100B1 (ko) 디지털 영상 처리 시스템의 이동 벡터 부호화/복호화 방법
JP2006503478A (ja) ビデオ符号化方法
KR100559713B1 (ko) 격행주사를 위한 색상 정보 부호화/복호화 장치 및 그 방법
KR100466591B1 (ko) 영상정보부호화시물체경계블록합병후합병된블록내의픽셀값을부호화하는방법
JP2004312689A (ja) Ｍｐｅｇビデオ復号化方法及びｍｐｅｇビデオ復号化器
KR100636521B1 (ko) 선택적인 격행주사 모양정보 부호화시 컨텍스트 구성 방법
KR100500381B1 (ko) 이진마스크의신축형(스케일러블)부호화시Context정보설정방법
KR100417133B1 (ko) 매크로블록의합병을이용한모양적응부호화시스템
KR19990027349A (ko) 영상정보 변환방법
EP1387587A1 (en) Image encoder and decoder with error concealment of motion vector losses

Legal Events

Date Code Title Description
N231 Notification of change of applicant