KR19990069012A - 격행주사를 위한 모양정보 부호화 방법 및 그 장치 - Google Patents

격행주사를 위한 모양정보 부호화 방법 및 그 장치 Download PDF

Info

Publication number
KR19990069012A
KR19990069012A KR1019980002986A KR19980002986A KR19990069012A KR 19990069012 A KR19990069012 A KR 19990069012A KR 1019980002986 A KR1019980002986 A KR 1019980002986A KR 19980002986 A KR19980002986 A KR 19980002986A KR 19990069012 A KR19990069012 A KR 19990069012A
Authority
KR
South Korea
Prior art keywords
shape information
encoding
mode
field
frame
Prior art date
Application number
KR1019980002986A
Other languages
English (en)
Inventor
천승문
신동규
문주희
이진학
Original Assignee
김영환
현대전자산업 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 김영환, 현대전자산업 주식회사 filed Critical 김영환
Priority to KR1019980002986A priority Critical patent/KR19990069012A/ko
Priority to KR1019980052584A priority patent/KR100523908B1/ko
Priority to US09/209,955 priority patent/US6381277B1/en
Publication of KR19990069012A publication Critical patent/KR19990069012A/ko

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/20—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

본 발명은 동영상의 격행주사를 위한 부호화시 모양정보의 움직임 정도를 검출하여 그 움직임 량에 따라 프레임 단위 또는 필드단위로 모양정보를 부호화 하는 격행주사를 위한 모양정보 부호화에 관한 것으로서, 이러한 본 발명은 입력되는 이진 모양정보로부터 16*16 프레임 움직임 벡터와 8*16 프레임 움직임 벡터를 추정하는 모양정보 움직임 추정부와; 모양정보 움직임 추정부에서 얻어지는 16*16 프레임 움직임 벡터와 8*16 프레임 움직임 벡터로 이진 모양정보의 모드를 결정하는 이진 모양정보 모드 결정부와; 이진 모양정보 모드 결정부에서 얻어지는 움직임 벡터 및 이진 모양정보 타입에 따라 부호화 모드를 결정하는 부호화 모드 결정부와; 부호화 모드 결정부에서 얻어지는 부호화 모드 정보와 이진 모양정보 모드 결정부에서 얻어지는 이진 모양정보 모드 정보에 따라 필드 단위의 부호화시 필드 구별에 대한 부가정보를 결정해주는 필드 부가정보 결정부와; 부호화 모드 결정부에서 결정되는 부호화 모드에 따라 입력되는 이진 모양정보를 프레임 단위로 부호화 하는 프레임 부호화부와; 부호화 모드 결정부에서 결정되는 부호화 모드에 따라 입력되는 이진 모양정보를 필드 단위로 부호화 하는 필드 부호화부를 구성되어, 모양정보 부호화시 부호화 효율을 높이게 되는 것이다.

Description

격행주사를 위한 모양정보 부호화 방법 및 그 장치
본 발명은 격행주사를 위한 모양정보 부호화에 관한 것으로, 특히 동영상의 격행주사를 위한 부호화시 모양정보의 움직임 정도를 검출하여 그 움직임량에 따라 프레임 단위 또는 필드단위로 모양정보를 부호화하는 격행주사를 위한 모양정보 부호화 방법 및 그 장치에 관한 것이다.
일반적으로, 영상 및 음향 부호화 기술 및 시스템 구성에 관한 국제 표준안 (MPEG-1, MPEG-2)을 개발하고 의결한 MPEG 그룹이 국제 표준으로 채택할 예정의 차세대 영상 및 음향 부호화 기술 및 시스템 구성에 관한 국제 표준안 (MPEG-4)을 연구, 개발중에 있다. MPEG-4의 개발은 기존의 알려진 표준안으로는 지원할 수 없는 차세대 영상 및 음향 응용물들을 지원할 필요성에서 출발했다.
MPEG-4는 영상 및 음향 데이터의 통신과 접속, 그리고 조작을 위한 새로운 방법들(예를 들자면, 특성이 다른 네트워크를 통한 물체 중심 대화형 기능 및 접속 등)을 제공한다.
또한 에러가 쉽게 발생되는 통신 환경과 저전송율의 통신환경에서도 유용하게 동작하는 특성을 제공한다. 더욱이 컴퓨터 그래픽 기술을 통합하여 자연영상 및 음향과 인공영상 및 음향들을 함께 부호화하고 조작할 수 있는 기능들을 제공한다.
요약컨대, MPEG-4는 여러 응용분야에서 요구되고 예상되는 모든 기능들을 지원해야 한다. 따라서, 멀티미디어 정보의 급팽창과 기술 향상에 의해 새롭게 개발됐거나 개발될 저가, 고기능의 모든 가능한 응용 분야들에 요구되는 기능들을 지원할 수 있도록 확장 가능하고 개방적인 구조를 가지게 된다. 그 중에는 전송 및 저장 기능과 비용 절감에 필요한 부호화 효과의 향상 기능(Improved Compression Efficiency)이 있다.
현재 MPEG-4의 기술이 응용될 것으로 기대되는 응용물로는 인터넷 멀티미디어(IMM: Internet Multimedia), 대화형 비디오 게임(IVG: Interactive Video Games), 영상회의 및 영상전화 등의 상호 통신(IPC: Interpersonal Communications), 쌍방향 저장매체(ISM: Interactive Storage Media), 멀티미디어 전자우편(MMM: Multimedia Mailing), 무선 멀티미디어 (WMM: Wireless Multimedia), ATM망 등을 이용한 네트웍 데이타베이스서비스(NDB: Networked Database Service), 원격 응급 시스템(RES: Remote Emergency Systems), 원격 영상 감시(RVS: Remote Video Surveillance) 등이 있다.
기존의 응용물이나 앞으로 기대되는 응용물들을 지원하기 위해서는 유저들이 영상 내의 원하는 객체만을 통신할 수 있고, 찾고 읽을 수 있도록 접근할 수 있으며, 자르고 붙일 수 있도록 편집할 수 있는 영상 부호화기술이 필요하다.
현재 세계 표준화 작업이 진행중인 새로운 영상 및 음향 부호화 기술인 MPEG-4는 이러한 필요를 충족시키기 위한 것이다.
도 1은 현재 국제표준 산하기구에서 1차적으로 확정한 MPEG-4의 VOP 영상 부호화기의 구성도 이다.
이는 기존의 영상부호화 세계표준화인 H.261, H.263, MPEG-1, MPEG-2의 영상 부호화기 구조와는 다른 구조를 지닌다. 특히 모양정보 부호화부(Shape Coder)와 VOP(Video Object Planes)라는 개념의 도입이 가장 두드러진 차이를 보이고 있다. VOP는 유저가 접근 및 편집할 수 있는 임의 모양의 내용물의 시간축상의 한 시점의 객체를 의미하며, 내용물 기반의 기능성(content-based functionality)을 지원하기 위해서는 VOP별로 부호화 되어야 한다.
이러한 VOP 부호화기는, VOP형성부(11)에서 형성된 각각의 대상물 영상에 대한 VOP가 움직임 추정부(MOTION ESTIMATION)(13)에 입력되면, 움직임 추정부(13)는 인가된 VOP로부터 매크로 블록 단위의 움직임을 추정하게 된다.
또한, 상기 움직임 추정부(13)에서 추정된 움직임 정보는 움직임 보상부(MOTION COMPENSATION)(14)에 입력되어 움직임이 보상된다. 그리고, 움직임 보상부(14)에서 움직임이 보상된 VOP는 상기 VOP형성부(11)에서 형성된 VOP와 함께 감산기(16)에 입력되어 차이 값이 검출되고, 감산기(16)에서 검출된 차이 값은 대상물 내부 부호화부(18)에 입력되어 매크로 블록의 서브 블록 단위로 대상물의 내부정보가 부호화 된다.
예를 들면, 매크로 블록의 X축 및 Y축이 M/2 × N/2로 각기 8개의 화소를 가지는 8 × 8의 서브 블록으로 세분화된 후 대상물 내부정보가 부호화 된다.
한편, 움직임 보상부(14)에서 움직임이 보상된 VOP와, 대상물 내부 부호화부(18)에서 부호화된 대상물의 내부정보는 가산기(17)에 입력되어 가산되고, 가산기(17)의 출력신호는 이전 VOP 검출부(PREVIOUS RECONSTRUCTED VOP)(15)에 입력되어 현재 영상 바로 이전 영상의 VOP인 이전 VOP가 검출된다.
또한, 이전 VOP검출부(15)에서 검출된 이전 VOP는 상기 움직임 추정부(13) 및 움직임 보상부(14)에 입력되어 움직임 추정 및 움직임 보상에 사용된다.
그리고, VOP형성부(11)에서 형성된 VOP는 모양정보 부호화부(SHAPE CODING)(12)에 입력되어 모양 정보가 부호화 된다.
여기서, 모양정보 부호화부(12)의 출력신호는 VOP 부호화기가 적용되는 분야에 따라 사용 여부가 가변 되는 것으로, 점선으로 표시된 바와 같이, 모양정보 부호화부(12)의 출력신호를 움직임 추정부(13), 움직임 보상부(14) 및 대상물 내부 부호화부(18)에 입력시켜 움직임 추정, 움직임 보상 및 대상물의 내부 정보를 부호화 하는 데 사용할 수 있다.
또한, 움직임 추정부(13)에서 추정된 움직임 정보와, 대상물 내부 부호화부(18)에서 부호화된 대상물 내부 정보 및 상기 모양정보 부호화부(12)에서 부호화된 모양 정보는 다중화부(19)에 인가되어 다중화된 후, 비트 스트림으로 도면에는 도시하지 않았지만 다수개의 부호화기의 출력을 다시 다중화 하여 전송하는 다중화기에 전달되어 전송되어진다.
이러한 개념의 MPEG-4(Moving Picture Expert Group-4)의 가장 큰 특징 중 하나가 객체(object)를 기반으로 처리를 한다는 것이다. 즉, 한 영상을 여러 개의 객체로 나누고 그 각각의 객체를 개별적으로 부호화하고 처리할 수 있는 것이다. 따라서 객체를 만들기 위해서 모양정보를 알아야 한다.
상기에서 말하는 모양정보를 흔히 마스크(mask)라고 하는데 영상에서 객체 부분은 '1'로 표현하고 객체 바깥 부분(배경 부분)은 '0'으로 표현한다. 이 모양정보를 이용하여 영상에서 한 객체를 얻을 수 있다. 그리고 이 모양정보를 이용하여 복호기 측에서 객체 부분을 복호하기 때문에 모양정보를 부호화 하여 복호기 측에 전송해주어야 한다.
영상에서 객체를 분리하기 위한 모양 정보(shape information)와 객체의 움직임 정보(motion information)및 영상 정보(texture information)를 가지고 있어야하고, 정보들을 각각 부호화 하여 전송하여야 한다. 블럭단위로 움직임 추정(Motion Estimation)을 하고, 여기에서 생성된 움직임 벡터(Motion vector)로 움직임 보상(Motion Compensation)을 한 후에 움직임 보상이 되지 않은 부분에 대하여 영상정보 부호화(Texture coding)를 수행한다. 그리고 객체의 모양정보에 대해 모양정보 부호화(Shape coding)를 수행한다.
일반적으로, 움직임 영상을 전송하는 방법으로 순행주사(Progressive)와 격행주사(Interlaced)가 있다. 순행주사는 한 프레임(Frame)단위로 영상을 부호화하고 전송하며 디스플레이 한다.
그러나 격행주사는 한 프레임을 첫 번째 필드(Top Field :홀수 필드)와 두 번째 필드(Bottom Field : 짝수 필드)로 나누어 영상을 부호화하고 전송하며 디스플레이 한다.
이때 기존의 격행주사는 한 프레임을 두 필드로 나누어서 전송하기 때문에 두 필드간에는 시간축 상으로 움직임이 발생하여 움직임의 크기만큼 영상의 차이가 발생하게 되는데 이를 보상하지 못하고 부호화를 수행하기 때문에 모양정보 부호화시 부호화 비트가 많아지는 문제점을 발생하였다.
이에 본 발명은 상기와 같은 종래 격행주사시 발생하는 제반 문제점을 해결하기 위해서 제안된 것으로,
본 발명은 동영상의 격행주사를 위한 모양정보 부호화시 모양정보의 움직임 정도를 검출하여 그 움직임 량에 따라 프레임 단위 또는 필드단위로 모양정보를 부호화 하는 격행주사를 위한 모양정보 부호화 방법을 제공하는 데 그 목적이 있다.
본 발명의 다른 목적은 동영상의 격행주사를 위한 모양정보 부호화시 모양정보의 움직임 정도를 검출하여 그 움직임 량에 따라 프레임 단위 또는 필드단위로 모양정보를 부호화 하는 격행주사를 위한 모양정보 부호화 장치를 제공하는 데 있다.
상기와 같은 목적을 달성하기 위한 본 발명에 의한 방법은,
격행주사를 위한 모양정보 부호화 방법에 있어서,
이진 모양정보의 움직임 추정치로 이진 모양정보의 부호화 타입을 결정하고, 그 결정된 부호화 타입이 필드모드이면 필드단위로 움직임 예측을 수행한 후 필드단위로 부호화를 수행하고, 상기 결정된 부호화 타입이 프레임 모드이면 프레임단위로 움직임 예측을 수행한 후 프레임 단위로 부호화를 수행하는 것을 특징으로 한다.
상기와 같은 목적을 달성하기 위한 본 발명에 의한 다른 방법은,
격행주사를 위한 모양정보 부호화 방법에 있어서,
이진 모양정보의 움직임 추정치로 이진 모양정보의 부호화 타입을 결정하고, 그 결정된 부호화 타입이 프레임 모드이면 프레임 단위로 움직임 예측을 수행한 후 프레임 단위로 부호화를 수행하고, 상기 결정된 부호화 타입이 필드 모드이면 프레임 예측과 필드 예측을 결정하여 그 예측방향에 대한 부가정보를 전송하면서 필드 단위의 부호화를 수행하는 것을 특징으로 한다.
상기와 같은 목적을 달성하기 위한 본 발명에 의한 다른 방법은,
격행주사를 위한 모양정보 부호화 방법에 있어서,
이진 모양정보의 부호화시 프레임 단위의 움직임 추정과 필드 단위의 움직임 추정을 모두 수행한 후 부호화 타입에 따라 상기 움직임 벡터를 선택적으로 적용하여 부호화를 수행하는 것을 특징으로 한다.
상기와 같은 목적을 달성하기 위한 본 발명에 의한 장치는,
입력되는 이진 모양정보로부터 16*16 프레임 움직임 벡터와 8*16 프레임 움직임 벡터를 추정하는 모양정보 움직임 추정부와;
상기 모양정보 움직임 추정부에서 얻어지는 16*16 프레임 움직임 벡터와 8*16 프레임 움직임 벡터로 이진 모양정보의 모드를 결정하는 이진 모양정보 모드 결정부와;
상기 이진 모양정보 모드 결정부에서 얻어지는 움직임 벡터 및 이진 모양정보 모드에 따라 부호화 모드를 결정하는 부호화 모드 결정부와;
상기 부호화 모드 결정부에서 얻어지는 부호화 모드 정보와 상기 이진 모양정보 모드 결정부에서 얻어지는 이진 모양정보 모드 정보에 따라 필드 단위의 부호화시 필드 구별에 대한 부가정보를 결정해주는 필드 부가정보 결정부와;
상기 부호화 모드 결정부에서 결정되는 부호화 모드에 따라 상기 입력되는 이진 모양정보를 프레임 단위로 부호화 하는 프레임 부호화부와;
상기 부호화 모드 결정부에서 결정되는 부호화 모드에 따라 상기 입력되는 이진 모양정보를 필드 단위로 부호화 하는 필드 부호화부로 이루어짐을 특징으로 한다.
상기와 같은 목적을 달성하기 위한 본 발명에 의한 다른 장치는,
입력되는 이진 모양정보로부터 16*16 프레임 움직임 벡터를 추정하는 모양정보 움직임 추정부와;
상기 모양정보 움직임 추정부에서 얻어지는 16*16 프레임 움직임 벡터로 이진 모양정보의 모드를 결정하는 이진 모양정보 모드 결정부와;
상기 이진 모양정보 모드 결정부에서 얻어지는 움직임 벡터 및 이진 모양정보 모드에 따라 부호화 모드를 결정하는 부호화 모드 결정부와;
상기 부호화 모드 결정부에서 얻어지는 부호화 모드 정보와 상기 이진 모양정보 모드 결정부에서 얻어지는 이진 모양정보 모드 정보에 따라 필드 단위의 부호화시 필드 구별에 대한 부가정보를 결정해주는 필드 부가정보 결정부와;
상기 부호화 모드 결정부에서 결정되는 부호화 모드에 따라 상기 입력되는 이진 모양정보를 프레임 단위로 부호화 하는 프레임 부호화부와;
상기 부호화 모드 결정부에서 결정되는 부호화 모드에 따라 상기 입력되는 이진 모양정보를 8*16 프레임 단위로 움직임 추정하는 필드 움직임 추정부와;
상기 필드 움직임 추정부에서 얻어지는 이진 모양정보를 필드 단위로 부호화 하는 필드 부호화부로 이루어짐을 특징으로 한다.
도1은 현재 국제표준 산하기구에서 1차적으로 확정한 MPEG-4의 VOP 영상 부호화기의 구성도,
도2는 순행주사(Progressive)와 격행주사(Interlaced)시 프레임과 필드의 시간축상의 전송순서도,
도3은 본 발명에 의한 적응 적인 격행주사 모양정보 부호화(Adaptive Interlaced shape coding)의 순서도,
도4는 본 발명에서 필드 예측을 수행할 때 이전의 필드를 참조하는 방향의 예시도,
도5는 매크로 블록(MB)단위로 부호화할 프레임 MB과 필드 MB의 구성도,
도6은 도5에서 이진 모양정보(Mask)가 존재할 경우 움직임이 적은 영상의 예시도,
도7은 도5에서 이진 모양정보(Mask)가 존재할 경우 움직임이 많은 영상의 예시도,
도8은 가장자리를 16x16의 매크로 블록으로 나타낸 움직임 보상 이진 모양 블록도(Bordered MC BAB),
도9는 가장자리를 16x16의 매크로 블록으로 나타낸 현재의 이진모양 블럭도(Bordered Current BAB),
도10은 도3에서 전송되어야 할 Syntax 구성도,
도11은 도10에서 I-VOP(Intra_VOP)일 때를 나타내는 Syntax구성도,
도12는 도10에서 P-VOP(Predicted VOP)일 때를 나타내는 Syntax구성도,
도13은 엔코딩 타입이 필드모드일 때 움직임 벡터를 정의한 도면,
도14는 종래 움직임 벡터의 가변길이 부호화 테이블,
도15는 움직임 벡터의 가로방향(x축)의 좌표가 0일 때 적용되는 가변길이 테이블,
도16은 본 발명에 의한 격행주사를 위한 모양정보 부호화장치 일실시예도,
도17은 본 발명에 의한 격행주사를 위한 모양정보 부호화장치의 다른 실시예도.
<도면의 주요 부분에 대한 부호의 설명>
100:모양정보 움직임 추정부
101:이진 모양정보 모드 결정부
102:부호화 모드 결정부
103:필드 부가정보 결정부
104:프레임 부호화부
105:필드 부호화부
111:필드 움직임 추정부
이하, 본 발명의 바람직한 실시 예를 첨부한 도면에 의거 상세히 설명하면 다음과 같다.
도3은 본 발명에 의한 선택적인 격행주사 모양정보 부호화에 관한 순서도를 나타내었다.
이진 모양정보(Binary Alpha Block: BAB)에 대하여 이전 프레임의 정보를 이용한 움직임 추정(Motion Estimation)을 수행하여 한 개의 16x16 프레임 움직임 벡터 혹은 두개의 8x16 프레임 움직임 벡터를 구한 후 움직임 벡터 편차값(MVDs)이 0이 아닌 경우 한 개의 16x16 움직임 벡터를 이용하였는지 두개의 8x16 움직임 벡터를 이용하였는가의 여부인 shape_field_prediction(ON: 필드 예측, OFF: 프레임 예측)을 결정한다.
그 후 모양정보 부가정보(mode)인 BAB_type을 결정한다.
상기 BAB_type은 All_0, All_255, MVDs=0&&No_update, MVDs!=0&&No_update, IntraCAE , MVDs=0&&InterCAE, MVDs!=0 &&InterCAE 로 구분된다.
여기에서 블럭(BAB)의 모양정보가 모두 0일 경우에는 All_0로 정의하고 블럭(BAB)의 모양정보가 모두 255일 경우에는 All_255로 정의한다. MVDs=0&&No_update의 정의는 BAB의 모양정보 움직임 벡터가 0이고 이전 BAB와 동일하여 부호화를 하지 않는 경우이고 MVDs!=0&&No_update의 정의는 BAB의 모양정보 움직임 벡터가 0이 아니고 이전 BAB와 움직임 보상을 하였을 때 동일하여 부호화를 하지 않는 경우이다.
Intra CAE는 BAB를 Intra CAE 부호화 하는 것을 말하고 MVDs=0&&InterCAE의 정의는 BAB의 모양정보 움직임 벡터가 0이고 이전 BAB와 동일하지 않아서 Inter CAE 부호화를 해야 하는 경우이고 MVDs!=0&&InterCAE 의 정의는 BAB의 모양정보 움직임 벡터가 0이 아니고 이전 BAB와 움직임 보상을 하였을 때 동일하지 않아서 Inter CAE 부호화를 해야 하는 경우이다.
All_0, All_255, MVDs==0&&No_update, 세 가지의 경우 BAB_type이 부호화 됨으로써 BAB에 대한 부호화가 종료된다.
위의 세 가지가 아닌 경우 선택적인 격행주사 모양정보 부호화를 수행하기 위해 우선 프레임 CAE 모드인지 필드 CAE 모드 인지의 여부를 확인하여 엔코딩_type을 결정한다.
상기 엔코딩_type 결정에는 여러 가지 방법이 있을 수 있다.
프레임 CAE 모드가 선택되면 16x16 BAB 단위로 부호화를 한뒤, 부호화 비트수가 적은 쪽으로 IntraCAE냐 MVDs!=0&&No_Update냐 MVDs==0&&InterCAE 혹은 MVDs!=0&&InterCAE냐를 결정하여 BAB_type을 결정한다.
필드 CAE 모드가 선택되면 16x16 BAB가 두개의 8x16 서브블록(이하 이를 필드 BAB이라 칭한다.)으로 나뉘게 되는데, 두 8x16 필드 BAB에 대하여 동일한BAB_type을 적용하여 부호화를 한뒤, 부호화 비트 수가 적은 쪽으로 IntraCAE냐 MVDs!=0 &&No_Update냐 MVDs==0&& InterCAE 혹은 MVDs!=0&&InterCAE냐를 결정하여 BAB_type을 결정한다.
여기에서 encoding_type이 필드모드이면 필드 단위로 움직임 예측을 수행하고, 부호화도 필드 단위로 수행한다.
또한, 상기 encoding_type이 프레임 모드이면 프레임 단위로 움직임 예측을 수행한 후 프레임 단위로 부호화를 수행한다.
이 때 다른 방법으로 encoding_type이 프레임 모드이면 프레임 예측과 프레임 단위의 부호화를 수행하고 필드모드일 경우 프레임 예측과 필드예측을 결정하여 부가정보 예측방향에 대한 1비트를 전송하면서 필드 단위의 부호화를 수행하는 방법도 고려할 수 있다.
또한, 필드단위의 움직임 추정과 프레임 단위의 움직임 추정을 초기에 다 수행하여 그 움직임 벡터를 encoding_type의 결정에 따라 수행하는 방법이 있고, 다른 방법으로 encoding_type이 필드모드로 선택되었을 경우에 만 필드단위의 움직임 추정을 수행하여 그 움직임 벡터를 사용하는 방법이 있다.
이때에도 encoding_type을 미리 결정하는 수식에 의해 필드 모드인지 프레임 모드인지 결정하는 방법이 존재하고 다른 방법으로 필드모드의 경우를 모두 부호화하고 프레임 모드를 모두 부호화 하여 적은 비트가 발생하는 쪽으로 encoding_type을 결정하는 방법도 고려할 수 있다.
도3에서 encoding_type이 필드 모드이고 BAB_type이 MVDs!=0 && No_Update이면 One_Field_No_Update로 선택되어 BAB_type_field와 top_or_bottom이 BAB date와 같이 전송된다.
도4는 현재(Current) 프레임의 홀수 필드(Top field)와 짝수 필드(Bottom field)의 모양정보 움직임 추정 방향에 대한 그림을 나타내었다.
현재(Current) 프레임의 홀수 필드(Top field)의 움직임 예측방향을 결정할 때, 이전(Reference) 프레임의 홀수 필드(Top field)에서 움직임 추정을 해보아 SAD(Sum Absolute Difference)의 최소 값이 얻어지는 움직임 벡터를 결정한다.
또한, 현재(Current) 프레임의 짝수 필드(Bottom field)의 움직임 예측방향을 결정할 때 이전(Reference) 프레임의 짝수 필드(Bottom field)에서 움직임 추정을 해보아 SAD(Sum Absolute Difference)의 최소 값이 얻어지는 움직임 벡터를 결정한다.
도5는 두 필드를 한 프레임으로 구성한 후에 예를 들어 매크로 블럭사이즈로 부호화를 할 때 프레임 단위로 부호화 할 것인가 아니면 필드단위로 부호화 할 것인가의 영상 구성에 대한 도면이다.
여기서, 흰색 라인은 홀수필드(Top field)이고, 회색 라인은 짝수필드(Bottom field)를 나타낸다.
도6은 움직임이 적은 영상이나 정지 영상일 때 이진 모양정보(Binary Mask)를 구성하여 프레임 단위와 필드 단위로 부호화 하는 경우를 나타낸다.
시간상의 변화가 아주 적기 때문에 두 필드간의 영상 모양의 변화가 거의 없다. 이 경우에는 프레임 단위로 모양정보 부호화 하는 것이 유리하다. 프레임 단위로 부호화할 때 이진 모양정보의 변화가 심하지 않기 때문이다
도7은 움직임이 많은 영상일 때 이진 모양정보(Binary Mask)를 구성하여 프레임 단위와 필드 단위로 부호화 하는 경우를 나타낸다. 시간상의 변화가 많기 때문에 두필드간의 영상모양의 변화가 심하다. 이 경우에는 필드단위로 모양정보 부호화 하는 것이 유리하다. 필드단위로 부호화할 때 이진 모양정보의 변화가 심하지 않기 때문이다.
상기 도6과 도7의 예에서 보듯이 움직임이 많고 적음에 따라 격행주사(Interlaced)의 부호화 효율이 다르게 나타난다. 선택적(Adaptive)으로 프레임과 필드를 구분하여 부호화 함으로서 최적의 부호화 효율을 얻을 수 있게 된다. 부호화 방법으로는 현재 국제표준MPEG-4 CD(Committee Draft)에 채택된 CAE(Context-based Arithmetic Encoding)가 이용된다.
매크로블럭 내의 움직임이 많고 적고 하는 기준은 다음의 수식으로 정할 수 있다. 도6에서 보듯이 이진 모양정보가 존재하는 화소를 1로 정하고 이진 모양정보가 존재하지 않는 화소를 "0"이라고 정한다.
｜P2i,j-P2i+1,j｜+｜P2i+1,j-P2i+2,j｜)> ｜P2i,j-P2i+2,j｜+｜P2i+1,j-P2i+3,j｜)
여기에서 Pi, j는 이진 모양정보 데이타이다. 즉 모양정보가 존재하면 "1"이고 없으면 "0"이다.
좌변 값이 크면 필드 CAE 모드가 선택되고 우변 값이 크면 프레임 CAE 모드가 선택된다. 여기에 추가로 필드 CAE 모드인가 프레임 CAE 모드인가의 여부가 CAE_type(1비트)으로 전송된다. CAE_type에 따라 필드 혹은 프레임 단위로 CAE가 수행된다. 위와 같은 수식을 사용하지 않고, 필드 혹은 프레임 단위로CAE를 수행한 후 발생되는 비트 수가 적은 쪽으로 CAE_Type을 결정할 수도 있다.
도8의 왼쪽그림은 16x16의 매크로 블럭의 가장자리를 나타낸 움직임 보상 이진 모양 블럭(Bordered MC BAB:Bordered Motion Compensated Binary Alpha Block)을 나타낸다. 굵은선 내부는 부호화 하고자 하는 매크로 블록(16x16)을 의미한다. 도8의 오른쪽 그림은 필드(Field) CAE 모드가 선택된 경우, 8x16의 홀수필드와 짝수필드로 나누어지고 각각의 8x16의 서브블럭의 가장자리의 데이터는 각각의 필드와 관련 있는 부분에서 가져와 구성됨을 나타낸다. 즉 Bordered MC BAB가 두필드로 나누어 사용된다.
도9의 왼쪽그림은 16x16의 매크로 블록의 가장자리를 나타낸 현재 이진 모양 블록(Bordered Current BAB: Bordered Current Binary Alpha Block)을 나타낸다. 도9의 오른쪽 그림은 필드(Field) CAE 모드가 선택된 경우, 8x16의 홀수필드와 짝수필드로 나누어지고 각각의 8x16의 서브블럭의 가장자리의 데이타는 각각의 필드와 관련있는 부분에서 가져와 구성됨을 나타낸다. 즉 Bordered Current BAB가 두필드로 나누어 사용된다. 위쪽 가장자리(Top border)와 왼쪽 가장자리(Left border)만 각각의 필드에서 데이타를 가져와 구성하게 된다.
도10은 도3의 순서도에서 전송되어야 할 Syntax구성을 나타내었다.
도11은 I-VOP(Intra_VOP)일때를 나타내고 도12는 P-VOP(Predicted VOP)일 때를 나타내었다.
도13은 encoding_type이 필드모드("1")일 때 움직임 벡터의 정의를 나타내었다.
도14는 기존의 움직임 벡터의 가변길이 부호화 테이블 이고, 도15는 움직임 벡터의 가로방향(x축)의 좌표가 "0"일 때 적용되는 가변길이 부호화 테이블이다.
도14의 가변길이 부호화 테이블을 encoding_type이 ON일 때 x축,y축 움직임 벡터의 가변길이 부호화 테이블로 사용해야 한다.(이 때 움직임 벡터의 가로방향(x축)의 좌표가 0일 때도 도14를 이용한다).
도16은 본 발명에 의한 격행주사를 위한 모양정보 부호화 장치의 일실시예이다.
도시된 바와 같이, 입력되는 이진 모양정보(BAB)로부터 16*16 프레임 움직임 벡터와 8*16 프레임 움직임 벡터를 추정하는 모양정보 움직임 추정부(100)와; 상기 모양정보 움직임 추정부(100)에서 얻어지는 16*16 프레임 움직임 벡터와 8*16 프레임 움직임 벡터로 이진 모양정보의 모드를 결정하는 이진 모양정보 모드 결정부(101)와; 상기 이진 모양정보 모드 결정부(101)에서 얻어지는 움직임 벡터 및 이진 모양정보 타입에 따라 부호화 모드를 결정하는 부호화 모드 결정부(102)와; 상기 부호화 모드 결정부(102)에서 얻어지는 부호화 모드 정보와 상기 이진 모양정보 모드 결정부(101)에서 얻어지는 이진 모양정보 모드 정보에 따라 필드 단위의 부호화시 필드 구별에 대한 부가정보를 결정해주는 필드 부가정보 결정부(103)와; 상기 부호화 모드 결정부(103)에서 결정되는 부호화 모드에 따라 상기 입력되는 이진 모양정보를 프레임 단위로 부호화 하는 프레임 부호화부(104)와; 상기 부호화 모드 결정부(102)에서 결정되는 부호화 모드에 따라 상기 입력되는 이진 모양정보를 필드 단위로 부호화 하는 필드 부호화부(105)로 구성된다.
이러한 구성으로 이루어지는 선택적인 격행주사를 위한 모양정보 부호화 장치는, 움직임 추정을 시작할 때 16x16 motion vector와 8x16 motion vector를 모두 결정하여 encoding_type의 결정에 따라 프레임 모드일 때는 16x16 움직임 벡터를 사용하고 필드모드일 때 8x16 움직임 벡터를 사용하여 부호화를 수행한다.
도17은 본 발명의 다른 실시 예로서, 입력되는 이진 모양정보(BAB)로부터 16*16 프레임 움직임 벡터를 추정하는 모양정보 움직임 추정부(106)와; 상기 모양정보 움직임 추정부(106)에서 얻어지는 16*16 프레임 움직임 벡터로 이진 모양정보의 모드를 결정하는 이진 모양정보 모드 결정부(107)와; 상기 이진 모양정보 모드 결정부(107)에서 얻어지는 움직임 벡터 및 이진 모양정보 모드에 따라 부호화 모드를 결정하는 부호화 모드 결정부(108)와; 상기 부호화 모드 결정부(108)에서 얻어지는 부호화 모드 정보와 상기 이진 모양정보 모드 결정부(107)에서 얻어지는 이진 모양정보 모드 정보에 따라 필드 단위의 부호화시 필드 구별에 대한 부가정보를 결정해주는 필드 부가정보 결정부(109)와; 상기 부호화 모드 결정부(108)에서 결정되는 부호화 모드에 따라 상기 입력되는 이진 모양정보를 프레임 단위로 부호화 하는 프레임 부호화부(110)와; 상기 부호화 모드 결정부(108)에서 결정되는 부호화 모드에 따라 상기 입력되는 이진 모양정보를 8*16 프레임 단위로 움직임 추정하는 필드 움직임 추정부(111)와; 상기 필드 움직임 추정부(111)에서 얻어지는 이진 모양정보를 필드 단위로 부호화 하는 필드 부호화부(112)로 구성된다.
이와 같이 구성되는본 발명의 다른 실시 예에 의한 모양정보 부호화 장치는, 움직임 추정을 시작할 때 16x16 motion vector만 구하여 encoding_type이 프레임 모드일 때 사용하고 encoding_type이 필드 모드로 결정되면 해당 BAB에서만 8x16 motion vector를 구하여 움직임 벡터로 사용하여 부호화를 수행하게 된다.
이상에서 상술한 바와 같이 본 발명은, 선택적인 격행주사 모양정보 부호화시 프레임과 필드 사이에서 모양정보의 움직임 량에 따라 부호화 모드를 선택하고, 그 선택된 부호화 모드가 필드 모드이면 필드 단위로 움직임 예측을 수행한 후 필드 단위로 부호화를 수행하고, 상기 선택된 부호화 모드가 프레임 모드이면 프레임 단위로 움직임 예측을 수행한 후 프레임 단위로 부호화를 수행함으로써, 필드 단위의 부호화시 모양정보 부호화 비트를 줄일 수 있어 격행주사시 모양정보의 부효화 효율을 높일 수 있는 효과가 있다.

Claims (10)

  1. 격행주사를 위한 모양정보 부호화 방법에 있어서,
    이진 모양정보의 움직임 추정 치로 이진 모양정보의 부호화 타입을 결정하고, 그 결정된 부호화 타입이 필드모드이면 필드단위로 움직임 예측을 수행한 후 필드단위로 부호화를 수행하고, 상기 결정된 부호화 타입이 프레임 모드이면 프레임단위로 움직임 예측을 수행한 후 프레임 단위로 부호화를 수행하는 것을 특징으로 하는 격행주사를 위한 모양정보 부호화 방법.
  2. 제 1 항에 있어서, 상기 부호화 타입의 결정은 아래와 같은 수학식에 의해 결정하는 것을 특징으로 하는 격행주사를 위한 모양정보 부호화 방법.
    ｜P2i,j-P2i+1,j｜+｜P2i+1,j-P2i+2,j｜)> ｜P2i,j-P2i+2,j｜+｜P2i+1,j-P2i+3,j｜)
    상기에서, Pi, j는 이진 모양정보 데이터이며, 상기에서 좌변 값이 크면 필드 CAE 모드가 선택되고 우변 값이 크면 프레임 CAE 모드가 선택된다.
  3. 제 1 항에 있어서, 부호화 모드를 결정할 때 필드 예측에 의한 부호화와 프레임 예측에 의한 부호화를 수행한 후 부호화 비트가 적게 발생하는 모드로 부호화 모드를 결정하는 것을 특징으로 하는 격행주사를 위한 모양정보 부호화 방법.
  4. 격행주사를 위한 모양정보 부호화 방법에 있어서,
    이진 모양정보의 움직임 추정 치로 이진 모양정보의 부호화 타입을 결정하고, 그 결정된 부호화 타입이 프레임 모드이면 프레임단위로 움직임 예측을 수행한 후 프레임 단위로 부호화를 수행하고, 상기 결정된 부호화 타입이 필드 모드이면 프레임 예측과 필드 예측을 결정하여 그 예측방향에 대한 부가정보를 전송하면서 필드 단위의 부호화를 수행하는 것을 특징으로 하는 격행주사를 위한 모양정보 부호화 방법.
  5. 제 4 항에 있어서, 상기 예측 방향에 대한 부가 정보는 "1"비트인 것을 특징으로 하는 격행주사를 위한 모양정보 부호화 방법.
  6. 제 4 항에 있어서, 상기 프레임 예측과 필드 예측은 움직임 추정에서 사용되는 SAD(Sum Absolute Difference)의 최소 값을 기준으로 결정하는 것을 특징으로 하는 격행주사를 위한 모양정보 부호화 방법.
  7. 제 4 항에 있어서, 상기 프레임 예측과 필드 예측은 발생되는 움직임 벡터의 비트 수를 기준으로 결정하는 것을 특징으로 하는 격행주사를 위한 모양정보 부호화 방법.
  8. 격행주사를 위한 모양정보 부호화 방법에 있어서,
    이진 모양정보의 부호화시 프레임 단위의 움직임 추정과 필드 단위의 움직임 추정을 모두 수행한 후 부호화 타입에 따라 상기 움직임 벡터를 선택적으로 적용하여 부호화를 수행하는 것을 특징으로 하는 격행주사를 위한 모양정보 부호화 방법.
  9. 격행주사를 위한 모양정보 부호화 장치에 있어서,
    입력되는 이진 모양정보로부터 16*16 프레임 움직임 벡터와 8*16 프레임 움직임 벡터를 추정하는 모양정보 움직임 추정부와;
    상기 모양정보 움직임 추정부에서 얻어지는 16*16 프레임 움직임 벡터와 8*16 프레임 움직임 벡터로 이진 모양정보의 모드를 결정하는 이진 모양정보 모드 결정부와;
    상기 이진 모양정보 모드 결정부에서 얻어지는 움직임 벡터 및 이진 모양정보 타입에 따라 부호화 모드를 결정하는 부호화 모드 결정부와;
    상기 부호화 모드 결정부에서 얻어지는 부호화 모드 정보와 상기 이진 모양정보 모드 결정부에서 얻어지는 이진 모양정보 모드 정보에 따라 필드 단위의 부호화시 필드 구별에 대한 부가정보를 결정해주는 필드 부가정보 결정부와;
    상기 부호화 모드 결정부에서 결정되는 부호화 모드에 따라 상기 입력되는 이진 모양정보를 프레임 단위로 부호화 하는 프레임 부호화부와;
    상기 부호화 모드 결정부에서 결정되는 부호화 모드에 따라 상기 입력되는 이진 모양정보를 필드 단위로 부호화 하는 필드 부호화부로 구성된 것을 특징으로 하는 격행주사를 위한 모양정보 부호화 장치.
  10. 격행주사를 위한 모양정보 부호화 장치에 있어서,
    입력되는 이진 모양정보로부터 16*16 프레임 움직임 벡터를 추정하는 모양정보 움직임 추정부와;
    상기 모양정보 움직임 추정부에서 얻어지는 16*16 프레임 움직임 벡터로 이진 모양정보의 모드를 결정하는 이진 모양정보 모드 결정부와;
    상기 이진 모양정보 모드 결정부에서 얻어지는 움직임 벡터 및 이진 모양정보 모드에 따라 부호화 모드를 결정하는 부호화 모드 결정부와;
    상기 부호화 모드 결정부에서 얻어지는 부호화 모드 정보와 상기 이진 모양정보 모드 결정부에서 얻어지는 이진 모양정보 모드 정보에 따라 필드 단위의 부호화시 필드 구별에 대한 부가정보를 결정해주는 필드 부가정보 결정부와;
    상기 부호화 모드 결정부에서 결정되는 부호화 모드에 따라 상기 입력되는 이진 모양정보를 프레임 단위로 부호화 하는 프레임 부호화부와;
    상기 부호화 모드 결정부에서 결정되는 부호화 모드에 따라 상기 입력되는 이진 모양정보를 8*16 프레임 단위로 움직임 추정하는 필드 움직임 추정부와;
    상기 필드 움직임 추정부에서 얻어지는 이진 모양정보를 필드 단위로 부호화 하는 필드 부호화부로 구성된 것을 특징으로 하는 격행주사를 위한 모양정보 부호화 장치.
KR1019980002986A 1997-12-12 1998-02-03 격행주사를 위한 모양정보 부호화 방법 및 그 장치 KR19990069012A (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1019980002986A KR19990069012A (ko) 1998-02-03 1998-02-03 격행주사를 위한 모양정보 부호화 방법 및 그 장치
KR1019980052584A KR100523908B1 (ko) 1997-12-12 1998-12-02 격행주사 영상에 대한 영상신호 부호화 장치 및 그 방법
US09/209,955 US6381277B1 (en) 1997-12-12 1998-12-11 Shaped information coding device for interlaced scanning video and method therefor

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1019980002986A KR19990069012A (ko) 1998-02-03 1998-02-03 격행주사를 위한 모양정보 부호화 방법 및 그 장치

Publications (1)

Publication Number Publication Date
KR19990069012A true KR19990069012A (ko) 1999-09-06

Family

ID=65893189

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1019980002986A KR19990069012A (ko) 1997-12-12 1998-02-03 격행주사를 위한 모양정보 부호화 방법 및 그 장치

Country Status (1)

Country Link
KR (1) KR19990069012A (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100350376B1 (ko) * 1999-12-27 2002-08-28 주식회사 하이닉스반도체 격행주사를 위한 모양정보 부호화방법 및 그 장치

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100350376B1 (ko) * 1999-12-27 2002-08-28 주식회사 하이닉스반도체 격행주사를 위한 모양정보 부호화방법 및 그 장치

Similar Documents

Publication Publication Date Title
JP4148549B2 (ja) モード信号符号化装置
JP3895431B2 (ja) 物体境界ブロック合併／分割を利用した映像情報符号化方法
Sikora The MPEG-4 video standard verification model
US6785331B1 (en) Predictive encoding and decoding methods of video data
JP3413720B2 (ja) 画像符号化方法及び装置、並びに画像復号方法及び装置
KR100278733B1 (ko) 동화상 부호화 시스템 및 동화상 복호 시스템
EP0923251A1 (en) Mode coding method and apparatus for use in an interlaced shape coder
KR19980080014A (ko) 양방향으로 예측된 비디오 객체면과 같은 디지털비디오 화상의 코딩을 위한 방법 및 장치
JPH11298906A (ja) 映像信号符号化装置
US20040028129A1 (en) Picture encoding method and apparatus, picture decoding method and apparatus and furnishing medium
JPWO2010004939A1 (ja) 画像符号化装置、画像復号装置、画像符号化方法及び画像復号方法
JP4033554B2 (ja) インタレース形状情報符号化方法
JP3947107B2 (ja) ビデオ・デコーディング方法及び対応するデコーダ
KR19990069012A (ko) 격행주사를 위한 모양정보 부호화 방법 및 그 장치
KR100482282B1 (ko) 신축형(스케일러블)부호화시고위계층(EnhancementLayer)부호화방법
US7149250B2 (en) Video encoding method
KR19990065274A (ko) 격행주사를 위한 모양정보 부호화 방법
KR100350376B1 (ko) 격행주사를 위한 모양정보 부호화방법 및 그 장치
JP2012186762A (ja) 動画像符号化装置、動画像復号装置、動画像符号化方法及び動画像復号方法
KR100495100B1 (ko) 디지털 영상 처리 시스템의 이동 벡터 부호화/복호화 방법
KR100559713B1 (ko) 격행주사를 위한 색상 정보 부호화/복호화 장치 및 그 방법
KR100636521B1 (ko) 선택적인 격행주사 모양정보 부호화시 컨텍스트 구성 방법
KR19990027349A (ko) 영상정보 변환방법
KR100475058B1 (ko) 영상부호화시영상위치정보표현/부호화방법
KR100549926B1 (ko) 영상의 영역별 움직임 벡터 추정장치와 영상의 영역별 움직임보상 예측 부호화/복호화 방법