KR20090117858A - 움직임 벡터 변환을 이용한 비월 주사 영상 부호화/복호화방법 및 장치 - Google Patents

움직임 벡터 변환을 이용한 비월 주사 영상 부호화/복호화방법 및 장치 Download PDF

Info

Publication number
KR20090117858A
KR20090117858A KR20080043692A KR20080043692A KR20090117858A KR 20090117858 A KR20090117858 A KR 20090117858A KR 20080043692 A KR20080043692 A KR 20080043692A KR 20080043692 A KR20080043692 A KR 20080043692A KR 20090117858 A KR20090117858 A KR 20090117858A
Authority
KR
South Korea
Prior art keywords
field
reference field
motion vector
current
interlaced scanning
Prior art date
Application number
KR20080043692A
Other languages
English (en)
Other versions
KR101445791B1 (ko
Inventor
김대희
최웅일
조대성
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR20080043692A priority Critical patent/KR101445791B1/ko
Priority to EP20090159490 priority patent/EP2117234A3/en
Priority to US12/453,394 priority patent/US20090279610A1/en
Priority to JP2009113965A priority patent/JP5356909B2/ja
Publication of KR20090117858A publication Critical patent/KR20090117858A/ko
Application granted granted Critical
Publication of KR101445791B1 publication Critical patent/KR101445791B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/573—Motion compensation with multiple frame prediction using two or more reference frames in a given prediction direction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/16—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter for a given display mode, e.g. for interlaced or progressive display mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

본 명세서는 비월 주사 영상 부호화 또는 복호화 방법 및 장치가 개시된다. 비월 주사 영상 부호화 방법은 주 참조 필드를 기준으로 현재 영상의 절반에 해당하는 현재 필드의 움직임을 추정함으로써 상기 주 참조 필드의 움직임 벡터를 산출하는 단계, 상기 주 참조 필드와 연관된 보조 참조 필드를 선택하는 단계, 상기 주 참조 필드의 움직임 벡터로부터 상기 보조 참조 필드의 움직임 벡터를 유도하는 단계, 상기 주 참조 필드의 움직임 벡터 또는 상기 보조 참조 필드의 움직임 벡터를 이용하여 상기 현재 필드의 예측 필드를 생성하는 단계 및 상기 현재 필드 및 예측 필드 상호간의 잔차 필드를 부호화하는 단계를 포함한다.
비월 주사, 부호화, 복호화, 참조 필드

Description

움직임 벡터 변환을 이용한 비월 주사 영상 부호화/복호화 방법 및 장치{METHOD AND APPARATUS FOR ENCODING/DECODING INTERLACE SCANNING IMAGE USING MOTION VECTOR TRANSFORMATION}
본 발명은 영상을 부호화 또는 복호화하는 방법 및 장치에 관한 것으로, 특히 비월 주사 방식의 영상을 부호화 또는 복호화하는 방법 및 장치에 관한 것이다.
최근 들어, 통신 환경은 영상과 음성은 물론 사용자가 필요로 하는 다양한 정보를 실시간으로 제공하는 방향으로 구축되고 있다. 더욱이 동영상을 디지털 데이터로 가공하여 실시간으로 전송하고 이를 수신하여 디스플레이 하는 디지털 텔레비전 시스템과 동영상을 통해 이동 통신 서비스를 제공하는 개인 휴대 단말기 등이 통신 환경의 진화 촉진시키고 있다.
영상의 부호화와 복호화는 동영상을 통한 서비스 시스템에 반드시 필요한 기술 요소이며, 이러한 서비스 시스템은 부호화와 복호화 시 다중 참조 영상의 움직임 벡터를 활용하여 영상의 화질을 개선시킴으로써 사용자에게 양질의 서비스를 제공할 수 있다. 다만, 현재 영상과 가장 잘 매칭되는 참조 영상을 일일이 탐색하거나, 다수의 참조 영상의 움직임 벡터를 모두 고려하는 것은 부호화 또는 복호화의 처리 복잡도를 증가시켜 문제된다. 따라서, 주 참조 영상에 대한 움직임 벡터를 이용하여 효율적으로 다중 움직임 예측을 수행할 수 있는 영상 부호화 또는 복호화 방법의 개발이 필요하다.
본 발명의 일실시예에 따른 비월 주사 영상 부호화 방법은 주 참조 필드를 기준으로 현재 영상의 절반에 해당하는 현재 필드의 움직임을 추정함으로써 상기 주 참조 필드의 움직임 벡터를 산출하는 단계, 상기 주 참조 필드와 연관된 보조 참조 필드를 선택하는 단계, 상기 주 참조 필드의 움직임 벡터로부터 상기 보조 참조 필드의 움직임 벡터를 유도하는 단계, 상기 주 참조 필드의 움직임 벡터 또는 상기 보조 참조 필드의 움직임 벡터를 이용하여 상기 현재 필드의 예측 필드를 생성하는 단계 및 상기 현재 필드 및 예측 필드 상호간의 잔차 필드를 부호화하는 단계를 포함한다.
본 발명의 일측에 따르면, 상기 주 참조 필드는 상기 현재 필드를 기준으로 과거 시간의 필드 또는 미래 시간의 필드 중 어느 하나이다.
또한, 본 발명의 일측에 따르면, 주 참조 필드와 연관된 보조 참조 필드를 선택하는 상기 단계는 상기 주 참조 필드가 속한 동일한 영상 내 다른 극성의 필드를 상기 보조 참조 필드로 선택하는 것을 특징으로 한다.
또한, 본 발명의 일측에 따르면, 주 참조 필드의 움직임 벡터로부터 보조 참조 필드의 움직임 벡터를 유도하는 상기 단계는 상기 주 참조 필드의 움직임 벡터를 기반으로 선형 변환을 수행하여 상기 보조 참조 필드의 움직임 벡터를 유도하는 것을 특징으로 한다.
또한, 본 발명의 일측에 따르면, 비월 주사 영상 부호화 방법은 상기 주 참 조 필드의 움직임 벡터에 따른 현재 필드의 압축률과 상기 보조 참조 필드의 움직임 벡터에 따른 현재 필드의 압축률 상호간의 비교 결과에 따라 상기 주 참조 필드의 움직임 벡터 또는 상기 보조 참조 필드의 움직임 벡터 중 어느 하나를 선택하는 단계를 더 포함한다.
또한, 본 발명의 일실시예에 따른 비월 주사 영상 복호화 방법은 비트스트림으로부터 현재 영상의 절반에 해당하는 현재 필드 및 예측 필드 상호간의 잔차 필드를 복원하는 단계, 상기 현재 필드의 참조 필드 중 주 참조 필드의 움직임 벡터로부터 보조 참조 필드의 움직임 벡터를 유도하는 단계, 상기 주 참조 필드의 움직임 벡터 또는 상기 보조 참조 필드의 움직임 벡터를 이용하여 상기 예측 필드를 생성하는 단계 및 상기 생성된 예측 필드에 상기 복원된 잔차 필드를 가산함으로써 상기 현재 필드를 복원하는 단계를 포함한다.
또한, 본 발명의 일실시예에 따른 비월 주사 영상 부호화 장치는 주 참조 필드를 기준으로 현재 영상의 절반에 해당하는 현재 필드의 움직임을 추정함으로써 상기 주 참조 필드의 움직임 벡터를 산출하고, 상기 주 참조 필드와 연관된 보조 참조 필드를 선택하고, 상기 주 참조 필드의 움직임 벡터로부터 상기 보조 참조 필드의 움직임 벡터를 유도하는 움직임 추정부, 상기 주 참조 필드의 움직임 벡터 또는 상기 보조 참조 필드의 움직임 벡터를 이용하여 상기 현재 필드의 예측 필드를 생성하는 움직임 보상부 및 상기 현재 필드 및 예측 필드 상호간의 잔차 필드를 부호화하는 부호화부를 포함한다.
또한, 본 발명의 일실시예에 따른 비월 주사 영상 복호화 장치는 비트스트림 으로부터 현재 영상의 절반에 해당하는 현재 필드 및 예측 필드 상호간의 잔차 필드를 복원하는 복호화부, 상기 현재 필드의 참조 필드 중 주 참조 필드의 움직임 벡터로부터 보조 참조 필드의 움직임 벡터를 유도하고, 상기 주 참조 필드의 움직임 벡터 또는 상기 보조 참조 필드의 움직임 벡터를 이용하여 상기 예측 필드를 생성하는 움직임 보상부 및 상기 생성된 예측 필드에 상기 복원된 잔차 필드를 가산함으로써 상기 현재 필드를 복원하는 가산기를 포함한다.
또한, 본 발명은 현재 필드를 기준으로 과거 시간 또는 미래 시간의 필드를 주 참조 필드로 선택함으로써, 보다 탄력적으로 부호화 또는 복호화를 수행하는 비월 주사 영상 부호화/복호화 방법 및 장치를 제공한다.
또한, 본 발명은 주 참조 필드가 속한 영상 내 다른 필드를 보조 참조 필드로 선택함으로써, 보다 효율적으로 처리 복잡도를 절감시킨 비월 주사 영상 부호화/복호화 방법 및 장치를 제공한다.
이하 첨부 도면들 및 첨부 도면들에 기재된 내용들을 참조하여 본 발명의 바람직한 실시예를 상세하게 설명하지만, 본 발명이 실시예들에 의해 제한되거나 한정되는 것은 아니다. 특히, 이하에 기재된 "영상(image)"이라는 용어는 픽처(picture), 프레임(frame) 등과 같은 동등한 의미를 갖는 다른 용어로 대치되어 사용될 수 있음을 본 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자라면 이해할 수 있다.
본 발명의 일실시예에 따른 스케일러블(scalable) 영상 처리 환경은 제 1 부 호화 장치, 제 1 복호화 장치, 제 2 부호화 장치 및 제 2 복호화 장치로 구성될 수 있다. 제 1 부호화 장치, 제 1 복호화 장치는 4:2:0 영상 또는 비트 깊이가 8 비트인 영상을 재생할 수 있는 기존 코덱이 탑재된 장치이고, 제 2 부호화 장치 및 제 2 복호화 장치는 4:4:4 영상, 4:2:2 영상 또는 비트 깊이가 10 비트인 영상을 새로운 코덱이 탑재된 장치이다.
따라서, 제 1 부호화 장치는 4:2:0 영상 또는 비트 깊이가 8 비트인 영상을 부호화하고, 그 결과에 해당하는 비트스트림을 출력한다. 또한, 제 2 부호화 장치는 4:4:4 영상, 4:2:2 영상 또는 비트 깊이가 10 비트인 영상을 부호화하고, 그 결과에 해당하는 비트스트림을 출력한다. 기존 코덱이 탑재된 제 1 복호화 장치가 새로운 코덱이 탑재된 제 2 부호화 장치로부터 출력된 비트스트림을 재생할 수 있는 호환성을 순방향 호환성(forward compatibility)이라고 한다. 또한, 새로운 코덱이 탑재된 제 2 복호화 장치가 기존 코덱이 탑재된 제 1 부호화 장치로부터 출력된 비트스트림을 재생할 수 있는 호환성을 역방향 호환성(backward compatibility)이라고 한다. 특히, 이하에서 설명될 본 발명의 일실시예들은 순방향 호환성을 지원한다.
도 1은 본 발명의 일실시예에 따른 비월 주사 영상 부호화 장치를 나타낸 구성도이다.
도 1을 참조하면, 본 실시예에 따른 비월 주사 영상 부호화 장치(100)는 움직임 추정부(101), 움직임 보상부(102), 제 1 감산기(103), 제 1 변환부(104), 양자화부(105), 엔트로피 부호화부(106), 비트스트림 생성부(도시되지 않음), 역양자 화부(108), 역변환부(109), 가산기(110) 및 버퍼(111)로 구성된다. 본 실시예에서의 영상의 처리 단위에 해당하는 블록의 크기는 가장 일반적인 16x16인 것으로 가정하기로 한다. 이와 같은 16x16 크기의 블록을 일명 매크로블록(macroblock)이라고 한다. 다만, 본 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자라면, 상기된 16x16 이외에 16x8, 8x16, 8x8, 4x4 등의 다양한 크기가 될 수 있음을 이해할 수 있다.
일반적으로, 영상 부호화는 순차 주사 방식(progressive scanning) 또는 비월 주사 방식(interlace scanning)에 따라 수행될 수 있다. 순차 주사 방식이란 하나의 영상을 처음부터 끝까지 순서대로 화면에 표시하는 방식을 말한다.
본 발명의 일실시예에 따른 비월 주사 영상 복호화 장치(100)는 비월 주사 방식에 따라 영상을 부호화할 수 있다. 다만, 본 발명의 일실시예에 따르면, 비월 주사 영상 복호화 장치(100) 순차 주사 방식에 따라 부호화 역시 수행할 수 있다. 비월 주사 방식이란 하나의 영상을 홀수 번째 라인과 짝수 번째 라인으로 나누어 화면에 표시하는 방식을 말한다. 즉, 하나의 영상은 홀수 번째 라인들로 구성된 상부 필드(top field)와 하부 필드(bottom field)로 나누어지게 된다. 따라서, 비월 주사 방식에 따라 영상을 부호화하는 과정에서 처리되는 여러 종류의 영상들은 비월 주사 영상 부호화 장치(100)에 입력된 영상의 절반에 해당하는 영상이다. 여기에서, 현재 필드는 상부 필드 또는 하부 필드 중 어느 하나가 된다.
움직임 추정부(101)는 버퍼(111)에 저장된 참조 필드들 중 주 참조 필드를 기준으로 동영상에 해당하는 일련의 영상들 중 현재 입력된 영상의 절반에 해당하 는 영상(이하 "현재 필드"이라 함)의 움직임을 추정함으로써 주 참조 필드의 움직임 벡터(motion vector)를 산출할 수 있다. 보다 상세하게 설명하면 움직임 추정부(101)는 버퍼(111)에 저장된 참조 필드 중 어느 하나를 주 참조 필드로 선택하고, 현재 필드를 구성하는 블록들 각각에 대하여 현재 필드의 블록과 가장 잘 매칭(matching)되는 주 참조 필드의 블록을 결정하고, 이와 같이 결정된 주 참조 필드의 블록과 현재 필드의 블록간의 변위를 나타내는 움직임 벡터를 산출할 수 있다. 특히, 움직임 추정부(101)는 상기 참조 필드 중 상기 현재 필드를 기준으로 과거 시간의 참조 필드를 상기 주 참조 필드로 결정할 수 있다. 예를 들어, 움직임 추정부(101)는 버퍼(111)에 저장된 과거 시간의 참조 필드들 중 현재 필드와 전체적으로 가장 잘 매칭되는 참조 필드를 주 참조 필드로 선택할 수 있다. 이와 같은 주 참조 필드는 과거 시간의 참조 필드 중 현재 필드에 가장 가까운 참조 필드가 될 수도 있고, 아니면 다른 참조 필드가 될 수도 있다. 또한, 본 발명의 일실시예에 따르면, 상기 주 참조 필드는 과거 시간의 참조 필드 중 현재 필드와 필드단위의 시간적 거리가 기 결정된 거리만큼 존재하는 참조 필드일 수 있다.
또한, 움직임 추정부(101)는 버퍼(111)에 저장된 참조 필드들 중 주 참조 필드와 연관된 참조 필드를 참조 필드를 보조 참조 필드로 선택하고, 산출된 주 참조 필드의 움직임 벡터를 선형 변환함으로써 주 참조 필드의 움직임 벡터로부터 보조 참조 필드의 움직임 벡터를 유도할 수 있다. 구체적으로, 움직임 추정부(101)는 상기 주 참조 필드가 속한 동일한 영상 내 다른 극성의 필드를 상기 보조 참조 필드로 선택할 수 있다. 이로써, 움직임 추정부(101)는 버퍼(111)로부터 주 참조 필 드와 주 참조 필드가 속한 영상 내 다른 필드를 동시에 읽어들이고, 이 다른 필드를 보조 참조 필드로 선택함으로써 버퍼(111)에 대한 액세스 회수를 줄일 수 있다. 또한, 상기 선형 변환은 상기 주 참조 필드 및 상기 현재 필드 상호간의 시간적 거리를 이용하여 수행될 수 있다. 보다 구체적인 움직임 벡터 유도 과정에 대해서는 이하에서 자세히 설명하도록 하겠다.
한편, 종래의 비월 주사 영상 부호화 방식은 버퍼(111)에 저장된 참조 필드 각각에 대하여 현재 필드의 움직임을 추정하는 과정, 즉 참조 필드 내에서 현재 필드의 블록과 가장 잘 매칭되는 참조 필드의 블록을 일일이 탐색하는 과정을 통하여 참조 필드들 각각의 움직임 벡터를 산출하였기 때문에 참조 필드들의 개수가 증가함에 따라 움직임 벡터 산출 과정의 복잡도가 크게 증가하였고, 매우 비효율적이었다. 본 발명의 일실시예에 따르면, 상기된 바와 같은 참조 필드 탐색 과정은 주 참조 필드에 대해서만 실시되거나, 또는 현재 필드에서 기 결정된 시간적 거리만큼 떨어진 참조필드로 결정되고, 다른 참조 필드의 움직임 벡터는 주 참조 필드의 움직임 벡터로부터 아래에 예시된 수학식 등을 이용하여 간단히 유도될 수 있기 때문에 움직임 벡터 획득 과정이 매우 간단하고, 효율적으로 된다. 또한, 본 발명의 일실시예에 따르면, 비월 주사 영상 부호화 장치(100)는 주 참조 필드의 압축률뿐만 아니라 주 참조 필드가 속한 영상 내 다른 참조 필드인 보조 참조 필드의 압축률을 함께 고려함으로써, 동일 영상 내 모든 프레임을 활용할 수 있고, 압축 효율을 개선할 수 있다.
도 2는 주 참조 필드 및 보조 참조 필드가 현재 필드를 기준으로 과거 시간 의 영상에 포함되는 경우, 현재 필드, 주 참조 필드 및 보조 참조 필드의 위치 관계의 일예를 도시한 도면이다.
도 2의 구성(210)은 현재 부호화 되는 현재 필드가 상부 필드이고, 주 참조 필드가 현재 필드와 비교하여 과거 시간의 참조 영상(211) 내의 상부 필드인 경우, 보조 참조 필드는 참조 영상(211)의 하부 필드로 결정되는 일예를 나타내고 있다. 이와 비교하여, 도 2의 구성(220)은 현재 부호화 되는 현재 필드가 상부 필드이고, 주 참조 필드가 현재 필드와 비교하여 과거 시간의 참조 영상(221) 내의 하부 필드인 경우, 보조 참조 필드는 참조 영상(221)의 상부 필드로 결정되는 일예를 나타내고 있다.
또한, 도 2의 구성(230)은 현재 부호화 되는 현재 필드가 하부 필드이고, 주 참조 필드가 현재 필드와 비교하여 과거 시간의 참조 영상(231) 내의 상부 필드인 경우, 보조 참조 필드는 참조 영상(211)의 하부 필드로 결정되는 일예를 나타내고 있으며, 도 2의 구성(240)은 현재 부호화 되는 현재 필드가 하부 필드이고, 주 참조 필드가 현재 필드와 비교하여 과거 시간의 참조 영상(241) 내의 하부 필드인 경우, 보조 참조 필드는 참조 영상(211)의 상부 필드로 결정되는 일예를 나타내고 있다.
다만, 비월 주사 방식의 경우에 순차 주사 방식의 경우와는 달리 주 참조 필드와 보조 참조 필드가 영상의 수직 방향으로 한 화소(pixel)만큼 어긋나는 경우, 즉 주 참조 필드와 보조 참조 필드의 극성이 서로 다른 경우가 발생할 수 있다. 예를 들어, 주 참조 필드가 상부 극성(top polarity)이고 보조 참조 필드가 하부 극성(bottom polarity)인 경우나, 주 참조 필드가 하부 극성이고 보조 참조 필드가 상부 극성인 경우이다. 따라서, 비월 주사 방식의 주 참조 필드의 움직임 벡터로부터 보조 참조 필드의 움직임 벡터를 유도하는 경우에는 이와 같은 주 참조 필드와 보조 참조 필드의 극성 차이가 고려되어야 한다. 다만, 주 참조 필드와 보조 참조 필드의 극성이 같은 경우에는 순차 주사 방식과 유사한 방식으로 주 참조 필드의 움직임 벡터로부터 보조 참조 필드의 움직임 벡터를 유도할 수 있다.
순차 주사 방식에 따라 과거 시간의 주 참조 영상의 움직임 벡터로부터 보조 참조 영상의 움직임 벡터를 유도하는 경우, 움직임 추정부(101)는 보조 참조 영상이 주 참조 영상보다 현재 영상으로부터 시간적으로 먼 경우에 주 참조 영상의 움직임 벡터에 주 참조 영상과 현재 영상간의 시간적 거리에 1을 합한 값과 주 참조 영상과 현재 영상간의 시간적 거리의 비를 곱함으로써 보조 참조 영상의 움직임 벡터를 유도할 수 있다. 이와 비교하여, 움직임 추정부(101)는 보조 참조 영상이 주 참조 영상보다 현재 영상으로부터 시간적으로 가까운 경우에 주 참조 영상의 움직임 벡터에 주 참조 영상과 현재 영상간의 시간적 거리에 1을 뺀 값과 주 참조 영상과 현재 영상간의 시간적 거리의 비를 곱함으로써 보조 참조 영상의 움직임 벡터를 유도할 수 있다.
결론적으로, 움직임 추정부(101)는 주 참조 필드와 현재 필드간의 시간적 거리와 주 참조 필드와 보조 참조 필드의 극성(polarity) 차이를 이용하여 주 참조 필드의 움직임 벡터를 선형 변환함으로써 보조 참조 필드의 움직임 벡터를 유도할 수 있다. 이하, 도 4 및 도 5를 통해 비월 주사 방식에서 참조 영상이 현재 필드 를 기준으로 과거 시간의 영상인 경우, 현재 필드와 주 참조 필드의 극성이 동일여부에 따라 주 참조 필드의 움직임 벡터로부터 보조 참조 필드의 움직임 벡터를 유도하는 것에 대해 자세히 살펴보도록 하겠다.
또한, 움직임 추정부(101)는 상기 참조 필드 중 상기 현재 필드를 기준으로 미래 시간의 참조 필드를 상기 주 참조 필드로 결정할 수 있다. 예를 들어, 움직임 추정부(101)는 버퍼(111)에 저장된 미래 시간의 참조 필드들 중 현재 필드와 전체적으로 가장 잘 매칭되는 참조 필드를 주 참조 필드로 선택할 수 있다. 이와 같은 주 참조 필드는 미래 시간의 참조 필드 중 현재 필드에 가장 가까운 참조 필드가 될 수도 있고, 아니면 다른 참조 필드가 될 수도 있다. 또한, 본 발명의 일실시예에 따르면, 상기 주 참조 필드는 미래 시간의 참조 필드 중 현재 필드와 필드단위의 시간적 거리가 기 결정된 거리만큼 존재하는 참조 필드일 수 있다.
또한, 움직임 추정부(101)는 버퍼(111)에 저장된 참조 필드들 중 주 참조 필드와 연관된 참조 필드를 참조 필드를 보조 참조 필드로 선택하고, 산출된 주 참조 필드의 움직임 벡터를 선형 변환함으로써 주 참조 필드의 움직임 벡터로부터 보조 참조 필드의 움직임 벡터를 유도할 수 있다. 구체적으로, 움직임 추정부(101)는 상기 주 참조 필드가 속한 동일한 영상 내 다른 극성의 필드를 상기 보조 참조 필드로 선택할 수 있다. 이로써, 움직임 추정부(101)는 버퍼(111)로부터 주 참조 필드와 주 참조 필드가 속한 영상 내 다른 필드를 동시에 읽어들이고, 이 다른 필드를 보조 참조 필드로 선택함으로써 버퍼(111)에 대한 액세스 회수를 줄일 수 있다. 또한, 상기 선형 변환은 상기 주 참조 필드 및 상기 현재 필드 상호간의 시간적 거 리를 이용하여 수행될 수 있다.
도 3는 주 참조 필드 및 보조 참조 필드가 현재 필드를 기준으로 미래 시간의 영상에 포함되는 경우, 현재 필드, 주 참조 필드 및 보조 참조 필드의 위치 관계의 일예를 도시한 도면이다.
도 3의 구성(310)은 현재 부호화 되는 현재 필드가 상부 필드이고, 주 참조 필드가 현재 필드와 비교하여 미래 시간의 참조 영상(311) 내의 상부 필드인 경우, 보조 참조 필드는 참조 영상(311)의 하부 필드로 결정되는 일예를 나타내고 있다. 이와 비교하여, 도 3의 구성(320)은 현재 부호화 되는 현재 필드가 상부 필드이고, 주 참조 필드가 현재 필드와 비교하여 미래 시간의 참조 영상(321) 내의 하부 필드인 경우, 보조 참조 필드는 참조 영상(321)의 상부 필드로 결정되는 일예를 나타내고 있다.
또한, 도 3의 구성(330)은 현재 부호화 되는 현재 필드가 하부 필드이고, 주 참조 필드가 현재 필드와 비교하여 미래 시간의 참조 영상(331) 내의 상부 필드인 경우, 보조 참조 필드는 참조 영상(311)의 하부 필드로 결정되는 일예를 나타내고 있으며, 도 3의 구성(340)은 현재 부호화 되는 현재 필드가 하부 필드이고, 주 참조 필드가 현재 필드와 비교하여 미래 시간의 참조 영상(341) 내의 하부 필드인 경우, 보조 참조 필드는 참조 영상(311)의 상부 필드로 결정되는 일예를 나타내고 있다.
앞서 살펴본 바와 같은 맥락으로 주 참조 필드가 미래 시간에 존재할 때에도, 주 참조 필드와 보조 참조 필드의 극성이 같은 경우에는 순차 주사 방식과 유 사한 방식으로 주 참조 필드의 움직임 벡터로부터 보조 참조 필드의 움직임 벡터를 유도할 수 있다.
순차 주사 방식에 따라 미래 시간의 주 참조 영상의 움직임 벡터로부터 보조 참조 영상의 움직임 벡터를 유도하는 경우, 움직임 추정부(101)는 보조 참조 영상이 주 참조 영상보다 현재 영상으로부터 시간적으로 먼 경우에 주 참조 영상의 움직임 벡터에 주 참조 영상과 현재 영상간의 시간적 거리에 1을 합한 값과 주 참조 영상과 현재 영상간의 시간적 거리의 비를 곱함으로써 보조 참조 영상의 움직임 벡터를 유도할 수 있다. 이와 비교하여, 움직임 추정부(101)는 보조 참조 영상이 주 참조 영상보다 현재 영상으로부터 시간적으로 가까운 경우에 주 참조 영상의 움직임 벡터에 주 참조 영상과 현재 영상간의 시간적 거리에 1을 뺀 값과 주 참조 영상과 현재 영상간의 시간적 거리의 비를 곱함으로써 보조 참조 영상의 움직임 벡터를 유도할 수 있다.
결론적으로, 움직임 추정부(101)는 주 참조 필드와 현재 필드간의 시간적 거리와 주 참조 필드와 보조 참조 필드의 극성(polarity) 차이를 이용하여 주 참조 필드의 움직임 벡터를 선형 변환함으로써 보조 참조 필드의 움직임 벡터를 유도할 수 있다. 이하, 도 6 및 도 7을 통해 비월 주사 방식에서 참조 영상이 현재 필드를 기준으로 미래 시간의 영상인 경우, 현재 필드와 주 참조 필드의 극성이 동일여부에 따라 주 참조 필드의 움직임 벡터로부터 보조 참조 필드의 움직임 벡터를 유도하는 것에 대해 자세히 살펴보도록 하겠다.
도 4는 현재 필드와 주 참조 필드의 극성이 같고, 주 참조 필드가 과거 시간 의 필드인 경우를 설명하기 위한 일예를 도시한 도면이다.
도 4의 상단(410)을 참조하면, 움직임 추정부(101)는 주 참조 필드를 현재 필드와 극성이 동일한 상부 필드인 4번 필드로 선정한 경우, 보조 참조 필드를 함께 속한 영상 내 하부 필드인 5번 필드로 선정할 수 있다. 이 때, 움직임 추정부(101)는 수학식 1에 나타난 선형 변환을 이용하여 현재 부호화되는 현재 필드의 주 참조 필드에 대한 움직임 벡터로부터 상기 현재 필드의 보조 참조 필드에 대한 움직임 벡터를 유도할 수 있다.
Figure 112008033436472-PAT00001
이 때, MV x main 은 현재 필드인 MV의 주 참조 필드에 대한 움직임 벡터의 x좌표를 의미하고, MV y main 은 현재 필드인 MV의 주 참조 필드에 대한 움직임 벡터의 x좌표를 의미한다. 또한, MV x aux 는 현재 필드인 MV의 보조 참조 필드에 대한 움직임 벡터 의 x좌표를 의미하고, MV y aux 는 현재 필드인 MV의 보조 참조 필드에 대한 움직임 벡터의 y좌표를 의미한다. 또한, dist는 현재 필드에서 주 참조 필드까지의 필드단위 거리를 나타낸다. 또한,
Figure 112008033436472-PAT00002
은 나눗셈연산의 반올림을 위한 조정 값이고, (dist-1)은 현재 필드에서 하부 필드인 보조 참조 필드까지의 거리를 나타낸다. 주 참조 필드와 보조 참조 필드가 동일 영상에 속하기 때문에 상기 (dist-1)이 결정될 수 있다. 또한, offset은 극성 차이를 보정하기 위한 값이다. 특히, 수학식 1에서의 offset은 주 참조 필드와 보조 참조 필드 사이의 극성 차이를 보정하기 위한 값이다.
비월 주사 방식의 영상 부호화 과정에 사용되는 필드들은 원래 영상의 절반에 해당하기 때문에 주 참조 필드와 보조 참조 필드의 극성 차이를 보정하는 오프셋의 크기는 원래 영상을 구성하는 화소 단위의 반 화소 단위가 된다. 일반적으로 영상 보간(interpolation) 등을 통하여 영상을 보다 정밀하게 복원하기 위하여 움직임 벡터는 반 화소 단위 또는 1/4 화소 단위로 표현된다. 만약, 본 발명의 일실시예에서의 움직임 벡터가 반 화소 단위로 표현된다면, 상기 오프셋의 크기 단위는 1이고, 1/4 화소 단위로 표현된다면, offset의 크기 단위는 2가 된다.
도 4의 상단(410)에서와 같이 현재 필드가 상부 필드이고, 보조 참조 필드가 하부 필드이면, offset은 음의 값을 갖는다. 따라서, 움직임 벡터가 반 화소 단위로 표현된다면, 수학식 1에서의 offset은 -1일 수 있다.
도 4의 하단(420)을 참조하면, 움직임 추정부(101)는 주 참조 필드를 현재 필드와 극성이 동일한 하부 필드인 4번 필드로 선정한 경우, 보조 참조 필드를 함께 속한 영상 내 상부 필드인 3번 필드로 선정할 수 있다. 이 때, 움직임 추정부(101)는 수학식 2에 나타난 선형 변환을 이용하여 현재 부호화되는 현재 필드의 주 참조 필드에 대한 움직임 벡터로부터 상기 현재 필드의 보조 참조 필드에 대한 움직임 벡터를 유도할 수 있다.
Figure 112008033436472-PAT00003
이 때, MV x main 은 현재 필드인 MV의 주 참조 필드에 대한 움직임 벡터의 x좌표를 의미하고, MV y main 은 현재 필드인 MV의 주 참조 필드에 대한 움직임 벡터의 x좌표를 의미한다. 또한, MV x aux 는 현재 필드인 MV의 보조 참조 필드에 대한 움직임 벡터의 x좌표를 의미하고, MV y aux 는 현재 필드인 MV의 보조 참조 필드에 대한 움직임 벡 터의 y좌표를 의미한다. 또한, dist는 현재 필드에서 주 참조 필드까지의 필드단위 거리를 나타낸다. 또한,
Figure 112008033436472-PAT00004
은 나눗셈연산의 반올림을 위한 조정 값이고, (dist+1)은 현재 필드에서 상부 필드인 보조 참조 필드까지의 거리를 나타낸다. 주 참조 필드와 보조 참조 필드가 동일 영상에 속하기 때문에 상기 (dist+1)이 결정될 수 있다. 또한, offset은 극성 차이를 보정하기 위한 값이다. 특히, 수학식 2에서의 offset은 주 참조 필드와 보조 참조 필드 사이의 극성 차이를 보정하기 위한 값이다.
비월 주사 방식의 영상 부호화 과정에 사용되는 필드들은 원래 영상의 절반에 해당하기 때문에 주 참조 필드와 보조 참조 필드의 극성 차이를 보정하는 오프셋의 크기는 원래 영상을 구성하는 화소 단위의 반 화소 단위가 된다. 일반적으로 영상 보간(interpolation) 등을 통하여 영상을 보다 정밀하게 복원하기 위하여 움직임 벡터는 반 화소 단위 또는 1/4 화소 단위로 표현된다. 만약, 본 발명의 일실시예에서의 움직임 벡터가 반 화소 단위로 표현된다면, 상기 오프셋의 크기 단위는 1이고, 1/4 화소 단위로 표현된다면, offset의 크기 단위는 2가 된다.
도 4의 하단(420)에서와 같이 현재 필드가 하부 필드이고, 보조 참조 필드가 상부 필드이면, offset은 양의 값을 갖는다. 따라서, 움직임 벡터가 반 화소 단위로 표현된다면, 수학식 2에서의 offset은 1일 수 있다.
도 5는 현재 필드와 주 참조 필드의 극성이 다르고, 주 참조 필드가 과거 시간의 필드인 경우를 설명하기 위한 일예를 도시한 도면이다.
도 5의 상단(510)을 참조하면, 움직임 추정부(101)는 주 참조 필드를 현재 필드와 극성이 다른 하부 필드인 3번 필드로 선정한 경우, 보조 참조 필드를 함께 속한 영상 내 상부 필드인 2번 필드로 선정할 수 있다. 이 때, 움직임 추정부(101)는 수학식 3에 나타난 선형 변환을 이용하여 현재 부호화되는 현재 필드의 주 참조 필드에 대한 움직임 벡터로부터 상기 현재 필드의 보조 참조 필드에 대한 움직임 벡터를 유도할 수 있다.
Figure 112008033436472-PAT00005
이 때, MV x main 은 현재 필드인 MV의 주 참조 필드에 대한 움직임 벡터의 x좌표를 의미하고, MV y main 은 현재 필드인 MV의 주 참조 필드에 대한 움직임 벡터의 x좌표를 의미한다. 또한, MV x aux 는 현재 필드인 MV의 보조 참조 필드에 대한 움직임 벡터의 x좌표를 의미하고, MV y aux 는 현재 필드인 MV의 보조 참조 필드에 대한 움직임 벡 터의 y좌표를 의미한다. 또한, dist는 현재 필드에서 주 참조 필드까지의 필드단위 거리를 나타낸다. 또한,
Figure 112008033436472-PAT00006
은 나눗셈연산의 반올림을 위한 조정 값이고, (dist+1)은 현재 필드에서 상부 필드인 보조 참조 필드까지의 거리를 나타낸다. 주 참조 필드와 보조 참조 필드가 동일 영상에 속하기 때문에 상기 (dist+1)이 결정될 수 있다. 또한, offset은 극성 차이를 보정하기 위한 값이다. 특히, 수학식 3에서의 offset은 주 참조 필드와 현재 필드 사이의 극성 차이의 보정을 위하여 변환을 수행하기 전에 이용되고, 상기 offset은 변환 전 현재 필드의 극성 차이를 보정할 수 있다.
또한, 움직임 벡터를 반 화소 단위로 표현할 경우, 부호는 주 참조 필드의 움직임 벡터를 보조 참조 필드의 움직임 벡터와 동일한 상부 필드의 경우로 환산하여야 하므로 양의 값을 가질 수 있어, 수학식 3에서의 offset은 1이 된다.
도 5의 하단(520)을 참조하면, 움직임 추정부(101)는 주 참조 필드를 현재 필드와 극성이 다른 상부 필드인 3번 필드로 선정한 경우, 보조 참조 필드를 함께 속한 영상 내 하부 필드인 4번 필드로 선정할 수 있다. 이 때, 움직임 추정부(101)는 수학식 4에 나타난 선형 변환을 이용하여 현재 부호화되는 현재 필드의 주 참조 필드에 대한 움직임 벡터로부터 상기 현재 필드의 보조 참조 필드에 대한 움직임 벡터를 유도할 수 있다.
Figure 112008033436472-PAT00007
이 때, MV x main 은 현재 필드인 MV의 주 참조 필드에 대한 움직임 벡터의 x좌표를 의미하고, MV y main 은 현재 필드인 MV의 주 참조 필드에 대한 움직임 벡터의 x좌표를 의미한다. 또한, MV x aux 는 현재 필드인 MV의 보조 참조 필드에 대한 움직임 벡터의 x좌표를 의미하고, MV y aux 는 현재 필드인 MV의 보조 참조 필드에 대한 움직임 벡터의 y좌표를 의미한다. 또한, dist는 현재 필드에서 주 참조 필드까지의 필드단위 거리를 나타낸다. 또한,
Figure 112008033436472-PAT00008
은 나눗셈연산의 반올림을 위한 조정 값이고, (dist-1)은 현재 필드에서 상부 필드인 보조 참조 필드까지의 거리를 나타낸다. 주 참조 필드와 보조 참조 필드가 동일 영상에 속하기 때문에 상기 (dist-1)이 결정될 수 있다. 또한, offset은 극성 차이를 보정하기 위한 값이다. 특히, 수학식 4에서의 offset은 주 참조 필드와 현재 필드 사이의 극성 차이의 보정을 위하여 변 환을 수행하기 전에 이용되고, 상기 offset은 변환 전 현재 필드의 극성 차이를 보정할 수 있다.
또한, 움직임 벡터를 반 화소 단위로 표현할 경우, 부호는 주 참조 필드의 움직임 벡터를 보조 참조 필드의 움직임 벡터와 동일한 하부 필드의 경우로 환산하여야 하므로 음의 값을 가질 수 있어, 수학식 3에서의 offset은 -1이 된다.
도 6은 현재 필드와 주 참조 필드의 극성이 같고, 주 참조 필드가 미래 시간의 필드인 경우를 설명하기 위한 일예를 도시한 도면이다.
도 6의 상단(610)을 참조하면, 움직임 추정부(101)는 주 참조 필드를 현재 필드와 극성이 동일한 상부 필드인 5번 필드로 선정한 경우, 보조 참조 필드를 함께 속한 영상 내 하부 필드인 6번 필드로 선정할 수 있다. 이 때, 움직임 추정부(101)는 수학식 5에 나타난 선형 변환을 이용하여 현재 부호화되는 현재 필드의 주 참조 필드에 대한 움직임 벡터로부터 상기 현재 필드의 보조 참조 필드에 대한 움직임 벡터를 유도할 수 있다.
Figure 112008033436472-PAT00009
이 때, MV x main 은 현재 필드인 MV의 주 참조 필드에 대한 움직임 벡터의 x좌표를 의미하고, MV y main 은 현재 필드인 MV의 주 참조 필드에 대한 움직임 벡터의 x좌표를 의미한다. 또한, MV x aux 는 현재 필드인 MV의 보조 참조 필드에 대한 움직임 벡터의 x좌표를 의미하고, MV y aux 는 현재 필드인 MV의 보조 참조 필드에 대한 움직임 벡터의 y좌표를 의미한다. 또한, dist는 현재 필드에서 주 참조 필드까지의 필드단위 거리를 나타낸다. 또한,
Figure 112008033436472-PAT00010
은 나눗셈연산의 반올림을 위한 조정 값이고, (dist+1)은 현재 필드에서 하부 필드인 보조 참조 필드까지의 거리를 나타낸다. 주 참조 필드와 보조 참조 필드가 동일 영상에 속하기 때문에 상기 (dist+1)이 결정될 수 있다. 특히, 수학식 1에서의 (dist-1)과 수학식 5에서의 (dist+1)의 차이는 현재 필드로부터 주 참조 필드와 보조 참조 필드 각각의 거리 차이가 원인이다. 또한, offset은 극성 차이를 보정하기 위한 값이다. 특히, 수학식 5에서의 offset은 주 참조 필드와 보조 참조 필드 사이의 극성 차이를 보정하기 위한 값이다.
또한, 앞서 설명한 바에 따르면, 반 화소 단위의 움직임 벡터 표현법을 사용하는 경우, 수학식 5에서의 offset은 -1이다.
도 6의 하단(620)을 참조하면, 움직임 추정부(101)는 주 참조 필드를 현재 필드와 극성이 동일한 하부 필드인 5번 필드로 선정한 경우, 보조 참조 필드를 함 께 속한 영상 내 상부 필드인 4번 필드로 선정할 수 있다. 이 때, 움직임 추정부(101)는 수학식 6에 나타난 선형 변환을 이용하여 현재 부호화되는 현재 필드의 주 참조 필드에 대한 움직임 벡터로부터 상기 현재 필드의 보조 참조 필드에 대한 움직임 벡터를 유도할 수 있다.
Figure 112008033436472-PAT00011
이 때, MV x main 은 현재 필드인 MV의 주 참조 필드에 대한 움직임 벡터의 x좌표를 의미하고, MV y main 은 현재 필드인 MV의 주 참조 필드에 대한 움직임 벡터의 x좌표를 의미한다. 또한, MV x aux 는 현재 필드인 MV의 보조 참조 필드에 대한 움직임 벡터의 x좌표를 의미하고, MV y aux 는 현재 필드인 MV의 보조 참조 필드에 대한 움직임 벡터의 y좌표를 의미한다. 또한, dist는 현재 필드에서 주 참조 필드까지의 필드단 위 거리를 나타낸다. 또한,
Figure 112008033436472-PAT00012
은 나눗셈연산의 반올림을 위한 조정 값이고, (dist-1)은 현재 필드에서 하부 필드인 보조 참조 필드까지의 거리를 나타낸다. 주 참조 필드와 보조 참조 필드가 동일 영상에 속하기 때문에 상기 (dist-1)이 결정될 수 있다. 특히, 수학식 2에서의 (dist+1)과 수학식 6에서의 (dist-1)의 차이는 현재 필드로부터 주 참조 필드와 보조 참조 필드 각각의 거리 차이가 원인이다. 또한, offset은 극성 차이를 보정하기 위한 값이다. 특히, 수학식 6에서의 offset은 주 참조 필드와 보조 참조 필드 사이의 극성 차이를 보정하기 위한 값이다. 또한, 앞서 설명한 바에 따르면, 반 화소 단위의 움직임 벡터 표현법을 사용하는 경우, 수학식 6에서의 offset은 1이다.
도 7은 현재 필드와 주 참조 필드의 극성이 다르고, 주 참조 필드가 미래 시간의 필드인 경우를 설명하기 위한 일예를 도시한 도면이다.
도 7의 상단(710)을 참조하면, 움직임 추정부(101)는 주 참조 필드를 현재 필드와 극성이 다른 하부 필드인 6번 필드로 선정한 경우, 보조 참조 필드를 함께 속한 영상 내 상부 필드인 5번 필드로 선정할 수 있다. 이 때, 움직임 추정부(101)는 수학식 7에 나타난 선형 변환을 이용하여 현재 부호화되는 현재 필드의 주 참조 필드에 대한 움직임 벡터로부터 상기 현재 필드의 보조 참조 필드에 대한 움직임 벡터를 유도할 수 있다.
Figure 112008033436472-PAT00013
이 때, MV x main 은 현재 필드인 MV의 주 참조 필드에 대한 움직임 벡터의 x좌표를 의미하고, MV y main 은 현재 필드인 MV의 주 참조 필드에 대한 움직임 벡터의 x좌표를 의미한다. 또한, MV x aux 는 현재 필드인 MV의 보조 참조 필드에 대한 움직임 벡터의 x좌표를 의미하고, MV y aux 는 현재 필드인 MV의 보조 참조 필드에 대한 움직임 벡터의 y좌표를 의미한다. 또한, dist는 현재 필드에서 주 참조 필드까지의 필드단위 거리를 나타낸다. 또한,
Figure 112008033436472-PAT00014
은 나눗셈연산의 반올림을 위한 조정 값이고, (dist-1)은 현재 필드에서 하부 필드인 보조 참조 필드까지의 거리를 나타낸다. 주 참조 필드와 보조 참조 필드가 동일 영상에 속하기 때문에 상기 (dist-1)이 결정될 수 있다. 특히, 수학식 3에서의 (dist+1)과 수학식 7에서의 (dist-1)의 차이는 현재 필드로부터 주 참조 필드와 보조 참조 필드 각각의 거리 차이가 원인이다. 또한, offset은 극성 차이를 보정하기 위한 값이다. 특히, 수학식 7에서의 offset은 주 참조 필드와 현재 필드 사이의 극성 차이의 보정을 위하여 변환을 수행하기 전에 이용되고, 상기 offset은 변환 전 현재 필드의 극성 차이를 보정할 수 있다.
또한, 앞서 설명한 바에 따르면, 반 화소 단위의 움직임 벡터 표현법을 사용하는 경우, 수학식 7에서의 offset은 1이다.
도 7의 하단(720)을 참조하면, 움직임 추정부(101)는 주 참조 필드를 현재 필드와 극성이 다른 상부 필드인 4번 필드로 선정한 경우, 보조 참조 필드를 함께 속한 영상 내 하부 필드인 5번 필드로 선정할 수 있다. 이 때, 움직임 추정부(101)는 수학식 8에 나타난 선형 변환을 이용하여 현재 부호화되는 현재 필드의 주 참조 필드에 대한 움직임 벡터로부터 상기 현재 필드의 보조 참조 필드에 대한 움직임 벡터를 유도할 수 있다.
Figure 112008033436472-PAT00015
이 때, MV x main 은 현재 필드인 MV의 주 참조 필드에 대한 움직임 벡터의 x좌표를 의미하고, MV y main 은 현재 필드인 MV의 주 참조 필드에 대한 움직임 벡터의 x좌표를 의미한다. 또한, MV x aux 는 현재 필드인 MV의 보조 참조 필드에 대한 움직임 벡터의 x좌표를 의미하고, MV y aux 는 현재 필드인 MV의 보조 참조 필드에 대한 움직임 벡터의 y좌표를 의미한다. 또한, dist는 현재 필드에서 주 참조 필드까지의 필드단위 거리를 나타낸다. 또한,
Figure 112008033436472-PAT00016
은 나눗셈연산의 반올림을 위한 조정 값이고, (dist+1)은 현재 필드에서 하부 필드인 보조 참조 필드까지의 거리를 나타낸다. 주 참조 필드와 보조 참조 필드가 동일 영상에 속하기 때문에 상기 (dist+1)이 결정될 수 있다. 특히, 수학식 4에서의 (dist-1)과 수학식 8에서의 (dist+1)의 차이는 현재 필드로부터 주 참조 필드와 보조 참조 필드 각각의 거리 차이가 원인이다. 또한, offset은 극성 차이를 보정하기 위한 값이다. 특히, 수학식 8에서의 offset은 주 참조 필드와 현재 필드 사이의 극성 차이의 보정을 위하여 변환을 수행하기 전에 이용되고, 상기 offset은 변환 전 현재 필드의 극성 차이를 보정할 수 있다. 또한, 앞서 설명한 바에 따르면, 반 화소 단위의 움직임 벡터 표현법을 사용하는 경우, 수학식 5에서의 offset은 -1이다.
또한, 움직임 추정부(101)는 주 참조 필드의 움직임 벡터에 따른 현재 필드 의 압축률과 보조 참조 필드의 움직임 벡터에 따른 현재 필드의 압축률을 비교하고, 그 비교 결과에 따라 주 참조 필드의 움직임 벡터와 보조 참조 필드의 움직임 벡터 중 어느 하나를 선택한다. 즉, 움직임 추정부(101)는 주 참조 필드의 움직임 벡터에 따른 현재 필드의 압축률이 더 높은 경우에는 주 참조 필드의 움직임 벡터를 선택하고, 보조 참조 필드의 움직임 벡터에 따른 현재 필드의 압축률이 더 높은 경우에는 보조 참조 필드의 움직임 벡터를 선택한다. 보다 상세하게 설명하면, 움직임 추정부(101)는 주 참조 필드의 움직임 벡터가 지시하는 주 참조 필드 내의 블록과 현재 필드의 블록의 차이와 보조 참조 필드의 움직임 벡터가 지시하는 보조 참조 필드 내의 블록과 현재 필드의 블록의 차이를 비교하고, 그 차이가 더 적은 쪽의 움직임 벡터를 선택한다. 주 참조 필드는 전체적으로 현재 필드에 가장 잘 매칭되는 참조 필드이나, 현재 필드의 움직임 추정은 블록 단위로 수행되기 때문에 현재 필드를 구성하는 블록들 중 어떤 블록에 대해서는 주 참조 필드보다 다른 참조 필드가 더 잘 매칭될 수 있다.
움직임 보상부(102)는 움직임 추정부(101)에 의해 선택된 주 참조 필드 또는 보조 참조 필드의 움직임 벡터를 이용하여 버퍼(111)에 저장된 참조 필드들 중 적어도 하나의 참조 필드로부터 현재 필드의 예측 필드를 생성한다. 보다 상세하게 설명하면, 움직임 보상부(102)는 움직임 추정부(101)에 의해 선택된 주 참조 필드 또는 보조 참조 필드의 움직임 벡터가 지시하는 적어도 하나의 참조 필드의 블록들의 값을 현재 필드의 블록들의 값으로 결정함으로써 현재 필드의 예측 필드를 생성한다.
상기된 움직임 추정부(101) 및 움직임 보상부(102)에 의한 영상 압축 방식은 어느 하나의 동영상을 구성하는 여러 영상 또는 필드들간의 시간적 중복성을 이용하여 영상을 압축하는 방식으로서 인터(inter) 부호화 방식이라고 한다. 어느 하나의 영상 또는 필드 내의 공간적 중복성을 이용하여 영상을 압축하는 방식을 인트라(intra) 부호화 방식이라고 하는데, 본 실시예의 설명이 장황하게 되는 것을 피하기 위하여, 본 실시예에 인터 부호화 방식만이 적용되는 것으로 설계하였으나, 본 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자라면, 본 실시예에 인트라 부호화 방식도 적용될 수 있음을 이해할 수 있다. 또한, 인트라 부호화 방식은 비월 주사 영상 부호화 장치(100)에 입력되는 영상에 적용될 수도 있고, 변환부(104)에 의해 변환된 결과에 적용될 수도 있다.
감산기(103)는 현재 필드로부터 움직임 보상부(102)에 의해 생성된 예측 필드를 감산함으로써 현재 필드와 예측 필드간의 잔차 필드를 생성한다. 변환부(104)는 감산기(103)에 의해 생성된 잔차 필드를 색 공간으로부터 주파수 공간으로 변환함으로써 이 잔차 필드의 주파수 계수들을 생성한다. 예를 들면, 변환부(104)는 DHT(Discrete Hadamard Transform), DCT(Discrete Cosine Transform) 등을 이용하여 감산기(103)에 의해 생성된 잔차 필드를 색 공간으로부터 주파수 공간으로 변환할 수 있다.
양자화부(105)는 변환부(104)에 의해 생성된 주파수 계수들을 양자화한다. 보다 상세하게 설명하면, 양자화부(105)는 변환부(104)에 의해 생성된 주파수 계수들을 양자화 파라미터로 나누고, 그 결과를 정수 값들로 근사화한다. 엔트로피 부 호화부(107)는 양자화부(105)에 의해 양자화된 결과에 해당하는 정수 값들과 현재 필드의 부호화 정보를 엔트로피 부호화함으로써 비트스트림을 생성한다. 예를 들면, 엔트로피 부호화부(107)는 CAVLC(Context-Adaptive Variable-Length Coding), CAVAC(Context-Adaptive Binary Arithmetic Coding) 등을 이용하여 양자화부(105)에 의해 양자화된 결과에 해당하는 정수 값들을 엔트로피 부호화할 수 있다.
여기에서, 현재 필드의 부호화 정보는 움직임 추정부(101) 등에서의 영상 부호화 과정에서 발생된 정보로서 영상 복호화 장치에서 현재 필드를 복원하고자 할 때 필요하다. 이와 같은 정보에는 참조 필드의 색인, 움직임 벡터 등을 들 수 있다. 특히, 본 발명의 일실시예에 따른 비월 주사 영상 부호화 장치(100)에 대응하는 비월 주사 영상 복호화 장치에서는 주 참조 필드의 움직임 벡터만을 보내고, 보조 참조 필드의 움직임 벡터에 대해서는 주 참조 필드의 움직임 벡터로부터 유도해낼 수 있다. 따라서, 상기된 바와 같은 일반적인 정보 이외에 보조 참조 필드의 움직임 벡터를 유도하기 위한 정보를 더 필요로 할 수 있다.
다만, 비월 주사 영상 부호화 장치(100)는 비월 영상 복호화 장치로 보조 참조 필드의 움직임 벡터를 유도하기 위한 정보를 보내지 않고, 주 참조 필드와 마찬가지로 보조 참조 필드의 색인과 보조 참조 필드의 움직임 벡터를 직접 보낼 수도 있다. 이 경우, 영상 복호화 장치 쪽에서의 보조 참조 필드의 움직임 벡터 유도 과정은 필요 없게 된다. 일반적으로, 보조 참조 필드의 색인과 보조 참조 필드의 움직임 벡터를 표현하기 위한 데이터 량이 크기 때문에 영상 부호화 장치(100)가 영상 복호화 장치로 보조 참조 필드의 움직임 벡터를 유도하기 위한 정보를 보내는 것이 보다 효율적이다.
또한, 비월 주사 영상 부호화 장치(100)는 앞서 설명한 바와 같이 주 참조 필드와 보조 참조 필드를 동일한 영상 내에서 결정하기 때문에, 상기 보조 참조 필드와 연관된 정보를 상기 비월 영상 복호화 장치로 보내지 않을 수 있다. 즉, 비월 주사 복호화 장치는 주 참조 필드의 색인, 움직임 벡터만을 이용하여 보조 참조 필드의 움직임 벡터를 유도해 낼 수 있다. 다만, 본 발명의 일실시예에 따르면, 비월 주사 영상 부호화 장치(100)는 상기 보조 참조 필드가 주 참조 필드와 동일한 영상에 포함됨을 알리는 정보를 비월 주사 복호화 장치로 보낼 수 있다.
또한, 엔트로피 부호화부(107)는 소정의 신택스를 갖는 주 참조 필드의 움직임 벡터 또는 보조 참조 필드 정보 중 적어도 하나를 엔트로피 부호화할 수 있다. 다만, 비월 주사 영상 부호화 장치(100) 및 비월 주사 영상 복호화 장치 상호 간에 주 참조 필드 및 보조 참조 필드의 관계를 약속하여 저장하고 있는 경우, 또는 움직임 추정부(101)에서의 압축률 비교 과정에서 어떤 보조 참조 필드의 움직임 벡터도 선택되지 않았다면, 엔트로피 부호화부(107)는 주 참조 필드의 움직임 벡터만을 엔트로피 부호화할 수 있다.
역양자화부(108)는 양자화부(105)에 의해 양자화된 결과에 해당하는 정수 값들을 역양자화함으로써 현재 필드와 예측 영상간의 잔차 필드의 주파수 계수들을 복원한다. 보다 상세하게 설명하면, 역양자화부(108)는 양자화부(105)에 의해 근사화된 정수 값들에 양자화 파라미터를 곱함으로써 현재 필드와 예측 필드간의 잔차 필드의 주파수 계수들을 복원한다. 역변환부(109)는 역양자화부(108)에 의해 복원된 주파수 계수들을 주파수 공간으로부터 색 공간으로 변환함으로써 현재 필드와 예측 필드간의 잔차 필드를 복원한다. 가산기(110)는 움직임 보상부(102)에 의해 생성된 예측 필드에 역변환부(109)에 의해 복원된 잔차 필드를 가산함으로써 현재 필드의 복원 필드를 생성하고, 이 복원 필드를 버퍼(111)에 저장한다. 버퍼(111)에 현재 저장된 복원 필드는 현재 필드의 이후에 등장하는 미래의 필드 또는 현재 필드 이전에 존재했던 과거의 필드의 참조 필드로 사용될 수 있다.
도 8은 본 발명의 일실시예에 다른 비월 주사 영상 복호화 장치를 나타낸 구성도이다.
도 8에 도시된 바와 같이 비월 주사 영상 복호화 장치(800)는 엔트로피 복호화부(801), 역양자화부(802), 역변환부(803), 움직임 보상부(804), 가산기(805) 및 버퍼(806)로 구성될 수 있다. 도 8에 도시된 비월 주사 영상 복호화 장치(800)의 영상 복원 과정은 도 1에 도시된 비월 주사 영상 부호화 장치(100)의 영상 복원 과정과 동일하다. 따라서, 이하 생략된 내용이라 하더라도 도 2에 도시된 동영상 부호화 장치(100)에 관하여 이상에서 기술된 내용은 본 실시예에 따른 동영상 복호화 장치(800)에도 적용된다.
특히, 이하에서는 도 8에 도시된 비월 주사 영상 복호화 장치(800)에서 비월 주사 방식에 따라 영상을 복호화하는 경우를 설명하기로 한다.
엔트로피 복호화부(801)는 도 1에 도시된 비월 주사 영상 부호화 장치(100)로부터 전송된 비트스트림을 엔트로피 복호화함으로써 현재 필드와 예측 필드간의 잔차 필드의 양자화 결과에 해당하는 정수 값들과 현재 필드의 부호화 정보를 복원 한다. 역양자화부(802)는 엔트로피 복호화부(801)에 의해 복원된 정수 값들을 역양자화함으로써 현재 필드와 예측 필드간의 잔차 필드의 주파수 계수들을 복원한다. 역변환부(803)는 역양자화부(802)에 의해 복원된 주파수 계수들을 주파수 공간으로부터 색 공간으로 변환함으로써 현재 필드와 예측 필드간의 잔차 필드를 복원한다.
움직임 보상부(804)는 엔트로피 복호화부(801)에 의해 복원된 정보에 포함된 보조 참조 필드의 위치에 기초하여 선택적으로 이 정보에 포함된 주 참조 필드의 움직임 벡터를 선형 변환함으로써 이 위치에 해당하는 보조 참조 필드의 움직임 벡터를 유도할 수 있다. 만약, 영상 부호화 장치(100)에서의 움직임 추정 과정에서 어떤 보조 참조 필드의 움직임 벡터도 선택되지 않았다면, 영상 복호화 장치(100)가 영상 부호화 장치(100)로부터 수신한 비트스트림의 신택스 내에는 보조 참조 필드의 위치의 값은 존재하지 않으며, 이 경우에 움직임 보상부(804)는 보조 참조 필드의 움직임 벡터를 유도하지 않는다. 또한, 움직임 보상부(804)는 상기 신택스 내에서 주 참조 필드의 색인 또는 위치를 이용하여 동일 영상 내 존재하는 보조 참조 필드의 움직임 벡터를 유도할 수 있다.
보다 상세하게 설명하면, 움직임 보상부(804)는 주 참조 필드와 현재 필드간의 시간적 거리와 주 참조 필드와 보조 참조 필드의 극성 차이를 이용하여 선택적으로 주 참조 필드의 움직임 벡터를 선형 변환함으로써 상기 위치에 해당하는 보조 참조 필드의 움직임 벡터를 유도할 수 있다. 상기 수학식 1 내지 수학식 8을 이용한 보다 구체적인 움직임 벡터 유도 과정은 이미 설명된 바와 동일하므로 여기에서 는 생략하기로 한다.
또한, 움직임 보상부(804)는 주 참조 필드 또는 보조 참조 필드의 움직임 벡터를 이용하여 버퍼(806)에 저장된 참조 필드들 중 적어도 하나의 참조 필드로부터 현재 필드의 예측 필드를 생성한다. 보다 상세하게 설명하면, 움직임 보상부(804)는 엔트로피 복호화부(801)에 복원된 정보에 포함된 주 참조 필드의 움직임 벡터 또는 이 움직임 벡터로부터 유도된 보조 참조 필드의 움직임 벡터가 지시하는 적어도 하나의 참조 필드의 블록들의 값을 현재 필드의 블록들의 값으로 결정함으로써 현재 필드의 예측 필드를 생성한다. 가산기(805)는 움직임 보상부(804)에 의해 생성된 예측 필드에 역변환부(804)에 의해 복원된 잔차 필드를 가산함으로써 현재 필드의 복원 필드를 생성하고, 이 복원 필드를 버퍼(806)에 저장한다.
또한, 본 발명의 일실시예에 따르면, 비월 주사 영상 부호화 장치(100) 또는 비월 주사 영상 복호화 장치(800)는 확장 계층에서 필드 부호화 또는 복호화를 수행할 수 있다. 이 때, 상기 확장 계층 내에서의 부호화 또는 복호화의 내용은 도 1 내지 도 8에서 설명한 기본 계층에서의 부호화 또는 복호화와 비교하여 필드의 차이가 존재할 수 있다.
도 9는 본 발명의 일실시예에 다른 비월 주사 영상 부호화 방법을 도시한 동작 흐름도이다.
도 9에 도시된 바와 같이 비월 주사 영상 부호화 방법은 단계(S901) 내지 단계(S905)로 수행될 수 있다. 또한, 비월 주사 영상 부호화 방법은 도 1에 도시된 비월 주사 영상 부호화 장치(100)에 의해 수행될 수 있다.
단계(S901)에서 비월 주사 영상 부호화 장치(100)는 주 참조 필드를 기준으로 현재 영상의 절반에 해당하는 현재 필드의 움직임을 추정함으로써 상기 주 참조 필드의 움직임 벡터를 산출할 수 있다.
단계(S902)에서 비월 주사 영상 부호화 장치(100)는 상기 주 참조 필드와 연관된 보조 참조 필드를 선택할 수 있다.
단계(S903)에서 비월 주사 영상 부호화 장치(100)는 상기 주 참조 필드의 움직임 벡터로부터 상기 보조 참조 필드의 움직임 벡터를 유도할 수 있다.
단계(S904)에서 비월 주사 영상 부호화 장치(100)는 상기 주 참조 필드의 움직임 벡터 또는 상기 보조 참조 필드의 움직임 벡터를 이용하여 상기 현재 필드의 예측 필드를 생성할 수 있다.
단계(S905)에서 비월 주사 영상 부호화 장치(100)는 상기 현재 필드 및 예측 필드 상호간의 잔차 필드를 부호화할 수 있다.
또한, 이와 같은 비월 주사 영상 부호화 방법에 대하여 도 9를 통하여 설명하지 아니한 사항은 앞서 도 1 내지 도 7을 통해 설명한 내용과 동일하거나 당업자라면 설명한 내용으로부터 용이하게 유추할 수 있어 이하 설명을 생략하도록 하겠다.
도 10은 본 발명의 일실시예에 다른 비월 주사 영상 복호화 방법을 도시한 동작 흐름도이다.
도 10에 도시된 바와 같이 비월 주사 영상 복호화 방법은 단계(S1001) 내지 단계(S1004)로 수행될 수 있다. 또한, 비월 주사 영상 부호화 방법은 도 8에 도시 된 비월 주사 영상 복호화 장치(800)에 의해 수행될 수 있다.
단계(S1001)에서 비월 주사 영상 복호화 장치(800)는 비트스트림으로부터 현재 영상의 절반에 해당하는 현재 필드 및 예측 필드 상호간의 잔차 필드를 복원할 수 있다.
단계(S1002)에서 비월 주사 영상 복호화 장치(800)는 상기 현재 필드의 참조 필드 중 주 참조 필드의 움직임 벡터로부터 보조 참조 필드의 움직임 벡터를 유도할 수 있다.
단계(S1003)에서 비월 주사 영상 복호화 장치(800)는 상기 주 참조 필드의 움직임 벡터 또는 상기 보조 참조 필드의 움직임 벡터를 이용하여 상기 예측 필드를 생성할 수 있다.
단계(S1004)에서 비월 주사 영상 복호화 장치(800)는 상기 생성된 예측 필드에 상기 복원된 잔차 필드를 가산함으로써 상기 현재 필드를 복원할 수 있다.
또한, 이와 같은 비월 주사 영상 복호화 방법에 대하여 도 10을 통해 설명하지 아니한 사항은 앞서 도 8을 통해 설명한 내용과 동일하거나 당업자라면 설명한 내용으로부터 용이하게 유추할 수 있어 이하 설명을 생략하도록 하겠다.
본 발명에 따른 비월 주사 영상 부호화 또는 복호화 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨 터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.
그러므로, 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 아니되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.
도 1은 본 발명의 일실시예에 따른 비월 주사 영상 부호화 장치를 나타낸 구성도이다.
도 2는 주 참조 필드 및 보조 참조 필드가 현재 필드를 기준으로 과거 시간의 영상에 포함되는 경우, 현재 필드, 주 참조 필드 및 보조 참조 필드의 위치 관계의 일예를 도시한 도면이다.
도 3는 주 참조 필드 및 보조 참조 필드가 현재 필드를 기준으로 미래 시간의 영상에 포함되는 경우, 현재 필드, 주 참조 필드 및 보조 참조 필드의 위치 관계의 일예를 도시한 도면이다.
도 4는 현재 필드와 주 참조 필드의 극성이 같고, 주 참조 필드가 과거 시간의 필드인 경우를 설명하기 위한 일예를 도시한 도면이다.
도 5는 현재 필드와 주 참조 필드의 극성이 다르고, 주 참조 필드가 과거 시간의 필드인 경우를 설명하기 위한 일예를 도시한 도면이다.
도 6은 현재 필드와 주 참조 필드의 극성이 같고, 주 참조 필드가 미래 시간의 필드인 경우를 설명하기 위한 일예를 도시한 도면이다.
도 7은 현재 필드와 주 참조 필드의 극성이 다르고, 주 참조 필드가 미래 시간의 필드인 경우를 설명하기 위한 일예를 도시한 도면이다.
도 8은 본 발명의 일실시예에 다른 비월 주사 영상 복호화 장치를 나타낸 구성도이다.
도 9는 본 발명의 일실시예에 다른 비월 주사 영상 부호화 방법을 도시한 동 작 흐름도이다.
도 10은 본 발명의 일실시예에 다른 비월 주사 영상 복호화 방법을 도시한 동작 흐름도이다.
<도면의 주요 부분에 대한 부호의 설명>
100: 비월 주사 영상 부호화 장치
800: 비월 주사 영상 복호화 장치

Claims (20)

  1. 비월 주사 영상 부호화 방법에 있어서,
    주 참조 필드를 기준으로 현재 영상의 절반에 해당하는 현재 필드의 움직임을 추정함으로써 상기 주 참조 필드의 움직임 벡터를 산출하는 단계;
    상기 주 참조 필드와 연관된 보조 참조 필드를 선택하는 단계;
    상기 주 참조 필드의 움직임 벡터로부터 상기 보조 참조 필드의 움직임 벡터를 유도하는 단계;
    상기 주 참조 필드의 움직임 벡터 또는 상기 보조 참조 필드의 움직임 벡터를 이용하여 상기 현재 필드의 예측 필드를 생성하는 단계; 및
    상기 현재 필드 및 예측 필드 상호간의 잔차 필드를 부호화하는 단계
    를 포함하는 비월 주사 영상 부호화 방법.
  2. 제1항에 있어서,
    상기 주 참조 필드는,
    상기 현재 필드를 기준으로 과거 시간의 필드인 것을 특징으로 하는 비월 주사 영상 부호화 방법.
  3. 제1항에 있어서,
    상기 주 참조 필드는,
    상기 현재 필드를 기준으로 미래 시간의 필드인 것을 특징으로 하는 비월 주사 영상 부호화 방법.
  4. 제1항에 있어서,
    주 참조 필드와 연관된 보조 참조 필드를 선택하는 상기 단계는,
    상기 주 참조 필드와 다른 극성의 필드를 상기 보조 참조 필드로 선택하는 것을 특징으로 하는 비월 주사 영상 부호화 방법.
  5. 제1항에 있어서,
    주 참조 필드와 연관된 보조 참조 필드를 선택하는 상기 단계는,
    상기 주 참조 필드가 속한 동일한 영상 내 다른 극성의 필드를 상기 보조 참조 필드로 선택하는 것을 특징으로 하는 비월 주사 영상 부호화 방법.
  6. 제1항에 있어서,
    주 참조 필드의 움직임 벡터로부터 보조 참조 필드의 움직임 벡터를 유도하는 상기 단계는,
    상기 주 참조 필드의 움직임 벡터를 기반으로 선형 변환을 수행하여 상기 보조 참조 필드의 움직임 벡터를 유도하는 것을 특징으로 하는 비월 주사 영상 부호화 방법.
  7. 제2항에 있어서,
    상기 선형 변환은,
    상기 주 참조 필드 및 상기 현재 필드 상호간의 시간적 거리를 이용하여 수행되는 것을 특징으로 하는 비월 주사 영상 부호화 방법.
  8. 제1항에 있어서,
    상기 주 참조 필드의 움직임 벡터에 따른 현재 필드의 압축률과 상기 보조 참조 필드의 움직임 벡터에 따른 현재 필드의 압축률 상호간의 비교 결과에 따라 상기 주 참조 필드의 움직임 벡터 또는 상기 보조 참조 필드의 움직임 벡터 중 어느 하나를 선택하는 단계
    를 더 포함하는 비월 주사 영상 부호화 방법.
  9. 제1항에 있어서,
    소정의 신택스를 갖는 주 참조 필드의 움직임 벡터를 부호화하는 단계
    를 더 포함하는 비월 주사 영상 부호화 방법.
  10. 비월 주사 영상 복호화 방법에 있어서,
    비트스트림으로부터 현재 영상의 절반에 해당하는 현재 필드 및 예측 필드 상호간의 잔차 필드를 복원하는 단계;
    상기 현재 필드의 참조 필드 중 주 참조 필드의 움직임 벡터로부터 보조 참 조 필드의 움직임 벡터를 유도하는 단계;
    상기 주 참조 필드의 움직임 벡터 또는 상기 보조 참조 필드의 움직임 벡터를 이용하여 상기 예측 필드를 생성하는 단계; 및
    상기 생성된 예측 필드에 상기 복원된 잔차 필드를 가산함으로써 상기 현재 필드를 복원하는 단계
    를 포함하는 비월 주사 영상 복호화 방법.
  11. 제10항에 있어서,
    상기 주 참조 필드는,
    상기 현재 필드를 기준으로 과거 시간의 필드인 것을 특징으로 하는 비월 주사 영상 복호화 방법.
  12. 제10항에 있어서,
    상기 주 참조 필드는,
    상기 현재 필드를 기준으로 미래 시간의 필드인 것을 특징으로 하는 비월 주사 영상 복호화 방법.
  13. 제10항에 있어서,
    상기 보조 참조 필드는,
    상기 주 참조 필드와 다른 극성의 필드인 것을 특징으로 하는 비월 주사 영 상 복호화 방법.
  14. 제10항에 있어서,
    상기 보조 참조 필드는,
    상기 주 참조 필드가 속한 동일한 영상 내 다른 극성의 필드인 것을 특징으로 하는 비월 주사 영상 복호화 방법.
  15. 제10항에 있어서,
    주 참조 필드의 움직임 벡터로부터 보조 참조 필드의 움직임 벡터를 유도하는 상기 단계는,
    상기 현재 필드의 참조 필드 중 주 참조 필드의 움직임 벡터를 기반으로 선형 변환을 수행하여 상기 보조 참조 필드의 움직임 벡터를 유도하는 것을 특징으로 하는 비월 주사 영상 복호화 방법.
  16. 제15항에 있어서,
    상기 선형 변환은,
    상기 주 참조 필드 및 상기 현재 필드 상호간의 시간적 거리를 이용하여 수행되는 것을 특징으로 하는 비월 주사 영상 복호화 방법.
  17. 제10항에 있어서,
    상기 비월 주사 영상 복호화 방법은,
    상기 비트스트림으로부터 상기 현재 영상의 부호화 정보를 복원하는 단계
    를 더 포함하고,
    주 참조 필드의 움직임 벡터로부터 보조 참조 필드의 움직임 벡터를 유도하는 상기 단계는,
    상기 부호화 정보에 포함된 주 참조 필드의 움직임 벡터를 선형변환 함으로써 상기 보조 참조 필드의 움직임 벡터를 유도하는 것을 특징으로 하는 비월 주사 영상 복호화 방법.
  18. 제1항 내지 제17항 중 어느 한 항의 방법을 실행하기 위한 프로그램이 기록되어 있는 것을 특징으로 하는 컴퓨터에서 판독 가능한 기록 매체.
  19. 주 참조 필드를 기준으로 현재 영상의 절반에 해당하는 현재 필드의 움직임을 추정함으로써 상기 주 참조 필드의 움직임 벡터를 산출하고, 상기 주 참조 필드와 연관된 보조 참조 필드를 선택하고, 상기 주 참조 필드의 움직임 벡터로부터 상기 보조 참조 필드의 움직임 벡터를 유도하는 움직임 추정부;
    상기 주 참조 필드의 움직임 벡터 또는 상기 보조 참조 필드의 움직임 벡터를 이용하여 상기 현재 필드의 예측 필드를 생성하는 움직임 보상부; 및
    상기 현재 필드 및 예측 필드 상호간의 잔차 필드를 부호화하는 부호화부
    를 포함하는 비월 주사 영상 부호화 장치.
  20. 비트스트림으로부터 현재 영상의 절반에 해당하는 현재 필드 및 예측 필드 상호간의 잔차 필드를 복원하는 복호화부;
    상기 현재 필드의 참조 필드 중 주 참조 필드의 움직임 벡터로부터 보조 참조 필드의 움직임 벡터를 유도하고, 상기 주 참조 필드의 움직임 벡터 또는 상기 보조 참조 필드의 움직임 벡터를 이용하여 상기 예측 필드를 생성하는 움직임 보상부; 및
    상기 생성된 예측 필드에 상기 복원된 잔차 필드를 가산함으로써 상기 현재 필드를 복원하는 가산기
    를 포함하는 비월 주사 영상 복호화 장치.
KR20080043692A 2008-05-10 2008-05-10 움직임 벡터 변환을 이용한 비월 주사 영상 부호화/복호화방법 및 장치 KR101445791B1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR20080043692A KR101445791B1 (ko) 2008-05-10 2008-05-10 움직임 벡터 변환을 이용한 비월 주사 영상 부호화/복호화방법 및 장치
EP20090159490 EP2117234A3 (en) 2008-05-10 2009-05-06 Method and apparatus for encoding/decoding with interlace scanning based motion vector transformation
US12/453,394 US20090279610A1 (en) 2008-05-10 2009-05-08 Method and apparatus for encoding/decoding with interlace scanning based motion vector transformation
JP2009113965A JP5356909B2 (ja) 2008-05-10 2009-05-08 動きベクトル変換を用いた飛越し走査映像符号化／復号化方法および装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR20080043692A KR101445791B1 (ko) 2008-05-10 2008-05-10 움직임 벡터 변환을 이용한 비월 주사 영상 부호화/복호화방법 및 장치

Publications (2)

Publication Number Publication Date
KR20090117858A true KR20090117858A (ko) 2009-11-13
KR101445791B1 KR101445791B1 (ko) 2014-10-02

Family

ID=40996751

Family Applications (1)

Application Number Title Priority Date Filing Date
KR20080043692A KR101445791B1 (ko) 2008-05-10 2008-05-10 움직임 벡터 변환을 이용한 비월 주사 영상 부호화/복호화방법 및 장치

Country Status (4)

Country Link
US (1) US20090279610A1 (ko)
EP (1) EP2117234A3 (ko)
JP (1) JP5356909B2 (ko)
KR (1) KR101445791B1 (ko)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5821542B2 (ja) * 2011-11-07 2015-11-24 富士通株式会社 動画像符号化装置、および動画像復号装置
EP2805511B1 (en) 2012-01-20 2019-03-06 Sun Patent Trust Methods and apparatus for encoding and decoding video using temporal motion vector prediction
KR101996682B1 (ko) 2012-02-03 2019-07-04 선 페이턴트 트러스트 화상 부호화 방법, 화상 복호 방법, 화상 부호화 장치, 화상 복호 장치 및 화상 부호화 복호 장치
CA2866121C (en) 2012-03-06 2018-04-24 Panasonic Intellectual Property Corporation Of America Moving picture coding method, moving picture decoding method, moving picture coding apparatus, moving picture decoding apparatus, and moving picture coding and decoding apparatus

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5093720A (en) * 1990-08-20 1992-03-03 General Instrument Corporation Motion compensation for interlaced digital television signals
DE69123705T2 (de) * 1990-10-31 1997-04-10 Victor Company Of Japan Verfahren zur Kompression von bewegten Bildsignalen nach dem Zeilensprungverfahren
US5317397A (en) * 1991-05-31 1994-05-31 Kabushiki Kaisha Toshiba Predictive coding using spatial-temporal filtering and plural motion vectors
JP3201343B2 (ja) * 1992-07-03 2001-08-20 ケイディーディーアイ株式会社 インターレース動画像の動き補償予測装置
JP2852870B2 (ja) * 1994-07-11 1999-02-03 株式会社グラフィックス・コミュニケーション・ラボラトリーズ 画像符号化における動ベクトル検出方法と装置
JPH10224796A (ja) * 1997-02-04 1998-08-21 Hitachi Ltd 動きベクトル検出装置
US5825930A (en) * 1997-03-05 1998-10-20 Samsung Electronics Co., Ltd. Motion estimating method
US6980596B2 (en) * 2001-11-27 2005-12-27 General Instrument Corporation Macroblock level adaptive frame/field coding for digital video content
US20030099294A1 (en) * 2001-11-27 2003-05-29 Limin Wang Picture level adaptive frame/field coding for digital video content
JP2004007379A (ja) * 2002-04-10 2004-01-08 Toshiba Corp 動画像符号化方法及び動画像復号化方法
US7113543B2 (en) * 2003-02-03 2006-09-26 Texas Instruments Incorporated Video encoding
KR20040070490A (ko) * 2003-02-03 2004-08-11 삼성전자주식회사 비월 주사 방식의 동영상 부호화/복호화 방법 및 그 장치
US7567617B2 (en) * 2003-09-07 2009-07-28 Microsoft Corporation Predicting motion vectors for fields of forward-predicted interlaced video frames
US8064520B2 (en) * 2003-09-07 2011-11-22 Microsoft Corporation Advanced bi-directional predictive coding of interlaced video
US7599438B2 (en) * 2003-09-07 2009-10-06 Microsoft Corporation Motion vector block pattern coding and decoding
EP1592255A1 (en) * 2004-04-30 2005-11-02 Matsushita Electric Industrial Co., Ltd. Motion vector estimation with improved motion vector selection
CN101283600B (zh) * 2005-10-05 2012-10-03 松下电器产业株式会社 参考图像选择方法以及装置
KR101442608B1 (ko) * 2008-02-05 2014-09-25 삼성전자주식회사 영상을 효율적으로 부호화/복호화하는 방법 및 장치

Also Published As

Publication number Publication date
JP5356909B2 (ja) 2013-12-04
EP2117234A3 (en) 2010-07-28
US20090279610A1 (en) 2009-11-12
JP2009273132A (ja) 2009-11-19
EP2117234A2 (en) 2009-11-11
KR101445791B1 (ko) 2014-10-02

Similar Documents

Publication Publication Date Title
KR101830352B1 (ko) 스킵모드를 이용한 동영상 부호화 및 복호화 방법 및 장치
KR101442608B1 (ko) 영상을 효율적으로 부호화/복호화하는 방법 및 장치
JP2014158305A (ja) 予測映像の生成方法、装置及び記録媒体
WO2012077928A1 (ko) 초고해상도 영상을 부호화하는 장치 및 방법, 그리고 복호화 장치 및 방법
KR20080064355A (ko) 영상의 예측 부호화 방법 및 장치, 그 복호화 방법 및 장치
KR20080088040A (ko) 영상의 부호화, 복호화 방법 및 장치
KR101973568B1 (ko) 영상 변환 부호화/복호화 방법 및 장치
KR20130085838A (ko) 가중치예측을 이용한 영상 부호화/복호화 방법 및 장치
KR20230074100A (ko) 인트라 예측 방법 및 그 장치
KR20120011428A (ko) 블록 분할예측을 이용한 영상 부호화/복호화 방법 및 장치
KR20120009861A (ko) 확장된 스킵모드를 이용한 영상 부호화/복호화 방법 및 장치
KR101375667B1 (ko) 영상의 부호화, 복호화 방법 및 장치
KR20230110459A (ko) 초고해상도 영상을 부호화하는 장치 및 방법, 그리고 복호화 장치 및 방법
KR101445791B1 (ko) 움직임 벡터 변환을 이용한 비월 주사 영상 부호화/복호화방법 및 장치
JPWO2017010073A1 (ja) 動画像符号化装置、動画像符号化方法および動画像符号化プログラムを記憶する記録媒体
KR20090099786A (ko) 필드 픽쳐 부호화/복호화 장치 및 그 방법
JP6678357B2 (ja) ビデオ符号化システムにおける動きベクトルの選択及び予測方法
KR20120080552A (ko) 적응적 움직임 벡터 부호화/복호화를 이용한 영상 부호화/복호화 방법 및 장치
KR20110098089A (ko) 영상 부호화 장치 및 그 방법, 및 영상 복호화 장치 및 그 방법
KR100667815B1 (ko) 영상 부호화 및 복호화 장치와, 그 방법, 및 이를 수행하기위한 프로그램이 기록된 기록 매체
KR20090027091A (ko) 동영상 부호화/복호화 방법 및 장치
JPWO2011083520A1 (ja) 動画像符号化装置および動画像復号装置
KR20170126817A (ko) 고속 영상 부호화 방법 및 장치
KR20110058677A (ko) 예측을 위한 컬러 플레인간의 상관 파라미터 추출 장치와 방법, 및 그것을 이용한 영상 부호화/복호화 장치 및 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
LAPS Lapse due to unpaid annual fee