KR100703734B1 - Ｄｃｔ 업샘플링을 이용한 다 계층 비디오 인코딩/디코딩방법 및 장치 - Google Patents

Ｄｃｔ 업샘플링을 이용한 다 계층 비디오 인코딩/디코딩방법 및 장치 Download PDF

Info

Publication number
KR100703734B1
KR100703734B1 KR1020050006810A KR20050006810A KR100703734B1 KR 100703734 B1 KR100703734 B1 KR 100703734B1 KR 1020050006810 A KR1020050006810 A KR 1020050006810A KR 20050006810 A KR20050006810 A KR 20050006810A KR 100703734 B1 KR100703734 B1 KR 100703734B1
Authority
KR
South Korea
Prior art keywords
block
dct
frame
base layer
upsampling
Prior art date
Application number
KR1020050006810A
Other languages
English (en)
Other versions
KR20060063533A (ko
Inventor
한우진
차상창
하호진
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to PCT/KR2005/003914 priority Critical patent/WO2006059847A1/en
Priority to EP05820695A priority patent/EP1817918A1/en
Priority to JP2007544256A priority patent/JP2008522536A/ja
Priority to US11/288,210 priority patent/US20060120448A1/en
Publication of KR20060063533A publication Critical patent/KR20060063533A/ko
Application granted granted Critical
Publication of KR100703734B1 publication Critical patent/KR100703734B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/577—Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F16—ENGINEERING ELEMENTS AND UNITS; GENERAL MEASURES FOR PRODUCING AND MAINTAINING EFFECTIVE FUNCTIONING OF MACHINES OR INSTALLATIONS; THERMAL INSULATION IN GENERAL
    • F16F—SPRINGS; SHOCK-ABSORBERS; MEANS FOR DAMPING VIBRATION
    • F16F15/00—Suppression of vibrations in systems; Means or arrangements for avoiding or reducing out-of-balance forces, e.g. due to motion
    • F16F15/10—Suppression of vibrations in rotating systems by making use of members moving with the system
    • F16F15/16—Suppression of vibrations in rotating systems by making use of members moving with the system using a fluid or pasty material
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/48—Other medical applications
    • A61B5/4869—Determining body composition
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F16—ENGINEERING ELEMENTS AND UNITS; GENERAL MEASURES FOR PRODUCING AND MAINTAINING EFFECTIVE FUNCTIONING OF MACHINES OR INSTALLATIONS; THERMAL INSULATION IN GENERAL
    • F16F—SPRINGS; SHOCK-ABSORBERS; MEANS FOR DAMPING VIBRATION
    • F16F7/00—Vibration-dampers; Shock-absorbers
    • F16F7/14—Vibration-dampers; Shock-absorbers of cable support type, i.e. frictionally-engaged loop-forming cables
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/31—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the temporal domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/33—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the spatial domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Mechanical Engineering (AREA)
  • Medical Informatics (AREA)
  • Pathology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Molecular Biology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Acoustics & Sound (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

본 발명은 다 계층 비디오 코딩시 계층간 예측을 수행하기 위하여 기초 계층을 보다 효율적으로 업샘플링하는 방법 및 장치에 관한 것이다.
본 발명에 따른 다 계층 기반의 비디오 인코딩 방법은, 기초 계층 프레임을 부호화한 후 복원하는 단계와, 향상 계층의 제1 블록에 대응되고 상기 복원된 프레임에 포함되는 소정 크기의 제2 블록을 DCT 업샘플링하는 단계와, 상기 제1 블록과 상기 업샘플링 결과 생성되는 제3 블록과의 차분을 구하는 단계와, 상기 차분을 부호화하는 단계로 이루어진다.
다 계층 비디오 코딩, DCT 업샘플링, DCT 변환, 역 DCT 변환, 제로 패딩

Description

ＤＣＴ 업샘플링을 이용한 다 계층 비디오 인코딩/디코딩 방법 및 장치{Method and apparatus for encoding/decoding multi-layer video using DCT upsampling}
도 1은 다 계층 구조를 이용한 스케일러블 비디오 코덱의 한 예를 보여주는 도면.
도 2는 기초 계층으로부터 향상 계층을 예측하기 위한 종래의 업샘플링 과정을 나타내는 도면.
도 3은 본 발명에서 사용되는 DCT 업샘플링 과정을 도식적으로 나타낸 도면.
도 4는 제로 패딩 과정의 일 예를 보여주는 도면.
도 5는 계층적 가변 크기 모션 블록 단위로 계층간 예측을 수행하는 예를 보여주는 도면.
도 6은 본 발명의 제1 실시예에 따른 비디오 인코더의 구성을 도시한 블록도.
도 7은 본 발명의 일 실시예에 따른 DCT 업샘플러의 구성을 도시한 블록도.
도 8은 발명의 제2 실시예에 따른 비디오 인코더의 구성을 도시한 블록도.
도 9는 본 발명의 제3 실시예에 따른 비디오 인코더의 구성을 도시한 블록도.
도 10은 도 6의 비디오 인코더에 대응되는 비디오 디코더의 구성의 일 예를 도시한 블록도.
도 11은 도 8의 비디오 인코더에 대응되는 비디오 디코더의 구성의 일 예를 도시한 블록도.
도 12는 도 9의 비디오 인코더에 대응되는 비디오 디코더의 구성의 일 예를 도시한 블록도.
(도면의 주요부분에 대한 부호 설명)
100 : 기초 계층 인코더 200, 300 : 향상 계층 인코더
400 : 기초 계층 디코더 500, 600 : 향상 계층 디코더
900 : DCT 업샘플러 910 : DCT 변환부
920 : 제로 패딩부 930 : 역 DCT 변환부
1000, 2000, 3000 : 비디오 인코더 1500, 2500, 3500 : 비디오 디코더
본 발명은 비디오 압축에 관한 것으로, 보다 상세하게는 다 계층 비디오 코딩시 계층간 예측을 수행하기 위하여 기초 계층을 보다 효율적으로 업샘플링하는 방법 및 장치에 관한 것이다.
인터넷을 포함한 정보통신 기술이 발달함에 따라 문자, 음성뿐만 아니라 화상통신이 증가하고 있다. 기존의 문자 위주의 통신 방식으로는 소비자의 다양한 욕구를 충족시키기에는 부족하며, 이에 따라 문자, 영상, 음악 등 다양한 형태의 정보를 수용할 수 있는 멀티미디어 서비스가 증가하고 있다. 멀티미디어 데이터는 그 양이 방대하여 대용량의 저장매체를 필요로 하며 전송시에 넓은 대역폭을 필요로 한다. 따라서 문자, 영상, 오디오를 포함한 멀티미디어 데이터를 전송하기 위해서는 압축 코딩기법을 사용하는 것이 필수적이다.
데이터를 압축하는 기본적인 원리는 데이터의 중복(redundancy) 요소를 제거하는 과정이다. 이미지에서 동일한 색이나 객체가 반복되는 것과 같은 공간적 중복이나, 동영상 프레임에서 인접 프레임이 거의 변화가 없는 경우나 오디오에서 같은 음이 계속 반복되는 것과 같은 시간적 중복, 또는 인간의 시각 및 지각 능력이 높은 주파수에 둔감한 것을 고려한 심리시각 중복을 없앰으로서 데이터를 압축할 수 있다. 일반적인 비디오 코딩 방법에 있어서, 시간적 중복은 모션 보상에 근거한 시간적 필터링(temporal filtering)에 의해 제거하고, 공간적 중복은 공간적 변환(spatial transform)에 의해 제거한다.
데이터의 중복을 제거한 후 생성되는 멀티미디어를 전송하기 위해서는, 전송매체가 필요한데 그 성은은 전송매체 별로 차이가 있다. 현재 사용되는 전송매체는 초당 수십 메가비트의 데이터를 전송할 수 있는 초고속통신망부터 초당 384 kbit의 전송속도를 갖는 이동통신망 등과 같이 다양한 전송속도를 갖는다. 이와 같은 환경에서, 다양한 속도의 전송매체를 지원하기 위하여 또는 전송환경에 따라 이에 적합한 전송률로 멀티미디어를 전송할 수 있도록 하는, 즉 스케일러빌리티(scalability)를 갖는 데이터 코딩방법이 멀티미디어 환경에 보다 적합하다 할 수 있다.
이러한 스케일러빌리티란, 하나의 압축된 비트 스트림에 대하여 비트 레이트, 에러율, 시스템 자원 등의 조건에 따라 디코더(decoder) 단 또는 프리 디코더(pre-decoder) 단에서 부분적 디코딩을 할 수 있게 해주는 부호화 방식이다. 디코더 또는 프리 디코더는 이러한 스케일러빌리티를 갖는 코딩 방식으로 부호화된 비트 스 트림의 일부만을 취하여 다른 화질, 해상도, 또는 프레임 레이트를 갖는 멀티미디어 시퀀스를 복원할 수 있다.
이러한 스케일러블 비디오 코딩에 관하여, 이미 MPEG-21(moving picture experts group-21) PART-13에서 그 표준화 작업을 진행 중에 있다. 이 중에서도, 다 계층(multi-layered) 기반의 비디오 코딩 방법에 의하여 스케일러빌리티를 구현하고자 하는 많은 시도들이 있었다. 예를 들면, 기초 계층(base layer), 제1 향상 계층(enhanced layer 1), 제2 향상 계층(enhanced layer 2)의 다 계층을 두어, 각각의 계층은 서로 다른 해상도(QCIF, CIF, 2CIF), 또는 서로 다른 프레임율(frame-rate)을 갖도록 구성할 수 있다.
도 1은 다 계층 구조를 이용한 스케일러블 비디오 코덱의 한 예를 보여주고 있다. 먼저 기초 계층을 QCIF(Quarter Common Intermediate Format), 15Hz(프레임 레이트)로 정의하고, 제1 향상 계층을 CIF(Common Intermediate Format), 30hz로, 제2 향상 계층을 SD(Standard Definition), 60hz로 정의한다.
이와 같은 다 계층 비디오 프레임을 인코딩하는 데에는 계층 간의 관련성을 이용할 수 있는데, 예를 들어, 제1 향상 계층의 비디오 프레임 중 어떤 영역(12)은, 기초 계층의 비디오 프레임 중에서 대응되는 영역(13)으로부터의 예측을 통하여 효율적으로 인코딩된다. 마찬가지로 제2 향상 계층 비디오 프레임 중의 영역(11)은 상기 제1 향상 계층의 영역(12)로부터의 예측을 통하여 효율적으로 인코딩될 수 있다.
그런데, 다 계층 비디오에 있어서 각 계층 별로 해상도가 상이한 경우에는 상기 예측을 수행하기 이전에 기초 계층의 대응되는 영역의 이미지를 업샘플링할 필요가 있다.
도 2는 기초 계층으로부터 향상 계층을 예측하기 위한 종래의 업샘플링 과정을 나타내는 도면이다. 도 2와 같이 향상 계층 프레임(20)의 현재 블록(40)은 기초 계층 프레임(10)의 소정 블록(30)과 대응된다. 이 때, 향상 계층(CIF)의 해상도는 기초 계층(QCIF)의 2배이므로, 기초 계층 프레임(10)의 블록(30)은 2배 만큼 업샘플링된다. 종래에는 이러한 업샘플링 방법으로서, H.264에서 제공하는 반 픽셀 보간법(half-pel interpolation)이나, 바이-리니어 보간법(bi-linear interpolation) 등이 사용되었다. 그러나, 이러한 종래의 업샘플링 방법은 화질을 부드럽게 하는 효과가 있어서, 어떤 하나의 이미지를 확대하여 관찰하는 경우에는 시각적으로는 좋은 결과를 얻을 수 있지만, 이와 같은 향상 계층의 예측을 위하여 사용되는 경우에는 오히려 문제가 될 수 있다.
업샘플링된 블록(35)을 DCT 변환하여 생성되는 DCT 블록(37)은, 현재 블록(40)을 DCT 변환하여 생성되는 DCT 블록(45)과는 미스매치(mismatch)가 발생할 수 있기 때문이다. 즉, DCT 블록(37)에서는 원래 블록(30)이 가지고 있는 저주파 성분을 제대로 복원하지 못하고 일부 정보가 손실되므로 공간적 변환에 있어, DCT 변환을 이용하는 H.264, MPEG-4와 같은 코덱에서는 비효율적이 될 수 있다.
본 발명은 상기한 문제점을 고려하여 창안된 것으로, 향상 계층의 예측을 위하여 제공되는 기초 계층의 영역을 업샘플링하는 경우, 상기 기초 계층 영역의 저주파 성분을 가능한한 보존하는 것을 목적으로 한다.
또한, 본 발명은 향상 계층에 대한 공간적 변환으로서 DCT 변환이 사용되는 경우에 상기 변환과 기초 계층에 대한 업샘플링 간에 발생하는 미스매치를 감소시키는 것을 목적으로 한다.
상기한 목적을 달성하기 위하여, 본 발명에 따른 다 계층 기반의 비디오 인코딩 방법은, 기초 계층 프레임을 부호화한 후 복원하는 단계; 향상 계층의 제1 블록에 대응되고 상기 복원된 프레임에 포함되는 소정 크기의 제2 블록을 DCT 업샘플링하는 단계; 상기 제1 블록과 상기 업샘플링 결과 생성되는 제3 블록과의 차분을 구하는 단계; 및 상기 차분을 부호화하는 단계를 포함한다.
상기한 목적을 달성하기 위하여, 본 발명에 따른 다 계층 기반의 비디오 인코딩 방법은, 기초 계층 프레임을 부호화한 이로부터 기초 계층의 잔여 프레임을 복원하는 단계; 향상 계층의 잔여 프레임에 포함되는 제1 잔여 블록에 대응되고 상기 복원된 기초 계층의 잔여 프레임에 포함되는 소정 크기의 제2 블록을 DCT 업샘플링하는 단계; 상기 제1 블록과 상기 업샘플링 결과 생성되는 제3 블록과의 차분을 구하는 단계; 및 상기 차분을 부호화하는 단계를 포함한다.
상기한 목적을 달성하기 위하여, 본 발명에 따른 다 계층 기반의 비디오 인코딩 방법은, 기초 계층 프레임을 부호화한 후 역 양자화하는 단계; 향상 계층의 제1 블록에 대응되고 상기 역 양자화된 프레임에 포함되는 소정 크기의 제2 블록을 DCT 업샘플링하는 단계; 상기 제1 블록과 상기 업샘플링 결과 생성되는 제3 블록과의 차분을 구하는 단계; 및 상기 차분을 부호화하는 단계를 포함한다.
상기한 목적을 달성하기 위하여, 본 발명에 따른 다 계층 기반의 비디오 디코딩 방법은, 기초 계층 비트스트림으로부터 기초 계층 프레임을 복원하는 단계; 향상 계층 비트스트림으로부터 차이 프레임을 복원하는 단계; 상기 차이 프레임의 제1 블록에 대응되고 상기 복원된 기초 계층 프레임에 포함되는 소정 크기의 제2 블록을 DCT 업샘플링하는 단계; 및 상기 제1 블록과 상기 업샘플링 결과 생성되는 제3 블록을 가산하는 단계를 포함한다.
상기한 목적을 달성하기 위하여, 본 발명에 따른 다 계층 기반의 비디오 디코딩 방법은, 기초 계층 비트스트림으로부터 기초 계층 프레임을 복원하는 단계; 향상 계층 비트스트림으로부터 차이 프레임을 복원하는 단계; 상기 차이 프레임의 제1 블록에 대응되고 상기 복원된 기초 계층 프레임에 포함되는 소정 크기의 제2 블록을 DCT 업샘플링하는 단계; 상기 제1 블록과 상기 업샘플링 결과 생성되는 제3 블록을 가산하는 단계; 및 상기 가산된 결과 생성되는 제4 블록 및 모션 보상 프레임 중에서 상기 제4 블록과 대응되는 블록을 가산하는 단계를 포함한다.
상기한 목적을 달성하기 위하여, 본 발명에 따른 다 계층 기반의 비디오 디코딩 방법은, 기초 계층 비트스트림으로부터 텍스쳐 데이터를 추출하고 이를 역 양자화하는 단계; 향상 계층 비트스트림으로부터 차이 프레임을 복원하는 단계; 상기 차이 프레임의 제1 블록에 대응되고 상기 역 양자화된 결과에 포함되는 소정 크기의 제2 블록을 DCT 업샘플링하는 단계; 및 상기 제1 블록과 상기 업샘플링 결과 생성되는 제3 블록을 가산하는 단계를 포함한다.
상기한 목적을 달성하기 위하여, 본 발명에 따른 다 계층 기반의 비디오 인코더는, 기초 계층 프레임을 부호화한 후 복원하는 수단; 향상 계층의 제1 블록에 대응되고 상기 복원된 프레임에 포함되는 소정 크기의 제2 블록을 DCT 업샘플링하는 수단; 상기 제1 블록과 상기 업샘플링 결과 생성되는 제3 블록과의 차분을 구하는 수단; 및 상기 차분을 부호화하는 수단을 포함한다.
상기한 목적을 달성하기 위하여, 본 발명에 따른 다 계층 기반의 비디오 디코더는, 기초 계층 비트스트림으로부터 기초 계층 프레임을 복원하는 수단; 향상 계층 비트스트림으로부터 차이 프레임을 복원하는 수단; 상기 차이 프레임의 제1 블록에 대응되고 상기 복원된 기초 계층 프레임에 포함되는 소정 크기의 제2 블록을 DCT 업샘플링하는 수단; 및 상기 제1 블록과 상기 업샘플링 결과 생성되는 제3 블록을 가산하는 수단을 포함한다.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 상세히 설명한다. 본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.
도 3은 본 발명에서 사용되는 DCT 업샘플링 과정을 도식적으로 나타낸 도면이다. 먼저, 기초 계층 프레임(10)의 대응되는 블록(30)을 DCT 변환한다(S1). DCT 변환 결과 생성되는 DCT 블록(31)에 제로 패딩(zero-padding)을 부가하여 현재 블록(40)의 크기로 확대된 블록(90)을 생성한다(S2). 이와 같은 제로 패딩 과정은 도 4의 예에서 보는 바와 같이, 블록(30)의 DCT 계수들(y00 내지 y33)은 기초 계층에 대한 향상 계층의 해상도 배율만큼 확대된 블록(90)의 좌상단에 그대로 채우고, 나머지 영역(95)은 모두 0으로 채우는 과정으로 이루어진다.
다음으로, 상기 확대 블록에 대하여 해당 크기의 역 DCT 변환을 수행한다(S3). 상기 역 DCT 변환된 결과 예측 블록(60)이 생성되며 이 예측 블록(60)을 이용하여 현재 블록(40)을 예측(이하, 계층간 예측이라 함)한다(S4). S1 단계에서 수행되는 DCT 변환과, S3 단계에서 수행되는 IDCT 변환은 그 변환 크기가 다르다. 예를 들어, 기초 계층의 블록(30)이 4×4 블록이라면, 상기 DCT 변환은 4×4 DCT 변환이 될 것이고, S2 단계에서 2배 확대되었다고 하면 상기 역 DCT 변환은 8×8 역 DCT 변환이 될 것이다.
한편, 본 발명은 도 3과 같이 기초 계층의 DCT 블록을 단위로 계층간 예측을 수행하는 예 뿐만 아니라, 도 5와 같이 H.264에서 모션 추정시 사용하는 계층적 가변 크기 모션 블록 단위로 계층간 예측을 수행하는 예를 포함한다. 물론 고정 크기의 모션 블록 단위로 예측을 수행할 수도 있다. 이하, 본 발명의 명세서에서는 고정 크기 또는 가변 크기와 상관 없이 모션 추정의 단위, 즉 모션 벡터를 구하는 단위가 되는 블록을 "모션 블록"이라고 정의하기로 한다.
H.264에서는 하나의 매크로블록(90)을 최적의 모션 블록 모드로 분할하고 각 모션 블록에 대하여 모션 추정 및 모션 보상을 수행하는 스킴을 사용한다. 본 발명에 따르면 이와 같은 다양한 모션 블록 단위로 DCT 변환 과정(S11), 제로 패딩 과정(S12), 및 역 DCT 변환 과정(S13)을 수행하여 예측 블록을 생성한 후, 생성된 예측 블록을 이용하여 현재 블록을 예측할 수 있다.
예를 들어, 상기 모션 블록이 8×4 크기의 블록(70)인 경우에, 먼저 상기 블록(70)에 대하여 8×4 DCT 변환을 수행한다(S11). 그리고, 상기 DCT 변환 결과 생성되는 DCT 블록(71)에 제로 패딩을 부가하여 16×8 크기로 확대된 블록(80)을 생성한다(S12). 그리고, 상기 확대 블록(80)에 대하여 16×8 역 DCT 변환을 수행하여 예측 블록(90)을 생성한다(S13). 이 후 상기 예측 블록(90)을 이용하여 현재 블록을 예측하게 된다.
한편, 본 발명의 실시예는 크게 3가지로 나뉠 수 있다. 제1 실시예는 기초 계층에서 복원된 비디오 프레임 중의 소정 블록을 업샘플링하여 향상 계층의 현재 블록을 예측하는 데 사용하는 실시예이고, 제2 실시예는 기초 계층에서 복원된 시간적 잔여 프레임(temporal residual frame; 이하 잔여 프레임이라 함) 중의 소정 블록을 업샘플링하여 향상 계층의 현재의 시간적 잔여 블록(temporal residual block; 이하 잔여 블록이라 함)을 예측하는 데 사용하는 실시예이다. 그리고, 제3 실시예는 기초 계층에서 수행한 DCT 변환 결과를 그대로 이용하여 업샘플링을 수행하는 실시예이다.
이하, 본 발명의 명세서에서는 그 의미를 명확하게 하기 위하여, 잔여 프레임(residual frame)은 동일 계층에서 시간적으로 다른 위치에 있는 프레임과의 차분 으로 정의하고, 차이 프레임(difference frame)은 계층간의 예측에 의하여 현재 계층 프레임과 동일한 시간적 위치의 하위 계층 프레임과의 차분으로 정의하기로 한다. 이에 따라서, 잔여 프레임을 구성하는 일부 블록을 잔여 블록으로, 차이 프레임을 구성하는 일부 블록을 차분 블록으로 명명할 수 있다.
도 6은 본 발명의 제1 실시예에 따른 비디오 인코더(1000)의 구성을 도시한 블록도이다. 비디오 인코더(1000)는 크게 DCT 업샘플러(900), 향상 계층 인코더(200), 및 기초 계층 인코더(100)를 포함하여 구성될 수 있다.
먼저, 본 발명의 일 실시예에 따른 DCT 업샘플러(900)의 구성을 도 7을 참조하여 살펴본다. DCT 업샘플러(900)는 DCT 변환부(910), 제로 패딩부(920), 및 역 DCT 변환부(930)로 구성될 수 있다. 도 7에서 2개의 입력(In1, in2)이 나타나 있는데, 제1 실시예에서는 제1 입력(In1)을 이용한다.
DCT 변환부(910)는 기초 계층 인코더(100)에서 복원된 비디오 프레임 중에서 소정 크기의 블록의 이미지를 입력 받아, 상기 크기(예를 들어, 4×4)를 단위로 DCT 변환을 수행한다. 상기 크기는 DCT 변환부(120)의 DCT 변환 단위와 동일한 크기인 것이 바람직하다. 다만, 이에 한하지 않고, 모션 블록과의 매칭을 고려하여 상기 크기를 모션 블록의 크기와 동일하게 할 수도 있다. 예를 들어 H.264에 따르면, 모션 블록은 16×16, 16×8, 8×16, 8×8, 8×4, 4×8, 또는 4×4 크기 중 하나를 가질 수 있다.
제로 패딩부(920)는 상기 DCT 변환 결과 생성되는 DCT 계수들을, 기초 계층에 대한 향상 계층의 해상도 배율(예를 들어, 2배)만큼 확대된 블록의 좌상단에 채우고, 상기 확대된 블록의 나머지 영역은 모두 0으로 채운다.
마지막으로 역 DCT 변환부(930)는 상기 제로 패딩 결과 생성되는 블록에 대하여 상기 블록의 크기(예를 들어, 8×8)를 변환 단위로 한 역 DCT 변환을 수행한다. 이와 같은 역 DCT 변환된 결과는 항상 계층 인코더(200)에 제공되는 데 이하에서는, 향상 계층 인코더(200)의 구성을 살펴 본다.
선택부(280)는 DCT 업샘플러(900)로부터 전달되는 신호와, 모션 보상부(260)로부터 전달되는 신호 중 하나를 선택하여 출력한다. 이러한 선택은 계층 간 예측과 시간적 예측 중에서 보다 효율적인 쪽을 선택하는 과정으로 수행된다.
모션 추정부(250)는 입력 비디오 프레임 중에서, 참조 프레임을 기준으로 현재 프레임의 모션 추정을 수행하고 모션 벡터를 구한다. 이러한 움직임 추정을 위해 널리 사용되는 알고리즘은 블록 매칭(block matching) 알고리즘이다. 즉, 주어진 모션 블록을 참조 프레임의 특정 탐색영역 내에서 픽셀단위로 움직이면서 그 에러가 최저가 되는 경우의 변위를 움직임 벡터로 추정하는 것이다. 모션 추정을 위하여 고정된 크기의 모션 블록을 이용할 수도 있지만, 계층적 가변 사이즈 블록 매칭법(Hierarchical Variable Size Block Matching; HVSBM)에 의한 가변 크기를 갖는 모션 블록을 이용하여 모션 추정을 수행할 수도 있다. 모션 추정부(250)는 모션 추정 결과 구해지는 모션 벡터, 모션 블록의 모드, 참조 프레임 번호 등의 모션 데이터를 엔트로피 부호화부(240)에 제공한다.
모션 보상부(260)는 상기 모션 추정부(250)에서 계산된 모션 벡터를 이용하여 참조 프레임에 대하여 모션 보상(motion compensation)을 수행하여 현재 프레임에 대한 시간적 예측 프레임을 생성한다.
차분기(215)는 현재 입력 프레임 신호에서 상기 선택부(280)에서 선택된 신호를 차분함으로써 비디오의 시간적 중복성을 제거한다.
DCT 변환부(220)는 차분기(215)에 의하여 시간적 중복성이 제거된 프레임에 대하여, 소정 크기의 DCT 변환을 수행하고 DCT 계수를 생성한다. DCT 변환은 일 예로 다음의 수학식 1에 따라서 계산될 수 있다.
Figure 112005004375378-pat00001
단,
Figure 112005004375378-pat00002
이고,
Figure 112005004375378-pat00003
이다.
수학식 1에서 Yxy는 DCT 변환 결과 생성되는 계수(이하, 'DCT 계수'라 함)를 의미하고, Xij는 DCT 변환부(130)에 입력되는 블록의 화소 값을 의미하며, M, N은 DCT 변환 단위(M×N)를 의미한다. 만약, 8×8 DCT 변환시에는 M=8, N=8이 될 것이다.
DCT 변환부(220)에서 변환 단위는 DCT 업샘플러(900)에서의 역 DCT 변환시의 변환 단위와 일치할 수 있지만 반드시 일치할 필요는 없다.
양자화부(230)는 상기 DCT 계수를 양자화하여 양자화 계수를 생성한다. 여기서, 양자화(quantization)란 임의의 실수 값으로 표현되는 상기 변환 계수를 일정 구간으 로 나누어 불연속적인 값(discrete value)으로 나타내는 작업을 의미한다. 이러한 양자화 방법으로는 스칼라 양자화(scalar quantization), 벡터 양자화(vector quantization) 등의 알려진 방법이 있지만 여기서는 스칼라 양자화를 예를 들어 설명한다.
스칼라 양자화에서, 양자화 결과 생성되는 계수(이하, '양자화 계수'라 함) Qxy는 다음의 수학식 2에 따라서 구해질 수 있다. 여기서, round(.)는 반올림 함수를 의미하고, Sxy는 스텝 크기(step size)를 의미한다. 상기 스텝 크기는 M×N 양자화 테이블(quantization table)에 따라서 정해지며, 상기 양자화 테이블은 JPEG, 또는 MPEG 표준에서 제공하는 것을 이용할 수 있지만, 반드시 이에 한하지는 않는다.
Figure 112005004375378-pat00004
여기서, x=0, …, M-1이고, y=0, …, N-1이다.
엔트로피 부호화부(240)는 상기 양자화 계수와, 모션 추정부(250)에 의하여 제공되는 모션 데이터를 무손실 부호화하고 출력 비트스트림을 생성한다. 이러한 무손실 부호화 방법으로는, 산술 부호화(arithmetic coding), 가변 길이 부호화(variable length coding) 등이 사용될 수 있다.
비디오 인코더(1000)가 인코더 단과 디코더 단 간의 드리프팅 에러(drifting error)를 감소시키기 위한 폐루프(closed-loop) 방식을 지원하는 경우에는, 역양자 화부(271), 및 역 DCT 변환부(272)를 더 포함할 수 있다.
역 양자화부(271)는 양자화부(230)에서 양자화된 계수를 역 양자화한다. 이러한 역 양자화 과정은 양자화 과정의 역에 해당되는 과정이다. 그리고, 역 DCT 변환부(272)는 상기 역양자화 결과를 역 DCT 변환하고 이를 가산기(225)에 제공한다.
가산기(225)는 역 DCT 변환부(172)로부터 제공된 역 DCT 변환된 결과와, 모션 보상부(260)로부터 제공되어 프레임 버퍼(미도시됨)에 저장된 이전 프레임을 가산하여 비디오 프레임을 복원하고, 복원된 비디오 프레임을 모션 추정부(240)에 참조 프레임으로 제공한다.
한편, 기초 계층 인코더(100)는 DCT 변환부(120), 양자화부(130), 엔트로피 부호화부(140), 모션 추정부(150), 모션 보상부(160), 역 양자화부(171), 역 DCT 변환부(172), 및 다운 샘플러(105)를 포함하여 구성될 수 있다.
다운 샘플러(105)는 원 입력 프레임을 기초 계층의 해상도로 다운샘플링(down-sampling) 한다. 상기 다운 샘플링 방법도 여러가지가 있겠으나, 본 발명에서 사용하는 DCT 업샘플러(900)와 매칭되도록 DCT 다운샘플러를 이용하는 것이 바람직할 것이다. 상기 DCT 다운샘플러는 입력된 영상 블록에 대하여 DCT 변환을 수행한 후, 좌상단의 1/4 영역의 DCT 계수만을 추출하여 역 DCT 변환을 수행한다. 그리하여, 상기 영상 블록의 스케일을 1/2로 줄일 수 있다.
다운 샘플러(105) 이외의 구성 요소 들의 기본적인 동작은 향상 계층 인코더(200)의 대응되는 구성 요소의 동작과 마찬가지이므로 중복적인 설명은 생략하기로 한다.
한편, 본 발명에 따른 계층간 예측을 위한 업샘플링은 온전한 영상뿐만이 아니라 잔여 영상간에도 적용될 수 있다. 즉, 시간적 예측 과정을 통하여 생성된 향상 계층의 잔여 영상 및, 이와 대응되는 기초 계층의 잔여 영상간에 계층간 예측을 수행할 수 있다. 이 경우 기초 계층의 소정의 블록은 향상 계층의 현재 블록의 예측에 사용되기 위하여 업샘플링 되어야 한다.
이러한 본 발명의 제2 실시예에 따른 비디오 인코더(2000)의 구성은 도 8에 도시된다. 제2 실시예의 경우에, DCT 업샘플러(900)는 기초 계층의 복원된 비디오 프레임이 아니라, 기초 계층의 복원된 잔여 프레임을 입력으로 한다. 따라서, 기초 계층 인코더(100)의 가산기(125)를 통과하기 이전의 신호(복원된 잔여 프레임의 신호)를 입력 받는다. 제2 실시예의 경우에도 도 7에서의 입력은 In1이다.
DCT 업샘플러(900)는 기초 계층 인코더(100)에서 복원된 잔여 프레임 중에서 소정 크기의 블록의 이미지를 입력 받아, 도 7에서 설명한 바와 마찬가지로 DCT 변환, 제로 패딩, 및 역 DCT 변환 과정을 수행한다. DCT 업샘플러(900)에 의하여 업샘플링된 신호는 향상 계층 인코더(300)의 제2 차분기(235)로 입력된다.
이하에서는, 향상 계층 인코더(300)의 구성을 설명하되, 도 6에서와 차이나는 부분만을 중심으로 하여 설명한다. 모션 보상부(260)에 의하여 제공되는 예측 프레임은 제1 차분기(215)로 입력되고, 제1 차분기(215)는 현재 입력 프레임 신호에서 상기 예측 프레임 신호를 차분한다. 그 결과 잔여 프레임이 생성된다.
그리고, 제2 차분기(235)는 상기 잔여 프레임 중에서 대응되는 블록에서, 상기 DCT 업샘플러(900)에서 출력되는 업샘플링된 블록을 차분하고, 그 차분 결과를 DCT 변환부(220)에 제공한다.
이외의 향상 계층 인코더(300)의 구성 요소의 동작은 도 6에서와 마찬가지이므로 중복된 설명은 생략하기로 한다. 그리고, 기초 계층 인코더(100)는 가산기(125)를 통과하기 이전, 즉 역 DCT 변환부(172)를 거친 후의 신호를 DCT 업샘플러(900)에 제공하는 것 이외에, 그 구성 요소들의 동작은 도 6에서와 동일하다.
한편, 본 발명의 제3 실시예에 따라서, 기초 계층 인코더(100)에서 DCT 변환한 결과를 그대로 DCT 업샘플러(900)에서 이용할 수 있는 경우에는 DCT 업샘플러(900)에서는 DCT 변환 과정을 생략할 수 있다. 이러한 경우는 기초 계층 인코더(100)에서 역 양자화된 신호가 시간적 예측을 거치지 않은 신호, 즉 역 DCT 변환을 거치면 바로 비디오 프레임이 복원될 수 있는 경우이다.
도 9는 본 발명의 제3 실시예에 따른 비디오 인코더(3000)의 구성을 나타낸 것으로, 시간적 예측이 적용되지 않는 프레임에 대한 역 양자화부(171)의 출력을 DCT 업샘플러(900)가 입력 받는 것으로 나타나 있다.
스위치(135)는 모션 보상부(160)로부터 차분기(115)로 입력되는 신호 패스를 차단 또는 연결하는 역할을 하는데, 현재 프레임이 시간적 예측이 적용되는 프레임이면 상기 신호 패스를 차단하고, 현재 프레임이 시간적 예측이 적용되지 않는 프레임이면 상기 신호 패스를 연결한다.
본 발명의 제3 실시예는 기초 계층에서 상기 신호 패스가 차단된 경우, 즉 시간적 예측이 적용되지 않고 부호화되는 프레임에 대하여 적용된다. 이 경우 입력 프레임 은 다운 샘플러(105)에 의하여 다운 샘플링 과정, DCT 변환부(120)에 의한 DCT 변환 과정, 양자화부(130)에 의한 양자화 과정, 및 역양자화부(171)에 의한 역 양자화 과정을 거친 후 DCT 업샘플러(900)로 입력된다.
DCT 업샘플러(900)는 도 7에서 상기 역 양자화 과정을 거친 프레임 중 소정 블록의 계수를 In2로 입력 받는다. 제로 패딩부(920)는 상기 소정 블록의 계수를, 기초 계층에 대한 향상 계층의 해상도 배율만큼 확대된 블록의 좌상단에 채우고, 상기 확대된 블록의 나머지 영역은 모두 0으로 채운다.
그리고, 역 DCT 변환부(930)는 상기 제로 패딩 결과 생성되는 블록에 대하여 상기 생성된 블록의 크기를 변환 단위로 하여 역 DCT 변환을 수행한다. 이와 같은 역 DCT 변환된 결과는 항상 계층 인코더(200)의 선택부(280)에 제공된다. 이 후 향상 계층 인코더(200)에서 이루어지는 동작 과정은 도 6의 설명과 마찬가지이므로 중복적인 설명은 생략한다.
이와 같은, 본 발명의 제3 실시예의 업샘플링 과정은, 기초 계층 인코더(100)에서 수행된 DCT 변환 결과를 그대로 이용할 수 있어 효율적일 수 있다.
도 10은 비디오 인코더(1000)에 대응되는 비디오 디코더(1500)의 구성의 일 예를 도시한 블록도이다. 비디오 디코더(1500)는 크게 업샘플러(900)와, 향상 계층 디코더(500)와, 기초 계층 디코더(400)를 포함하여 구성될 수 있다.
DCT 업샘플러(900)의 구성은 기본적으로 도 7에서와 동일하며, 기초 계층 디코더(400)로부터 복원되는 기초 계층 프레임을 In1으로 입력 받는다. DCT 변환부(910)는 상기 기초 계층 프레임 중에서 소정 크기의 블록의 이미지를 입력 받아, 상기 크기를 단위로 DCT 변환을 수행한다. 상기 소정 크기는 비디오 인코더(1000) 측에서 DCT 업샘플링시 DCT 변환에서 사용되었던 크기와 동일한 크기로 하는 것이 바람직하다. 이와 같이 비디오 디코더(1500)에서의 복호화 과정을 비디오 인코더(1000)에서의 과정과 매칭 시킴으로써, 인코더-디코더 간에 발생할 수 있는 드리프팅 에러(drifting error)를 줄일 수 있게 된다.
그리고, 제로 패딩부(920)는 상기 DCT 변환 결과 생성되는 DCT 계수들을, 기초 계층에 대한 향상 계층의 해상도 배율만큼 확대된 블록의 좌상단에 채우고, 상기 확대된 블록의 나머지 영역은 모두 0으로 채운다. 역 DCT 변환부(930)는 상기 제로 패딩 결과 생성되는 블록에 대하여 상기 블록의 크기를 변환 단위로 한 역 DCT 변환을 수행한다. 이와 같은 역 DCT 변환된 결과, 즉 DCT 업샘플링된 결과는 선택부(560)에 제공된다.
다음으로, 향상 계층 디코더(500)의 구성을 살펴 본다. 엔트로피 복호화부(510)는 엔트로피 부호화 방식의 역으로 무손실 복호화를 수행하여, 모션 데이터, 및 텍스쳐 데이터를 추출한다. 그리고, 텍스쳐 데이터는 역 양자화부(520)에 제공하고, 모션 데이터는 모션 보상부(550)에 제공한다.
역 양자화부(520)는 엔트로피 복호화부(510)로부터 전달된 텍스쳐 정보를 역 양자화한다. 이 때, 비디오 인코더(1000) 측에서 사용한 것과 동일한 양자화 테이블을 이용한다. 역 양자화 결과 생성되는 계수 Yxy '는 다음의 수학식 3에 따라서 계산될 수 있다. 여기서 계산된 Yxy '가 수학식 1의 Yxy와 달라지는 것은 수학식 1에서 round(.) 함수를 이용한 손실 부호화가 사용되었기 때문이다.
Figure 112005004375378-pat00005
다음으로, 역 DCT 변환부(530)는 상기 역 양자화 결과 Yxy '에 대하여 역 DCT 변환을 수행한다. 이러한 역 DCT 변환 결과 Xij '는 수학식 4에 의하여 계산될 수 있다. 역 DCT 변환 결과 차이 프레임 또는 잔여 프레임이 복원되는 것이다.
Figure 112005004375378-pat00006
모션 보상부(550)는 엔트로피 복호화부(510)로부터 제공되는 모션 데이터를 이용하여, 기 복원된 비디오 프레임을 모션 보상하여 모션 보상 프레임을 생성하여, 그 신호를 선택부(560)에 제공한다.
그리고, 선택부(560)는 DCT 업샘플러(900)로부터 전달되는 신호와, 모션 보상부(550)로부터 전달되는 신호 중 하나를 선택하여 가산기(515)로 출력한다. 만약, 역 DCT 변환 결과가 차이 프레임이면 DCT 업샘플러(900)로부터 전달되는 신호를 출력하고, 잔여 프레임이면 모션 보상부(550)로부터 전달되는 신호를 출력한다.
가산기(515)는 상기 역 DCT 변환부(530)에서 출력되는 신호에서 상기 선택부(560)에서 선택된 신호를 가산함으로써 향상 계층의 비디오 프레임을 복원한다.
한편, 기초 계층 인코더(400)의 구성 요소도 선택부(560)이 존재하지 않는 것을 제외하고는 향상 계층 디코더(500)의 구성 요소와 마찬가지의 동작을 수행하므로, 중복적인 설명은 생략하기로 한다.
도 11은 비디오 인코더(2000)에 대응되는 비디오 디코더(2500)의 구성의 일 예를 도시한 블록도이다. 비디오 디코더(2500)는 크게 업샘플러(900)와, 향상 계층 디코더(600)와, 기초 계층 디코더(400)를 포함하여 구성될 수 있다.
DCT 업샘플러(900)는 도 10의 설명에서와 마찬가지로, 기초 계층 디코더(400)로부터 복원되는 기초 계층 프레임을 In1(도 7 참조)으로 입력 받아서, DCT 업샘플링을 수행하고 그 결과를 제1 가산기(525)에 제공한다.
제1 가산기(525)는 역 DCT 변환부(530)에서 출력되는 신호, 즉 차분 프레임 신호와, 상기 DCT 업셈플러(900)로부터 제공되는 신호를 가산한다. 이러한 가산 결과 잔여 프레임 신호가 복원되며 그것은 다시 제2 가산기(515)로 입력된다. 그리고, 제2 가산기(515)는 상기 복원된 잔여 프레임 신호와 모션 보상부(550)로부터 전달되는 신호를 가산함으로써, 향상 계층 프레임을 복원한다.
이외의 다른 구성 요소의 동작은 도 10의 설명에서와 마찬가지이므로 생략한다.
도 12는 비디오 인코더(3000)에 대응되는 비디오 디코더(3500)의 구성의 일 예를 도시한 블록도이다. 비디오 디코더(3500)는 크게 업샘플러(900)와, 향상 계층 디코 더(500)와, 기초 계층 디코더(400)를 포함하여 구성될 수 있다.
업샘플러(900)는 도 10에서와는 달리 역 양자화부(420)로부터 출력되는 신호를 수신하여 DCT 업샘플링을 수행한다. 이 경우 업샘플러(900)는 In2(도 7 참조)로 상기 신호를 수신하여 제로 패딩 과정부터 수행한다.
제로 패딩부(920)는 역 양자화부터 전달되는 소정 블록에 대한 계수를, 기초 계층에 대한 향상 계층의 해상도 배율만큼 확대된 블록의 좌상단에 채우고, 상기 확대된 블록의 나머지 영역은 모두 0으로 채운다. 그리고, 역 DCT 변환부(930)는 상기 제로 패딩 결과 생성되는 확대 블록에 대하여 상기 확대 블록의 크기를 변환 단위로 하여 역 DCT 변환을 수행한다. 이와 같은 역 DCT 변환된 결과는 항상 계층 디코더(500)의 선택부(560)에 제공된다. 이 후 향상 계층 디코더(500)에서 이루어지는 동작 과정은 도 10의 설명과 마찬가지이므로 중복적인 설명은 생략한다.
도 12의 실시예에서, 기초 계층에서 복원되는 프레임은 시간적 예측이 적용되지 않은 프레임이므로, 복원을 위하여 모션 보상부(450)에 의한 모션 보상 과정이 필요하지 않으며, 따라서 스위치(425)는 현재 개방된 것으로 표시된다.
지금까지 도 6 내지 도 12의 각 구성요소는 소프트웨어(software) 또는, FPGA(field-programmable gate array)나 ASIC(application-specific integrated circuit)과 같은 하드웨어(hardware)를 의미할 수 있다. 그렇지만 상기 구성요소들은 소프트웨어 또는 하드웨어에 한정되는 의미는 아니며, 어드레싱(addressing)할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 실행시키도록 구성될 수도 있다. 상기 구성요소들 안에서 제공되는 기능은 더 세분화된 구성요소에 의하여 구현될 수 있으며, 복수의 구성요소들을 합하여 특정한 기능을 수행하는 하나의 구성요소로 구현할 수도 있다.
이상 첨부된 도면을 참조하여 본 발명의 실시예를 설명하였지만, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야 한다.
본 발명에 따르면, 향상 계층의 예측을 위하여 제공되는 기초 계층의 영역을 업샘플링하는 경우, 상기 기초 계층 영역의 저주파 성분을 가능한한 보존할 수 있다.
또한, 본 발명에 따르면, 향상 계층에서 DCT 변환을 사용되는 경우에 상기 변환과 기초 계층에 대한 업샘플링 간에 발생하는 미스매치를 감소시킬 수 있다.

Claims (18)

  1. (a) 기초 계층 프레임을 부호화한 후 복원하는 단계;
    (b) 향상 계층의 제1 블록에 대응되고 상기 복원된 프레임에 포함되는 소정 크기의 제2 블록을 DCT 업샘플링하는 단계;
    (c) 상기 제1 블록과 상기 업샘플링 결과 생성되는 제3 블록과의 차분을 구하는 단계; 및
    (d) 상기 차분을 부호화하는 단계를 포함하는, 다 계층 기반의 비디오 인코딩 방법.
  2. 제1항에 있어서, 상기 크기는
    상기 기초 계층 프레임에서의 DCT 변환 단위와 동일한, 다 계층 기반의 비디오 인코딩 방법.
  3. 제1항에 있어서, 상기 크기는
    상기 기초 계층 프레임에 대한 시간적 추정에서 사용되는 모션 블록의 크기와 동일한, 다 계층 기반의 비디오 인코딩 방법.
  4. 제1항에 있어서, 상기 (b) 단계는
    상기 제2 블록에 대하여 상기 제2 블록 크기를 변환 단위로 하는 DCT 변환을 수행 하는 단계;
    상기 DCT 변환 결과 생성되는 DCT 계수로 이루어진 제4 블록에 제로 패딩을 부가하여, 기초 계층에 대한 향상 계층의 해상도 배율만큼 확대된 상기 제3 블록을 생성하는 단계; 및
    상기 제3 블록에 대하여 상기 제3 블록 크기를 변환 단위로 하는 역 DCT 변환을 수행하는 단계를 포함하는, 다 계층 기반의 비디오 인코딩 방법.
  5. 제1항에 있어서,
    상기 기초 계층 프레임의 부호화 이전에 적용되는 다운 샘플링은 DCT 다운샘플러를 이용하여 수행되는, 다 계층 기반의 비디오 인코딩 방법.
  6. 제1항에 있어서, 상기 (d) 단계는
    상기 차분에 대하여, 소정 변환 단위의 DCT 변환을 수행하고 DCT 계수를 생성하는 단계;
    상기 DCT 계수를 양자화하여 양자화 계수를 생성하는 단계; 및
    상기 양자화 계수를 무손실 부호화하는 단계를 포함하는, 다 계층 기반의 비디오 인코딩 방법.
  7. (a) 기초 계층 프레임을 부호화한 후 이로부터 기초 계층의 잔여 프레임을 복원하는 단계;
    (b) 향상 계층의 잔여 프레임에 포함되는 제1 잔여 블록에 대응되고 상기 복원된 기초 계층의 잔여 프레임에 포함되는 소정 크기의 제2 블록을 DCT 업샘플링하는 단계;
    (c) 상기 제1 블록과 상기 업샘플링 결과 생성되는 제3 블록과의 차분을 구하는 단계; 및
    (d) 상기 차분을 부호화하는 단계를 포함하는, 다 계층 기반의 비디오 인코딩 방법.
  8. 제7항에 있어서, 상기 크기는
    상기 기초 계층 프레임에서의 DCT 변환 단위와 동일한, 다 계층 기반의 비디오 인코딩 방법.
  9. 제7항에 있어서, 상기 (b) 단계는
    상기 제2 블록에 대하여 상기 제2 블록 크기를 변환 단위로 하는 DCT 변환을 수행하는 단계;
    상기 DCT 변환 결과 생성되는 DCT 계수로 이루어진 제4 블록에 제로 패딩을 부가하여, 기초 계층에 대한 향상 계층의 해상도 배율만큼 확대된 상기 제3 블록을 생성하는 단계; 및
    상기 제3 블록에 대하여 상기 제3 블록 크기를 변환 단위로 하는 역 DCT 변환을 수행하는 단계를 포함하는, 다 계층 기반의 비디오 인코딩 방법.
  10. 제7항에 있어서, 상기 (d) 단계는
    상기 차분에 대하여, 소정 변환 단위의 DCT 변환을 수행하고 DCT 계수를 생성하는 단계;
    상기 DCT 계수를 양자화하여 양자화 계수를 생성하는 단계; 및
    상기 양자화 계수를 무손실 부호화하는 단계를 포함하는, 다 계층 기반의 비디오 인코딩 방법.
  11. (a) 기초 계층 프레임을 부호화한 후 역 양자화하는 단계;
    (b) 향상 계층의 제1 블록에 대응되고 상기 역 양자화된 프레임에 포함되는 소정 크기의 제2 블록을 DCT 업샘플링하는 단계;
    (c) 상기 제1 블록과 상기 업샘플링 결과 생성되는 제3 블록과의 차분을 구하는 단계; 및
    (d) 상기 차분을 부호화하는 단계를 포함하는, 다 계층 기반의 비디오 인코딩 방법.
  12. 제11항에 있어서, 상기 (b) 단계는
    상기 제2 블록에 제로 패딩을 부가하여, 기초 계층에 대한 향상 계층의 해상도 배율만큼 확대된 상기 제3 블록을 생성하는 단계; 및
    상기 제3 블록에 대하여 상기 제3 블록 크기를 변환 단위로 하는 역 DCT 변환을 수행하는 단계를 포함하는, 다 계층 기반의 비디오 인코딩 방법.
  13. 제11항에 있어서, 상기 (d) 단계는
    상기 차분에 대하여, 소정 변환 단위의 DCT 변환을 수행하고 DCT 계수를 생성하는 단계;
    상기 DCT 계수를 양자화하여 양자화 계수를 생성하는 단계; 및
    상기 양자화 계수를 무손실 부호화하는 단계를 포함하는, 다 계층 기반의 비디오 인코딩 방법.
  14. (a) 기초 계층 비트스트림으로부터 기초 계층 프레임을 복원하는 단계;
    (b) 향상 계층 비트스트림으로부터 차이 프레임을 복원하는 단계;
    (c) 상기 차이 프레임의 제1 블록에 대응되고 상기 복원된 기초 계층 프레임에 포함되는 소정 크기의 제2 블록을 DCT 업샘플링하는 단계; 및
    (d) 상기 제1 블록과 상기 업샘플링 결과 생성되는 제3 블록을 가산하는 단계를 포함하는, 다 계층 기반의 비디오 디코딩 방법.
  15. (a) 기초 계층 비트스트림으로부터 기초 계층 프레임을 복원하는 단계;
    (b) 향상 계층 비트스트림으로부터 차이 프레임을 복원하는 단계;
    (c) 상기 차이 프레임의 제1 블록에 대응되고 상기 복원된 기초 계층 프레임에 포함되는 소정 크기의 제2 블록을 DCT 업샘플링하는 단계;
    (d) 상기 제1 블록과 상기 업샘플링 결과 생성되는 제3 블록을 가산하는 단계; 및
    (e) 상기 가산된 결과 생성되는 제4 블록 및 모션 보상 프레임 중에서 상기 제4 블록과 대응되는 블록을 가산하는 단계를 포함하는, 다 계층 기반의 비디오 디코딩 방법.
  16. (a) 기초 계층 비트스트림으로부터 텍스쳐 데이터를 추출하고 이를 역 양자화하는 단계;
    (b) 향상 계층 비트스트림으로부터 차이 프레임을 복원하는 단계;
    (c) 상기 차이 프레임의 제1 블록에 대응되고 상기 역 양자화된 결과에 포함되는 소정 크기의 제2 블록을 DCT 업샘플링하는 단계; 및
    (d) 상기 제1 블록과 상기 업샘플링 결과 생성되는 제3 블록을 가산하는 단계를 포함하는, 다 계층 기반의 비디오 디코딩 방법.
  17. 기초 계층 프레임을 부호화한 후 복원하는 수단;
    향상 계층의 제1 블록에 대응되고 상기 복원된 프레임에 포함되는 소정 크기의 제2 블록을 DCT 업샘플링하는 수단;
    상기 제1 블록과 상기 업샘플링 결과 생성되는 제3 블록과의 차분을 구하는 수단; 및
    상기 차분을 부호화하는 수단을 포함하는, 다 계층 기반의 비디오 인코더.
  18. 기초 계층 비트스트림으로부터 기초 계층 프레임을 복원하는 수단;
    향상 계층 비트스트림으로부터 차이 프레임을 복원하는 수단;
    상기 차이 프레임의 제1 블록에 대응되고 상기 복원된 기초 계층 프레임에 포함되는 소정 크기의 제2 블록을 DCT 업샘플링하는 수단; 및
    상기 제1 블록과 상기 업샘플링 결과 생성되는 제3 블록을 가산하는 수단을 포함하는, 다 계층 기반의 비디오 디코더.
KR1020050006810A 2004-12-03 2005-01-25 Ｄｃｔ 업샘플링을 이용한 다 계층 비디오 인코딩/디코딩방법 및 장치 KR100703734B1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
PCT/KR2005/003914 WO2006059847A1 (en) 2004-12-03 2005-11-18 Method and apparatus for encoding/decoding multi-layer video using dct upsampling
EP05820695A EP1817918A1 (en) 2004-12-03 2005-11-18 Method and apparatus for encoding/decoding multi-layer video using dct upsampling
JP2007544256A JP2008522536A (ja) 2004-12-03 2005-11-18 Ｄｃｔアップサンプリングを利用した多階層ビデオエンコーディング／デコーディング方法及び装置
US11/288,210 US20060120448A1 (en) 2004-12-03 2005-11-29 Method and apparatus for encoding/decoding multi-layer video using DCT upsampling

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US63260404P 2004-12-03 2004-12-03
US60/632,604 2004-12-03

Publications (2)

Publication Number Publication Date
KR20060063533A KR20060063533A (ko) 2006-06-12
KR100703734B1 true KR100703734B1 (ko) 2007-04-05

Family

ID=37159516

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020050006810A KR100703734B1 (ko) 2004-12-03 2005-01-25 Ｄｃｔ 업샘플링을 이용한 다 계층 비디오 인코딩/디코딩방법 및 장치

Country Status (4)

Country Link
US (1) US20060120448A1 (ko)
JP (1) JP2008522536A (ko)
KR (1) KR100703734B1 (ko)
CN (1) CN101069433A (ko)

Families Citing this family (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060063619A (ko) * 2004-12-06 2006-06-12 엘지전자 주식회사 영상 신호의 인코딩 및 디코딩 방법
KR20060088461A (ko) * 2005-02-01 2006-08-04 엘지전자 주식회사 영상신호의 엔코딩/디코딩시에 영상블록을 위한 모션벡터를베이스 레이어 픽처의 모션벡터로부터 유도하는 방법 및장치
KR20070012201A (ko) 2005-07-21 2007-01-25 엘지전자 주식회사 영상 신호의 인코딩 및 디코딩 방법
US8705617B2 (en) * 2005-09-27 2014-04-22 Qualcomm Incorporated Multiple layer video encoding
US8670437B2 (en) * 2005-09-27 2014-03-11 Qualcomm Incorporated Methods and apparatus for service acquisition
US8229983B2 (en) * 2005-09-27 2012-07-24 Qualcomm Incorporated Channel switch frame
KR100891663B1 (ko) * 2005-10-05 2009-04-02 엘지전자 주식회사 비디오 신호 디코딩 및 인코딩 방법
KR20070038396A (ko) 2005-10-05 2007-04-10 엘지전자 주식회사 영상 신호의 인코딩 및 디코딩 방법
KR100891662B1 (ko) 2005-10-05 2009-04-02 엘지전자 주식회사 비디오 신호 디코딩 및 인코딩 방법
US7956930B2 (en) 2006-01-06 2011-06-07 Microsoft Corporation Resampling and picture resizing operations for multi-resolution video coding and decoding
FR2903556B1 (fr) * 2006-07-04 2008-10-03 Canon Kk Procedes et des dispositifs de codage et de decodage d'images, un systeme de telecommunications comportant de tels dispositifs et des programmes d'ordinateur mettant en oeuvre de tels procedes
US8422548B2 (en) * 2006-07-10 2013-04-16 Sharp Laboratories Of America, Inc. Methods and systems for transform selection and management
US8422555B2 (en) 2006-07-11 2013-04-16 Nokia Corporation Scalable video coding
US7991236B2 (en) * 2006-10-16 2011-08-02 Nokia Corporation Discardable lower layer adaptations in scalable video coding
KR101089072B1 (ko) * 2006-11-14 2011-12-09 퀄컴 인코포레이티드 채널 전환용 시스템 및 방법
CA2669153A1 (en) * 2006-11-15 2008-05-22 Qualcomm Incorporated Systems and methods for applications using channel switch frames
US8199812B2 (en) * 2007-01-09 2012-06-12 Qualcomm Incorporated Adaptive upsampling for scalable video coding
CN101163241B (zh) * 2007-09-06 2010-09-29 武汉大学 一种视频序列编解码***
US8711948B2 (en) * 2008-03-21 2014-04-29 Microsoft Corporation Motion-compensated prediction of inter-layer residuals
KR100963424B1 (ko) 2008-07-23 2010-06-15 한국전자통신연구원 스케일러블 영상 복호화기 및 그 제어 방법
US9571856B2 (en) 2008-08-25 2017-02-14 Microsoft Technology Licensing, Llc Conversion operations in scalable video encoding and decoding
US8611414B2 (en) * 2010-02-17 2013-12-17 University-Industry Cooperation Group Of Kyung Hee University Video signal processing and encoding
BR112012026391B1 (pt) 2010-04-13 2020-12-15 Ge Video Compression, Llc Herança em amostra de arranjo em subdivisão multitree
CN105120287B (zh) 2010-04-13 2019-05-17 Ge 视频压缩有限责任公司 解码器、编码器以及用于解码和编码的方法
CN106162171B (zh) 2010-04-13 2020-09-11 Ge视频压缩有限责任公司 解码器及方法、编码方法
HUE045579T2 (hu) 2010-04-13 2020-01-28 Ge Video Compression Llc Síkközi predikció
JP2014082541A (ja) * 2012-10-12 2014-05-08 National Institute Of Information & Communication Technology 互いに類似した情報を含む複数画像のデータサイズを低減する方法、プログラムおよび装置
EP2920966B1 (en) * 2012-11-15 2019-12-18 MediaTek Inc. Inter-layer texture coding with adaptive transform and multiple inter-layer motion candidates
US20140169467A1 (en) * 2012-12-14 2014-06-19 Ce Wang Video coding including shared motion estimation between multple independent coding streams
US11845191B1 (en) * 2019-06-26 2023-12-19 Amazon Technologies, Inc. Robotic picking of cuboidal items from a pallet

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20040046890A (ko) * 2002-11-28 2004-06-05 엘지전자 주식회사 동영상 코덱의 공간 스케일러빌리티 구현방법
KR20050006810A (ko) * 2003-07-10 2005-01-17 현대모비스 주식회사 음성인식수단이 부착된 에어백 시스템

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0344270A (ja) * 1989-07-12 1991-02-26 Matsushita Electric Ind Co Ltd 画像補間方式と画像符号化方式
US6493387B1 (en) * 2000-04-10 2002-12-10 Samsung Electronics Co., Ltd. Moving picture coding/decoding method and apparatus having spatially scalable architecture and signal-to-noise ratio scalable architecture together
US6873655B2 (en) * 2001-01-09 2005-03-29 Thomson Licensing A.A. Codec system and method for spatially scalable video data
WO2004057866A2 (en) * 2002-12-20 2004-07-08 Koninklijke Philips Electronics N.V. Elastic storage

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20040046890A (ko) * 2002-11-28 2004-06-05 엘지전자 주식회사 동영상 코덱의 공간 스케일러빌리티 구현방법
KR20050006810A (ko) * 2003-07-10 2005-01-17 현대모비스 주식회사 음성인식수단이 부착된 에어백 시스템

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
05708732
1020040046890 *
1020050006810 - 696198 *

Also Published As

Publication number Publication date
CN101069433A (zh) 2007-11-07
KR20060063533A (ko) 2006-06-12
JP2008522536A (ja) 2008-06-26
US20060120448A1 (en) 2006-06-08

Similar Documents

Publication Publication Date Title
KR100703734B1 (ko) Ｄｃｔ 업샘플링을 이용한 다 계층 비디오 인코딩/디코딩방법 및 장치
US7889793B2 (en) Method and apparatus for effectively compressing motion vectors in video coder based on multi-layer
KR100746011B1 (ko) 잔차 예측의 성능 개선 방법, 상기 방법을 이용한 비디오인코더 및 비디오 디코더
KR100714689B1 (ko) 다 계층 구조 기반의 스케일러블 비디오 코딩 및 디코딩방법, 이를 위한 장치
KR100763181B1 (ko) 기초계층과 향상계층의 데이터를 바탕으로 예측 정보를코딩하여 코딩율을 향상시키는 방법 및 장치
KR100703740B1 (ko) 다 계층 기반의 모션 벡터를 효율적으로 부호화하는 방법및 장치
KR100704626B1 (ko) 다 계층 기반의 모션 벡터를 압축하는 방법 및 장치
KR100631777B1 (ko) 다 계층의 모션 벡터를 효율적으로 압축하는 방법 및 장치
KR100703774B1 (ko) 인트라 코딩을 선택적으로 적용하여 인트라 ｂｌ 예측모드의 비디오 신호를 인코딩 및 디코딩하는 방법 및 장치
KR100703749B1 (ko) 잔차 재 추정을 이용한 다 계층 비디오 코딩 및 디코딩방법, 이를 위한 장치
KR100791299B1 (ko) 다 계층 기반의 비디오 인코딩 방법 및 장치
KR100703788B1 (ko) 스무딩 예측을 이용한 다계층 기반의 비디오 인코딩 방법,디코딩 방법, 비디오 인코더 및 비디오 디코더
JP4891234B2 (ja) グリッド動き推定／補償を用いたスケーラブルビデオ符号化
KR100703778B1 (ko) 고속 ｆｇｓ를 지원하는 비디오 코딩 방법 및 장치
KR100703746B1 (ko) 비동기 프레임을 효율적으로 예측하는 비디오 코딩 방법 및장치
KR100703745B1 (ko) 비동기 프레임을 효율적으로 예측하는 비디오 코딩 방법 및장치
EP1659797A2 (en) Method and apparatus for compressing motion vectors in video coder based on multi-layer
KR20070041290A (ko) 단일 루프 디코딩 조건을 만족하는 인트라 베이스 예측방법, 상기 방법을 이용한 비디오 코딩 방법 및 장치
KR100621584B1 (ko) 스무딩 필터를 이용하는 비디오 디코딩 방법 또는 비디오디코더
KR100703751B1 (ko) 가상 영역의 영상을 참조하여 인코딩 및 디코딩 하는 방법및 장치
EP1817918A1 (en) Method and apparatus for encoding/decoding multi-layer video using dct upsampling
WO2007024106A1 (en) Method for enhancing performance of residual prediction and video encoder and decoder using the same
WO2006083107A1 (en) Method and apparatus for compressing multi-layered motion vector

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
LAPS Lapse due to unpaid annual fee