KR20060024449A - 오버컴플릿 웨이브릿 도메인에서 비디오 코딩 - Google Patents

오버컴플릿 웨이브릿 도메인에서 비디오 코딩 Download PDF

Info

Publication number
KR20060024449A
KR20060024449A KR1020057025464A KR20057025464A KR20060024449A KR 20060024449 A KR20060024449 A KR 20060024449A KR 1020057025464 A KR1020057025464 A KR 1020057025464A KR 20057025464 A KR20057025464 A KR 20057025464A KR 20060024449 A KR20060024449 A KR 20060024449A
Authority
KR
South Korea
Prior art keywords
video
video data
operable
enhancement layer
motion vectors
Prior art date
Application number
KR1020057025464A
Other languages
English (en)
Inventor
종철 예
데르 사르 미하엘라 반
Original Assignee
코닌클리케 필립스 일렉트로닉스 엔.브이.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 코닌클리케 필립스 일렉트로닉스 엔.브이. filed Critical 코닌클리케 필립스 일렉트로닉스 엔.브이.
Publication of KR20060024449A publication Critical patent/KR20060024449A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H04N19/615—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding using motion compensated temporal filtering [MCTF]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/114—Adapting the group of pictures [GOP] structure, e.g. number of B-frames between two anchor frames
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H04N19/122—Selection of transform size, e.g. 8x8 or 2x4x8 DCT; Selection of sub-band transforms of varying structure or type
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/187—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scalable video layer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/1883—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit relating to sub-band structure, e.g. hierarchical level, directional tree, e.g. low-high [LH], high-low [HL], high-high [HH]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/31—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the temporal domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/63—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/63—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets
    • H04N19/635—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets characterised by filter definition or implementation details
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/63—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets
    • H04N19/64—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets characterised by ordering of coefficients or of bits for transmission
    • H04N19/647—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets characterised by ordering of coefficients or of bits for transmission using significance based coding, e.g. Embedded Zerotrees of Wavelets [EZW] or Set Partitioning in Hierarchical Trees [SPIHT]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/13—Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Discrete Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

인코딩 및 디코딩 방법들 및 장치들은 비디오 프레임들을 인코딩 및 디코딩하기 위하여 제공된다. 인코딩 방법(600) 및 장치(100)는 베이스 층에 대한 움직임 보상 이산 코사인 변환 코딩 및 확장 층에 대한 오버컴플릿 웨이브릿 도메인에서 인밴드(inband) 움직임 보상 시간적 필터링을 사용한다. 상기 디코딩 방법(700) 및 장치(800)는 베이스 층에 대한 움직임 보상 코사인 변환 디코딩 및 확장 층에 대한 오버컴플릿 웨이브릿 도메인에서 인버스 움직임 보상 시간적 필터링을 사용한다.
인밴드, 오버컴플릿 웨이브릿 도메인, 코사인 변환 디코딩

Description

오버컴플릿 웨이브릿 도메인에서 비디오 코딩{Video coding in an overcomplete wavelet domain}
본 발명은 일반적으로 비디오 코딩 시스템들 및 특히 오버컴플릿 웨이브릿 도메인에서 비디오 코딩에 관한 것이다.
데이터 네트워크들을 통한 다중매체 콘텐트의 실시간 스트리밍은 최근 매우 일반적인 애플리케이션이 되었다. 예를 들어, 주문 뉴스, 생방송 네트워크 텔레비젼 시청 및 비디오 회의 같은 다중매체 애플리케이션들은 비디오 정보의 엔드-투-엔드 스트림에 따른다. 스트리밍 비디오 애플리케이션들은 네트워크를 통하여 실시간으로 비디오 신호를 디코딩하고 디스플레이하는 비디오 수신기에 비디오 신호를 인코딩하고 전송하는 비디오 전송기를 통상 포함한다.
적당한 비디오 코딩은 많은 다중매체 애플리케이션들 및 서비스들에 대한 바람직한 특징이다. 스케일러빌러티(scalability)는 보다 낮은 계산 전력을 가진 처리기들이 비디오 스트림의 서브세트만을 디코딩하게 하고, 보다 높은 계산 전력을 가진 처리기들이 전체 비디오 스트림을 디코딩할 수 있다. 스케일러빌러티의 다른 사용은 가변 전송 대역폭을 가진 환경들에서 이다. 이들 환경들에서, 보다 낮은 액세스 대역폭을 가진 수신기들은 보다 높은 액세스 대역폭을 가진 수신기들이 전 체 비디오 스트림을 수신하고 디코딩하는 동안, 비디오 스트림의 서비스세트만을 수신하고 디코딩한다.
몇몇 비디오 스케일러빌러티 방법들은 MPEG-2 및 MPEG-4 같은 비디오 압축 표준들을 유발함으로서 채택되었다. 시간적, 공간적, 및 품질적(예를 들어, 신호 대 노이즈 비율 또는 "SNR") 스케일러빌러티 형태들은 이들 표준들에서 정의되었다. 이들 방법들은 통상적으로 베이스 층(BL) 및 확장 층(EL)을 포함한다. 비디오 스트림의 베이스 층은 일반적으로 스트림을 디코딩하기 위하여 필요한 최소 데이터량을 나타낸다. 스트림의 인헨스먼트층은 수신기에 의해 디코딩될 때 비디오 신호 표현을 향상시키는 부가적인 정보를 나타낸다.
많은 현재 비디오 코딩 스트림들은 베이스 층에 대한 움직임 보상 예측 코딩 및 확장 층에 대한 이산 코사인 변환(DCT) 나머지 코딩을 사용한다. 이것은 "모션 보상" DCT 코딩(MC-DCT)라 한다. 이들 시스템들에서, 시간적 리던던시는 모션 보상을 사용하여 감소되고, 공간적 해상도는 모션 보상의 나머지를 변환 코딩함으로써 감소된다. 그러나, 이들 시스템들은 통상적으로 에러 진행(또는 드리프트) 및 투루 스케일러빌러티의 부족 같은 문제들을 가지기 쉽다.
본 발명은 오버컴플릿 웨이브릿 도메인에서 모션 예측을 사용하는 개선된 코딩 시스템을 제공한다. 일측면에서, 하이브리드 3차원(3D) 웨이브릿 비디오 코더는 베이스 층에 대한 모션 보상 DCT(MC-DCT) 코딩 및 확장 층에 대한 오버컴플릿 웨이브릿 도메인에서 3D 인밴드 모션 보상 시간적 필터링(MCTF) 또는 비제한 MCTF(UMCTF)를 사용한다.
본 발명의 보다 완전한 이해를 위하여, 첨부 도면들과 관련하여 얻어진 다음 설명이 참조된다.
도 1은 본 발명의 일 실시예에 따른 예시적인 비디오 전송 시스템을 도시한다.
도 2는 본 발명의 일 실시예에 따른 예시적인 비디오 인코더를 도시한다.
도 3은 본 발명의 일 실시예에 따른 오버컴플릿 웨이브릿 확장에 의해 생성된 예시적인 참조 프레임을 도시한다.
도 4는 본 발명의 일 실시예에 따른 예시적인 비디오 디코더를 도시한다.
도 5A 및 5B는 본 발명의 일 실시예에 따른 비디오 정보의 예시적인 인코딩들을 도시한다.
도 6은 본 발명의 일 실시예에 따른 오버컴플릿 웨이브릿 도메인에서 비디오 정보를 인코딩하기 위한 예시적인 방법을 도시한다.
도 7은 본 발명의 일 실시예에 따른 오버컴플릿 웨이브릿 도메인에서 비디오 정보를 디코딩하기 위한 예시적인 방법을 도시한다.
도 1 내지 7은 하기에서 논의되었고, 특허 서류에 기술된 다양한 실시예들은 단지 참조 방식이고 본 발명의 범위를 제한하는 임의의 방식으로 고려되어서는 않된다. 당업자는 본 발명의 원리들이 임의의 적당하게 배열된 비디오 인코더, 비디 오 디코더, 또는 다른 장치, 장비 또는 구조로 실행될 수 있다는 것을 이해한다.
도 1은 본 발명의 일 실시예에 따른 예시적인 비디오 전송 시스템(100)을 도시한다. 도시된 실시예에서, 시스템(100)은 스트리밍 비디오 전송기(102), 스트리밍 비디오 수신기(104), 및 데이터 네트워크(106)를 포함한다. 비디오 전송 시스템의 다른 실시예들은 본 발명의 범위에서 벗어나지 않고 사용될 수 있다.
스트리밍 비디오 전송기(102)는 네트워크(106)를 통하여 비디오 정보를 스트리밍 비디오 수신기(104)로 스트림한다. 스트리밍 비디오 전송기(102)는 스트리밍 비디오 수신기(104)에 오디오 또는 다른 정보를 스트림할 수 있다. 스트리밍 비디오 전송기(102)는 데이터 네트워크 서버, 텔레비젼 스테이션 전송기, 케이블 네트워크, 또는 데스크톱 개인용 컴퓨터를 포함하는 임의의 다양한 비디오 프레임들의 소스들을 포함한다.
도시된 실시예에서, 스트리밍 비디오 전송기(102)는 비디오 프레임 소스(108), 비디오 인코더(110), 인코더 버퍼(112) 및 메모리(114)를 포함한다. 비디오 프레임 소스(108)는 텔레비젼 안테나 및 수신기 유닛, 비디오 카세트 플레이어, 비디오 카메라 또는 "원(raw)" 비디오 클립을 저장할 수 있는 디스크 저장 장치 같은 비압축 비디오 프레임들의 시퀀스를 생성하거나 그렇지 않으면 제공할 수 있는 임의의 장치 또는 구조를 나타낸다.
비압축 비디오 프레임들은 주어진 픽쳐 속도(또는 "스트리밍 속도(streaming rate)")에서 비디오 인코더(110)에 입력되고 비디오 인코더(110)에 의해 압축된다. 그 다음 비디오 인코더(110)는 압축된 비디오 프레임들을 인코더 버퍼(112)로 전송 한다. 비디오 인코더(110)는 비디오 프레임들을 코딩하기 위한 임의의 적당한 인코더를 나타낸다. 몇몇 실시예들에서, 비디오 인코더(110)는 베이스 층을 위한 MC-DCT 코딩 및 확장 층을 위한 오버컴플릿 웨이브릿 도메인에서 3D 인밴드 MCTF 또는 UMCTF를 사용하는 하이브리드 3D 웨이브릿 비디오 인코더를 나타낸다. 비디오 인코더(110)의 일예는 하기된 도 2에 도시된다.
인코더 버퍼(112)는 비디오 인코더(110)로부터 압축된 비디오 프레임들을 수신하고 데이터 네트워크(106)를 통하여 전송을 위하여 진행시 비디오 프레임들을 버퍼한다. 인코더 버퍼(112)는 압축된 비디오 프레임들을 저장하기에 적당한 임의의 버퍼를 나타낸다.
스트리밍 비디오 수신기(104)는 스트리밍 비디오 전송기(102)에 의해 데이터 네트워크(106)를 통하여 스트림된 압축 비디오 프레임들을 수신한다. 도시된 실시예에서, 스트리밍 비디오 수신기(104)는 디코더 버퍼(116), 비디오 디코더(118), 비디오 디스플레이(120) 및 메모리(122)를 포함한다. 애플리케이션에 따라, 스트리밍 비디오 수신기(104)는 텔레비젼 수신기, 데스크톱 개인용 컴퓨터, 또는 비디오 카세트 레코더를 포함하는 다양한 임의의 비디오 프레임 수신기들을 나타낼 수 있다. 디코더 버퍼(116)는 데이터 네트워크(106)를 통하여 수신된 압축된 비디오 프레임들을 저장한다. 그 다음 디코더 버퍼(116)는 요구된 바와 같은 비디오 디코더(118)에 압축된 비디오 프레임들을 전송한다. 디코더 버퍼(116)는 압축된 비디오 프레임들을 저장하기에 적당한 임의의 버퍼를 나타낸다.
비디오 디코더(118)는 비디오 인코더(110)에 의해 압축되었던 비디오 프레임 들을 압축해제한다. 압축된 비디오 프레임들은 스케일러블하고, 압축된 비디오 프레임들의 일부 또는 모두를 비디오 디코더(118)가 디코딩하게 한다. 비디오 디코더(118)는 표현을 위하여 비디오 디스플레이(120)에 압축해제된 프레임들을 전송한다. 비디오 디코더(118)는 비디오 프레임들을 디코딩하기에 적당한 임의의 디코더를 나타낸다. 몇몇 실시예들에서, 비디오 디코더(118)는 베이스 층에 대한 MC-DCT 디코딩 및 확장 층에 대한 오버컴플릿 웨이브릿 도메인에서 인버스 3D 인밴드 MCTF 또는 UMCTF를 사용하는 하이브리드 3D 웨이브릿 비디오 디코더를 나타낸다. 비디오 디코더(118)의 일예는 하기된 도 4에 도시된다. 비디오 디스플레이(120)는 텔레비젼, PC 스크린, 또는 프로젝터 같은 사용자에게 비디오 프레임들을 나타내기 위한 임의의 적당한 장치 또는 구조를 나타낸다.
몇몇 실시예들에서, 비디오 인코더(110)는 표준 MPEG 인코더 같은 종래 데이터 처리기에 의해 실행된 소프트웨어 프로그램으로서 실행된다. 이들 실시예들에서, 비디오 인코더(110)는 메모리(114)에 저장된 명령들 같은 다수의 컴퓨터 실행 가능한 명령들을 포함한다. 유사하게, 몇몇 실시예들에서, 비디오 디코더(118)는 표준 MPEG 디코더 같은 종래 데이터 처리기에 의해 실행된 소프트웨어 프로그램으로서 실행된다. 이들 실시예들에서, 비디오 디코더(118)는 메모리(122)에 저장된 명령들 같은 다수의 컴퓨터 실행 가능한 명령들을 포함한다. 메모리들(114, 122) 각각은 고정된 자기 디스크, 제거 가능한 자기 디스크, CD, DVD, 자기 테이프, 또는 비디오 디스크 같은 임의의 휘발성 또는 비휘발성 저장 및 검색 장치 또는 장치들을 나타낸다. 다른 실시예들에서, 비디오 인코더(110) 및 비디오 디코더(118)는 각각 하드웨어, 소프트웨어, 펌웨어, 또는 그것의 임의의 결합으로 실행된다.
데이터 네트워크(106)는 시스템(100)의 구성요소들 사이의 통신을 촉진한다. 예를 들어, 네트워크(106)는 인터넷 프로토콜(IP) 패킷들, 프레임 릴레이 프레임들, 비동기 전달 모드(ATM) 셀들, 또는 네트워크 어드레스들 또는 구성요소들 사이의 다른 적당한 정보와 통신할 수 있다. 네트워크(106)는 하나 이상의 로컬 영역 네트워크들(LAN), 메트로폴리탄 영역 네트워크들(MAN), 광역 네트워크들(WAN), 인터넷, 또는 하나 이상의 위치들에서 임의의 다른 통신 시스템 또는 시스템들 같은 모든 또는 일부의 글로벌 네트워크를 포함할 수 있다. 네트워크(106)는 이더넷, IP, X.25, 프레임 릴레이, 또는 임의의 다른 패킷 데이터 프로토콜 같은 임의의 적당한 형태의 프로토콜 또는 프로토콜들에 따라 동작할 수 있다.
비록 도 1이 비디오 전송 시스템(100)의 일 실시예를 도시하지만, 다양한 변화들은 도 1에 대해 이루어질 수 있다. 예를 들어, 시스템(100)은 임의의 수의 스트리밍 비디오 전송기들(102), 스트리밍 비디오 수신기들(104), 및 네트워크들(106)을 포함한다.
도 2는 본 발명의 일 실시예에 따른 예시적인 비디오 인코더(110)를 도시한다. 도 2에 도시된 비디오 인코더(110)는 도 1에 도시된 비디오 전송 시스템(100)에 사용될 수 있다. 비디오 인코더(110)의 다른 실시예들은 비디오 전송 시스템(100)에 사용될 수 있고, 도 2에 도시된 비디오 인코더(110)는 임의의 다른 적당한 장치, 구조, 또는 본 발명의 범위에서 벗어나지 않는 시스템에 사용될 수 있다.
도시된 실시예에서, 비디오 인코더(110)는 웨이브릿 변환기(202)를 포함한 다. 웨이브릿 변환기(202)는 비압축 비디오 프레임들(214)을 수신하고 공간 도메인에서 웨이브릿 도메인으로 비디오 프레임들(214)을 변환한다. 이런 변환은 웨이브릿 필터링을 사용하여 비디오 프레임(214)을 다중 대역들(216a-216n)로 공간적으로 압축해제하고, 비디오 프레임(214)에 대한 각각의 대역(216)은 하나의 세트의 웨이브릿 계수들에 의해 표현된다. 웨이브릿 변환기(202)는 비디오 프레임(214)을 다중 비디오 또는 웨이브릿 대역들(216)로 압축해제하기 위한 임의의 적당한 변환을 사용한다. 몇몇 실시예들에서, 프레임(214)은 로우-로우(LL) 대역, 로우-하이(LH) 대역, 하이-로우(HL) 대역, 및 하이-하이(HH) 대역을 포함하는 제 1 압축해제 레벨로 압축해제된다. 하나 이상의 이들 밴드들은 LL 대역이 추가로 LLLL, LLLH, LLHL, 및 LLHH 서브 대역들로 압축해제될 때 같은 부가적인 압축해제 레벨들로 추가로 압축해제될 수 있다.
웨이브릿 대역들(216)은 모션 보상 DCT(MC-DCT) 코더(203) 및 복수의 모션 보상 시간적 필터들(MCTF)(204a-204m)에 제공된다. MC-DCT 코더(203)는 가장 낮은 해상도 웨이브릿 대역(216a)을 인코딩한다. MCTF들(204)은 나머지 비디오 대역들(216b-216n)을 시간적으로 필터하고 프레임들(214) 사이의 시간적 상호관계를 제거한다. 예를 들어, MCTF들(204)은 비디오 대역들(216)을 필터할 수 있고 비디오 대역들(216)의 각각에 대해 하이 패스 프레임들 및 로우 패스 프레임들을 생성한다. 이 실시예에서, 압축되는 비디오 프레임의 베이스 층은 MC-DCT 코더(203)에 의해 처리된 가장 낮은 해상도 웨이브릿 대역(216a)을 나타내고 비디오 스트림의 인헨스먼트층은 MCTF들(204)에 의해 처리된 나머지 웨이브릿 대역들(216b-216n)을 나타낸 다. 베이스 층을 처리하는 비디오 인코더(110)의 구성요소들은 "베이스 층 회로"라 불리고, 반면, 인헨스먼트층을 처리하는 구성요소들이 "인헨스먼트층 회로"라 불린다. 몇몇 구성요소들은 양쪽 층들을 처리하고 각각의 층의 회로의 일부를 형성한다.
몇몇 실시예들에서, 프레임들의 그룹들은 MC-DCT 코더(203) 및 MCTF들(204)에 의해 처리된다. 특정 실시예들에서, 각각의 MCTF(204)는 모션 평가기 및 시간적 필터를 포함한다. MC-DCT 코더(203) 및 MCTF들(204)의 모션 평가기들은 현재 비디오 프레임 및 참조 프레임 사이의 모션양을 평가하고 하나 이상의 모션 벡터들을 형성하는 하나 이상의 모션 벡터들을 형성한다. MCTF들(204)에서 시간적 필터들은 모션 방향에서 비디오 프레임들의 그룹을 시간적으로 필터하기 위해 이 정보를 사용한다. 다른 실시예들에서, MCTF들(204)은 비제한 모션 보상 시간 필터들(UMCT들)에 의해 대체될 수 있다.
몇몇 실시예들에서, 모션 평가기들의 보간 필터들은 다른 계수 값들을 가질 수 있다. 다른 대역들(216)이 다른 시간적 상관관계들을 가질 수 있기 대문에, 이것은 MCTF들(204)의 코딩 성능을 개선시킨다. 또한, 다른 시간적 필터들은 MCTF들(204)에 사용될 수 있다. 몇몇 실시예들에서, 양방향 시간적 필터들은 보다 낮은 대역들(216)에 사용되고 순방향 시간적 필터들은 보다 높은 대역들(216)에 사용된다. 시간적 필터들은 왜곡 측정 또는 복잡성 측정을 최소화하기 위하여 선택될 수 있다. 시간적 필터들은 효율성/복잡성 제한을 증가하거나 최적화하기 위하여 각각의 대역(216)에 대해 다르게 설계된 예측 및 업데이트 단계들을 사용하는 리프팅 필터들 같은 임의의 적당한 필터들을 나타낸다.
게다가, MC-DCT 코더(203) 및 MCTF들(204)에 의해 함께 그룹화되고 처리된 프레임들의 수는 각각의 대역(216)에 대하여 적응적으로 결정된다. 몇몇 실시예들에서, 보다 낮은 대역들(216)은 함께 그룹화된 보다 많은 수의 프레임들을 가지며, 보다 높은 대역들은 함께 그룹화된 보다 작은 수의 프레임들을 가진다. 이것은 예를 들어 프레임들(214)의 시퀀스의 특성 또는 복잡성 또는 탄력성 요구들을 바탕으로 가별된 대역(216) 당 함께 그룹화되는 다수의 프레임들을 허용한다. 또한, 보다 높은 공간 주파수 대역들(216)은 보다 긴 기간의 시간적 필터링에서 생략될 수 있다. 특정 실시예로서, LL, LH 및 HL 및 HH 대역들(216)의 프레임들은 각각 8, 4, 및 2 프레임들의 그룹들로 배치될 수 있다. 이것은 3, 2, 및 1의 최대 압축 해제 레벨을 허용한다. 대역들(216) 각각에 대한 시간적 압축해제 레벨들의 수는 프레임 콘텐트, 타켓 왜곡 매트릭, 또는 각각의 대역(216)에 대한 시간적 스케일러빌러티의 목표된 레벨 같은 임의의 적당한 기준을 사용하여 결정될 수 있다. 다른 특정 예로서, LL, LH 및 HL 및 HH 대역들(216)의 각각에서 프레임들은 8개의 프레임들 그룹에 배치될 수 있다.
도 2에 도시된 바와 같이, MCTF들(204)은 웨이브릿 도메인에서 동작한다. 종래 인코더들에서, 웨이브릿 도메인에서의 모션 평가 및 보상은 웨이브릿 계수들이 시프트하지 않기 때문에 통상적으로 불충분하다. 이런 비효율성은 저역 시프팅 기술을 사용하여 극복할 수 있다. 도시된 실시예에서, 저역 시프터(206)는 입력 비디오 프레임들(214)을 처리하고 하나 이상의 오버컴플릿 웨이브릿 확장(218)을 생성한다. MCTF들(204)은 모션 평가 동안 참조 플임들로서 오버컴플릿 웨이브릿 확장(218)을 사용한다. 참조 프레임으로서 오버컴플릿 웨이브릿 확장(218)의 사용은 가변하는 정확도 레벨에 대한 모션을 MCTF들(204)이 평가하게 한다. 특정 실시예로서, MCFT들(204)은 LL 대역(216)의 모션 평가를 위해 1/16 화소 정확도 및 다른 대역들(216)에서 모션 평가를 위하여 1/8 화소 정확도를 사용할 수 있다.
몇몇 실시예들에서, 저역 시프터(206)는 입력 비디오 프레임들(214)을 저역으로 시프팅함으로써 오버컴플릿 웨이브릿 확장(218)을 생성한다. 저역 시프터(206)에 의하여 오버컴플릿 웨이브릿 확장(218)의 생성은 도 3A-3C에 도시된다. 이 실시예에서, 특정 공간 위치에서 동일한 압축 해제 레벨에 대응하는 다른 시프트된 웨이브릿 계수들은 "크로스 위상 웨이브릿 계수들(cross phase wavelet coefficient)"이라 한다. 도 3A에 도시된 바와 같이, 오버컴플릿 웨이브릿 확장(218)은 다음 미세한 레벨 LL 대역으로 웨이브릿 계수들을 시프트함으로써 생성된다. 예를 들어, 웨이브릿 계수들(302)은 시프트없이 LL 대역의 계수들을 나타낸다. 웨이브릿 계수들(304)은 (1,0) 시프트, 또는 우측으로의 하나의 위치 시프트후 LL 대역의 계수들을 나타낸다. 웨이브릿 계수들(306)은 (0,1) 시프트, 또는 아래로 하나의 위치의 시프트후 LL 대역의 계수들을 나타낸다. 웨이브릿 계수들(308)은 (1,1) 시프트, 또는 우측으로 하나의 위치의 시프트 및 아래로 하나의 위치의 시프트후 LL 대역의 계수들을 나타낸다.
도 3A에서 웨이브릿 계수들(302-308)의 4개의 세트들은 오버컴플릿 웨이브릿 확장(218)을 생성하기 위하여 증가 또는 결합된다. 도 3B는 웨이브릿 계수들(302- 308)이 오버컴플릿 웨이브릿 확장(218)을 형성하기 위하여 증가되거나 결합되는 방법의 일예를 도시한다. 도 3B에 도시된 바와 같이, 웨이브릿 계수들(330, 332)의 2개의 세트들은 오버컴플릿 웨이브릿 계수들(334)을 형성하기 위하여 인터리빙된다. 오버컴플릿 웨이브릿 계수들(334)은 도 3A에 도시된 오버컴플릿 웨이브릿 확장(218)을 나타낸다. 인터리빙은 오버컴플릿 웨이브릿 확장(218)에서 새로운 좌표들이 본래 공간 도메인에서 연관된 시프트에 대응하도록 수행된다. 이런 인터리빙 기술은 각각의 압축해제 레벨에서 반복적으로 사용되고 2D 신호들에 대하여 직접적으로 확장될 수 있다. 오버컴플릿 웨이브릿 계수들(334)을 생성하기 위한 인터리빙의 사용은 그것이 이웃하는 웨이브릿 계수들 사이의 크로서 위상 종속성들의 고려를 허용하기 때문에 비디오 인코더(110) 및 비디오 디코더(118)에서 서브 화소 정확성 모션 평가 및 보상을 보다 최적화한다. 비록 도 3B가 인터리빙되는 2개의 세트의 웨이브릿 계수들(330, 332)을 도시하지만, 임의의 수의 계수 세트들은 4개의 웨이브릿 계수들 같은 오버컴플릿 웨이브릿 계수들(334)을 형성하기 위하여 함께 인터리빙된다.
저역 시프팅 기술의 일부는 도 3C에 도시된 바와 같은 웨이브릿 블록들의 생성을 포함한다. 몇몇 실시예들에서, 웨이브릿 압축해제 동안, 주어진 스케일(가장 높은 주파수 대역에서 계수들 제외)에서 계수들은 보다 미세한 스케일들에서 동일한 방향의 계수 세트들에 연관될 수 있다. 종래 코더들에서, 이런 관계는 "웨이브릿 트리(wavelet tree)"라 불리는 데이터 구조 같은 계수들을 나타냄으로써 형성된다. 저역 시프팅 기술에서, 가장 낮은 대역에 루트되는 각각의 웨이브릿 트리의 계수들은 도 3C에 도시된 바와 같이 웨이브릿 블록(350)을 형성하기 위하여 재배열된다. 다른 계수들은 부가적인 웨이브릿 블록들(352, 354)을 형성하기 위하여 유사하게 그룹화된다. 도 3C에 도시된 웨이브릿 블록들은 웨이브릿 블록의 웨이브릿 계수들 및 그 계수들이 이미지에서 공간적으로 나타나는 것 사이의 직접적인 연관을 제공한다. 특정 실시예들에서, 모든 스케일들 및 방향들에서 관련된 계수들은 웨이브릿 블록들의 각각에 포함된다.
몇몇 실시예들에서, 도 3C에 도시된 웨이브릿 블록들은 MCTF들(204)에 의해 모션 평가 동안 사용된다. 예를 들어, 모션 평가 동안, 각각의 MCTF(204)는 현재 웨이브릿 블록 및 참조 프레임에서 참조 웨이브릿 블록 사이의 최소 평균 절대 차(MAD)를 생성하는 모션 벡터(dX, dY)를 생성한다. 예를 들어, 도 3C에서 k 번째 웨이브릿 블록의 평균 절대 차는 다음과 같이 계산될 수 있다 :
도 2를 참조하여, MC-DCT 코더(203) 및 MCTF들(204)은 내장된 제로 블록 코딩(EZBC) 코더(208)에 필터된 비디오 대역들을 제공한다. EZBC 코더(208)는 필터된 비디오 대역들을 분석하고 필터된 대역들(216)내 및 필터된 대역들(216) 사이의 상관관계들을 식별한다. EZBC 코더(208)는 필터된 대역들(216)을 인코딩하고 압축하기 위하여 이 정보를 사용한다. 특정 실시예로서, EZBC 코더(208)는 MCTF들(204)에 의해 생성된 하이 패스 프레임들 및 로우 패스 프레임들을 압축할 수 있다.
MC-DCT 코더(203) 및 MCTF들(204)은 모션 벡터들을 2개의 모션 벡터 인코더 들(210a-210b)에 제공한다. 모션 벡터들은 비디오 인코더(110)에 제공된 비디오 프레임들(214)의 시퀀스에서 검출된 모션을 나타낸다. 모션 벡터 인코더(210a)는 MC-DCT 코더(203)에 의해 생성된 모션 벡터들을 인코딩하고, 모션 벡터 인코더(210b)는 MCTF들(204)에 의해 생성된 모션 벡터들을 인코딩한다. 모션 벡터 인코더들(210)은 MC-DCT 코딩 같은 질감(texture) 또는 엔트로피 바탕 코딩 기술 같은 임의의 적당한 인코딩 기술을 사용하는 임의의 적당한 코더를 나타낼 수 있다.
함께, EZBC 코더(208)에 의해 생성된 압축 및 필터된 대역들(216)과 모션 벡터 인코더들(210)에 의해 형성된 압축된 모션 벡터들은 입력 비디오 프레임들(214)을 나타낸다. 멀티플렉서(212)는 압축 및 필터된 대역들(216) 및 압축된 모션 벡터들을 수신하고 그것들을 단일 출력 비트스트림(220)으로 멀티플렉스한다. 그 다음 비트스트림(220)은 데이터 네트워크(106)를 가로질러 스트리밍 비디오 수신기(104)로 스트리밍 비디오 전송기(102)에 의해 전송된다.
도 4는 본 발명의 일실시예에 따른 비디오 디코더(118)의 일 실시예를 도시한다. 도 4에 도시된 비디오 디코더(118)는 도 1에 도시된 비디오 전송 시스템(100)에 사용될 수 있다. 비디오 디코더(118)의 다른 실시예들은 비디오 전송 시스템(100)에 사용되고, 도 4에 도시된 비디오 디코더(118)는 본 발명의 범위에서 벗어나지 않고 임의의 적당한 장치, 구조 또는 시스템에 사용될 수 있다.
일반적으로, 비디오 디코더(118)는 도 2의 비디오 인코더(110)에 의해 수행되었던 기능의 인버스를 수행하여, 인코더(110)에 의해 인코딩된 비디오 프레임들(214)을 디코딩한다. 도시된 예에서, 비디오 디코더(118)는 디멀티플렉서(402)를 포함한다. 디멀티플렉서(402)는 비디오 인코더(110)에 의해 형성된 비트스트림(220)을 수신한다. 디멀티플렉서(402)는 비트스트림(22)을 디멀티플렉스하고 인코딩된 비디오 대역들, MC-DCT 코딩에 의해 형성된 인코딩된 모션 벡터들, 및 MCTF에 의해 형성된 인코딩된 모션 벡터들을 분리한다.
인코딩된 비디오 대역들은 EZBC 디코더(404)에 제공된다. EZBC 디코더(404)는 EZBC 코더(208)에 의해 인코딩되었던 비디오 대역들을 디코딩한다. 예를 들어, EZBC 디코더(404)는 비디오 대역들을 복구하기 위하여 EZBC 코더(208)에 의해 사용된 인코딩 기술의 인버스를 수행한다. 특정 실시예로서, 인코딩된 비디오 대역들은 압축된 고역 프레임들 및 저역 프레임들을 나타내고, EZBC 디코더(404)는 고역 및 저역 프레임들을 압축해제할 수 있다. 유사하게, 모션 벡터들은 2개의 모션 벡터 디코더들(406a-406b)에 제공된다. 모션 벡터 디코더들(406)은 모션 벡터 인코더들(210)에 의해 사용된 인코딩 기술의 인버스를 수행함으로써 모션 벡터들을 디코딩하고 복구한다. 모션 벡터 디코더들(406)은 질감 또는 엔트로피 바탕 디코딩 기술 같은 임의의 적당한 디코딩 기술을 사용하는 임의의 적당한 디코더를 나타낼 수 있다.
복구된 비디오 대역들(416a-416n) 및 모션 벡터들은 DCT 디코더(407) 및 복수의 인버스 모션 보상 시간적 필터들(인버스 MCTF들)(408a-408m)에 제공된다. DCT 디코더(407)는 인버스 DCT 코딩을 수행함으로써 가장 낮은 해상도 비디오 대역(416a)을 처리 및 복구한다. 인버스 MCTF들(408)은 나머지 비디오 대역들(416h-416n)을 처리 및 복구한다. 예를 들어, 인버스 MCTF들(408)은 MCTF들(204)에 의해 행해진 시간적 필터링의 효과를 리버스하기 위하여 시간적 통합을 수행할 수 있다. 인버스 MCTF들(408)은 비디오 대역들(416)내에 모션을 재도입하기 위하여 모션 보상을 수행할 수 있다. 특히, 인버스 MCTF들(408)은 비디오 대역들(416)을 복구하기 위하여 MCTF들(204)에 의해 생성된 고역 및 저역 프레임들을 처리할 수 있다. 다른 실시예들에서, 인버스 MCTF들(408)은 인버스 UMCTF들에 의해 대체될 수 있다.
복구된 비디오 대역들(416)은 인버스 웨이브릿 변환기(410)에 제공된다. 인버스 웨이브릿 변환기(410)는 웨이브릿 도메인으로부터 공간 도메인으로 비디오 대역들(416)을 변환하기 위한 변환 기능을 수행한다. 예를 들어 비트스트림(22)에 수신된 정보량 및 비디오 디코더(118)의 처리 전력에 따라, 인버스 웨이브릿 변환기(410)는 복구된 비디오 신호들(414a-414c)의 하나 이상의 다른 세트들을 형성할 수 있다. 몇몇 실시예들에서, 복구된 신호들(414a-414c)은 상이한 해상도들을 가질 수 있다. 복구된 비디오 신호(414a)는 낮은 해상도를 가질 수 있고, 제 2 복구 비디오 신호(414b)는 중간 해상도를 가질 수 있고 제 3 복구 비디오 신호(414c)는 높은 해상도를 가질 수 있다. 이런 방식에서, 다른 처리 능력들 또는 다른 대역폭 액세스를 가진 다른 형태의 스트리밍 비디오 수신기들(104)은 시스템(100)에 사용될 수 있다.
복구된 비디오 신호들(414)은 저역 시프터(412)에 제공된다. 상기된 바와 같이, 비디오 인코더(110)는 하나 이상의 오버컴플릿 웨이브릿 확장(218)을 사용하여 입력 비디오 프레임들(214)을 처리한다. 비디오 디코더(118)는 동일한 것으로 생성하거나 대략적으로 동일한 오버컴플릿 웨이브릿 확장(418)을 생성하기 위하여 복구된 비디오 신호들(414)에 이전에 복구된 비디오 프레임들을 사용한다. 오버컴플릿 웨이브릿 확장(418)은 비디오 대역들(416)을 디코딩하는데 사용하기 위하여 인버스 MCTF들(408)에 제공된다.
비록 도 2-4가 예시적인 비디오 인코더, 오버컴플릿 웨이브릿 확장 및 비디오 디코더를 도시하지만, 다양한 변화들은 도 2-4에 대해 이루어질 수 있다. 예를 들어, 비디오 인코더(110)는 임의의 수의 MCTF들(204)을 포함하고, 비디오 디코더(118)는 임의의 수의 MCTF들(408)을 포함할 수 있다. 또한, 임의의 다른 오버컴플릿 웨이브릿 확장은 비디오 인코더(110) 및 비디오 디코더(118)에 의해 사용될 수 있다. 게다가, 비디오 디코더(118)의 인버스 웨이브릿 변환기(410)는 임의의 수의 해상도들을 가진 복구된 비디오 신호들(414)을 형성할 수 있다. 특정 실시예로서, 비디오 디코더(118)는 n 세트의 복구된 비디오 신호들(414)을 형성할 수 있고, 여기서 n은 비디오 대역들(416)의 수를 나타낸다.
도 5A 및 5B는 본 발명의 일 실시예에 따른 비디오 정보의 예시적인 인코딩들을 도시한다. 특히, 도 5A는 비디오 인코더(110)가 공간 및 품질 스케일빌러티를 지원할 때 예시적인 인코딩을 도시하고, 도 5B는 비디오 인코더(110)가 공간적, 시간적 및 품질적 스케일빌러티를 지원할 때 예시적인 인코딩을 도시한다.
도 5A에서, 비디오 프레임들(500)의 그룹은 비디오 인코더(110)에 의해 인코딩된다. 프레임들(500)의 그룹은 2개의 분해 레벨들로 분해된다. 비디오 인코더(110)는 도시된 실시예에서 라벨된 대역(
Figure 112005078404305-PCT00001
)인 가장 낮은 해상도를 가진 대역을 식별한다. 이런 대역은 비디오 프레임들(500)의 그룹의 베이스 층을 나타낸다. 비디오 인코더(110)에서 MC-DCT 코더(203)는 MPEG-2, MPEG-4 또는 ITU-T H.26L 같은 MC-DCT 바탕 인코딩을 사용하여 (
Figure 112005078404305-PCT00002
)를 인코딩한다.
그룹(500)에서 나머지 대역들(
Figure 112005078404305-PCT00003
, i= 1,2,3, j=1,2)은 비디오 프레임들(500)의 그룹의 확장 층을 나타낸다. 비디오 인코더(110)에서 MCTF들(204)은 오버컴플릿 웨이브릿 도메인에서 인밴드 MCTF 또는 UMCTF를 사용하여 이들 밴드들을 인코딩한다.
MC-DCT를 사용하여 인코딩된 베이스층은 시간적 필터링을 위해 충분한 모션 벡터들을 제공하지 않고, 이들 모션 벡터들은 MCTF들(204)에서 시간 필터들에 의해 요구될 수 있다. MC-DCT 코더(203)가 제 1 분해 레벨만을 위해 모션 벡터들을 제공하기 때문에, 부가적인 모션 벡터들은 만약 확장 층이 다중 분해 레벨들(도 5A에서 투루)을 포함하면 요구된다. 부가적인 모션 벡터들을 생성하기 위하여, 3D 인밴드 MCTF 또는 UMCTF는 베이스 층 및 다른 대역들 양쪽에 제공된다. 다른 말로, 베이스 층은 부가적인 분해 레벨들을 위한 모션 벡터들을 생성하기 위하여 MCTF들(204)에 의해 처리될 수 있다. 비록 도 2가 MC-DCT 코더(203)에만 제공될 비디오 대역(216a)을 도시하지만, 동일한 비디오 대역(216a)은 MCTF(204)에 제공될 수 있다. 유사하게, 비록 도 4다 MC-DCT 디코더(407)에만 제공되는 비디오 대역(416a)을 도시하지만, 동일한 비디오 대역(416a)은 인버스 MCTF(408)에 제공될 수 있다.
도 5B에서, 비디오 프레임들(550)의 다른 그룹은 비디오 인코더(110)에 의해 인코딩된다. 비디오 인코더(10)는 도시된 실시예에서 라벨(
Figure 112005078404305-PCT00004
)된 대역인 가장 낮은 해상도를 가진 대역을 식별한다. 이런 대역은 비디오 프레임들(550)의 그룹의 베이스 층을 나타낸다. 비디오 인코더(110)에서 MC-DCT 코더(203)는 MC-DCT 바탕 인코딩을 사용하여 매번 다른 프레임에서 (
Figure 112005078404305-PCT00005
) 대역을 인코딩한다.
그룹(550)에서 나머지 대역들(
Figure 112005078404305-PCT00006
, i= 1,2,3, j=1,2) 및 스킵된 (
Figure 112005078404305-PCT00007
) 대역들은 비디오 프레임들(500)의 그룹의 확장 층을 나타낸다. 비디오 인코더(110)에서 MCTF들(204)은 오버컴플릿 웨이브릿 도메인에서 인밴드 MCTF 또는 UMCTF를 사용하여 이들 밴드들을 인코딩한다. 이 실시예에서, 확장 층은 다중 분해 레벨들을 포함하고, 확장 층에 대한 모션 벡터들은 (
Figure 112005078404305-PCT00008
) 밴드들이 확장 층의 일부로서 인코딩되기 때문에 3D 인밴드 MCTF 또는 UMCTF 동안 생성된다.
비록 도 5A 및 5B가 비디오 정보의 예시적인 인코딩들을 도시하지만, 다양한 변화들은 도 5A 및 5B에 대해 이루어진다. 예를 들어, 임의의 수의 프레임들은 그룹들(500, 550)에 포함될 수 있다. 또한, 프레임들은 임의의 수의 분해 레벨들로 분해될 수 있다.
도 6은 본 발명의 일 실시예에 따른 오버컴플릿 웨이브릿 도메인에서 비디오 정보를 인코딩하기 위한 예시적인 방법(600)을 도시한다. 상기 방법(600)은 도 1의 시스템(100)에서 동작하는 도 2의 비디오 인코더(110)에 관련하여 기술된다. 상기 방법(600)은 임의의 다른 적당한 인코더 및 임의의 다른 적당한 시스템에 의 해 사용될 수 있다.
비디오 인코더(110)는 단계(602)에서 비디오 입력을 수신한다. 이것은 예를 들어 비디오 프레임 소스(108)로부터 비디오 데이터의 다중 프레임들을 수신하는 비디오 인코더(110)를 포함한다.
비디오 인코더(110)는 단계(604)에서 각각의 비디오 프레임을 대역들로 분할한다. 이것은 예를 들어 비디오 프레임들을 처리하고 n개의 다른 대역들(216)로 프레임들을 분할하는 웨이브릿 변환기(202)를 포함할 수 있다. 웨이브릿 변환기(202)는 하나 이상의 분해 레벨들로 프레임들을 분해할 수 있다.
비디오 인코더(110)는 단계(606)에서 비디오 프레임들의 하나 이상의 오버컴플릿 웨이브릿 확장들을 형성한다. 이것은 예를 들어 비디오 프레임들을 수신하고, 비디오 프레임들의 보다 낮은 대역을 식별하고, 다른 양만큼 보다 낮은 대역을 시프트하고, 오버컴플릿 웨이브릿 확장을 생성하기 위하여 보다 낮은 대역을 증가시키는 저역 시프터(206)를 포함할 수 있다.
비디오 인코더(110)는 단계(608)에서 MC-DCT를 사용하여 비디오 프레임들의 베이스 층을 압축한다. 이것은 매 프레임에서 가장 낮은 해상도를 가진 대역(216)을 인코딩하는 MC-DCT 코더(203)를 포함한다. 이것은 매 다른 프레임에서 처럼 프레임들의 서브세트에 가장 낮은 해상도를 가진 대역(216)을 인코딩하는 MC-DCT 코더(203)를 포함할 수 있다.
비디오 인코더(110)는 단계(610)에서 3D 인밴드 MCTF 또는 UMCTF를 사용하여 비디오 프레임들의 확장 층을 압축한다. 이것은 예를 들어 비디오 대역들(216)을 수신하고, 대역들에서 모션을 평가하고, 모션 벡터들을 생성하는 MCTF들(204)을 포함한다. 이것은 확장 층을 인코딩하기 위하여 단계(604)에서 오버컴플릿 웨이브릿 확장을 사용하는 MCTF들(204)을 포함할 수 있다.
비디오 인코더(110)는 단계(512)에서 필터된 비디오 대역들을 인코딩한다. 이것은 MCTF들(204)로부터 필터된 비디오 대역들(216)을 수신하고 필터된 대역들(216)을 압축하는 EZBC 코더(208)를 포함한다. 비디오 인코더(110)는 단계(614)에서 모션 벡터들을 인코딩한다. 이것은 예를 들어 MCTF들(204)에 의해 생성된 모션 벡터들을 수신하고 모션 벡터들을 압축하는 모션 벡터 인코더를 포함한다. 비디오 인코더(110)는 단계(616)에서 출력 비트스트림을 생성한다. 이것은 예를 들어 압축된 비디오 대역들(216) 및 압축된 모션 벡터들을 수신하고 그것들을 비트스트림(220)으로부 멀티플렉싱한다. 이 시점에서, 비디오 인코더(110)는 데이터 네트워크(106)를 통하여 전송 동안 버퍼에 비트스트림을 통신하는 것과 같은 임의의 적당한 액션을 취할 수 있다.
비록 도 6이 오버컴플릿 웨이브릿 도메인에서 비디오 정보를 인코딩하기 위한 방법(600)의 일 실시예를 도시하지만, 다양한 변화들이 도 6에 대해 이루어질 수 있다. 예를 들어, 도 6에 도시된 다양한 단계들은 단계들(604 및 606) 처럼 비디오 인코더(110)에서 병렬로 실행될 수 있다. 또한, 비디오 인코더(110)는 인코더(110)에 의해 처리된 프레임들 각각의 그룹에 대하여 하나 같은 인코딩 처리 동안 오버컴플릿 웨이브릿 확장을 다수번 생성할 수 있다.
도 7은 본 발명의 일실시예에 따른 오버컴플릿 웨이브릿 도메인에서 비디오 정보를 디코딩하기 위한 예시적인 방법(700)을 도시한다. 방법(700)은 도 1의 시스템에서 동작하는 도 4의 비디오 디코더(118)에 관련하여 기술된다. 상기 방법(700)은 임의의 다른 적당한 디코더 및 임의의 다른 적당한 시스템에 의해 사용될 수 있다.
비디오 디코더(118)는 단계(702)에서 비디오 스트림을 수신한다. 이것은 예를 들어 데이터 네트워크(106)를 통하여 비트스트림을 수신하는 비디오 디코더(110)를 포함한다.
비디오 디코더(118)는 단계(704)에서 비트스트림의 인코딩된 비디오 대역들 및 인코딩된 모션 벡터들을 분리한다. 이것은 예를 들어 비디오 대역들 및 모션 벡터들을 분리하고 그들을 비디오 디코더(118)의 다른 구성요소들에 전송하는 멀티플렉서(402)를 포함할 수 있다.
비디오 디코더(118)는 단계(706)에서 비디오 대역들을 디코딩한다. 이것은 예를 들어 EZBC 코더(208)에 의해 수행된 인코딩을 리버스하기 위하여 비디오 대역들상에서 인버스 동작들을 수행하는 EZBC 디코더(404)를 포함할 수 있다. 비디오 디코더(118)는 단계(708)에서 모션 벡터들을 디코딩한다. 이것은 예를 들어 모션 벡터 인코더(210)에 의해 수행된 인코딩을 리버스하기 위하여 모션 벡터들 상에서 인버스 동작들을 수행하는 모션 벡터 디코더(406)를 포함할 수 있다.
비디오 디코더(118)는 단계(710)에서 MC-DCT를 사용하여 비디오 프레임들의 베이스 층을 압축해제한다. 이것은 매 프레임에서 가장 낮은 해상도를 가진 대역(416)을 디코딩하는 MC0DCT 디코더(407)를 포함할 수 있다. 이것은 매 다른 프레 임에서 처럼 프레임들의 서브세트에서 가장 낮은 해상도를 가진 대역(416)을 디코딩하는 MC-DCT 디코더(407)를 포함할 수 있다.
비디오 디코더(118)는 단계(712)에서 인버스 3D 인밴드 MCTF 또는 UMCTF를 사용하여 비디오 프레임(만약 가능하다면)의 확장 층을 압축해제한다. 이것은 대역들(416)을 수신하고 모션 벡터들을 사용하여 본래 비디오 프레임들(214)의 모션을 보상하는 인버스 MCTF들(408)을 포함할 수 있다.
비디오 디코더(118)는 단계(714)에서 복구된 비디오 대역들(416)을 변환한다. 이것은 예를 들어 웨이브릿 도메인에서 공간 도메인으로 비디오 대역들(416)을 변환하는 인버스 웨이브릿 변환기(410)를 포함할 수 있다. 이것은 복구된 신호들(414)의 하나 이상의 세트들을 생성하는 인버스 웨이브릿 변환기(410)를 포함할 수 있고, 여기서 다른 세트의 복구된 신호들(414)은 다른 해상도들을 가진다.
비디오 디코더(118)는 단계(716)에서 복구된 신호(414)에 복구된 비디오 프레임들의 하나 이상의 오버컴플릿 웨이브릿 확장들을 생성한다. 이것은 예를 들어 비디오 프레임들을 수신하고, 비디오 프레임들 중 보다 낮은 대역을 식별하고, 다른 양만큼 보다 낮은 대역을 시프트하고, 보다 낮은 대역들을 증가시키는 보다 낮은 대역 시프터(412)를 포함할 수 있다. 오버컴플릿 웨이브릿 확장은 부가적인 비디오 정보를 디코딩하는데 사용하기 위하여 인버스 MCTF들(408)에 제공된다.
비록 도 7이 오버컴플릿 웨이브릿 도메인에서 비디오 정보를 디코딩하기 위한 방법(700)의 일례를 도시하지만, 다양한 변화들이 도 7에 대해 이루어질 수 있다. 예를 들어, 도 7에 도시된 다양한 단계들은 단계들(706 및 708) 같은 비디오 디코더(118)에서 병렬로 실행될수있다. 또한, 비디오 디코더(118)는 디코더(118)에 의해 디코딩된 각각의 그룹의 프레임들에 대한 하나 같은 디코딩 처리 동안 오버컴플릿 웨이브릿 확장을 다수번 생성할 수 있다.
본 발명에서 사용된 특정 워드들 및 어구들의 정의들을 나타내는 것이 바람직하다. 용어들 "포함하다(include, comprise)", 및 그것의 어미활용은 제한없이 포함하는 것을 의미한다. 용어 "또는(or)"은 및/또는 을 의미하는 포함이다. 어구들 "와 연관된(associated with)" 및 그것과 연관된(associated therewith)" 및 그것의 활용들은 포함, 내에 포함, 상호접속, 포함, 에 포함, 접속 또는, 결합, 통신, 협력, 인터리브, 병치, 근접, 인접, 가짐, 특성 가짐 등을 포함하는 의미이다. 특정 워드들 및 어구들에 대한 정의들은 본 특허 명세서를 통하여 제공된다. 당업자는 만약 예가 없다면, 상기 정의들이 상기 정의된 워드들 및 어구들의 이전 및 미래 사용들에 적용할 수 있다는 것을 이해할 것이다.
본 발명이 특정 실시예들이 및 그것과 연관되어 기술되었지만, 이들 실시예들 및 방법들의 선택들 및 치환들은 당업자에게 명백할 것이다. 따라서, 상기 예시적인 실시예들의 설명은 본 명세서를 한정하거나 제한하지 않는다. 다른 변화들, 대체들, 및 선택들은 다음 청구항들에 의해 정의된 바와 같이 본 명세서의 사상 및 범위에서 벗어나지 않고 가능하다.

Claims (19)

  1. 비디오 프레임들의 입력 스트림(214)을 압축하기 위한 비디오 인코더(110)에 있어서,
    네트워크(106)를 통하여 전송하기에 적당한 압축된 베이스 층 비디오 데이터를 생성하기 위하여 상기 입력 스트림(214)과 연관된 베이스 층 비디오 데이터를 압축하도록 동작 가능한 모션 보상 이산 코사인 변환(motion compensated discrete cosine transform: MC-DCT) 코더(203)를 포함하는 베이스 층 회로; 및
    상기 네트워크(106)를 통하여 전송하기에 적당한 압축된 확장 층 비디오 데이터를 생성하기 위하여 상기 입력 스트림(214)과 연관된 확장 층 비디오 데이터를 압축하도록 동작 가능한 확장 층 회로로서, 오버컴플릿 웨이브릿 도메인(overcomplete wavelet domain)에서 상기 확장 층 비디오 데이터를 처리하도록 동작 가능한 복수의 모션 보상 시간적 필터들(204)을 포함하는, 상기 확장 층 회로를 포함하는, 비디오 인코더.
  2. 제 1 항에 있어서,
    비디오 프레임들의 각각을 복수의 비디오 대역들로 변환하도록 동작 가능한 웨이브릿 변환기(202);
    하나 이상의 오버컴플릿 웨이브릿 확장들을 생성하도록 동작 가능한 저역 시프터(206)로서, 상기 모션 보상 시간적 필터들(204)은 비디오 프레임들을 필터링할 때 상기 하나 이상의 오버컴플릿 웨이브릿 확장들을 사용하도록 동작하고, 상기 MC-DCT 코더(203) 및 적어도 하나의 상기 모션 보상 시간적 필터(204)들은 하나 이상의 모션 벡터들을 생성하는, 상기 저역 시프터(206);
    상기 모션 보상 시간적 필터들(204)에 의한 필터링 후 상기 비디오 대역들을 인코딩하도록 동작 가능한 제 1 인코더(208);
    상기 모션 벡터들을 인코딩하기 위하여 동작 가능한 복수의 제 2 인코더들(210); 및
    출력 비트스트림(220) 상에 상기 인코딩된 비디오 대역들 및 상기 인코딩된 모션 벡터들을 멀티플렉싱하도록 동작 가능한 멀티플렉서(212)를 더 포함하는, 비디오 인코더.
  3. 제 2 항에 있어서,
    상기 MC-DCT 코더(203)는 MPEG-2 인코더, MPEG-4 인코더, 및 H.26L 인코더 중 하나를 포함하고,
    상기 모션 보상 시간적 필터들(204)은 비제한 모션 보상 시간적 필터들을 포함하고,
    상기 제 2 인코더들(210)은 엔트로피 인코더들을 포함하는, 비디오 인코더.
  4. 비디오 비트스트림(220)을 압축해제하기 위한 비디오 디코더(118)에 있어서,
    압축해제된 베이스 층 비디오 데이터를 생성하기 위하여 상기 비트스트림 (220)에 포함된 베이스 층 비디오 데이터를 압축해제 하기 위하여 동작 가능한 모션 보상 이산 코사인 변환(MC-DCT) 디코더(407)를 포함하는 베이스 층 회로; 및
    압축해제된 확장 층 비디오 데이터를 생성하기 위하여 상기 비트스트림(220)에 포함된 확장 층 비디오 데이터를 압축해제하도록 동작 가능한 확장 층 회로로서, 오버컴플릿 웨이브릿 도메인에서 상기 확장 층 비디오 데이터를 처리하기 위하여 동작 가능한 복수의 인버스 모션 보상 시간적 필터들(408)을 포함하는, 상기 확장 층 회로를 포함하는, 비디오 디코더.
  5. 제 4 항에 있어서,
    상기 비트스트림(220)으로부터 인코딩된 비디오 대역들 및 인코딩된 모션 벡터들을 디멀티플렉싱하기 위하여 동작 가능한 디멀티플렉서(402);
    제 1 세트의 상기 모션 벡터들을 디코딩하기 위하여 동작 가능한 제 1 디코더(406a)로서, 상기 MC-DCT 디코더(407)는 상기 제 1 세트의 디코딩된 모션 벡터들을 사용하여 상기 베이스 층을 형성하는 상기 비디오 대역을 처리하기 위하여 동작 가능한, 상기 제 1 디코더(406a);
    제 2 세트의 상기 모션 벡터들을 디코딩하기 위하여 동작 가능한 제 2 디코더(406b)로서, 상기 인버스 모션 보상 시간적 필터들(408)은 상기 제 2 세트의 디코딩된 모션 벡터들을 사용하여 상기 확장 층을 형성하는 상기 비디오 대역을 처리하기 위하여 동작하는, 상기 제 2 디코더(406b);
    복수의 비디오 프레임들로 처리된 상기 비디오 대역들을 변환하기 위하여 동 작 가능한 인버스 웨이브릿 변환기(410); 및
    하나 이상의 오버컴플릿 웨이브릿 확장들을 생성하기 위하여 동작 가능한 저역 시프터(412)로서, 상기 인버스 모션 보상 시간적 필터들(408)은 상기 비디오 프레임들을 처리할 때 상기 하나 이상의 오버컴플릿 웨이브릿 확장들을 사용하도록 동작 가능한, 상기 저역 시프터(412)를 더 포함하는, 비디오 디코더.
  6. 제 5 항에 있어서,
    상기 MC-DCT 디코더(407)는 MPEG-2 디코더, MPEG-4 디코더, 및 H.26L 디코더 중 하나를 포함하고,
    상기 인버스 모션 보상 시간적 필터들(408)은 인버스 비제한 모션 보상 시간적 필터들을 포함하고,
    상기 제 1 및 제 2 디코더들(406)은 엔트로피 디코더들을 포함하는, 비디오 디코더.
  7. 비디오 프레임들의 입력 스트림(214)을 압축하기 위한 방법(600)에 있어서,
    네트워크(106)를 통하여 전송하기에 적당한 압축된 베이스 층 비디오 데이터를 생성하기 위하여 모션 보상 이산 코사인 변환(MC-DCT) 코딩을 사용하여 상기 입력 스트림(214)과 연관된 베이스 층 비디오 데이터를 압축하는 단계; 및
    상기 네트워크(106)를 통하여 적당한 압축된 확장 층 비디오 데이터를 생성하기 위하여 오버컴플릿 웨이브릿 도메인에서 모션 압축 시간적 필터링을 사용하여 상기 입력 스트림(214)과 연관된 확장 층 비디오 데이터를 압축하는 단계를 포함하는, 입력 스트림 압축 방법.
  8. 제 7 항에 있어서, 상기 베이스 층 비디오 데이터 및 상기 확장 층 비디오 데이터를 압축하는 단계는 하나 이상의 모션 벡터들을 생성하는 단계를 포함하고, 상기 방법은,
    복수의 비디오 대역들로 상기 비디오 프레임들의 각각을 변환하는 단계;
    하나 이상의 오버컴플릿 웨이브릿 확장들을 생성하는 단계로서, 상기 확장 층 비디오 데이터를 압축하는 단계는 상기 하나 이상의 오버컴플릿 웨이브릿 확장들을 사용하여 상기 확장 층 비디오 데이터를 압축하는 단계를 포함하는 상기 생성 단계;
    상기 모션 보상 시간적 필터링 후 상기 비디오 대역들을 인코딩하는 단계;
    상기 모션 벡터들을 인코딩하는 단계; 및
    출력 비트스트림 상에 상기 인코딩된 비디오 대역들 및 상기 인코딩된 모션 벡터들을 멀티플렉싱하는 단계를 더 포함하는, 입력 스트림 압축 방법.
  9. 비디오 비트스트림(220)을 압축해제하기 위한 방법(700)에 있어서,
    압축해제된 베이스 층 비디오 데이터를 생성하기 위하여 모션 보상 이산 코사인 변환(MC-DCT) 디코딩을 사용하여 상기 비트스트림(220)에 포함된 베이스 층 비디오 데이터를 압축해제하는 단계; 및
    압축해제된 확장 층 비디오 데이터를 생성하기 위하여 오버컴플릿 웨이브릿 도메인에서 인버스 모션 보상 시간적 필터링을 사용하여 상기 비트스트림(22)에 포함된 확장 층 비디오 데이터를 압축해제 하는 단계를 포함하는, 비디오 비트스트림 압축해제 방법.
  10. 제 9 항에 있어서,
    상기 비트스트림(220)으로부터 인코딩된 비디오 대역들 및 인코딩된 모션 벡터들을 디멀티플렉싱하는 단계;
    제 1 세트의 상기 모션 벡터들 및 제 2 세트의 상기 모션 벡터들을 디코딩하는 단계로서, 상기 베이스 층 비디오 데이터를 압축해제하는 단계는 상기 제 1 세트의 상기 디코딩된 모션 벡터들을 사용하여 상기 베이스 층 비디오 데이터를 압축해제하는 단계를 포함하고, 상기 확장 층 비디오 데이터를 압축해제하는 단계는 상기 제 2 세트의 디코딩된 모션 벡터들을 사용하여 상기 확장 층 비디오 데이터를 압축해제하는 단계를 포함하는, 상기 디코딩 단계;
    복수의 비디오 프레임들로 복구된 비디오 대역들을 변환하는 단계; 및
    하나 이상의 오버컴플릿 웨이브릿 확장들을 생성하는 단계로서, 상기 확장 층 비디오 데이터를 압축해제하는 단계는 상기 하나 이상의 오버컴플릿 웨이브릿 확장들을 사용하여 상기 확장 층 비디오 데이터를 압축해제하는 단계를 포함하는, 상기 생성 단계를 더 포함하는, 비디오 비트스트림 압축해제 방법.
  11. 비디오 전송기(102)에 있어서,
    비디오 프레임들의 스트림을 제공하기 위하여 동작 가능한 비디오 프레임 소스(108);
    상기 비디오 프레임들을 압축하기 위하여 동작 가능한 비디오 인코더(110)로서,
    네트워크(106)를 통한 전송을 위해 적당한 압축된 베이스 층 비디오 데이터를 생성하기 위하여 상기 스트림과 연관된 베이스 층 비디오 데이터를 압축하기 위하여 동작 가능한 모션 보상 이산 코사인 변환(MC-DCT) 코더(203)를 포함하는 베이스 층 회로; 및
    상기 네트워크(106)를 통한 전송을 위하여 적당한 압축된 확장 층 비디오 데이터를 생성하기 위하여 상기 스트림과 연관된 확장 층 비디오 데이터를 압축하도록 동작 가능한 확장 층 회로로서, 오버컴플릿 웨이브릿 도메인에서 상기 확장 층 비디오 데이터를 처리하기 위하여 동작 가능한 복수의 모션 보상 시간적 필터들(204)을 포함하는, 상기 확장 층 회로를 포함하는, 상기 비디오 인코더(110); 및
    상기 네트워크(106)를 통하여 전송하기 위하여 상기 압축된 비디오 프레임들을 수신 및 저장하도록 동작 가능한 버퍼(112)를 포함하는, 비디오 전송기.
  12. 제 11 항에 있어서,
    복수의 비디오 대역들로 상기 비디오 프레임들의 각각을 변환하기 위하여 동 작 가능한 웨이브릿 변환기(202);
    하나 이상의 오버컴플릿 웨이브릿 확장들을 생성하기 위하여 동작 가능한 저역 시프터(206)로서, 상기 모션 보상 시간적 필터들(204)은 상기 비디오 프레임들을 필터링할 때 상기 하나 이상의 오버컴플릿 웨이브릿 확장들을 사용하도록 동작 기능하고, 상기 MC-DCT 코더(203) 및 적어도 하나의 상기 모션 압축 시간적 필터들(204)은 하나 이상의 모션 벡터들을 생성하는, 상기 저역 시프터(206);
    상기 모션 보상 시간적 필터들(204)에 의해 필터링 후 상기 비디오 대역들을 인코딩하도록 동작 가능한 제 1 인코더(208);
    상기 모션 벡터들을 인코딩하기 위하여 동작 가능한 복수의 제 2 인코더들(210); 및
    출력 비트스트림(220)상에 상기 인코딩된 비디오 대역들 및 인코딩된 모션 벡터들을 멀티플렉싱하기 위하여 동작 가능한 멀티플렉서(212)를 더 포함하는, 비디오 전송기.
  13. 비디오 수신기(104)에 있어서,
    비디오 비트스트림을 수신 및 저장하기 위하여 동작 가능한 버퍼(116);
    상기 비디오 비트스트림을 압축해제하고 비디오 프레임들을 생성하기 위하여 동작 가능한 비디오 디코더(118)로서,
    압축해제된 베이스 층 비디오 데이터를 생성하기 위하여 상기 비트스트림에 포함된 베이스 층 비디오 데이터를 압축해제하기 위하여 동작 가능한 모션 보상 이산 코사인 변환(MC-DCT) 디코더(407)를 포함하는 베이스 층 회로; 및
    압축해제된 확장 층 비디오 데이터를 생성하기 위하여 상기 비트스트림에 포함된 확장 층 비디오 데이터를 압축해제하도록 동작 가능한 확장 층 회로로서, 오버컴플릿 웨이브릿 도메인에서 상기 확장 층 비디오 데이터를 처리하기 위하여 동작 가능한 복수의 인버스 모션 보상 시간적 필터들(408)을 포함하는, 상기 확장 층 회로를 포함하는, 상기 비디오 디코더; 및
    상기 비디오 프레임들을 제공하기 위하여 동작 가능한 비디오 디스플레이(120)를 포함하는, 비디오 수신기.
  14. 제 13 항에 있어서,
    상기 비트스트림으로부터 인코딩된 비디오 대역들 및 인코딩된 모션 벡터들을 디멀티플렉싱하기 위하여 동작 가능한 디멀티플렉서(402);
    제 1 세트의 상기 모션 벡터들을 디코딩하기 위하여 동작 가능한 제 1 디코더(406a)로서, 상기 MC-DCT 디코더(407)는 상기 제 1 세트의 상기 디코딩된 모션 벡터들을 사용하여 상기 베이스 층을 형성하는 상기 비디오 대역을 처리하도록 동작 가능한, 상기 제 1 디코더;
    제 2 세트의 상기 모션 벡터들을 디코딩하기 위하여 동작 가능한 제 2 디코더(406b)로서, 상기 인버스 모션 보상 시간적 필터들(408)은 상기 제 2 세트의 디코딩된 모션 벡터들을 사용하여 상기 확장 층을 형성하는 상기 비디오 대역들을 처리하도록 동작 가능한 상기 제 2 디코더;
    복수의 비디오 프레임들로 상기 처리된 비디오 대역들을 변환하기 위하여 동작 가능한 인버스 컴플릿 변환기(410); 및
    하나 이상의 오버컴플릿 웨이브릿 확장들을 생성하도록 동작 가능한 저역 시프터(412)로서, 상기 인버스 모션 보상 시간적 필터들(408)은 상기 비디오 프레임들을 처리할 때 상기 하나 이상의 오버컴플릿 웨이브릿 확장들을 사용하도록 동작 가능한, 상기 저역 시프터를 더 포함하는, 비디오 수신기.
  15. 컴퓨터 판독 가능한 매체 상에서 실현되고 처리기에 의해 실행되도록 동작 가능한 컴퓨터 프로그램에 있어서,
    네트워크(106)를 통하여 전송하기에 적당한 압축된 베이스 층 비디오 데이터를 생성하기 위하여 모션 보상 이산 코사인 변환(MC-DCT) 코딩을 사용하여 비디오 프레임들의 입력 스트림(214)과 연관된 베이스 층 비디오 데이터를 압축하는 단계; 및
    상기 네트워크(106)를 통하여 전송하기에 적당한 압축된 확장 층 비디오 데이터를 생성하기 위하여 오버컴플릿 웨이브릿 도메인에서 모션 보상 시간적 필터링을 사용하여 상기 입력 스트림(214)과 연관된 확장 층 비디오 데이터를 압축하는 단계를 위한 컴퓨터 판독 가능한 프로그램 코드를 포함하는, 컴퓨터 프로그램.
  16. 제 15 항에 있어서, 상기 컴퓨터 프로그램은,
    복수의 비디오 대역들로 상기 비디오 프레임들의 각각을 변환하는 단계;
    하나 이상의 오버컴플릿 웨이브릿 확장들을 생성하는 단계로서, 상기 확장 층 비디오 데이터를 압축하는 단계는 상기 하나 이상의 오버컴플릿 웨이브릿 확장들을 사용하여 상기 확장 층 비디오 데이터를 압축하는 단계를 포함하는, 상기 생성 단계;
    상기 모션 벡터들을 인코딩하는 단계; 및
    출력 비트스트림 상에 상기 인코딩된 비디오 대역들 및 상기 인코딩된 모션 벡터들을 멀티플렉싱하는 단계를 위한 컴퓨터 판독 가능한 프로그램 코드를 더 포함하는, 컴퓨터 프로그램.
  17. 컴퓨터 판독 가능한 매체 상에서 실현되고 처리기에 의해 실행되도록 동작 가능한 프로그램에 있어서,
    압축해제된 베이스 층 비디오 데이터를 생성하기 위하여 모션 보상 이산 코사인 변환(MC-DCT) 디코딩을 사용하여 비디오 비트스트림(220)에 포함된 베이스 층 비디오 데이터를 압축해제하는 단계; 및
    압축해제된 확장 층 비디오 데이터를 생성하기 위하여 오버컴플릿 웨이브릿 도메인에서 인버스 모션 보상 시간적 필터링을 사용하여 단계 비트스트림(220)에 포함된 확장 층 비디오 데이터를 압축해제하는 단계를 위한 판독 가능한 프로그램 코드를 포함하는, 컴퓨터 프로그램.
  18. 제 17 항에 있어서,
    상기 비트스트림(220)으로부터 인코딩된 비디오 대역들 및 인코딩된 모션 벡터들을 디멀티플렉싱하는 단계;
    제 1 세트의 상기 모션 벡터들 및 제 2 세트의 상기 모션 벡터들을 디코딩하는 단계로서, 베이스 층 비디오 데이터를 압축해제하는 단계는 상기 제 1 세트의 상기 디코딩된 모션 벡터들을 사용하여 상기 베이스 층 비디오 데이터를 압축해제 하는 단계를 포함하고, 상기 확장 층 비디오 데이터를 압축해제 단계는 상기 제 2 세트의 디코딩된 모션 벡터들을 사용하여 상기 확장 층 비디오 데이터를 압축해제하는 단계를 포함하는, 상기 디코딩 단계;
    복수의 비디오 프레임들로 복구된 비디오 대역들을 변환하는 단계; 및
    하나 이상의 오버컴플릿 웨이브릿 확장들을 생성하는 단계로서, 상기 확장 층 비디오 데이터를 압축해제하는 단계는 상기 하나 이상의 오버컴플릿 웨이브릿 확장들을 사용하여 상기 확장 층 비디오 데이터를 압축해제하는 단계를 포함하는 상기 생성 단계를 위하여 컴퓨터 판독 가능한 프로그램 코드를 더 포함하는, 컴퓨터 프로그램.
  19. 네트워크(106)를 통하여 전송하기에 적당한 압축된 베이스 층 비디오 데이터를 생성하기 위하여 모션 보상 이산 코사인 변환(MC-DCT) 코딩을 사용하여 비디오 프레임들의 입력 스트림(214)과 연관된 베이스 층 비디오 데이터를 압축하는 단계; 및
    상기 네트워크(106)를 통하여 전송하기에 적당한 압축된 확장 층 비디오 데 이터를 생성하기 위하여 오버컴플릿 웨이브릿 도메인에서 모션 보상 시간적 필터링을 사용하여 상기 입력 스트림(214)과 연관된 확장 층 비디오 데이터를 압축하는 단계들에 의해 생성되는 전송 가능한 비디오 신호.
KR1020057025464A 2003-06-30 2004-06-28 오버컴플릿 웨이브릿 도메인에서 비디오 코딩 KR20060024449A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US48379303P 2003-06-30 2003-06-30
US60/483,793 2003-06-30

Publications (1)

Publication Number Publication Date
KR20060024449A true KR20060024449A (ko) 2006-03-16

Family

ID=33552087

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020057025464A KR20060024449A (ko) 2003-06-30 2004-06-28 오버컴플릿 웨이브릿 도메인에서 비디오 코딩

Country Status (6)

Country Link
US (1) US20060159173A1 (ko)
EP (1) EP1642463A1 (ko)
JP (1) JP2007519274A (ko)
KR (1) KR20060024449A (ko)
CN (1) CN1813479A (ko)
WO (1) WO2005002234A1 (ko)

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8442108B2 (en) * 2004-07-12 2013-05-14 Microsoft Corporation Adaptive updates in motion-compensated temporal filtering
US8340177B2 (en) * 2004-07-12 2012-12-25 Microsoft Corporation Embedded base layer codec for 3D sub-band coding
US8374238B2 (en) * 2004-07-13 2013-02-12 Microsoft Corporation Spatial scalability in 3D sub-band decoding of SDMCTF-encoded video
US7330218B2 (en) * 2004-09-02 2008-02-12 Samsung Electronics Co., Ltd. Adaptive bidirectional filtering for video noise reduction
KR20060088461A (ko) * 2005-02-01 2006-08-04 엘지전자 주식회사 영상신호의 엔코딩/디코딩시에 영상블록을 위한 모션벡터를베이스 레이어 픽처의 모션벡터로부터 유도하는 방법 및장치
FR2886787A1 (fr) * 2005-06-06 2006-12-08 Thomson Licensing Sa Procede et dispositif de codage et de decodage d'une sequence d'images
US7956930B2 (en) * 2006-01-06 2011-06-07 Microsoft Corporation Resampling and picture resizing operations for multi-resolution video coding and decoding
WO2008036112A1 (en) * 2006-09-22 2008-03-27 Thomson Licensing Method and apparatus for multiple pass video coding and decoding
US20080095235A1 (en) * 2006-10-20 2008-04-24 Motorola, Inc. Method and apparatus for intra-frame spatial scalable video coding
MY162861A (en) * 2007-09-24 2017-07-31 Koninl Philips Electronics Nv Method and system for encoding a video data signal, encoded video data signal, method and system for decoding a video data signal
US8953673B2 (en) * 2008-02-29 2015-02-10 Microsoft Corporation Scalable video coding and decoding with sample bit depth and chroma high-pass residual layers
US8711948B2 (en) 2008-03-21 2014-04-29 Microsoft Corporation Motion-compensated prediction of inter-layer residuals
US9571856B2 (en) 2008-08-25 2017-02-14 Microsoft Technology Licensing, Llc Conversion operations in scalable video encoding and decoding
US8213503B2 (en) 2008-09-05 2012-07-03 Microsoft Corporation Skip modes for inter-layer residual video coding and decoding
US8573405B2 (en) * 2009-08-31 2013-11-05 Ncr Corporation Media depository
CN103200380A (zh) * 2012-01-10 2013-07-10 北京世纪高蓝科技有限公司 多媒体数据格式转换方法
US20130195180A1 (en) * 2012-02-01 2013-08-01 Motorola Mobility, Inc. Encoding an image using embedded zero block coding along with a discrete cosine transformation
US9332276B1 (en) 2012-08-09 2016-05-03 Google Inc. Variable-sized super block based direct prediction mode
US10142647B2 (en) 2014-11-13 2018-11-27 Google Llc Alternating block constrained decision mode coding

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2126467A1 (en) * 1993-07-13 1995-01-14 Barin Geoffry Haskell Scalable encoding and decoding of high-resolution progressive video
US6788740B1 (en) * 1999-10-01 2004-09-07 Koninklijke Philips Electronics N.V. System and method for encoding and decoding enhancement layer data using base layer quantization data
US6480547B1 (en) * 1999-10-15 2002-11-12 Koninklijke Philips Electronics N.V. System and method for encoding and decoding the residual signal for fine granular scalable video
US6907070B2 (en) * 2000-12-15 2005-06-14 Microsoft Corporation Drifting reduction and macroblock-based control in progressive fine granularity scalable video coding
US6944225B2 (en) * 2001-07-24 2005-09-13 Sharp Laboratories Of America, Inc. Resolution-scalable video compression
AU2002366825A1 (en) * 2001-12-20 2003-07-09 Koninklijke Philips Electronics N.V. Video encoding and decoding method and device
US20030202599A1 (en) * 2002-04-29 2003-10-30 Koninklijke Philips Electronics N.V. Scalable wavelet based coding using motion compensated temporal filtering based on multiple reference frames
US7023923B2 (en) * 2002-04-29 2006-04-04 Koninklijke Philips Electronics N.V. Motion compensated temporal filtering based on multiple reference frames for wavelet based coding
US7042946B2 (en) * 2002-04-29 2006-05-09 Koninklijke Philips Electronics N.V. Wavelet based coding using motion compensated filtering based on both single and multiple reference frames
WO2004036919A1 (en) * 2002-10-16 2004-04-29 Koninklijke Philips Electronics N.V. Fully scalable 3-d overcomplete wavelet video coding using adaptive motion compensated temporal filtering
GB0228281D0 (en) * 2002-12-04 2003-01-08 Imec Inter Uni Micro Electr Coding of motion vectors produced by wavelet-domain motion estimation
US7321625B2 (en) * 2002-12-13 2008-01-22 Ntt Docomo, Inc. Wavelet based multiresolution video representation with spatially scalable motion vectors
JP2006521039A (ja) * 2003-02-25 2006-09-14 コーニンクレッカ　フィリップス　エレクトロニクス　エヌ　ヴィ オーバコンプリートウェーブレット展開での動き補償時間フィルタリングを使用した３次元ウェーブレットビデオ符号化
US20060153466A1 (en) * 2003-06-30 2006-07-13 Ye Jong C System and method for video processing using overcomplete wavelet coding and circular prediction mapping
CN1856990A (zh) * 2003-09-23 2006-11-01 皇家飞利浦电子股份有限公司 使用频带内运动补偿时间滤波的视频去噪声算法

Also Published As

Publication number Publication date
JP2007519274A (ja) 2007-07-12
EP1642463A1 (en) 2006-04-05
CN1813479A (zh) 2006-08-02
WO2005002234A1 (en) 2005-01-06
US20060159173A1 (en) 2006-07-20

Similar Documents

Publication Publication Date Title
KR100664932B1 (ko) 비디오 코딩 방법 및 장치
KR100703760B1 (ko) 시간적 레벨간 모션 벡터 예측을 이용한 비디오인코딩/디코딩 방법 및 장치
KR100703724B1 (ko) 다 계층 기반으로 코딩된 스케일러블 비트스트림의비트율을 조절하는 장치 및 방법
KR100714696B1 (ko) 다계층 기반의 가중 예측을 이용한 비디오 코딩 방법 및장치
KR100681168B1 (ko) 미세 입상 스케일 가능한 비디오를 위한 잔류 신호의인코딩 및 디코딩 시스템 및 그 방법
KR100621581B1 (ko) 기초 계층을 포함하는 비트스트림을 프리디코딩,디코딩하는 방법, 및 장치
KR100679011B1 (ko) 기초 계층을 이용하는 스케일러블 비디오 코딩 방법 및 장치
KR100849965B1 (ko) 예측 모드 세분화 계위 제공 방법 및 장치
KR100763182B1 (ko) 다계층 기반의 가중 예측을 이용한 비디오 코딩 방법 및장치
KR100974397B1 (ko) 인터레이스된 디지털 비디오 데이터의 스케일러블 인코딩및 디코딩
US20060146937A1 (en) Three-dimensional wavelet video coding using motion-compensated temporal filtering on overcomplete wavelet expansions
US7010043B2 (en) Resolution scalable video coder for low latency
KR20060024449A (ko) 오버컴플릿 웨이브릿 도메인에서 비디오 코딩
KR20050052532A (ko) 적응성 움직임 보상 시간 필터링을 이용하는 충분히 크기조정가능 3-ｄ 오버컴플릿 웨이브릿 비디오 코딩
KR20060135992A (ko) 다계층 기반의 가중 예측을 이용한 비디오 코딩 방법 및장치
US20060013311A1 (en) Video decoding method using smoothing filter and video decoder therefor
KR20050085780A (ko) 순방향 에러 정정 코드를 이용하여 비디오의 드리프트 없는단편적인 다중 설명 채널 코딩을 위한 시스템 및 방법
EP1585338A1 (en) Encoding method, decoding method, encoding device, and decoding device
CN110731083A (zh) 视频编码***和方法中的编码块位流结构和语法
US20060088100A1 (en) Video coding method and apparatus supporting temporal scalability
KR100577364B1 (ko) 적응형 프레임간 비디오 코딩방법, 상기 방법을 위한 컴퓨터로 읽을 수 있는 기록매체, 및 장치
KR20050074151A (ko) 스케일러블 비디오 코딩에서 모션 벡터를 선정하는 방법및 그 방법을 이용한 비디오 압축 장치
WO2006043754A1 (en) Video coding method and apparatus supporting temporal scalability
JP2006135807A (ja) スケーラブル動画像符号化・復号化方法及びシステム
WO2006098586A1 (en) Video encoding/decoding method and apparatus using motion prediction between temporal levels

Legal Events

Date Code Title Description
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid