CN100466738C - 使用层间滤波的视频编码和解码方法及使用该方法的设备 - Google Patents

使用层间滤波的视频编码和解码方法及使用该方法的设备 Download PDF

Info

Publication number
CN100466738C
CN100466738C CNB021604053A CN200510109098A CN100466738C CN 100466738 C CN100466738 C CN 100466738C CN B021604053 A CNB021604053 A CN B021604053A CN 200510109098 A CN200510109098 A CN 200510109098A CN 100466738 C CN100466738 C CN 100466738C
Authority
CN
China
Prior art keywords
frame
video
filter
sampling
video coding
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CNB021604053A
Other languages
English (en)
Other versions
CN1764276A (zh
Inventor
韩宇镇
李培根
李宰荣
车尚昌
河昊振
李教爀
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN1764276A publication Critical patent/CN1764276A/zh
Application granted granted Critical
Publication of CN100466738C publication Critical patent/CN100466738C/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H04N19/615—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding using motion compensated temporal filtering [MCTF]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/115—Selection of the code volume for a coding unit prior to coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/127—Prioritisation of hardware or computational resources
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/149—Data rate or code amount at the encoder output by estimating the code amount by means of a model, e.g. mathematical model or statistical model
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/15—Data rate or code amount at the encoder output by monitoring actual compressed data size at the memory before deciding storage at the transmission buffer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/152—Data rate or code amount at the encoder output by measuring the fullness of the transmission buffer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/154—Measured or subjectively estimated visual quality after decoding, e.g. measurement of distortion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/162—User input
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/164—Feedback from the receiver or from the transmission channel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/177—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a group of pictures [GOP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/187—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scalable video layer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/31—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the temporal domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/34—Scalability techniques involving progressive bit-plane based encoding of the enhancement layer, e.g. fine granular scalability [FGS]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/36—Scalability techniques involving formatting the layers as a function of picture distortion after decoding, e.g. signal-to-noise [SNR] scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/577—Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/587—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal sub-sampling or interpolation, e.g. decimation or subsequent interpolation of pictures in a video sequence
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/63—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/13—Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Algebra (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

提供一种使用层间滤波的视频编码和解码方法以及使用该方法的视频编码器和解码器。使用多种视频编码算法的多层视频编码通过使用层间滤波可提高视频编码效率。该视频编码方法包括：使用第一视频编码方案对视频帧进行编码；对根据第一视频编码方案进行编码的帧执行层间滤波；通过参照经受层间滤波的帧来使用第二视频编码方案对所述视频帧进行编码；和产生比特流，该比特流包含根据第一和第二视频编码方案进行编码的帧。

Description

使用层间滤波的视频编码和解码方法及使用该方法的设备
技术领域
本发明的设备和方法涉及一种多层视频编码技术，更具体地讲，涉及一种使用层间滤波(interlayer filtering)的视频编码技术。
背景技术
随着包括互联网的通信技术的发展，视频通信以及文本和语音通信已增加。传统的文本通信不能满足用户的各种需要，因此可提供诸如文本、图片和音乐的各种类型的信息的多媒体服务已增加。由于数据量通常很大，所以多媒体数据需要大容量存储介质和用于传输的宽的带宽。例如，具有640×480分辨率的24位真彩图片需要640×480×24比特的容量，即大约每帧7.37M比特的数据。当由这样的图像组成的视频以每秒30帧的速度被发送时，需要221M比特/秒的带宽。当基于这样的图像的90分钟的电影被存储时，需要大约1200G比特的存储空间。因此，为了发送多媒体数据，压缩编码方法是必需的。
多媒体数据压缩的基本原理是去除数据冗余。换言之，可通过去除空间的、时间的和视觉的冗余来压缩视频数据。当在图像中相同的颜色或物体被重复时，将产生空间冗余。当运动图像中相邻的帧之间改变很小或者在音频中相同的声音被重复时，将产生时间冗余。视觉冗余的去除考虑到人类视觉的局限性和对高频的有限感知能力。
图1示出在其中视频压缩被应用的环境。
由视频编码器110对视频数据进行压缩。目前已知的基于离散余弦变换(DCT)的视频压缩算法是MPEG-2、MPEG-4、H.263和H.264。近几年来，对基于小波的分级视频编码的研究已积极地开展。压缩的视频数据经网络120被发送到视频解码器130。视频解码器130对压缩的视频数据解码以重构原始视频数据。
视频编码器110对原始视频数据进行压缩以使其不超出网络120的可用带宽。然而，通信带宽可能基于网络120的类型而变化。例如，以太网的可用通信带宽不同于无线局域网(WLAN)的可用通信带宽。蜂窝式通信网络可具有非常窄的带宽。因此，对从同一压缩的视频数据中产生以可变比特率压缩的视频数据的方法，特别是分级视频编码，正在积极地进行研究。
分级(scalable)视频编码是一种使视频数据能够提供分级的视频压缩技术。分级是一种能够从同一压缩的比特流中以不同的分辨率、帧速率和质量产生视频序列的能力。可使用运动补偿时间滤波(MCTF)、无约束MCTF(UMCTF)或连续时间近似和参照(STAR)算法来提供时间分级。可通过近几年已被积极地研究的小波变换算法或多层编码来实现空间分级。可使用嵌入式零树小波(EZW)、分级树集合分割(SPIHT)、嵌入式零块编码(EZBC)或最佳截断嵌入式块编码(EBCOT)来获得信噪比(SNR)分级。
多层视频编码算法最近已被使用于分级视频编码。尽管传统的多层视频编码通常使用单一的视频编码算法，但是最近越来越多的注意力已经投向了使用多种视频编码算法的多层视频编码。
图2和图3示出由多层视频编码产生的比特流的例子。
参照图2，视频编码器使用提供极好的编码效率的MPEG-4高级视频编码(AVC)算法和提供极好的分级的小波编码技术两者。当视频编码器仅使用小波编码执行编码时，在低分辨率处视频质量易于显著地降低。因此，图2中显示的比特流包含AVC编码的最低分辨率层帧和使用AVC编码的最低分辨率层帧进行小波编码的最高分辨率层帧。在编码期间用作参照的帧是通过对根据AVC编码进行编码的帧进行解码来重构的帧。
参照图3，视频编码器使用提供极好的分级的小波编码和提供极好的编码效率的AVC编码两者。尽管图2中显示的比特流仅有小波编码和AVC编码的两个层，但是图3中显示的比特流对每一分辨率都具有小波编码的层和AVC编码的层。
多层视频编码存在这样的问题:由于在先的编码的层(基层)中的量化噪声，增强层的编码效率易于降低。特别是，当多层视频编码使用具有不同特性的多种视频编码算法时，该问题将更严重。例如，如图2或图3中所示使用基于DCT的AVC编码和基于小波的编码两者可使小波层中的编码效率降低。
发明内容
本发明提供一种使用层间滤波(interlayer filtering)的视频编码和解码方法以及视频编码器和解码器，该方法被设计以提高多层视频编码的效率。
通过阅读下面的描述，对于本领域的技术人员本发明的上述以及其他目的、特点和优点将变得清楚。
根据本发明的一方面，提供一种视频编码方法，该方法包括以下步骤:使用第一视频编码方案对视频帧进行编码；对根据第一视频编码方案进行编码的帧执行层间滤波；通过参照经受层间滤波的帧来使用第二视频编码方案对所述视频帧进行编码；和产生比特流，该比特流包含根据第一和第二视频编码方案进行编码的帧。
根据本发明的另一方面，提供一种视频编码方法，该方法包括以下步骤:对视频帧进行欠采样以产生低分辨率的视频帧；使用第一视频编码方案对低分辨率的视频帧进行编码；将根据第一视频编码方案进行编码的帧过采样为所述视频帧的分辨率；对过采样的帧执行层间滤波；通过参照经受层间滤波的帧来使用第二视频编码方案对所述视频帧进行编码；和产生比特流，该比特流包含根据第一和第二视频编码方案进行编码的帧。
根据本发明的另一方面，提供一种视频编码器，包括:第一视频编码单元，使用第一视频编码方案对视频帧进行编码；层间滤波器，对由第一视频编码单元进行编码的帧执行层间滤波；第二视频编码单元，通过参照层间滤波的帧来使用第二视频编码方案对所述视频帧进行编码；和比特流发生器，产生比特流，该比特流包含根据第一和第二视频编码方案进行编码的帧。
根据本发明的另一方面，提供一种视频编码器，包括:欠采样器，对视频帧进行欠采样以产生低分辨率的视频帧；第一视频编码单元，使用第一视频编码方案来对低分辨率的视频帧进行编码；过采样器，对根据第一视频编码方案进行编码的帧进行过采样；层间滤波器，对过采样的帧执行层间滤波；第二视频编码单元，通过参照层间滤波的帧来使用第二视频编码方案对所述视频帧进行编码；和比特流发生器，产生比特流，该比特流包含根据第一和第二视频编码方案进行编码的帧。
根据本发明的另一方面，提供一种视频解码方法，该方法包括以下步骤:从比特流提取根据第一和第二视频编码方案进行编码的帧；使用第一视频解码方案对根据第一视频编码方案进行编码的帧进行解码，并重构第一层帧；对重构的第一层帧执行层间滤波；和通过参照层间滤波的第一层帧来使用第二视频解码方案对根据第二视频编码方案进行编码的帧进行解码，并重构第二层帧。
根据本发明的另一方面，提供一种视频解码方法，该方法包括以下步骤:从比特流提取根据第一和第二视频编码方案进行编码的帧；使用第一视频解码方案对根据第一视频编码方案进行编码的帧进行解码，并重构第一层帧；对重构的第一层帧进行过采样；对过采样的第一层帧执行层间滤波；和通过参照层间滤波的第一层帧来使用第二视频解码方案对根据第二视频编码方案进行编码的帧进行解码，并重构第二层帧。
根据本发明的另一方面，提供一种视频解码器，包括:比特流解释器，从比特流提取根据第一和第二视频编码方案进行编码的帧；第一视频解码单元，通过参照第一视频解码方案对根据第一视频编码方案进行编码的帧进行解码，并重构第一层帧；层间滤波器，对重构的第一层帧执行层间滤波；和第二视频解码单元，通过参照层间滤波的第一层帧来使用第二视频解码方案对根据第二视频编码方案进行编码的帧进行解码，并重构第二层帧。
根据本发明的另一方面，提供一种视频解码器，包括:比特流解释器，从比特流提取根据第一和第二视频编码方案进行编码的帧；第一视频解码单元，使用第一视频解码方案对根据第一视频编码方案进行编码的帧进行解码，并重构第一层帧；过采样器，对重构的第一层帧进行过采样；层间滤波器，对过采样的第一层帧执行层间滤波；和第二视频解码单元，通过参照层间滤波的第一层帧来使用第二视频解码方案对根据第二视频编码方案进行编码的帧进行解码，并重构第二层帧。
附图说明
通过参照附图对其示例性实施例的详细描述，本发明的上述和其他方面将变得更加清楚，其中:
图1示出在其中视频压缩被应用的环境；
图2和图3示出由多层视频编码产生的比特流的示例结构；
图4是根据本发明的第一示例性实施例的视频编码器的方框图；
图5是根据本发明的第二示例性实施例的视频编码器的方框图；
图6是根据本发明的示例性实施例的时间滤波器的方框图；
图7是示出根据本发明的示例性实施例的视频编码过程的流程图；
图8是示出根据本发明的示例性实施例对第二层进行编码的详细过程的流程图；
图9是根据本发明的第一示例性实施例的视频解码器的方框图；
图10是根据本发明的第二示例性实施例的视频解码器的方框图；
图11是根据本发明的示例性实施例的逆时间滤波器的方框图；
图12是示出根据本发明的示例性实施例的视频解码过程的流程图；和
图13是示出根据本发明的示例性实施例对第二层执行逆时间滤波的详细过程的流程图。
具体实施方式
通过参照下面对实施例和附图的详细描述，本发明的方面和实现本发明的方法将更容易理解。然而，本发明可以以各种不同的形式被实施而不应该被解释为受限于其中所阐述的示例性实施例。此外，这些示例性实施例被提供从而此公开将是彻底的和全面的并将把本发明的概念充分地传达给本领域的技术人员，并且本发明将仅由权利要求定义。说明书中相同的标号始终表示相同的部件。
现在将参照附图更充分地描述本发明，附图中示出本发明的示例性实施例。为了说明方便，假设视频编码器具有用于两个层的两个编码单元。
图4是根据本发明的第一示例性实施例的视频编码器的方框图。
参照图4，根据本发明的第一示例性实施例的视频编码器包括:第一视频编码单元410、第二视频编码单元420、比特流发生器430和层间滤波器440。
第一视频编码单元410包括:时间滤波器411、离散余弦变换(DCT)变换器412和量化器413，并且使用高级视频编码(AVC)对视频帧进行编码。
时间滤波器411接收视频帧400并去除视频帧400与相邻的帧之间的时间冗余。时间滤波器411可使用运动补偿时间滤波(MCTF)算法来去除帧之间的时间冗余。支持时间分级的MCTF算法去除在相邻的帧之间的时间冗余。5/3滤波器被广泛用于MCTF。还可使用支持时间分级的其他时间滤波算法，如无约束MCTF(UMCTF)或连续时间近似和参照(STAR)。
DCT变换器412对时间滤波的帧执行DCT。对预定大小(8×8或4×4)的每个块执行DCT。与DCT之前的块的熵相比，经受DCT的块的熵减小。
量化器413对DCT变换的帧进行量化。在AVC中，基于量化参数(Qp)确定量化。量化的帧在经受扫描和熵编码后被***比特流中。
第二视频编码单元420包括:时间滤波器421、小波变换器422和量化器423，并且使用小波编码对视频帧进行编码。
时间滤波器421接收视频帧400并去除视频帧400与相邻的帧之间的时间冗余。时间滤波器421可使用MCTF算法来去除帧之间的时间冗余。支持时间分级的MCTF算法去除在相邻的帧之间的时间冗余。还可使用支持时间分级的其他时间滤波算法，如UMCTF或STAR。
小波变换器422在逐帧的基础上对时间滤波的帧执行小波变换。支持空间分级的小波变换算法将帧分解为一个低通子带(LL)和三个高通子带(LH、HL和HH)。LL子带是经受小波变换之前的原始帧的近似并且是原始帧的大小的四分之一。小波变换被再次执行从而将LL子带分解为一个低通子带(LLLL)和三个高通子带(LLLH、LLHL和LLHH)。LLLL子带是LL子带的近似并且是LL子带的大小的四分之一。9/7滤波器通常被用于小波变换。
量化器423对小波变换的帧进行量化。可使用提供信噪比(SNR)分级的诸如嵌入式零树小波(EZW)、分级树集合分割(SPIHT)、嵌入式零块编码(EZBC)或最佳截断嵌入式块编码(EBCOT)的嵌入式量化算法来执行所述量化。
时间滤波器421使用相邻的帧或由第一视频编码单元410编码的帧作为参照来去除在视频帧400中的时间冗余。在量化之前执行的基于块的DCT可引起块效应(block artifact)，该块效应将降低由第二视频编码单元420执行的小波编码的效率。即，由于当帧经受小波变换时诸如噪声的块效应沿着整个帧传播，因此具有块效应的帧可降低小波编码效率。
因此，图4的视频编码器还包括层间滤波器440以消除在层之间产生的噪声。层间滤波器440以这样的方式执行滤波:根据第一视频编码方法编码的帧适合于用作第二视频编码方法的参照。如图4的视频编码器所示，当对每个层使用不同的视频编码方案时，需要层间滤波。
层间滤波器440对由基于DCT的AVC编码进行编码的帧执行滤波，从而该帧适合于用作小波编码的参照。为了实现此目的，层间滤波器在以小波滤波器对AVC编码的帧进行过采样(upsample)之后，以MPEG(或其他)滤波器对该帧进行欠采样(downsample)；然而，这仅是示例性的。此外，在层间滤波器440中的欠采样滤波器可以是在截止频率处显示陡的斜率的低通滤波器。层间滤波器440可以是任何单个或多个以这样的方式设计的滤波器:经受层间滤波的帧可适合于用作第二视频编码单元420的参照。
比特流发生器430产生包含AVC编码的帧431、小波编码的帧432、运动矢量和其他必要的信息的比特流。
图5是根据本发明的第二示例性实施例的视频编码器的方框图。
参照图5，该视频编码器包括:第一视频编码单元510、第二视频编码单元520、比特流生成器530、层间滤波器540、过采样器550、和欠采样器560。视频编码器使用不同的视频编码方案对视频帧和低分辨率视频帧进行编码。具体地说，欠采样器560对视频帧500进行欠采样以产生低分辨率视频帧。
第一视频编码单元510包括:时间滤波器511、DCT变换器512、和量化器513，并且使用AVC编码对低分辨率视频帧进行编码。
时间滤波器511接收低分辨率视频帧500并去除该低分辨率帧与相邻的低分辨率帧之间的时间冗余。时间滤波器511使用支持时间分级的MCTF算法来去除低分辨率帧之间的时间冗余。虽然5/3滤波器被广泛用于MCTF，但是还可使用支持时间分级的其他时间滤波算法，如UMCTF或STAR。
DCT变换器512对时间滤波的帧执行DCT。对预定大小(8×8或4×4)的每一块执行DCT。与DCT之前的块的熵相比，经受DCT的块的熵减小。
量化器513对DCT变换的帧进行量化。在AVC中，基于量化参数(Qp)确定量化。量化的帧在经受重排帧序和熵编码之后被***比特流中。
过采样器550将AVC编码的帧过采样为帧500的分辨率。
层间滤波器540以帧的过采样形式可适合于用作小波编码的参照的方式执行滤波。在本发明的示例性实施例中，帧的过采样形式可通过小波滤波器被过采样，随后使用MPEG滤波器进行欠采样；然而，这仅是示例性的。此外，在层间滤波器540中的欠采样滤波器可以是在截止频率显示陡的斜率的低通滤波器。层间滤波器540可以是任何单个或多个以这样的方式设计的滤波器:经受层间滤波的帧可适合于用作第二视频编码单元520的参照。
第二视频编码单元520包括:时间滤波器521、小波变换器522、和量化器523，并且其使用小波编码对视频帧进行编码。
时间滤波器521接收视频帧500并去除视频帧500与相邻的帧之间的时间冗余。在本发明的示例性实施例中，时间滤波器521使用MCTF算法来去除帧之间的时间冗余。支持时间分级的MCTF算法去除相邻的帧之间的时间冗余。还可使用支持时间分级的其他时间滤波算法，如UMCTF或STAR。
小波变换器522对时间滤波的帧执行小波变换。与以块为单位执行的DCT变换不同，所述小波变换以帧为单位被执行。支持空间分级的小波变换算法将帧分解为一个低通子带(LL)和三个高通子带(LH、HL和HH)。LL子带是经受小波变换之前的原始帧的近似并且是该原始帧的大小的四分之一。小波变换被再次执行以将LL子带分解为一个低通子带(LLLL)和三个高通子带(LLLH、LLHL和LLHH)。LLLL子带是LL子带的近似并且是LL子带的大小的四分之一。9/7滤波器被通常用于小波变换。
量化器523对小波变换的帧进行量化。量化可以是提供SNR分级的诸如EZW、SPIHT、EZBC或EBCOT的嵌入式量化算法。
时间滤波器521使用相邻的帧或由第一视频编码单元510编码的帧作为参照来去除在视频帧500中的时间冗余。由第一视频编码单元编码的帧在被发送到时间滤波器521之前被过采样并经受层间滤波。
比特流发生器530产生包含AVC编码的帧531、小波编码的帧532、运动矢量和其他必要的信息的比特流。
将参照图6更详细地描述时间滤波器。
图6是根据本发明的示例性实施例的时间滤波器的方框图。
尽管图4和图5示出第一视频编码单元410(510)和第二视频编码单元420(520)分别包括时间滤波器411(511)和421(521)，但是为了说明方便，在示例性实施例中假设在第一视频编码单元420中使用时间滤波器600。
时间滤波器600在逐图组(GOP)的基础上使用MCTF去除视频帧之间的时间冗余。为了实现此功能，时间滤波器600包括:用于产生预测帧的预测帧发生器610、用于对预测帧进行平滑的预测帧平滑器620、通过将平滑的预测帧与视频帧进行比较来产生残差帧的残差帧发生器630、和使用该残差帧来更新视频帧的更新器640。
预测帧发生器610使用与视频帧相邻的其它视频帧和经受层间滤波的帧作为参照来产生预测帧，该预测帧将与该视频帧进行比较，以产生残差帧。预测帧发生器610在参考帧(相邻的视频帧和经受中间滤波的帧)中为所述视频帧中的每个块寻找匹配块(帧间编码)或在该视频帧的其他块中为该视频帧中的每个块寻找匹配块(帧内编码)。
由于在由与视频帧中的块相应的块组成的预测帧的块边界处引入块效应，因此预测帧平滑器620对预测帧进行平滑。为了实现此功能，预测帧平滑器620可在所述预测帧中的块边界处对象素执行解块。由于解块算法通常被用于H.264视频编码方案中并且为本领域所公知，因此将不给出其详细说明。
残差帧发生器630将被平滑的预测帧与视频帧进行比较并产生时间冗余已被去除的残差帧。
更新器640使用残差帧来更新其他视频帧。然后，更新的视频帧被提供给预测帧发生器610。
例如，当每个GOP包括8个视频帧时，时间滤波器600分别去除在帧1、3、5和7中的时间冗余以产生残差帧1、3、5和7。残差帧1、3、5和7被用于更新帧0、2、4和6。时间滤波器600从更新的帧2和6中去除时间冗余以产生残差帧2和6。残差帧2和6被用于更新帧0和4。然后，时间滤波器600去除在更新的帧4中的时间冗余以产生残差帧4。残差帧4被用于更新帧0。通过上述过程，时间滤波器600对所述8个视频帧执行时间滤波以获得一个低通帧(更新的帧0)和7个高通帧(残差帧1至7)。
将参照图7和图8描述视频编码过程和时间滤波。假设对两个层执行视频编码。
参照图7，在步骤S710，视频编码器接收视频帧。
在步骤S720，视频编码器使用AVC编码对输入的视频帧进行编码。在此示例性实施例中，因为AVC编码提供目前可获得的最高编码效率，所以使用AVC编码对第一层进行编码。然而，可使用其它视频编码算法对第一层进行编码。
在第一层被编码后，在步骤S730，视频编码器对AVC编码的帧执行层间滤波从而使该帧可适合于用作对第二层进行编码的参照。层间滤波包括使用小波滤波器对被AVC编码的帧进行过采样和使用MEPG滤波器对AVC编码的帧的过采样形式进行欠采样。
在层间滤波之后，在步骤S740，视频编码器使用经受层间滤波的帧作为参照来对视频帧执行小波编码。
在小波编码完成之后，在步骤S750，视频编码器产生包含AVC编码的帧和小波编码的帧的比特流。当第一和第二层具有不同的分辨率时，在AVC编码期间，视频编码器使用通过对输入的视频帧进行欠采样而获得的低分辨率帧。在AVC编码完成之后，视频编码器改变AVC编码的帧的分辨率。例如，当第一层的分辨率低于第二层的分辨率时，视频编码器将AVC编码的帧过采样为第二层的分辨率。然后，视频编码器对AVC编码的帧的过采样形式执行层间滤波。
图8是示出根据本发明的示例性实施例对第二层进行编码的详细过程的流程图。
参照图8，在步骤S810，第二视频编码单元接收已经经受层间滤波的编码的第一层视频帧。
在步骤S820，一旦接收到所述视频帧和经受层间滤波的帧，第二视频编码单元就执行运动估计，以产生将用于去除视频帧中的时间冗余的预测帧。各种公知的算法，如块匹配和分层可变尺寸块匹配(HVSBM)可被用于运动估计。
在步骤S830，在执行运动估计之后，第二视频编码单元使用作为运动估计的结果而获得的运动矢量来产生预测帧。
在步骤S840，第二视频编码单元对预测帧进行平滑以降低残差帧中的块效应。这是因为在小波变换和量化期间明显的块边界降低了编码效率。
在步骤S850，第二视频编码单元将预测帧与视频帧进行比较以产生残差帧。残差帧对应于通过MCTF产生的高通帧(H帧)。
在步骤S860，时间滤波器使用残差帧来更新另一视频帧。该视频帧的更新的形式对应于低通帧(L帧)。
在通过步骤S820至S860基于GOP产生L帧和H帧之后，在步骤S870，第二视频编码单元对时间滤波的帧(L和H帧)执行小波变换。尽管9/7滤波器通常被用于小波变换，但是也可使用11/9或13/11滤波器。
在步骤S880，第二视频编码单元使用EZW、SPIHT、EZBC或EBCOT来对小波变换的帧进行量化。
接下来，将描述视频解码器和解码过程。尽管解码过程基本上以编码过程的逆顺序被执行，但是层以相同的顺序被编码和解码。例如，当视频编码器顺次地对第一和第二层进行编码时，视频解码器以相同的顺序对第一和第二层进行解码。为了说明方便，假设视频帧从具有两层的比特流中被重构。
图9是当第一和第二层具有相同的分辨率时使用的根据本发明的第一示例性实施例的视频解码器的方框图。
参照图9，视频解码器包括:比特流解释器900、第一视频解码单元910、第二视频解码单元920和层间滤波器940。
比特流解释器900对输入的比特流进行解释并提取根据第一视频编码进行编码的帧和根据第二视频编码进行编码的帧。然后，根据第一视频编码进行编码的帧被提供给第一视频解码单元910，而根据第二视频编码进行编码的帧被提供给第二视频解码单元920。
第一视频解码单元910包括:逆量化器911、逆DCT变换器912、和逆时间滤波器913。逆量化器911对根据第一视频编码进行编码的帧进行逆量化。逆量化可包括熵解码、逆扫描、和使用量化表对DCT变换的帧进行重构的处理。
逆DCT变换器912对逆量化的帧执行逆DCT变换。
逆时间滤波器913从逆DCT变换的帧重构第一层视频帧，并输出解码的帧(931)。通过以低比特率对原始视频帧进行编码并对编码的帧进行解码来获得重构的第一层视频帧。
层间滤波器940对重构的第一层帧执行层间滤波。可使用解块算法执行所述层间滤波。
第二视频解码单元920包括:逆量化器921、逆小波变换器922和逆时间滤波器923。
逆量化器921对根据第二视频编码进行编码的帧施加逆量化。逆量化可包括熵解码、逆扫描、和使用量化表对小波变换的帧进行重构的处理。
逆小波变换器922对逆量化的帧执行逆小波变换。
逆时间滤波器923使用经受层间滤波的帧作为参照来从逆小波变换的帧重构第二层视频帧，并输出解码的帧(932)。通过以高比特率对原始视频帧进行编码并对编码的帧进行解码来获得重构的第二层视频帧。
图10是当第一层的分辨率低于第二层的分辨率时使用的根据本发明的第二示例性实施例的视频解码器的方框图。参照图10，视频解码器包括:比特流解释器1000、第一视频解码单元1010、第二视频解码单元1020、层间滤波器1040和过采样器1050。
比特流解释器1000对输入的比特流进行解释并提取根据第一视频编码进行编码的帧和根据第二视频编码进行编码的帧。根据第一视频编码进行编码的帧的分辨率低于根据第二视频编码进行编码的帧的分辨率。然后，根据第一视频编码进行编码的帧被提供给第一视频解码单元1010，而根据第二视频编码进行编码的帧被提供给第二视频解码单元1020。
第一视频解码单元1010包括:逆量化器1011、逆DCT变换器1012和逆时间滤波器1013。
逆量化器1011对根据第一视频编码进行编码的帧进行逆量化。逆量化可包括熵解码、逆扫描、和使用量化表对DCT变换的帧进行重构的处理。
逆DCT变换器1012对逆量化的帧执行逆DCT变换。
逆时间滤波器1013从逆DCT变换的帧重构第一层视频帧，并输出解码的帧(1031)。通过对原始视频帧进行欠采样和编码并对编码的帧进行解码来获得重构的第一层视频帧。
过采样器1050将第一层帧过采样为重构的第二层帧的分辨率。
层间滤波器1040对第一层帧的过采样形式执行层间滤波。可使用解块算法执行所述层间滤波。
第二视频解码单元1020包括:逆量化器1021、逆小波变换器1022和逆时间滤波器1023。
逆量化器1021对根据第二视频编码进行编码的帧进行逆量化。逆量化可包括熵解码、逆扫描、和使用量化表对小波变换的帧进行重构的处理。
逆小波变换器1022对逆量化的帧执行逆小波变换。
逆时间滤波器1023使用已经受层间滤波的帧作为参照来从逆小波变换的帧重构第二层视频帧，并输出解码的帧(1032)。通过对原始视频帧进行编码并对编码的帧进行解码来获得重构的第二层视频帧。
图11是根据本发明的示例性实施例的逆时间滤波器1100的方框图。
尽管图9和图10示出第一视频解码单元910(1010)和第二视频解码单元920(1020)分别包括时间滤波器913(1013)和923(1023)，但是为了说明方便，在示例性实施例中假设在图9所示的第二视频解码单元920中使用逆时间滤波器1100。
逆时间滤波器1100使用MCTF基于逐GOP的方式从逆小波变换的帧重构视频帧。被提供给逆时间滤波器1100的逆小波变换的帧包括低通帧和高通帧，低通帧和高通帧中的时间冗余已在视频编码期间被去除。例如，当每一GOP由8个帧组成时，逆小波变换的帧可包括作为视频编码的结果获得的一个低通帧(更新的帧0)和七个高通帧(残差帧)。
为了实现此功能，逆时间滤波器1100包括:逆更新器1110、预测帧发生器1120、预测帧平滑器1130、和帧重构器1140。
逆更新器1110以视频编码被执行的逆顺序更新逆小波变换的帧。
预测帧发生器1120产生预测帧，该预测帧将用于使用层间滤波的帧从残差帧重构低通帧或视频帧。
预测帧平滑器1030对预测帧进行平滑。
帧重构器1140使用平滑的预测帧从高通帧重构低通帧或视频帧。
例如，当每一GOP由8个视频帧组成时，逆时间滤波器1110使用残差帧4和层间滤波的帧0来逆更新低通帧0。
然后，低通帧0被用于为残差帧4产生预测帧，该预测帧被用于从残差帧4获得低通帧4。
然后，逆时间滤波器1100使用残差帧2和6以及层间滤波的帧0和4来逆更新低通帧0和4，然后，使用低通帧0和4以及层间滤波的帧2和6来为残差帧2和6产生预测帧。然后，所述预测帧被用于从残差帧2和6获得低通帧2和6。
随后，逆时间滤波器1100使用残差帧1、3、5和7以及层间滤波的帧0、2、4和6来逆更新低通帧0、2、4和6，从而重构视频帧0、2、4和6。
最后，逆时间滤波器1100使用重构的帧0、2、4和6以及层间滤波的帧1、3、5和7来为残差帧1、3、5和7产生预测帧。然后，所述预测帧被用于重构视频帧1、3、5和7。
在上面的描述中，每个组件表示，但是不受限于，软件或硬件组件，如现场可编程门阵列(FPGA)或执行特定任务的专用集成电路(ASIC)。组件可有利地被配置以存在于可寻址存储介质中并且被配置以在一个或多个处理器上执行。因此，通过示例，组件可包括例如软件组件、面向对象的软件组件、类组件和任务组件、进程、函数、属性、程序、子程序、程序代码段、驱动程序、固件、微码、电路图、数据、数据库、数据结构、表、数组和变量。在这些组件和模块中提供的功能性可被组合为较少的组件和模块或被进一步分为其它的组件和模块。另外，这些组件和模块可以这样的方式被实现:它们在通信***中执行一个或更多计算机。
现在将参照图12和图13描述视频解码的过程。
图12是示出根据本发明的示例性实施例的视频解码过程的流程图。
在步骤S1210，视频解码器接收比特流并提取根据第一视频编码进行编码的帧和根据第二视频编码进行编码的帧。例如，第一和第二视频编码方案可以分别是AVC编码和小波编码。
在步骤S1220，视频解码器对提取的AVC编码的帧执行AVC解码。
在步骤S1230，视频解码器对根据AVC解码进行解码的帧执行层间滤波。
在步骤S1240，视频解码器通过参照层间滤波的帧对小波编码的帧执行小波解码。
在步骤S1250，在小波解码结束之后，视频解码器使用重构的视频帧来产生视频信号。即，视频解码器将重构的象素的亮度(Y)和色度(UV)颜色分量转换为红(R)、绿(G)和蓝(B)颜色分量。
图13是示出根据本发明的示例性实施例对第二层执行逆时间滤波的详细过程的流程图。
参照图13，在步骤S1310，逆时间滤波器接收逆小波变换的帧和层间滤波的帧。逆小波变换的帧基于GOP被重构并包括低通帧和高通帧。
在步骤S1320，逆时间滤波器使用逆小波变换的帧中的高通帧和层间滤波的帧来逆更新低通帧。
在步骤S1330，逆时间滤波器使用逆更新的低通帧和层间滤波的帧来产生预测帧。
在步骤S1340，逆时间滤波器对预测帧进行平滑。
在步骤S1350，在预测帧的平滑完成之后，逆时间滤波器使用平滑的预测帧和高通帧来重构低通帧或视频帧。
本发明提供使用多种视频编码算法的多层视频编码和解码方法，该算法可使用层间滤波来提高编码效率。
特别是，本发明可防止当结合使用具有基于块的变换算法的视频编码方案和具有基于帧的变换算法的视频编码方案时可能发生的编码效率的降低。
尽管已参照其示例性实施例具体地显示和描述了本发明，但是本领域的普通技术人员将理解，在不脱离权利要求所定义的本发明的精神和范围的情况下，可在其中进行各种形式和细节上的改变。例如，尽管使用AVC编码方法和小波编码方法的视频编码器已被描述，但是该视频编码器也可使用其他编码方法。因此，本发明的公开的示例性实施例仅被用于一般和描述性意义上的，而不是为了限定的目的。

Claims (39)

1、一种视频编码方法，包括以下步骤:
使用第一视频编码方案对视频帧进行编码；
通过使用小波滤波器对第一视频编码方案编码的帧进行过采样以及使用欠采样滤波器对过采样的帧进行欠采样来执行层间滤波；
通过参照经受层间滤波的帧来使用第二视频编码方案对所述视频帧进行编码；和
产生比特流，该比特流包含根据第一和第二视频编码方案进行编码的帧，
其中，所述小波滤波器是基于逆小波变换的小波过采样滤波器。
2、如权利要求1所述的视频编码方法，其中，第一视频编码方案是高级视频编码AVC编码方案，第二视频编码方案是小波编码方案。
3、如权利要求2所述的视频编码方法，其中，所述欠采样滤波器是根据MPEG标准的欠采样滤波器。
4、如权利要求1所述的视频编码方法，其中，所述使用第二视频编码方案对所述视频帧进行的编码包括以下步骤:
通过参照层间滤波的帧对所述视频帧执行运动补偿时间滤波MCTF；
对时间滤波的帧执行小波变换；和
对小波变换的帧进行量化。
5、如权利要求4所述的视频编码方法，其中，所述MCTF的执行包括以下步骤:
通过参照层间滤波的帧来为所述视频帧产生预测帧；
对预测帧进行平滑；
使用平滑的预测帧为所述视频帧产生残差帧；和
使用残差帧更新所述视频帧。
6、一种视频编码方法，包括以下步骤:
对视频帧进行欠采样以产生低分辨率的视频帧；
使用第一视频编码方案对低分辨率的视频帧进行编码；
将根据第一视频编码方案进行编码的帧过采样为所述视频帧的分辨率；
通过使用小波滤波器再次对过采样的帧进行过采样以及使用欠采样滤波器对得到的帧进行欠采样来执行层间滤波；
通过参照经受层间滤波的帧来使用第二视频编码方案对所述视频帧进行编码；和
产生比特流，该比特流包含根据第一和第二视频编码方案进行编码的帧，
其中，所述小波滤波器是基于逆小波变换的小波过采样滤波器。
7、如权利要求6所述的视频编码方法，其中，第一视频编码方案是高级视频编码AVC编码方案，第二视频编码方案是小波编码方案。
8、如权利要求7所述的视频编码方法，其中，所述欠采样滤波器是根据MPEG标准的欠采样滤波器。
9、如权利要求6所述的视频编码方法，其中，所述使用第二视频编码方案对所述视频帧进行的编码包括以下步骤:
通过参照层间滤波的帧对所述视频帧执行运动补偿时间滤波MCTF；
对时间滤波的帧执行小波变换；和
对小波变换的帧进行量化。
10、如权利要求9所述的视频编码方法，其中，所述MCTF的执行包括以下步骤:
通过参照层间滤波的帧来为所述视频帧产生预测帧；
对预测帧进行平滑；
使用平滑的预测帧为所述视频帧产生残差帧；和
使用残差帧更新所述视频帧。
11、一种视频编码器，包括:
第一视频编码单元，使用第一视频编码方案对视频帧进行编码；
层间滤波器，通过使用小波滤波器对第一视频编码方案编码的帧进行过采样以及使用欠采样滤波器对过采样的帧进行欠采样来执行层间滤波；
第二视频编码单元，通过参照层间滤波的帧来使用第二视频编码方案对所述视频帧进行编码；和
比特流发生器，产生比特流，该比特流包含根据第一和第二视频编码方案进行编码的帧，
其中，所述小波滤波器是基于逆小波变换的小波过采样滤波器。
12、如权利要求11所述的视频编码器，其中，第一视频编码方案是高级视频编码AVC编码方案，第二视频编码方案是小波编码方案。
13、如权利要求12所述的视频编码器，其中，所述欠采样滤波器是根据MPEG标准的欠采样滤波器。
14、如权利要求11所述的视频编码器，其中，第二视频编码单元包括:
时间滤波器，通过参照层间滤波的帧来对所述视频帧执行运动补偿时间滤波MCTF；
小波变换器，对时间滤波的帧执行小波变换；和
量化器，对小波变换的帧进行量化。
15、如权利要求14所述的视频编码器，其中，所述时间滤波器包括:
预测帧发生器，通过参照层间滤波的帧来为所述视频帧产生预测帧；
预测帧平滑器，对预测帧进行平滑；
残差帧发生器，使用平滑的预测帧为所述视频帧产生残差帧；和
更新器，使用残差帧更新所述视频帧。
16、一种视频编码器，包括:
欠采样器，对视频帧进行欠采样以产生低分辨率的视频帧；
第一视频编码单元，使用第一视频编码方案对所述低分辨率的视频帧进行编码；
过采样器，对根据第一视频编码方案进行编码的帧进行过采样；
层间滤波器，通过使用小波滤波器再次对过采样的帧进行过采样以及使用欠采样滤波器对得到的帧进行欠采样来执行层间滤波；
第二视频编码单元，通过参照层间滤波的帧来使用第二视频编码方案对所述视频帧进行编码；和
比特流发生器，产生比特流，该比特流包含根据第一和第二视频编码方案进行编码的帧，
其中，所述小波滤波器是基于逆小波变换的小波过采样滤波器。
17、如权利要求16所述的视频编码器，其中，第一视频编码方案是高级视频编码AVC编码方案，第二视频编码方案是小波编码方案。
18、如权利要求17所述的视频编码器，其中，所述欠采样滤波器是根据MPEG标准的欠采样滤波器。
19、如权利要求16所述的视频编码器，其中，第二视频编码单元包括:
时间滤波器，通过参照层间滤波的帧来对所述视频帧执行运动补偿时间滤波MCTF；
小波变换器，对时间滤波的帧执行小波变换；和
量化器，对小波变换的帧进行量化。
20、如权利要求19所述的视频编码器，其中，所述时间滤波器包括:
预测帧发生器，通过参照层间滤波的帧为所述视频帧产生预测帧；
预测帧平滑器，对预测帧进行平滑；
残差帧发生器，使用平滑的预测帧为所述视频帧产生残差帧；和
更新器，使用残差帧更新所述视频帧。
21，一种视频解码方法，包括以下步骤:
从比特流提取根据第一和第二视频编码方案进行编码的帧；
使用第一视频解码方案对根据第一视频编码方案进行编码的帧进行解码，并重构第一层帧；
通过使用小波滤波器对重构的第一层帧进行过采样以及使用欠采样滤波器对过采样的帧进行欠采样来执行层间滤波；和
通过参照层间滤波的第一层帧来使用第二视频解码方案对根据第二视频编码方案进行编码的帧进行解码，并重构第二层帧，
其中，所述小波滤波器是基于逆小波变换的小波过采样滤波器。
22、如权利要求21所述的视频解码方法，其中，第一视频编码和解码方案是高级视频编码AVC方案，第二视频编码和解码方案是小波方案。
23、如权利要求22所述的视频解码方法，其中，所述欠采样滤波器是根据MPEG标准的欠采样滤波器。
24、如权利要求21所述的视频解码方法，其中，所述使用第二视频解码方案对所述帧进行的解码包括以下步骤:
对根据第二视频编码方案进行编码的帧进行逆量化；
对逆量化的帧执行逆小波变换；和
通过参照层间滤波的第一层帧来使用运动补偿时间滤波MCTF对逆小波变换的帧执行逆时间滤波。
25、如权利要求24所述的视频解码方法，其中，所述使用MCTF对逆小波变换的帧执行逆时间滤波的步骤包括:
对逆小波变换的帧进行逆更新；
通过参照逆更新的帧和层间滤波的第一层帧来产生预测帧；
对预测帧进行平滑；和
通过参照逆更新的帧和平滑的预测帧来重构第二层帧。
26、一种视频解码方法，包括以下步骤:
从比特流提取根据第一和第二视频编码方案进行编码的帧；
使用第一视频解码方案对根据第一视频编码方案进行编码的帧进行解码，并重构第一层帧；
对重构的第一层帧进行过采样；
通过使用小波滤波器再次对过采样的第一层帧进行过采样以及使用欠采样滤波器对得到的帧进行欠采样来执行层间滤波；和
通过参照层间滤波的第一层帧来使用第二视频解码方案对根据第二视频编码方案进行编码的帧进行解码，并重构第二层帧，
其中，所述小波滤波器是基于逆小波变换的小波过采样滤波器。
27、如权利要求26所述的视频解码方法，其中，第一视频编码和解码方案是高级视频编码AVC方案，第二视频编码和解码方案是小波方案。
28、如权利要求27所述的视频解码方法，其中，所述欠采样滤波器是根据MPEG标准的欠采样滤波器。
29、如权利要求26所述的视频解码方法，其中，所述对根据第二视频编码方案进行编码的帧进行的解码包括以下步骤:
对根据第二视频编码方案进行编码的帧进行逆量化；
对逆量化的帧执行逆小波变换；和
通过参照层间滤波的第一层帧来使用运动补偿时间滤波MCTF对逆小波变换的帧执行逆时间滤波。
30、如权利要求29所述的视频解码方法，其中，所述使用MCTF来对逆小波变换的帧执行逆时间滤波的步骤包括:
对逆小波变换的帧进行逆更新；
通过参照逆更新的帧和层间滤波的第一层帧来产生预测帧；
对预测帧进行平滑；和
通过参照逆更新的帧和平滑的预测帧来重构第二层帧。
31、一种视频解码器，包括:
比特流解释器，从比特流提取根据第一和第二视频编码方案进行编码的帧；
第一视频解码单元，使用第一视频解码方案对根据第一视频编码方案进行编码的帧进行解码，并重构第一层帧；
层间滤波器，通过使用小波滤波器对重构的第一层帧进行过采样以及使用欠采样滤波器对过采样的帧进行欠采样来执行层间滤波；和
第二视频解码单元，通过参照层间滤波的第一层帧来使用第二视频解码方案对根据第二视频编码方案进行编码的帧进行解码，并重构第二层帧，
其中，所述小波滤波器是基于逆小波变换的小波过采样滤波器。
32、如权利要求31所述的视频解码器，其中，第一视频解码单元使用高级视频编码AVC解码方案来重构第一层帧，第二视频解码单元使用小波解码方案来重构第二层帧。
33、如权利要求32所述的视频解码器，其中，所述欠采样滤波器是根据MPEG标准的欠采样滤波器。
34、如权利要求31所述的视频解码器，其中，第二视频解码单元包括:
逆量化器，对根据第二视频编码方案进行编码的帧进行逆量化；
逆小波变换单元，对逆量化的帧执行逆小波变换；和
逆时间滤波单元，使用运动补偿时间滤波MCTF通过参照层间滤波的第一层帧来对逆小波变换的帧执行逆时间滤波。
35、如权利要求34所述的视频解码器，其中，逆时间滤波单元包括:
逆更新器，对逆小波变换的帧进行逆更新；
预测帧发生器，通过参照逆更新的帧和层间滤波的第一层帧来产生预测帧；
预测帧平滑器，对预测帧进行平滑；和
帧重构器，通过参照逆更新的帧和平滑的预测帧来重构第二层帧。
36、一种视频解码器，包括:
比特流解释器，从比特流提取根据第一和第二视频编码方案进行编码的帧；
第一视频解码单元，使用第一视频解码方案对根据第一视频编码方案进行编码的帧进行解码，并重构第一层帧；
过采样器，对重构的第一层帧进行过采样；
层间滤波器，通过使用小波滤波器再次对过采样的第一层帧进行过采样以及使用欠采样滤波器对得到的帧进行欠采样来执行层间滤波；和
第二视频解码单元，通过参照层间滤波的第一层帧来使用第二视频解码方案对根据第二视频编码方案进行编码的帧进行解码，并重构第二层帧，
其中，所述小波滤波器是基于逆小波变换的小波过采样滤波器。
37、如权利要求36所述的视频解码器，其中，第一视频解码单元使用高级视频编码AVC解码方案来重构第一层帧，第二视频解码单元使用小波解码方案来重构第二层帧。
38、如权利要求37所述的视频解码器，其中，所述欠采样滤波器是根据MPEG标准的欠采样滤波器。
39、如权利要求36所述的视频解码器，其中，第二视频解码单元包括:
逆量化器，对根据第二视频编码方案进行编码的帧进行逆量化；
逆小波变换单元，对逆量化的帧执行逆小波变换；和
逆时间滤波单元，使用运动补偿时间滤波通过参照层间滤波的第一层帧来对逆小波变换的帧执行逆时间滤波。
40、如权利要求39所述的视频解码器，其中，逆时间滤波单元包括:
逆更新器，对逆小波变换的帧进行逆更新；
预测帧发生器，通过参照逆更新的帧和层间滤波的第一层帧来产生预测帧；
预测帧平滑器，对预测帧进行平滑；和
帧重构器，通过参照逆更新的帧和平滑的预测帧来重构第二层帧。
CNB021604053A 2004-10-18 2005-10-18 使用层间滤波的视频编码和解码方法及使用该方法的设备 Expired - Fee Related CN100466738C (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US61902304P 2004-10-18 2004-10-18
US60/619,023 2004-10-18
KR1020040094597 2004-11-18

Publications (2)

Publication Number Publication Date
CN1764276A CN1764276A (zh) 2006-04-26
CN100466738C true CN100466738C (zh) 2009-03-04

Family

ID=36748181

Family Applications (3)

Application Number Title Priority Date Filing Date
CNA2005800340197A Pending CN101036388A (zh) 2004-10-18 2005-09-13 对混合比特流进行预解码的方法和设备
CN2005800321957A Expired - Fee Related CN101027908B (zh) 2004-10-18 2005-09-28 基于多层调整编码的可分级比特流的比特率的装置和方法
CNB021604053A Expired - Fee Related CN100466738C (zh) 2004-10-18 2005-10-18 使用层间滤波的视频编码和解码方法及使用该方法的设备

Family Applications Before (2)

Application Number Title Priority Date Filing Date
CNA2005800340197A Pending CN101036388A (zh) 2004-10-18 2005-09-13 对混合比特流进行预解码的方法和设备
CN2005800321957A Expired - Fee Related CN101027908B (zh) 2004-10-18 2005-09-28 基于多层调整编码的可分级比特流的比特率的装置和方法

Country Status (5)

Country Link
US (3) US7839929B2 (zh)
KR (3) KR100679022B1 (zh)
CN (3) CN101036388A (zh)
BR (1) BRPI0516826A (zh)
RU (1) RU2337503C1 (zh)

Families Citing this family (91)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8340177B2 (en) * 2004-07-12 2012-12-25 Microsoft Corporation Embedded base layer codec for 3D sub-band coding
US8442108B2 (en) * 2004-07-12 2013-05-14 Microsoft Corporation Adaptive updates in motion-compensated temporal filtering
US8374238B2 (en) 2004-07-13 2013-02-12 Microsoft Corporation Spatial scalability in 3D sub-band decoding of SDMCTF-encoded video
TWI301953B (en) * 2005-03-14 2008-10-11 Qisda Corp Methods and apparatuses for video encoding
JP4839035B2 (ja) * 2005-07-22 2011-12-14 オリンパス株式会社 内視鏡用処置具および内視鏡システム
KR20070038396A (ko) 2005-10-05 2007-04-10 엘지전자 주식회사 영상 신호의 인코딩 및 디코딩 방법
KR100891662B1 (ko) 2005-10-05 2009-04-02 엘지전자 주식회사 비디오 신호 디코딩 및 인코딩 방법
KR100891663B1 (ko) * 2005-10-05 2009-04-02 엘지전자 주식회사 비디오 신호 디코딩 및 인코딩 방법
EP1977607A4 (en) * 2006-01-09 2014-12-17 Lg Electronics Inc INTER-LAYER PREDICTION PROCEDURE FOR A VIDEO SIGNAL
US20070160134A1 (en) * 2006-01-10 2007-07-12 Segall Christopher A Methods and Systems for Filter Characterization
US8619865B2 (en) 2006-02-16 2013-12-31 Vidyo, Inc. System and method for thinning of scalable video coding bit-streams
US8014445B2 (en) * 2006-02-24 2011-09-06 Sharp Laboratories Of America, Inc. Methods and systems for high dynamic range video coding
US8194997B2 (en) * 2006-03-24 2012-06-05 Sharp Laboratories Of America, Inc. Methods and systems for tone mapping messaging
KR100781524B1 (ko) * 2006-04-04 2007-12-03 삼성전자주식회사 확장 매크로블록 스킵 모드를 이용한 인코딩/디코딩 방법및 장치
US8711925B2 (en) 2006-05-05 2014-04-29 Microsoft Corporation Flexible quantization
FR2903556B1 (fr) * 2006-07-04 2008-10-03 Canon Kk Procedes et des dispositifs de codage et de decodage d'images, un systeme de telecommunications comportant de tels dispositifs et des programmes d'ordinateur mettant en oeuvre de tels procedes
US8532176B2 (en) * 2006-07-10 2013-09-10 Sharp Laboratories Of America, Inc. Methods and systems for combining layers in a multi-layer bitstream
US7885471B2 (en) * 2006-07-10 2011-02-08 Sharp Laboratories Of America, Inc. Methods and systems for maintenance and use of coded block pattern information
US8059714B2 (en) * 2006-07-10 2011-11-15 Sharp Laboratories Of America, Inc. Methods and systems for residual layer scaling
US7535383B2 (en) * 2006-07-10 2009-05-19 Sharp Laboratories Of America Inc. Methods and systems for signaling multi-layer bitstream data
US7840078B2 (en) * 2006-07-10 2010-11-23 Sharp Laboratories Of America, Inc. Methods and systems for image processing control based on adjacent block characteristics
US8130822B2 (en) * 2006-07-10 2012-03-06 Sharp Laboratories Of America, Inc. Methods and systems for conditional transform-domain residual accumulation
US8422548B2 (en) * 2006-07-10 2013-04-16 Sharp Laboratories Of America, Inc. Methods and systems for transform selection and management
KR100842544B1 (ko) * 2006-09-11 2008-07-01 삼성전자주식회사 스케일러블 영상 코딩을 이용한 전송 방법 및 이를 이용한이동통신 시스템
WO2008051755A2 (en) * 2006-10-20 2008-05-02 Motorola, Inc. Method and apparatus for intra-frame spatial scalable video coding
US20080095235A1 (en) * 2006-10-20 2008-04-24 Motorola, Inc. Method and apparatus for intra-frame spatial scalable video coding
WO2008079508A1 (en) * 2006-12-22 2008-07-03 Motorola, Inc. Method and system for adaptive coding of a video
US8233536B2 (en) 2007-01-23 2012-07-31 Sharp Laboratories Of America, Inc. Methods and systems for multiplication-free inter-layer image prediction
US8665942B2 (en) * 2007-01-23 2014-03-04 Sharp Laboratories Of America, Inc. Methods and systems for inter-layer image prediction signaling
US7826673B2 (en) * 2007-01-23 2010-11-02 Sharp Laboratories Of America, Inc. Methods and systems for inter-layer image prediction with color-conversion
US8503524B2 (en) * 2007-01-23 2013-08-06 Sharp Laboratories Of America, Inc. Methods and systems for inter-layer image prediction
US8243789B2 (en) * 2007-01-25 2012-08-14 Sharp Laboratories Of America, Inc. Methods and systems for rate-adaptive transmission of video
US7760949B2 (en) 2007-02-08 2010-07-20 Sharp Laboratories Of America, Inc. Methods and systems for coding multiple dynamic range images
US8238424B2 (en) 2007-02-09 2012-08-07 Microsoft Corporation Complexity-based adaptive preprocessing for multiple-pass video compression
US8767834B2 (en) 2007-03-09 2014-07-01 Sharp Laboratories Of America, Inc. Methods and systems for scalable-to-non-scalable bit-stream rewriting
KR100918385B1 (ko) * 2007-08-10 2009-09-21 한국전자통신연구원 스케일러블 비디오 스트림 코딩에서 참조 슬라이스 제거알림 장치 및 방법
KR100937590B1 (ko) * 2007-10-23 2010-01-20 한국전자통신연구원 다중 품질 서비스 영상 콘텐츠 제공 시스템 및 그것의업그레이드 방법
JP5216303B2 (ja) * 2007-11-01 2013-06-19 株式会社東芝 合成映像配信装置ならびにその方法およびプログラム
US8126054B2 (en) * 2008-01-09 2012-02-28 Motorola Mobility, Inc. Method and apparatus for highly scalable intraframe video coding
US8750390B2 (en) * 2008-01-10 2014-06-10 Microsoft Corporation Filtering and dithering as pre-processing before encoding
US8160132B2 (en) * 2008-02-15 2012-04-17 Microsoft Corporation Reducing key picture popping effects in video
US8953673B2 (en) * 2008-02-29 2015-02-10 Microsoft Corporation Scalable video coding and decoding with sample bit depth and chroma high-pass residual layers
US8711948B2 (en) * 2008-03-21 2014-04-29 Microsoft Corporation Motion-compensated prediction of inter-layer residuals
CN101557510A (zh) * 2008-04-09 2009-10-14 华为技术有限公司 视频编码处理方法、***及装置
US8897359B2 (en) 2008-06-03 2014-11-25 Microsoft Corporation Adaptive quantization for enhancement layer video coding
US9571856B2 (en) 2008-08-25 2017-02-14 Microsoft Technology Licensing, Llc Conversion operations in scalable video encoding and decoding
US8213503B2 (en) * 2008-09-05 2012-07-03 Microsoft Corporation Skip modes for inter-layer residual video coding and decoding
US8385404B2 (en) * 2008-09-11 2013-02-26 Google Inc. System and method for video encoding using constructed reference frame
US8265140B2 (en) * 2008-09-30 2012-09-11 Microsoft Corporation Fine-grained client-side control of scalable media delivery
RU2505856C2 (ru) * 2008-11-12 2014-01-27 Нокиа Корпорейшн Способ и устройство для представления и идентификации дескрипторов признаков с использованием сжатой гистограммы градиентов
JP4947389B2 (ja) * 2009-04-03 2012-06-06 ソニー株式会社 画像信号復号装置、画像信号復号方法、および画像信号符号化方法
KR101557504B1 (ko) * 2009-04-13 2015-10-07 삼성전자주식회사 채널 적응형 비디오 전송 방법, 이를 이용한 장치 및 이를 제공하는 시스템
KR101484280B1 (ko) 2009-12-08 2015-01-20 삼성전자주식회사 임의적인 파티션을 이용한 움직임 예측에 따른 비디오 부호화 방법 및 장치, 임의적인 파티션을 이용한 움직임 보상에 따른 비디오 복호화 방법 및 장치
WO2011087963A1 (en) 2010-01-15 2011-07-21 Dolby Laboratories Licensing Corporation Edge enhancement for temporal scaling with metadata
CN102783152A (zh) * 2010-03-02 2012-11-14 三星电子株式会社 用于使用可分级视频编码方案进行自适应流传输的方法和设备
JP5510012B2 (ja) * 2010-04-09 2014-06-04 ソニー株式会社 画像処理装置および方法、並びにプログラム
US8392201B2 (en) * 2010-07-30 2013-03-05 Deutsche Telekom Ag Method and system for distributed audio transcoding in peer-to-peer systems
US20120076205A1 (en) * 2010-09-29 2012-03-29 Segall Christopher A Methods and Systems for Capturing Wide Color-Gamut Video
GB2487200A (en) * 2011-01-12 2012-07-18 Canon Kk Video encoding and decoding with improved error resilience
KR20120096863A (ko) * 2011-02-23 2012-08-31 한국전자통신연구원 고효율 비디오 부호화의 계층적 부호화 구조를 위한 비트율 제어 기법
JP2012191465A (ja) * 2011-03-11 2012-10-04 Sony Corp 画像処理装置、および画像処理方法、並びにプログラム
US8638854B1 (en) 2011-04-07 2014-01-28 Google Inc. Apparatus and method for creating an alternate reference frame for video compression using maximal differences
CN102129838B (zh) * 2011-04-28 2013-01-23 深圳市天微电子有限公司 Led显示数据的处理方法及装置
SG10201605379RA (en) 2011-07-01 2016-08-30 Samsung Electronics Co Ltd Method and apparatus for entropy encoding using hierarchical data unit, and method and apparatus for decoding
US9185424B2 (en) * 2011-07-05 2015-11-10 Qualcomm Incorporated Image data compression
US8948248B2 (en) 2011-07-21 2015-02-03 Luca Rossato Tiered signal decoding and signal reconstruction
US9271055B2 (en) * 2011-08-23 2016-02-23 Avaya Inc. System and method for variable video degradation counter-measures
KR102163151B1 (ko) * 2011-08-30 2020-10-08 디빅스, 엘엘씨 복수의 최대 비트레이트 레벨들을 사용하여 인코딩된 비디오를 인코딩하고 스트리밍하기 위한 시스템들 및 방법들
US9467708B2 (en) 2011-08-30 2016-10-11 Sonic Ip, Inc. Selection of resolutions for seamless resolution switching of multimedia content
US8976857B2 (en) * 2011-09-23 2015-03-10 Microsoft Technology Licensing, Llc Quality-based video compression
WO2013049412A2 (en) 2011-09-29 2013-04-04 Dolby Laboratories Licensing Corporation Reduced complexity motion compensated temporal processing
EP2642755B1 (en) * 2012-03-20 2018-01-03 Dolby Laboratories Licensing Corporation Complexity scalable multilayer video coding
CN103379319B (zh) * 2012-04-12 2018-03-20 中兴通讯股份有限公司 一种滤波方法、滤波器及包含该滤波器的编码器和解码器
EP2842337B1 (en) 2012-04-23 2019-03-13 Google LLC Managing multi-reference picture buffers for video data coding
US20130318251A1 (en) * 2012-05-22 2013-11-28 Alimuddin Mohammad Adaptive multipath content streaming
US9313486B2 (en) * 2012-06-20 2016-04-12 Vidyo, Inc. Hybrid video coding techniques
KR101955700B1 (ko) 2012-08-29 2019-03-07 브이아이디 스케일, 인크. 스케일러블 비디오 코딩을 위한 모션 벡터 예측 방법 및 장치
EP3661215A1 (en) * 2012-09-28 2020-06-03 Vid Scale, Inc. Cross-plane filtering for chroma signal enhancement in video coding
US10085017B2 (en) * 2012-11-29 2018-09-25 Advanced Micro Devices, Inc. Bandwidth saving architecture for scalable video coding spatial mode
TWI597968B (zh) 2012-12-21 2017-09-01 杜比實驗室特許公司 在高位元深度視訊的可適性編碼中，高精度升取樣
WO2014158050A1 (en) 2013-03-28 2014-10-02 Huawei Technologies Co., Ltd. Method for determining predictor blocks for a spatially scalable video codec
US9479695B2 (en) 2014-07-31 2016-10-25 Apple Inc. Generating a high dynamic range image using a temporal filter
US9413951B2 (en) 2014-07-31 2016-08-09 Apple Inc. Dynamic motion estimation and compensation for temporal filtering
US9374526B2 (en) 2014-07-31 2016-06-21 Apple Inc. Providing frame delay using a temporal filter
US9514525B2 (en) 2014-07-31 2016-12-06 Apple Inc. Temporal filtering for image data using spatial filtering and noise history
US10893266B2 (en) * 2014-10-07 2021-01-12 Disney Enterprises, Inc. Method and system for optimizing bitrate selection
KR102338980B1 (ko) * 2015-03-23 2021-12-13 삼성전자주식회사 플리커를 제거하기 위해 양자화 계수를 조절할 수 있은 인코더와 이를 포함하는 장치
TWI731063B (zh) * 2017-04-13 2021-06-21 物聯智慧科技（深圳）有限公司 影音檔案處理方法及建置方法
EP3685576A1 (en) * 2017-09-22 2020-07-29 V-Nova International Limited Obtaining a target representation of a time sample of a signal
US11570473B2 (en) * 2018-08-03 2023-01-31 V-Nova International Limited Entropy coding for signal enhancement coding
US10728180B2 (en) * 2018-08-21 2020-07-28 At&T Intellectual Property I, L.P. Apparatus, storage medium and method for adaptive bitrate streaming adaptation of variable bitrate encodings

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0634871A2 (en) * 1993-07-13 1995-01-18 AT&T Corp. Scalable encoding and decoding of high-resolution progressive video
US6639943B1 (en) * 1999-11-23 2003-10-28 Koninklijke Philips Electronics N.V. Hybrid temporal-SNR fine granular scalability video coding

Family Cites Families (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0336978A (ja) * 1989-06-30 1991-02-18 Matsushita Electric Ind Co Ltd モータ速度制御装置
JP3164647B2 (ja) * 1992-06-03 2001-05-08 株式会社東芝 動画像符号化方法及び装置
US5754241A (en) * 1994-11-18 1998-05-19 Sanyo Electric Co., Ltd Video decoder capable of controlling encoded video data
US6957350B1 (en) 1996-01-30 2005-10-18 Dolby Laboratories Licensing Corporation Encrypted and watermarked temporal and resolution layering in advanced television
WO1999029113A1 (en) * 1997-11-27 1999-06-10 British Telecommunications Public Limited Company Transcoding
US6292512B1 (en) * 1998-07-06 2001-09-18 U.S. Philips Corporation Scalable video coding system
KR100363162B1 (ko) * 1998-11-02 2003-01-24 삼성전자 주식회사 영상신호의전송/복원방법및장치
US6529552B1 (en) * 1999-02-16 2003-03-04 Packetvideo Corporation Method and a device for transmission of a variable bit-rate compressed video bitstream over constant and variable capacity networks
JP2000333163A (ja) * 1999-05-24 2000-11-30 Sony Corp 復号装置及び方法、符号化装置及び方法、画像処理システム、画像処理方法
US6263022B1 (en) 1999-07-06 2001-07-17 Philips Electronics North America Corp. System and method for fine granular scalable video with selective quality enhancement
CN1435055A (zh) 1999-12-22 2003-08-06 通用仪器公司 使用空间可调性及同时传送编码的多投射环境的视讯压缩
US7095782B1 (en) * 2000-03-01 2006-08-22 Koninklijke Philips Electronics N.V. Method and apparatus for streaming scalable video
US6771703B1 (en) 2000-06-30 2004-08-03 Emc Corporation Efficient scaling of nonscalable MPEG-2 Video
EP1319309B1 (en) * 2000-09-22 2006-11-22 Koninklijke Philips Electronics N.V. Hybrid temporal-snr fine granular scalability video coding
US6836512B2 (en) * 2000-10-11 2004-12-28 Koninklijke Philips Electronics N.V. Spatial scalability for fine granular video encoding
EP1217839A3 (en) * 2000-12-08 2009-09-09 Panasonic Corporation Data conversion apparatus, data coding apparatus, and data recording apparatus
US7203238B2 (en) * 2000-12-11 2007-04-10 Sony Corporation 3:2 Pull-down detection
US20020118742A1 (en) 2001-02-26 2002-08-29 Philips Electronics North America Corporation. Prediction structures for enhancement layer in fine granular scalability video coding
KR100778471B1 (ko) * 2001-04-21 2007-11-21 엘지전자 주식회사 비디오 신호의 인코딩 또는 디코딩 방법
US6944225B2 (en) * 2001-07-24 2005-09-13 Sharp Laboratories Of America, Inc. Resolution-scalable video compression
KR100913843B1 (ko) 2001-09-06 2009-08-26 톰슨 라이센싱 가변 비트율 디지털 인코딩 오디오 데이터 파일의 경과재생 타임키핑용 방법 및 장치
JP2005506815A (ja) 2001-10-26 2005-03-03 コーニンクレッカ　フィリップス　エレクトロニクス　エヌ　ヴィ 空間拡張可能圧縮のための方法及び装置
US20030118099A1 (en) * 2001-12-20 2003-06-26 Comer Mary Lafuze Fine-grain scalable video encoder with conditional replacement
FI114527B (fi) * 2002-01-23 2004-10-29 Nokia Corp Kuvakehysten ryhmittely videokoodauksessa
US7317759B1 (en) * 2002-02-28 2008-01-08 Carnegie Mellon University System and methods for video compression mode decisions
US20030215011A1 (en) 2002-05-17 2003-11-20 General Instrument Corporation Method and apparatus for transcoding compressed video bitstreams
KR100484148B1 (ko) * 2002-07-27 2005-04-18 삼성전자주식회사 개선된 비트율 제어 방법과 그 장치
KR20040047010A (ko) 2002-11-28 2004-06-05 엘지전자 주식회사 영상 전화 시스템의 비트율 조절방법
KR100543608B1 (ko) 2003-01-03 2006-01-20 엘지전자 주식회사 오브젝트 기반 비트율 제어방법 및 장치
US20050008240A1 (en) * 2003-05-02 2005-01-13 Ashish Banerji Stitching of video for continuous presence multipoint video conferencing
JP2005123732A (ja) * 2003-10-14 2005-05-12 Matsushita Electric Ind Co Ltd デブロックフィルタ処理装置およびデブロックフィルタ処理方法
US8340177B2 (en) * 2004-07-12 2012-12-25 Microsoft Corporation Embedded base layer codec for 3D sub-band coding
US8374238B2 (en) * 2004-07-13 2013-02-12 Microsoft Corporation Spatial scalability in 3D sub-band decoding of SDMCTF-encoded video
KR100621581B1 (ko) 2004-07-15 2006-09-13 삼성전자주식회사 기초 계층을 포함하는 비트스트림을 프리디코딩,디코딩하는 방법, 및 장치
DE102004059993B4 (de) * 2004-10-15 2006-08-31 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung und Verfahren zum Erzeugen einer codierten Videosequenz unter Verwendung einer Zwischen-Schicht-Bewegungsdaten-Prädiktion sowie Computerprogramm und computerlesbares Medium
KR200447010Y1 (ko) 2007-10-01 2009-12-17 이운영 행주 삶는 전기 포트

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0634871A2 (en) * 1993-07-13 1995-01-18 AT&T Corp. Scalable encoding and decoding of high-resolution progressive video
US6639943B1 (en) * 1999-11-23 2003-10-28 Koninklijke Philips Electronics N.V. Hybrid temporal-SNR fine granular scalability video coding

Also Published As

Publication number Publication date
US20060083300A1 (en) 2006-04-20
CN101027908A (zh) 2007-08-29
CN1764276A (zh) 2006-04-26
CN101027908B (zh) 2010-06-16
KR100679030B1 (ko) 2007-02-05
US7839929B2 (en) 2010-11-23
CN101036388A (zh) 2007-09-12
US20060083302A1 (en) 2006-04-20
KR20060034192A (ko) 2006-04-21
US20060083303A1 (en) 2006-04-20
KR100679022B1 (ko) 2007-02-05
KR20060034195A (ko) 2006-04-21
RU2337503C1 (ru) 2008-10-27
US7881387B2 (en) 2011-02-01
KR100703724B1 (ko) 2007-04-05
KR20060034197A (ko) 2006-04-21
BRPI0516826A (pt) 2008-09-23

Similar Documents

Publication Publication Date Title
CN100466738C (zh) 使用层间滤波的视频编码和解码方法及使用该方法的设备
JP5026965B2 (ja) ベースレイヤを含むビットストリームをプリデコーディング、デコーディングする方法及び装置
JP5014989B2 (ja) 基礎階層を利用するフレーム圧縮方法、ビデオコーディング方法、フレーム復元方法、ビデオデコーディング方法、ビデオエンコーダ、ビデオデコーダ、および記録媒体
RU2503137C2 (ru) Способ и устройство для высокомасштабируемого внутрикадрового видеокодирования
KR100679026B1 (ko) 비디오 코딩 및 디코딩을 위한 시간적 분해 및 역 시간적분해 방법과, 비디오 인코더 및 디코더
CN101015214B (zh) 多层视频编码和解码方法以及多层视频编码器和解码器
NL1029428C2 (nl) Werkwijze en inrichting voor het schaalbaar coderen en decoderen van video.
MXPA06006107A (es) Metodo y aparato de codificacion y decodificacion escalables de video.
KR20060087361A (ko) 잔차 재 추정을 이용한 다 계층 비디오 코딩 및 디코딩방법, 이를 위한 장치
US20060013311A1 (en) Video decoding method using smoothing filter and video decoder therefor
EP1657932A1 (en) Video coding and decoding methods using interlayer filtering and video encoder and decoder using the same
AU2004314092B2 (en) Video/image coding method and system enabling region-of-interest
WO2004064405A1 (ja) 符号化方法及び復号化方法及び符号化装置及び復号化装置
MXPA06006117A (es) Metodo y aparato de codificacion y decodificacion escalables de video.
KR101107318B1 (ko) 스케일러블 비디오 인코딩, 디코딩 방법 및 스케일러블 비디오 인코더, 디코더
JP4660550B2 (ja) 多階層ビデオコーディングおよびデコーディング方法、ビデオエンコーダおよびデコーダ
Ashourian et al. A fixed rate multiple description three-dimensional subband video coder
Zhang et al. A novel framework of FGS video coding based on EBCOT

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
C17 Cessation of patent right
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20090304

Termination date: 20091118