CN101502118A - 用于可伸缩视频编码的转换滤波器上采样机制 - Google Patents

用于可伸缩视频编码的转换滤波器上采样机制 Download PDF

Info

Publication number
CN101502118A
CN101502118A CNA2007800067160A CN200780006716A CN101502118A CN 101502118 A CN101502118 A CN 101502118A CN A2007800067160 A CNA2007800067160 A CN A2007800067160A CN 200780006716 A CN200780006716 A CN 200780006716A CN 101502118 A CN101502118 A CN 101502118A
Authority
CN
China
Prior art keywords
spatial resolution
transfer process
quantization parameter
low spatial
resolution layer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CNA2007800067160A
Other languages
English (en)
Inventor
N·阿玛尔
M·卡尔克泽维茨
J·里奇
X·王
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nokia Oyj
Original Assignee
Nokia Oyj
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nokia Oyj filed Critical Nokia Oyj
Publication of CN101502118A publication Critical patent/CN101502118A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/147—Data rate or code amount at the encoder output according to rate distortion criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/179—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scene or a shot
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/33—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the spatial domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Analogue/Digital Conversion (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

用于可伸缩视频编码的改进的转换滤波器上采样机制。本发明的滤波器转换机制以协作的方式利用每个滤波器的最佳性能。本发明的转换过程可以一般化为更多的滤波器选择并且由于增加的滤波器选择的自由度和灵活性而潜在地减轻了计算复杂性。

Description

用于可伸缩视频编码的转换滤波器上采样机制
技术领域
本发明一般地涉及视频编码领域。更特别地，本发明涉及可伸缩视频编码(SVC)中的空间可伸缩性。
背景技术
本部分旨在为权利要求书中陈述的本发明提供背景或上下文。在此的描述可以包括可以探究的概念，但不一定是那些之前已经想到或者探究的概念。因此，除非在此另外指出，否则本部分中描述的内容对于本申请的说明书和权利要求书而言不是现有技术，并且并不因为包括在本部分中就承认其为现有技术。
数字视频包括以恒定速率(例如，15或30个图像/秒)产生的图像的顺序序列。因此，作为结果的原始的视频数据量极大。因而，对于在存储或传输之前有效地对视频数据进行编码尤其必要的是视频压缩。该压缩过程是将视频数据转换为可以以较少比特表示的压缩格式的可逆过程。
视频编码通常将视频序列中固有的空间和时间冗余用于帧内和帧间编码。在帧间编码期间，编码器尝试通过基于当前帧的相邻帧对当前帧进行预测来减少连续视频帧之间的时间冗余。在帧内预测中，通过从组成帧的块的相邻块预测该块来减少空间冗余。在预测之后，作为预测的和原始帧之间的差异的残差帧依靠某些支持参数来产生。经常在传输之前对该残差帧进行压缩，其中应用诸如离散余弦变换(DCT)之类的变换，之后是诸如Huffman编码之类的可变长度编码方法。
为了支持各种应用和传输带宽的更大灵活性和自适应性，可伸缩视频编码将基本(单层)视频编码扩展为多层视频编码。本质上，以不同空间、时间和质量分辨率将基础层与不同的增强层一起进行编码。除了帧间和帧内预测技术之外，可伸缩视频编码开发了层间预测机制，该机制采用多个层中的冗余并且对来自于较低层的信息进行重用(reuse)。
出于将来自于重构的较低空间分辨率基础层的信息重用到较高空间分辨率增强层中的目的，需要对基础层画面进行上采样。上采样过程包括使用有限冲击响应滤波器内插像素值以生成较高分辨率的画面。经内插的画面的质量以及因此预测的保真度无疑由对上采样滤波器的选择影响。图1提供了该要求的示例，其中示出了简单二元内插(即，上采样)。上采样滤波器的选择对于压缩的增强层的整体质量起到重要作用。当前存在两种熟知的考虑在SVC中使用的可替换滤波器——AVC滤波器和最优滤波器。虽然对比于AVC滤波器，最优滤波器在较低比特率上执行得相对较好，但是在高比特率上则表现不佳。
JVT的MPEG的可伸缩视频编码计划是当前处于开发阶段的H.264/AVC的可伸缩扩展。在ISO/IEC JTC1/SC29/WG11，“Draft ofJoint Scalable Video Model JSVM-4 Annex G”，JVT文档JVT-Q201，Poznan，2005年7月中描述了相应的参考编码器，通过引用将其整体合并于此。在当前JSVM中，使用先进视频编码(AVC)滤波器执行基础层帧的上采样。另外，已经提出了新的最优滤波器作为对AVC滤波器的替换。此类滤波器例如在Andrew Segall，“Adaptive Study ofUp-sampling/Down-sampling for Spatial Scalability”，JVT-Q083，Nice，France，2005年10月(通过引用将其合并于此)中讨论。这些竞争滤波器中的每个滤波器在特定比特率上产生相对良好的性能，而在其他比特率上则表现不佳。
在当前的JSVM软件中，使用具有滤波器抽头[0 0 1 0-5 0 20 3220 0-5 0 1 0 0]/32的AVC滤波器对基础层帧进行上采样。具有根据基础层QP(例如，当QP_base＝20，由[0 3 3-8-8 21 42 21-8-8 3 30]/32给出该抽头)改变的滤波器抽头的最优滤波器之前已经作为对AVC滤波器的替换而提出，从而进一步增强了内插画面的质量。然而，由备选滤波器获得的增强限于低比特率的情况。而且，在高比特率上观察到性能的下降。
发明内容
本发明增强了可伸缩视频编码中使用的现有的基础层图像上采样***。本发明包括使用滤波器转换机制来以协作方式利用每个滤波器的最佳性能。本发明的转换过程可以一般化为更多的滤波器选择并且由于增加的滤波器选择的自由度和灵活性而潜在地减轻了计算复杂性。在基础层量化参数(QP)(QP_base)固定的情况下，本发明可以使用基于QP的转换、基于速率失真的转换或基于滤波器训练的转换来实现。如果解码器侧的基础层QP(QP_base)不被准确地知道，则该转换过程可以基于序列级或帧级的QP阈值实现。
从性能的观点看，本发明使编码器能够以协作的方式将多个备选滤波器的优势结合起来。在图2中示出了该性能优势。本发明的***和方法可以利用合适的转换判决获得参与滤波器的综合性能增益。
此外，因为对与数据速率无关的单个滤波器的使用可以强制大量滤波器抽头来获取相当好的性能(诸如在最优滤波器的情况中)，所以上采样操作的计算复杂性可以通过使用采用具有较少抽头的滤波器的转换滤波器机制来降低。可以以使用任何通用编程语言(例如，C/C++或汇编语言)的软件直接实现本发明。本发明还可以以硬件实现并且在客户设备中使用。
当结合附图阅读时，本发明的这些和其他优势和特征连同其操作的组织和方式将从以下详细描述中变得明显，其中，贯穿下面描述的多个附图，同样的元素具有同样的标号。
附图说明
图1是对基础层空间分辨率进行二元内插以获取上上部空间层帧的示例的示图；
图2是使用AVC和最优滤波器的转换机制的性能的示图；
图3是根据本发明的上采样滤波器转换机制的示图；
图4是示出了QP网格和滤波器映射的示图；
图5是可以在内部实现本发明的***的概括示图；
图6是可以在本发明的实现中使用的移动电话的透视图；以及
图7是图6的移动电话的电话电路的示意性示图。
具体实施方式
本发明增强了可伸缩视频编码中使用的现有的基础层图像上采样机制。本发明包括使用滤波器转换机制来以协作方式利用每个滤波器的最佳性能。本发明的转换过程可以一般化为更多的滤波器选择并且由于增加的滤波器选择的自由度和灵活性而潜在地减轻了计算复杂性。
为了理解本发明的本质，可以按照其相关联的精细颗粒SNR(FGS)可伸缩层，考虑较低空间分辨率层(这里称作空间基础层)是有帮助的。在对基础层分辨率进行上采样以获取较高空间分辨率(例如，对QCIF分辨率上采样以获取CIF分辨率)中，本发明提供了不同的上采样滤波器转换机制。这些机制中的一些机制是针对并不准确知道有效QP的情况，在该有效QP下，在解码器侧对较低空间分辨率层进行上采样。其它机制用在准确知道该有效QP的情况中。
在SVC中，空间伸缩性需要对较低空间层分辨率进行上采样，以便可以将其信号用于预测上部空间层。如上所述，当前与发生编码的质量级(比特率)无关地使用单个滤波器。然而，两个滤波器在不同的比特率上可以具有不同的性能强度。为了利用候选滤波器的最佳性能，本发明使用在不同上采样滤波器之间进行转换的过程。
为了详细描述本发明，可以如下结合其不同的FGS层来讨论较低空间层(基础层)的情况。上采样可以以固定较低空间层QP发生(例如，当较低空间不具有FGS层时)或以任意较低空间层QP发生。以下是在已知基础层QP和未知基础层QP的情况下用于实现转换上采样过程的两种基本情形。
基于速率失真的转换：基本上，对于待编码的每个增强层帧，编码器使用每个候选的上采样滤波器对相应的重构基础层帧进行上采样。得到的经上采样的帧独立应用于对增强层帧编码。随后，计算与每个上采样滤波器相关联的速率失真代价。产生最少速率失真代价的滤波器(并且因此其对应的增强层编码比特流)被选择为最佳(即，最终)候选滤波器。将选择的滤波器的索引编码为比特流。此类编码可以在每帧、每个宏块或其他周期性的基础上执行。在某些情况中，信令可以以诸如频谱成分之类的视频序列时变特征、诸如一个宏块和相邻宏块之间的频谱差异之类的空间变化特征、或诸如基础层QP值之类的之前编码到比特流中的其他信息为条件。此类条件作用可以包括选择滤波器索引的熵编码的上下文。也可以包括不对某些环境中的滤波器索引进行编码，例如在一个宏块的频谱特征类似于相邻宏块的频谱特征的时候，其中针对该相邻宏块已知该滤波器索引。
基于QP的转换。虽然之前的转换依赖于对应每个上采样滤波器的最终编码过程结果以便为特定增强层帧选择最佳候选滤波器，但基于QP的转换***根据QP阈值在候选滤波器中选择最佳滤波器。本质上，设置用于QP_base和QP_enhance的一个或多个预定义的常数QP阈值，从而创建图4中示出的类型的QP网格。QP网格的每个单元对应于上采样滤波器选择。因此，根据QP_base和QP_enhance对落在网格上的位置，编码器选择一个上采样滤波器。QP阈值的设置被编码为比特流。在很多情况中，QP阈值的设置在序列的基础上是固定的，但是在其他情况中，可以周期性地或针对特定类型的帧(例如，内帧)对阈值进行编码，或它们的出现可以通过标志位来信号传递。在其他增强中，以使得利用相邻QP阈值之间的相关性的方式，例如通过对QP阈值进行差分编码，来执行QP阈值本身的编码。
基于滤波器训练的转换。在基于滤波器训练的转换中，编码器例如(但不限于)通过优化原始增强分辨率帧和经上采样的帧之间的误差信号，来计算最优滤波器系数的集合。该训练可以独立于基础层和增强层QP值对来执行，或者可以利用独立于每个“类”执行的训练将QP值对分组为“多个类”。虽然，通常期望训练基于每个帧执行，但是也可以在其他间隔上执行，诸如具有相同类型的帧的分组或帧的集合(例如，I帧或P帧的集合)。然后，将得到的滤波器抽头编码为比特流。可以在序列、帧或其他周期性间隔的基础上完成该操作。也可以由片报头中的字段(诸如片类型)触发，或有条件地基于之前编码为比特流的信息对其进行编码。
当解码器将在其上解码比特流的FGS层未知时，修改上述转换机制。在两个变形——序列级上的基于QP的转换和帧级上的基于QP的转换中采用不同滤波器选择之间的基于QP的转换。
对于序列级的基于QP的转换方法，编码器信号传递用于QP_base和QP_enhance的阈值的集合(无疑在序列级)。如在“已知基础层QP”的情况中，基于这些阈值形成QP网格。该QP网格用于将给定的QP_base和QP_enhance对映射为一个上采样滤波器选择。与“已知基础层QP”的情形不同，如果在其上执行上采样的较低分辨率空间层的FGS层在编解码器的两侧之间是不同的，则编码器和解码器可以使用不同的上采样滤波器。
在帧级的基于QP的转换方法中，因为增强层QP(QP_QP_enhance)对于编码器和解码器两者都是已知的，所以编码器仅在帧的基础上信号传递用于QP_base的阈值集合。因而，解码器仅设置针对QP_base的区域，并且将这些区域映射为上采样滤波器的矢量。根据有效QP(解码器将在其上对较低空间层分辨率进行上采样)落在QP区域上的位置，解码器选择上采样滤波器。
从性能的观点看，本发明使编码器能够以协作的方式利用多个备选滤波器的优势。本发明可以利用合适的转换判决获得参与滤波器的综合性能增益。作为简单的示例，图3示出了使用AVC滤波器和最优滤波器之间的基于速率失真转换的足球序列(以15fps)的本发明的性能。基础层分辨率是QCIF(173 x 144)，而增强层分辨率是CIF(352 x 288)。此外，因为对数据速率无关的单个滤波器的使用可以强制大量滤波器抽头以获取相当好的性能(诸如在最优滤波器的情况中)，所以上采样操作的计算复杂性可以通过使用采用具有较少抽头的滤波器的转换滤波器机制来降低。
图5示出了本发明可以在其中使用的***10，包括可以通过网络进行通信的多个通信设备。***10可以包括有线或无线网络的任意组合，其中这些网络包括但不限于移动电话网络、无线局域网(LAN)、蓝牙个人局域网、以太网LAN、令牌环LAN、广域网、互联网等。***10可以包括有线通信设备和无线通信设备两者。
例如，图5中所示***10包括移动电话网络11和互联网28。通往互联网28的连接性可以包括但不限于远程无线连接、短程无线连接，以及各种有线连接，有线连接包括但不限于电话线、电缆线、电力线等。
***10的示例性通信设备可以包括但不限于移动电话12、组合式PDA和移动电话14、PDA 16、集成消息传递设备(IMD)18、台式计算机20以及笔记本计算机22。通信设备可以是固定的或者在由行进中的个体携带时是移动的。通信设备还可以处于交通模式中，包括但不限于汽车、卡车、出租车、公共汽车、船、飞机、自行车、摩托车等。该通信设备中的一些或全部可以通过通往基站24的无线连接25发送和接收呼叫和消息，并且通过通往基站24的无线连接25与服务提供商进行通信。基站24可以连接至网络服务器26，该服务器26支持移动电话网络11和互联网28之间的通信。***10可以包括附加的通信设备和不同类型的通信设备。
通信设备可以使用各种传输技术进行通信，包括但不限于，码分多址(CDMA)、全球移动通信***(GSM)、通用移动通信***(UMTS)、时分多址(TDMA)、频分多址(FDMA)、传输控制协议/互联网协议(TCP/IP)、短消息传递服务(SMS)、多媒体消息传递服务(MMS)、电子邮件、即时消息传递服务(IMS)、蓝牙、IEEE 802.11等。通信设备可以使用各种介质进行通信，包括但不限于，无线、红外、激光、线缆连接等。
图6和图7示出了本发明可以在其中实现的一个代表性移动电话12。然而应当理解，不旨在将本发明限制为一种特定类型的移动电话12或者其他电子设备。图6和图7的移动电话12包括外壳30、液晶显示形式的显示器32、小键盘34、麦克风36、耳机(ear-piece)38、电池40、红外端口42、天线44、根据本发明一个实施例的UICC形式的智能卡46、读卡器48、无线接口电路52、编解码电路54、控制器56以及存储器58。各个电路和元件可以是本领域公知的所有类型，例如Nokia范围内的移动电话系列。
以方法步骤的一般上下文描述了本发明，在一个实施方式中，可由程序产品实现所述方法步骤，所述程序产品包括由网络环境中的计算机执行的计算机可读指令，诸如程序代码。通常，程序模块包括例程、程序、对象、组件、数据结构等，其执行特定任务或实现特定抽象数据类型。同数据结构相关的计算机可执行指令和程序模块代表了用于执行这里所公开的方法的步骤的程序代码的示例。此类可执行指令或相关的数据结构的特定序列代表了用于实现在此类步骤中描述的功能的对应动作的示例。
本发明的软件和web实现能够利用标准编程技术来完成，利用基于规则的逻辑或者其他逻辑来实现各种数据库搜索步骤、相关步骤、比较步骤和判决步骤。还应当注意的是，此处以及权利要求书中使用的词语“组件”和“模块”意在包括使用一行或者更多行软件代码的实现和/或硬件实现和/或用于接收人工输入的设备。
就编码和解码而言，应该理解，尽管这里包含的文本和示例可以具体地描述编码过程，但本领域的技术人员将容易地理解相同的概念和原则也适用于对应的解码过程，并且反之亦然。此外，应注意的是，待解码的比特流可以从实际位于任何类型的网络内的远程设备接收。此外，比特流可以从本地硬件或软件接收。
出于示例和描述的目的，已经给出了本发明实施方式的前述说明。前述说明并非是穷举性的也并非要将本发明限制到所公开的确切形式，而是根据上述教导可以进行各种变形和修改，或者是从本发明的实践中可以得到各种变形和修改。选择和描述这些实施方式是为了说明本发明的原理及其实际应用，以使得本领域的技术人员能够以适合于构思的特定用途的各种实施方式和各种修改来利用本发明。

Claims (26)

1.一种将来自于重构的较低空间分辨率层的信息重用到较高空间分辨率增强层中的方法，包括：
提供所述重构的较低空间分辨率层；以及
对所述重构的较低空间分辨率层进行上采样以提供空间分辨率增强层，
其中，对所述重构的较低空间分辨率层的所述上采样包括根据预定的转换过程在多个滤波器之中转换以对所述重构的较低空间分辨率层进行滤波。
2.根据权利要求1所述的方法，其中所述预定的转换过程取决于较低空间分辨率层量化参数在将发生所述上采样的解码器处是否已知。
3.根据权利要求2所述的方法，其中所述较低空间分辨率层量化参数在所述解码器处已知，并且其中所述转换过程包括基于量化参数的转换过程，所述基于量化参数的转换过程包括使得编码器：
利用所述较低空间分辨率层量化参数以及所述较高空间分辨率增强层量化参数的阈值集合来从多个候选滤波器中选择滤波器，以及
将所述阈值集合以序列级通过信号传递至所述解码器。
4.根据权利要求2所述的方法，其中所述较低空间分辨率层量化参数在所述解码器处已知，并且其中所述转换过程包括基于速率失真的转换过程，所述基于速率失真的转换过程包括使得编码器：
使用速率失真代价从加索引的候选滤波器的集合中选择滤波器；以及
在帧的基础上，将所选择的滤波器在比特流中通过信号传递至所述解码器。
5.根据权利要求2所述的方法，其中所述较低空间分辨率层量化参数在所述解码器处已知，并且其中所述转换过程包括基于滤波器训练的转换过程，所述基于滤波器训练的转换过程包括使得编码器：
计算最佳滤波器系数的集合，得出多个滤波器抽头，以及
在帧的基础上，将所述多个滤波器抽头在比特流中通过信号传递至所述解码器。
6.根据权利要求2所述的方法，其中所述较低空间分辨率层量化参数在所述解码器处未知，并且其中所述转换过程基于序列级的量化参数阈值。
7.根据权利要求2所述的方法，其中所述较低空间分辨率层量化参数在所述解码器处未知，并且其中所述转换过程基于帧级的量化参数阈值。
8.根据权利要求7所述的方法，其中所述转换过程使得所述编码器通过信号传递较低空间分辨率层量化参数的阈值集合，以便用于解码器选择取决于所述解码过程的所述较低空间分辨率层量化参数的滤波器矢量。
9.根据权利要求1所述的方法，其中所述较低空间分辨率层包括基础层。
10.一种计算机程序产品，其包括在计算机可读介质上，用于将来自于重构的较低空间分辨率层的信息重用到较高空间分辨率增强层中，包括：
用于提供所述重构的较低空间分辨率层的计算机代码；以及
用于对所述重构的较低空间分辨率层进行上采样以提供空间分辨率增强层的计算机代码，
其中，对所述重构的较低空间分辨率层的所述上采样包括根据预定的转换过程在多个滤波器之中转换以对所述重构的较低空间分辨率层进行滤波。
11.根据权利要求10所述的计算机程序产品，其中所述预定的转换过程取决于较低空间分辨率层量化参数在将发生所述上采样的解码器处是否已知。
12.根据权利要求11所述的计算机程序产品，其中所述较低空间分辨率层量化参数在所述解码器处已知，并且其中所述转换过程包括基于量化参数的转换过程，所述基于量化参数的转换过程包括使得编码器：
利用所述较低空间分辨率层量化参数以及所述较高空间分辨率增强层量化参数的阈值集合来从多个候选滤波器中选择滤波器，以及
将所述阈值集合以序列级通过信号传递至所述解码器。
13.根据权利要求11所述的计算机程序产品，其中所述较低空间分辨率层量化参数在所述解码器处已知，并且其中所述转换过程包括基于速率失真的转换过程，所述基于速率失真的转换过程包括使得编码器：
使用速率失真代价从加索引的候选滤波器的集合中选择滤波器；以及
在帧的基础上，将所选择的滤波器在比特流中通过信号传递至所述解码器。
14.根据权利要求11所述的计算机程序产品，其中所述较低空间分辨率层量化参数在所述解码器处已知，并且其中所述转换过程包括基于滤波器训练的转换过程，所述基于滤波器训练的转换过程包括使得编码器：
计算最佳滤波器系数的集合，得出多个滤波器抽头，以及
在帧的基础上，将所述多个滤波器抽头在比特流中通过信号传递至所述解码器。
15.根据权利要求11所述的计算机程序产品，其中所述较低空间分辨率层量化参数在所述解码器处未知，并且其中所述转换过程基于序列级的量化参数阈值。
16.根据权利要求11所述的计算机程序产品，其中所述较低空间分辨率层量化参数在所述解码器处未知，并且其中所述转换过程基于帧级的量化参数阈值。
17.根据权利要求16所述的计算机程序产品，其中所述转换过程使得所述编码器通过信号传递较低空间分辨率层量化参数的阈值集合，以便用于解码器选择取决于所述解码过程的所述较低空间分辨率层量化参数的滤波器矢量。
18.根据权利要求10所述的计算机程序产品，其中所述较低空间分辨率层包括基础层。
19.一种解码器，其配置为将来自于重构的较低空间分辨率层的信息重用到较高空间分辨率增强层中，该解码器包括：
处理器；以及
存储器单元，其通信地连接至所述处理器并且包括：
用于提供所述重构的较低空间分辨率层的计算机代码；以及
用于对所述重构的较低空间分辨率层进行上采样以提供空间分辨率增强层的计算机代码，
其中，对所述重构的较低空间分辨率层的所述上采样包括根据预定的转换过程在多个滤波器之中转换以对所述重构的较低空间分辨率层进行滤波。
20.根据权利要求19所述的电子设备，其中所述预定的转换过程取决于较低空间分辨率层量化参数在将发生所述上采样的解码器处是否已知。
21.根据权利要求20所述的电子设备，其中所述较低空间分辨率层量化参数在所述解码器处已知，并且其中所述转换过程包括基于量化参数的转换过程，所述基于量化参数的转换过程基于这样的编码器：
利用所述较低空间分辨率层量化参数以及所述较高空间分辨率增强层量化参数的阈值集合来从多个候选滤波器中选择滤波器，以及
将所述阈值集合以序列级通过信号传递至所述解码器。
22.根据权利要求20所述的电子设备，其中所述较低空间分辨率层量化参数在所述解码器处已知，并且其中所述转换过程包括基于速率失真的转换过程，所述基于速率失真的转换过程基于这样的编码器：
使用速率失真代价从加索引的候选滤波器的集合中选择滤波器；以及
在帧的基础上，将所选择的滤波器在比特流中通过信号传递至所述解码器。
23.根据权利要求20所述的电子设备，其中所述较低空间分辨率层量化参数在所述解码器处已知，并且其中所述转换过程包括基于滤波器训练的转换过程，所述基于滤波器训练的转换过程基于这样的编码器：
计算最佳滤波器系数的集合，得出多个滤波器抽头，以及
在帧的基础上，将所述多个滤波器抽头在比特流中通过信号传递至所述解码器。
24.根据权利要求20所述的电子设备，其中所述较低空间分辨率层量化参数在所述解码器处未知，并且其中所述转换过程基于序列级的量化参数阈值。
25.根据权利要求20所述的电子设备，其中所述较低空间分辨率层量化参数在所述解码器处未知，并且其中所述转换过程基于帧级的量化参数阈值。
26.根据权利要求19所述的电子设备，其中所述较低空间分辨率层包括基础层。
CNA2007800067160A 2006-01-10 2007-01-09 用于可伸缩视频编码的转换滤波器上采样机制 Pending CN101502118A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US75781906P 2006-01-10 2006-01-10
US60/757,819 2006-01-10

Publications (1)

Publication Number Publication Date
CN101502118A true CN101502118A (zh) 2009-08-05

Family

ID=38256675

Family Applications (1)

Application Number Title Priority Date Filing Date
CNA2007800067160A Pending CN101502118A (zh) 2006-01-10 2007-01-09 用于可伸缩视频编码的转换滤波器上采样机制

Country Status (7)

Country Link
US (1) US20070217502A1 (zh)
EP (1) EP1974548A4 (zh)
JP (1) JP2009522971A (zh)
KR (1) KR20080092425A (zh)
CN (1) CN101502118A (zh)
TW (1) TW200737982A (zh)
WO (1) WO2007080477A2 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103392338A (zh) * 2011-01-03 2013-11-13 联发科技股份有限公司 基于滤波单元的回路滤波方法
TWI416961B (zh) * 2010-04-02 2013-11-21 Univ Nat Chiao Tung 用於可調式視訊編碼系統之選擇性移動向量預測方法、移動估測方法及其裝置
CN105393543A (zh) * 2013-06-14 2016-03-09 艾锐势科技公司 用于可缩放视频代码化的重采样滤波器
CN109982081A (zh) * 2012-09-28 2019-07-05 Vid拓展公司 用于多层视频编码的自适应上采样

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100937030B1 (ko) * 2007-05-31 2010-01-15 한국전자통신연구원 디지털 방송 신호의 전송 방법, 전송 장치, 수신 방법 및수신 장치
US8934542B2 (en) * 2007-06-29 2015-01-13 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Scalable video coding supporting pixel value refinement scalability
FR2920940B1 (fr) * 2007-09-07 2010-02-12 Actimagine Procede et dispositif de generation d'un flux video
TWI386063B (zh) 2008-02-19 2013-02-11 Ind Tech Res Inst 可調性視訊編碼標準的位元流分配系統與方法
US8798145B2 (en) 2008-07-22 2014-08-05 Thomson Licensing Methods for error concealment due to enhancement layer packet loss in scalable video coding (SVC) decoding
US20120117133A1 (en) * 2009-05-27 2012-05-10 Canon Kabushiki Kaisha Method and device for processing a digital signal
US20110002554A1 (en) * 2009-06-11 2011-01-06 Motorola, Inc. Digital image compression by residual decimation
US20110002391A1 (en) * 2009-06-11 2011-01-06 Motorola, Inc. Digital image compression by resolution-adaptive macroblock coding
WO2011074924A2 (ko) * 2009-12-18 2011-06-23 한국전자통신연구원 비디오 부호화/복호화 방법 및 장치
CN102714726B (zh) 2010-01-15 2015-03-25 杜比实验室特许公司 使用元数据的用于时间缩放的边缘增强
WO2011142801A1 (en) * 2010-05-10 2011-11-17 Thomson Licensing Methods and apparatus for adaptive interpolative intra block encoding and decoding
CN103155559B (zh) * 2010-10-12 2016-01-06 杜比实验室特许公司 用于帧兼容视频传输的联合层优化
US9538128B2 (en) * 2011-02-28 2017-01-03 Cisco Technology, Inc. System and method for managing video processing in a network environment
US8948248B2 (en) * 2011-07-21 2015-02-03 Luca Rossato Tiered signal decoding and signal reconstruction
US10448032B2 (en) 2012-09-04 2019-10-15 Qualcomm Incorporated Signaling of down-sampling location information in scalable video coding
CN103716622B (zh) * 2012-09-29 2017-02-08 华为技术有限公司 用于图像处理的方法和装置
TWI618397B (zh) 2012-12-21 2018-03-11 杜比實驗室特許公司 在高位元深度視訊的可適性編碼中，高精度升取樣
US9596465B2 (en) * 2013-01-04 2017-03-14 Intel Corporation Refining filter for inter layer prediction of scalable video coding
JP6071618B2 (ja) * 2013-02-20 2017-02-01 日本放送協会 画像処理装置及びプログラム
WO2014148070A1 (ja) * 2013-03-19 2014-09-25 ソニー株式会社 画像処理装置及び画像処理方法
KR101946039B1 (ko) * 2013-09-24 2019-02-08 브이아이디 스케일, 인크. 스케일가능한 비디오 코딩을 위한 계층간 예측
JP6233121B2 (ja) * 2014-03-17 2017-11-22 富士ゼロックス株式会社 画像処理装置及び画像処理プログラム
KR20200080926A (ko) 2018-12-27 2020-07-07 삼성전자주식회사 영상 처리 장치 및 그 영상 처리 방법
US10909700B2 (en) 2019-04-02 2021-02-02 Samsung Electronics Co., Ltd. Display apparatus and image processing method thereof

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6957350B1 (en) * 1996-01-30 2005-10-18 Dolby Laboratories Licensing Corporation Encrypted and watermarked temporal and resolution layering in advanced television
AU2001251386A1 (en) * 2000-04-07 2001-10-23 Demografx Enhanced temporal and resolution layering in advanced television
GB2364843A (en) * 2000-07-14 2002-02-06 Sony Uk Ltd Data encoding based on data quantity and data quality
US7929610B2 (en) * 2001-03-26 2011-04-19 Sharp Kabushiki Kaisha Methods and systems for reducing blocking artifacts with reduced complexity for spatially-scalable video coding
US7092448B2 (en) * 2002-05-24 2006-08-15 Koninklijke Philips Electronics N.V. Method and system for estimating no-reference objective quality of video data
US7471726B2 (en) * 2003-07-15 2008-12-30 Microsoft Corporation Spatial-domain lapped transform in digital media compression
US7961963B2 (en) * 2005-03-18 2011-06-14 Sharp Laboratories Of America, Inc. Methods and systems for extended spatial scalability with picture-level adaptation
US7876833B2 (en) * 2005-04-11 2011-01-25 Sharp Laboratories Of America, Inc. Method and apparatus for adaptive up-scaling for spatially scalable coding

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI416961B (zh) * 2010-04-02 2013-11-21 Univ Nat Chiao Tung 用於可調式視訊編碼系統之選擇性移動向量預測方法、移動估測方法及其裝置
CN103392338A (zh) * 2011-01-03 2013-11-13 联发科技股份有限公司 基于滤波单元的回路滤波方法
US9877019B2 (en) 2011-01-03 2018-01-23 Hfi Innovation Inc. Method of filter-unit based in-loop filtering
US10567751B2 (en) 2011-01-03 2020-02-18 Hfi Innovation Inc. Method of filter-unit based in-loop filtering
CN109982081A (zh) * 2012-09-28 2019-07-05 Vid拓展公司 用于多层视频编码的自适应上采样
CN109982081B (zh) * 2012-09-28 2022-03-11 Vid拓展公司 用于多层视频编码的自适应上采样
CN105393543A (zh) * 2013-06-14 2016-03-09 艾锐势科技公司 用于可缩放视频代码化的重采样滤波器
CN105393543B (zh) * 2013-06-14 2019-06-18 艾锐势有限责任公司 用于可缩放视频代码化的重采样滤波器

Also Published As

Publication number Publication date
EP1974548A4 (en) 2010-05-12
TW200737982A (en) 2007-10-01
JP2009522971A (ja) 2009-06-11
EP1974548A2 (en) 2008-10-01
US20070217502A1 (en) 2007-09-20
WO2007080477A2 (en) 2007-07-19
WO2007080477A3 (en) 2007-10-25
KR20080092425A (ko) 2008-10-15

Similar Documents

Publication Publication Date Title
CN101502118A (zh) 用于可伸缩视频编码的转换滤波器上采样机制
US11425408B2 (en) Combined motion vector and reference index prediction for video coding
CN101755458B (zh) 可缩放视频编码方法和装置以及可缩放视频解码方法和装置
US20190058891A1 (en) Method for coding and decoding scalable video and apparatus using same
US9860528B2 (en) Method and apparatus of scalable video coding
EP2719183B1 (en) Method and apparatus of scalable video coding
CN101542926B (zh) 使用多个层进行可缩放编码及解码
JP6517152B2 (ja) ピクチャの符号化／復号化方法及びこれを利用する装置
CN101444104A (zh) 在可伸缩视频编码和解码中的参考图像标记
CN103493481A (zh) 基于场景的适应性比特率控制
CN112243128B (zh) 层间预测方法和传输比特流的方法
CN102318342A (zh) 系数数目减少的多变换块联合编码
CN101601300A (zh) 用自适应增强层预测对位深度可分级视频数据进行编码和/或解码的方法和设备
CN101401440A (zh) 可伸缩视频编码中的差错恢复模式判决
KR20080002953A (ko) 스케일러블 비디오 코딩에서 ｆｇｓ 식별
CN101682787A (zh) 空间增强的变换编码

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication

Open date: 20090805