CN102823243B - 通过面片移动减小矢量量化误差的方法和装置 - Google Patents

通过面片移动减小矢量量化误差的方法和装置 Download PDF

Info

Publication number
CN102823243B
CN102823243B CN201180015723.3A CN201180015723A CN102823243B CN 102823243 B CN102823243 B CN 102823243B CN 201180015723 A CN201180015723 A CN 201180015723A CN 102823243 B CN102823243 B CN 102823243B
Authority
CN
China
Prior art keywords
dough sheet
resolution
dough
substitution
video sequence
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201180015723.3A
Other languages
English (en)
Other versions
CN102823243A (zh
Inventor
张冬青
J.拉克
S.巴加瓦西
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Thomson Licensing SAS
International Digital Madison Patent Holding SAS
Original Assignee
Thomson Licensing SAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Thomson Licensing SAS filed Critical Thomson Licensing SAS
Publication of CN102823243A publication Critical patent/CN102823243A/zh
Application granted granted Critical
Publication of CN102823243B publication Critical patent/CN102823243B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/94—Vector quantisation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Image Processing (AREA)
  • Television Systems (AREA)

Abstract

提供了通过面片移动减小矢量量化误差的方法和装置。该方法从输入视频序列中生成（1320）一个或多个高分辨率取代面片，该一个或多个高分辨率取代面片用于在重构输入视频序列期间取代一个或多个低分辨率面片。该生成步骤使用与面片空间移动过程相对应的数据生成一个或多个高分辨率取代面片，该面片空间移动过程用于减少由一个或多个高分辨率取代面片中的运动引起矢量量化误差造成的抖动伪像，该数据用于至少导出一个或多个高分辨率取代面片的面片尺寸，使得生成面片尺寸大于一个或多个低分辨率面片的面片尺寸的一个或多个高分辨率取代面片，以便适合用在面片空间移动过程中。

Description

通过面片移动减小矢量量化误差的方法和装置
相关申请的交叉引用
本申请要求2010年2月2日提交的美国临时申请第61/300,551号的利益，在此通过引用并入其全部内容。
技术领域
本原理一般涉及矢量量化，尤其涉及通过面片（patch）移动减小矢量量化误差的方法及装置。
背景技术
我们以前已经开发了用于视频数据修剪的基于样本超分辨率（example-basedsuper resolution）方法和装置（下文称为“基于样本超分辨率方法”）。基于样本超分辨率是通过将输入画面中的低分辨率面片用作询问关键词在面片库中找出高分辨率面片，并用检索的高分辨率面片取代低分辨率输入画面中的低分辨率面片将低分辨率画面转换成高分辨率画面的超分辨率技术。
更详细地说，在这种基于样本超分辨率方法中，将编码器侧的高分辨率视频帧划分成图像片或块（例如，在基于样本超分辨率方法的一种实现中，我们使用16×16像素块）。然后将图像片分组成多个群集。将群集的代表性面片与缩小的帧一起发送到解码器侧。在解码器侧，提取代表性面片。用高分辨率代表性面片取代低分辨率视频中的面片以创建恢复高分辨率视频。
转到图1，基于样本超分辨率***/方法的高级方块图用标号100总体表示。输入高分辨率（HR）帧，并且在步骤110中让其经受编码器侧预处理（由编码器侧预处理器151），以便获取缩小帧和面片帧。在步骤115中编码（由编码器152）缩小帧和面片帧。在步骤120中解码（由解码器153）编码的缩小帧和面片帧。在步骤125中让低分辨率缩小帧和面片帧经受超分辨率后处理（由超分辨率后处理器154），以便提供高分辨率输出帧。
转到图2，与图1的基于样本超分辨率***/方法相对应的编码器侧预处理的高级方块图用标号200总体表示。在步骤210中让输入视频经受面片提取和群集化处理（由面片提取器和群集化器251），以便获取群集化面片。此外，在步骤215中还让输入视频经受缩小处理（由缩小器252），以便从中输出缩小帧。在步骤220中将群集化面片组装成面片帧（由面片组装器252），以便从中输出（组装）面片帧。
转到图3，与图1的基于样本超分辨率***/方法相对应的解码器侧后处理的高级方块图用标号300总体表示。在步骤310中让解码面片帧经受面片提取和群集化处理（由面片提取器和群集化器351），以便获取处理后面片。在步骤315中存储处理后面片（由面片库352）。在步骤320中让解码缩小帧经受扩大处理（由扩大器353），以便获取扩大化帧。在步骤325中让扩大帧经受面片搜索和取代（由面片搜索器和取代器354），以便获取取代面片。在步骤330中让取代面片经受后处理（由后处理器355），以便获取高分辨率帧。
与图1-3有关的基于样本超分辨率***/方法的关键成分是面片群集化和面片取代。该过程与基于矢量量化压缩存在一些共性。当将该***应用于具有静态场景的视频时，视频可以恢复得非常好。但是，如果输入视频存在运动，则可以在恢复视频中观察到抖动伪像。该伪像是由面片群集化和面片取代过程造成的。转到图4，由运动造成的量化误差用标号400总体表示。示出了在六个帧（表示成帧1到帧6）中捕获的物体（正在运动）的量化误差。该物体（正在运动）在图4中用曲线指示。在图4中关于上部、中部和下部地示出量化误差400。在上部，示出了来自输入视频序列的相继帧的同处输入面片410。在中部，示出了与群集相对应的代表性面片420。尤其，中部示出了群集1的代表性面片421、和群集2的代表性面片422。在下部，示出了恢复视频序列中的面片430。视频序列中的物体运动导致一系列面片具有移动了的物体边缘。由于一系列相继帧中的面片看起来非常相似，所以可以将它们分组成一个群集（或其他某小数量群集）和表示成单个代表性面片（或其他某小数量代表性面片）。我们在前面的句子中使用了术语“小”，因为群集的数量显然应该小于要处理的视频序列中的相继帧的数量。在恢复过程中，用与群集相关联的代表性面片取代相应低分辨率面片。由于用相同面片取代具有不同空间移动的面片，所以恢复视频中的物体的边缘跳过几个帧，导致抖动伪像。
我们注意到，除了上述基于样本超分辨率方法和装置之外，还存在其他基于样本超分辨率途径。因此，关于其他基于样本超分辨率途径，我们注意到还没有解决面片取代过程的伪像问题。一个原因是依照第一现有技术途径的基于样本超分辨率算法是为图像开发的而不是为视频开发的。而且，由于与上述第一现有技术途径相对应的***以及类似***是为超分辨率开发的而不是为压缩开发的，所以它们没有群集化组件，因此它们的***的伪像问题可能没有上面参照图1-3所述的用于视频数据修剪的基于样本超分辨率方法那么严重。
总之，用于视频数据修剪的基于样本超分辨率方法向解码器发送高分辨率（本文也称为“high-res”）样本面片和低分辨率（本文也称为“low-res”）帧。解码器通过用样本高分辨率面片取代低分辨率面片来恢复高分辨率帧（参见图3）。但是，对于存在运动的视频，面片取代过程往往因矢量量化（VQ）误差而导致抖动伪像。
发明内容
现有技术的这些和其他缺陷和缺点通过本原理来解决，本原理针对通过面片移动减小矢量量化误差的方法及装置。
按照本原理的一个方面，提供了一种装置。该装置包括面片生成器，用于从输入视频序列中生成一个或多个高分辨率取代面片。该一个或多个高分辨率取代面片用于在重构输入视频序列期间取代一个或多个低分辨率面片。该面片生成器使用与面片空间移动过程相对应的数据生成一个或多个高分辨率取代面片。该面片空间移动过程用于减少由一个或多个高分辨率取代面片中的运动引起矢量量化误差造成的抖动伪像。该数据用于至少导出一个或多个高分辨率取代面片的面片尺寸，使得生成面片尺寸大于一个或多个低分辨率面片的面片尺寸的一个或多个高分辨率取代面片，以便适合用在面片空间移动过程中。
按照本原理的另一个方面，提供了一种使用处理器执行的方法。该方法包括从输入视频序列中生成一个或多个高分辨率取代面片。该一个或多个高分辨率取代面片用于在重构输入视频序列期间取代一个或多个低分辨率面片。该生成步骤使用与面片空间移动过程相对应的数据生成一个或多个高分辨率取代面片。该面片空间移动过程用于减少由一个或多个高分辨率取代面片中的运动引起矢量量化误差造成的抖动伪像。该数据用于至少导出一个或多个高分辨率取代面片的面片尺寸，使得生成面片尺寸大于一个或多个低分辨率面片的面片尺寸的一个或多个高分辨率取代面片，以便适合用在面片空间移动过程中。
按照本原理的又一个方面，提供了一种装置。该装置包括面片移动器，用于接收具有运动引起矢量量化误差的一个或多个高分辨率取代面片，以及至少空间移动一个或多个高分辨率取代面片，以便减少由运动引起矢量量化误差造成的抖动伪像。一个或多个高分辨率取代面片对应于输入视频序列和从输入视频序列中导出。该装置进一步包括与该面片移动器信号通信的画面重构设备，用于使用一个或多个空间移动高分辨率取代面片和与输入视频序列相对应和从输入视频序列中导出的一个或多个缩小画面重构输入视频序列。
按照本原理的再一个方面，提供了一种使用处理器执行的方法。该方法包括接收具有运动引起矢量量化误差的一个或多个高分辨率取代面片。该方法进一步包括至少空间移动一个或多个高分辨率取代面片，以便减少由运动引起矢量量化误差造成的抖动伪像。一个或多个高分辨率取代面片对应于输入视频序列和从输入视频序列中导出。该方法还包括使用一个或多个空间移动高分辨率取代面片和与输入视频序列相对应和从输入视频序列中导出的一个或多个缩小画面重构输入视频序列。
通过结合附图阅读如下示范性实施例的详细描述，本原理的这些和其他方面、特征和优点将变得显而易见。
附图说明
本原理可以依照如下示范性图形得到更好理解，在附图中：
图1是示出依照现有技术的基于样本超分辨率***/方法的高级方块图；
图2是示出依照现有技术、与图1的基于样本超分辨率***/方法相对应的编码器侧预处理的高级方块图；
图3是示出依照现有技术、与图1的基于样本超分辨率***/方法相对应的解码器侧后处理的高级方块图；
图4是示出可以应用本原理的由运动造成的量化误差的图形；
图5是示出依照本原理的实施例、通过面片移动减小矢量量化误差的示范性***的方块图；
图6是示出依照本原理的实施例、可以应用本原理的示范性视频编码器的方块图；
图7是示出依照本原理的实施例、可以应用本原理的示范性视频解码器的方块图；
图8是示出依照本原理的实施例的扩展面片的方块图；
图9是示出依照本原理的实施例、可以应用本原理的向前运动矢量的图形；
图10是示出依照本原理的实施例、可以应用本原理的向后运动矢量的图形；
图11是示出依照本原理的实施例、用于面片移动的示范性方法的流程图；
图12是示出依照本原理的实施例、生成改进代表性面片的示范性方法的流程图；
图13是示出依照本原理的实施例、通过面片移动减小矢量量化误差的示范性方法的流程图；
图14是示出依照本原理的实施例、生成面片库的示范性方法的流程图；以及
图15是示出依照本原理的实施例、通过面片移动减小矢量量化误差的另一个示范性方法的流程图。
具体实施方式
本原理针对通过面片移动减小矢量量化误差的方法及装置。
本描述例示了本原理。因此，应该懂得，本领域的普通技术人员能够设想出尽管未明确描述或显示在本文中，但体现本原理和包括在它的精神和范围之内的各种安排。
本文列举的所有例子和条件语言旨在教授的目的，以帮助读者理解本原理以及（多个）发明人为促进技术进步而贡献的概念，并且应该理解为不局限于这样具体列举的例子和条件。
此外，本文阐述本原理的各个原理、方面和实施例及其特定例子的所有语句旨在包含其结构和功能等效物两者。另外，这样的等效物旨在包括当前已知的等效物以及未来开发的等效物，即与结构无关，开发出来执行相同功能的任何元件。
因此，例如，本领域的技术人员应该懂得，本文所展示的方块图代表体现本原理的例示性电路的概念图。类似地，应该懂得，任何流程图、流图、状态转变图、伪码等代表基本上可以表示在计算机可读媒体中，因此可以由计算机或处理器执行的各种进程，无论这样的计算机或处理器是否明确示出。
显示在图形中的各种元件的功能可以通过使用专用硬件以及能够与适当软件相关联执行软件的硬件来实现。当由处理器提供时，这些功能可以由单个专用处理器，由单个共享处理器，或由其中一些可以共享的多个单独处理器提供。此外，术语“处理器”或“控制器”的显性使用不应该理解为专门指能够执行软件的硬件，而是可以隐性地包括但不限于数字信号处理器（“DSP”）硬件、存储软件的只读存储器（“ROM”）、随机访问存储器（“RAM”）和非易失性存储体。
也可以包括传统的和/或定制的其他硬件。类似地，显示在图形中的任何开关都只是概念性的。它们的功能可以通过程序逻辑的运算，通过专用逻辑，通过程序控制和专用逻辑的交互，或甚至人工地实现，正如从上下文中更具体了解到的那样，特定的技术可由实现者选择。
在其权利要求书中，表达成执行特定功能的部件的任何元件旨在包含执行那种功能的任何方式，例如，包括a）执行那种功能的电路元件的组合，或b）任何形式的软件，因此包括与执行那种软件的适当电路结合执行该功能的固件、微码等。如这样的权利要求书定义的本原理在于以权利要求书要求的方式组合和汇集各种所列举部件提供的功能。因此，应该认为可以提供那些功能的任何部件都等效于本文所示的那些部件。
在说明书中提到本原理的“一个实施例”或“实施例”以及它的其他变型意味着结合该实施例所述的特定特征、结构、特性等包括在本原理的至少一个实施例中。因此，出现在整个说明书中的各个地方的措词“在一个实施例中”或“在实施例中”以及任何其他变型的出现未必都指同一个实施例。
应该懂得，如下“/”、“和/或”、和“至少一个”的任何一种的使用，例如，在“A/B”、“A和/或B”、和“A和B的至少一个”的情况下，旨在包含只有第一所列选项（A）的选择，只有第二所列选项（B）的选择，或两个选项（A和B）的选择。作为进一步的例子，在“A、B、和/或C”和“A、B、和C的至少一个”的情况下，这样的措词旨在包含只有第一所列选项（A）的选择，只有第二所列选项（B）的选择，只有第三所列选项（C）的选择，只有第一和第二所列选项（A和B）的选择，只有第一和第三所列选项（A和C）的选择，只有第二和第三所列选项（B和C）的选择，或所有三个选项（A、B和C）的选择。本领域的普通技术人员容易明白，对于列出的许多项目，可以依此类推。
此外，如本文所使用，词汇“画面”和“图像”可交换使用，一般指静止图像或来自视频序列的画面。但是，我们注意到，基于样本超分辨率的现有途径针对图像而不是来自视频序列的画面。众所周知，画面可以是帧或场。
转到图5，通过面片移动减小矢量量化误差的示范性***用标号500总体表示。该***500包括具有与面片组装器510的输入端信号通信的输出端的面片生成器505。面片组装器510的输出端被连接成与编码器515的输入端信号通信。编码器515的输出端被连接成与解码器530的输入端信号通信。解码器530的输出端被连接成与面片提取器535的输入端信号通信。面片提取器535的输出端被连接成与面片库550的第一输入端信号通信。
缩小器520的输出端被连接成与编码器525的输入端信号通信。编码器525的输出端被连接成与解码器540的输入端信号通信。解码器540的输出端被连接成与扩大器545的输入端信号通信。扩大器545的输出端被连接成与面片搜索器555的输出端信号通信。面片搜索器555的第一输出端被连接成与面片移动器560的输入端信号通信。面片搜索器555的第二输出端被连接成与面片库550的第二输入端信号通信。
面片生成器505的输入端和缩小器520的输入端可作为***500的输入端，用于接收输入画面。面片移动器560的输出端可作为***500的输出端，用于输出高分辨率画面。
应该懂得，按将信息从编码器515，525传送到解码器530，540的需要，编码器515与解码器530之间的连接以及编码器525与解码器540之间的连接可能是短暂的。
此外，应该懂得，面片生成器505、面片组装器510、编码器515、缩小器520、和编码器525属于编码器侧，而解码器530、面片提取器535、面片库550、解码器540、扩大器545、面片搜索器555、和面片移动器560属于解码器侧。
并且，应该懂得，面片移动器560可以被认为包括画面重构设备，其中在一个实施例中，该面片移动器接收具有运动引起矢量量化误差的一个或多个高分辨率取代面片，以及至少空间移动一个或多个高分辨率取代面片，以便减少由运动引起矢量量化误差造成的抖动伪像。一个或多个高分辨率取代面片对应于输入视频序列并从输入视频序列中导出。在一个实施例中假设包括在面片移动器中的画面重构设备使用一个或多个空间移动高分辨率取代面片和与输入视频序列相对应和从输入视频序列中导出的一个或多个缩小画面重构输入视频序列。
面片生成器505将提取的面片群集化并生成代表性面片。面片组装器510将代表性面片组装成面片帧。视频编码器515和525分别编码面片帧（面片组装器510提供）和缩小帧（缩小器520提供）。缩小器520将原始画面缩小成较小尺寸以便发送到解码器侧。视频解码器530和540分别解码（编码的）面片帧和（编码的）缩小帧。面片提取器535从面片帧中提取面片。扩大器545扩大解码的缩小帧。面片搜索器555在面片库中搜索面片，并用找到的面片取代画面中的块。面片移动器560移动面片以校正矢量量化误差。
转到图6，可以应用本发明原理的示范性视频编码器用标号600总体表示。视频编码器600包括具有与组合器685的非反相输入端信号通信的输出端的帧排序缓冲器610。组合器685的输出端被连接成与变换器和量化器625的第一输入端信号通信。变换器和量化器625的输出端被连接成与熵编码器645的第一输入端和逆变换器和逆量化器650的第一输入端信号通信。熵编码器645的输出端被连接成与组合器690的第一非反相输入端信号通信。组合器690的输出端被连接成与输出缓冲器635的第一输入端信号通信。
编码器控制器605的第一输出端被连接成与帧排序缓冲器610的第二输入端、逆变换器和逆量化器650的第二输入端、画面类型判定模块615的输入端、宏块类型（MB类型）判定模块620的第一输入端、帧内预测模块660的第二输入端、去块滤波器665的第二输入端、运动补偿器670的第一输入端、运动估计器675的第一输入端、和参考画面缓冲器680的第二输入端信号通信。
编码器控制器605的第二输出端被连接成与补充增强信息（SEI）***器630的第一输入端、变换器和量化器625的第二输入端、熵编码器645的第二输入端、输出缓冲器635的第二输入端、和序列参数集（SPS）和画面参数集（PPS）***器640的输入端信号通信。
SEI***器630的输出端被连接成与组合器690的第二非反相输入端信号通信。
画面类型判定模块615的第一输出端被连接成与帧排序缓冲器610的第三输入端信号通信。画面类型判定模块615的第二输出端被连接成与宏块类型判定模块620的第二输入端信号通信。
序列参数集（SPS）和画面参数集（PPS）***器640的输出端被连接成与组合器690的第三非反相输入端信号通信。
逆量化器和逆变换器650的输出端被连接成与组合器619的第一非反相输入端信号通信。组合器619的输出端被连接成与帧内预测模块660的第一输入端和去块滤波器665的第一输入端信号通信。去块滤波器665的输出端被连接成与参考画面缓冲器680的第一输入端信号通信。参考画面缓冲器680的输出端被连接成与运动估计器675的第二输入端和运动补偿器670的第三输入端信号通信。运动估计器675的第一输出端被连接成与运动补偿器670的第二输入端信号通信。运动估计器675的第二输出端被连接成与熵编码器145的第三输入端信号通信。
运动补偿器670的输出端被连接成与开关697的第一输入端信号通信。帧内预测模块660的输出端被连接成与开关697的第二输入端信号通信。宏块类型判定模块620的输出端被连接成与开关697的第三输入端信号通信。开关697的第三输入端确定开关的“数据”输入（如与控制输入，即，第三输入相比）由运动补偿器670提供还是由帧内预测模块660提供。开关697的输出端被连接成与组合器619的第二非反相输入端和组合器685的反相输入端信号通信。
帧排序缓冲器610的第一输入端和编码器控制器605的输入端可作为编码器600的输入端，用于接收输入画面。此外，补充增强信息（SEI）***器630的第二输入端可作为编码器600的输入端，用于接收元数据。输出缓冲器635的输出端可作为编码器600的输出端，用于输出位流。
应该懂得，来自图5的编码器515和525的一个或多个可以实现成编码器600。
转到图7，可以应用本原理的示范性视频解码器用标号700总体表示。该视频解码器700包括具有连接成与熵解码器745的第一输入端信号通信的输出端的输入缓冲器710。熵解码器745的第一输出端被连接成与逆变换器和逆量化器750的第一输入端信号通信。逆变换器和逆量化器750的输出端被连接成与组合器725的第二非反相输入端信号通信。组合器725的输出端被连接成与去块滤波器765的第二输入端和帧内预测模块760的第一输入端信号通信。去块滤波器765的第二输出端被连接成与参考画面缓冲器780的第一输入端信号通信。参考画面缓冲器780的输出端被连接成与运动补偿器770的第二输入端信号通信。
熵解码器745的第二输出端被连接成与运动补偿器770的第三输入端、去块滤波器765的第一输入端、和帧内预测器760的第三输入端信号通信。熵解码器745的第三输出端被连接成与解码器控制器705的输入端信号通信。解码器控制器705的第一输出端被连接成与熵解码器745的第二输入端信号通信。解码器控制器705的第二输出端被连接成与逆变换器和逆量化器750的第二输入端信号通信。解码器控制器705的第三输出端被连接成与去块滤波器765的第三输入端信号通信。解码器控制器705的第四输出端被连接成与帧内预测模块760的第二输入端、运动补偿器770的第一输入端、和参考画面缓冲器780的第二输入端信号通信。
运动补偿器770的输出端被连接成与开关797的第一输入端信号通信。帧内预测模块760的输出端被连接成与开关797的第二输入端信号通信。开关797的输出端被连接成与组合器725的第一非反相输入端信号通信。
输入缓冲器710的输入端可作为解码器700的输入端，用于接收输入位流。去块滤波器765的第一输出端可作为解码器700的输出端，用于对输出画面进行输出。
应该懂得，来自图5的解码器530和540的一个或多个可以实现成解码器700。
如上所述，本原理针对通过面片移动减小矢量量化误差的方法及装置。更详细地说，在至少一个实施例中，我们通过移动高分辨率取代面片和对恢复高分辨率视频强制进行时空平滑减少矢量量化误差造成的抖动伪像。
尽管已经开发了具体用于我们基于超分辨率数据修剪框架的方法（例如，如上面参照图1-3所述），但该算法可应用于牵涉到矢量量化和面片取代的所有***。例如，本原理可以应用于上述第一现有技术途径（和类似途径）中的基于样本图像超分辨率，以及基于视频缩影（epitome）和传统矢量量化的图像/视频压缩***。基于缩影的途径将图像（或视频）划分成面片，并将图像表示成包含代表性面片的小缩图(miniature)和将图像中的面片映射到缩影的缩图中的那些面片的主观图。小缩图（或缩影）可以被认为是原始图像或视频的压缩形式，因此缩影可以潜在地用于压缩目的。
为了一般性起见，我们把注意力放在包括如下两种成分的抽象***上：（1）样本（或代表性）面片生成；以及（2）面片取代。在不同应用中，这样的范例可能存在变型。例如，在上述第一现有技术途径中，样本面片生成非群集化地通过从图像数据库中收集面片来实现。在我们的基于样本超分辨率方法中（以及在一些其他基于矢量量化压缩方案中），通过将从输入视频/图像中提取的面片群集化生成样本（或代表性）面片。
转到图13，通过面片移动减小矢量量化误差的示范性方法用标号1300总体表示。该方法1300对应于在显示在图5中的编码器侧执行的功能。该方法1300包括将控制交给功能块1310和功能块1330的开始块1305。功能块1310提取高分辨率面片，并将控制交给功能块1315。功能块1315将高分辨率面片群集化，为每个群集获取代表性高分辨率面片，并将控制交给功能块1320。功能块1320将代表性高分辨率面片组装成高分辨率面片帧，并将控制交给功能块1325。功能块1325编码高分辨率面片帧和面片尺寸导出数据，并将控制交给结束块1399。功能块1330缩小原始画面以获取缩小画面，并将控制交给功能块1335。功能块1335编码缩小画面，并将控制交给结束块1399。
转到图14，生成面片库的示范性方法用标号1400总体表示。该方法1400包括将控制交给功能块1410的开始块1405。功能块1410接收和解码高分辨率面片帧，并将控制交给功能块1415。功能块1415从面片帧中提取高分辨率面片，并将控制交给功能块1420。功能块1420使用提取的高分辨率面片创建面片库，并将控制交给结束块1499。
转到图15，通过面片移动减小矢量量化误差的另一个示范性方法用标号1500总体表示。该方法1500对应于在显示在图5中的解码器侧执行的功能。该方法1500包括将控制交给功能块1510的开始块1505。功能块1510扩大缩小画面，并将控制交给功能块1515。功能块1515用高分辨率面片取代低分辨率面片，并将控制交给功能块1520。功能块1520空间移动高分辨率面片以达到最佳面片位置，并将控制交给功能块1525。功能块1525使用空间移动高分辨率面片重构输入视频序列，并将控制交给结束块1599。
减少伪像的面片移动
如果样本面片生成成分包括群集化过程，则群集化过程导致矢量量化误差。可能存在不同类型的量化误差。如图4所例示，一种类型的量化误差由运动造成。
依照本原理，我们通过在恢复过程中移动样本（代表性）面片解决运动所致的量化误差。
面片移动
在基于样本超分辨率的情况下，为了不在恢复图像或视频帧中产生空洞地移动高分辨率面片，在群集化期间生成的样本面片必须大于要被取代的低分辨率帧中的面片。例如，如果帧中的低分辨率面片的尺寸是N×N个像素，则代表性面片的尺寸必须是M×M，其中M>N。因此，沿着一个维度的最大面片移动是M-N。转到图8，一个扩展面片用标号800总体表示。此外还示出了要被取代的帧中的低分辨率面片810。如所看到的，扩展面片800扩展到其它“帧区”中。
在我们当前基于样本超分辨率***中，对具有N×N像素尺寸的一组面片进行群集化处理。但是，在群集化处理完成之后，通过对具有M×M像素尺寸的相应扩展面片求平均生成代表性面片。扩展面片是具有附加边界扩展（每个维度M-N个像素）的用于群集化的面片。对于边界上的面片，通过将附加像素填充到帧以外的区域中创建扩展面片。可以使用不同填充策略，例如，利用黑色像素填充，复制边界上的像素等。
在解码器侧，在面片取代和移动过程之前，通过裁剪从扩展面片中创建用于面片匹配目的的规则代表性面片（N×N像素块）。在帧恢复过程中，将低分辨率图像中的给定面片位置上的低分辨率面片与库中的规则代表性面片（N×N像素块）匹配。将库中距离最小的面片选为候选者。然后应用使用扩展样本面片（例如，图8）的面片移动过程找出导致扩展样本面片的扩展部分（即，将取代低分辨率面片的部分）与用于取代的低分辨率面片之间的距离最小的移动坐标（图3）。这基本上是包括面片寻找和面片移动的两阶段过程。可以组合这些步骤，使得对于每个面片匹配步骤，也应用面片移动，以便可以同时获取最佳面片候选者和最佳面片移动坐标。但是，这样的联合过程在计算成本方面要昂贵得多。
对于矢量量化压缩应用，没有可以用于对准面片的低分辨率图像和低分辨率面片。但是，仍然可以通过如下文所述强制进行时空平滑来实现面片移动。
强制进行时空平滑
在上文中，未考虑空间和时间约束地通过简单匹配过程实现面片移动。其结果是，因为未强制实现空间一致性，所以在恢复之后仍然看到伪像。
在我们的当前***中，通过使其变量是扩展面片的移动坐标的成本函数最小化来强制时空约束。具体地说，对于第i扩展面片Pi，移动坐标是Si=（xi,yi），其中xi是用像素度量的水平移动，和yi是垂直移动。如果只考虑空间约束，则我们可以按如下构建成本函数：
其中Si是第i面片的移动坐标，λ是加权因子，和C1是度量移动面片与模板面片（其中在基于样本超分辨率的情况下模板面片是低分辨率面片）之差的成本函数。如果模板面片是Mi，和移动和裁剪面片是T(Pi|Si)，其中T(.)是按照移动坐标Si移动，裁剪和缩小扩展面片以便与Mi的尺寸匹配的变换，则将C1定义成C1(Si)＝||Mi-T(Pi|Si)||2。C2使用第i面片的边界像素来定义。假设将边界区域表示成Ω。那么，其中代表限制在边界区域Ω内的距离计算。I是最后一次迭代所得的恢复视频帧。应该懂得，也可以使用C2的其他可替代成本函数，例如，使用图像梯度而不是像素来计算面片差的成本函数。该算法是从S1，S2，...，SM的初始值开始，使方程（2）中的成本函数只随着C1成本函数最小化的迭代过程。对于如下迭代，使用C2函数。
上面的构建未考虑时间一致性。如果考虑时间一致性，则必须在面片移动之前计算运动矢量场。在我们的当前***中，我们为每个面片位置计算向前和向后运动矢量。向前运动矢量是当前帧中的面片相对于下一个帧中的相应面片的位移（参见图9）。向后运动矢量是当前帧中的面片相对于前一个帧中的相应面片的位移（参见图10）。转到图9，向前运动矢量用标号900总体表示。向前运动矢量900对应于第i帧910和第（I+1）帧920。转到图10，向后运动矢量用标号1000总体表示。向后运动矢量1000对应于第（i-1）帧1010和第i帧910。
考虑到时间一致性，则成本函数变成如下：
其中C3是如下强制实现时间一致性的成本函数：
其中F(Mi)是下一个帧中按照其向前运动矢量与面片Mi相对应的面片。如果面片Mi的左上角的坐标是（x,y），则下一个视频帧中的相应面片的左上角的坐标应该是(x+U(x，y)，y+V(x，y))（图9）。类似地，B(Mi)是前一个帧中按照其向后运动矢量与面片Mi相对应的面片。
方程（3）的成本函数实际上定义了有关面片的马尔科夫随机场（MRF），因为扩展面片的移动坐标Si只取决于模板（第i低分辨率面片）和它的邻近区域（第i面片的边界像素）。马尔科夫随机场的最小化可以通过包括但不限于，例如，梯度下降、置信度传播、蒙特卡洛（Monte Carlo）等的各种途径来实现。在我们的当前***中，使用了梯度下降途径，因为它是有效的并提供令人满意的结果。最小化例程是如下的迭代过程（图11）：
1.通过没有时空约束地移动面片初始化所有帧中的所有面片的移动坐标。这等效于在没有C2和C3项的情况下将方程（3）的成本函数最小化。
2.对于每个帧，在有C2和C3项的情况下，将方程（3）的成本函数最小化。随后，使用所选面片和移动坐标恢复高分辨率帧。
3.如果满足停止条件，则从该算法中退出。否则，返回到步骤2。
可以使用各种停止条件。一种可能选择是当最后一次迭代的总成本与当前迭代的总成本之差小于某个阈值时让该算法停止。
我们注意到，在本原理的一个实施例中，我们所提出方法的优化框架基于马尔科夫随机场（MRF）。我们还注意到，虽然上述第一现有技术途径使用MRF框架来优化面片的选择，但我们使用MRF来移动面片以便使矢量量化误差造成的伪像最小化。
转到图11，用于面片移动的示范性方法用标号1100总体表示。该方法1100包括将控制交给功能块1110的开始块1105。功能块1110输入低分辨率帧和扩展样本面片，并将控制交给功能块1115。功能块1115初始化所有帧的所有面片的移动坐标，并将控制交给功能块1120。功能块1120将成本函数最小化以找出最佳移动坐标，并将控制交给功能块1125。功能块1125使用面片和最佳移动坐标恢复高分辨率帧。并将控制交给判定块1130。判定块1130确定成本函数是否收敛。如果是，则将控制交给功能块1135。否则，使控制返回到功能块1120。功能块1135输出最佳移动坐标，并将控制交给结束块1199。
子像素面片移动
如果物体或背景运动很小，则即使使用上述时空约束，我们也仍然会看到抖动伪像。使用子像素面片移动可以使面片对准更精确。使用子像素面片移动的算法几乎与上述有关强制进行时空平滑的算法相同。差别在于移动坐标采用分数值，例如，1/2像素，1/3像素等。
使用子像素面片移动意味着对于方程（3）的MRF成本函数，将存在更准确数（即，移动坐标的空间的尺寸），因此子像素面片移动比常规面片移动更复杂。降低计算复杂性的一种方式是使用如下的分层匹配方案：我们首先使用像素面片移动方案来近似确定面片的位置；然后窄范围地进行子像素面片移动以细化面片位置。
生成更好代表性面片
至此，只在视频恢复阶段应用面片移动。但是，面片移动也可以用于在群集化过程中生成更好代表性面片。
代表性面片通常在群集化期间通过对群集中的所有面片求平均生成。如果面片内的物体边缘在求平均之前未对准，则求平均过程一般会导致面片图像的分辨率降低。因此，可以在求平均过程之前应用面片移动，以将面片对准，以便可以更好地保护物体边缘。对于每个群集，可以通过如下迭代过程实现对准：
1.对群集中的所有面片求平均以获取群集的初始代表性面片。
2.通过将群集中的每个给定面片与代表性面片匹配以使总差值最小化（例如，使用欧几里德距离等）将群集中的每个面片与代表性面片对准。
3.如果所有面片都具有零移动，则该算法停止，并输出代表性面片。否则，通过对移动面片求平均重新计算代表性面片，并返回到步骤2。
除了上述途径之外，生成更好代表性面片也可以通过像，例如，在第一示范性途径和第二示范性途径中那样的其它途径来实现。在第一示范性途径中，不是对群集中的面片求平均，我们可以从群集中选择相对于平均面片具有最小距离的一个面片。在第二示范性途径中，不是对群集中的所有面片求平均，我们可以只对群集中的一些面片进行平均，而不考虑偏离群集中心（即，平均面片）太远的较外层面片。
推广到更一般面片变换
面片移动是一般面片几何变换的特殊情况。因此，可以将面片移动的概念推广到接纳包括但不限于放大/缩小、旋转、射影变换等的更一般几何变换的更通用变换。通过用更一般变换参数取代移动坐标，并入这些变换的算法类似于上文提供的有关强制进行时空平滑的算法。这样参数的例子包括但不限于平移参数、旋转参数、视角参数（perspectiveparameter）等。但是，一般面片变换的主要问题是计算复杂性比面片移动高得多。
转到图12，生成改进代表性面片的示范性方法用标号1200总体表示。该方法1200包括将控制交给功能块1210的开始块1205。功能块1210输入群集和它的面片，并将控制交给功能块1215。功能块1215计算初始代表性面片，并将控制交给功能块1220。功能块1220将面片与代表性面片对准，并将控制交给判定块1225。判定块1225确定所有面片是否都具有零移动。如果是，则将控制交给功能块1230。否则，将控制交给功能块1235。功能块1230输出代表性面片，并将控制交给结束块1299。功能块1235重新计算代表性面片，并使控制返回到功能块1220。
实验结果
我们已经为基于样本视频超分辨率应用对各种视频测试了面片移动算法。结果表明，带有子像素移动和MRF优化的面片移动算法显著减少了运动造成的伪像。
各种实施例和变型
1.可以用基于一些其它成本函数的表述取代基于MRF的框架；
2.可以通过不同优化方法使方程（3）的MRF成本函数最小化；
3.可以用其它边界条件取代方程（3）中的第二项；
4.可以将各种（不同）表述用于方程（3）中的第三项；以及
5.可以用各种其它方法和途径取代本文所述的有关生成更好代表性面片的方法。
现在对其中一些上面已经提及的本发明的许多附带优点/特征的一些加以描述。例如，一个优点/特征是含有从输入视频序列中生成一个或多个高分辨率取代面片的面片生成器的装置。该一个或多个高分辨率取代面片用于在重构输入视频序列期间取代一个或多个低分辨率面片。该面片生成器使用与面片空间移动过程相对应的数据生成一个或多个高分辨率取代面片。该面片空间移动过程用于减少由一个或多个高分辨率取代面片中的运动引起矢量量化误差造成的抖动伪像。该数据用于至少导出一个或多个高分辨率取代面片的面片尺寸，使得生成面片尺寸大于一个或多个低分辨率面片的面片尺寸的一个或多个高分辨率取代面片，以便适合用在面片空间移动过程中。
另一个优点/特征是如上所述的含有面片生成器的装置，其中运动引起矢量量化误差由在生成一个或多个高分辨率取代面片期间应用的量化过程造成。
又一个优点/特征是如上所述的运动引起矢量量化误差由在生成一个或多个高分辨率取代面片期间应用的量化过程造成的含有面片生成器的装置，其中该量化过程对应于应用于从输入视频序列中提取的多个面片的群集化过程，该群集化过程用于根据一条或多条准则将多个面片的具有相似特征的几个分组在一起，该一个或多个高分辨率取代面片是从多个面片的几个中导出的。
再一个优点/特征是如上所述的该量化过程对应于应用于从输入视频序列中提取的多个面片的群集化过程，该群集化过程用于根据一条或多条准则将多个面片具有相似特征的几个分组在一起，该一个或多个高分辨率取代面片是从多个面片的几个中导出的含有面片生成器的装置，其中该群集化过程包含对多个面片在同一群集中的几个求平均，以及在选择了多个面片包括在同一群集中的几个之后并且在对多个面片在同一群集中的几个求平均之前，将面片空间移动过程应用于多个面片的几个，以便对准多个面片的几个内的物体边缘为求平均作好准备。
此外，另一个优点/特征是如上所述的该群集化过程包含对多个面片在同一群集中的几个求平均，以及在选择了多个面片包括在同一群集中的几个之后以及在对多个面片在同一群集中的几个求平均之前，将面片空间移动过程应用于多个面片的几个，以便对准多个面片的几个内的物体边缘为求平均作好准备的含有面片生成器的装置，其中根据从群集中心的相应面片距离只对多个面片在同一群集中的几个的一些求平均。
并且，另一个优点/特征是如上所述的含有面片生成器的装置，其中运动引起矢量量化误差由在重构输入视频序列期间执行的面片取代过程造成。
此外，另一个优点/特征是如上所述的含有面片生成器的装置，其中该装置进一步包括缩小器，用于从输入视频序列中生成一个或多个缩小画面；以及与面片生成器和缩小器通信的一个或多个视频编码器，用于将高分辨率取代面片和一个或多个缩小画面编码成合成位流。
另外，另一个优点/特征是如上所述的含有面片生成器的装置，其中在视频编码器中执行方法。
相关领域的普通技术人员可以根据本文的教导轻易地弄清本原理的这些和其他特征和优点。应该明白，本原理的教导可以以硬件、软件、固件、专用处理器、或它们的组合的各种形式实现。
最优选的是，将本原理的教导实现成硬件和软件的组合。此外，软件可以实现成有形地具体化在程序存储单元上的应用程序。应用程序可以上载到包含任何适用结构的机器上并由它执行。优选的是，在含有像一个或多个中央处理单元（“CPU”）、随机访问存储器（“RAM”）、和输入/输出（“I/O”）接口那样的硬件的计算机平台上实现该机器。该计算机平台还可以包括操作***和微指令代码。本文所述的各种过程和功能可以是可由CPU执行的部分微指令代码或部分应用程序，或它们的任何组合。另外，像附加数据存储单元和打印单元那样的各种其他***单元可以与计算机平台连接。
还应该明白，因为描绘在附图中的一些构成***组件和方法优选以软件实现，所以***组件或过程功能块之间的实际连接可能取决于编程本原理的方式而不同。给定本文的教导，相关领域的普通技术人员能够设想出本原理的这些和类似实现或配置。
尽管本文参考附图描述了一些例示性实施例，但应该明白，本原理不局限于那些精确实施例，相关领域的普通技术人员可以不偏离本原理的范围或精神地实施各种改变和修改。所有这样的改变和修改都欲包括在如所附权利要求书所述的本原理的范围之内。

Claims (34)

1.一种通过面片移动减小矢量量化误差的装置，其包含：
面片生成器，用于从输入视频序列中生成一个或多个高分辨率取代面片，该一个或多个高分辨率取代面片用于在重构输入视频序列期间取代一个或多个低分辨率面片，
其中所述面片生成器通过跟随有对来自输入视频序列的相应扩展面片求平均的对于从输入视频序列中提取的面片的群集化过程生成一个或多个高分辨率取代面片，该扩展面片是具有附加边界扩展的来自输入视频序列的那些提取的面片，并且比从输入视频序列提取的面片具有更大的尺寸，并且该高分辨率取代面片比该一个或多个低分辨率面片的尺寸大，以便适合用在面片空间移动过程中，并且该面片生成器使用面片空间移动过程，当在扩展面片的相应部分和低分辨率面片之间移动时，该面片空间移动过程使用具有最小欧几里德距离的扩展面片的部分。
2.如权利要求1所述的装置，其中运动引起矢量量化误差由在生成一个或多个高分辨率取代面片期间应用的量化过程造成。
3.如权利要求2所述的装置，其中该量化过程对应于应用于从输入视频序列中提取的多个面片的群集化过程，该群集化过程用于根据一条或多条准则将多个面片中具有相似特征的几个分组在一起，该一个或多个高分辨率取代面片是从多个面片的几个中导出的。
4.如权利要求1所述的装置，其中运动引起矢量量化误差由在重构输入视频序列期间执行的面片取代过程造成。
5.如权利要求1所述的装置，其中该装置进一步包含：
缩小器，用于从输入视频序列中生成一个或多个缩小画面；以及
与面片生成器和缩小器信号通信的一个或多个视频编码器，用于将高分辨率取代面片和一个或多个缩小画面编码成合成位流。
6.如权利要求1所述的装置，其中在视频编码器中执行方法。
7.一种通过面片移动减小矢量量化误差的装置，包含：
面片生成器，用于从输入视频序列中生成一个或多个高分辨率取代面片，该一个或多个高分辨率取代面片用于在重构输入视频序列期间取代一个或多个低分辨率面片，
其中所述面片生成器使用与面片空间移动过程相对应的数据生成一个或多个高分辨率取代面片，该面片空间移动过程用于减少由一个或多个高分辨率取代面片中的运动引起矢量量化误差造成的抖动伪像，该数据用于至少导出一个或多个高分辨率取代面片的面片尺寸，使得生成面片尺寸大于一个或多个低分辨率面片的面片尺寸的一个或多个高分辨率取代面片，以便适合用在面片空间移动过程中，
其中运动引起矢量量化误差由在生成一个或多个高分辨率取代面片期间应用的量化过程造成，
其中该量化过程对应于应用于从输入视频序列中提取的多个面片的群集化过程，该群集化过程用于根据一条或多条准则将多个面片中具有相似特征的几个分组在一起，该一个或多个高分辨率取代面片是从多个面片的几个中导出的，并且
其中该群集化过程包含对多个面片在同一群集中的几个求平均，以及在选择了多个面片包括在同一群集中的几个之后并且在对多个面片在同一群集中的几个求平均之前将面片空间移动过程应用于多个面片的几个，以便对准多个面片的几个内的物体边缘为求平均作好准备。
8.如权利要求7所述的装置，其中根据从群集中心的相应面片距离只对多个面片在同一群集中的几个的一些求平均。
9.一种使用处理器执行的方法，其包含：
从输入视频序列中生成一个或多个高分辨率取代面片，该一个或多个高分辨率取代面片用于在重构输入视频序列期间取代一个或多个低分辨率面片，
其中所述生成步骤通过跟随有对来自输入视频序列的相应扩展面片求平均的对于从输入视频序列中提取的面片的群集化过程生成一个或多个高分辨率取代面片，该扩展面片是具有附加边界扩展的来自输入视频序列的那些提取的面片，并且比从输入视频序列提取的面片具有更大的尺寸，并且该高分辨率取代面片比该一个或多个低分辨率面片的尺寸大，以便适合用在面片空间移动过程中，并且其中，该方法使用面片空间移动过程，当在扩展面片的相应部分和低分辨率面片之间移动时，该面片空间移动过程使用具有最小欧几里德距离的扩展面片的部分。
10.如权利要求9所述的方法，其中运动引起矢量量化误差由在生成一个或多个高分辨率取代面片期间应用的量化过程造成。
11.如权利要求10所述的方法，其中该量化过程对应于应用于从输入视频序列中提取的多个面片的群集化过程，该群集化过程用于根据一条或多条准则将多个面片的具有相似特征的几个分组在一起，该一个或多个高分辨率取代面片是从多个面片的几个中导出的。
12.如权利要求9所述的方法，其中运动引起矢量量化误差由在重构输入视频序列期间执行的面片取代过程造成。
13.如权利要求9所述的方法，进一步包含将高分辨率取代面片和一个或多个缩小画面编码成合成位流。
14.如权利要求9所述的方法，其中在视频编码器中执行该方法。
15.一种使用处理器执行的方法，包含：
从输入视频序列中生成一个或多个高分辨率取代面片，该一个或多个高分辨率取代面片用于在重构输入视频序列期间取代一个或多个低分辨率面片，
其中所述生成步骤使用与面片空间移动过程相对应的数据生成一个或多个高分辨率取代面片，该面片空间移动过程用于减少由一个或多个高分辨率取代面片中的运动引起矢量量化误差造成的抖动伪像，该数据用于至少导出一个或多个高分辨率取代面片的面片尺寸，使得生成面片尺寸大于一个或多个低分辨率面片的面片尺寸的一个或多个高分辨率取代面片，以便适合用在面片空间移动过程中，
其中运动引起矢量量化误差由在生成一个或多个高分辨率取代面片期间应用的量化过程造成，
其中该量化过程对应于应用于从输入视频序列中提取的多个面片的群集化过程，该群集化过程用于根据一条或多条准则将多个面片中具有相似特征的几个分组在一起，该一个或多个高分辨率取代面片是从多个面片的几个中导出的，并且
其中该群集化过程包含对多个面片在同一群集中的几个求平均，以及在选择了多个面片包括在同一群集中的几个之后并且在对多个面片在同一群集中的几个求平均之前将面片空间移动过程应用于多个面片的几个，以便对准多个面片的几个内的物体边缘为求平均作好准备。
16.如权利要求15所述的方法，其中根据从群集中心的相应面片距离只对多个面片在同一群集中的几个的一些求平均。
17.一种通过面片移动减小矢量量化误差的装置，该装置包含：
面片移动器(560)，用于接收具有运动引起矢量量化误差的一个或多个高分辨率取代面片，以及至少空间移动一个或多个高分辨率取代面片，以便减少由运动引起矢量量化误差造成的抖动伪像，一个或多个高分辨率取代面片对应于输入视频序列并从输入视频序列中通过跟随有对来自输入视频序列的相应扩展面片求平均的对于从输入视频序列中提取的面片的群集化过程导出，该扩展面片是具有附加边界扩展的来自输入视频序列的那些提取的面片，并且比从输入视频序列提取的面片具有更大的尺寸，并且该高分辨率取代面片比该一个或多个低分辨率面片的尺寸大，并且其中，该面片移动器使用面片空间移动过程，当在扩展面片的相应部分和低分辨率面片之间移动时，该面片空间移动过程使用具有最小欧几里德距离的扩展面片的部分；以及
与所述面片移动器信号通信的画面重构设备，用于使用一个或多个空间移动高分辨率取代面片和与输入视频序列相对应并且从输入视频序列中导出的一个或多个缩小画面重构输入视频序列。
18.如权利要求17所述的装置，其中在基于矢量量化压缩过程、基于样本视频超分辨率过程、视频缩影过程、和用于视频压缩的视频修剪过程的至少一个中重构输入视频序列。
19.如权利要求17所述的装置，其中使用空间和时间约束分别空间和时间移动高分辨率取代面片。
20.如权利要求17所述的装置，其中将马尔科夫随机场用于在重构视频序列中强制进行时空平滑。
21.如权利要求20所述的装置，其中将马尔科夫随机场实现为成本函数，其中将面片移动坐标用作成本函数的变量，以便为一个或多个高分辨率取代面片的相应一个确定相应移动。
22.如权利要求17所述的装置，其中空间移动包含进一步减少抖动伪像的子像素面片移动。
23.如权利要求22所述的装置，其中将子像素面片移动用在分层面片匹配过程中，在该分层面片匹配过程中将像素面片移动过程用于估计要被一个或多个高分辨率取代面片之一取代的低分辨率面片的位置，然后执行子像素面片移动过程以细化该估计，以及其中相比像素面片移动过程在子像素面片移动过程中使用窄的范围。
24.如权利要求17所述的装置，其中该装置进一步包含与面片移动器信号通信的视频解码器，用于从位流中解码高分辨率取代面片和一个或多个缩小画面。
25.如权利要求17所述的装置，其中在视频解码器中包括该装置。
26.一种使用处理器执行的方法，其包含：
接收具有运动引起矢量量化误差的一个或多个高分辨率取代面片；
至少空间移动一个或多个高分辨率取代面片，以便减少由运动引起矢量量化误差造成的抖动伪像，一个或多个高分辨率取代面片对应于输入视频序列并且是从输入视频序列中通过跟随有对来自输入视频序列的相应扩展面片求平均的对于从输入视频序列中提取的面片的群集化过程导出，该扩展面片是具有附加边界扩展的来自输入视频序列的那些提取的面片，并且比从输入视频序列提取的面片具有更大的尺寸，并且该高分辨率取代面片比该一个或多个低分辨率面片的尺寸大，并且其中，该方法使用面片空间移动过程，当在扩展面片的相应部分和低分辨率面片之间移动时，该面片空间移动过程使用具有最小欧几里德距离的扩展面片的部分导出；以及
使用一个或多个空间移动高分辨率取代面片和与输入视频序列相对应并且从输入视频序列中导出的一个或多个缩小画面重构输入视频序列。
27.如权利要求26所述的方法，其中在基于矢量量化压缩过程、基于样本视频超分辨率过程、视频缩影过程、和用于视频压缩的视频修剪过程的至少一个中重构输入视频序列。
28.如权利要求26所述的方法，其中使用空间和时间约束分别空间和时间移动高分辨率取代面片。
29.如权利要求26所述的方法，其中将马尔科夫随机场用于在重构视频序列中强制进行时空平滑。
30.如权利要求29所述的方法，其中将马尔科夫随机场实现为成本函数，其中将面片移动坐标用作成本函数的变量，以便为一个或多个高分辨率取代面片的相应一个确定相应移动。
31.如权利要求26所述的方法，其中空间移动包含进一步减少抖动伪像的子像素面片移动。
32.如权利要求31所述的方法，其中将子像素面片移动用在分层面片匹配过程中，在该分层面片匹配过程中将像素面片移动过程用于估计要被一个或多个高分辨率取代面片之一取代的低分辨率面片的位置，然后执行子像素面片移动过程以细化该估计，其中相比像素面片移动过程在子像素面片移动过程中使用窄的范围。
33.如权利要求26所述的方法，进一步包含从位流中解码高分辨率取代面片和一个或多个缩小画面。
34.如权利要求26所述的方法，其中在视频解码器中执行该方法。
CN201180015723.3A 2010-02-02 2011-02-01 通过面片移动减小矢量量化误差的方法和装置 Expired - Fee Related CN102823243B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US30055110P 2010-02-02 2010-02-02
US61/300,551 2010-02-02
PCT/US2011/000186 WO2011097013A1 (en) 2010-02-02 2011-02-01 Methods and apparatus for reducing vector quantization error through patch shifting

Publications (2)

Publication Number Publication Date
CN102823243A CN102823243A (zh) 2012-12-12
CN102823243B true CN102823243B (zh) 2017-05-31

Family

ID=43709175

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201180015723.3A Expired - Fee Related CN102823243B (zh) 2010-02-02 2011-02-01 通过面片移动减小矢量量化误差的方法和装置

Country Status (6)

Country Link
US (1) US9420291B2 (zh)
EP (1) EP2532164A1 (zh)
JP (1) JP5844745B2 (zh)
KR (1) KR101883265B1 (zh)
CN (1) CN102823243B (zh)
WO (1) WO2011097013A1 (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015102329A1 (en) * 2014-01-01 2015-07-09 Lg Electronics Inc. Method and apparatus for processing video signal for reducing visibility of blocking artifacts
EP2905937B1 (en) * 2014-02-11 2022-01-12 Alcatel Lucent Efficient and scalable caching and representation of media with cross-similarities
US20150271512A1 (en) * 2014-03-18 2015-09-24 Texas Instruments Incorporated Dynamic frame padding in a video hardware engine
EP3079364A1 (en) * 2015-04-09 2016-10-12 Thomson Licensing Methods and devices for generating, encoding or decoding images with a first dynamic range, and corresponding computer program products and computer-readable medium
KR20170073088A (ko) 2015-12-18 2017-06-28 삼성전자주식회사 패치에 기반하여 연기 난류를 모델링하는 방법 및 장치
GB2552323B (en) * 2016-07-18 2020-04-29 Imagination Tech Ltd Mip map compression
CN113347374A (zh) * 2016-08-25 2021-09-03 上海交通大学 基于多分辨率的多视角媒体呈现方法
KR102621118B1 (ko) * 2018-11-01 2024-01-04 삼성전자주식회사 영상 적응적 양자화 테이블을 이용한 영상의 부호화 장치 및 방법

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6766067B2 (en) 2001-04-20 2004-07-20 Mitsubishi Electric Research Laboratories, Inc. One-pass super-resolution images
KR100504594B1 (ko) * 2003-06-27 2005-08-30 주식회사 성진씨앤씨 데이터 압축 처리된 저해상도 영상으로부터 초해상도 영상복원 및 재구성 방법
US7715658B2 (en) * 2005-08-03 2010-05-11 Samsung Electronics Co., Ltd. Apparatus and method for super-resolution enhancement processing
KR101174130B1 (ko) * 2005-08-03 2012-08-14 삼성전자주식회사 초해상도 향상 처리장치 및 방법
US20080095235A1 (en) * 2006-10-20 2008-04-24 Motorola, Inc. Method and apparatus for intra-frame spatial scalable video coding
JP2010514246A (ja) * 2006-12-18 2010-04-30 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 画像圧縮及び伸張
JP4987688B2 (ja) * 2007-12-25 2012-07-25 株式会社東芝 画像高解像度化方法および装置
JP4956464B2 (ja) * 2008-02-28 2012-06-20 株式会社東芝 画像高解像度化装置、学習装置および方法
CN102037489B (zh) * 2008-05-21 2013-08-21 Tp视觉控股有限公司 图像分辨率增强

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
Example-based image super-resolution with class-specific predictiors;Xiaoguang Li,Kin Man Lam,Guoping Qiu,Lansun Shen,Suyu Wanga;《Journal of Visual Communication and Image Representation》;20090407;参见文章3.1、3.2部分以及公式（4） *
Example-based super-resolution;FREEMAN W T ET AL;《IEEE COMPUTER GRAPHICS AND APPLICATIONS》;20020301;全文 *
Super-resolution Enhancement of video;C.BISHOP,A.BLAKE,B.MARTHI;《PROCEEDINGS OF THE 9TH CONFERENCE ON ARTIFICIAL INTELLIGENCE AND STATISTICS》;20030103;参见文章1、2.1、4、2.2部分 *
Super-resolution of video using key frames and motion estimation;FERNANDA BRANDI ET AL;《15TH IEEE INTERNATIONAL CONFERENCE》;20081012;参见第322页，附图2 *

Also Published As

Publication number Publication date
JP2013519296A (ja) 2013-05-23
KR101883265B1 (ko) 2018-07-31
JP5844745B2 (ja) 2016-01-20
US20130028330A1 (en) 2013-01-31
US9420291B2 (en) 2016-08-16
EP2532164A1 (en) 2012-12-12
WO2011097013A1 (en) 2011-08-11
KR20120123132A (ko) 2012-11-07
CN102823243A (zh) 2012-12-12

Similar Documents

Publication Publication Date Title
CN102823243B (zh) 通过面片移动减小矢量量化误差的方法和装置
CN112801901B (zh) 基于分块多尺度卷积神经网络的图像去模糊算法
CN110533752B (zh) 一种人体动作编辑模型的生成方法、存储介质及电子设备
CN103141092B (zh) 针对视频压缩使用运动补偿的基于示例的超分辨率来编码视频信号的方法和设备
Yang et al. NTIRE 2022 challenge on super-resolution and quality enhancement of compressed video: Dataset, methods and results
CN112541864A (zh) 一种基于多尺度生成式对抗网络模型的图像修复方法
CN114820341A (zh) 一种基于增强Transformer的图像盲去噪方法及***
Zhang et al. Attention-guided image compression by deep reconstruction of compressive sensed saliency skeleton
CN115486068A (zh) 用于视频编码中基于深度神经网络的帧间预测的方法和设备
Park et al. Robust video frame interpolation with exceptional motion map
CN103473744A (zh) 基于变权重式压缩感知采样的空域可缩小图像重构方法
CN109949217A (zh) 基于残差学习和隐式运动补偿的视频超分辨率重建方法
CN103473797A (zh) 基于压缩感知采样数据修正的空域可缩小图像重构方法
Li et al. Representation learning for compressed video action recognition via attentive cross-modal interaction with motion enhancement
CN114651270A (zh) 通过时间可变形卷积进行深度环路滤波
CN103647969B (zh) 一种基于对象的快速分形视频压缩与解压缩方法
CN101389032A (zh) 一种基于图像插值的帧内预测编码方法
CN116385259A (zh) 基于gan网络的图像风格迁移方法
US20220368829A1 (en) Image super-resolution with reference images from one or more cameras
CN114943746A (zh) 一种利用深度信息辅助和轮廓增强损失的运动迁移方法
CN115147317A (zh) 一种基于卷积神经网络的点云颜色质量增强方法及***
CN114792290A (zh) 图像/视频处理
CN113902000A (zh) 模型训练、合成帧生成、视频识别方法和装置以及介质
CN111539874A (zh) 一种加速视频超分辨率重建的方法及装置
CN117474956B (zh) 基于运动估计注意力的光场重建模型训练方法及相关设备

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20190212

Address after: Paris France

Patentee after: International Digital Madison Patent Holding Co.

Address before: I Si Eli Murli Nor, France

Patentee before: THOMSON LICENSING

Effective date of registration: 20190212

Address after: I Si Eli Murli Nor, France

Patentee after: THOMSON LICENSING

Address before: I Si Eli Murli Nor, France

Patentee before: THOMSON LICENSING

TR01 Transfer of patent right
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20170531

Termination date: 20210201

CF01 Termination of patent right due to non-payment of annual fee