CN102301396A - 对于数字图像流的帧进行编码和解码的方法和*** - Google Patents

对于数字图像流的帧进行编码和解码的方法和*** Download PDF

Info

Publication number
CN102301396A
CN102301396A CN2009801556498A CN200980155649A CN102301396A CN 102301396 A CN102301396 A CN 102301396A CN 2009801556498 A CN2009801556498 A CN 2009801556498A CN 200980155649 A CN200980155649 A CN 200980155649A CN 102301396 A CN102301396 A CN 102301396A
Authority
CN
China
Prior art keywords
frame
pixel
metadata
component
value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN2009801556498A
Other languages
English (en)
Inventor
N·鲁蒂埃
E·福尔丁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Publication of CN102301396A publication Critical patent/CN102301396A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

一种对数字图像帧进行编码和解码的方法和***。在对于帧应用编码操作过程中生成元数据，其中这个编码操作包括提取帧的至少一个像素。元数据表示如何从帧的其他非提取非编码像素重建至少一个提取像素。然后，对于编码帧以及对于元数据应用标准压缩操作，以准备传输或记录。在接收端，编码帧及其相关元数据经过标准解压缩，之后在对于编码帧应用解码操作的过程中使用元数据，以用于重建原始帧。

Description

对于数字图像流的帧进行编码和解码的方法和***
技术领域
本发明涉及数字图像传输的领域，更具体地，涉及对于数字图像流的帧进行编码和解码的方法和***。
背景技术
当发送数字图像流时，通常对于图像流应用某种形式的压缩(还称为编码)，以减少数据存储量和带宽需求。例如，已知在视频压缩中使用梅花形或棋盘格局像素抽取模式。显然地，这样的压缩导致在接收端必要的解压缩(或解码)操作，以提取原始图像流。
在共同转让的美国专利申请2003/0223499中，通过去除棋盘格局模式中的像素并随后水平崩塌像素的棋盘格局模式来压缩立体视频的立体图像对。两个水平崩塌的图像并排位于一个标准图像帧中，该图像帧随后经过传统图像压缩(例如MPEG2)，并且在接收端经过传统图像解压缩。然后，进一步解码解压缩的标准图像帧，从而将其扩展到棋盘格局模式中，并在空间上内插失去的像素。
尽管在视频序列的存储和广播(传输)的当前标准下，数字图像流在传输阶段经历各个层次的压缩/编码和解压缩/解码是必须的，但不可避免地出现信息的丢失和/或失真的问题。对于这些压缩/编码和解压缩/解码操作的各个不同技术在近几年有所发展，并且不断改进，特定的目标是减少数据丢失和/或图像伪影的固有程度。然而，仍然存在很大的改进空间，特别是当涉及增加在接收端重建的图像流的质量水平时。
因此，行业中存在这样的需求，即，提供编码和解码数字图像流的改进方法和***。
发明内容
根据广泛方面，本发明提供一种对数字图像帧进行编码的方法。该方法包括：对于帧应用编码操作，用于生成编码帧，所述编码操作包括提取帧的至少一个像素。该方法还包括：在对于帧应用所述编码操作的过程中生成元数据，所述元数据表示如何从帧的其他非提取非编码像素重建至少一个提取像素。所述元数据与所述编码帧相关，用于在所述编码帧的解码时内插至少一个遗失像素。
根据另一广泛方面，本发明提供一种对编码的数字图像帧进行解码以用于重建帧的原始版本的方法。所述方法包括：在对于编码帧应用解码操作的过程中使用元数据，其中所述元数据表示如何从帧的其他解码像素内插帧的至少一个遗失像素。
根据另一广泛方面，本发明提供一种对数字图像流的帧进行处理的***。所述***包括：处理器，用于接收图像流的帧，所述处理器可操作为在所述帧经过编码操作时生成元数据，所述编码操作包括提取所述帧的至少一个像素，所述元数据表示如何从所述帧的其他非提取非编码像素重建所述至少一个提取像素。所述***还包括：压缩器，用于从所述处理器接收所述帧和所述元数据，所述压缩器可操作为对于所述帧和所述元数据应用压缩操作，以生成压缩帧和相关压缩元数据。所述***包括：输出端，用于发布所述压缩帧和所述压缩元数据。
根据另一广泛方面，本发明提供一种对压缩图像帧进行处理的***。所述***包括：解压缩器，用于接收压缩帧和相关压缩元数据，并对其应用解压缩操作，以生成解压缩帧和相关解压缩元数据。所述***还包括：处理器，用于从所述解压缩器接收所述解压缩帧及其相关解压缩元数据，所述处理器可操作为在对于所述解压缩帧应用解码操作的过程中使用所述解压缩元数据，以用于重建所述解压缩帧的原始版本，其中所述解压缩元数据表示如何从所述解压缩帧的其他解码像素内插所述解压缩帧的至少一个遗失像素。所述***还包括：输出端，用于发布所述解压缩帧的重建的原始版本。
根据另一广泛方面，本发明提供一种对数字图像流的帧进行处理的处理单元，所述处理单元可操作为在对于图像流的帧应用编码操作的过程中生成元数据，所述编码操作包括从所述帧提取至少一个像素，其中所述元数据表示如何从所述帧的其他非提取非编码像素重建至少一个提取像素。
根据另一广泛方面，本发明提供一种对解压缩图像流的帧进行处理的处理单元，所述处理单元可操作为接收与解压缩帧相关的元数据，以及在对于所述解压缩帧应用解码操作的过程中使用所述元数据，以用于重建所述解压缩帧的原始版本，其中所述元数据表示如何从所述解压缩帧的其他解码像素内插所述解压缩帧的至少一个遗失像素。
附图说明
参照附图，通过本发明的实施例的以下具体实施方式将更好地理解本发明，其中：
图1是根据现有技术的生成和发送立体图像流的***的示意性表示；
图2示出根据现有技术的处理和解码压缩图像流的简化***；
图3、4和5示出根据本发明实施方式的非限制示例的准备数字图像帧用于传输的技术的变型；
图6是根据本发明实施方式的非限制性示例，比较用元数据和没用元数据的用于传输数字图像帧的不同PSNR(峰值信噪比)结果的试验数据表；
图7是本发明的传输技术与现有视频设备兼容的示意性视图；
图8是根据本发明实施方式的非限制性示例的帧编码处理的流程图；以及
图9是根据本发明实施方式的非限制性示例的压缩帧解码处理的流程图。
具体实施方式
应理解，在本说明书中可互换地使用表述“解码”和“解压缩”，以及表述“编码”和“压缩”。此外，尽管在这里参照三维立体图像(例如电影)描述本发明的实施方式示例，应理解，本发明的范围也涵盖其他类型的视频图像。
图1示出根据现有技术的生成和发送立体图像流的示例。将相机12和14代表的第一和第二图像序列源存储在共同或各个数字数据存储介质16和18中。或者，可从数字数据存储介质中存储的数字化电影或任意其他数字图片文件源提供或实时输入图像序列，作为适用于基于微处理器的***读取的数字视频信号。相机12和14显示在这样的位置，其中他们各自捕获的图像序列代表情景10的具有视差的不同视图，该视图根据立体的概念模拟观察者的左眼和右眼的认识。因此，第一和第二捕获的图像序列的适当再现将使得观察者意识到情景10的三维视图。
然后，通过处理器(例如20和22)将存储的数字图像序列转换成RGB格式，并馈送至移动图像混合器24的输入。由于两个原始图像序列包含太多信息，而无法直接存储在传统DVD中或无法使用MPEG2或等效多路复用协议通过传统信道直接广播，混合器24执行抽取处理，以减少每个图片的信息。更具体地，混合器24将两个平面RGB输入信号压缩或编码成一个立体RGB信号，然后在通过典型压缩器电路28压缩成标准MPEG2比特流格式之前通过处理器26经过另一格式转换。于是，得到的MPEG2编码的立体节目可以通过例如发送器30和天线32在一个标准信道上广播，或记录在传统介质(例如DVD)上。备选传输介质可以是例如电缆分布网络或因特网。
现在转到图2，其示出根据现有技术的接收和处理压缩图像流的简化计算机架构100。如图所示，通过视频处理器106从源104接收压缩图像流102。源104可以是提供压缩(或编码)的数字化视频比特流的各种设备中的任一个，例如DVD驱动器或无线发送器，等等。视频处理器106经由总线***108连接至各个后端组件。在图2所示的示例中，数字视频接口(DVI)110和显示信号驱动器112能够格式化分别在数字显示器114和PC监视器116上显示的像素流。
视频处理器106能够执行各种不同任务，包括例如一些或全部视频回放任务，例如缩放、颜色转换、合成、解压缩和去交错等。典型地，视频处理器106负责处理接收的压缩图像流102，以及将压缩图像流102提交至颜色转换和合成操作，以适合特定分辨率。
尽管视频处理器106还可以负责解压缩和去交错接收的压缩图像流102，这个内插功能或者可通过单独的、后端处理单元来执行。在具体的、非限制性示例中，压缩图像流102是压缩立体图像流102，并且上述内插功能通过对接在视频处理器106和DVI 110与显示信号驱动器112两者之间的立体图像处理器118执行。这个立体图像处理器118可操作为解压缩和内插压缩立体图像流102，以重建原始左右图像序列。显然地，立体图像处理器118成功重建原始左右图像序列的能力受到压缩图像流102中任意数据丢失或失真的很大阻碍。
本发明涉及编码和解码数字图像流的帧的方法和***，得到在传输之后重建的图像流的改进质量。宽泛地讲，当为了准备传输或记录而编码图像流的帧时，生成元数据，其中这个元数据代表帧的至少一个像素的至少一个分量的值。然后，帧及其相关元数据都经过各个标准压缩操作(例如MPEG2或MPEG等)，之后压缩帧和压缩元数据准备好向接收端传输，或在传统介质上记录。在接收端，压缩帧和相关压缩元数据经过各个标准解压缩操作，之后至少部分地基于其相关元数据进一步解码/内插帧以重建原始帧。
重要地是注意，在图像帧的编码时，可对于帧的每个像素或对于帧的像素的子集生成元数据。任意这样的子集是可能的，小到图像帧的一个像素。在本发明的实施方式的具体的、非限制性示例中，对于在编码帧的阶段中提取(或去除)的帧的一些或所有像素生成元数据。在生成元数据的情况下，仅对于帧的提取像素中的所选若干像素，可基于特定提取像素的标准内插与特定像素的原始值偏差多少来作出生成特定提取像素的元数据的决定。因此，对于预定最大可接受偏差，如果特定提取像素的标准内插导致与原始像素值的偏差大于预定最大可接受偏差，则对于特定提取像素生成元数据。相反，如果特定提取像素的标准内插导致偏差小于预定最大可接受偏差，即，如果特定提取像素的标准内插的质量足够高，不需要对于特定提取像素生成元数据。
有利地，通过与编码图像帧一起生成和发送/记录表征原始帧的至少某些像素的元数据，其中这个元数据可非常容易地通过标准压缩方案(例如MPEG4中使用的技术)来压缩，有可能增加在接收端重建帧的质量水平，而无需增加传输带宽或记录介质的明显负担。更具体地，当帧的编码导致帧的某些像素从帧去除，并因此没有被发送或记录，则针对这些遗失(miss)的像素的一些或全部而生成、且便随该编码帧的元数据将会缓解和改进在接收端填充遗失像素并重建原始帧的处理过程。
显然地，在图像流中，尽管流的某些帧可从具有相关元数据获益，但是其他的可能不需要元数据。更具体地，如果在特定帧的编码版本的解码时应用的标准内插导致与原始特定帧的偏差被认为是可接受(例如小于预定最大可接受偏差)，那么不需要为该特定帧而生成元数据。因此，在与相关元数据一起发送或记录的压缩图像流中，某些帧可具有相关元数据，而其他可能没有，这不脱离本发明的范围。
图3、4和5示出根据本发明的实施方式的非限制示例的编码数字图像帧的技术的变型。在所示示例中，数字图像帧是立体图像帧，其经过压缩编码，从而该帧包括并排合并的图像，以下将进一步详述。在这个编码的过程中，针对从帧提取或去除的至少一些像素生成元数据。
然而，重要地注意，本发明的技术适用于所有类型的数字图像流，不限于图像帧的任一个特定类型的应用。即，所述技术也可应用于除了立体图像帧之外的数字图像帧。此外，可应用所述技术，而不考虑对于帧应用的编码操作的特定类型，无论他是压缩编码还是某些其他类型的编码。最后，可应用所述技术，即使在不经过任何类型的进一步编码或压缩的情况下发送/记录数字图像帧(例如，作为除了JPEG、MPEG2或其他的未压缩数据而发送/记录)，这不脱离本发明的范围。
在图3中，其示出通过对帧的所选提取像素的每个分量生成1比特的元数据而进行的数字图像帧的编码。因此，在帧经过压缩编码时，提取各个像素，并且对于这些提取像素中的至少一个生成元数据。这个元数据代表至少一个提取像素的每个分量的近似值，并且用于与所述帧一同压缩和传输。元数据可通过询问预定元数据映射表来生成，其中这个表将不同的可能元数据值映射至不同的可能像素分量值。由于在这个示例中元数据包括每个像素分量的1个比特，所以元数据值可以是“0”或“1”。
如图3所示，基于帧中的相邻像素1、2、3和4的至少一个的像素分量值生成帧的特定提取像素X的元数据。更具体地，每个可能的元数据值代表用于像素X的各个分量的不同近似值，其中像素X的各个分量的这些不同近似值采用帧中的相邻帧的分量值的不同组合的形式。在图3的非限制示例中，元数据值“0”代表(([1]+[2])/2)的分量值，而元数据“1”代表(([3]+[4])/2)的分量值，其中[1]、[2]、[3]和[4]是相邻像素1、2、3和4的各个分量值。因此，当针对提取像素X的每个分量生成元数据的1比特时，通过确定相邻像素分量值的哪个组合最接近于像素X的各个分量的实际值来设置元数据的每个比特的值。
例如，假设帧的像素为RGB格式，从而每个像素具有三个分量，并且通过3个数字的向量来定义，分别表示红、绿和蓝的强度。此外，在帧中，每个像素具有相邻像素1、2、3和4，其每个也具有各个红、绿和蓝分量。当生成提取像素X的元数据时，对于分量Xr、Xg和Xb的每一个生成元数据的一个比特。因此，像素X的元数据可以是例如“010”，在这个情况下，Xr、Xg和Xb的元数据值分别为“0”、“1”和“0”。基于相邻像素分量值的预定组合设置Xr、Xg和Xb的这些元数据值，其中针对提取像素X的特定分量选择的特定元数据值代表其值最接近于所述特定分量的实际值的组合。以图3所示的预定组合为示例，像素X的元数据“010”向分量Xr、Xg和Xb分配以下值，每一个为一对相邻像素的各个分量值的平均数：
Xr＝([1r]+[2r])/2
Xg＝([3g]+[4g])/2
Xb＝([1b]+[2b])/2
图4示出图3所示的技术的变型，从而数字图像帧的编码包括针对帧的所选提取像素的每个分量生成2比特元数据。因此，元数据值可以是“00”、“01”、“10”和“11”。与每个分量1比特元数据的情况相似，每个可能元数据值代表对于提取像素X的各个分量的不同近似值，其中这些不同近似值采用在帧中相邻像素的分量值的不同组合的形式。显然地，在每个像素的每个分量可用的元数据的比特数增加时，在设置提取像素X的每个分量的元数据值时能够选择的相邻像素分量值的可能组合数也增加。
在图4的非限制性示例中，元数据值“00”代表(([1]+[2])/2)的分量值，元数据值“01”代表(([3]+[4])/2)的分量值，元数据值“10”代表(([1]+[2]+[3]+[4])/4)的分量值，元数据值“11”代表(MAX_COMP_VALUE-(([1]+[2]+[3]+[4])/4))的分量值，其中[1]、[2]、[3]和[4]是相邻像素1、2、3和4的各个分量值，MAX_COMP_VALUE是帧中像素分量的最大可能值(例如对于8比特分量，MAX_COMP_VALUE＝255)。因此，当为提取像素X的每个分量生成元数据的2比特时，通过确定相邻像素分量值的哪个组合最接近于像素X的各个分量的实际值来设置元数据的每2个比特的值。
图5示出图3所示的技术的另一变型，从而数字图像帧的编码包括针对帧的所选提取像素的每个分量生成4比特元数据。因此，元数据值可以是“0000”、“0001”、“0010”、“0011”、“0100”、“0101”、“0110”、“0111”、“1000”、“1001”、“1010”、“1011”、“1100”、“1101”、“1110”和“1111”之一。每个可能元数据值代表对于提取像素X的各个分量的不同近似值，其中这个不同近似值选自帧中一个或多个相邻像素的分量值的十六(16)个不同组合。
在图3中所示的技术的另一可能变型中，数字图像帧的编码包括针对帧的所选提取像素的每个分量生成大于4比特的元数据，例如5或8比特等。如果每个分量可用的元数据的比特数等于帧中每个像素分量的比特数，则对于特定提取像素而生成的元数据代表特定提取像素的每个分量的实际值，而并非代表给出每个分量的近似值的相邻像素的分量值的组合。在由24比特、3分量像素构成的帧的非限制性示例中，为所选提取像素的每个分量使用8比特元数据将会考虑到由元数据代表提取像素的分量的实际值，而并非这些分量值的简单近似。
重要地注意，不管每个提取像素X的每个分量可用的元数据的比特数，相邻像素分量值的各个不同预定组合是可能的，并且可用于生成图像帧的元数据，这不脱离本发明的范围。此外，还可基于帧中非相邻像素的分量值、或帧中相邻和非相邻像素的组合的分量值生成每个提取像素X的元数据，这不脱离本发明的范围。
在图3、4和5的以上示例中，描述了在图像帧的编码时，对于图像帧的所选提取像素生成元数据。帧的提取像素的任意这样的子集是可能的，小到图像帧的一个提取像素。显然地，由于元数据的生成和传输用于在接收端提供改进质量的重建图像帧(在解压缩之后)，因而可以得出，针对越大数目的提取像素生成元数据，并且帧的每个提取像素的每个分量的元数据的比特数目越大，在接收端的重建图像帧中改进质量的增加就越大。
在特定的、非限制性示例中，仅对于这样的提取像素生成元数据，即，对于上述提取像素，发现在接收端的标准内插导致与原始像素值的偏差大于预定最大可接受偏差(即标准内插降低重建帧的质量)。因此，在标准内插导致与原始像素值的偏差小于预定最大可接受偏差的提取像素的情况下(即在接收端良好质量内插是可能的)，不需要生成元数据。
在本发明的实施方式的变型示例中，在对于图像帧应用编码操作的过程中，仅对于帧的所选提取像素的所选分量生成元数据。因此，对于特定提取像素，可针对特定像素的至少一个分量生成元数据，而不必针对特定像素的所有分量。显然地，还可能，在特定提取像素的标准内插为足够高质量的情况下，不对于特定提取像素生成元数据。在具体的、非限制性示例中，可基于提取像素的特定分量的标准内插从特定像素的原始值偏差多少来作出生成提取像素的特定分量的元数据的决定。因此，对于预定最大可接受偏差，如果提取像素的特定分量的标准内插导致与原始像素值的偏差大于预定最大可接受偏差，则针对提取像素的特定分量生成元数据。相反，如果提取像素的特定分量的标准内插导致与原始像素值的偏差小于预定最大可接受偏差，即，如果特定分量的标准内插的质量足够高，不需要对于提取像素的特定分量生成元数据。
在本发明的实施方式的另一变型示例中，在对于图像帧应用编码操作的过程中，对于编码期间从帧提取或去除的图像帧的每个和全部像素的每个和全部分量生成元数据。因此，与编码帧相关的这个元数据的提供将在接收端处对编码帧进行解码时提供遗失像素的更加简单和更加有效的内插。在实施方式的这个变型示例的特定情况下，当对于帧的每个提取像素的每个分量生成元数据，并且每个分量的元数据的比特数等于帧中每个像素分量的实际比特数时，可在接收端获得重建图像帧的最高质量。这是因为，伴随编码帧并因此在接收端可用的元数据代表在压缩编码时从帧提取或去除的每个像素的实际分量值，而无需任何近似或内插。
在本发明的实施方式的另一变型示例中，图像帧的元数据的生成可包括生成元数据存在指示符标志。每个标志将与帧本身、帧的特定像素或帧的特定像素的特定分量相关，并且将指示是否存在针对该帧、特定像素或特定分量的元数据。在1比特标志的非限制性示例中，标志可设置为“1”，以指示相关元数据的存在；设置为“0”，以指示相关元数据的不存在。在具体的、非限制性示例中，在帧的元数据的生成时，还生成元数据存在指示符标志的映射，其中针对：1)帧的每个像素；2)帧的像素的子集的每个；3)帧的每个像素的分量的子集的每个；或4)帧的像素的子集的分量的子集的每个，提供上述标志。像素的子集可包括例如，在编码期间从帧提取的一些或所有像素。在解码具有相关元数据的编码帧时，这样的元数据存在指示符标志对于以下情况特别有用：仅对于在编码期间从帧提取的像素的某些生成了元数据，或仅对于某些或所有提取像素的某些分量生成了元数据。
在本发明的实施方式的其他变型示例中，图像帧的元数据的生成可包括在这个元数据的报头中嵌入为此生成元数据的帧中每个像素的位置的指示。这个报头还可包括，对于每个识别的像素位置，为此生成元数据的特定分量的指示，以及对于每个这样的分量存储的元数据的比特数等。
一旦生成了图像帧的所有元数据，可通过标准压缩方案来压缩编码帧及其相关元数据，以准备传输或记录。应注意，最适合于帧的标准压缩的类型可能不同于最适合于相关元数据的标准压缩的类型。由此，帧及其相关元数据可经过不同类型的标准压缩，以准备传输，这不脱离本发明的范围。在具体的、非限制性示例中，可将图像帧的流压缩成标准MPEG2比特流，而相关元数据的流可压缩成标准MPEG比特流。
一旦压缩了编码帧及其相关元数据，他们可经由适当传输介质发送至接收端。或者，可将压缩帧及其相关压缩元数据记录在传统介质(例如DVD)上。因此，对于图像流的帧生成的元数据伴随图像流，无论后者是通过传输介质发送还是在传统介质(例如DVD)上记录。在传输的情况下，可在传输介质的并行信道中发送压缩元数据流。在记录的情况下，在例如DVD的盘上记录压缩图像流时，可将压缩元数据流记录在用于存储专用数据的盘上提供的补充磁轨中(例如user_data磁轨)。或者，无论用于传输还是记录，压缩元数据可嵌入在压缩图像流的每个帧中(例如报头中)。另一选择是利用在压缩之前每个帧必须典型经历的颜色空间格式转换处理，以在图像流中嵌入元数据。在具体示例中，假设在图像流的压缩和传输/记录之前，立体图像流的每个帧从RGB格式转换成YCbCr 4:2:2颜色空间，图像流可格式化为RGB 4:4:4流，其具有相关元数据，该相关元数据存储附加存储空间(即额外带宽)中，该附加存储空间由于从4:2:2格式切换到4:4:4格式(同时保持主视频数据为YCbCr 4:2:2)而变得可用。显然地，无论用于传输或记录，图像流的帧和相关元数据可通过各个不同方案中的任一个耦合或连接在一起(或简单地相互关联)，这不脱离本发明的范围。
当压缩图像流的帧与伴随的压缩元数据通过传输介质在接收端处被接收或由播放器从传统介质(例如DVD驱动器)读取时，对压缩帧和相关元数据进行处理，以重建原始帧用于显示。这个处理包括标准解压缩操作的应用，其中可对于压缩帧应用与对于相关压缩元数据不同的解压缩操作。在这个标准解压缩之后，帧可需要进一步解码，以重建图像流的原始帧。假设帧在发送端被编码，在图像流的特定帧的解码时，使用相关元数据(如果存在)来重建特定帧。在具体的、非限制性示例中，使用与特定帧(或与特定帧的具体像素)相关的元数据，通过询问将元数据值映射至具体像素分量值的至少一个元数据映射表(例如图3、4和5所示的表)来确定特定帧的至少一些遗失像素的近似或实际值。取决于每个像素的元数据的比特数，在元数据映射表中存储的具体像素分量值或者为遗失像素的实际分量值，或者为帧中其他像素的分量值的组合形式的近似分量值。
如上所述，在具体的、非限制性示例中，本发明的元数据技术可应用于立体图像流，其中流的每个帧包括合并图像，其包含左图像序列的像素和右图像序列的像素。在一个特定示例中，立体图像流的压缩编码涉及像素提取，并生成编码帧，其每个包括由两个图像序列的像素形成的像素图案。在解码时，需要确定每个遗失像素的值，以从这些左右图像序列重建原始立体图像流。由此，在接收端使用被生成并伴随编码的立体帧的元数据，以在从每个帧解码左右图像序列时填充到至少一些遗失像素中。
继续立体图像流的示例，图6是根据本发明的实施方式的非限制性示例，比较用元数据和没用元数据编码的数字图像帧的重建的不同PSNR(峰值信噪比)结果的试验数据表。本领域技术人员已知，PSNR为有损耗的压缩编码的重建质量的测量，其中在这个特定情况下，信号为原始图像帧，噪声为压缩编码引起的差错。更高PSNR反应更高质量重建。图6中所示的结果用于3个不同立体帧(TEST1、TEST2和TEST3)，其每个由24比特、3分量像素构成。这些帧经过压缩编码，其中分别不生成元数据、针对每个提取像素生成12.5％的元数据(每个分量1比特)、针对每个提取像素生成25％的元数据(每个分量2比特)、针对每个提取像素生成50％的元数据(每个分量4比特)。结果明确显示，对于每个帧，表征帧的提取像素的元数据的提供容许在帧的重建时有更高、可配置PSNR。更具体地，对于每个帧，针对每个提取像素的每个分量提供的元数据的比特数越大，在重建图像帧中的PSNR越大。
在实施期间，上述基于元数据的编码和解码技术所必要的功能可容易地嵌入现有传输***(或者更具体地，现有编码和解码***)的一个或多个处理单元中。以生成和发送图1的立体图像流的***为例，除了将两个平面RGB输入信号压缩或编码成一个立体RGB信号的操作之外，移动图像混合器24可执行元数据生成操作。以接收和处理图2的压缩图像流为例，立体图像处理器118可在对编码立体图像流102进行解码期间，处理接收的元数据，以重建原始左右图像序列。在这些示例中，使得移动图像混合器24和立体图像处理器118能够分别生成和处理元数据的处理包括，为这些处理单元的每个提供对于一个或多个元数据映射表的访问能力，例如图3、4和5中所示的表，其可存储在每个处理单元本地或远程的存储器中。显然地，本发明的基于元数据的编码和解码技术的基于各个不同软件、硬件和/或固件的方案也是可能的，并且包含在本发明的范围内。
有利地，本发明的元数据技术允许与现有视频设备的向后兼容。图7示出这个向后兼容的非限制性示例，其中立体图像流的帧与元数据一同编码压缩，并记录在DVD上。在读取这个DVD时，不能识别或处理元数据的遗留DVD播放器700简单地忽略或扔掉这个元数据，仅发送编码的帧用于解码/内插和显示。能够理解元数据的DVD播放器702将发送编码帧和相关元数据两者用于解码和显示，或将至少部分地基于相关元数据而自己解码/内插编码帧，并随后将仅发送解码帧用于显示。类似地，不能够处理元数据的处理单元(例如显示器本身)将简单地忽略元数据，并且仅处理编码图像帧。可见，遗留显示器706将扔掉元数据，在无需元数据的情况下对编码帧进行解码/内插。能够处理元数据的显示器708将至少部分地基于这个元数据对编码帧进行解码。
图8是示出根据本发明的实施方式的非限制性示例的上述基于元数据的编码处理的流程图。在步骤800，接收数字图像流的帧。在步骤802，帧经历编码操作，以准备传输或记录，其中这个编码操作涉及从帧提取或去除某些像素。在步骤804，在对帧进行编码期间生成元数据，其中这个元数据代表在编码期间提取的至少一个像素的至少一个分量的值。基于特定像素或分量的标准内插与该特定像素或分量的原始值偏差多少来作出针对特定提取像素生成元数据或针对提取像素的特定分量生成元数据的决定。在步骤806，输出编码帧及其相关元数据，以准备经历标准压缩操作(例如MPEG或MPEG2)，以准备传输或记录。
图9是示出根据本发明的实施方式的非限制性示例的上述基于元数据的解码处理的流程图。在步骤900，接收编码图像帧及其相关元数据，他们两者先前都经历了标准解压操作(例如MPEG或MPEG2)。在步骤902，对于编码帧应用解码操作，以重建原始帧。在步骤904，在对于编码帧进行解码的过程中使用相关元数据，其中这个元数据代表在编码期间从原始帧提取的至少一个像素的至少一个分量的值。因此，在原始帧的重建时，如果存在特定遗失像素(即在原始帧的编码时提取的像素)的元数据，则这个元数据用于填充到遗失像素或这个遗失像素的至少一个分量中，而并非执行标准内插操作。在步骤906，输出重建的原始帧，以准备经历标准处理操作，以准备用于显示。
尽管示出了各个实施例，但这用于描述而非限制本发明的目的。各个可能修改和不同配置对于本领域技术人员是显而易见的，并且在由所附权利要求特别限定的本发明的范围内。

Claims (50)

1.一种对数字图像帧进行编码的方法，包括：
a.对于帧应用编码操作，用于生成编码帧，所述编码操作包括提取所述帧的至少一个像素；
b.在对于帧应用所述编码操作过程中生成元数据，所述元数据表示如何从帧的其他非提取非编码像素重建所述至少一个提取像素；
c.将所述元数据与所述编码帧相关，用于在所述编码帧的解码时内插至少一个遗失像素。
2.如权利要求1所述的方法，其中所述元数据代表帧的至少一个提取像素的至少一个分量的值。
3.如权利要求2所述的方法，其中对于所述至少一个提取像素的每一个，所述元数据代表相应提取像素的至少一个分量的近似值。
4.如权利要求3所述的方法，其中所述近似值是帧中至少一个相邻非提取非编码像素的至少一个分量值的组合。
5.如权利要求2所述的方法，其中对于所述至少一个提取像素的每一个，所述元数据代表相应提取像素的至少一个分量的实际值。
6.如权利要求1至5中任一项所述的方法，其中在所述帧经历编码操作时，针对从帧提取的每个像素生成所述元数据。
7.如权利要求6所述的方法，其中针对帧的每个提取像素的至少一个分量生成所述元数据。
8.如权利要求1至7中任一项所述的方法，其中所述方法还包括：识别元数据的生成所针对的帧的每个像素。
9.如权利要求8所述的方法，其中对于帧生成元数据包括：对于帧的至少一个像素生成指示符，所述指示符揭示出对于各个像素是否存在元数据。
10.如权利要求1至9中任一项所述的方法，其中所述方法还包括：识别元数据的生成所针对的帧的每个像素的每个分量。
11.如权利要求10所述的方法，其中对于帧生成元数据包括：对于帧的至少一个像素的至少一个分量生成指示符，所述指示符揭示出对于各个分量是否存在元数据。
12.如权利要求1至5中任一项所述的方法，其中，对于在编码操作期间从帧提取的每个像素，所述方法还包括：确定是否要针对各个像素生成元数据。
13.如权利要求12所述的方法，其中，对于在编码操作期间从帧提取的每个像素，各个像素的标准内插导致与各个像素的原始值的偏差，所述确定包括将每个像素的偏差与预定最大可接受偏差相比较。
14.如权利要求13所述的方法，其中如果特定像素的偏差大于预定最大可接受偏差，则针对特定像素生成元数据。
15.如权利要求13所述的方法，其中如果特定像素的偏差小于预定最大可接受偏差，则针对特定像素不生成元数据。
16.如权利要求1至5中任一项所述的方法，其中，对于在编码操作期间从帧提取的每个像素，所述方法还包括：确定是否要针对各个像素的每个分量生成元数据。
17.如权利要求16所述的方法，其中，对于在编码操作期间从帧提取的每个像素，各个像素的每个分量的标准内插导致与各个分量的原始值的偏差，所述确定包括将每个像素的每个分量的偏差与预定最大可接受偏差相比较。
18.如权利要求17所述的方法，其中如果特定分量的偏差大于预定最大可接受偏差，则针对特定分量生成元数据。
19.如权利要求17所述的方法，其中如果特定分量的偏差小于预定最大可接受偏差，则针对特定分量不生成元数据。
20.如权利要求1至19中任一项所述的方法，其中所述元数据包括对于每个提取像素的可变比特数目的数据。
21.如权利要求20所述的方法，其中所述元数据包括对于所述至少一个提取像素的每一个的每个分量的可变比特数目的数据。
22.如权利要求20或21所述的方法，其中所述元数据包括对于所述至少一个提取像素的每一个的每个分量的1比特的数据。
23.如权利要求20或21所述的方法，其中所述元数据包括对于所述至少一个像素的每一个的每个分量的X≥2比特的数据。
24.如权利要求5所述的方法，其中帧的每个像素包括X比特的数据和Y个分量，所述元数据包括对于所述至少一个像素的每一个的每个分量的X/Y比特的数据。
25.如权利要求1所述的方法，其中所述生成元数据包括询问预定元数据映射表。
26.如权利要求25所述的方法，其中所述预定元数据映射表将元数据值映射至像素分量值。
27.如权利要求26所述的方法，其中所述预定元数据映射表的像素分量值是近似像素分量值。
28.如权利要求26或27所述的方法，其中所述预定元数据映射表的像素分量值是帧的至少一个像素的至少一个分量值的组合的形式。
29.如权利要求26所述的方法，其中所述预定元数据映射表的像素分量值是实际像素分量值。
30.如权利要求1至29中任一项所述的方法，其中所述图像帧为立体图像帧。
31.如权利要求30所述的方法，其中对于所述立体图像帧应用的编码操作为压缩编码操作，并且包括将压缩的左眼和右眼图像合并在一起。
32.如权利要求31所述的方法，其中所述立体图像帧的编码产生包括并排合并的图像的帧的编码版本。
33.如权利要求31所述的方法，其中所述立体图像帧的编码产生包括彼此相邻安排的第一和第二像素图案的帧的编码版本，所述第一像素图案由来自左眼图像的像素形成，所述第二像素图案由来自右眼图像的像素形成。
34.一种对编码数字图像帧进行解码以用于重建帧的原始版本的方法，所述方法包括：在对于编码帧应用解码操作的过程中使用元数据，其中所述元数据表示如何从帧的其他解码像素内插帧的至少一个遗失像素。
35.如权利要求34所述的方法，其中所述元数据代表在帧的编码期间从帧的原始版本提取的至少一个像素的至少一个分量的值。
36.如权利要求35所述的方法，其中所述元数据与在帧的编码期间从帧的原始版本提取的所有像素相关。
37.一种对数字图像流的帧进行处理的***，所述***包括：
a.处理器，用于接收图像流的帧，所述处理器可操作为在所述帧经历编码操作时生成元数据，所述编码操作包括提取所述帧的至少一个像素，所述元数据表示如何从所述帧的其他非提取非编码像素重建所述至少一个提取像素；
b.压缩器，用于从所述处理器接收所述帧和所述元数据，所述压缩器可操作为对于所述帧应用第一压缩操作和对于所述元数据应用第二压缩操作，以生成压缩帧和相关压缩元数据；
c.输出端，用于发布所述压缩帧和所述压缩元数据。
38.如权利要求37所述的***，其中所述元数据代表所述帧的至少一个提取像素的至少一个分量的值。
39.如权利要求37或38所述的***，其中对于所述帧的所述至少一个提取像素的每一个，所述元数据代表相应像素的至少一个分量的近似值。
40.如权利要求39所述的***，其中所述近似值是帧中至少一个相邻像素的至少一个分量值的组合。
41.如权利要求37或38所述的***，其中对于所述帧的所述至少一个像素的每一个，所述元数据代表相应像素的至少一个分量的实际值。
42.如权利要求37至41中任一项所述的方法，其中所述处理器针对在所述编码操作期间从所述帧提取的所有像素生成所述元数据。
43.如权利要求42所述的***，其中所述处理器针对每个提取像素的每个分量生成所述元数据。
44.如权利要求37所述的***，其中，对于在所述编码操作期间从所述帧提取的每个像素，所述处理器可操作为确定是否要针对各个像素生成元数据。
45.如权利要求44所述的***，其中，对于在所述编码操作期间从所述帧提取的每个像素，各个像素的标准内插导致与各个像素的原始值的偏差，所述处理器可操作为将每个像素的偏差与预定最大可接受偏差相比较。
46.如权利要求45所述的***，其中仅当特定像素的偏差大于预定最大可接受偏差时，所述处理器针对特定像素生成元数据。
47.一种对压缩图像帧进行处理的***，所述***包括：
a.解压缩器，用于接收压缩帧和相关压缩元数据，所述解压缩器可操作为对于所述压缩帧应用第一解压缩操作和对于所述压缩元数据应用第二解压缩操作，以生成解压缩帧和相关解压缩元数据；
b.处理器，用于从所述解压缩器接收所述解压缩帧及其相关解压缩元数据，所述处理器可操作为在对于所述解压缩帧应用解码操作的过程中使用所述解压缩元数据，以用于重建所述解压缩帧的原始版本，其中所述解压缩元数据表示如何从所述解压缩帧的其他解码像素内插所述解压缩帧的至少一个遗失像素；
c.输出端，用于发布所述解压缩帧的所述原始版本。
48.如权利要求47所述的***，其中所述元数据代表所述解压缩帧的所述原始版本的至少一个像素的至少一个分量的值。
49.一种对数字图像流的帧进行处理的处理单元，所述处理单元可操作为在对于图像流的帧应用编码操作的过程中生成元数据，所述编码操作包括从所述帧提取至少一个像素，其中所述元数据表示如何从所述帧的其他非提取非编码像素重建所述至少一个提取像素。
50.一种对解压缩图像流的帧进行处理的处理单元，所述处理单元可操作为接收与解压缩帧相关的元数据，并在对所述解压缩帧应用解码操作的过程中使用所述元数据，以用于重建所述解压缩帧的原始版本，其中所述元数据表示如何从所述解压缩帧的其他解码像素内插所述解压缩帧的至少一个遗失像素。
CN2009801556498A 2008-12-02 2009-07-14 对于数字图像流的帧进行编码和解码的方法和*** Pending CN102301396A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US12/326,875 US20100135379A1 (en) 2008-12-02 2008-12-02 Method and system for encoding and decoding frames of a digital image stream
US12/326,875 2008-12-02
PCT/CA2009/000950 WO2010063086A1 (en) 2008-12-02 2009-07-14 Method and system for encoding and decoding frames of a digital image stream

Publications (1)

Publication Number Publication Date
CN102301396A true CN102301396A (zh) 2011-12-28

Family

ID=42222790

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2009801556498A Pending CN102301396A (zh) 2008-12-02 2009-07-14 对于数字图像流的帧进行编码和解码的方法和***

Country Status (5)

Country Link
US (1) US20100135379A1 (zh)
EP (1) EP2356630A4 (zh)
JP (1) JP2012510737A (zh)
CN (1) CN102301396A (zh)
WO (1) WO2010063086A1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102855859A (zh) * 2012-09-06 2013-01-02 深圳市华星光电技术有限公司 用于过度驱动技术的画框资料缩减方法
CN105052157A (zh) * 2013-01-15 2015-11-11 图象公司 图像帧复用方法及***
CN105830062A (zh) * 2013-12-20 2016-08-03 高通股份有限公司 用于编码对象阵型的***、方法及设备
CN110892453A (zh) * 2017-07-10 2020-03-17 三星电子株式会社 使用图像/视频编解码器的点云和网格压缩

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8843983B2 (en) * 2009-12-10 2014-09-23 Google Inc. Video decomposition and recomposition
US9344702B2 (en) 2010-08-09 2016-05-17 Koninklijke Philips N.V. Encoder, decoder, bit-stream, method of encoding, method of decoding an image pair corresponding with two views of a multi-view signal
FR2965444B1 (fr) 2010-09-24 2012-10-05 St Microelectronics Grenoble 2 Transmission de video 3d sur une infrastructure de transport historique
JP5878295B2 (ja) * 2011-01-13 2016-03-08 ソニー株式会社 画像処理装置、画像処理方法およびプログラム
US20140204994A1 (en) * 2013-01-24 2014-07-24 Silicon Image, Inc. Auxiliary data encoding in video data
US10135896B1 (en) * 2014-02-24 2018-11-20 Amazon Technologies, Inc. Systems and methods providing metadata for media streaming
US9584696B2 (en) * 2015-03-24 2017-02-28 Semiconductor Components Industries, Llc Imaging systems with embedded data transmission capabilities
TWI613914B (zh) * 2016-11-30 2018-02-01 聖約翰科技大學 影音傳送系統及其影音接收系統
US20180316936A1 (en) * 2017-04-26 2018-11-01 Newgen Software Technologies Limited System and method for data compression
US10462413B1 (en) 2018-10-26 2019-10-29 Analog Devices Global Unlimited Company Using metadata for DC offset correction for an AC-coupled video link
WO2024046849A1 (en) * 2022-08-29 2024-03-07 Interdigital Ce Patent Holdings, Sas Missing attribute value transmission for rendered viewport of a volumetric scene

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030123545A1 (en) * 1999-04-17 2003-07-03 Pulsent Corporation Segment-based encoding system using segment hierarchies
CN1647546A (zh) * 2002-04-09 2005-07-27 特格感官技术公司 立体视频序列编码***和方法
EP1720358A2 (en) * 2005-04-11 2006-11-08 Sharp Kabushiki Kaisha Method and apparatus for adaptive up-sampling for spatially scalable coding
US20060256852A1 (en) * 1999-04-17 2006-11-16 Adityo Prakash Segment-based encoding system including segment-specific metadata
EP1758401A2 (en) * 2005-08-24 2007-02-28 Samsung Electronics Co., Ltd. Preprocessing for using a single motion compensated interpolation scheme for different video coding standards

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS63215185A (ja) * 1987-03-03 1988-09-07 Matsushita Electric Ind Co Ltd サブナイキスト符号化装置および復号化装置
KR0157665B1 (ko) * 1993-09-20 1998-11-16 모리시타 요이찌 압축텔레비젼신호기록재생장치
JP4143880B2 (ja) * 1998-11-06 2008-09-03 ソニー株式会社 画像符号化装置および方法、画像復号装置および方法、並びに記録媒体
US7805680B2 (en) * 2001-01-03 2010-09-28 Nokia Corporation Statistical metering and filtering of content via pixel-based metadata
US7263230B2 (en) * 2003-09-17 2007-08-28 International Business Machines Corporation Narrow field abstract meta-data image compression
US7995656B2 (en) * 2005-03-10 2011-08-09 Qualcomm Incorporated Scalable video coding with two layer encoding and single layer decoding
US9131164B2 (en) * 2006-04-04 2015-09-08 Qualcomm Incorporated Preprocessor method and apparatus
US20090161766A1 (en) * 2007-12-21 2009-06-25 Novafora, Inc. System and Method for Processing Video Content Having Redundant Pixel Values

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030123545A1 (en) * 1999-04-17 2003-07-03 Pulsent Corporation Segment-based encoding system using segment hierarchies
US20060256852A1 (en) * 1999-04-17 2006-11-16 Adityo Prakash Segment-based encoding system including segment-specific metadata
CN1647546A (zh) * 2002-04-09 2005-07-27 特格感官技术公司 立体视频序列编码***和方法
EP1720358A2 (en) * 2005-04-11 2006-11-08 Sharp Kabushiki Kaisha Method and apparatus for adaptive up-sampling for spatially scalable coding
EP1758401A2 (en) * 2005-08-24 2007-02-28 Samsung Electronics Co., Ltd. Preprocessing for using a single motion compensated interpolation scheme for different video coding standards

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102855859A (zh) * 2012-09-06 2013-01-02 深圳市华星光电技术有限公司 用于过度驱动技术的画框资料缩减方法
CN102855859B (zh) * 2012-09-06 2015-06-17 深圳市华星光电技术有限公司 用于过度驱动技术的画框资料缩减方法
CN105052157A (zh) * 2013-01-15 2015-11-11 图象公司 图像帧复用方法及***
CN105830062A (zh) * 2013-12-20 2016-08-03 高通股份有限公司 用于编码对象阵型的***、方法及设备
US10346465B2 (en) 2013-12-20 2019-07-09 Qualcomm Incorporated Systems, methods, and apparatus for digital composition and/or retrieval
CN105830062B (zh) * 2013-12-20 2019-10-25 高通股份有限公司 用于编码对象阵型的***、方法及设备
CN110892453A (zh) * 2017-07-10 2020-03-17 三星电子株式会社 使用图像/视频编解码器的点云和网格压缩
CN110892453B (zh) * 2017-07-10 2024-02-13 三星电子株式会社 使用图像/视频编解码器的点云和网格压缩

Also Published As

Publication number Publication date
EP2356630A1 (en) 2011-08-17
JP2012510737A (ja) 2012-05-10
EP2356630A4 (en) 2013-10-02
WO2010063086A1 (en) 2010-06-10
US20100135379A1 (en) 2010-06-03

Similar Documents

Publication Publication Date Title
CN102301396A (zh) 对于数字图像流的帧进行编码和解码的方法和***
US10080010B2 (en) Method of encoding a video data signal for use with a multi-view rendering device
CN109547786B (zh) 视频编码、以及视频解码的方法、装置
KR100636785B1 (ko) 다시점 입체 영상 시스템 및 이에 적용되는 압축 및 복원방법
US9438849B2 (en) Systems and methods for transmitting video frames
EP1313326A2 (en) Video encoder, video decoder, video processor and methods thereof
CN104813666A (zh) 解码装置和解码方法、以及编码装置和编码方法
JP2012523804A (ja) 向上した解像度の立体ビデオのエンコード、デコード、および配信
EP1677543A2 (en) Method and apparatus for reduction of compression noise in compressed video images
EP2244485A3 (en) Method and system for motion-compensated frame-rate up-conversion for both compressed and decompressed video bitstreams
Pece et al. Adapting standard video codecs for depth streaming.
KR20080099630A (ko) 부가 정보가 삽입된 영상 데이터의 전송 스트림 구조,송수신 방법 및 장치
US20200304773A1 (en) Depth codec for 3d-video recording and streaming applications
EP0826286B1 (en) Advanced television system
CN102104790A (zh) 一种视频处理方法和***
KR100746005B1 (ko) 다중 목적의 비디오 스트림을 처리하는 장치 및 방법
RU2595590C2 (ru) Масштабируемое кодирование и декодирование изображений
CN107396082B (zh) 一种图像数据的处理方法和装置
CN102308582A (zh) 用于对图像进行分割编码的方法
KR20130030252A (ko) 입체적인 3차원 이미지들의 압축을 보존하는 낮은 대역폭 컨텐츠를 위한 방법 및 장치
JP2022525599A (ja) 点群コーディングのためのパッチデータユニットのコーディングおよび復号
KR20190016306A (ko) 영상 처리 장치, 영상 처리 방법 및 영상 디스플레이 시스템
CN104284127A (zh) 用来重新格式化声频/视频信号的视频处理装置及其使用方法
KR100580876B1 (ko) 비트스트림 지도를 이용한 영상 부호화 및 복호화 장치 및 방법과, 그 기록매체
CN104427323A (zh) 基于深度的三维图像处理方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20111228