CN102187668B - 编码图像或图像序列的方法和装置及其解码方法和装置 - Google Patents
编码图像或图像序列的方法和装置及其解码方法和装置 Download PDFInfo
- Publication number
- CN102187668B CN102187668B CN2009801406908A CN200980140690A CN102187668B CN 102187668 B CN102187668 B CN 102187668B CN 2009801406908 A CN2009801406908 A CN 2009801406908A CN 200980140690 A CN200980140690 A CN 200980140690A CN 102187668 B CN102187668 B CN 102187668B
- Authority
- CN
- China
- Prior art keywords
- fallout predictor
- image
- module
- calculating
- quantization operation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 40
- 238000004364 calculation method Methods 0.000 claims abstract 2
- 238000013139 quantization Methods 0.000 claims description 52
- 238000006243 chemical reaction Methods 0.000 claims description 21
- 101100382340 Arabidopsis thaliana CAM2 gene Proteins 0.000 claims description 10
- 101100494530 Brassica oleracea var. botrytis CAL-A gene Proteins 0.000 claims description 10
- 101100165913 Brassica oleracea var. italica CAL gene Proteins 0.000 claims description 10
- 101150118283 CAL1 gene Proteins 0.000 claims description 10
- 101100029577 Saccharomyces cerevisiae (strain ATCC 204508 / S288c) CDC43 gene Proteins 0.000 claims description 10
- 101100439683 Saccharomyces cerevisiae (strain ATCC 204508 / S288c) CHS3 gene Proteins 0.000 claims description 10
- 101150014174 calm gene Proteins 0.000 claims description 10
- 102100021849 Calretinin Human genes 0.000 claims description 8
- 101150079125 DCN1 gene Proteins 0.000 claims description 8
- 102100026982 DCN1-like protein 1 Human genes 0.000 claims description 8
- 101000898072 Homo sapiens Calretinin Proteins 0.000 claims description 8
- 101100330861 Homo sapiens DCUN1D1 gene Proteins 0.000 claims description 8
- 238000012546 transfer Methods 0.000 claims description 2
- 238000011002 quantification Methods 0.000 abstract description 4
- 239000013598 vector Substances 0.000 description 27
- 238000005192 partition Methods 0.000 description 10
- 230000008030 elimination Effects 0.000 description 8
- 238000003379 elimination reaction Methods 0.000 description 8
- 239000011159 matrix material Substances 0.000 description 7
- 230000006870 function Effects 0.000 description 4
- 230000002950 deficient Effects 0.000 description 3
- 230000002349 favourable effect Effects 0.000 description 3
- 239000012634 fragment Substances 0.000 description 3
- 101001045534 Homo sapiens MTRF1L release factor glutamine methyltransferase Proteins 0.000 description 2
- 102100022211 MTRF1L release factor glutamine methyltransferase Human genes 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000012958 reprocessing Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/523—Motion estimation or motion compensation with sub-pixel accuracy
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/109—Selection of coding mode or of prediction mode among a plurality of temporal predictive coding modes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/11—Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/136—Incoming video signal characteristics or properties
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/124—Quantisation
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Abstract
本发明涉及一种用于编码图像或图像序列的方法，所述图像或图像序列生成包括表示所述图像(IE)之一中的至少一组像素(MB)的数据的数据流(F)，所述方法包括步骤：计算与所述像素组(MB)相关的预定数目预测器(P1，...，Pn)，并根据预定选择标准来选择最佳预测器。根据本发明，在所述计算和选择步骤之间，执行利用计算的预定数目消除至少一个预测器的步骤，对于至少两个第i(Pi)和第j(Pj)预测器，所述步骤包括：计算所述第j和第i预测器之间的差别，对所述计算的差别应用变换，对所应用的变换的结果执行量化操作，比较所述量化操作的结果与预定值，在所述量化操作的结果小于或等于所述预定值的情况下，消除第j预测器。
Description
技术领域
本发明一般涉及图像处理的领域，并更具体地涉及通过数字图像之间以及数字图像序列之间的竞争的编码和解码。
背景技术
存在用于传送图像的多种编码和解码方法。主要编码类型可被明显区分，诸如其中对图像进行独立编码（也就是说，无需参考其他图像）的所谓“帧内”编码、或在于与以前图像相关地对当前图像进行编码以便仅表达并传送这些图像之间的差别的所谓“帧间”编码。
上述类型的编码方法一般包括预测编码步骤，其中当前图像的像素组（称为块或宏块）与其他参考块或宏块（也就是说，先前已编码并然后解码的块或宏块）相关地被预测。
例如，在标准H264/MPEG-4AVC（AVC代表“先进视频编码”）的情况下，宏块的预测编码在于根据一般具有更小块的形式的多个分区来细分（subdividing）宏块。
在16×16帧内编码的情况下，将宏块看作相对于一组四个空间预测器而预测的唯一分区。在8×8或4×4帧内编码的情况下，相对于包括在16×16帧内编码中使用的那四个空间预测器的一组九个空间预测器来预测每一较小块。
在帧间编码的情况下，可根据16×16、8×16、16×8和8×8模式来对宏块进行分区。如果选择了8×8模式，则根据8×8、4×8、8×4和4×4模式来对每一8×8块再次进行分区。将每一当前块与一个或多个参考图像的一个或多个块进行比较。然后通过描述当前块和参考块之间的移动的向量来定义时间预测器。如果例如将宏块分区为16块（4×4模式），则将对24个位移向量进行编码。通过分离该位移向量可进一步改进（refined）这样的帧间编码，以便实现超出整个像素可扩展到半个像素、四分之一个像素、或甚至八分之一个像素的精度。
H264/AVC标准中实现的基于竞争的帧内或帧间编码由此依赖于使得上述各种预测器竞争(无论它们是空间还是时间类型)，以便选择最佳预测器(也就是说，将根据预定标准(例如，比特率/失真成本)优化所涉及的块的编码的预测器)。
这样的预测编码的一个缺陷在于提供的大量预测器，并且已经发现用来竞争的一些编码对于某些图像内容和使用的某些比特率非常类似，这不必要地增加了这些多个预测器引入的竞争信息的比特率。
这样的预测编码的另一缺陷在于以下事实，诸如比特率/失真成本的选择标准的计算是对于这组预测器执行的，并所以在中央处理单元计算功率和处理时间方面是密集(intensive)消费者。
发明内容
本发明的目的之一是弥补上述现有技术中的缺陷。
为此，本发明的主题涉及一种用于编码图像或图像序列的方法，所述图像或图像序列生成包括表示所述图像之一中的至少一组像素的数据的数据流，所述方法包括步骤：
-计算与所述像素组相关的预定数目预测器，
-相对于预定选择标准来选择最佳预测器。
根据本发明的方法的显著之处在于，其在所述计算和选择步骤之间包括从所述计算的预定数目中消除至少一个预测器的步骤，对于至少两个第i和第j预测器，所述步骤包括：
-计算所述第j和第i预测器之间的差别，
-对所计算的差别应用变换，
-对所应用的变换的结果执行量化操作，
-比较所述量化操作的结果与预定值，
-在所述量化操作的结果小于或等于所述预定值的情况下，消除第j预测器。
这样的安排所以使得可能使用更少预测器用于块的编码，并由此令人满意地降低上述竞争信息的比特率。
此外，这样的安排有利地使得可能定义不取决于要编码的原始图像的用于消除预测器的最佳标准。结果，这样的消除标准当在编码器级采用时，其 可在解码器级再现。
这样的安排最终使得可能由于消除一个或多个预定预测器而获得适于预测器的内容和图像的各种内容的编码。
对应地，本发明还涉及表示图像或图像序列的数据流的解码，所述流包括表示所述图像之一中的至少一组像素的数据，这样的解码方法包括步骤：
-读取所述流中包括的最佳预测器索引，所述索引是与所述像素组相关的预定数目预测器的函数，
-从读取的索引中计算所述最佳预测器。
这样的解码的显著之处在于，在所述读取步骤之前，该方法包括以下步骤，包括：
-计算所述预定数目预测器，
-对于至少两个第i和第j预测器，计算所述第j和第i预测器之间的差别，
-对所计算的差别应用变换，
-对所应用的变换的结果执行量化操作，
-比较所述量化操作的结果与预定值，
-在所述量化操作的结果小于或等于所述预定值的情况下，消除第j预测器，使得在所述读取步骤期间读取的所述最佳预测器索引是减少数目的预测器的函数。
根据上述编码和解码方法的有利特征，根据用于优化要消除的预测器的数目的标准来确定量化操作。
这样的安排由此可能使得邻近宏块(on the fly)(也就是说，在要编码(相应地解码)的当前图像的宏块之后的宏块)适应用于对第j和第i预测器之间的差别的变换进行量化的操作，以便对于每一宏块获得预测器数目的最佳消除。
根据上述编码和解码方法的另一有利特征，该量化操作使用在该编码和解码期间所执行的量化操作自己使用的量化步长作为参数。
这样的安排使得可能由于消除一个或多个预定预测器而获得适于预测器的内容和图像的各种内容的预测器索引的编码。
根据上述编码和解码方法的另一有利特征，所述预测器是空间或时间类型。
这样的安排由此使得可能实现用于帧内编码(相应地解码)和用于帧间 编码(相应地解码)两者的预测器的消除。
本发明还涉及一种用于编码图像或图像序列的装置，所述图像或图像序列生成包括表示所述图像之一中的至少一组像素的数据的数据流，这样的装置包括：
-用于计算与所述像素组相关的预定数目预测器的模块，
-用于相对于预定选择标准来确定最佳预测器的判断模块。
这样的装置的显著之处在于其还包括：
-用于从所述预定数目中消除至少一个预测器的模块，该模块包括计算部件，用于相对于至少两个第i和第j预测器：
·确定所述第j和第i预测器之间的差别，
·对所述计算的差别应用变换，
·对所应用的变换的结果执行量化操作，
·比较所述量化操作的结果与预定值，
·在所述量化操作的结果小于或等于所述预定值的情况下，消除第j预测器。
本发明还涉及一种用于解码表示图像或图像序列的数据流的装置，所述流包括表示所述图像之一中的至少一组像素的数据，这样的装置包括：
-用于读取所述流中包括的最佳预测器索引的模块，所述索引是与所述像素组相关的预定数目预测器的函数，
-用于从读取的索引中计算所述最佳预测器的模块。
这样的装置的显著之处在于，其还包括：
-用于计算所述预定数目预测器的模块，
-用于从所述预定数目中消除至少一个预测器的模块，包括：
·计算部件，用于相对于至少两个第i和第j预测器：
√确定所述第j和第i预测器之间的差别，
√对所述计算的差别应用变换，
√对所应用的变换的结果执行量化操作，
√比较所述量化操作的结果和预定值，
√在所述量化操作的结果小于或等于所述预定值的情况下，消除第j预测器，
·传送部件，用于向所述读取模块传送所获得的减少数目的预测器。
本发明还涉及一种计算机程序，当其在计算机上运行时，包括用于实现根据本发明的方法之一的指令。
附图说明
通过阅读参考附图描述的两个优选实施例，其他特征和优点将变得清楚，其中：
-图1表示根据本发明的编码方法的步骤，
-图2表示根据本发明的编码装置的一个实施例，
-图3表示可能在根据本发明的编码装置中选择的各种形式的分区，
-图4表示在图3中表示的各种初始分区的选择之后分区的宏块，
-图5表示在图3A的帧内编码模式的情况下使用的空间预测器，
-图6表示用于优化要消除的预测器的数目的标准，
-图7表示根据本发明的解码装置，
-图8表示根据本发明的解码方法的步骤，
-图9表示在具有半个像素分辨率的4×4帧间编码的情况下使用的时间预测器。
具体实施方式
现在将描述本发明的实施例，其中使用根据本发明的编码方法，来根据与通过根据H.264/MPEG-4 AVC标准的编码获得的比特流接近的比特流对图像序列进行编码。在该实施例中，根据本发明的编码方法例如通过修改初始符合H.264/MPEG-4 AVC标准的编码器按照软件或硬件方式来实现。根据本发明的编码方法按照包括图1中表示的步骤C1到C12的算法的形式来表示。
应注意的是，根据本发明的解码方法也通过修改初始符合H.264/MPEG-4AVC标准的解码器按照软件或硬件方式来实现。
根据本发明的实施例，根据本发明的编码方法在图2中表示的编码装置CO中实现。编码器CO所执行的编码是例如帧内类型。
图1中表示的第一步骤C1是对于属于要编码的图像序列的图像IE的宏块、从预定形式的预定一组分区中选定的较小特定分区的选择。为此，如图2中表示的，将例如尺寸16×16的属于图像IE的宏块MB作为输入施加到分区选择模块SP。
该分区选择模块SP使用例如基于穷举(exhaustive)竞争的选择方法或甚至使用具有偏差的算法的选择方法。这样的方法对于本领域技术人员来说是公知的(参见：G.J.Sullivan and T.Wiegand，“Rate-distortion optimization forvideo compression”，IEEE Signal Proc.Mag.，pp.74-90，1998)。它们所以稍后将不进行描述。
所述分区在编码器CO的数据库BD中分组。这样的分区可以是任何形式。
可能由选择模块SP选择的宏块的不同分区被表示为图3中的非限制性示例。
图3A表示具有正方形形式的初始分区PA1。
图3B表示具有线形式的初始分区PA1。
图1中表示的下一步骤C2是根据选定初始分区PA1(诸如图3中表示的那些分区之一)将宏块MB细分为n个分区PA1、PA2、......、PAn。这样的细分由使用分区算法或根据预定分区执行分区的图2中表示的宏块分区模块PMB1执行。
图4表示在根据图3中表示的初始分区PA1进行细分之后已获得的宏块MB部分(MBpart)。
图4A表示包括四个分区PA1、......、PA4的已分区宏块MB部分，所有分区具有正方形形式和相同数目像素。
图4B表示包括四个分区PA1、......、PA4的已分区宏块MB部分，所有分区具有线形式和相同数目像素。
在图1中表示的步骤C3期间，分区模块PMB1向图2中表示的计算模块CAL1传送已刚刚分区的宏块MB部分。
在图1中表示的步骤C4期间，计算模块CAL1确定计算所接收的已分区宏块MB部分的各种可能预测所要使用的空间预测器的数目E1。在例如其中如图4A表示的那样帧内编码模式是8×8类型的情况下，计算模块CAL1按照本身已知的方式而确定存在九个可能空间预测器P1、P2、......、P9。
参考图5，这些九个空间预测器分别对应于九个可能方向，相对于这些方向，可相对于同一图像中包括的参考分区来预测当前分区PA1、PA2、PA3或PA4。这九个方向传统上包括：
-垂直方向P1、
-水平方向P2、
-作为前述两个方向的平均的DC方向P3、
-几个对角方向P4到P9。
参考图2，这样的参考分区根据H.264/MPEG-4 AVC标准来编码，也就是说，其按照本身已知的方式经受：
-通过变换和量化模块MTQ1所执行的离散余弦变换和量化进行的编码，
-然后通过逆变换和量化模块MTQI1所执行的逆离散余弦变换和逆量化进行的解码。
根据本发明，在步骤C5期间，计算模块CAL1向用于消除预测器的模块MELP1传送所计算的预测器的集合E1，所述模块的功能是从该集合中删除多余的空间预测器(也就是说，可能在类似编码中终止(culminate)的预测器)。
为此，模块MELP1对于包括上述九个空间预测器P1、......、Pj、......、P9的集合E1执行以下算法。
对于1≤i≤9和对于2≤j≤9，模块MELP1在步骤C6期间计算差别Pj-Pi。
在步骤C7期间，模块MELP1对计算的差别应用变换T1(Pj-Pi)。
这样的变换是例如用于参考分区的上述编码和解码而使用的离散余弦变换。
作为变型，可使用其他已知变换，特别是离散小波变换、碎片小波变换和其他变换。
在步骤C8期间，模块MELP1对获得的变换系数执行以下量化操作：Q1(T1(Pj-Pi))。
量化操作由具有可以是心理视觉、平面、和其他类型系数的矩阵组成。
在步骤C9期间，模块MELP1如下比较所获得的量化结果和预定值q1：
Q1(T1(Pj-Pi))≤q1。
实际上，模块MELP1计算以下等式：
Q1opt(T1(Pj-Pi))＝0，
其中Q1opt定义了选定其系数以便从集合E1中获得预测器的最佳消除的矩阵。
量化矩阵Q1opt使用量化步长QP1opt，该量化步长QP1opt根据本发明的一个实施例对于使用的每一帧内编码模式来说是通过实验固定的。
在近似之后已估定，对于每一帧内模式，QP1opt落入以下范围：0≤QP1opt≤QP1+6，其中QP1是用于参考分区的上述编码和解码所使用的量化步长。
从图6中可以看出，在8×8帧内编码模式的情况下，通过使得QP1opt随着图像集合而变化，当QP1opt＝4时，获得比特率的最大降低。
在上述步骤C9期间：
-如果满足等式Q1opt(T1(Pj-Pi))＝0，则模块MELP1从预测器的集合E1中消除预测器Pj，E1res＝E1-{Pj}、
-如果不满足等式Q1opt(T1(Pj-Pi))＝0，即Q1opt(T1(Pj-Pi)≠0，则模块MELP1在存储器中保持预测器Pj。
在步骤C10期间，预测计算模块PRED1(图1)相对于仅包括还没有先前消除的预测器的预测器的有限集合E1res，计算宏块MB部分的每一分区PA1、......、PAn的可能空间预测器。这样的安排由此提供以下主要优点，使得可能获得一个或多个预测器的索引成本降低，其中该索引意欲传送到图7中表示的解码器DO。
一旦已由预测计算模块PRED1计算了各种可能预测，则在图1中表示的步骤C11期间，图2中表示的判断模块DCN1从头到尾浏览图像IE的已分区宏块，并在该步骤C11中选定用于对这些宏块中的每一个进行编码的预测器。从宏块的可能预测中，判断模块DCN1根据本领域技术人员公知的比特率失真标准来选定最佳预测。
对于要编码的当前宏块MB，判断模块DCN1将预测器的有限集合E1res中的预测器置于竞争。
然后在步骤C12期间，如H.264/MPEG-4 AVC标准中那样来对每一预测的宏块MBpred进行编码。
一旦已通过判断模块DCN1执行了该结构编码，则与图像IE的块对应的剩余部分的系数(如果有的话)被发送到变换和量化模块MTQ1，以便经受离散余弦变换和之后的量化。具有这些量化后系数的宏块的片段然后被传送到熵编码模块CE，以利用已按照与图像IE相同的方式编码的视频序列的其他图像，来产生根据本发明编码的视频比特流F。
适当编码的比特流F经由通信网络传送到远程终端。后者包括图7中表示的解码器DO。
比特流F被首先发送到熵解码模块DE，它提供图2中表示的熵编码模块CE所执行的编码的逆解码。然后，对于要重构的每一图像宏块，该模块DE所解码的系数被发送到逆量化和逆变换模块MQTI2。
图像重构模块RI然后接收与在根据本发明的编码步骤C12中由模块DCN1(图2)所产生的数据对应的已解码数据，传送误差分离。模块RI实现图8中表示的根据本发明的解码方法的步骤D1到D11。
第一步骤D1是在要解码的图像IE的当前宏块的片段中的已编码数据结构的解码。按照本身已知的方式，重构模块RI从所述宏块部分的数据中确定：
-所述数据的编码类型(帧内或帧间)：所描述的实施例中的帧内。
-要重构的宏块的分区类型(4×4帧内、8×8帧内、线等)：所描述的实施例中的8×8帧内。
-步骤C11中由判断模块DCN1选择的最佳预测器的索引。
图8中表示的以下步骤D2是根据步骤D1中确定的分区来细分要解码的当前宏块。为此，在所有方面与图2中表示的模块类似的宏块分区模块PMB2将宏块细分为多个n个分区PA1、PA2、......、PAn。
在分区步骤D2之后，在图8中表示的步骤D3期间，分区模块PMB2将要解码的刚被分区为n个分区的当前宏块传送到图7中表示的计算模块CAL2，该计算模块CAL2在所有方面与图1的编码器CO的计算模块CAL1类似。
在图8中表示的步骤D4期间，计算模块CAL2确定计算所接收的已分区宏块MB部分的各种可能预测所要使用的空间预测器的数目E2。
在步骤D5期间，计算模块CAL2向用于消除预测器的模块MELP2传送所计算的预测器的集合E2，该模块MELP2在所有方面与图1的编码器CO的用于消除预测器的模块MELP1类似。
在步骤D6到D9期间，用于消除预测器的模块MELP2执行与上述编码器CO的模块MELP1执行的算法相同的算法，来从集合E2中删除多余空间预测器(也就是说，可能在类似解码中终止的预测器)，并获得预测器的缩小集合E2res。
在图8中表示的步骤D10期间，图7中表示的判断模块DCN2从头到尾浏览已分区的宏块，并选定预测器来对这些宏块中的每一个进行解码。判断模块DCN2根据本发明技术人员公知的比特率失真标准从用于宏块的可能预 测中选定最佳预测。
对于要解码的当前宏块MB，判断模块DCN2将预测器的有限集合E2res的预测器置于竞争。
每一预测的宏块然后在步骤D11期间如H.264/MPEG-4 AVC标准那样被解码。
一旦已解码了图像IE的所有宏块，图像重构模块RI就供应与图像IE的解码对应的图像ID作为来自解码器DO的输出。
给定在解码器DO中执行的用于消除预测器的算法在所有方面与在编码器CO中执行的算法相同的事实，这大大降低了由使用的预测器导致的信息成本。
第二实施例的详细描述
下面描述的第二实施例与先前实施例的区别之处在于以下事实，图2中表示的编码装置CO执行帧间类型编码而不是帧内类型编码。
第二实施例的一个目的是对于要编码的每一块进行管理，以消除子像素分辨率，从而降低涉及的位移向量的成本。
按照与帧内模式的在前步骤C1类似的方式，选择模块SP选择在所描述的示例中全部具有块的形式的分区。
按照与帧内模式的在前步骤C2类似的方式，根据n个分区将当前宏块细分为例如十六个4×4块。
下一步骤C3与在上述帧内编码期间执行的步骤相同。
在下一步骤C4中，预测模块PRED1的计算模块CAL1确定计算当前4×4块的各种可能预测所要使用的预测器(不再是空间预测器而是时间预测器)的数目。
按照本身已知的方式，计算模块CAL1确定描述当前块和图9中表示的参考块Bref之间的移动的位移向量所采取的各种方向。参考块Bref属于参考图像，例如该序列的在前图像。在例如其中将位移向量分离为半像素的情况下，按照同样已知的方式，计算模块CAL1对于参考像素计算总共以下九个预测器，如图9中表示的那样：
-P’1：到整个像素的向量
-P’2：沿着向上垂直方向到1/2像素的向量
-P’3：沿着向下垂直方向到1/2像素的向量
-P’4：沿着向右水平方向到1/2像素的向量
-P’5：沿着向左水平方向到1/2像素的向量
-P’6：沿着右上对角方向到1/2像素的向量
-P’7：沿着右下对角方向到1/2像素的向量
-P’8：沿着左上对角方向到1/2像素的向量
-P’9：沿着左下对角方向到1/2像素的向量。
按照与上述步骤C5类似的方式，计算模块CAL1向用于消除预测器的模块MELP1传送所计算的向量P’1到P’9的集合E’1。
按照与帧内模式的步骤C6到C9类似的方式，消除模块MELP1对于包括上述九个时间预测器P’1、......、P’j、......、P’9的集合E’1执行以下算法。
实际上，模块MELP1计算以下等式：
Q’1opt(T’1(P’j-P’1))＝0，对于2≤j≤n
其中Q’1opt定义了这样的矩阵，该矩阵的系数被选定以便获得从所述到半像素的向量的集合E’1的最佳消除。
量化矩阵Q’1opt使用量化步长QP’1opt，该量化步长根据本发明的一个实施例对于使用的每一帧间编码模式通过实验来设置。
在近似之后已估定，在4×4帧间模式的情况下，利用到半像素的分辨率，利用QP’1opt＝17获得最大压缩。
在上述步骤C9期间：
-如果例如对于涉及的到半像素的向量的一半、满足等式Q’1opt(T’1(P’j-P’1))＝0达到M次，则模块MELP1从集合E’1消除到半像素的所有预测器P’2 to P’9，以便获得预测器的缩小集合，即缩小到到全像素的向量P’1的集合E’1res＝P’1，
-如果不满足等式Q’1opt(T’1(P’j-P’1))＝0，则模块MELP1在存储器中保持预测器P’j。
用于选定最佳预测的以下步骤C11和用于编码的以下步骤C12分别与帧内模式的上述步骤C11和C12类似，并且为此原因，将不再次描述。
解码器DO的重构模块RI然后实现与上述用于帧内模式的解码方法的步骤类似的步骤D1到D11，但是这次适合于帧间模式。
第一步骤D1是在要解码的图像IE的当前宏块的部分中编码的数据结构的解码。按照本身已知的方式，重构模块RI从所述宏块部分的数据确定：
-在所描述的实施例中，所述帧间数据的编码类型，
-要重构的宏块的分区的类型，所描述的实施例中的8×8帧间，
-步骤C11中由判断模块DCN1选择的最佳位移向量的索引。
在下一步骤D2期间，宏块分区模块PMB2将宏块细分为十六个4×4块。
在分区步骤D2之后，在与帧内模式的上述步骤类似的步骤D3期间，分区模块PMB2将要解码的刚被分区为十六个分区的当前宏块传送到上述计算模块CAL2。
在步骤D4期间，计算模块CAL2确定计算所接收的已分区宏块MB部分的各种可能预测所要使用的时间预测器的数目E’2。
在步骤D5期间，计算模块CAL2向上述用于消除预测器的模块MELP2传送这九个所计算的位移向量P’1到P’9的集合E’2。
在步骤D6到D9期间，用于消除预测器的模块MELP2执行与上述编码器CO的模块MELP1所执行的算法相同的算法，来从集合E’2中删除到半像素的向量，并由此获得现在仅包括到全像素的向量P’1的缩小集合E2res。
在步骤D10期间，判断模块DCN2从头到尾浏览已分区的宏块并选定预测器来对这些宏块中的每一个进行解码。判断模块DCN2根据本发明技术人员公知的比特率失真标准来从用于宏块的可能预测中选定最佳位移向量。
对于要解码的当前宏块MB，判断模块DCN2将预测器的有限集合E’2res的向量置于竞争。给定E’2res仅包括向量P’1的事实，判断模块DCN2缺省选择该向量。
每一预测的宏块然后在步骤D11期间如H.264/MPEG-4 AVC标准那样被解码。
一旦已解码了图像IE的所有宏块，图像重构模块RI就供应与图像IE的解码对应的图像ID作为来自解码器DO的输出。
给定对解码器DO执行的用于消除预测器的算法在所有方面与对编码器CO执行的算法相同的事实，大大降低了由使用的到半像素的向量导致的信息成本。
毫无疑问的是，上面已描述的实施例纯粹作为指示给出而没有按照任何方式限制，并且本领域技术人员可容易地进行许多修改，而不按照任何方式脱离本发明的上下文。
由此，例如，消除对于编码(相应地，解码)计算的某些数目预测器所 使用的量化操作Q1(相应地，Q2)可按照与在编码时(相应地，解码时)执行的量化操作相同的方式经受后处理操作。这样的后处理的示例包括例如当量化矩阵的系数大部分等于零时，将所有系数设置为零。
关于第二实施例，除了到半像素的位移向量之外，还可能考虑到四分之一像素和/或到八分之一像素、......、和/或到n分之一像素的位移向量。可根据要编码的图像的分辨率来进行位移向量分离的一种或多种类型的选择。
Claims (10)
1.一种用于编码图像或图像序列的方法，所述图像或图像序列生成包括表示所述图像之一中的至少一组像素的数据的数据流，所述方法包括步骤：
-计算（C4）与所述像素组相关的预定数目预测器P1,...,Pn，n是自然数，
-相对于预定选择标准来选择最佳预测器，
所述方法的特征在于其在所述计算和选择步骤之间包括用于从所述计算的预定数目中消除至少一个预测器的步骤，对于至少两个第i预测器Pi和第j预测器Pj，i是小于n的自然数并且j是小于n的自然数，所述步骤包括：
-计算（C6）所述第j预测器Pj和第i预测器Pi之间的差别，
-对所述计算的差别应用（C7）变换，
-对所应用的变换的结果执行（C9）量化操作，
-比较所述量化操作的结果与预定值，
-在所述量化操作的结果小于或等于所述预定值的情况下，消除第j预测器。
2.根据权利要求1的用于编码图像或图像序列的方法，其间根据用于优化要消除的预测器的数目的标准来确定量化操作。
3.根据权利要求1或权利要求2的用于编码图像或图像序列的方法，其中该量化操作使用在该编码期间所执行的量化操作自己使用的量化步长作为参数。
4.根据权利要求1的用于编码图像或图像序列的方法，其中所述预测器是空间或时间类型。
5.一种用于解码表示图像或图像序列的数据流的方法，所述流包括表示所述图像之一中的至少一组像素的数据，所述方法包括步骤：
-读取所述流中包括的最佳预测器索引，所述索引是与所述像素组相关的预定数目预测器P1,...,Pn的函数，n是自然数，
-从读取的索引中计算所述最佳预测器，
所述方法的特征在于，在所述读取步骤之前，该方法包括以下步骤，包括：
-计算（D4）所述预定数目预测器P1,...,Pn，
-对于至少两个第i预测器Pi和第j预测器Pj，计算（D6）所述第j预测器Pj和第i预测器Pi之间的差别，i是小于n的自然数并且j是小于n的自然数，
-对所述计算的差别应用（D7）变换，
-对所应用的变换的结果执行（D8）量化操作，
-比较（D9）所述量化操作的结果与预定值，
-在所述量化操作的结果小于或等于所述预定值的情况下，消除第j预测器，使得在所述读取步骤期间读取的所述最佳预测器索引是减少数目的预测器的函数。
6.根据权利要求5的用于解码表示图像或图像序列的数据流的方法，其间根据用于优化要消除的预测器的数目的标准来确定量化操作。
7.根据权利要求5或权利要求6的用于解码表示图像或图像序列的数据流的方法，其中该量化操作使用在该解码期间所执行的量化操作自己使用的量化步长作为参数。
8.根据权利要求5的用于解码表示图像或图像序列的数据流的方法，其中所述预测器是空间或时间类型。
9.一种用于编码图像或图像序列的装置，所述图像或图像序列生成包括表示所述图像之一中的至少一组像素的数据的数据流，所述装置包括：
-用于计算与所述像素组相关的预定数目预测器P1,...,Pn的模块CAL1，n是自然数，
-用于相对于预定选择标准来确定最佳预测器的判断模块DCN1，
所述装置的特征在于其还包括：
-用于从所述预定数目中消除至少一个预测器的模块MELP1，该模块包括计算部件，用于相对于至少两个第i预测器Pi和第j预测器Pj，i是小于n的自然数并且j是小于n的自然数：
·确定所述第j预测器Pj和第i预测器Pi之间的差别Pj-Pi，
·对所述计算的差别应用变换，
·对所应用的变换的结果执行量化操作，
·比较所述量化操作的结果与预定值，
·在所述量化操作的结果小于或等于所述预定值的情况下，消除第j预测器。
10.一种用于解码表示图像或图像序列的数据流的装置，所述流包括表示所述图像之一中的至少一组像素的数据，所述装置包括：
-用于读取所述流中包括的最佳预测器索引的模块，所述索引是与所述像素组相关的预定数目预测器P1,...,Pn的函数，n是自然数，
-用于从读取的索引计算所述最佳预测器的模块，
所述装置的特征在于，其还包括：
-用于计算所述预定数目预测器P1,...,Pn的模块CAL2，
-用于从所述预定数目中消除至少一个预测器的模块MELP2，包括：
·计算部件，用于相对于至少两个第i预测器Pi和第j预测器Pj，i是小于n的自然数并且j是小于n的自然数：
确定所述第j预测器Pj和第i预测器Pi之间的差别Pj-Pi，
·传送部件，用于向所述读取模块传送所获得的减少预定数目的预测器。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| FR0856949 | 2008-10-14 | ||
| FR0856949 | 2008-10-14 | ||
| PCT/FR2009/051937 WO2010043806A2 (fr) | 2008-10-14 | 2009-10-12 | Codage et decodage avec elimination d'un ou plusieurs predicteurs predetermines |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN102187668A CN102187668A (zh) | 2011-09-14 |
| CN102187668B true CN102187668B (zh) | 2013-10-30 |
Family
ID=40674234
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN2009801406908A Active CN102187668B (zh) | 2008-10-14 | 2009-10-12 | 编码图像或图像序列的方法和装置及其解码方法和装置 |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US8295623B2 (zh) |
| EP (1) | EP2351373B1 (zh) |
| JP (1) | JP5345220B2 (zh) |
| CN (1) | CN102187668B (zh) |
| WO (1) | WO2010043806A2 (zh) |
Families Citing this family (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2010043806A2 (fr) * | 2008-10-14 | 2010-04-22 | France Telecom | Codage et decodage avec elimination d'un ou plusieurs predicteurs predetermines |
| GB2487200A (en) | 2011-01-12 | 2012-07-18 | Canon Kk | Video encoding and decoding with improved error resilience |
| GB2491589B (en) * | 2011-06-06 | 2015-12-16 | Canon Kk | Method and device for encoding a sequence of images and method and device for decoding a sequence of image |
| FR2980942A1 (fr) * | 2011-09-30 | 2013-04-05 | France Telecom | Procede de codage et de decodage d'images, dispositif de codage et de decodage d'images et programmes d'ordinateur correspondants |
| FR2993084A1 (fr) * | 2012-07-09 | 2014-01-10 | France Telecom | Procede de codage video par prediction du partitionnement d'un bloc courant, procede de decodage, dispositifs de codage et de decodage et programmes d'ordinateur correspondants |
| US9942560B2 (en) | 2014-01-08 | 2018-04-10 | Microsoft Technology Licensing, Llc | Encoding screen capture data |
| US9774881B2 (en) | 2014-01-08 | 2017-09-26 | Microsoft Technology Licensing, Llc | Representing motion vectors in an encoded bitstream |
| US9749642B2 (en) * | 2014-01-08 | 2017-08-29 | Microsoft Technology Licensing, Llc | Selection of motion vector precision |
| US10491906B2 (en) * | 2015-11-05 | 2019-11-26 | Mediatek Inc. | Method and apparatus for block prediction using variable block-size in image compression |
| FR3053555A1 (fr) * | 2016-06-29 | 2018-01-05 | B<>Com | Procede de codage d'une image numerique, procede de decodage, dispositifs, terminal et programmes d'ordinateurs associes |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1662066A (zh) * | 2004-02-26 | 2005-08-31 | 中国科学院计算技术研究所 | 一种帧内预测模式选取方法 |
| CN1784016A (zh) * | 2004-12-03 | 2006-06-07 | 松下电器产业株式会社 | 内部预测装置 |
| CN1809168A (zh) * | 2005-01-21 | 2006-07-26 | 精工爱普生株式会社 | 编码器中的帧内预测模式选择 |
| EP1770639A2 (en) * | 2004-06-17 | 2007-04-04 | Canon Kabushiki Kaisha | Moving image coding apparatus |
| CN101222635A (zh) * | 2008-01-24 | 2008-07-16 | 北京工业大学 | 帧内预测方法 |
Family Cites Families (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US3980830A (en) * | 1974-05-03 | 1976-09-14 | Licentia Patent-Verwaltungs-G.M.B.H. | Compatible picturephone system |
| US4232338A (en) * | 1979-06-08 | 1980-11-04 | Bell Telephone Laboratories, Incorporated | Method and apparatus for video signal encoding with motion compensation |
| US4255763A (en) * | 1979-12-26 | 1981-03-10 | Bell Telephone Laboratories, Incorporated | Technique for reducing transmission error propagation in an adaptively predicted DPCM video encoder |
| CA1220867A (en) * | 1983-07-18 | 1987-04-21 | Northern Telecom Limited | Adaptive differential pcm system with residual-driven adaptation of feedback predictor |
| JP4142563B2 (ja) * | 2003-12-12 | 2008-09-03 | 株式会社エヌ・ティ・ティ・ドコモ | 動画像符号化装置、動画像符号化方法、及び動画像符号化プログラム |
| JP2006140758A (ja) * | 2004-11-12 | 2006-06-01 | Toshiba Corp | 動画像符号化方法、動画像符号化装置および動画像符号化プログラム |
| JP4763422B2 (ja) * | 2004-12-03 | 2011-08-31 | パナソニック株式会社 | イントラ予測装置 |
| JP4146444B2 (ja) * | 2005-03-16 | 2008-09-10 | 株式会社東芝 | 動画像符号化の方法及び装置 |
| JP2006304107A (ja) * | 2005-04-22 | 2006-11-02 | Ntt Electornics Corp | 符号化装置、及び、この符号化装置に適用されるプログラム |
| JP2007189276A (ja) * | 2006-01-11 | 2007-07-26 | Victor Co Of Japan Ltd | 画像圧縮装置及び画像圧縮プログラム |
| EP2136564A1 (en) * | 2007-01-09 | 2009-12-23 | Kabushiki Kaisha Toshiba | Image encoding and decoding method and device |
| JP2008172581A (ja) * | 2007-01-12 | 2008-07-24 | Matsushita Electric Ind Co Ltd | 画像符号化装置及び画像符号化プログラム |
| WO2010043806A2 (fr) * | 2008-10-14 | 2010-04-22 | France Telecom | Codage et decodage avec elimination d'un ou plusieurs predicteurs predetermines |
| KR20110001990A (ko) * | 2009-06-30 | 2011-01-06 | 삼성전자주식회사 | 영상 데이터의 인 루프 필터링 장치 및 방법과 이를 이용한 영상 부호화/복호화 장치 |
| GB2487197B (en) * | 2011-01-11 | 2015-06-17 | Canon Kk | Video encoding and decoding with improved error resilience |
-
2009
- 2009-10-12 WO PCT/FR2009/051937 patent/WO2010043806A2/fr active Application Filing
- 2009-10-12 EP EP09756008.0A patent/EP2351373B1/fr active Active
- 2009-10-12 US US13/123,304 patent/US8295623B2/en active Active
- 2009-10-12 JP JP2011531536A patent/JP5345220B2/ja active Active
- 2009-10-12 CN CN2009801406908A patent/CN102187668B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1662066A (zh) * | 2004-02-26 | 2005-08-31 | 中国科学院计算技术研究所 | 一种帧内预测模式选取方法 |
| EP1770639A2 (en) * | 2004-06-17 | 2007-04-04 | Canon Kabushiki Kaisha | Moving image coding apparatus |
| CN1784016A (zh) * | 2004-12-03 | 2006-06-07 | 松下电器产业株式会社 | 内部预测装置 |
| CN1809168A (zh) * | 2005-01-21 | 2006-07-26 | 精工爱普生株式会社 | 编码器中的帧内预测模式选择 |
| CN101222635A (zh) * | 2008-01-24 | 2008-07-16 | 北京工业大学 | 帧内预测方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN102187668A (zh) | 2011-09-14 |
| US8295623B2 (en) | 2012-10-23 |
| JP2012505618A (ja) | 2012-03-01 |
| JP5345220B2 (ja) | 2013-11-20 |
| WO2010043806A3 (fr) | 2010-10-07 |
| EP2351373B1 (fr) | 2018-07-04 |
| EP2351373A2 (fr) | 2011-08-03 |
| WO2010043806A2 (fr) | 2010-04-22 |
| US20110194784A1 (en) | 2011-08-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN102187668B (zh) | 编码图像或图像序列的方法和装置及其解码方法和装置 | |
| JP6863669B2 (ja) | 画像符号化装置、画像符号化方法、画像復号装置および画像復号方法 | |
| US9215462B2 (en) | Image encoding/decoding method and device | |
| CN104602011B (zh) | 图像解码装置 | |
| CN104796715B (zh) | 使用平面表达的增强帧内预测编码 | |
| CN102835106B (zh) | 用于视频的数据压缩 | |
| CN104506876B (zh) | 用于高分辨率运动图像的解码方法和编码设备 | |
| KR101517768B1 (ko) | 영상의 부호화 방법 및 장치, 그 복호화 방법 및 장치 | |
| CN103430545B (zh) | 用于高效视频编码的内容适应性运动补偿滤波 | |
| CN101112103B (zh) | 有效地预测基于多层的视频帧的方法、及使用该方法的视频编码方法和设备 | |
| CN103283238B (zh) | 利用按照编码单元的并行帧内预测进行编码和解码的方法和装置 | |
| JP6807987B2 (ja) | 画像符号化装置、動画像復号装置、動画像符号化データ及び記録媒体 | |
| CN104041048A (zh) | 利用跳过模式进行视频编码和解码的方法和设备 | |
| CN105120289A (zh) | 编码设备 | |
| KR20100099723A (ko) | 화상 부호화 장치, 화상 복호 장치, 화상 부호화 방법, 및 화상 복호 방법 | |
| JP2011035902A (ja) | 画像シーケンスを表す符号化データストリームの復号方法と画像シーケンスの符号化方法 | |
| CN1615025A (zh) | 可执行区块比对移动补偿与全域移动补偿的装置与方法 | |
| CN103581647A (zh) | 一种基于彩***运动矢量的深度图序列分形编码方法 | |
| CN1476253A (zh) | 一种基于预测块组的采用帧内预测的帧内编码帧编码方法 | |
| CN102934445A (zh) | 基于分段对图像编码和解码的方法和设备 | |
| KR100832872B1 (ko) | 기하학적 변환을 이용한 영상 부호화 효율 향상 방법 및장치 | |
| KR20120138426A (ko) | 교차 삽입법을 이용한 향상된 움직임 백터 예측 방법 및 장치 | |
| JP2012080210A (ja) | 動画像符号化装置、動画像復号装置、動画像符号化方法及び動画像復号方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant |