CN107529063A - 编码方法、编码装置、解码方法和解码装置 - Google Patents
编码方法、编码装置、解码方法和解码装置 Download PDFInfo
- Publication number
- CN107529063A CN107529063A CN201710780662.9A CN201710780662A CN107529063A CN 107529063 A CN107529063 A CN 107529063A CN 201710780662 A CN201710780662 A CN 201710780662A CN 107529063 A CN107529063 A CN 107529063A
- Authority
- CN
- China
- Prior art keywords
- prediction result
- motion information
- information prediction
- motion
- vector
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/513—Processing of motion vectors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/136—Incoming video signal characteristics or properties
- H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
- H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T9/00—Image coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/115—Selection of the code volume for a coding unit prior to coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/146—Data rate or code amount at the encoder output
- H04N19/147—Data rate or code amount at the encoder output according to rate distortion criteria
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/184—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
- H04N19/192—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding the adaptation method, adaptation tool or adaptation type being iterative or recursive
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
- H04N19/43—Hardware specially adapted for motion estimation or compensation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/46—Embedding additional information in the video signal during the compression process
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/513—Processing of motion vectors
- H04N19/517—Processing of motion vectors by encoding
- H04N19/52—Processing of motion vectors by encoding by predictive encoding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/573—Motion compensation with multiple frame prediction using two or more reference frames in a given prediction direction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/65—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using error resilience
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
- H04N19/89—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
- H04N19/89—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder
- H04N19/895—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder in combination with error concealment
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
- H04N19/91—Entropy coding, e.g. variable length coding [VLC] or arithmetic coding
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Abstract
本发明涉及编码方法、编码装置、解码方法和解码装置。该编码方法包括:获得要编码的图像部分要使用的运动信息预测结果的目标数量;以及使用所获得的目标数量来生成运动信息预测结果的集合。该集合是通过以下步骤所生成的:获得运动信息预测结果的第一集合;通过除去重复的运动信息预测结果来修改运动信息预测结果的第一集合以获得包含第一数量的运动信息预测结果的运动信息预测结果的缩减集合;将运动信息预测结果的第一数量与所获得的目标数量进行比较;以及在第一数量低于目标数量的情况下,获得附加运动信息预测结果,并且将该附加运动信息预测结果添加至运动信息预测结果的缩减集合。
Description
(本申请是申请日为2012年1月11日、申请号为201280005359.7、发明名称为“错误恢复改进的视频编码和解码”的申请的分案申请。)
技术领域
本发明涉及一种用于对数字图像序列进行编码的方法和装置以及用于对相应的位流进行解码的方法和装置。
本发明属于数字信号处理领域,尤其属于使用运动补偿来减少视频流中的空间冗余和时间冗余的视频压缩领域。
背景技术
例如H.263、H.264、MPEG-1、MPEG-2、MPEG-4、SVC等的许多视频压缩格式使用基于块的离散余弦变换(DCT)和运动补偿以去除空间冗余和时间冗余。这些格式可被称为预测视频格式。视频信号的各帧或图像被分割成编码后的并且能够独立进行解码的片(slice)。片通常是帧的矩形部分、或者更通常为帧的一部分或整个帧。此外,各片被分割成多个宏块(MB),并且将各宏块被进一步分割成块、通常为8×8个像素的块。这些编码帧为(被称为P帧的根据一个参考帧而预测到的或者被称为B帧的根据两个参考帧而预测到的)时间预测帧和非时间预测帧(被称为内帧或I帧)这两种类型。
时间预测在于从参考帧(视频序列的先前帧或将来帧)中发现最接近要编码的块的图像部分或参考区域。该步骤已知为运动估计。接着,连同与表示运动补偿要使用的参考区域的运动矢量有关的运动信息项一起,对要编码的块和参考部分之间的差进行编码(运动补偿)。
为了进一步降低对运动信息进行编码的代价,已提出了利用相对于通常根据要编码的块周围的块的运动矢量所计算出的运动矢量预测结果的差来对运动矢量进行编码。
在H.264中,针对根据位于要编码的块的因果邻域(例如根据位于要编码的块的上方和左方的块)的运动矢量所计算出的中值预测结果来对运动矢量进行编码。仅对中值预测结果和当前块运动矢量之间的差(还被称为残差运动矢量)进行编码。
使用残差运动矢量的编码节省了若干位率,但需要解码器进行运动矢量预测结果的相同计算从而对要编码的块的运动矢量的值进行解码。
近来,已提出了诸如使用多个可能运动矢量预测结果等的进一步改进。被称为运动矢量竞争的该方法在于在几个运动矢量预测结果或候选之间判断哪个运动矢量预测结果使残差运动信息的编码代价(通常为率失真代价)最小。该残差运动信息包括残差运动矢量(即,要编码的块的实际运动矢量和所选择的运动矢量预测结果之间的差)、以及例如所选择的运动矢量预测结果的索引的编码值等的表示所选择的运动矢量预测结果的信息项。
在目前标准化期间的高效率视频编码(HEVC)中,已提出了使用如图1示意性示出的多个运动矢量预测结果:从位于要编码的块的邻域的块提取的3个所谓的空间运动矢量预测结果V1、V2和V3;基于三个空间运动矢量预测结果V1、V2和V3的分量所计算出的中值运动矢量预测结果;以及作为该序列的前一图像中的同一位置块(例如位于与图像N的块“编码中”相同的空间位置处的图像N-1的块)的运动矢量的时间运动矢量预测结果V0。当前在HEVC中,根据可用性的预定规则,从位于要编码的块的左方的块(V3)、位于上方的块(V2)、以及从位于要编码的块的各角部的块之一中提取3个空间运动矢量预测结果。该运动矢量预测结果选择方案被称为高级运动矢量预测(AMVP)。在图1的例子中,选择位于左上方的块的矢量V1。
最终,获得了混合有空间预测结果和时间预测结果的5个运动矢量预测结果候选的集合。为了减少在位流中传送运动矢量预测结果的开销,通过除去重复的运动矢量、即具有相同值的运动矢量来缩减运动矢量预测结果的集合。例如,在图1的例示中,V1和V2相等,并且V0和V3也相等,因而应仅保持这四者中的两个(例如,V0和V1)作为运动矢量预测候选。在这种情况下,仅需要1位来向解码器指示运动矢量预测结果的索引。
可以基于预测结果的值来进一步缩减运动矢量预测结果的集合。在得知运动矢量残差和编码器的代价优化标准的情况下,一旦选择了最佳的运动矢量预测结果并且计算出运动矢量残差,可以从该预测集合中进一步除去尚未选择的候选。由于可以使用较少的位来对所选择的运动矢量预测结果的指示进行编码,因此充分缩减预测结果的集合使得获得信令开销。在极限的情况下,例如如果所有的运动矢量预测结果都相等,则可以将候选的集合缩减为1,因此无需将与所选择的运动矢量预测结果有关的任何信息***位流。
概括而言,利用与运动矢量预测结果的差所进行的运动矢量的编码连同运动矢量预测结果候选的数量的缩减一起会导致压缩增益。然而,如上所述,对于给定要编码的块,运动矢量预测结果候选的数量的缩减基于该集合的运动矢量预测结果所取的值、特别是相邻块的运动矢量的值和同一位置块的运动矢量的值。此外,解码器需要能够对可能运动矢量预测结果的集合应用与编码器相同的分析,从而推知表示所选择的运动矢量预测结果所使用的位量、能够对运动矢量预测结果的索引进行解码、并且最终使用接收到的运动矢量残差对运动矢量进行解码。参考图1的示例,利用编码器将块“编码中”的运动矢量预测结果的集合缩减为V0和V1,因而将索引编码到一位上。在图像N-1的块“同一位置”在传输期间丢失的情况下,解码器无法获得V0的值,因此无法得出V0和V3相等。因此,解码器无法发现使用多少位来对块“编码中”的运动矢量预测结果的索引进行编码,结果解码器由于其无法发现索引编码在何处停止以及视频数据的编码在何处开始因此无法正确地解析片的数据。
因此,在有损通信网络上将位流传输至解码器的情况下,发送运动矢量预测结果所使用的位数依赖于运动矢量预测结果所取的值这一事实使得该方法非常容易受通信错误所影响。实际上,该方法需要了解运动矢量预测结果的值以在解码器处正确地解析位流。在包丢失的情况下,当某些运动矢量残差值丢失时,解码器无法判断使用多少位来对表示运动矢量预测结果的索引进行编码,因而无法正确地解析位流。这种错误可能会传播,由此造成在解码器接收到随后的未经预测的编码后的同步图像之前发生解码器的去同步。
期望即使在包丢失的情况下也至少能够在解码器处对编码位流进行解析,以使得随后可以应用某些去同步或错误隐藏。
在2010年10月7~15日于广州召开的视频编码联合组(JTC-VC)第三次会议上K.Sato所发布的文献JCTVC-C166r1,“TE11:Study on motion vector coding(experiment3.3a and 3.3c)”中提出了仅使用预测结果集合内的来自同一片的空间运动矢量预测结果。该解决方案解决了在片丢失的情况下在解码器处进行解析的问题。然而,由于不再使用时间运动矢量预测结果,因此编码效率显著下降。因此,该解决方案在压缩性能方面不令人满意。
发明内容
期望解决一个或多个现有技术的缺陷。
根据本发明的一个方面,提供一种用于将数字图像序列编码成位流的方法,其中图像的至少一部分是通过相对于参考图像部分的运动补偿来进行编码的,
其中,针对至少一个要编码的图像部分,所述方法包括以下步骤:
-获得所述要编码的图像部分要使用的运动信息预测结果的目标数量;以及
-生成步骤,用于使用所获得的运动信息预测结果的目标数量来生成运动信息预测结果的集合,
其中,所述生成步骤包括以下步骤:
-获得运动信息预测结果的第一集合,其中所述第一集合的各运动信息预测结果同与编码中的图像部分具有预定的空间和/或时间关系的图像部分相关联;
-通过除去重复的运动信息预测结果来修改运动信息预测结果的所述第一集合以获得包含第一数量的运动信息预测结果的运动信息预测结果的缩减集合,其中所述缩减集合的各运动信息预测结果不同于所述缩减集合的任何其它运动信息预测结果;
-在获得了运动信息预测结果的所述缩减集合之后,将运动信息预测结果的所述第一数量与所获得的目标数量进行比较;以及
-在所述第一数量低于所述目标数量的情况下,
-获得附加运动信息预测结果,以及
-将所述附加运动信息预测结果添加至运动信息预测结果的所述缩减集合。
根据本发明的另一方面,提供一种用于对包括编码后的数字图像序列的位流进行解码的方法,其中图像的至少一部分是通过相对于参考图像的运动补偿来进行编码的,其中,针对至少一个要解码的图像部分,所述方法包括以下步骤:
-获得所述要解码的图像部分要使用的运动信息预测结果的目标数量;以及
-生成步骤,用于使用所获得的运动信息预测结果的目标数量来生成运动信息预测结果的集合,
其中,所述生成步骤包括以下步骤:
-获得运动信息预测结果的第一集合,其中所述第一集合的各运动信息预测结果同与解码中的图像部分具有预定的空间和/或时间关系的图像部分相关联;
-通过除去重复的运动信息预测结果来修改运动信息预测结果的所述第一集合以获得包含第一数量的运动信息预测结果的运动信息预测结果的缩减集合,其中所述缩减集合的各运动信息预测结果不同于所述缩减集合的任何其它运动信息预测结果;
-在获得了运动信息预测结果的所述缩减集合之后,将运动信息预测结果的所述第一数量与所获得的目标数量进行比较;以及
-在所述第一数量低于所述目标数量的情况下,
-获得附加运动信息预测结果,以及
-将所述附加运动信息预测结果添加至运动信息预测结果的所述缩减集合。
根据本发明的另一方面,提供一种用于将数字图像序列编码成位流的装置,其中图像的至少一部分是通过相对于参考图像部分的运动补偿来进行编码的,
所述装置包括以下部件:
-用于获得要编码的图像部分要使用的运动信息预测结果的目标数量的部件;以及
-生成部件,用于使用所获得的运动信息预测结果的目标数量来生成运动信息预测结果的集合,
其中,所述生成部件包括以下部件:
-用于获得运动信息预测结果的第一集合的部件,其中所述第一集合的各运动信息预测结果同与解码中的图像部分具有预定的空间和/或时间关系的图像部分相关联;
-用于通过除去重复的运动信息预测结果来修改运动信息预测结果的所述第一集合以获得包含第一数量的运动信息预测结果的运动信息预测结果的缩减集合的部件,其中所述缩减集合的各运动信息预测结果不同于所述缩减集合的任何其它运动信息预测结果;
-用于在获得了运动信息预测结果的所述缩减集合之后、将运动信息预测结果的所述第一数量与所获得的目标数量进行比较的部件,并且该部件还用于:
-在所述第一数量低于所述目标数量的情况下,
-获得附加运动信息预测结果,以及
-将所述附加运动信息预测结果添加至运动信息预测结果的所述缩减集合。
根据本发明的另一方面,提供一种用于对包括编码后的数字图像序列的位流进行解码的方法,其中图像的至少一部分是通过相对于参考图像的运动补偿来进行编码的,所述装置包括以下部件:
-用于获得要解码的图像部分要使用的运动信息预测结果的目标数量的部件;以及
-生成部件,用于使用所获得的运动信息预测结果的目标数量来生成运动信息预测结果的集合,
其中,所述生成部件包括以下部件:
-用于获得运动信息预测结果的第一集合的部件,其中所述第一集合的各运动信息预测结果同与解码中的图像部分具有预定的空间和/或时间关系的图像部分相关联;
-用于通过除去重复的运动信息预测结果来修改运动信息预测结果的所述第一集合以获得包含第一数量的运动信息预测结果的运动信息预测结果的缩减集合的部件,其中所述缩减集合的各运动信息预测结果不同于所述缩减集合的任何其它运动信息预测结果;
-用于在获得了运动信息预测结果的所述缩减集合之后、将运动信息预测结果的所述第一数量与所获得的目标数量进行比较的部件,并且该部件还用于:
-在所述第一数量低于所述目标数量的情况下,
-获得附加运动信息预测结果,以及
-将所述附加运动信息预测结果添加至运动信息预测结果的所述缩减集合。
本发明的其它方面提供一种计算机程序,其中所述计算机程序在运行在计算机上的情况下,使计算机执行如上所述的用于对数字视频信号进行编码的方法或者如上所述的用于对位流进行解码的方法。在各情况下,该计算机程序均可以存储在计算机可读存储介质上。
根据本发明的另一方面,提供一种用于将数字图像序列编码成位流的方法,其中图像的至少一部分是通过相对于参考图像部分的运动补偿来进行编码的,
其中,针对至少一个要编码的图像部分,所述方法包括以下步骤:
-获得所述要编码的图像部分要使用的运动信息预测结果的目标数量;
-获得运动信息预测结果的第一集合,其中所述第一集合的各运动信息预测结果同与编码中的图像部分具有预定的空间和/或时间关系的图像部分相关联;
-从运动信息预测结果的所述第一集合中除去重复值以获得包含第一数量的运动信息预测结果的运动信息预测结果的缩减集合,其中所述缩减集合的各运动信息预测结果不同于所述缩减集合的任何其它运动信息预测结果;
-在获得了运动信息预测结果的所述缩减集合之后,将运动信息预测结果的所述第一数量与所获得的目标数量进行比较;以及
-在所述第一数量低于所述目标数量的情况下,
-获得附加运动信息预测结果,以及
-将所述附加运动信息预测结果添加至运动信息预测结果的所述缩减集合。
在一个实施例中,所述缩减集合的运动信息预测结果是具有从编码中图像或参考图像的图像部分获得的运动矢量的实际运动信息预测结果,以及所述附加运动信息预测结果是其它实际运动信息预测结果。
在一个实施例中,所述缩减集合的运动信息预测结果是具有从编码中图像或参考图像的图像部分获得的运动矢量的实际运动信息预测结果,以及所述附加运动信息预测结果是不具有从所述编码中图像或所述参考图像的图像部分获得的运动矢量的虚拟运动信息预测结果。
在一个实施例中,所述方法还包括以下步骤:测试所述缩减集合中的运动信息预测结果的数量是否低于所述目标数量,并且在低于所述目标数量的情况下,首先添加一个或多个其它实际运动信息预测结果,然后再次测试在添加了所述其它实际运动信息预测结果之后的运动信息预测结果的数量是否低于所述目标数量,并且在低于所述目标数量的情况下,添加一个或多个所述虚拟运动信息预测结果。
根据本发明的另一方面,提供一种用于对包括编码后的数字图像序列的位流进行解码的方法,其中图像的至少一部分是通过相对于参考图像的运动补偿来进行编码的,其中,针对至少一个要解码的图像部分,所述方法包括以下步骤:
-获得所述要解码的图像部分要使用的运动信息预测结果的目标数量;以及
-获得运动信息预测结果的第一集合,其中所述第一集合的各运动信息预测结果同与解码中的图像部分具有预定的空间和/或时间关系的图像部分相关联;
-从运动信息预测结果的所述第一集合中除去重复值以获得包含第一数量的运动信息预测结果的运动信息预测结果的缩减集合,其中所述缩减集合的各运动信息预测结果不同于所述缩减集合的任何其它运动信息预测结果;
-在获得了运动信息预测结果的所述缩减集合之后,将运动信息预测结果的所述第一数量与所获得的目标数量进行比较;以及
-在所述第一数量低于所述目标数量的情况下,
-获得附加运动信息预测结果,以及
-将所述附加运动信息预测结果添加至运动信息预测结果的所述缩减集合。
在一个实施例中,所述缩减集合的运动信息预测结果是具有从解码中图像或参考图像的图像部分获得的运动矢量的实际运动信息预测结果,以及所述附加运动信息预测结果是其它实际运动信息预测结果。
在一个实施例中,所述缩减集合的运动信息预测结果是具有从解码中图像或参考图像的图像部分获得的运动矢量的实际运动信息预测结果,以及所述附加运动信息预测结果是不具有从所述解码中图像或所述参考图像的图像部分获得的运动矢量的虚拟运动信息预测结果。
在一个实施例中,所述方法还包括以下步骤:测试所述缩减集合中的运动信息预测结果的数量是否低于所述目标数量,并且在低于所述目标数量的情况下,首先添加一个或多个其它实际运动信息预测结果,然后再次测试在添加了所述其它实际运动信息预测结果之后的运动信息预测结果的数量是否低于所述目标数量,并且在低于所述目标数量的情况下,添加一个或多个所述虚拟运动信息预测结果。
本发明的其它方面提供一种编码所用的相应装置、解码所用的相应装置、以及相应的计算机程序和计算机可读存储介质。
根据本发明的另一方面,提供一种用于将数字图像序列编码成位流的方法,其中图像的至少一部分是通过相对于参考图像部分的运动补偿来进行编码的,
其中,针对至少一个要编码的图像部分,所述方法包括以下步骤:
-获得所述要编码的图像部分要使用的运动信息预测结果的目标数量;
-生成运动信息预测结果的集合,其中所生成的集合的各运动信息预测结果同与编码中的图像部分具有预定的空间和/或时间关系的图像部分相关联;
-从所生成的集合中除去重复值以获得包含第一数量的运动信息预测结果的运动信息预测结果的第一集合,其中所述第一集合的各运动信息预测结果不同于所述第一集合的任何其它运动信息预测结果;
-在获得了运动信息预测结果的所述第一集合之后,将运动信息预测结果的所述第一数量与所获得的目标数量进行比较;以及
-在所述第一数量低于所述目标数量的情况下,
-获得附加运动信息预测结果,以及
-将所述附加运动信息预测结果添加至运动信息预测结果的所述第一集合。
在一个实施例中,所述第一集合的运动信息预测结果是具有从编码中图像或参考图像的图像部分获得的运动矢量的实际运动信息预测结果,以及所述附加运动信息预测结果是其它实际运动信息预测结果。
在一个实施例中,所述第一集合的运动信息预测结果是具有从编码中图像或参考图像的图像部分获得的运动矢量的实际运动信息预测结果,以及所述附加运动信息预测结果是不具有从所述编码中图像或所述参考图像的图像部分获得的运动矢量的虚拟运动信息预测结果。
在一个实施例中,所述方法还包括以下步骤:测试所述第一集合中的运动信息预测结果的数量是否低于所述目标数量,并且在低于所述目标数量的情况下,首先添加一个或多个其它实际运动信息预测结果,然后再次测试在添加了所述其它实际运动信息预测结果之后的运动信息预测结果的数量是否低于所述目标数量,并且在低于所述目标数量的情况下,添加一个或多个所述虚拟运动信息预测结果。
根据本发明的另一方面,提供一种用于对包括编码后的数字图像序列的位流进行解码的方法,其中图像的至少一部分是通过相对于参考图像的运动补偿来进行编码的,其中,针对至少一个要解码的图像部分,所述方法包括以下步骤:
-获得所述要解码的图像部分要使用的运动信息预测结果的目标数量;以及
-生成运动信息预测结果的集合,其中所生成的集合的各运动信息预测结果同与解码中的图像部分具有预定的空间和/或时间关系的图像部分相关联;
-从所生成的集合中除去重复值以获得包含第一数量的运动信息预测结果的运动信息预测结果的第一集合,其中所述第一集合的各运动信息预测结果不同于所述第一集合的任何其它运动信息预测结果;
-在获得了运动信息预测结果的所述第一集合之后,将运动信息预测结果的所述第一数量与所获得的目标数量进行比较;以及
-在所述第一数量低于所述目标数量的情况下,
-获得附加运动信息预测结果,以及
-将所述附加运动信息预测结果添加至运动信息预测结果的所述缩减集合。
在一个实施例中,所述第一集合的运动信息预测结果是具有从解码中图像或参考图像的图像部分获得的运动矢量的实际运动信息预测结果,以及所述附加运动信息预测结果是其它实际运动信息预测结果。
在一个实施例中,所述第一集合的运动信息预测结果是具有从解码中图像或参考图像的图像部分获得的运动矢量的实际运动信息预测结果,以及所述附加运动信息预测结果是不具有从所述解码中图像或所述参考图像的图像部分获得的运动矢量的虚拟运动信息预测结果。
在一个实施例中,所述方法还包括以下步骤:测试所述第一集合中的运动信息预测结果的数量是否低于所述目标数量,并且在低于所述目标数量的情况下,首先添加一个或多个其它实际运动信息预测结果,然后再次测试在添加了所述其它实际运动信息预测结果之后的运动信息预测结果的数量是否低于所述目标数量,并且在低于所述目标数量的情况下,添加一个或多个所述虚拟运动信息预测结果。
本发明的其它方面提供一种编码所用的相应装置、解码所用的相应装置、以及相应的计算机程序和计算机可读存储介质。
还期望提供如下一种方法,其中该方法使得即使在因传输损失而损坏的位流的情况下也能够在解码器处进行正确解析,同时保持良好的压缩效率。
为此,本发明涉及一种用于将数字图像序列编码成位流的方法,其中图像的至少一部分是通过相对于参考图像部分的运动补偿来进行编码的。针对至少一个要编码的图像部分,所述方法包括以下步骤:
-获得所述要编码的图像部分要使用的运动信息预测结果的目标数量,以及
-生成包括所述目标数量的运动信息预测结果的运动信息预测结果的集合,其中所生成的集合的各运动矢量预测结果不同于所生成的集合的任何其它运动矢量预测结果。
有利地,本发明的方法使得能够***地确定对与图像部分相关联的诸如运动矢量等的运动信息进行编码要使用的运动信息预测结果的目标数量,并且通过生成全部彼此不同的运动信息预测结果的集合来有利地改善压缩。使用固定的运动信息预测结果的目标数量的潜在开销由所选择的各种预测结果来补偿,从而有助于改善压缩率。不同的运动信息预测结果的目标数量与作为用于要编码的当前图像部分的运动信息预测结果所选择的诸如运动矢量等的运动信息的项的实际值无关地确定的并且是固定的。
本发明的实施例在例如使用AMVP的情况那样、初始生成的运动信息预测结果的数量先验未知的情况下是有效的。例如,在执行初始集合的缩减、并且通过缩减处理所除去的初始预测结果的数量是先验未知的情况下,本发明的实施例可用于确保运动信息预测结果的最终集合包括目标数量的运动信息预测结果。
根据实施例,编码方法还包括以下步骤:
-从所述所生成的运动信息预测结果的集合中选择用于所述要编码的图像部分的运动信息预测结果,以及
-基于所获得的所述目标数量来对表示所述所选择的运动信息预测结果的信息项进行编码。
有利地,可以针对要编码的当前块选择运动信息预测结果并且可以根据所确定的运动信息预测结果的数量对所选择的运动矢量预测结果进行编码。解码器可以***地检索到运动信息预测结果的数量,由此即使在损失的情况下也可以在解码器处***地对编码位流进行解析。
根据实施例,表示所述所选择的运动矢量预测结果的信息项是所生成的运动信息预测结果的集合中的所选择运动信息预测结果的索引,并且将该索引编码到依赖于所获得的所述目标数量的位数上。
根据实施例,在获得所述要编码的图像部分要使用的运动信息预测结果的目标数量的步骤中,针对数字图像的序列中的任何要编码的图像部分将所述目标数量设置得等于预定值。
本实施例的优点在于以下:在编码器和解码器这两者处,可以在无需任何辅助计算或信令开销的情况下容易地获得运动信息预测结果的目标数量。
根据另一实施例,在获得所述要编码的图像部分要使用的运动信息预测结果的目标数量的步骤中,针对给定要编码的图像部分,根据所述给定要编码的图像部分的编码信息来确定所述目标数量。
有利地,这种编码信息可以是编码参数,例如在将图像分割成可变大小的宏块以进行处理的情况下要编码的图像部分所属于的宏块的大小等。这种编码信息例如还可以是与要编码的图像部分相关联的编码模式。
根据又一方面,本发明涉及一种用于将数字图像序列编码成位流的装置,其中图像的至少一部分是通过相对于参考图像部分的运动补偿来进行编码的。针对至少一个要编码的图像部分,所述装置包括:
-用于获得所述要编码的图像部分要使用的运动信息预测结果的目标数量的部件,以及
-用于生成包括所述目标数量的运动信息预测结果的运动信息预测结果的集合的部件,其中所生成的集合的各运动信息预测结果不同于所生成的集合的任何其它运动信息预测结果。
根据又一方面,本发明还涉及一种能够载入可编程设备的计算机程序产品,包括指令序列,其中所述指令序列用于在将所述计算机程序载入所述可编程设备并且由所述可编程设备来执行的情况下,实现如以上简要说明的用于对数字图像序列进行编码的方法。这种计算机程序可以是瞬态或非瞬态的。在实现中,该计算机程序可以存储在非瞬态计算机可读载体介质上。
用于对数字图像序列进行编码的装置、存储部件和计算机程序产品的特定特征和优点与数字视频信号编码方法的特征和优点类似,因而这里不进行重复。
根据又一方面,本发明还涉及一种用于对包括编码后的数字图像序列的位流进行解码的方法,其中图像的至少一部分是通过相对于参考图像部分的运动补偿来进行编码的。针对至少一个所述要解码的图像部分,所述方法包括以下步骤:
-获得所述要解码的图像部分要使用的运动信息预测结果的目标数量,以及
-生成包括所述目标数量的运动信息预测结果的运动信息预测结果的集合,其中所生成的集合的各运动矢量预测结果不同于所生成的集合的任何其它运动矢量预测结果。
用于对位流进行解码的方法具有使得能够确定运动信息预测结果的目标数量并且使用这些数量的不同运动信息预测结果的优点。可以***地检索到运动信息预测结果的目标数量,结果即使在传输错误的情况下也可以***地解析位流。另一优点如下:在所有情况下,位流的解析简单,并且特别是与不使用解码器能够获得的预定目标数量的、自适应地缩减运动信息预测结果的数量的现有技术方法相比更为简单。
根据实施例,该方法还包括基于所获得的所述目标数量来对表示所选择的用于所述要解码的图像部分的运动信息预测结果的信息项进行解码的步骤。
有利地,如果在编码器处应用了依赖于运动信息预测结果的数量的编码的情况下,则即使在传输错误的情况下,也可以***地对表示所选择的用于所述要解码的图像部分的运动信息预测结果的信息项进行解码。
根据又一方面,本发明还涉及一种用于对包括编码后的数字图像序列的位流进行解码的装置,其中图像的至少一部分是通过相对于参考图像部分的运动补偿来进行编码的。针对至少一个所述要解码的图像部分,所述装置包括:
-用于获得所述要解码的图像部分要使用的运动信息预测结果的目标数量的部件,以及
-用于生成包括所述目标数量的运动信息预测结果的运动信息预测结果的集合的部件,其中所生成的集合的各运动矢量预测结果不同于所生成的集合的任何其它运动矢量预测结果。
根据又一方面,本发明还涉及一种计算机或微处理器能够读取的信息存储部件,其中该存储部件是能够移除的,并且存储有实现如以上简要说明的用于对位流进行解码的方法所用的计算机程序的指令。
根据又一方面,本发明还涉及一种能够载入可编程设备的计算机程序产品,包括指令序列,其中所述指令序列用于在将所述计算机程序载入所述可编程设备并且由所述可编程设备来执行的情况下,实现如以上简要说明的用于对位流进行解码的方法。这种计算机程序可以是瞬态或非瞬态的。在实现中,该计算机程序可以存储在非瞬态计算机可读载体介质上。
用于对位流进行解码的装置、存储部件和计算机程序产品的特定特征和优点与解码方法的特征和优点类似,因而这里不进行重复。
根据本发明的另一方面,提供一种用于将数字图像序列编码成位流的方法,其中图像的至少一部分是通过相对于参考图像部分的运动补偿来进行编码的,所述方法包括以下步骤:生成具有受控多样性的运动信息预测结果的集合;以及从所述所生成的运动信息预测结果的集合中选择用于所述要编码的图像部分的运动信息预测结果。
受控多样性意味着该集合的运动信息预测结果彼此不同,但这些运动信息预测结果中的一个或多个从统计上有可能接近实际运动信息由此残差(实际运动信息和所关注的预测结果之间的差)小,因而能够高效地进行压缩。
所述方法可以包括以下步骤:
生成第一运动信息预测结果;
将一个或多个第一运动信息预测结果识别为种子预测结果;
基于种子预测结果来生成一个或多个第二运动信息预测结果;以及
根据第一和/或第二运动信息预测结果来形成运动信息预测结果的所述集合。
在这种情况下,第一运动信息预测结果可以是从统计上有望在压缩效率方面得到良好结果的预测结果。然后,可以使用基于第一预测结果的第二运动信息预测结果来以有组织或***方式研究第一预测结果附近的预测结果空间内的其它预测结果。这些预测结果也有望得到良好结果,并且研究的预测结果越多,发现与实际运动信息良好匹配的机会越大。
在一个实施例中,基于所关注的第一运动信息预测结果的重要度来将至少一个第一运动信息预测结果识别为这种种子预测结果。
该重要度可以依赖于所关注的第一运动信息预测结果在这些第一运动信息预测结果中出现的次数。次数越大,该预测结果被视为越重要并且在该集合中越有可能使用该预测结果。除了寻找相同的预测结果(重复值)以外,寻找相近匹配也是有效的。
可选地,重要度可以依赖于所关注的第一运动信息预测结果表示第一运动信息预测结果整体的程度的度量。例如,在对第一运动信息预测结果求平均的情况下,平均预测结果和给定的第一运动信息预测结果之间的差或距离是该给定预测结果表示第一运动信息预测结果整体的程度的度量。
控制多样性的一个方式是通过从所述种子预测结果的其中一个中加上或减去偏移量来生成至少一个所述第二运动信息预测结果。该偏移量可以是固定的。还可以是伪随机值,只要对于解码器可利用与编码器相同的种子值即可。在种子预测结果是矢量的情况下,还可以通过向该种子预测结果添加例如具有固定大小和相对于该种子预测结果的方向的预定方向的另一矢量来控制多样性。
多个所述第二运动信息预测结果可以是基于同一所述种子预测结果所生成的。在运动信息预测结果是各自具有X分量和Y分量的矢量的情况下,可以通过相对于同一所述种子预测结果的一个或这两个所述分量加上和/或减去偏移量来获得多个第二运动信息预测结果。例如,可以相对于同一种子预测结果加上和减去同一偏移量。在种子预测结果是具有X分量和Y分量的矢量的情况下,存在相对于同一种子预测结果的X分量和Y分量的其中一个或这两个加上/减去偏移量的多个排列。这是在不会产生大的处理负荷的情况生成受控多样性的高效方式。
控制多样性的另一方式是通过形成不同对(或其它组合)的第一运动信息预测结果的平均值来生成多个第二运动信息预测结果。例如,在第一运动信息预测结果为V1、V2和V3的情况下,可以根据V1&V2、V2&V3和V3&V1的平均值形成3个第二运动信息预测结果。还可以形成相同的第一运动信息预测结果的不同加权组合作为不同的第二运动信息预测结果。
第一运动信息预测结果可以是或者包括与编码中的图像部分具有预定的空间和/或时间关系的图像部分相关联的运动信息预测结果。例如,AMVP中使用的运动信息预测结果可以是第一运动信息预测结果。这些运动信息预测结果是种子预测结果的良好源。
在另一实施例中,所述方法包括以下步骤:
生成第一运动信息预测结果;
检查所生成的第一运动信息预测结果之间的差;以及
基于这些差来从运动信息预测结果的所述集合中排除一个或多个第一运动信息预测结果。
通过考虑到第一运动信息预测结果之间的差,可以对该集合的运动信息预测结果的多样性进行控制。在这种情况下,无需在第一运动信息预测结果中识别种子预测结果以及基于这些种子预测结果来生成第二运动信息预测结果。例如,这在初始可利用充分高的数量的第一运动信息预测结果的情况下可以是有效的。
例如,作为控制多样性的方式,可以除去相对于另一第一运动信息预测结果的差最小的第一运动信息预测结果。可以根据需要重复该处理,以连续除去变化较少的预测结果。
在本发明的该方面中,重要的是要注意所述集合中的运动信息预测结果的数量可以是可变的。
然而,与本发明的其它基本方面相同,至少针对要编码的给定图像部分或者即使针对所有图像部分,所述集合中的运动信息预测结果的数量可以是预先确定的(目标数量)。这使得不仅可以实现该集合的预测结果中的受控多样性,而且还可以解决引言部分所提到的解析问题。
本发明的该方面还提供一种相应的解码方法、相应的编码装置和解码装置、以及使得进行编码和解码的程序。
根据又一方面,本发明涉及一种用于将数字图像序列编码成位流的方法,其中图像的至少一部分是通过相对于参考图像部分的运动补偿来进行编码的。针对至少一个要编码的图像部分,所述方法包括以下步骤:
-获得所述要编码的图像部分要使用的运动矢量预测结果的第一集合,以及
-根据所述运动信息预测结果的第一集合来生成运动信息预测结果的第二集合,该所生成的集合的各运动矢量预测结果不同于所生成的运动矢量预测结果的第二集合的任何其它运动矢量预测结果,其中第二集合的至少一个运动矢量预测结果是根据第一集合的所选择的运动矢量预测结果计算出的。
有利地,所生成的运动矢量预测结果的第二集合用于对与要编码的图像部分相关联的运动矢量进行编码。该运动矢量预测结果的第二集合包括所生成的(并且有可能是所选择的)各种不同运动矢量预测结果,从而提高压缩效率。
根据实施例,在选择步骤中,根据重要度值来选择第一集合的运动矢量预测结果。
根据实施例,该编码方法包括用于计算与第一集合的各运动矢量预测结果相关联的重要度值的步骤。
根据实施例,在选择步骤中,根据第一集合的运动矢量预测结果之间的距离来选择第一集合的运动矢量预测结果。
用于选择运动矢量预测结果以进一步生成附加或虚拟运动矢量预测结果的各实施例使得能够应用受控多样性选择,从而具有提高压缩效率的优点。实际上,使用根据初始集合的重要运动矢量预测结果所计算出的运动矢量预测结果使得能够更加精确地表示要编码的当前图像部分的运动矢量。此外,在最终集合中具有固定或目标数量的预测结果并非是必需的。
根据实施例,运动矢量预测结果的第一集合中的运动矢量预测结果是与编码中图像和/或参考图像中的要编码的图像部分相关联的运动矢量。该第一集合可以由AMVP中使用的预测结果构成或者可以包括AMVP中使用的预测结果。
附图说明
在以下参考附图所进行的仅以非限制性示例的方式给出的说明中将出现其它特征和优点,其中:
(前面所述的)图1示意性示出运动矢量预测方案中所使用的运动矢量预测结果的集合;
图2是被配置为实现本发明的实施例的处理装置的图;
图3是根据本发明的实施例的编码器的框图;
图4示出根据本发明的实施例的解码器的框图;
图5详细说明根据第一实施例的运动矢量预测结果的集合的判断;
图6详细说明根据第二实施例的运动矢量预测结果的集合的判断;
图7示意性示出运动矢量预测结果的第二集合;以及
图8示意性示出坐标系中的运动矢量。
具体实施方式
图2示出被配置为实现本发明的一个实施例的处理装置1000的图。该装置1000例如是微计算机、工作站或轻薄便携式装置。
装置1000包括通信总线1113,其中优选该通信总线1113连接有以下组件:
-诸如微处理器等的表示为CPU的中央处理单元1111;
-表示为ROM的只读存储器1107,其能够容纳实现本发明所用的计算机程序;
-表示为RAM的随机存取存储器1112,其能够容纳本发明的方法的可执行代码以及如下寄存器,其中这些寄存器被配置为记录实现对数字图像序列进行编码的方法和/或对位流进行解码的方法所需的变量和参数;以及
-通信接口1102,其连接至传输要处理的数字数据所经由的通信网络1103。
可选地,装置1000还可以具有以下组件:
-诸如硬盘等的数据存储部件1104,其能够容纳实现本发明的程序以及在本发明的实现期间所使用或所产生的数据;
-盘1106所用的盘驱动器1105,其中该盘驱动器被配置为从盘1106读取数据或者将数据写到所述盘上;
-屏幕1109,用于利用键盘1110或任何其它指示部件来显示数据以及/或者用作与用户的图形界面。
装置1000可以连接至例如数字照相机1100或麦克风1108等的各种***设备,其中这些***设备各自连接至输入/输出卡(未示出)从而向装置1000供给多媒体数据。
通信总线提供装置1000内所包括的或连接至装置1000的各种元件之间的通信和互操作性。该总线的表示并非限制性的,并且特别地,中央处理单元能够直接地或者利用装置1000的其它元件向装置100的任意元件通信指示。
盘1106可以由例如(可重写或不可重写的)致密盘(CD-ROM)、ZIP盘或存储卡等的任何信息介质以及概括而言由信息存储部件来替换,其中该信息存储部件可以由集成于该装置内或没有集成于该装置内的可能能够移除的微计算机或微处理器来读取,并且被配置为存储如下的一个或多个程序,其中执行该一个或多个程序使得能够实现根据本发明的对数字图像序列进行编码的方法和/或对位流进行解码的方法。
可执行代码可以存储在只读存储器1107中、硬盘1104上或者例如前面所述的盘1106等的可移除数字介质上。根据变形例,程序的可执行代码可以利用通信网络1103经由接口1102接收到,从而在执行之前存储在诸如硬盘1104等的装置1000的存储部件的其中一个中。
中央处理单元1111被配置为控制和指导根据本发明的程序的指令或软件代码的一部分的执行,其中这些指令存储在上述存储部件的其中一个中。在通电时,将存储在非易失性存储器中(例如硬盘1104上或只读存储器1107中)的程序传递至随机存取存储器1112,然后该随机存取存储器1112容纳程序的可执行代码以及用于存储实现本发明所需的变量和参数的寄存器。
在本实施例中,该装置是使用软件来实现本发明的可编程设备。然而,可选地,本发明可以以硬件形式(例如,以专用集成电路或ASIC的形式)来实现。
图3示出根据本发明的实施例的编码器的框图。该编码器由所连接的模块来表示,其中各模块被配置为例如以对装置1000的CPU 1111要执行的编程指令的形式来执行实现本发明的实施例的方法的相应步骤。
编码器30接收到原始的数字图像序列i0~in 301作为输入。各数字图像由已知为像素的一组样本来表示。
编码器30输出位流310。
位流310包括多个编码单位或片,其中各片包括:片头,其包括对片进行编码所使用的编码参数的编码值;以及片本体,其包括编码视频数据。
将所输入的数字图像分割成块(302),其中这些块是图像部分并且可以具有可变大小(例如,4×4、8×8、16×16、32×32)。针对各输入块选择编码模式。存在空间预测编码或帧内编码以及时间预测编码或帧间编码这两类编码模式。对可能的编码模式进行测试。
模块303实现帧内预测,其中利用根据给定要编码的块附近的像素计算出的预测结果来预测该要编码的块。在选择帧内编码的情况下,对所选择的帧内预测结果的指示和给定块与其预测结果之间的差进行编码。
时间预测由模块304和305来实现。首先,选择一组参考图像316中的参考图像,并且利用运动估计模块304来选择该参考图像中的作为最接近要编码的给定块的区域的部分(还被称为参考区域)。利用运动补偿模块305来计算所选择的参考区域和给定块之间的差(还称为残差块)。所选择的参考区域由运动矢量来表示。
在选择帧间预测的情况下,对与运动矢量和残差块有关的信息进行编码。为了进一步降低比特率,利用相对于运动矢量预测结果的差来对运动矢量进行编码。利用运动矢量预测和编码模块317来从运动矢量字段318获得运动矢量预测结果(还称为运动信息预测结果)的集合。
有利地,如以下参考图5和6更详细地所述,生成用于选择最佳运动矢量预测结果以对当前运动矢量进行编码的运动矢量预测结果的集合。对于给定要编码的当前块,设置预定数量Nmax的运动矢量预测结果,结果可以使用预定的位数来对作为表示所选择的运动矢量预测结果的信息项的、所选择的运动矢量预测结果的索引进行编码。即使在丢失的情况下,解码器也可以检索到该预定的位数,因此确保解码器即使在错误或丢失的情况下也能够对位流进行解析。这Nmax个运动矢量预测结果根据各实施例被选择为全部彼此不同,从而提高了压缩效率。
根据诸如块大小或编码模式等的编码参数,可以针对整个序列、针对该序列的一组图像或者以块水平应用预定数量Nmax的运动矢量预测结果和用于对运动矢量预测结果的索引进行编码的相应的位数的选择。例如,针对使用对残差块进行编码的帧间预测而进行编码的块,可以使用第一预定数量Nmax1的运动矢量预测结果,并且针对使用仅对运动矢量进行编码而没有对残差块进行编码的SKIP模式而进行编码的块,可以使用第二预定数量Nmax2的运动矢量预测结果。例如,可以通过将运动矢量预测结果的各数量Nmax1和Nmax2***诸如片头等的头或者任何适当的元数据字段来在位流中发送这些数量。
编码器30还包括编码模式的选择的模块306,其中该模块306使用诸如率失真标准等的编码代价标准来判断在空间预测模式和时间预测模式中哪个模式是最佳模式。将变换307应用于残差块,然后所获得的变换数据由模块308进行量化并且由模块309进行熵编码。最后,将要编码的当前块的编码残差块连同与所使用的预测结果有关的信息一起***位流310。对于以“SKIP”模式编码后的块,仅将该预测结果的参考编码在位流中,而无任何残差块。
编码器30还进行编码图像的解码从而产生后续图像的运动估计所用的参考图像。模块311对量化数据进行逆量化,之后进行逆变换312。逆运动预测模块313使用预测信息来判断哪个预测结果用于给定块,并且逆运动补偿模块314实际将模块312所获得的残差加至从一组参考图像316获得的参考区域。可选地,应用去块滤波器315以除去结块效果并且提高解码图像的视觉质量。在解码器处应用相同的去块滤波器,以使得在不存在传输损失的情况下,编码器和解码器应用相同的处理。
图4示出根据本发明的实施例的解码器的框图。该解码器由所连接的模块来表示,其中各模块被配置为例如以对装置1000的CPU 1111要执行的编程指令的形式执行实现本发明的实施例的方法的相应步骤。
解码器40接收包括编码单位的位流401,其中每一个编码单位包括包含与编码参数有关的信息的头以及包含编码视频数据的本体。如参考图3所述,对编码视频数据进行熵编码,并且按预定的位数针对给定块对运动矢量预测结果的索引进行编码。对接收到的编码视频数据进行熵解码(402),去量化(403),然后应用逆变换(404)。
特别地,在接收到的编码视频数据与要编码的当前块的残差块相对应的情况下,解码器也对来自该位流的运动预测信息进行解码,从而得到编码器所使用的参考区域。
模块410对通过运动预测编码后的各当前块应用运动矢量解码,其中该运动矢量解码包括确定所使用的运动矢量预测结果的数量Nmax并且检索按根据Nmax的位数编码后的运动矢量预测结果索引。与图3的模块317类似,运动矢量解码模块410生成Nmax个运动矢量预测结果的集合。以下参考图5和6所述的实施例同样适用。在毫无丢失地接收到位流的情况下,解码器生成与编码器完全相同的运动矢量预测结果的集合。在丢失的情况下,可能无法生成运动矢量预测结果的集合并且因此无法正确地对与当前块相关联的运动矢量进行解码。然而,由于解码器可以***地检索到对运动矢量预测结果的索引进行编码所使用的位数,因此即使在丢失的情况下也总是可以进行位流的解析。
一旦获得了当前块的运动矢量预测结果的索引,则在没有发生丢失的情况下,可以对与当前块相关联的运动矢量的实际值进行解码并且使用该实际值来应用逆运动补偿(406)。从参考图像(408)提取由解码后的运动矢量表示的参考区域以最终应用逆运动补偿406。
在应用了帧内预测的情况下,利用模块405应用逆帧内预测。
最终,获得了解码块。与在编码器处应用的去块滤波器315类似,应用去块滤波器407。最终,解码器40提供解码后的视频信号409。
图5详细说明本发明的第一实施例中的运动矢量预测结果或运动矢量候选的集合的生成。图5所示的算法的所有步骤可以以软件形式实现并且由装置1000的中央处理单元1111来执行。
图5示出适用于具有在参考图像中指定参考区域的关联运动矢量的给定要编码的当前块的流程图。
首先,在步骤S500中获得运动矢量预测结果的初始集合L1。该集合L1包括N个候选。在实施例中,运动矢量预测结果的初始集合包括根据参考图1已经说明的运动矢量预测方案AMVP所选择的运动矢量候选(例如,图1的矢量V0~V3以及根据V1、V2和V3计算出的中值矢量)。因此,N的最大值为5。
优选地,运动矢量预测结果的初始集合L1仅包含彼此不同的运动矢量。以图1为例,应仅将运动矢量V0、V1和中值矢量保持在L1中,并且运动矢量预测结果的数量为N=3。
在可选实施例中,可以应用用于选择已计算出的运动矢量、并且根据可用的运动矢量计算其它运动矢量(即,平均值、中间值等)以形成运动矢量预测结果的初始集合L1的任何其它方案。
在又一可选实施例中,运动矢量预测结果的初始集合L1为空并且N=0。
在以下的步骤S502中,获得要使用的候选运动矢量预测结果的目标数量Nmax。Nmax可以是针对要编码的整个数字图像序列预先确定的(例如,Nmax=4),或者可以根据要编码的当前块或该要编码的当前块所属于的编码单位(例如,片)的编码参数来选择的。
例如,数量Nmax可以依赖于应用于处理中的当前块所属于的宏块的变换的大小:例如,对于施加于2p+1×2p+1的块的变换,Nmax=p。
在本实施例中对运动矢量预测结果的索引进行编码要使用的位数k与Nmax直接有关:k=INTsup(log2(Nmax)),其中INTsup(x)是紧接着值x的整数。优选地,Nmax应当是2的幂(Nmax=2k),从而使用能够在k位上编码的所有索引。有利地,使用发信令所使用的所有位从而能够指定各种运动矢量预测结果并且提高压缩。
可选地,在确定了不同的运动矢量预测结果的数量Nmax之后,可以使用表示运动矢量预测结果的索引的任意类型的编码。特别地,可以使用诸如霍夫曼(Huffman)编码或算术编码等的任意类型的熵编码。此外,还可以使用诸如Rice-Golomb或一元编码等的前缀型编码来对索引进行编码。
接着,在步骤S503中测试集合L1中的运动矢量预测结果的数量N是否高于Nmax。
在回答为肯定的情况下,在测试S503之后进入从L1中选择运动矢量预测结果候选的步骤S504,之后在步骤S506中从L1中除去所选择的运动矢量预测结果候选以形成运动矢量预测结果的修改集合L2。
根据例如距离标准的除去标准来应用步骤S504的选择。例如,集合L1包括运动矢量预测结果{V1,….,VN},其中如图8所示,各运动矢量预测结果是由其在坐标系的X轴和Y轴上的分量或坐标所表示的矢量。
在实施例中,步骤S504通过如下计算距离来确定L1的各矢量Vk和除Vk自身以外的各其它矢量Vn之间的距离:d(Vk,Vn)=|Vkx-Vnx|+|Vky-Vny|,其中|a|表示a的绝对值。以图8为例,矢量V的坐标为(3,2),矢量V’的坐标为(4,2)并且V”的坐标为(3,3)。在该示例中,d(V,V’)=d(V,V”)=1,因而V’和V”相对于矢量V位于相同距离处,而d(V’,V”)=2。
可选地,可以应用距离的计算所使用的任何其它类型的度量。
得到d(Vp,Vq)的最小距离表示集合L1中的两个最近矢量Vp、Vq,因此选择这两个矢量的其中一个以进行除去。针对这两个矢量的其中一个的选择可以基于这两个矢量中的每一个到修改集合L1中的剩余运动预测矢量的距离:选择Vp和Vq中的相对于集合L1中的其它矢量的距离最小的矢量来进行除去。
效果是确保修改集合L2中的剩余矢量之间的距离最大,从而使得能够使用尽可能不同或多样的运动矢量预测结果。
在除去了所选择的矢量之后,N的值递减(S508),然后将N与Nmax进行比较(S510)。在N的值尚未达到Nmax的情况下(针对测试S510的回答为“否”),重复步骤S504~S510。否则,在N达到Nmax的情况下,在步骤S510之后进入以下所述的步骤S522。
在针对测试S503的回答为“否”的情况下,测试S512检查N是否低于Nmax。在回答为否定的情况下、即在N=Nmax的情况下,在测试S512之后进入以下所述的步骤S522。
在针对测试S512的回答为“是”的情况下、即在N严格低于Nmax的情况下,在测试S512之后进入步骤S514,其中该步骤S514获得或生成附加运动矢量预测结果候选。实际上,从运动矢量预测结果的初始集合L1开始,可以按预定顺序添加其它候选作为运动矢量预测结果,以形成运动矢量预测结果的修改集合L2。以图7为例,可以添加块710、720、730和740的运动矢量作为可能运动矢量预测结果。此外,可以添加S500中没有选择的770、760、750中的两个预测结果作为可能运动矢量预测结果。
针对各可能运动矢量预测结果候选MV,检查运动矢量预测结果MV是否不同于已存储在集合L2中的所有运动矢量预测结果候选。
在例如作为图7的块710、720、730、740、750、760和770的运动矢量所考虑的各可能运动矢量候选等于集合L2的运动矢量预测结果的情况下,在步骤S514中计算新的“虚拟”运动矢量预测结果候选。
这些运动矢量预测结果候选由于不是当前图像或参考图像的其它块的运动矢量因而被称为虚拟的。这些虚拟运动矢量预测结果例如是通过添加偏移量来根据现有运动矢量预测结果计算出的。例如,根据坐标为(MVx,MVy)的集合L2的运动矢量MV,可以通过向其坐标加上/减去偏移量off来计算出四个虚拟运动矢量预测结果:MV’(MVx±off,MVy±off)。通常,可以将off设置为等于1或2。
可选地,可以应用运动矢量预测结果MV的分量的其它变形以获得虚拟运动矢量预测结果,从而获得相对于现有运动矢量预测结果不同的运动矢量预测结果,从而增加压缩效率。
例如,可以分别使用两个值offx和offy来独立修改运动矢量MV的分量,并且可以将offx或offy设置为0。
在实施例中,offx和offy这两者与相应的分量成比例:offx=aMVx并且offy=bMVy,其中a和b通常小于0.5。在需要的情况下,将修改后的坐标MVx和MVy四舍五入为最近整数值,从而表示像素的网格上的位移。
在实施例中,将预定规范的补充运动矢量加至矢量MV,其中该补充矢量具有与运动矢量MV相同的方向,如图8所示:将补充矢量850加至矢量820。
在又一可选实施例中,如下计算集合L2的运动矢量的方差:
其中,表示L2的矢量的MVx坐标的平均值并且表示L2的矢量的MVy坐标的平均值。然后,通过将计算出的值var与预定阈值T进行比较来选择偏移量off。T可以等于50/L2。在var低于T的情况下,值off小(例如off=1);在var高于T的情况下,将off设置为较大值(例如off=3)。此外,同样在本实施例中,可以针对各分量计算不同的值offx或offy。
在步骤S516中将步骤S514中获得的一个运动矢量预测结果添加至运动矢量预测结果的集合L2,并且数量N增加1(步骤S518)。
接着,在步骤S520中检查N是否等于Nmax。在回答为否定的情况下,重复步骤S514~S520。
在回答为肯定的情况下,达到了所确定的运动矢量预测结果候选的目标数量Nmax,并且在步骤S520之后在编码器处进行从集合L2中选择当前块的最佳运动矢量预测结果的步骤S522。例如,应用率失真优化标准以选择最佳运动矢量预测结果MVi,从而对当前块的运动矢量进行编码。
在编码器处,在步骤S524中,对运动残差(即,当前块的运动矢量和所选择的运动矢量预测结果之间的差)、以及所选择的运动矢量预测结果的指示进行编码。例如,使用k=INTsup(log2(Nmax))位来对L2的所选择的运动矢量预测结果MVi的索引i进行编码。
可选地,可以应用索引i的熵编码。
在又一可选例中,可以使用诸如Rice-Golomb编码等的前缀型编码来对索引i进行编码,其中使用之后跟着“0”的i个“1”来对各值i进行编码。
在无需进行步骤S522和S524的情况下,图5的算法还可以通过解码器生成给定块的运动矢量预测结果或运动矢量候选的集合来实现。
在解码器处,在得知Nmax并由此得知对索引i进行了编码的位数k的情况下,从位流获得针对给定要解码的块的所选择的运动矢量预测结果MVi的索引i。同样地实现步骤S500~S518以获得运动矢量预测结果的集合L2,由此从位流解码得到的索引i指定编码器实际使用的运动矢量预测结果。
在传输期间发生损失的情况下,由于解码器可以***地检索到数量Nmax,因此即使根据包损失、在解码器处可能无法获得运动矢量预测结果的完整集合L2,也可以***地对接收到的位流进行解析以提取指定所选择的运动矢量预测结果的索引i。
图6详细说明本发明的第二实施例中的运动矢量预测结果或运动矢量候选的集合的生成。图6所示的算法的所有步骤可以以软件形式来实现并且由装置1000的中央处理单元1111来执行。
图6示出适用于具有在参考图像中指定参考区域的关联运动矢量的给定要编码的当前块的流程图。
首先,与图5的步骤S502类似,在步骤S600中确定要使用的运动矢量预测结果候选的目标数量Nmax。
在实施例中,Nmax是2k的形式,以使得可以在k位上编码的各索引值与可能运动矢量预测结果相对应。
例如,为了使用提出5个运动矢量预测结果的AMVP方案的所有运动矢量预测结果,需要3位来对运动矢量预测结果的索引进行编码。在这种情况下,优选为Nmax=23=8。
在步骤S602中,获得运动矢量预测结果候选的初始集合L1。例如,选择AMVP的N=5个运动矢量预测结果的初始集合。
对运动矢量预测结果的初始集合应用缩减处理以除去重复值,从而获得包含N1个元素的运动矢量预测结果的缩减集合。优选地,将缩减处理之后的各剩余矢量的重复值的数量记录和存储在存储器中以随后在以下所述的步骤S612中使用。
接着,检查N1是否高于或等于运动矢量预测结果的目标数量Nmax(测试S606)。可以指出,针对该测试的肯定结果仅在算法以运动矢量的数量比Nmax大的运动矢量预测结果的第一集合开始的情况下发生。在回答为肯定的情况下,在步骤S606之后进入步骤S630,其中该步骤S630选择集合L1的最初Nmax个运动矢量预测结果候选以形成运动矢量预测结果的集合L2。
在回答为否定的情况下,即在N1低于Nmax的情况下,必须利用附加运动矢量预测结果来补充运动矢量预测结果的该集合。
在步骤S608中,获得运动矢量预测结果候选的第二集合L1’。
运动矢量预测结果候选的第二集合L1’包括第一集合L1的剩余运动矢量预测结果以及例如与如图7所示的参考图像的块710、720、730和740的运动矢量相对应的附加运动矢量。此外,可以添加S600中没有选择的770、760、750中的两个预测结果作为可能运动矢量预测结果。集合L1’的各运动矢量预测结果具有相应的索引。
接着,在步骤S610中向运动矢量预测结果的第二集合应用缩减处理以获得N2个矢量的运动矢量预测结果的缩减第二集合L1”。该缩减处理除去重复值,由此L1”的所有运动矢量预测结果彼此不同。将L1”中所保持的各矢量的重复值的数量记录和存储在存储器中以随后在以下所述的步骤S612中使用。
然后,在步骤S628中检查运动矢量预测结果的数量N2是否高于或等于Nmax。在回答为肯定的情况下,在步骤S628之后进入已经说明的步骤S630。
在回答为否定的情况下,需要向运动矢量预测结果的缩减第二集合L1”添加更多的运动矢量预测结果,以获得Nmax个运动矢量预测结果的最终集合。
在测试S628之后,在回答为否定的情况下,在步骤S612中向运动矢量预测结果的缩减第二集合L1”的各剩余运动矢量预测结果候选指派重要度值。
在可选实施例中,在针对测试S606的回答为否定的情况下,在测试S606之后直接进入步骤S612。
在本实施例中,使用在步骤S604和S610期间计算和存储的给定运动矢量预测结果的重复值的数量来将重要度值作为给定运动矢量预测结果的重复值的数量进行计算。以图1为例,两个矢量V0和V3相等,因而矢量V0的重要度值等于2。
在可选实施例中,可以将重要度值作为相对于所考虑的矢量的集合中的代表矢量(诸如该集合的矢量的平均值或该集合的矢量的中间值等)的距离的函数来计算。然后,可以将重要度作为该集合Vn的给定矢量相对于代表矢量的距离的倒数来计算:矢量Vn越接近该集合的代表值,Vn的重要度越高。
然后,在步骤S614中,根据重要度值递减的顺序对剩余的N2个运动矢量预测结果候选排序。在几个运动矢量预测结果具有相同的重要度值的情况下,可以根据这些运动矢量预测结果的索引的递增顺序来对它们排序。
向重新排序后的运动矢量预测结果重新指派递增索引{V0,V1,…,VN2-1}。
在下一步骤S616中,将变量n初始化为0并且将变量N初始化为N2,这是重新排序后的集合中的运动矢量预测结果的当前数量。
接着,在步骤S616之后的步骤S618中,向重新排序后的集合添加虚拟运动矢量预测结果候选。在本实施例中,根据基于重要度排序后的剩余运动矢量预测结果来计算虚拟运动矢量预测结果。考虑重新排序后的集合的索引n的运动矢量预测结果(坐标为(Vnx,Vny)的Vn)。根据Vn,可以通过向Vn的一个或两个坐标连续加上+off和-off来计算由坐标所定义的以下列出的8个虚拟运动矢量预测结果:{(Vnx+off,Vny),(Vnx-off,Vny),(Vnx+off,Vny+off),(Vnx+off,Vny-off),(Vnx-off,Vny+off),(Vnx-off,Vny-off),(Vnx,Vny+off),(Vnx,Vny-off)}。
可以使用从运动数量预测结果Vn开始的虚拟运动矢量预测结果(特别是以上针对图5的步骤S514所述的替代值)的任何替代计算。
将虚拟运动矢量预测结果的该列表添加至运动矢量预测结果的当前集合。
在步骤S620中除去重复值。
在除去了可能的重复值之后,在步骤S622中将值N更新为运动矢量预测结果的剩余数量。
接着,在步骤S624中检查N是否高于或等于Nmax。在回答为否定的情况下,在步骤S624之后进行使值n增加1的步骤S626,并且重复步骤S618~S624。
在针对步骤S624的回答为肯定的情况下,获得了足够的运动矢量预测结果。在步骤S624之后进入步骤S630,其中在该步骤S630中,选择最初Nmax个运动矢量候选以构成Nmax个矢量的运动矢量预测结果的最终集合L2。
在编码器处,在步骤S630之后进入步骤S632,其中在该步骤S632中,与图5的步骤S522类似,根据诸如率失真标准等的预定标准来在当前块的运动矢量预测结果的集合中选择最佳运动矢量预测结果MVi。
在步骤S632之后进入步骤S634,其中在该步骤S634中,与图5的步骤S524类似,使用运动矢量预测结果MVi来对当前块的运动矢量进行编码。例如,使用k位来对运动矢量预测结果MVi的索引i进行编码,其中k是根据Nmax计算出的、即k=INTsup(log2(Nmax))。
可选地,可以应用索引i的熵编码。
在又一可选例中,可以使用诸如Rice-Golomb编码等的前缀型编码来对索引i进行编码,其中使用之后跟着“0”的i个“1”来对各值i进行编码。
在解码器侧,除了省略了步骤S632和S634以外,图6的算法还可以通过解码器生成给定块的运动矢量预测结果或运动矢量候选的集合来实现。
在解码器处,在得知Nmax并由此得知对索引i进行了编码的位数k的情况下,从位流获得给定要编码的块的所选择的运动矢量预测结果MVi的索引i。类似地执行步骤S600~S630以获得运动矢量预测结果的集合L2,由此从位流解码得到的索引i指定编码器实际使用的运动矢量预测结果。
在传输期间发生损失的情况下,由于解码器可以***地检索到数量Nmax,因此即使根据包丢失、在解码器处可能无法获得运动矢量预测结果的完整集合L2,也可以***地对接收到的位流进行解析以提取指定所选择的运动矢量预测结果的索引i。
上述实施例基于输入图像的块分割,但更通常地,可以考虑要编码或解码的任何类型的图像部分(特别是矩形部分或者更通常为几何部分)。
可以设想例如以下等的其它可选实施例:以包括比被确定为Nmax的运动矢量预测结果的目标数量大的N个矢量的运动矢量预测结果候选的大集合开始,并且应用聚类算法以缩减矢量的集合。例如,可以应用分割以根据该集合的矢量之间的预先定义的距离来将该集合缩减为该集合的Nmax个最具代表性的矢量。
更通常地,本领域技术人员可以容易地想到的上述实施例的任何变形或改进均应被视为落在本发明的范围内。
本申请要求2011年1月12日提交的英国专利申请1100462.9的优先权,在此通过引用包含其全部内容。
Claims (6)
1.一种用于将数字图像序列编码成位流的方法,其中图像的至少一部分是通过相对于参考图像部分的运动补偿来进行编码的,
其中,针对至少一个要编码的图像部分,所述方法包括以下步骤:
-获得所述要编码的图像部分要使用的运动信息预测结果的目标数量;以及
-生成步骤,用于使用所获得的运动信息预测结果的目标数量来生成运动信息预测结果的集合,
其中,所述生成步骤包括以下步骤:
-获得运动信息预测结果的第一集合,其中所述第一集合的各运动信息预测结果同与编码中的图像部分具有预定的空间和/或时间关系的图像部分相关联;
-通过除去一个或多个重复的运动信息预测结果来修改运动信息预测结果的所述第一集合以获得包含第一数量的运动信息预测结果的运动信息预测结果的缩减集合,其中所述缩减集合的各运动信息预测结果不同于所述缩减集合的任何其它运动信息预测结果;
-在获得了运动信息预测结果的所述缩减集合之后,将运动信息预测结果的所述第一数量与所获得的目标数量进行比较;以及
-在所述第一数量低于所述目标数量的情况下,
-获得附加运动信息预测结果,以及
-将所述附加运动信息预测结果添加至运动信息预测结果的所述缩减集合。
2.根据权利要求1所述的方法,其中,所述第一集合的运动信息预测结果是具有从编码中图像或参考图像的图像部分获得的运动矢量的实际运动信息预测结果,以及所述附加运动信息预测结果是不具有从所述编码中图像或所述参考图像的图像部分获得的运动矢量的虚拟运动信息预测结果。
3.根据权利要求2所述的方法,其中,还包括以下步骤:测试所述缩减集合中的运动信息预测结果的数量(N;N1)是否低于所述目标数量(Nmax)(S512;S606),并且在低于所述目标数量(Nmax)的情况下,首先添加一个或多个其它实际运动信息预测结果,然后再次测试在添加了所述其它实际运动信息预测结果之后的运动信息预测结果的数量(N2)是否低于所述目标数量(Nmax),并且在低于所述目标数量(Nmax)的情况下,添加一个或多个所述虚拟运动信息预测结果。
4.一种用于对包括编码后的数字图像序列的位流进行解码的方法,其中图像的至少一部分是通过相对于参考图像的运动补偿来进行编码的,其中,针对至少一个要解码的图像部分,所述方法包括以下步骤:
-获得所述要解码的图像部分要使用的运动信息预测结果的目标数量;以及
-生成步骤,用于使用所获得的运动信息预测结果的目标数量来生成运动信息预测结果的集合,
其中,所述生成步骤包括以下步骤:
-获得运动信息预测结果的第一集合,其中所述第一集合的各运动信息预测结果同与解码中的图像部分具有预定的空间和/或时间关系的图像部分相关联;
-通过除去一个或多个重复的运动信息预测结果来修改运动信息预测结果的所述第一集合以获得包含第一数量的运动信息预测结果的运动信息预测结果的缩减集合,其中所述缩减集合的各运动信息预测结果不同于所述缩减集合的任何其它运动信息预测结果;
-在获得了运动信息预测结果的所述缩减集合之后,将运动信息预测结果的所述第一数量与所获得的目标数量进行比较;以及
-在所述第一数量低于所述目标数量的情况下,
-获得附加运动信息预测结果,以及
-将所述附加运动信息预测结果添加至运动信息预测结果的所述缩减集合。
5.一种用于将数字图像序列编码成位流的装置,其中图像的至少一部分是通过相对于参考图像部分的运动补偿来进行编码的,所述装置包括以下部件:
用于获得要编码的图像部分要使用的运动信息预测结果的目标数量的部件;以及
生成部件,用于使用所获得的运动信息预测结果的目标数量来生成运动信息预测结果的集合,
其中,所述生成部件包括以下部件:
用于获得运动信息预测结果的第一集合的部件,其中所述第一集合的各运动信息预测结果同与编码中的图像部分具有预定的空间和/或时间关系的图像部分相关联;
用于通过除去一个或多个重复的运动信息预测结果来修改运动信息预测结果的所述第一集合以获得包含第一数量的运动信息预测结果的运动信息预测结果的缩减集合的部件,其中所述缩减集合的各运动信息预测结果不同于所述缩减集合的任何其它运动信息预测结果;以及
用于在获得了运动信息预测结果的所述缩减集合之后、将运动信息预测结果的所述第一数量与所获得的目标数量进行比较的部件,并且该部件还用于:
在所述第一数量低于所述目标数量的情况下,
获得附加运动信息预测结果,以及
将所述附加运动信息预测结果添加至运动信息预测结果的所述缩减集合。
6.一种用于对包括编码后的数字图像序列的位流进行解码的装置,其中图像的至少一部分是通过相对于参考图像的运动补偿来进行编码的,所述装置包括以下部件:
用于获得要解码的图像部分要使用的运动信息预测结果的目标数量的部件;以及
生成部件,用于使用所获得的运动信息预测结果的目标数量来生成运动信息预测结果的集合,
其中,所述生成部件包括以下部件:
用于获得运动信息预测结果的第一集合的部件,其中所述第一集合的各运动信息预测结果同与解码中的图像部分具有预定的空间和/或时间关系的图像部分相关联;
用于通过除去一个或多个重复的运动信息预测结果来修改运动信息预测结果的所述第一集合以获得包含第一数量的运动信息预测结果的运动信息预测结果的缩减集合的部件,其中所述缩减集合的各运动信息预测结果不同于所述缩减集合的任何其它运动信息预测结果;以及
用于在获得了运动信息预测结果的所述缩减集合之后、将运动信息预测结果的所述第一数量与所获得的目标数量进行比较的部件,并且该部件还用于:
在所述第一数量低于所述目标数量的情况下,
获得附加运动信息预测结果,以及
将所述附加运动信息预测结果添加至运动信息预测结果的所述缩减集合。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
GB1100462.9 | 2011-01-12 | ||
GB1100462.9A GB2487200A (en) | 2011-01-12 | 2011-01-12 | Video encoding and decoding with improved error resilience |
CN201280005359.7A CN103314586B (zh) | 2011-01-12 | 2012-01-11 | 错误恢复改进的视频编码和解码 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201280005359.7A Division CN103314586B (zh) | 2011-01-12 | 2012-01-11 | 错误恢复改进的视频编码和解码 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN107529063A true CN107529063A (zh) | 2017-12-29 |
CN107529063B CN107529063B (zh) | 2020-03-31 |
Family
ID=43664110
Family Applications (17)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201611030750.9A Pending CN107105284A (zh) | 2011-01-12 | 2012-01-11 | 数字图像序列编码方法和位流解码方法 |
CN201611032061.1A Pending CN106851309A (zh) | 2011-01-12 | 2012-01-11 | 错误恢复改进的视频编码和解码 |
CN201611031996.8A Pending CN106851308A (zh) | 2011-01-12 | 2012-01-11 | 数字图像序列编码方法和位流解码方法 |
CN201280005312.0A Active CN103314593B (zh) | 2011-01-12 | 2012-01-11 | 错误恢复改进的视频编码和解码 |
CN201710780655.9A Active CN107483958B (zh) | 2011-01-12 | 2012-01-11 | 编码方法、编码装置、解码方法和解码装置 |
CN201280005359.7A Active CN103314586B (zh) | 2011-01-12 | 2012-01-11 | 错误恢复改进的视频编码和解码 |
CN201611030759.XA Pending CN107105272A (zh) | 2011-01-12 | 2012-01-11 | 错误恢复改进的视频编码和解码 |
CN201610543512.1A Active CN106210734B (zh) | 2011-01-12 | 2012-01-11 | 将图像序列编码成位流以及对位流进行解码的方法和装置 |
CN201710780153.6A Pending CN107454399A (zh) | 2011-01-12 | 2012-01-11 | 编码方法、编码装置、解码方法和解码装置 |
CN201611030756.6A Pending CN107105285A (zh) | 2011-01-12 | 2012-01-11 | 数字图像序列编码方法和位流解码方法 |
CN201710780126.9A Active CN107454398B (zh) | 2011-01-12 | 2012-01-11 | 编码方法、编码装置、解码方法和解码装置 |
CN201710780662.9A Active CN107529063B (zh) | 2011-01-12 | 2012-01-11 | 编码方法、编码装置、解码方法和解码装置 |
CN201611030757.0A Pending CN106851307A (zh) | 2011-01-12 | 2012-01-11 | 数字图像序列编码方法和位流解码方法 |
CN2012800053008A Pending CN103314585A (zh) | 2011-01-12 | 2012-01-11 | 错误恢复改进的视频编码和解码 |
CN201280005380.7A Active CN103329528B (zh) | 2011-01-12 | 2012-01-11 | 错误恢复改进的视频编码和解码 |
CN201710781118.6A Pending CN107454423A (zh) | 2011-01-12 | 2012-01-11 | 编码方法、编码装置、解码方法和解码装置 |
CN201611032062.6A Pending CN106851310A (zh) | 2011-01-12 | 2012-01-11 | 错误恢复改进的视频编码和解码 |
Family Applications Before (11)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201611030750.9A Pending CN107105284A (zh) | 2011-01-12 | 2012-01-11 | 数字图像序列编码方法和位流解码方法 |
CN201611032061.1A Pending CN106851309A (zh) | 2011-01-12 | 2012-01-11 | 错误恢复改进的视频编码和解码 |
CN201611031996.8A Pending CN106851308A (zh) | 2011-01-12 | 2012-01-11 | 数字图像序列编码方法和位流解码方法 |
CN201280005312.0A Active CN103314593B (zh) | 2011-01-12 | 2012-01-11 | 错误恢复改进的视频编码和解码 |
CN201710780655.9A Active CN107483958B (zh) | 2011-01-12 | 2012-01-11 | 编码方法、编码装置、解码方法和解码装置 |
CN201280005359.7A Active CN103314586B (zh) | 2011-01-12 | 2012-01-11 | 错误恢复改进的视频编码和解码 |
CN201611030759.XA Pending CN107105272A (zh) | 2011-01-12 | 2012-01-11 | 错误恢复改进的视频编码和解码 |
CN201610543512.1A Active CN106210734B (zh) | 2011-01-12 | 2012-01-11 | 将图像序列编码成位流以及对位流进行解码的方法和装置 |
CN201710780153.6A Pending CN107454399A (zh) | 2011-01-12 | 2012-01-11 | 编码方法、编码装置、解码方法和解码装置 |
CN201611030756.6A Pending CN107105285A (zh) | 2011-01-12 | 2012-01-11 | 数字图像序列编码方法和位流解码方法 |
CN201710780126.9A Active CN107454398B (zh) | 2011-01-12 | 2012-01-11 | 编码方法、编码装置、解码方法和解码装置 |
Family Applications After (5)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201611030757.0A Pending CN106851307A (zh) | 2011-01-12 | 2012-01-11 | 数字图像序列编码方法和位流解码方法 |
CN2012800053008A Pending CN103314585A (zh) | 2011-01-12 | 2012-01-11 | 错误恢复改进的视频编码和解码 |
CN201280005380.7A Active CN103329528B (zh) | 2011-01-12 | 2012-01-11 | 错误恢复改进的视频编码和解码 |
CN201710781118.6A Pending CN107454423A (zh) | 2011-01-12 | 2012-01-11 | 编码方法、编码装置、解码方法和解码装置 |
CN201611032062.6A Pending CN106851310A (zh) | 2011-01-12 | 2012-01-11 | 错误恢复改进的视频编码和解码 |
Country Status (13)
Country | Link |
---|---|
US (14) | US11146792B2 (zh) |
EP (10) | EP3070944B1 (zh) |
JP (12) | JP5847844B2 (zh) |
KR (15) | KR101918437B1 (zh) |
CN (17) | CN107105284A (zh) |
BR (2) | BR122019026393B1 (zh) |
ES (7) | ES2753760T3 (zh) |
GB (3) | GB2487200A (zh) |
HU (5) | HUE049745T2 (zh) |
PL (5) | PL3070944T3 (zh) |
RU (6) | RU2600530C2 (zh) |
TR (1) | TR201907405T4 (zh) |
WO (4) | WO2012095466A1 (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2020043004A1 (zh) * | 2018-08-28 | 2020-03-05 | 华为技术有限公司 | 候选运动信息列表的构建方法、帧间预测方法及装置 |
US12015780B2 (en) | 2018-08-28 | 2024-06-18 | Huawei Technologies Co., Ltd. | Inter prediction method and apparatus, video encoder, and video decoder |
Families Citing this family (27)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101459714B1 (ko) * | 2009-10-28 | 2014-11-13 | 에스케이텔레콤 주식회사 | 공간 분할을 이용한 움직임 벡터 부호화/복호화 방법 및 장치와 그를 이용한 영상 부호화/복호화 방법 및 장치 |
KR101768207B1 (ko) | 2010-01-19 | 2017-08-16 | 삼성전자주식회사 | 축소된 예측 움직임 벡터의 후보들에 기초해 움직임 벡터를 부호화, 복호화하는 방법 및 장치 |
GB2487200A (en) | 2011-01-12 | 2012-07-18 | Canon Kk | Video encoding and decoding with improved error resilience |
GB2493755B (en) | 2011-08-17 | 2016-10-19 | Canon Kk | Method and device for encoding a sequence of images and method and device for decoding a sequence of images |
GB2511288A (en) * | 2013-01-09 | 2014-09-03 | Canon Kk | Method, device, and computer program for motion vector prediction in scalable video encoder and decoder |
GB2512829B (en) | 2013-04-05 | 2015-05-27 | Canon Kk | Method and apparatus for encoding or decoding an image with inter layer motion information prediction according to motion information compression scheme |
CN103475883B (zh) * | 2013-09-26 | 2016-07-06 | 北京航空航天大学 | 一种基于运动区域划分的hevc运动估计提前终止方法 |
CN104410864B (zh) * | 2014-11-07 | 2018-08-14 | 太原科技大学 | Hevc中基于残差能量的错误隐藏方法 |
US9955160B1 (en) * | 2015-04-27 | 2018-04-24 | Harmonic, Inc. | Video encoding using adaptive pre-filtering |
US9787987B2 (en) | 2015-04-27 | 2017-10-10 | Harmonic, Inc. | Adaptive pre-filtering based on video complexity and output bit rate |
US10271064B2 (en) | 2015-06-11 | 2019-04-23 | Qualcomm Incorporated | Sub-prediction unit motion vector prediction using spatial and/or temporal motion information |
JP6727791B2 (ja) * | 2015-11-05 | 2020-07-22 | キヤノン株式会社 | 追尾制御装置および追尾制御方法、撮像装置 |
CN111526361B (zh) | 2016-02-06 | 2022-05-13 | 华为技术有限公司 | 图像编解码方法及装置 |
DE102016223079B4 (de) * | 2016-11-23 | 2024-03-28 | Robert Bosch Gmbh | Verfahren und Vorrichtung zur Ermittlung einer Zuordnung zwischen einem Matrixelement einer Matrix und einem Vergleichsmatrixelement einer Vergleichsmatrix mittels Korrespondenztabelle |
US10735761B2 (en) * | 2017-05-19 | 2020-08-04 | Mediatek Inc | Method and apparatus of video coding |
CN109495738B (zh) * | 2017-09-12 | 2023-02-07 | 华为技术有限公司 | 一种运动信息的编解码方法和装置 |
SG11202001307SA (en) | 2017-10-06 | 2020-03-30 | Nestle Sa | Container, preparation machine and system using a binary code for encoding preparation information |
KR102486879B1 (ko) | 2018-04-12 | 2023-01-11 | 삼성디스플레이 주식회사 | 디스플레이 장치 및 그 제조방법 |
WO2020084473A1 (en) | 2018-10-22 | 2020-04-30 | Beijing Bytedance Network Technology Co., Ltd. | Multi- iteration motion vector refinement |
CN117459722A (zh) | 2018-11-12 | 2024-01-26 | 北京字节跳动网络技术有限公司 | 组合帧间-帧内预测的简化 |
CN113056914B (zh) | 2018-11-20 | 2024-03-01 | 北京字节跳动网络技术有限公司 | 基于部分位置的差计算 |
JP7433038B2 (ja) | 2018-12-19 | 2024-02-19 | キヤノンメディカルシステムズ株式会社 | 医用情報匿名化システム、及び匿名化方法設定装置 |
KR102635518B1 (ko) | 2019-03-06 | 2024-02-07 | 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 | 변환된 단예측 후보의 사용 |
KR102184913B1 (ko) * | 2019-03-12 | 2020-12-01 | 한양대학교 산학협력단 | 원형의 직교 진폭 변조 신호 성상도를 생성하는 방법 및 장치 |
BR112021023392A2 (pt) * | 2019-06-21 | 2022-04-19 | Samsung Electronics Co Ltd | Método, realizado por um aparelho de decodificação, para decodificação de informação de movimento, aparelho para decodificar informação de movimento, método realizado por um aparelho de codificação, de codificação de informação de movimento, e aparelho para codificar informação de movimento |
EP3981157A4 (en) * | 2019-07-11 | 2022-07-06 | Huawei Technologies Co., Ltd. | MOTION FIELD STORAGE OPTIMIZATION FOR LINE BUFFER |
WO2023194603A1 (en) * | 2022-04-08 | 2023-10-12 | Interdigital Ce Patent Holdings, Sas | Motion information candidates re-ordering |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1575590A (zh) * | 2001-10-23 | 2005-02-02 | 汤姆森特许公司 | 使用非逐行扫描伪双向预测图像的快动作特技模式 |
US20070047649A1 (en) * | 2005-08-30 | 2007-03-01 | Sanyo Electric Co., Ltd. | Method for coding with motion compensated prediction |
CN101350927A (zh) * | 2008-07-29 | 2009-01-21 | 北京中星微电子有限公司 | 帧内预测选择最优预测模式的方法及装置 |
WO2009115901A2 (en) * | 2008-03-19 | 2009-09-24 | Nokia Corporation | Combined motion vector and reference index prediction for video coding |
WO2010146314A1 (fr) * | 2009-06-19 | 2010-12-23 | France Telecom | Codage de vecteurs mouvement par competition de predicteurs |
CN101931803A (zh) * | 2009-06-26 | 2010-12-29 | 华为技术有限公司 | 视频图像运动信息获取方法、装置及设备、模板构造方法 |
Family Cites Families (102)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
GB1100461A (en) | 1963-10-02 | 1968-01-24 | Automatic Telephone & Elect | Improvements in or relating to magnetic core matrix data storage devices |
JP3265590B2 (ja) | 1991-07-24 | 2002-03-11 | 松下電器産業株式会社 | 画像の動きベクトル検出装置及び画像揺れ補正装置 |
JPH0620050A (ja) | 1992-07-03 | 1994-01-28 | Matsushita Electric Ind Co Ltd | 動画像信号の復号化装置と推定動きベクトル算出方法 |
JPH0730896A (ja) | 1993-06-25 | 1995-01-31 | Matsushita Electric Ind Co Ltd | 動きベクトル符号化及び復号化方法 |
US5552673A (en) | 1994-10-04 | 1996-09-03 | Kenwood; Michael | Theft resistant compact fluorescent lighting system |
US5675382A (en) | 1996-04-08 | 1997-10-07 | Connectix Corporation | Spatial compression and decompression for video |
JP3263807B2 (ja) | 1996-09-09 | 2002-03-11 | ソニー株式会社 | 画像符号化装置および画像符号化方法 |
WO1998042137A1 (en) | 1997-03-14 | 1998-09-24 | Cselt-Centro Studi E Laboratori Telecomunicazioni S.P.A. | Circuit for motion estimation in digitised video sequence encoders |
US5978048A (en) * | 1997-09-25 | 1999-11-02 | Daewoo Electronics Co., Inc. | Method and apparatus for encoding a motion vector based on the number of valid reference motion vectors |
JPH11112985A (ja) * | 1997-09-29 | 1999-04-23 | Sony Corp | 画像符号化装置、画像符号化方法、画像復号装置、画像復号方法、および、伝送媒体 |
JP3407287B2 (ja) * | 1997-12-22 | 2003-05-19 | 日本電気株式会社 | 符号化復号システム |
DE69901525T2 (de) | 1998-02-13 | 2003-01-09 | Koninklijke Philips Electronics N.V., Eindhoven | Verfahren und vorrichtung zur videokodierung |
JP3841132B2 (ja) * | 1998-06-01 | 2006-11-01 | 株式会社ソニー・コンピュータエンタテインメント | 入力位置検出装置及びエンタテインメントシステム |
CN1288641A (zh) * | 1998-09-22 | 2001-03-21 | 松下电器产业株式会社 | 视频信号编码方法、视频信号编码装置及程序记录媒体 |
US7327791B1 (en) | 1999-02-22 | 2008-02-05 | Mitsubishi Denki Kabushiki Kaisha | Video decoding method performing selective error concealment and resynchronization |
US6738423B1 (en) * | 2000-01-21 | 2004-05-18 | Nokia Mobile Phones Ltd. | Method for encoding and decoding video information, a motion compensated video encoder and a corresponding decoder |
US6552673B2 (en) | 2000-02-25 | 2003-04-22 | Texas Instruments Incorporated | Efficient table access for reversible variable length code decoding using a hash function |
EP1152621A1 (en) * | 2000-05-05 | 2001-11-07 | STMicroelectronics S.r.l. | Motion estimation process and system. |
US20050207663A1 (en) * | 2001-07-31 | 2005-09-22 | Weimin Zeng | Searching method and system for best matching motion vector |
US20040125204A1 (en) | 2002-12-27 | 2004-07-01 | Yoshihisa Yamada | Moving picture coding apparatus and moving picture decoding apparatus |
US7248741B2 (en) * | 2002-01-09 | 2007-07-24 | Hiroshi Akimoto | Video sequences correlation and static analysis and scene changing forecasting in motion estimation |
EP1833261A1 (en) | 2002-01-18 | 2007-09-12 | Kabushiki Kaisha Toshiba | Video encoding method and apparatus and video decoding method and apparatus |
KR100492127B1 (ko) * | 2002-02-23 | 2005-06-01 | 삼성전자주식회사 | 적응형 움직임 추정장치 및 추정 방법 |
KR100474285B1 (ko) | 2002-04-08 | 2005-03-08 | 엘지전자 주식회사 | 모션벡터결정방법 |
CN101631247B (zh) | 2002-04-18 | 2011-07-27 | 株式会社东芝 | 运动图像编码/解码方法和装置 |
JP2004023458A (ja) | 2002-06-17 | 2004-01-22 | Toshiba Corp | 動画像符号化/復号化方法及び装置 |
US6925123B2 (en) * | 2002-08-06 | 2005-08-02 | Motorola, Inc. | Method and apparatus for performing high quality fast predictive motion search |
JP4617644B2 (ja) | 2003-07-18 | 2011-01-26 | ソニー株式会社 | 符号化装置及び方法 |
US8064520B2 (en) | 2003-09-07 | 2011-11-22 | Microsoft Corporation | Advanced bi-directional predictive coding of interlaced video |
US7577198B2 (en) | 2003-09-07 | 2009-08-18 | Microsoft Corporation | Number of reference fields for an interlaced forward-predicted field |
US7620106B2 (en) | 2003-09-07 | 2009-11-17 | Microsoft Corporation | Joint coding and decoding of a reference field selection and differential motion vector information |
CN1225127C (zh) * | 2003-09-12 | 2005-10-26 | 中国科学院计算技术研究所 | 一种用于视频编码的编码端/解码端双向预测方法 |
CN100353768C (zh) | 2003-11-26 | 2007-12-05 | 联发科技股份有限公司 | 在视频压缩***中进行运动估测的方法及相关装置 |
WO2005055608A1 (en) | 2003-12-01 | 2005-06-16 | Samsung Electronics Co., Ltd. | Method and apparatus for scalable video encoding and decoding |
EP1727090A1 (en) | 2004-02-27 | 2006-11-29 | Tdvision Corporation S.A. DE C.V. | Method and system for digital decoding 3d stereoscopic video images |
EP1578137A2 (en) | 2004-03-17 | 2005-09-21 | Matsushita Electric Industrial Co., Ltd. | Moving picture coding apparatus with multistep interpolation process |
US7676722B2 (en) | 2004-03-31 | 2010-03-09 | Sony Corporation | Multimedia content delivery using pre-stored multiple description coded video with restart |
WO2006012375A1 (en) | 2004-07-20 | 2006-02-02 | Qualcomm Incorporated | Method and apparatus for motion vector processing |
CN101005620B (zh) * | 2004-09-03 | 2011-08-10 | 微软公司 | 为隔行扫描和逐行扫描视频编码和解码宏块和运动信息中的革新 |
CN1256686C (zh) | 2004-09-15 | 2006-05-17 | 哈尔滨工业大学 | 一种运动估计方法和应用该方法的运动估计电路 |
WO2006033227A1 (ja) | 2004-09-22 | 2006-03-30 | Matsushita Electric Industrial Co., Ltd. | 画像符号化装置 |
KR100679022B1 (ko) | 2004-10-18 | 2007-02-05 | 삼성전자주식회사 | 계층간 필터링을 이용한 비디오 코딩 및 디코딩방법과,비디오 인코더 및 디코더 |
US20060153300A1 (en) * | 2005-01-12 | 2006-07-13 | Nokia Corporation | Method and system for motion vector prediction in scalable video coding |
EP1703736A1 (en) | 2005-03-14 | 2006-09-20 | BRITISH TELECOMMUNICATIONS public limited company | Global motion estimation |
WO2006100820A1 (ja) | 2005-03-22 | 2006-09-28 | Mitsubishi Denki Kabushiki Kaisha | 画像符号化記録読出装置 |
KR100736041B1 (ko) | 2005-06-30 | 2007-07-06 | 삼성전자주식회사 | 에러 은닉 방법 및 장치 |
RU2368095C1 (ru) | 2005-07-22 | 2009-09-20 | Мицубиси Электрик Корпорейшн | Кодер изображения и декодер изображения, способ кодирования изображения и способ декодирования изображения, программа кодирования изображения и программа декодирования изображения и компьютерно-считываемый носитель записи, на котором записана программа кодирования изображения, и компьютерно-считываемый носитель записи, на котором записана программа декодирования изображения |
JP2007074592A (ja) | 2005-09-09 | 2007-03-22 | Sony Corp | 画像処理装置および方法、プログラム、並びに記録媒体 |
KR100712532B1 (ko) | 2005-09-10 | 2007-04-30 | 삼성전자주식회사 | 단일표현과 다중표현 전환을 이용한 동영상 변환부호화장치 및 방법 |
US20070064805A1 (en) | 2005-09-16 | 2007-03-22 | Sony Corporation | Motion vector selection |
US8165205B2 (en) | 2005-09-16 | 2012-04-24 | Sony Corporation | Natural shaped regions for motion compensation |
US7620108B2 (en) * | 2005-09-16 | 2009-11-17 | Sony Corporation | Integrated spatial-temporal prediction |
US8879856B2 (en) | 2005-09-27 | 2014-11-04 | Qualcomm Incorporated | Content driven transcoder that orchestrates multimedia transcoding using content information |
JP2007097028A (ja) * | 2005-09-30 | 2007-04-12 | Oki Electric Ind Co Ltd | 動きベクトル検出方法および動きベクトル検出回路 |
US8325822B2 (en) | 2006-01-20 | 2012-12-04 | Qualcomm Incorporated | Method and apparatus for determining an encoding method based on a distortion value related to error concealment |
JP5004150B2 (ja) * | 2006-02-24 | 2012-08-22 | Kddi株式会社 | 画像符号化装置 |
US8320450B2 (en) | 2006-03-29 | 2012-11-27 | Vidyo, Inc. | System and method for transcoding between scalable and non-scalable video codecs |
JP5188033B2 (ja) | 2006-04-24 | 2013-04-24 | 株式会社日立製作所 | 記録再生装置、送出装置及び伝送システム。 |
CN101064849A (zh) | 2006-04-29 | 2007-10-31 | 鲁海宁 | 动态图像编码方法、装置和计算机可读记录介质 |
US20080002770A1 (en) * | 2006-06-30 | 2008-01-03 | Nokia Corporation | Methods, apparatus, and a computer program product for providing a fast inter mode decision for video encoding in resource constrained devices |
CN100576919C (zh) | 2006-08-08 | 2009-12-30 | 佳能株式会社 | 运动矢量检测设备及运动矢量检测方法 |
DE102006043707A1 (de) * | 2006-09-18 | 2008-03-27 | Robert Bosch Gmbh | Verfahren zur Datenkompression in einer Videosequenz |
CN101155311B (zh) | 2006-09-27 | 2012-09-05 | 中兴通讯股份有限公司 | 一种视频通信中的视频码流错误检测和处理方法 |
KR101383540B1 (ko) | 2007-01-03 | 2014-04-09 | 삼성전자주식회사 | 복수의 움직임 벡터 프리딕터들을 사용하여 움직임 벡터를추정하는 방법, 장치, 인코더, 디코더 및 복호화 방법 |
JP5026092B2 (ja) * | 2007-01-12 | 2012-09-12 | 三菱電機株式会社 | 動画像復号装置および動画像復号方法 |
JP2008193627A (ja) | 2007-01-12 | 2008-08-21 | Mitsubishi Electric Corp | 画像符号化装置、画像復号装置、および画像符号化方法、画像復号方法 |
TW200836130A (en) | 2007-02-16 | 2008-09-01 | Thomson Licensing | Bitrate reduction method by requantization |
JP5025286B2 (ja) | 2007-02-28 | 2012-09-12 | シャープ株式会社 | 符号化装置及び復号装置 |
CN101267567A (zh) | 2007-03-12 | 2008-09-17 | 华为技术有限公司 | 帧内预测、编解码方法及装置 |
WO2008127597A2 (en) * | 2007-04-12 | 2008-10-23 | Thomson Licensing | Method and apparatus for context dependent merging for skip-direct modes for video encoding and decoding |
JP2008283560A (ja) | 2007-05-11 | 2008-11-20 | Canon Inc | 画像処理装置およびその方法 |
US8254450B2 (en) | 2007-08-23 | 2012-08-28 | Nokia Corporation | System and method for providing improved intra-prediction in video coding |
CN100542299C (zh) | 2007-08-31 | 2009-09-16 | 广东威创视讯科技股份有限公司 | 视讯图像错误的掩盖方法 |
EP2048886A1 (en) * | 2007-10-11 | 2009-04-15 | Panasonic Corporation | Coding of adaptive interpolation filter coefficients |
CN100579231C (zh) | 2007-12-18 | 2010-01-06 | 北京中星微电子有限公司 | 一种运动矢量预测方法及装置 |
CN101466036A (zh) * | 2007-12-21 | 2009-06-24 | 北京中电华大电子设计有限责任公司 | 基于avs的运动矢量预测流水并行设计方法 |
CN101252422B (zh) | 2008-03-20 | 2013-06-05 | 中兴通讯股份有限公司 | 物理混合重传指示信道的分配方法 |
JP4990927B2 (ja) | 2008-03-28 | 2012-08-01 | 三星電子株式会社 | 動きベクトル情報の符号化/復号化方法及び装置 |
US20090268821A1 (en) * | 2008-04-29 | 2009-10-29 | The Hong Kong University Of Science And Technology | Block parallel and fast motion estimation in video coding |
JP2010028221A (ja) * | 2008-07-15 | 2010-02-04 | Sony Corp | 動きベクトル検出装置、動きベクトル検出方法、画像符号化装置及びプログラム |
US20100020877A1 (en) | 2008-07-23 | 2010-01-28 | The Hong Kong University Of Science And Technology | Multiple reference frame motion estimation in video coding |
JP5422168B2 (ja) | 2008-09-29 | 2014-02-19 | 株式会社日立製作所 | 動画像符号化方法および動画像復号化方法 |
JP5401071B2 (ja) | 2008-10-09 | 2014-01-29 | 株式会社Nttドコモ | 動画像符号化装置、動画像復号装置、動画像符号化方法、動画像復号方法、動画像符号化プログラム、動画像復号プログラム、動画像処理システムおよび動画像処理方法 |
WO2010043806A2 (fr) * | 2008-10-14 | 2010-04-22 | France Telecom | Codage et decodage avec elimination d'un ou plusieurs predicteurs predetermines |
JP5341104B2 (ja) | 2008-12-08 | 2013-11-13 | パナソニック株式会社 | 画像復号化装置および画像復号化方法 |
KR101590511B1 (ko) | 2009-01-23 | 2016-02-02 | 에스케이텔레콤 주식회사 | 움직임 벡터 부호화/복호화 장치 및 방법과 그를 이용한 영상 부호화/복호화 장치 및 방법 |
US8737475B2 (en) | 2009-02-02 | 2014-05-27 | Freescale Semiconductor, Inc. | Video scene change detection and encoding complexity reduction in a video encoder system having multiple processing devices |
KR20110008653A (ko) | 2009-07-20 | 2011-01-27 | 삼성전자주식회사 | 움직임 벡터 예측 방법과 이를 이용한 영상 부호화/복호화 장치 및 방법 |
US9060176B2 (en) | 2009-10-01 | 2015-06-16 | Ntt Docomo, Inc. | Motion vector prediction in video coding |
US20110090965A1 (en) | 2009-10-21 | 2011-04-21 | Hong Kong Applied Science and Technology Research Institute Company Limited | Generation of Synchronized Bidirectional Frames and Uses Thereof |
CN101860754B (zh) * | 2009-12-16 | 2013-11-13 | 香港应用科技研究院有限公司 | 运动矢量编码和解码的方法和装置 |
CN101777963B (zh) | 2009-12-29 | 2013-12-11 | 电子科技大学 | 一种基于反馈模式的帧级别编码与译码方法 |
US9036692B2 (en) * | 2010-01-18 | 2015-05-19 | Mediatek Inc. | Motion prediction method |
BR112012019560B1 (pt) | 2010-02-05 | 2021-08-24 | Telefonaktiebolaget Lm Ericsson | Método para gerenciar candidatos a vetor de movimento predito, e, aparelhos de codificação e de decodificação de vídeo |
CN101931821B (zh) | 2010-07-21 | 2014-12-10 | 中兴通讯股份有限公司 | 一种视频传输的差错控制方法及*** |
US8736767B2 (en) | 2010-09-29 | 2014-05-27 | Sharp Laboratories Of America, Inc. | Efficient motion vector field estimation |
US20120082228A1 (en) | 2010-10-01 | 2012-04-05 | Yeping Su | Nested entropy encoding |
US10104391B2 (en) * | 2010-10-01 | 2018-10-16 | Dolby International Ab | System for nested entropy encoding |
US8976873B2 (en) | 2010-11-24 | 2015-03-10 | Stmicroelectronics S.R.L. | Apparatus and method for performing error concealment of inter-coded video frames |
JP5796289B2 (ja) | 2010-11-26 | 2015-10-21 | ソニー株式会社 | 二次電池セル、電池パック及び電力消費機器 |
GB2487200A (en) | 2011-01-12 | 2012-07-18 | Canon Kk | Video encoding and decoding with improved error resilience |
PL2717579T3 (pl) | 2011-05-31 | 2020-07-27 | Sun Patent Trust | Sposób dekodowania obrazu i urządzenie do dekodowania obrazu |
-
2011
- 2011-01-12 GB GB1100462.9A patent/GB2487200A/en not_active Withdrawn
- 2011-03-09 GB GB1104032.6A patent/GB2487253A/en not_active Withdrawn
- 2011-07-11 GB GB1111866.8A patent/GB2487261A/en not_active Withdrawn
-
2012
- 2012-01-11 PL PL16164491T patent/PL3070944T3/pl unknown
- 2012-01-11 RU RU2015120774/08A patent/RU2600530C2/ru active
- 2012-01-11 JP JP2013548832A patent/JP5847844B2/ja active Active
- 2012-01-11 CN CN201611030750.9A patent/CN107105284A/zh active Pending
- 2012-01-11 KR KR1020177032220A patent/KR101918437B1/ko active IP Right Grant
- 2012-01-11 CN CN201611032061.1A patent/CN106851309A/zh active Pending
- 2012-01-11 BR BR122019026393-0A patent/BR122019026393B1/pt active IP Right Grant
- 2012-01-11 CN CN201611031996.8A patent/CN106851308A/zh active Pending
- 2012-01-11 EP EP16164491.9A patent/EP3070944B1/en active Active
- 2012-01-11 US US13/979,008 patent/US11146792B2/en active Active
- 2012-01-11 CN CN201280005312.0A patent/CN103314593B/zh active Active
- 2012-01-11 CN CN201710780655.9A patent/CN107483958B/zh active Active
- 2012-01-11 ES ES17165564T patent/ES2753760T3/es active Active
- 2012-01-11 CN CN201280005359.7A patent/CN103314586B/zh active Active
- 2012-01-11 KR KR1020177032290A patent/KR101944289B1/ko active IP Right Grant
- 2012-01-11 CN CN201611030759.XA patent/CN107105272A/zh active Pending
- 2012-01-11 RU RU2013137437/08A patent/RU2556386C2/ru active
- 2012-01-11 KR KR1020177032478A patent/KR101943787B1/ko active IP Right Grant
- 2012-01-11 US US13/978,987 patent/US9386312B2/en active Active
- 2012-01-11 PL PL17165564T patent/PL3244613T3/pl unknown
- 2012-01-11 CN CN201610543512.1A patent/CN106210734B/zh active Active
- 2012-01-11 CN CN201710780153.6A patent/CN107454399A/zh active Pending
- 2012-01-11 ES ES16164491T patent/ES2726048T3/es active Active
- 2012-01-11 KR KR1020137020515A patent/KR101524394B1/ko active IP Right Grant
- 2012-01-11 JP JP2013548831A patent/JP5847843B2/ja active Active
- 2012-01-11 KR KR1020147033236A patent/KR101797805B1/ko active IP Right Grant
- 2012-01-11 CN CN201611030756.6A patent/CN107105285A/zh active Pending
- 2012-01-11 KR KR1020147033181A patent/KR101798280B1/ko active IP Right Grant
- 2012-01-11 WO PCT/EP2012/050391 patent/WO2012095466A1/en active Application Filing
- 2012-01-11 WO PCT/EP2012/050390 patent/WO2012095465A1/en active Application Filing
- 2012-01-11 ES ES12700128.7T patent/ES2583407T3/es active Active
- 2012-01-11 KR KR1020197005305A patent/KR101999091B1/ko active IP Right Grant
- 2012-01-11 EP EP19171827.9A patent/EP3550841B1/en active Active
- 2012-01-11 EP EP12700129.5A patent/EP2664142B1/en active Active
- 2012-01-11 CN CN201710780126.9A patent/CN107454398B/zh active Active
- 2012-01-11 PL PL19171827T patent/PL3550841T3/pl unknown
- 2012-01-11 CN CN201710780662.9A patent/CN107529063B/zh active Active
- 2012-01-11 KR KR1020137020517A patent/KR101525341B1/ko active IP Right Grant
- 2012-01-11 EP EP19191606.3A patent/EP3598756B1/en active Active
- 2012-01-11 KR KR1020147033307A patent/KR101837803B1/ko active IP Right Grant
- 2012-01-11 WO PCT/EP2012/050389 patent/WO2012095464A1/en active Application Filing
- 2012-01-11 CN CN201611030757.0A patent/CN106851307A/zh active Pending
- 2012-01-11 JP JP2013548833A patent/JP5847845B2/ja active Active
- 2012-01-11 HU HUE19157140A patent/HUE049745T2/hu unknown
- 2012-01-11 KR KR1020137020498A patent/KR20130105906A/ko not_active Application Discontinuation
- 2012-01-11 KR KR1020197002489A patent/KR20190014111A/ko not_active Application Discontinuation
- 2012-01-11 EP EP19157140.5A patent/EP3518544B1/en active Active
- 2012-01-11 KR KR1020137020499A patent/KR101524393B1/ko active IP Right Grant
- 2012-01-11 KR KR1020187006496A patent/KR101953520B1/ko active IP Right Grant
- 2012-01-11 WO PCT/EP2012/050392 patent/WO2013041244A1/en active Application Filing
- 2012-01-11 CN CN2012800053008A patent/CN103314585A/zh active Pending
- 2012-01-11 HU HUE16164491A patent/HUE043611T2/hu unknown
- 2012-01-11 ES ES12700129.5T patent/ES2615828T3/es active Active
- 2012-01-11 CN CN201280005380.7A patent/CN103329528B/zh active Active
- 2012-01-11 US US13/978,950 patent/US10165279B2/en active Active
- 2012-01-11 EP EP12701088.2A patent/EP2664152A1/en not_active Ceased
- 2012-01-11 EP EP16197731.9A patent/EP3174297B1/en active Active
- 2012-01-11 ES ES19157140T patent/ES2786998T3/es active Active
- 2012-01-11 HU HUE19171827A patent/HUE052669T2/hu unknown
- 2012-01-11 US US13/978,941 patent/US20130279596A1/en not_active Abandoned
- 2012-01-11 CN CN201710781118.6A patent/CN107454423A/zh active Pending
- 2012-01-11 EP EP12701844.8A patent/EP2664145A1/en not_active Withdrawn
- 2012-01-11 CN CN201611032062.6A patent/CN106851310A/zh active Pending
- 2012-01-11 EP EP12700128.7A patent/EP2666294B1/en active Active
- 2012-01-11 PL PL19157140T patent/PL3518544T3/pl unknown
- 2012-01-11 ES ES16197731T patent/ES2835311T3/es active Active
- 2012-01-11 EP EP17165564.0A patent/EP3244613B1/en active Active
- 2012-01-11 TR TR2019/07405T patent/TR201907405T4/tr unknown
- 2012-01-11 JP JP2013548834A patent/JP2014506440A/ja active Pending
- 2012-01-11 HU HUE16197731A patent/HUE052346T2/hu unknown
- 2012-01-11 HU HUE17165564A patent/HUE046362T2/hu unknown
- 2012-01-11 KR KR1020197011196A patent/KR102019640B1/ko active IP Right Grant
- 2012-01-11 KR KR1020187032216A patent/KR101972030B1/ko active IP Right Grant
- 2012-01-11 ES ES19171827T patent/ES2834135T3/es active Active
- 2012-01-11 PL PL16197731T patent/PL3174297T3/pl unknown
- 2012-01-11 BR BR112013016702-5A patent/BR112013016702B1/pt active IP Right Grant
-
2015
- 2015-04-06 JP JP2015078093A patent/JP6120900B2/ja active Active
- 2015-11-26 JP JP2015231160A patent/JP6207576B2/ja active Active
- 2015-11-26 JP JP2015231161A patent/JP6165219B2/ja active Active
-
2016
- 2016-06-01 US US15/170,195 patent/US9979968B2/en active Active
- 2016-09-09 RU RU2016136342A patent/RU2651181C2/ru active
-
2017
- 2017-03-28 JP JP2017063321A patent/JP6336170B2/ja active Active
- 2017-06-21 JP JP2017121705A patent/JP2017201802A/ja active Pending
- 2017-09-06 JP JP2017171363A patent/JP6513154B2/ja active Active
- 2017-12-25 RU RU2017145586A patent/RU2688252C1/ru active
-
2018
- 2018-04-25 US US15/962,919 patent/US20180241999A1/en not_active Abandoned
- 2018-04-25 US US15/962,940 patent/US20180242001A1/en not_active Abandoned
- 2018-04-25 US US15/962,922 patent/US10499060B2/en active Active
- 2018-05-02 JP JP2018088841A patent/JP6545318B2/ja active Active
- 2018-07-05 US US16/027,901 patent/US20180316921A1/en not_active Abandoned
- 2018-08-08 US US16/058,396 patent/US10609380B2/en active Active
- 2018-10-09 JP JP2018191205A patent/JP6779954B2/ja active Active
- 2018-11-26 US US16/200,378 patent/US10506236B2/en active Active
- 2018-11-26 US US16/200,335 patent/US20190098314A1/en not_active Abandoned
- 2018-11-26 US US16/200,272 patent/US20190098313A1/en not_active Abandoned
-
2019
- 2019-04-30 RU RU2019113330A patent/RU2709158C1/ru active
- 2019-11-25 RU RU2019137968A patent/RU2762933C2/ru active
-
2021
- 2021-01-22 US US17/155,984 patent/US20210144385A1/en not_active Abandoned
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1575590A (zh) * | 2001-10-23 | 2005-02-02 | 汤姆森特许公司 | 使用非逐行扫描伪双向预测图像的快动作特技模式 |
US20070047649A1 (en) * | 2005-08-30 | 2007-03-01 | Sanyo Electric Co., Ltd. | Method for coding with motion compensated prediction |
WO2009115901A2 (en) * | 2008-03-19 | 2009-09-24 | Nokia Corporation | Combined motion vector and reference index prediction for video coding |
CN101350927A (zh) * | 2008-07-29 | 2009-01-21 | 北京中星微电子有限公司 | 帧内预测选择最优预测模式的方法及装置 |
WO2010146314A1 (fr) * | 2009-06-19 | 2010-12-23 | France Telecom | Codage de vecteurs mouvement par competition de predicteurs |
CN101931803A (zh) * | 2009-06-26 | 2010-12-29 | 华为技术有限公司 | 视频图像运动信息获取方法、装置及设备、模板构造方法 |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2020043004A1 (zh) * | 2018-08-28 | 2020-03-05 | 华为技术有限公司 | 候选运动信息列表的构建方法、帧间预测方法及装置 |
CN112004098A (zh) * | 2018-08-28 | 2020-11-27 | 华为技术有限公司 | 候选运动信息列表的构建方法、帧间预测方法及装置 |
CN112004098B (zh) * | 2018-08-28 | 2021-06-29 | 华为技术有限公司 | 候选运动信息列表的构建方法、帧间预测方法及装置 |
US12015780B2 (en) | 2018-08-28 | 2024-06-18 | Huawei Technologies Co., Ltd. | Inter prediction method and apparatus, video encoder, and video decoder |
Also Published As
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107454398A (zh) | 编码方法、编码装置、解码方法和解码装置 | |
CN106851271B (zh) | 动图像编码装置以及动图像编码方法 | |
CN101911707B (zh) | 编码设备、编码方法、解码设备和解码方法 | |
CN1882094B (zh) | 图像编码装置、图像编码方法、图像解码装置、图像解码方法和通信装置 | |
CN105791821B (zh) | 动图像解码装置以及动图像解码方法 | |
CN105900420A (zh) | 选择运动向量精度 | |
CN102474610A (zh) | 用于对运动矢量进行编码/解码的方法和设备 | |
CN109246436A (zh) | 对图像进行编码或解码的方法和装置以及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |