CN102860006A - 管理预测运动向量候选 - Google Patents

管理预测运动向量候选 Download PDF

Info

Publication number
CN102860006A
CN102860006A CN2010800657403A CN201080065740A CN102860006A CN 102860006 A CN102860006 A CN 102860006A CN 2010800657403 A CN2010800657403 A CN 2010800657403A CN 201080065740 A CN201080065740 A CN 201080065740A CN 102860006 A CN102860006 A CN 102860006A
Authority
CN
China
Prior art keywords
pmv
candidate
motion vector
pmv candidate
coding
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2010800657403A
Other languages
English (en)
Other versions
CN102860006B (zh
Inventor
T.鲁泽尔特
K.安德森
P.韦纳施坦
J.斯特伦
R.斯约贝格
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Telefonaktiebolaget LM Ericsson AB
Original Assignee
Telefonaktiebolaget LM Ericsson AB
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Telefonaktiebolaget LM Ericsson AB filed Critical Telefonaktiebolaget LM Ericsson AB
Publication of CN102860006A publication Critical patent/CN102860006A/zh
Application granted granted Critical
Publication of CN102860006B publication Critical patent/CN102860006B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

提供一种管理PMV候选的方法。该方法包括将PMV候选集合选择为是之前编码的运动向量的子集。该方法还包括为PMV候选集合中的每个PMV候选指派一个码值。这些码值在长度上有所变化，并且按照预期使用的顺序指派给PMV候选，以使得具有最高预期使用的PMV候选具有最短码值之一。

Description

管理预测运动向量候选
技术领域
本申请涉及管理PMV候选的方法、视频编码设备、视频解码设备和计算机可读介质。
背景技术
最近的视频编码标准是基于混合编码原理的，它包括视频帧的运动补偿时间预测和帧残差信号的编码。对于有效的运动补偿时间预测，使用基于块的运动模型来描述跨越帧的像素块的运动。为每个运动补偿块指派一个运动向量（对于单预测性时间预测，例如在P帧中）或两个运动向量（对于双预测性时间预测，例如在B帧中）。在视频位流中编码这些运动向量以及帧残差信号。
在高压缩比下（或等效地，在低视频位速率下），运动向量编码花费总位量中的大部分，尤其是在诸如使用小运动补偿块大小的H.264/AVC的最近的视频编码标准中更是如此。通常，使用运动向量的无损预测性编码，即，运动向量MV的编码由以下部分组成：首先，为即将编码的向量构建运动向量预测值PMV；然后，传送运动向量与运动向量预测值之间的差DMV，其中DMV=MV-PMV。
在H.264/AVC中，按三个空间相邻块的运动向量的中值来导出PMV。其它方法还考虑时间相邻块（即，共同位于相邻帧中）来进行运动向量预测。取代使用固定规则来构建PMV，提出了最新的方法，它们明示地发信号通知PMV候选集合PMV_CANDS中的要使用的PMV。尽管这要求额外的位来发信号通知集合中的一个候选，但它总的来说能节省用于运动向量编码的位，因为DMV编码能更加有效。即，标识PMV和发信号通知DMV能比独立地发信号通知MV花费更少的位。
使用PMV候选信令的运动向量编码方案的效率取决于PMV_CANDS中的可用候选的合适性。即，候选列表的构造对编码性能有主要影响。现有的方法通常使用来自空间环绕块或时间相邻块（共同位于相邻帧中的块）的运动向量。PMV_CANDS的这种构造、即只考虑少数几个环绕块作为运动向量预测值的来源能是次优的。
PMV_CANDS中的候选的数量，即PMV_CANDS的“长度”，对编码效率也有主要影响。原因是，候选的数量越大，发信号通知候选之一所要求的位数也越大，而这又造成额外的开销并且因此降低压缩效率。现有的方法假设PMV_CANDS中有固定数量的候选（例如，空间相邻的运动向量）对于视频帧或序列的编码有效，并且只有在一些候选相同时才可减少候选的数量。
运动向量编码能要求在视频编码中有显著比例的可用位速率。改进PMV候选的数量可减小必须发信号通知的差值（DMV）的大小，但是要求更多的信令来标识特定PMV。因此，为了改进视频编码效率，要求改进的方法和设备来管理PMV候选。
Sung Deuk Kim和Jong Beom Ra发表的“An efficient motion vector coding scheme based on minimum bitrate prediction”（IEEE Trans. Image Proc.，第8卷，第8期，1999年8月，第1117-1120页）描述了一种基于最小位速率预测的运动向量编码技术。从三个因果相邻运动向量中选择预测运动向量，以使得它能在运动向量差编码中产生最小位速率。然后，编码预测误差或运动向量差以及用于确定解码器处的预测运动向量的模式信息并将它们按顺序进行传送。
Joel Jung和Guillaume Laroche的“Competition-Based Scheme for Motion Vector Selection and Coding”（Video Coding Experts Group (VCEG) of ITU - Telecommunications Standardization Sector，文献号VCEG-AC06，Klagenfurt, Austria, 2006年7月）描述了一种用于降低视频编码中的运动信息成本的方法。公开了对运动向量预测值的选择所做的两处修改：需要传送的运动向量的预测的改进；以及用于增加不要求发送任何运动信息的宏块的数量的跳过模式。
Jung等人的US 2009/0129464涉及自适应编码和解码。该文献描述了一种用于传送图像部分的方法，凭借此方法，在分析编码上下文的编码阶段，调适能用于编码的一群预测函数的参数。使用所选择的预测函数形成第一预测描述符。确定并传送第一预测描述符和当前描述符之间的余数。
发明内容
提供一种管理PMV候选的方法。该方法包括将PMV候选集合选择为是之前编码的运动向量的子集。该方法还包括为PMV候选集合中的每个PMV候选指派一个码值。这些码值在长度上有所变化，并且按照预期使用的顺序指派给PMV候选，以使得具有最高预期使用的PMV候选具有最短码值之一。
以上方法允许使用较少的位来发信号通知较频繁使用的PMV候选。这提供了编码效率的增加。
指派给每个PMV候选的码值可包括产生具有变化长度的码字的任何码***。例如，可根据以下各项的至少其中之一来指派码值：算术编码；可变长度编码；以及基于上下文的自适应算术编码。
可从PMV候选集合中移除任何不必要的PMV候选。这确保列表的长度不会不必要地很长，长度长会降低编码效率。如果满足以下条件中的至少一个条件，那么可确定PMV候选不必要：PMV候选是集合中的另一个PMV候选的复本；PMV候选经确定在现有PMV候选的阈值距离内；以及由于至少一个备选PMV候选将允许使用更少的位来编码运动向量，所以PMV候选从不会使用。
此外，如果从PMV候选列表中移除某个PMV候选集合会导致要求最多N个额外位来编码任何单个运动向量，其中N是预定阈值，那么可确定该PMV候选集合不必要。从PMV候选列表中移除PMV候选集合允许使用更短的码以及因此使用更少的位来发信号通知剩余PMV候选。但是，从PMV候选列表中移除PMV候选集合将导致一些运动向量具有更大的差向量，这将要求更多的位来编码。在数个运动向量的平均值上，发信号通知使用哪个PMV候选的节省能超过发信号通知一些运动向量所要求的最多N个额外位。
在指派码值之前，可根据PMV的预期使用来将PMV候选集合中的PMV候选进行排序。随后，可将码值指派给在排序列表中的PMV候选。可按照排序条目的顺序来指派码值，以使得所指派的码值的长度随PMV候选在列表中的位置的增大而并非减小。
可通过对之前编码块的集合所运用的扫描模式来标识PMV候选。扫描模式可标识特定块。可以按预期使用的顺序布置扫描模式。可以按每个标识块与当前块的距离的增加的顺序布置扫描模式。
每个PMV候选可对应于用于编码之前块的运动向量，所述之前块与当前块相距一定距离。可以根据PMV候选的相应的之前块与当前块的距离来按顺序将码值指派给PMV候选。
距离可以按欧几里德距离或切比雪夫距离来测量。欧几里德距离能通过取当前块与之前块之间的x位置和y位置之差的平方和的平方根来获得。根据欧几里德距离排序能通过按欧几里德距离平方排序来执行，平方根函数不会影响排序。通过以下差值的绝对值之和来给出曼哈顿距离：当前块和之前块的x坐标差；以及当前块和之前块的y坐标差。切比雪夫距离定义为两个值中的较大者，第一个值是当前块和之前块的x坐标差的绝对值，而第二个值是当前块和之前块的y坐标差的绝对值。
首先，可根据切比雪夫距离来将PMV候选排序；然后，可根据欧几里德距离来将具有相同切比雪夫距离的PMV候选进一步排序。这允许将PMV候选有效排序。
可采用该方法来进行视频编码或视频解码，其中当前块是分别编码或解码的块。
还提供一种包括处理器的视频编码设备，处理器布置成将PMV候选集合选择为是之前编码的运动向量的子集。处理器还布置成为PMV候选集合中的每个PMV候选指派一个码值，其中这些码值在长度上有所变化，并且按照预期使用的顺序指派给PMV候选，以使得具有最高预期使用的PMV候选具有最短码值之一。
还提供一种包括处理器的视频解码设备，处理器布置成将PMV候选集合选择为是之前编码的运动向量的子集。处理器还布置成为PMV候选集合中的每个PMV候选指派一个码值，其中这些码值在长度上有所变化，并且按照预期使用的顺序指派给PMV候选，以使得具有最高预期使用的PMV候选具有最短码值之一。
还提供一种携带指令的计算机可读介质，这些指令在由计算机逻辑执行时使所述计算机逻辑进行本文公开的任何方法。
本文还提供用于构建PMV候选列表PMV_CANDS的多种方法。将PMV_CANDS中的候选排序，并将PMV_CANDS中的候选之一的使用从编码器发信号通知给解码器。该信令布置成使得为列表中的第一候选指派候选中的最短码字，并且为列表中的随后候选指派具有非减小长度的码字（显然，码字上的候选的任何其它等效映射同样适用）。然后，使用数种方法的组合，构造PMV_CANDS集合以使得朝向列表的起点布置对于预测最有益的候选。并且，使用这些方法，选择列表中的候选以使得它们允许有效地编码运动向量，并且如果只有几个这样的候选可用，那么减小列表的大小，使得能减小用于发信号通知候选的使用的码字的长度。最后，介绍用于有效地发信号通知PMV候选的使用的方法。
此外，提供一种用于编码运动向量的方法，该方法包括：标识PMV候选集合；确定特定PMV候选具有这样的坐标值，这些坐标值使得对于具有小于该特定PMV候选的坐标值的x坐标或y坐标的运动向量，PMV候选集合中的备选PMV候选能使用更少的位来编码该运动向量；确定将使用该特定PMV候选来编码运动向量；将差向量计算为运动向量与特定PMV之间的差；以及编码差向量而不编码符号位。
另外，提供一种用于解码运动向量的方法，该方法包括：接收PMV候选的身份；接收不带符号位的差值；基于差值的可能符号值来确定多个潜在的运动向量；确定使用可用PMV候选来编码所标识的潜在运动向量的最低位成本解决方案；以及选择使用所标识的PMV候选的运动向量。在接收包含一个不带符号位的差值的DMV的情况下，找到两个潜在运动向量。在接收包含两个不带符号位的差值的DMV的情况下，找到四个潜在运动向量。
通过运用该方法，标识了一些情形，由此差分量（xdiff或ydiff）的符号只能取一个值。之所以能这样做是因为，***选择将位成本降至最低的PMV候选。如果差分量的符号未知，那么有两个可能的运动向量。在一些情形中，***能标识，会使用所指示的PMV以最小位成本来编码其中一个运动向量，而使用不同的PMV以最小位成本来编码另一运动向量。因此，***能将差值的符号标识为假设会使用所指示的PMV以最小位成本来编码运动向量的符号。因此，对于某些PMV候选，无需传送有关差分量的至少其中之一的符号位，从而降低位成本并改进编码效率。
附图说明
现在将参考附图只是举例说明来描述用于管理PMV候选的改进的方法和设备，附图中：
图1示出视频编码和传送***；
图2a和图2b分别示出在编码和解码期间PMV候选列表的使用；
图3示出两个PMV候选的实例；
图4示出使用图3的实例运动向量来编码运动向量的位成本；以及
图5示出本文公开的方法。
具体实施方式
图1示出视频编码***，其中来自源110的视频信号最终递送到装置160。来自源110的视频信号经过包含处理器125的编码器120。编码器120对视频信号运用编码过程以便创建编码的视频流。编码的视频流发送到传送器130，在传送器130中，在传送之前，它可接收诸如分组化的进一步处理。接收器140接收所传送的编码视频流，并将它传递给解码器150。解码器150包含处理器155，在解码编码视频流时采用处理器155。解码器150将解码后的视频流输出到装置160。
本文公开的方法在编码期间在编码器中执行，以及也在解码期间在解码器中执行。即使在编码器中完成信令位的生成，也可这样做。在解码期间，解码器解析这些位并模仿编码器以便实现编码器/解码器同步。由于编码器和解码器遵照相同的规则来创建和修改PMV候选集合，所以存储在编码器和解码器中的相应的PMV候选列表保持同步。仍然可在某些环境下执行PMV候选列表的明示信令。
所描述的方法假设使用预测性编码技术来编码运动向量（MV）210，其中使用预测运动向量（PMV）220来预测MV 210，并且根据DMV=MV-PMV来找到预测误差或差值（DMV）230。将DMV 230从编码器120发信号通知给解码器150。另外，发送码“索引”250以便选择特定PMV候选，在此情况下是来自PMV候选列表（即，如图2a所示的PMV_CANDS 240）的242。索引250可以与每个传送的运动向量MV 210、即每个子块（例如，8×8像素块）一起一次性发送。同样，可以为运动向量群（例如，每个宏块（16×16块））发送索引。
PMV候选列表PMV_CANDS（240）具有N个元素，即，PMV_1（241）、PMV_2（242）、PMV_3（243）等。列表PMV_CANDS 240可在编码器120和解码器150处同样地得到。使用所传送的索引，解码器150能确定在编码器中所使用的PMV 220，如图2b所示的，并且因此可以重构MV=DMV+PMV。
有两个主要的操作用于构造PMV候选集合240，即，初始化和更新。
“初始化”意味着建立列表的某种预定义状态。可将PMV_CANDS列表初始化为例如空列表（零条目）或具有诸如零向量(0,0)的一个或多个预定义条目的列表。“更新”意味着向现有PMV_CANDS列表添加一个或多个运动向量。可更新PMV_CANDS列表以包括之前编码的运动向量MV。在编码器处，当编码当前块时，除了任何预定义的初始化向量之外，PMV_CANDS可包含与视频中的之前编码的块相关联的运动向量。通过将PMV_CANDS中的可能候选约束为预定义向量和之前编码的向量，解码器能采用与编码器相同的方法来导出列表PMV_CANDS。
备选地，可在编码器处将之前没有编码的一个或多个运动向量候选添加到PMV_CANDS列表中，然后将把那些运动向量明示地发信号通知给解码器以与PMV_CANDS一起使用，从而使得能在编码器和解码器处均以相同的方式更新PMV_CANDS。
能特别为当前运动补偿块动态地生成用于编码与当前运动补偿块相关联的运动向量MV的PMV_CANDS列表，即不考虑用于编码与之前编码的运动补偿块相关联的运动向量MV的PMV_CANDS列表。在这种情况下，在处理某个块之前，初始化PMV_CANDS列表，然后用多个之前编码的或预定义的运动向量来进行更新。备选地，可一次性初始化PMV_CANDS列表（例如，在视频编码/解码器启动之前，或在处理某个帧之前，或在某个帧中编码多个宏块之后），然后将其用于编码多于一个运动向量，其优点是，导出PMV_CANDS列表的可能复杂的过程只需处理一次便可编码运动向量集合。但是，当用于编码多于一个运动向量时，可在编码运动向量之一之后再更新PMV_CANDS列表。例如，首先可使用PMV_CANDS列表来编码与第一运动补偿块相关联的运动向量MV，然后可使用向量MV来更新PMV_CANDS（例如，将MV添加到列表中），接着使用PMV_CANDS来编码第二运动补偿块。通过使用编码的运动向量来随后更新PMV_CANDS，根据滑窗方法来更新列表。
在视频编码期间，可根据滑窗方法来保持一个或多个PMV_CANDS列表，例如每个帧类型一个、每个宏块类型一个或每个参考帧一个。当编码与双预测运动补偿块相关联的两个运动向量时，可使用单个或两个不同的PMV_CANDS列表。
在处理与当前运动补偿块相关联的运动向量之前，可通过使用与周围块相关联的运动向量来更新用于编码当前运动向量的PMV_CANDS列表。
可更新PMV_CANDS列表，以使得朝向PMV_CANDS列表的起点***与靠近的运动补偿块相关联的运动向量（用较少的位发信号通知），而可朝向PMV_CANDS列表的末端***与较远离的运动补偿块相关联的运动向量。用于确定运动补偿块有多远离当前块的可能度量包括：欧几里德距离（dx2+dy2，其中dx和dy分别是x和y方向上的距离）；曼哈顿距离（绝对值之和|dx|+|dy|）；或切比雪夫距离（绝对值中的最大值max(|dx|, |dy|)，它又称为最大值度量、棋盘距离、框距离、L ∞度量（L-无穷大度量）或L ∞基准）。为此，可围绕当前块执行向外扫描以获得运动向量，从而更新PMV_CANDS。当满足以下条件中的至少一个条件时，扫描可终止：
- 已扫描完当前帧的所有块，
- 已扫描完预定义数量的随后帧（例如，最后一个帧）的所有块，
- 一旦达到某个距离，
- 一旦找到预定义数量的独特PMV候选，
- 已扫描完预定扫描模式的所有块。
注意，可通过在PMV_CANDS列表的末端***独特向量来在向外扫描中避免将列表按距离排序，使列表保持排序，其中空间最靠近的向量位于列表首位。
待添加到PMV_CANDS列表的运动向量可包括当前块的空间或时间邻居、或空间和/或时间邻居的组合，例如基于空间相邻块导出的H.264/AVC型中值预测值。
作为考虑预定义邻居来扫描运动向量候选的备选方法，可以为每个运动向量或运动向量集合（例如，宏块）从编码器发信号通知给解码器（并且因此在编码器处动态地决定），相关联的运动向量是否添加到PMV_CANDS列表。
在用于确定运动向量候选的可能机制集合中，可在编码器处动态地决定一个机制或机制的组合，然后将决定发信号通知给解码器。
限制和/或减少PMV_CANDS中的候选的数量能有助于减少发信号通知使用哪个PMV来进行运动向量预测的开销，因为列表越短，要求的码字也就越短。另外，约束添加某些候选能腾出空间来添加其它更有益的候选。
一种用于减少候选数量的措施是避免在给定的PMV_CANDS列表中重复出现相同的运动向量。这能在更新列表时通过将已经在列表中的候选与可添加的新向量进行比较并且如果发现重复则移除重复向量或跳过新向量来进行。优选的是跳过新向量；否则，来自远离块的随后重复可造成将列表中较高顺序的候选放到列表的末端。
移除或跳过新运动向量同样可针对类似但不相同的运动向量进行，例如具有小于预定义阈值的类似性量度的运动向量对，其中类似性量度可以是欧几里德距离(x0-x1)2+(y0-y1)2或绝对距离|x0-x1|+|y0-y1|，其中(x0, y0)和(x1, y1)是考虑中的运动向量对。替代直线距离量度，另一种方法是关注使用给定编码方案来编码运动向量之间的距离所要求的位数。
并且，PMV_CANDS中的候选的数量可限制为预定义或动态获得的数量。可能的是，一旦达到该数量，便将添加额外候选，然后可移除PMV_CANDS列表末端的候选。之所以能这样做是因为，将候选列表排序使得确定列表末端的PMV候选是最不可能使用的候选。
备选地，从PMV_CANDS列表移除候选可通过例如发送用于从列表移除运动向量候选的码以及该运动向量的标识符（例如，索引）来从编码器明示地发信号通知给解码器（并且因此由编码器动态地决定）。
现在将解决如何确定候选列表中的运动向量候选的顺序。假设将PMV_CANDS中的候选排序，并且发信号通知使用PMV_CANDS中的候选之一来进行预测，以使得为列表中的第一候选指派候选中的最短码字，并且为列表中的随后候选指派具有非减小长度的码字。当更新PMV_CANDS列表时，可以使用以下方法，以便采用有益于总体编码效率的方式将候选排序。
●与属于远离当前块的块的运动向量相比，对应于靠近当前块（使用某个距离度量）的块的运动向量将得到较靠近列表的起点的位置。
●与最后编码的块相关联的运动向量放在列表的起点（最短码字）。备选地，当前块的诸如H.264/AVC中值预测值（或诸如此类）的组合候选放在列表的起点。将该方法与PMV_CANDS列表大小的动态调适相组合允许例如H.264/AVC中值预测值的有保证的预测性能，因为可能的是，将PMV_CANDS列表大小设置为1，以使得无需发送任何位来用于索引信令。
●能根据之前编码的块中的候选（或具有例如低于预定义阈值的欧几里德或绝对距离的其它候选）的出现频率来将候选排序，使得为描述视频帧或序列中的典型运动的向量指派短码字。备选地，如果新候选的复本已经在列表中，那么能移除该复本，并且将新向量添加到列表的起点，或者作为另一备选方案，现有运动向量能在列表中向上移动一步或多步。
●能还有用的是包括关于运动补偿分区大小的权，以使得具有较大权的运动向量放在比具有较小权的那些运动向量远离PMV_CANDS列表的起点的位置。例如，从取决于编码的序列，相关联的运动向量可更有可能描述该序列中的典型运动的意义来说，较大的分区能比较小的分区更可信。因此，可以为与较大分区相关联的运动向量指派较大权。并且，与非跳过运动向量相比，可不同地信任跳过运动向量，例如指派较小权。
备选地，可通过例如发送用于来自列表的运动向量候选的重新排序的码以及将要移动的运动向量的标识符（例如，索引）和关于将该候选移动到哪里的信号来将PMV_CANDS列表的重新排序明示地从编码器发信号通知给解码器（并且因此由编码器动态地决定）。
在将运动向量候选添加到PMV_CANDS列表或从PMV_CANDS列表获得运动向量候选时（在后一情况下，是为了将它用于预测），可根据预定义的方法对其进行修改。由于添加（编码期间）或获得（解码期间）时的修改等效，所以可在不损失普遍性的情况下假设，在获得时修改向量。获得时的此类修改可包括：
●根据运用运动向量候选进行预测的参考帧的帧距离来缩放运动向量候选。例如，假设已经运用PMV_CANDS中的候选运动向量MV(T-1)=(X, Y)来根据表示时间T-1时的视频的参考帧进行运动补偿预测，其中参考帧是假设表示时间T时的视频的当前帧的下一个帧。现在，如果从PMV_CANDS获得该候选以用于预测指向表示时间T-2时的视频的参考帧（当前帧的下两个帧）的运动向量，那么能将运动向量幅度缩放2的因子，即为(2*X, 2*Y)。并且，如果PMV_CANDS列表中的候选运动向量(X, Y)涉及T-2时的视频帧将用于参考T-1时的帧，那么运动向量能缩放为(X/2, Y/2)。对于这两种情形，结果都是重复候选运动向量，在此情况下，能将它移除。在线性运动假设下，候选运动向量的缩放是合理的。
●类似地，当在表示时间T的B帧中获得运动向量预测值MV(T-1)=(X, Y)，并且已经运用将该运动向量来根据左参考帧（时间T-1）进行运动补偿预测，并且现在预测值将用于预测用于根据右参考帧（时间T+1）进行运动补偿预测的向量时，那么运动向量预测值的符号可相反，即为(-X, -Y)。
候选预测值列表大小能变化。限制和/或减少PMV_CANDS中的候选的数量能有助于减小发信号通知使用哪个PMV来进行运动向量预测的开销，因为列表越短，要求的码字也就越短。另一方面，取决于视频序列特性，可有益的是具有较大数量的运动向量预测候选，以便例如在不规则运动的情况下节省用于DMV编码的位。能使用以下方法来根据视频序列特性来调适PMV_CANDS列表的大小。
●能在片/帧/图片报头中或在序列范围的报头（例如，参数集）中定义列表大小，即，将列表大小从编码器发信号通知给解码器，并且因此由编码器来动态地调适。
●能从列表中移除在编码多个之前编码的块期间尚未用于预测的候选（根据预定义阈值），从而减小列表大小。
●可根据列表中的候选的类似性来调适列表大小。例如，当使用运动向量MV来更新列表时，将类似于MV（根据诸如欧几里德或绝对距离的距离量度，按预定义阈值）的候选的数量计数。高计数指示高数量的类似候选，并且由于可不必要具有许多类似候选，所以可移除至少其中之一并减小列表大小。另一方面，低数量的类似候选可指示，具有额外候选可以是有益的，从而可增大列表大小。
如上所述，将PMV_CANDS中的候选排序，并且发信号通知使用PMV_CANDS中的候选之一，使得为列表中的第一候选指派候选中的最短码字，并为列表中的随后候选指派具有非减小长度的码字。此类码字能根据例如可变长度编码（VLC）表来定义。所用的VLC表能取决于如例如根据以上方法动态地调适的PMV_CANDS中的候选的最大数量（列表大小）。下表1介绍了用于不同最大列表大小的VLC码的一些实例。左边列示出最大列表大小，它又表示为C。在右边列中，示出VLC码以及用于寻址PMV_CANDS列表中的候选的索引。
Figure DEST_PATH_IMAGE002
表1：用于不同最大列表大小的实例VLC码。
对于双预测运动补偿块，编码两个运动向量，并且因此两个PMV候选能是必要的。在此情况下，能共同编码这两个PMV候选的索引号以进一步减少索引编码所要求的位数。表2示出用于联合索引编码的实例，它考虑到两个运动向量使用相同的PMV_CANDS列表，并且两个运动向量有可能使用PMV_CANDS列表中的相同预测值。这里，idx0和idx1分别表示第一和第二预测值的索引。VLC0(idx, C)表示考虑最大列表大小为C的根据表1的索引“idx”的VLC。
表2：用于编码与双预测块相关联的两个候选索引的VLC码，
C：PMV_CANDS的最大大小。
从PMV_CANDS候选列表中移除不必要的PMV候选。之所以要求用于移除PMV候选的机制是因为，列表中的一些候选有可能永远不会使用，因为选择具有较短码字的候选以及编码其距离将给出与所有可能的运动向量相比具有较短或相同长度的位序列。在此情况下，能将它们移除，从而使列表更短并且使每个索引的平均位长度更短。作为备选，可能的是反而***更多候选。这样，平均位长度保持相同，但是新***的候选具有使用的机会。
作为一个实例，假设我们有以下候选：
并且，假设我们编码差值DMV, (xdiff, ydiff)，其中使用下表3来编码xdiff和ydiff。如果我们想要编码诸如MV=(0, 2)的运动向量，那么我们能使用候选3（即，PMV=(0, 2)）加上差值DMV=(0, 0)来编码它：
PMV+DMV=MV
(0, 2)+(0, 0)=(0, 2)
索引花费四个位（索引3的码长度为四个位），并且差值中的每个零花费一个位，因此编码MV=(0, 2)所要求的总位数是4+1+1=6个位。
但是，我们也能使用索引0（即，PMV=(-1, 2)）加上差值DMV=(1, 0)来编码该向量：
(-1, 2)+(1, 0)=(0, 2)
索引花费一个位（索引1的码长度是一个位），差值中的xdiff=1这一项花费三个位（见下表3），并且ydiff=0这一项花费一个位。因此，我们得到总共1+3+1=5个位，这比使用索引3好，使用索引3要求6个位。容易地看到，假定使用下表3来编码向量差，那么使用索引3将不会有益处，因为使用索引0将总是少或好一个位。因此，我们能消除候选向量(0, 2)，并且改为得到：
现在，索引4（即向量(3, 4)）具有较短码；它现在是三个位而不是四个。因此，如果使用向量(3, 4)，那么我们从消除中获益了，并且不会再损失任何东西。在以上实例中，我们移除了索引号为3的PMV候选，但是本领域技术人员应当显而易见，这只是一个实例。例如，在一些情况下，移除候选1和2也可以是有益的。
由于在编码器和解码器中执行相同的分析，所以在编码器和解码器中均从列表中移除相同的向量。因此，在移除之后，编码器和解码器将均使用相同的候选列表。
有时，通过移除单个候选来确保获益是不可能的，但是如果同时消除两个或两个以上候选则是可能的。另一种可能性是，改变候选的顺序或甚至向列表添加新候选能允许移除现在已经变得不必要的候选，并且因此变得有益，而与将要编码的最终运动向量无关。
Figure DEST_PATH_IMAGE010
表3：发送差值的成本
还能通过不发送符号位来进一步减少所需的位数，这之所以可能是因为，在一些情况下，差值的符号位不是必要的。例如，假设我们有以下PMV候选列表：
Figure DEST_PATH_IMAGE012
假设我们想要使用索引号为3的PMV候选（即PMV=(11, 3)）来编码向量。由于索引号为4的PMV候选在它的右边（具有坐标PMV=(12, 3)），所以如果x坐标是12或更大，那么有利的是改为使用候选4来编码它。作为一个实例，能使用候选3来将向量MV=(15, 2)编码为：
(11, 3)+(4, -1)
索引花费四个位，+4花费七个位，并且-1花费三个位（见表3），总共花费14个位。但是，也能使用候选4将它编码为：
(12, 3)+(3, -1)
这为索引花费四个位，+3花费五个位，并且-1花费三个位，总共花费12个位。由于候选4将总是较靠近右半面中的任何点，所以将有利的是对此选择候选4。类似地，如果我们在左半面中（如从(11, 3)和(12, 3)之间的点可见），那么比较好的是选择候选3。
这意味着不必要为x分量中的差值指定符号位，因为它对于(11, 3)将总是为负，并且对于(12, 3)将总是为正。在表3中，符号位是最后一个位，0除外，它不具有符号位。这意味着，如果将选择候选3或4，那么它们对于编码将少一个位。
当然，解码器将做同样的分析，并且如果出现以上情形，那么将避免读取符号位。
即使候选不是完全彼此紧靠，或者即使它们不具有完全相同的成本，避免发送符号位仍然是可能的，至少对于候选之一来说是如此。作为一个实例，假设我们想要使用索引号为5的PMV候选（即PMV=(1, 2)）来编码某个值。如果要编码的向量的x坐标小于或等于零，那么改用候选0总是有利的，因为它具有最低成本。这意味着，对于候选5，不必发送x坐标的符号位。但是，对于候选0，移除x分量的符号位则是不可能的。因为它的索引值只花费如此低的成本便可编码，所以即使要编码的向量在候选5的右边，选择它仍然可以是有利的。
如果索引0具有与索引4相同的成本，那么对于编码x坐标为0的向量来说，两个候选会同样好。但是，在这样的情况下，我们可决定总是使用最低索引，并且因此当选择索引4时仍可避免发送符号位。如果向量位于相同行（如上所述）或实际上在相同列中，那么可能的是当发送符号位从不有用时导出通用表达式，如下所述。
参考图3，假设我们在同一行上有两个候选A=(Ax, Ay)和B=(Bx, By)（因此，By=Ay），并且它们之间的距离为D，因此Bx=Ax+D。在下文中，我们将假设D为正，但是本领域技术人员将明白，如果我们将A和B交换位置，那么它也有效。还假设，传送候选A的索引绝对不会花费比传送候选B的索引更多的成本，即，cost(A_index)<=cost(B_index)，其中cost(A_index)是传送与候选A相关联的索引的成本。将发送x方向上的差值k的成本表示为cost_x(k)。例如，根据表3，cost_x(-3)等于5。
现在，如果cost(A_index)-cost(B_index)+cost_x(D-1)-3<=0，那么我们不必发送候选B的符号位。作为一个实例，如果A=(11, 2)，B=(13, 2)，并且A_index是1，而B_index是0001，那么D=2，并且cost(A_index)-cost(B_index)+cost_x(D-1)-3等于1-4+3-3=-2，它小于0，因此我们无需发送B的符号位。图4中示出这个实例，其中x轴和y轴示出运动向量的x和y分量。图4中的每个框表示一个运动向量；在框的左边示出使用PMV候选A来编码相应运动向量的位成本，并且在框的右边示出使用PMV候选B来编码相应运动向量的位成本。从图4能见到，对于x分量为12或更小的MV，要使用的最有效PMV是A，而对于x分量为13或更大的MV，要使用的最有效PMV是B。
在所提出的解决方案的一个实施例中，我们使用列表中的最多四个候选。但是，在另一个实施例中，我们使用七个，并且原则上无最大值限制。如果我们允许更大的最大值，那么列表能增长，并且能找到合适向量的机会增大。另一方面，指定候选向量所需的位数也增大。在这之上，问题是，能使用数个候选来表示多个向量，这是不必要的。这种冗余表示发展成添加更多的向量。
一种避免这种冗余表示的方法是约束可能用每个候选向量来编码的向量的数量。例如，可能的是，约束某个候选以使得它只能编码完全等于该候选或者在一个方向上相差一步的运动向量。这能通过改变编码差值的方式来进行。通常，使用表3来编码差值，其中对x和y进行单独编码。作为替代，我们可使用以下短表：
Figure DEST_PATH_IMAGE014
这种受约束的差值编码可用于大于某个索引的候选。例如，具有索引3或更大索引的所有候选可以用这种方式来编码。
这有至少两个优点：
1）差值的编码变得非常短，这之所以好是因为，发信号通知索引3或更大索引的成本相当高；以及
2）候选将不在覆盖无论如何使用某些其它候选向量来编码会更好的运动向量上花费位。从而缓解上述冗余度问题。
图5示出根据本申请的方法。在510，从之前使用的运动向量的集合中选择PMV候选集合。之前使用的运动向量是在帧中的之前块的编码期间使用的那些运动向量。在520，可从集合中移除重复的PMV候选。在530，根据预期使用将集合中的PMV候选排序。预期使用可以基于最近编码的视频来计算。预期使用可以使用某个距离量度根据当前块与使用PMV候选作为运动向量的块的邻近性来确定。在540，将码值指派给PMV候选，这些码值在长度上有所变化。将最短码值指派给具有最高预期使用的PMV候选。随后的码值具有非减小的长度。
本文描述的方法和设备改进了使用发信号通知运动向量预测值的运动向量预测方案的编码效率。
本领域技术人员将明白，在本文描述的方法中所进行的动作的确切顺序和内容可以根据特定的执行参数集合的要求而改变。因此，描述和/或要求保护的动作的顺序不应理解为是对要执行的动作的顺序的严格限制。
此外，尽管在特定编码标准的上下文中给出实例，但是这些实例不是要作为所公开的方法和设备可适用的编码标准的限制。例如，尽管在H.264/AVC的上下文中给出特定实例，但是本文公开的原理也能适用于MPEG2***、其它编码标准以及实际上使用预测运动向量的任何编码***。

Claims (13)

1. 一种管理预测运动向量候选（PMV候选）的方法，所述方法包括：
将PMV候选集合选择为是之前编码的运动向量的子集；
为所述PMV候选集合中的每个PMV候选指派一个码值，其中所述码值在长度上有所变化，并且按照预期使用的顺序指派给所述PMV候选，以使得具有最高预期使用的PMV候选具有最短码值之一。
2. 如任何前述权利要求所述的方法，其中指派给每个PMV候选的码值是根据以下各项的至少其中之一进行指派的：算术编码；可变长度编码；以及基于上下文的自适应算术编码。
3. 如权利要求1或2所述的方法，所述方法还包括从所述PMV候选集合中移除不必要的PMV候选。
4. 如任何前述权利要求所述的方法，所述方法还包括根据预期使用来将所述PMV候选集合中的PMV候选排序。
5. 如任何前述权利要求所述的方法，其中根据PMV的使用频率来获得PMV候选的预期使用。
6. 如任何前述权利要求所述的方法，其中每个PMV候选对应于用于编码之前块的运动向量，所述之前块与当前块相距一定距离，并且其中根据PMV候选的相应之前块与当前块的距离来获得PMV候选的预期使用。
7. 如权利要求5或6所述的方法，其中所述距离按欧几里德距离来测量。
8. 如权利要求5或6所述的方法，其中所述距离按切比雪夫距离来测量。
9. 如权利要求8所述的方法，其中根据具有共同切比雪夫距离的PMV候选的欧几里德距离来将所述码值指派给具有共同切比雪夫距离的PMV候选。
10. 如任何前述权利要求所述的方法，所述方法用于视频编码或视频解码，其中当前块是分别编码或解码的块。
11. 一种包括处理器的视频编码设备，所述处理器布置成：
将PMV候选集合选择为是之前编码的运动向量的子集；
为所述PMV候选集合中的每个PMV候选指派一个码值，其中所述码值在长度上有所变化，并且按照预期使用的顺序指派给所述PMV候选，以使得具有最高预期使用的PMV候选具有最短码值之一。
12. 一种包括处理器的视频解码设备，所述处理器布置成：
将PMV候选集合选择为是之前编码的运动向量的子集；
为所述PMV候选集合中的每个PMV候选指派一个码值，其中所述码值在长度上有所变化，并且按照预期使用的顺序指派给所述PMV候选，以使得具有最高预期使用的PMV候选具有最短码值之一。
13. 一种携带指令的计算机可读介质，所述指令在由计算机逻辑执行时使所述计算机逻辑进行权利要求1到10所定义的任何方法。
CN201080065740.3A 2010-02-05 2010-12-23 管理预测运动向量候选 Active CN102860006B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US30164910P 2010-02-05 2010-02-05
US61/301649 2010-02-05
PCT/EP2010/070680 WO2011095260A1 (en) 2010-02-05 2010-12-23 Managing predicted motion vector candidates

Publications (2)

Publication Number Publication Date
CN102860006A true CN102860006A (zh) 2013-01-02
CN102860006B CN102860006B (zh) 2016-11-23

Family

ID=43587322

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201080065740.3A Active CN102860006B (zh) 2010-02-05 2010-12-23 管理预测运动向量候选

Country Status (5)

Country Link
US (3) US20110194608A1 (zh)
EP (2) EP2532159A1 (zh)
CN (1) CN102860006B (zh)
BR (1) BR112012019560B1 (zh)
WO (2) WO2011095259A1 (zh)

Cited By (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109644272A (zh) * 2016-09-06 2019-04-16 高通股份有限公司 用于建构候选列表的几何型优先级
CN110313180A (zh) * 2017-01-03 2019-10-08 交互数字Vc控股公司 用于编码和解码运动信息的方法和装置
WO2019223746A1 (en) * 2018-05-23 2019-11-28 Mediatek Inc. Method and apparatus of video coding using bi-directional cu weight
CN110662052A (zh) * 2018-06-29 2020-01-07 北京字节跳动网络技术有限公司 更新查找表(lut)的条件
CN110662059A (zh) * 2018-06-29 2020-01-07 北京字节跳动网络技术有限公司 使用一个或多个查找表来按顺序存储先前编码的运动信息并使用它们来编码后面的块的概念
CN110662054A (zh) * 2018-06-29 2020-01-07 北京字节跳动网络技术有限公司 当向Merge/AMVP添加HMVP候选时的部分/完全修剪
CN110662043A (zh) * 2018-06-29 2020-01-07 北京字节跳动网络技术有限公司 Lut与amvp之间的交互
CN110719465A (zh) * 2018-07-14 2020-01-21 北京字节跳动网络技术有限公司 用时间信息扩展基于查找表的运动矢量预测
CN110855993A (zh) * 2018-08-21 2020-02-28 华为技术有限公司 一种图像块的运动信息的预测方法及装置
WO2020057504A1 (en) * 2018-09-17 2020-03-26 Mediatek Inc. Methods and apparatuses of combining multiple predictors for block prediction in video coding systems
CN110933440A (zh) * 2018-09-19 2020-03-27 北京字节跳动网络技术有限公司 基于历史信息的帧内模式编码
WO2020164544A1 (en) * 2019-02-13 2020-08-20 Beijing Bytedance Network Technology Co., Ltd. Updating of history based motion vector prediction tables
CN111801944A (zh) * 2018-03-26 2020-10-20 华为技术有限公司 视频图像编码器、视频图像解码器以及对应的运动信息编码方法
WO2020224639A1 (en) * 2019-05-09 2020-11-12 Beijing Bytedance Network Technology Co., Ltd. Improvement on hmvp table
US20200413044A1 (en) 2018-09-12 2020-12-31 Beijing Bytedance Network Technology Co., Ltd. Conditions for starting checking hmvp candidates depend on total number minus k
CN112567748A (zh) * 2018-08-16 2021-03-26 高通股份有限公司 具有分类的基于历史的候选列表
US11122266B2 (en) 2018-11-02 2021-09-14 Beijing Bytedance Network Technology Co., Ltd. Table maintenance for HMVP candidate storage
US11134244B2 (en) 2018-07-02 2021-09-28 Beijing Bytedance Network Technology Co., Ltd. Order of rounding and pruning in LAMVR
US11134267B2 (en) 2018-06-29 2021-09-28 Beijing Bytedance Network Technology Co., Ltd. Update of look up table: FIFO, constrained FIFO
US11140383B2 (en) 2019-01-13 2021-10-05 Beijing Bytedance Network Technology Co., Ltd. Interaction between look up table and shared merge list
US11140385B2 (en) 2018-06-29 2021-10-05 Beijing Bytedance Network Technology Co., Ltd. Checking order of motion candidates in LUT
US11146785B2 (en) 2018-06-29 2021-10-12 Beijing Bytedance Network Technology Co., Ltd. Selection of coded motion information for LUT updating
US11159807B2 (en) 2018-06-29 2021-10-26 Beijing Bytedance Network Technology Co., Ltd. Number of motion candidates in a look up table to be checked according to mode
US11589071B2 (en) 2019-01-10 2023-02-21 Beijing Bytedance Network Technology Co., Ltd. Invoke of LUT updating
US11641483B2 (en) 2019-03-22 2023-05-02 Beijing Bytedance Network Technology Co., Ltd. Interaction between merge list construction and other tools
US11956464B2 (en) 2019-01-16 2024-04-09 Beijing Bytedance Network Technology Co., Ltd Inserting order of motion candidates in LUT

Families Citing this family (79)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100939917B1 (ko) 2008-03-07 2010-02-03 에스케이 텔레콤주식회사 움직임 예측을 통한 부호화 시스템 및 움직임 예측을 통한부호화 방법
WO2011125211A1 (ja) 2010-04-08 2011-10-13 株式会社 東芝 画像符号化方法及び画像復号化方法
WO2011146451A1 (en) 2010-05-20 2011-11-24 Thomson Licensing Methods and apparatus for adaptive motion vector candidate ordering for video encoding and decoding
WO2012039136A1 (ja) * 2010-09-24 2012-03-29 パナソニック株式会社 画像符号化方法、画像復号化方法、画像符号化装置、および画像復号化装置
JP2014501091A (ja) * 2010-12-17 2014-01-16 エレクトロニクス アンド テレコミュニケーションズ リサーチ インスチチュート インター予測方法及びその装置
GB2486901B (en) * 2010-12-29 2014-05-07 Canon Kk Video encoding and decoding with improved error resilience
GB2487200A (en) * 2011-01-12 2012-07-18 Canon Kk Video encoding and decoding with improved error resilience
US20130301734A1 (en) * 2011-01-12 2013-11-14 Canon Kabushiki Kaisha Video encoding and decoding with low complexity
US9532066B2 (en) * 2011-01-21 2016-12-27 Qualcomm Incorporated Motion vector prediction
US9319716B2 (en) * 2011-01-27 2016-04-19 Qualcomm Incorporated Performing motion vector prediction for video coding
WO2012140821A1 (ja) 2011-04-12 2012-10-18 パナソニック株式会社 動画像符号化方法、動画像符号化装置、動画像復号化方法、動画像復号化装置、および動画像符号化復号化装置
MX2013012020A (es) 2011-05-24 2013-12-10 Panasonic Corp Metodo de codificacion de imagenes, aparato de codificacion de imagenes, metodo de decodificacion de imagenes, aparato de decodificacion de imagenes y aparato de codificacion /decodificacion de imagenes.
PL3614665T3 (pl) 2011-05-27 2022-07-04 Sun Patent Trust Sposób kodowania obrazów, urządzenie do kodowania obrazów, sposób dekodowania obrazów, urządzenie do dekodowania obrazów, i urządzenie do kodowania i dekodowania obrazów
US9485518B2 (en) * 2011-05-27 2016-11-01 Sun Patent Trust Decoding method and apparatus with candidate motion vectors
EP3629583B1 (en) 2011-05-31 2023-10-25 Sun Patent Trust Video decoding method, video decoding device
ES2861773T3 (es) 2011-05-31 2021-10-06 Jvc Kenwood Corp Dispositivo de decodificación de imágenes en movimiento, procedimiento de decodificación de imágenes en movimiento y programa de decodificación de imágenes en movimiento
SG194746A1 (en) 2011-05-31 2013-12-30 Kaba Gmbh Image encoding method, image encoding device, image decoding method, image decoding device, and image encoding/decoding device
GB2491589B (en) * 2011-06-06 2015-12-16 Canon Kk Method and device for encoding a sequence of images and method and device for decoding a sequence of image
WO2012174990A1 (en) * 2011-06-24 2012-12-27 Mediatek Inc. Method and apparatus for removing redundancy in motion vector predictors
MX2013013029A (es) * 2011-06-30 2013-12-02 Panasonic Corp Metodo de decodificacion de imagenes, metodo de codificacion de imagenes, dispositivo de decodificacion de imagenes, dispositivo de codificacion de imagenes y dispositivo de codificacion/decodifi cacion de imagenes.
US9456214B2 (en) 2011-08-03 2016-09-27 Sun Patent Trust Moving picture coding method, moving picture coding apparatus, moving picture decoding method, moving picture decoding apparatus, and moving picture coding and decoding apparatus
US9300975B2 (en) * 2011-09-11 2016-03-29 Texas Instruments Incorporated Concurrent access shared buffer in a video encoder
WO2013057877A1 (ja) 2011-10-19 2013-04-25 パナソニック株式会社 画像符号化方法、画像符号化装置、画像復号方法、および、画像復号装置
EP2716047A4 (en) * 2011-10-19 2015-03-18 Mediatek Inc METHOD AND DEVICE FOR DERIVING MOTION VECTOR PREVIEW CANDIDATE SETS
EP2769544A4 (en) * 2011-10-21 2015-12-23 Nokia Technologies Oy VIDEO ENCODING METHOD AND APPARATUS
US9571833B2 (en) * 2011-11-04 2017-02-14 Nokia Technologies Oy Method for coding and an apparatus
US20130114717A1 (en) * 2011-11-07 2013-05-09 Qualcomm Incorporated Generating additional merge candidates
TWI618401B (zh) * 2011-12-28 2018-03-11 Jvc Kenwood Corp Motion picture coding device, motion picture coding method and memory medium
US20130188715A1 (en) * 2012-01-09 2013-07-25 Qualcomm Incorporated Device and methods for merge list reordering in video coding
DK3767952T3 (da) 2012-01-19 2021-12-20 Electronics & Telecommunications Res Inst Apparat til billedkodning/-afkodning
US9451277B2 (en) 2012-02-08 2016-09-20 Qualcomm Incorporated Restriction of prediction units in B slices to uni-directional inter prediction
US9426463B2 (en) * 2012-02-08 2016-08-23 Qualcomm Incorporated Restriction of prediction units in B slices to uni-directional inter prediction
US9635356B2 (en) * 2012-08-07 2017-04-25 Qualcomm Incorporated Multi-hypothesis motion compensation for scalable video coding and 3D video coding
CN102883163B (zh) * 2012-10-08 2014-05-28 华为技术有限公司 用于运动矢量预测的运动矢量列表建立的方法、装置
US11109036B2 (en) 2013-10-14 2021-08-31 Microsoft Technology Licensing, Llc Encoder-side options for intra block copy prediction mode for video and image coding
US10582213B2 (en) 2013-10-14 2020-03-03 Microsoft Technology Licensing, Llc Features of intra block copy prediction mode for video and image coding and decoding
US9432685B2 (en) 2013-12-06 2016-08-30 Qualcomm Incorporated Scalable implementation for parallel motion estimation regions
US10390034B2 (en) 2014-01-03 2019-08-20 Microsoft Technology Licensing, Llc Innovations in block vector prediction and estimation of reconstructed sample values within an overlap area
KR102353787B1 (ko) * 2014-01-03 2022-01-19 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 비디오 및 이미지 코딩/디코딩에서의 블록 벡터 예측
US11284103B2 (en) 2014-01-17 2022-03-22 Microsoft Technology Licensing, Llc Intra block copy prediction with asymmetric partitions and encoder-side search patterns, search ranges and approaches to partitioning
EP3114842A4 (en) 2014-03-04 2017-02-22 Microsoft Technology Licensing, LLC Block flipping and skip mode in intra block copy prediction
CN106576152A (zh) * 2014-03-13 2017-04-19 华为技术有限公司 改进的屏幕内容编码方法
EP3158734A1 (en) 2014-06-19 2017-04-26 Microsoft Technology Licensing, LLC Unified intra block copy and inter prediction modes
EP3917146A1 (en) 2014-09-30 2021-12-01 Microsoft Technology Licensing, LLC Rules for intra-picture prediction modes when wavefront parallel processing is enabled
WO2017131908A1 (en) * 2016-01-29 2017-08-03 Google Inc. Dynamic reference motion vector coding mode
US10397600B1 (en) * 2016-01-29 2019-08-27 Google Llc Dynamic reference motion vector coding mode
GB2547754B (en) * 2016-01-29 2020-08-26 Google Llc Dynamic reference motion vector coding mode
US10462457B2 (en) 2016-01-29 2019-10-29 Google Llc Dynamic reference motion vector coding mode
FR3051309A1 (fr) * 2016-05-10 2017-11-17 Bcom Procedes et dispositifs de codage et de decodage d'un flux de donnees representatif d'au moins une image
US10291928B2 (en) * 2017-01-10 2019-05-14 Blackberry Limited Methods and devices for inter-prediction using motion vectors for video coding
EP3410717A1 (en) 2017-05-31 2018-12-05 Thomson Licensing Methods and apparatus for candidate list pruning
US10602180B2 (en) * 2017-06-13 2020-03-24 Qualcomm Incorporated Motion vector prediction
US10986349B2 (en) 2017-12-29 2021-04-20 Microsoft Technology Licensing, Llc Constraints on locations of reference blocks for intra block copy prediction
US10812810B2 (en) * 2018-02-06 2020-10-20 Tencent America LLC Method and apparatus for video coding in merge mode
WO2019234606A1 (en) 2018-06-05 2019-12-12 Beijing Bytedance Network Technology Co., Ltd. Interaction between ibc and atmvp
TWI739120B (zh) 2018-06-21 2021-09-11 大陸商北京字節跳動網絡技術有限公司 合併仿射模式與非合併仿射模式的統一拘束
KR20210022617A (ko) 2018-06-21 2021-03-03 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 칼라 컴포넌트 간의 서브 블록 mv 상속
TWI723443B (zh) 2018-06-29 2021-04-01 大陸商北京字節跳動網絡技術有限公司 每條帶/片/lcu行的查找表的重置
WO2020007362A1 (en) 2018-07-06 2020-01-09 Mediatek Inc. Inherited motion information for decoding a current coding unit in a video coding system
US11006143B2 (en) * 2018-07-11 2021-05-11 Apple Inc. Motion vector candidate pruning systems and methods
WO2020055287A1 (en) * 2018-09-10 2020-03-19 Huawei Technologies Co., Ltd. Video decoder and methods
US10958932B2 (en) * 2018-09-12 2021-03-23 Qualcomm Incorporated Inter-prediction coding of video data using generated motion vector predictor list including non-adjacent blocks
CN110944170B (zh) * 2018-09-24 2023-05-02 北京字节跳动网络技术有限公司 扩展Merge预测
WO2020072401A1 (en) * 2018-10-02 2020-04-09 Interdigital Vc Holdings, Inc. Method and apparatus for video encoding and decoding using list of predictor candidates
CN112840653B (zh) * 2018-10-06 2023-12-26 寰发股份有限公司 视频编解码中共享合并候选列表区域的方法和装置
CN111418205B (zh) * 2018-11-06 2024-06-21 北京字节跳动网络技术有限公司 用于帧间预测的运动候选
WO2020096425A1 (ko) 2018-11-08 2020-05-14 주식회사 엑스리스 영상 신호 부호화/복호화 방법 및 이를 위한 장치
MX2021004886A (es) * 2018-11-08 2021-06-15 Guangdong Oppo Mobile Telecommunications Corp Ltd Procedimiento de codificación y decodificación de señal de vídeo y aparato para ello.
EP3861723A4 (en) 2018-11-10 2022-04-20 Beijing Bytedance Network Technology Co., Ltd. ROUNDS IN PAIRS OF MEDIUM CANDIDATE BILLS
KR20230062663A (ko) * 2018-12-06 2023-05-09 엘지전자 주식회사 인터 예측을 기반으로 비디오 신호를 처리하기 위한 방법 및 장치
WO2020137787A1 (ja) 2018-12-28 2020-07-02 株式会社Ｊｖｃケンウッド 画像符号化装置、画像符号化方法、画像符号化プログラム、画像復号装置、画像復号方法及び画像復号プログラム
MX2021007753A (es) 2018-12-28 2021-08-05 Jvckenwood Corp Dispositivo de codificacion de imagenes, metodo de codificacion de imagenes, dispositivo de decodificacion de imagenes y metodo de decodificacion de imagenes.
EP3905691A4 (en) 2018-12-28 2022-12-21 Godo Kaisha IP Bridge 1 IMAGE DECODING DEVICE, IMAGE DECODING METHOD AND IMAGE DECODING PROGRAM
US11683501B2 (en) * 2019-01-17 2023-06-20 Tencent America LLC Method and apparatus for video coding
CN113906760A (zh) * 2019-06-05 2022-01-07 北京字节跳动网络技术有限公司 用于帧间预测的运动信息推导
JP7437426B2 (ja) * 2019-09-24 2024-02-22 オッポ広東移動通信有限公司 インター予測方法および装置、機器、記憶媒体
US11595678B2 (en) * 2020-06-11 2023-02-28 Tencent America LLC Spatial displacement vector prediction for intra picture block and string copying
US11330296B2 (en) 2020-09-14 2022-05-10 Apple Inc. Systems and methods for encoding image data
US20230094825A1 (en) * 2021-09-28 2023-03-30 Qualcomm Incorporated Motion vector difference sign prediction for video coding

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090304084A1 (en) * 2008-03-19 2009-12-10 Nokia Corporation Combined motion vector and reference index prediction for video coding

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7609765B2 (en) * 2004-12-02 2009-10-27 Intel Corporation Fast multi-frame motion estimation with adaptive search strategies
US20060153299A1 (en) * 2005-01-07 2006-07-13 Kabushiki Kaisha Toshiba Coded video sequence conversion apparatus, method and program product for coded video sequence conversion
US8913660B2 (en) * 2005-04-14 2014-12-16 Fastvdo, Llc Device and method for fast block-matching motion estimation in video encoders
FR2896118A1 (fr) 2006-01-12 2007-07-13 France Telecom Codage et decodage adaptatifs
KR101383540B1 (ko) * 2007-01-03 2014-04-09 삼성전자주식회사 복수의 움직임 벡터 프리딕터들을 사용하여 움직임 벡터를추정하는 방법, 장치, 인코더, 디코더 및 복호화 방법
US8098962B2 (en) * 2007-11-20 2012-01-17 Kabushiki Kaisha Toshiba Signal processing method, apparatus, and program
CN102804768B (zh) * 2009-06-19 2015-12-16 法国电信 利用在预测器之间的竞争的编码运动矢量

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090304084A1 (en) * 2008-03-19 2009-12-10 Nokia Corporation Combined motion vector and reference index prediction for video coding

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
LAROCHE G.ET: "RD Optimized Coding for Motion Vector Predictor Selection", 《IEEE》 *

Cited By (64)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109644272A (zh) * 2016-09-06 2019-04-16 高通股份有限公司 用于建构候选列表的几何型优先级
CN110313180A (zh) * 2017-01-03 2019-10-08 交互数字Vc控股公司 用于编码和解码运动信息的方法和装置
CN110313180B (zh) * 2017-01-03 2023-05-23 交互数字麦迪逊专利控股公司 用于编码和解码运动信息的方法和装置
CN111801944B (zh) * 2018-03-26 2021-10-22 华为技术有限公司 视频图像编码器、解码器以及对应的运动信息编码方法
CN111801944A (zh) * 2018-03-26 2020-10-20 华为技术有限公司 视频图像编码器、视频图像解码器以及对应的运动信息编码方法
US11895291B2 (en) 2018-05-23 2024-02-06 Hfi Innovation Inc. Method and apparatus of video coding using bi-directional CU weight
WO2019223746A1 (en) * 2018-05-23 2019-11-28 Mediatek Inc. Method and apparatus of video coding using bi-directional cu weight
US11146786B2 (en) 2018-06-20 2021-10-12 Beijing Bytedance Network Technology Co., Ltd. Checking order of motion candidates in LUT
US11695921B2 (en) 2018-06-29 2023-07-04 Beijing Bytedance Network Technology Co., Ltd Selection of coded motion information for LUT updating
US11528500B2 (en) 2018-06-29 2022-12-13 Beijing Bytedance Network Technology Co., Ltd. Partial/full pruning when adding a HMVP candidate to merge/AMVP
US11909989B2 (en) 2018-06-29 2024-02-20 Beijing Bytedance Network Technology Co., Ltd Number of motion candidates in a look up table to be checked according to mode
US11895318B2 (en) 2018-06-29 2024-02-06 Beijing Bytedance Network Technology Co., Ltd Concept of using one or multiple look up tables to store motion information of previously coded in order and use them to code following blocks
US12034914B2 (en) 2018-06-29 2024-07-09 Beijing Bytedance Network Technology Co., Ltd Checking order of motion candidates in lut
CN110662052B (zh) * 2018-06-29 2022-07-08 北京字节跳动网络技术有限公司 更新查找表(lut)的条件
US11877002B2 (en) 2018-06-29 2024-01-16 Beijing Bytedance Network Technology Co., Ltd Update of look up table: FIFO, constrained FIFO
US11706406B2 (en) 2018-06-29 2023-07-18 Beijing Bytedance Network Technology Co., Ltd Selection of coded motion information for LUT updating
CN110662043A (zh) * 2018-06-29 2020-01-07 北京字节跳动网络技术有限公司 Lut与amvp之间的交互
CN110662059B (zh) * 2018-06-29 2021-04-20 北京字节跳动网络技术有限公司 使用查找表存储先前编码的运动信息并用其编码后续块的方法和装置
US11245892B2 (en) 2018-06-29 2022-02-08 Beijing Bytedance Network Technology Co., Ltd. Checking order of motion candidates in LUT
CN110662054A (zh) * 2018-06-29 2020-01-07 北京字节跳动网络技术有限公司 当向Merge/AMVP添加HMVP候选时的部分/完全修剪
US11159817B2 (en) 2018-06-29 2021-10-26 Beijing Bytedance Network Technology Co., Ltd. Conditions for updating LUTS
US11159807B2 (en) 2018-06-29 2021-10-26 Beijing Bytedance Network Technology Co., Ltd. Number of motion candidates in a look up table to be checked according to mode
US11134267B2 (en) 2018-06-29 2021-09-28 Beijing Bytedance Network Technology Co., Ltd. Update of look up table: FIFO, constrained FIFO
US11973971B2 (en) 2018-06-29 2024-04-30 Beijing Bytedance Network Technology Co., Ltd Conditions for updating LUTs
US11140385B2 (en) 2018-06-29 2021-10-05 Beijing Bytedance Network Technology Co., Ltd. Checking order of motion candidates in LUT
US11146785B2 (en) 2018-06-29 2021-10-12 Beijing Bytedance Network Technology Co., Ltd. Selection of coded motion information for LUT updating
CN110662059A (zh) * 2018-06-29 2020-01-07 北京字节跳动网络技术有限公司 使用一个或多个查找表来按顺序存储先前编码的运动信息并使用它们来编码后面的块的概念
US11528501B2 (en) 2018-06-29 2022-12-13 Beijing Bytedance Network Technology Co., Ltd. Interaction between LUT and AMVP
US11153557B2 (en) 2018-06-29 2021-10-19 Beijing Bytedance Network Technology Co., Ltd. Which LUT to be updated or no updating
CN110662052A (zh) * 2018-06-29 2020-01-07 北京字节跳动网络技术有限公司 更新查找表(lut)的条件
US11153558B2 (en) 2018-07-02 2021-10-19 Beijing Bytedance Network Technology Co., Ltd. Update of look-up tables
US11153559B2 (en) 2018-07-02 2021-10-19 Beijing Bytedance Network Technology Co., Ltd. Usage of LUTs
US11134243B2 (en) 2018-07-02 2021-09-28 Beijing Bytedance Network Technology Co., Ltd. Rules on updating luts
US11134244B2 (en) 2018-07-02 2021-09-28 Beijing Bytedance Network Technology Co., Ltd. Order of rounding and pruning in LAMVR
US11463685B2 (en) 2018-07-02 2022-10-04 Beijing Bytedance Network Technology Co., Ltd. LUTS with intra prediction modes and intra mode prediction from non-adjacent blocks
CN110719465B (zh) * 2018-07-14 2022-11-22 北京字节跳动网络技术有限公司 用时间信息扩展基于查找表的运动矢量预测
CN110719465A (zh) * 2018-07-14 2020-01-21 北京字节跳动网络技术有限公司 用时间信息扩展基于查找表的运动矢量预测
CN112567748A (zh) * 2018-08-16 2021-03-26 高通股份有限公司 具有分类的基于历史的候选列表
CN110855993A (zh) * 2018-08-21 2020-02-28 华为技术有限公司 一种图像块的运动信息的预测方法及装置
US20200413044A1 (en) 2018-09-12 2020-12-31 Beijing Bytedance Network Technology Co., Ltd. Conditions for starting checking hmvp candidates depend on total number minus k
US11159787B2 (en) 2018-09-12 2021-10-26 Beijing Bytedance Network Technology Co., Ltd. Conditions for starting checking HMVP candidates depend on total number minus K
US11997253B2 (en) 2018-09-12 2024-05-28 Beijing Bytedance Network Technology Co., Ltd Conditions for starting checking HMVP candidates depend on total number minus K
US20210297659A1 (en) 2018-09-12 2021-09-23 Beijing Bytedance Network Technology Co., Ltd. Conditions for starting checking hmvp candidates depend on total number minus k
US11997311B2 (en) 2018-09-17 2024-05-28 Hfi Innovation Inc. Methods and apparatuses of combining multiple predictors for block prediction in video coding systems
WO2020057504A1 (en) * 2018-09-17 2020-03-26 Mediatek Inc. Methods and apparatuses of combining multiple predictors for block prediction in video coding systems
US11765345B2 (en) 2018-09-19 2023-09-19 Beijing Bytedance Network Technology Co., Ltd Multiple prediction blocks for one intra-coded block
CN110933412B (zh) * 2018-09-19 2023-07-25 北京字节跳动网络技术有限公司 用于帧内块复制的基于历史的运动矢量预测值
CN110933440B (zh) * 2018-09-19 2023-08-29 北京字节跳动网络技术有限公司 用于视频处理的方法、装置和非暂时性计算机可读介质
US11503284B2 (en) 2018-09-19 2022-11-15 Beijing Bytedance Network Technology Co., Ltd. Intra mode coding based on history information
US11870980B2 (en) 2018-09-19 2024-01-09 Beijing Bytedance Network Technology Co., Ltd Selection of adjacent neighboring block for intra coding
CN110933412A (zh) * 2018-09-19 2020-03-27 北京字节跳动网络技术有限公司 用于帧内块复制的基于历史的运动矢量预测值
CN110933440A (zh) * 2018-09-19 2020-03-27 北京字节跳动网络技术有限公司 基于历史信息的帧内模式编码
US11122266B2 (en) 2018-11-02 2021-09-14 Beijing Bytedance Network Technology Co., Ltd. Table maintenance for HMVP candidate storage
US11700371B2 (en) 2018-11-02 2023-07-11 Beijing Bytedance Network Technology Co., Ltd Table maintenance for HMVP candidate storage
US11589071B2 (en) 2019-01-10 2023-02-21 Beijing Bytedance Network Technology Co., Ltd. Invoke of LUT updating
US11909951B2 (en) 2019-01-13 2024-02-20 Beijing Bytedance Network Technology Co., Ltd Interaction between lut and shared merge list
US11140383B2 (en) 2019-01-13 2021-10-05 Beijing Bytedance Network Technology Co., Ltd. Interaction between look up table and shared merge list
US11956464B2 (en) 2019-01-16 2024-04-09 Beijing Bytedance Network Technology Co., Ltd Inserting order of motion candidates in LUT
US11962799B2 (en) 2019-01-16 2024-04-16 Beijing Bytedance Network Technology Co., Ltd Motion candidates derivation
WO2020164544A1 (en) * 2019-02-13 2020-08-20 Beijing Bytedance Network Technology Co., Ltd. Updating of history based motion vector prediction tables
US11863771B2 (en) 2019-02-13 2024-01-02 Beijing Bytedance Network Technology Co., Ltd Updating of history based motion vector prediction tables
US11641483B2 (en) 2019-03-22 2023-05-02 Beijing Bytedance Network Technology Co., Ltd. Interaction between merge list construction and other tools
WO2020224639A1 (en) * 2019-05-09 2020-11-12 Beijing Bytedance Network Technology Co., Ltd. Improvement on hmvp table
CN113812165A (zh) * 2019-05-09 2021-12-17 北京字节跳动网络技术有限公司 对hmvp表的改进

Also Published As

Publication number Publication date
US20110194608A1 (en) 2011-08-11
WO2011095260A1 (en) 2011-08-11
US20170064299A1 (en) 2017-03-02
EP2532160A1 (en) 2012-12-12
CN102860006B (zh) 2016-11-23
US20110194609A1 (en) 2011-08-11
BR112012019560A2 (pt) 2020-08-18
EP2532159A1 (en) 2012-12-12
BR112012019560B1 (pt) 2021-08-24
WO2011095259A1 (en) 2011-08-11

Similar Documents

Publication Publication Date Title
CN102860006A (zh) 管理预测运动向量候选
CN102656890B (zh) 用于视频编码的方法和设备
CN101379816B (zh) 双向预测帧的时间错误隐藏
CN102065290B (zh) 视讯译码装置、存储运动矢量信息的方法及存储器分配方法
CN101335896B (zh) 用于前向预测的隔行扫描视频帧的场的预测运动矢量
CN101626244B (zh) 数字信号编码装置及数字信号算术编码方法
CN110169061A (zh) 多重假设的合并模式
WO2012057583A2 (ko) 영상 정보 부호화 방법 및 복호화 방법
CN104768011A (zh) 图像编解码方法和相关装置
CN103026709A (zh) 用于视频译码的帧间预测模式和参考图片列表索引的译码
CN103891281A (zh) 检测用于视频译码的相邻视频单元的可用性
CN102934434A (zh) 时间运动矢量预测的方法与装置
CN103380622A (zh) 帧内预测模式编码/解码方法和用于其的设备
CN102577389A (zh) 运动图像编码装置和运动图像解码装置
JP7448558B2 (ja) 画像エンコーディングおよびデコーディングのための方法およびデバイス
CN104717512A (zh) 一种前向双假设编码图像块的编解码方法和装置
CN100551064C (zh) 变长编码方法及装置
CN102055987B (zh) 一种解码错误宏块的错误隐蔽方法及装置
TW202239206A (zh) 影像解碼裝置、影像解碼方法、儲存有影像解碼程式之記錄媒體、影像編碼裝置、影像編碼方法、及儲存有影像編碼程式之記錄媒體
CN105049854A (zh) 用于对画面进行编码和解码的方法及对应设备
CN110636290B (zh) 视频图像的运动矢量编解码方法以及编/解码器
KR20040008360A (ko) 개선된 움직임 벡터 부호화 및 복호화 방법과 그 장치
KR100668463B1 (ko) 동영상 데이터의 인코딩을 위한 다중 참조 프레임 선택 방법
CN110868611A (zh) 视频编码、解码方法及装置
CN118339830A (zh) 用于图片编码和解码的方法与设备

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 1180161

Country of ref document: HK

C14 Grant of patent or utility model
GR01 Patent grant
REG Reference to a national code

Ref country code: HK

Ref legal event code: GR

Ref document number: 1180161

Country of ref document: HK