CN103339938A - 执行视频译码的运动向量预测 - Google Patents

执行视频译码的运动向量预测 Download PDF

Info

Publication number
CN103339938A
CN103339938A CN2012800066667A CN201280006666A CN103339938A CN 103339938 A CN103339938 A CN 103339938A CN 2012800066667 A CN2012800066667 A CN 2012800066667A CN 201280006666 A CN201280006666 A CN 201280006666A CN 103339938 A CN103339938 A CN 103339938A
Authority
CN
China
Prior art keywords
motion vector
candidate motion
space
time
prediction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2012800066667A
Other languages
English (en)
Other versions
CN103339938B (zh
Inventor
钱威俊
陈培松
***·蔡德·科班
马尔塔·卡切维奇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of CN103339938A publication Critical patent/CN103339938A/zh
Application granted granted Critical
Publication of CN103339938B publication Critical patent/CN103339938B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/89Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder
    • H04N19/895Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder in combination with error concealment
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46Embedding additional information in the video signal during the compression process
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/513Processing of motion vectors
    • H04N19/517Processing of motion vectors by encoding
    • H04N19/52Processing of motion vectors by encoding by predictive encoding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

一般来说,本发明描述用于执行视频译码的运动向量预测的技术。一种包括运动补偿单元的设备可实施所述技术。所述运动补偿单元确定与视频帧的当前部分相关联的空间候选运动向量MVP且修剪所述空间候选运动向量以移除重复者但不移除时间候选运动向量。所述运动补偿单元基于在位流中用信号发送的运动向量预测值MVP索引来选择所述时间候选运动向量中的一者或修剪之后剩余的所述空间候选运动向量中的一者作为选定候选运动向量,且基于所述选定的候选运动向量执行运动补偿。

Description

执行视频译码的运动向量预测
本申请案主张2011年1月27日申请的第61/436,997号美国临时申请案、2011年3月7日申请的第61/449,985号美国临时申请案以及2011年11月18日申请的第61/561,601号美国临时申请案的权利,所述临时申请案中的每一者的全部内容特此以引用的方式并入。
技术领域
本发明涉及视频译码,且更特定来说涉及视频译码的运动补偿方面。
背景技术
可将数字视频能力并入于各种各样的装置中,包含数字电视、数字直播***、无线广播***、个人数字助理(PDA)、膝上型或桌上型计算机、数字相机、数字记录装置、数字媒体播放器、视频游戏装置、视频游戏控制台、蜂窝式或卫星无线电电话、视频电话会议装置等。数字视频装置实施视频压缩技术,例如由MPEG-2、MPEG-4、ITU-TH.263、ITU-T H.264/MPEG-4第10部分高级视频译码(AVC)界定的标准和此类标准的扩展中所描述的视频压缩技术,以更有效地发射和接收数字视频信息。新的视频译码标准正处于开发中,例如由“联合合作小组-视频译码”(JCT-VC)正在开发的高效视频译码(HEVC)标准,其为MPEG与ITU-T之间的合作。新兴HEVC标准有时被称为H.265,但此名称还不是正式的。
发明内容
大体上,本发明描述用于指定运动向量预测值(MVP)的技术。MVP通常作为提高执行运动补偿的效率的方式而用于视频译码中。胜于在参考帧中执行对与当前块匹配的块的搜索,视频编码器可从MVP列表中选择当前块的运动向量。在一些实例中,MVP列表可包含空间上与当前块相邻的四个块的运动向量,以及来自时间上在当前帧之前或之后的参考帧的相同位置的块的运动向量。接着将MVP中的选定一者用于当前块,从而减少(如果不是消除)运动补偿的过程。
在一个实例中,一种编码视频数据的方法包括:确定与当前视频帧的当前部分相关联的空间候选运动向量,其中所述空间候选运动向量包括针对所述当前视频帧的与所述当前部分邻近的相邻部分而确定的运动向量;修剪所述空间候选运动向量以移除所述空间候选运动向量中的至少一者;以及确定与所述当前视频帧的所述当前部分相关联的时间候选运动向量。所述时间候选运动向量包括针对参考视频帧的部分而确定的运动向量。所述方法还包括:选择所述时间候选运动向量或修剪之后剩余的所述空间候选运动向量中的一者作为选定的候选运动向量;以及在位流中用信号发送所述选定的候选运动向量。
在另一实例中,一种用于编码视频数据的设备包括:用于确定与当前视频帧的当前部分相关联的空间候选运动向量的装置,其中所述空间候选运动向量包括针对所述当前视频帧的与所述当前部分邻近的相邻部分而确定的运动向量;用于修剪所述空间候选运动向量以移除所述空间候选运动向量中的至少一者的装置;以及用于确定与所述当前视频帧的所述当前部分相关联的时间候选运动向量的装置。所述时间候选运动向量包括针对参考视频帧的部分而确定的运动向量。所述设备进一步包括:用于选择所述时间候选运动向量或修剪之后剩余的所述空间候选运动向量中的一者作为选定的候选运动向量的装置;以及用于在位流中用信号发送所述选定的候选运动向量的装置。
在另一实例中,一种用于编码视频数据的设备包括运动补偿单元,其确定与当前视频帧的当前部分相关联的空间候选运动向量,其中所述空间候选运动向量包括针对所述当前视频帧的与所述当前部分邻近的相邻部分而确定的运动向量;修剪所述空间候选运动向量以移除所述空间候选运动向量中的至少一者;以及确定与所述当前视频帧的所述当前部分相关联的时间候选运动向量。所述时间候选运动向量包括针对参考视频帧的部分而确定的运动向量。所述设备还包括:模式选择单元,其选择所述时间候选运动向量或修剪之后剩余的所述空间候选运动向量中的一者作为选定的候选运动向量;以及熵译码单元,其在位流中用信号发送所述选定的候选运动向量。
在另一实例中,一种非暂时性计算机可读媒体包括指令,所述指令在被执行时致使一个或一个以上处理器执行以下操作:确定与当前视频帧的当前部分相关联的空间候选运动向量,其中所述空间候选运动向量包括针对所述当前视频帧的与所述当前部分邻近的相邻部分而确定的运动向量;修剪所述空间候选运动向量以移除所述空间候选运动向量中的至少一者;确定与所述当前视频帧的所述当前部分相关联的时间候选运动向量,其中所述时间候选运动向量包括针对参考视频帧的部分而确定的运动向量;选择所述时间候选运动向量或修剪之后剩余的所述空间候选运动向量中的一者作为选定的候选运动向量;以及在位流中用信号发送所述选定的候选运动向量。
在另一实例中,一种解码视频数据的方法包括:确定与当前视频帧的当前部分相关联的空间候选运动向量,其中所述空间候选运动向量包括针对所述当前视频帧的与所述当前部分邻近的相邻部分而确定的运动向量;以及修剪所述空间候选运动向量以移除所述空间候选运动向量中的至少一者但不移除针对所述当前视频帧的所述当前部分而确定的时间候选运动向量。所述时间候选运动向量包括针对在参考视频帧中处于与所述当前部分在所述当前视频帧中所处的位置相同的位置处的参考视频帧的部分而确定的运动向量。所述方法还包括:基于在位流中用信号发送的运动向量预测值(MVP)索引来选择所述时间候选运动向量中的一者或修剪之后剩余的所述空间候选运动向量中的一者作为选定候选运动向量;以及基于所述选定的候选运动向量执行运动补偿。
在另一实例中,一种用于解码视频数据的设备包括:用于确定与当前视频帧的当前部分相关联的空间候选运动向量的装置,其中所述空间候选运动向量包括针对所述当前视频帧的与所述当前部分邻近的相邻部分而确定的运动向量;以及用于修剪所述空间候选运动向量以移除所述空间候选运动向量中的至少一者但不移除针对所述当前视频帧的所述当前部分而确定的时间候选运动向量的装置。所述时间候选运动向量包括针对参考视频帧的部分而确定的运动向量。所述设备还包括:用于基于在位流中用信号发送的运动向量预测值(MVP)索引来选择所述时间候选运动向量中的一者或修剪之后剩余的所述空间候选运动向量中的一者作为选定候选运动向量的装置;以及用于基于所述选定的候选运动向量执行运动补偿的装置。
在另一实例中,一种用于解码视频数据的设备包括运动补偿单元,其确定与当前视频帧的当前部分相关联的空间候选运动向量,其中所述空间候选运动向量包括针对所述当前视频帧的与所述当前部分邻近的相邻部分而确定的运动向量;修剪所述空间候选运动向量以移除所述空间候选运动向量中的至少一者但不移除针对所述当前视频帧的所述当前部分而确定的时间候选运动向量,其中所述时间候选运动向量包括针对参考视频帧的部分而确定的运动向量;基于在位流中用信号发送的运动向量预测值(MVP)索引来选择所述时间候选运动向量中的一者或修剪之后剩余的所述空间候选运动向量中的一者作为选定的候选运动向量;以及基于所述选定的候选运动向量执行运动补偿。
在另一实例中,一种非暂时性计算机可读媒体包括指令,所述指令在被执行时致使一个或一个以上处理器执行以下操作:确定与当前视频帧的当前部分相关联的空间候选运动向量,其中所述空间候选运动向量包括针对所述当前视频帧的与所述当前部分邻近的相邻部分而确定的运动向量;修剪所述空间候选运动向量以移除所述空间候选运动向量中的至少一者但不移除针对所述当前视频帧的所述当前部分而确定的时间候选运动向量,其中所述时间候选运动向量包括针对参考视频帧的部分而确定的运动向量;基于在位流中用信号发送的运动向量预测值(MVP)索引来选择所述时间候选运动向量中的一者或修剪之后剩余的所述空间候选运动向量中的一者作为选定的候选运动向量;以及基于所述选定的候选运动向量执行运动补偿。
一个或一个以上实例的细节陈述于附图和以下描述中。其它特征、目标和优势将从描述和附图以及从权利要求书中显而易见。
附图说明
图1为说明可经配置以利用本发明中所描述的用于指定运动向量预测值(MVP)的技术的实例视频编码与解码***的框图。
图2为说明可实施本发明中描述的用于指定运动向量预测值的技术的视频编码器的实例的框图。
图3为说明实施本发明中描述的运动向量预测技术的视频解码器的实例的框图。
图4为说明在执行本发明中描述的运动向量预测技术的过程中视频编码器的示范性操作的流程图。
图5为说明在实施本发明中描述的运动向量预测技术的过程中视频解码器的示范性操作的流程图。
图6为说明当前预测单元(PU)的邻近的相邻PU和时间上在相同位置的PU的示范性布置的图。
具体实施方式
本发明中描述的技术的实施例使得视频编码器能够通过修剪冗余空间MVP以稳健而有效的方式指定MVP,但在修剪过程期间不包含时间上在相同位置的MVP。换句话说,所述技术形成仅包含空间MVP的MVP中间列表,相对于此MVP中间列表执行修剪,且接着将时间上在相同位置的MVP添加到经修剪的MVP中间列表以形成经修剪的MVP列表。以此方式,指定时间上在相同位置的MVP的参考帧的丢失可能不会阻止位流的剖析,这在常规***中是常见的,且仍可维持通过应用修剪过程而实现的译码效率增益。
图1为说明可经配置以利用本发明中所描述的用于指定运动向量预测值(MVP)的技术的实例视频编码与解码***10的框图。如图1的实例中所展示,***10包含产生供目的地装置14解码的经编码视频的源装置12。源装置12可经由通信信道16将经编码视频发射到目的地装置14或可将经编码视频存储在存储媒体34或文件服务器36上,以使得经编码视频可按需要被目的地装置14存取。源装置12和目的地装置14可包括各种各样的装置中的任一者,包含桌上型计算机、笔记型(即,膝上型)计算机、平板计算机、机顶盒、电话手持机(包含蜂窝式电话或手持机和所谓的智能手机)、电视、相机、显示装置、数字媒体播放器、视频游戏控制台等。
在许多情况下,此类装置可经装备以用于无线通信。因此,通信信道16可包括无线信道。或者,通信信道16可包括有线信道、无线信道与有线信道的组合,或任何其它类型的通信信道,或适合用于发射经编码视频数据的通信信道(例如射频(RF)频谱或一个或一个以上物理传输线)的组合。在一些实例中,通信信道16可形成基于包的网络(例如,局域网(LAN)、广域网(WAN)或例如因特网等全球网络)的部分。因此,通信信道16大体表示用于将视频数据从源装置12发射到目的地装置14的任何合适的通信媒体或不同通信媒体的集合,包含有线或无线媒体的任何合适组合。通信信道16可包含可用于促进从源装置12到目的地装置14的通信的路由器、交换机、基站或任何其它设备。
如图1的实例中进一步展示,源装置12包含视频源18、视频编码器20、调制器/解调器22(“调制解调器22”)和发射器24。在源装置12中,视频源18可包含例如视频俘获装置等源。举例来说,视频俘获装置可包含以下各者中的一者或一者以上:摄像机、含有先前俘获的视频的视频存档、从视频内容提供者接收视频的视频馈送接口,和/或用于产生计算机图形数据以作为源视频的计算机图形***。作为一个实例,如果视频源18为摄像机,那么源装置12和目的地装置14可形成所谓的相机电话或视频电话。然而,本发明中描述的技术不限于无线应用或设置,且可适用于包含视频编码和/或解码能力的非无线装置。因此,源装置12和目的地装置14仅为可支持本文中所描述的技术的译码装置的实例。
视频编码器20可编码所俘获、预先俘获或计算机产生的视频。一旦经编码,视频编码器20便可将此经编码视频输出到调制解调器22。调制解调器22可接着根据通信标准(例如无线通信协议)调制经编码视频,之后发射器24可将经调制的经编码视频数据发射到目的地装置14。调制解调器22可包含各种混频器、滤波器、放大器或经设计以用于信号调制的其它组件。发射器24可包含经设计以用于发射数据的电路,包含放大器、滤波器和一个或一个以上天线。
由视频编码器20编码的所俘获、预先俘获或计算机产生的视频还可存储到存储媒体34或文件服务器36上以供稍后检索、解码以及使用。存储媒体34可包含蓝光光盘、DVD、CD-ROM、快闪存储器或用于存储经编码视频的任何其它合适的数字存储媒体。目的地装置14可存取存储在存储媒体34或文件服务器36上的经编码视频,解码此经编码视频以产生经解码视频并重播此经解码视频。
文件服务器36可为能够存储经编码视频且将所述经编码视频传输到目的地装置14的任何类型的服务器。实例文件服务器包含网络服务器(例如,用于网站)、FTP服务器、网络附接存储(NAS)装置、本地磁盘驱动器,或能够存储经编码视频数据且将其传输到目的地装置的任何其它类型的装置。来自文件服务器36的经编码视频数据的发射可为串流传输、下载传输或两者的组合。目的地装置14可根据任何标准数据连接(包含因特网连接)接入文件服务器36。此连接可包含无线信道(例如,Wi-Fi连接或无线蜂窝式数据连接)、有线连接(例如,DSL、电缆调制解调器等)、有线信道与无线信道两者的组合,或适合用于存取存储在文件服务器上的经编码视频数据的任何其它类型的通信信道。
在图1的实例中,目的地装置14包含接收器26、调制解调器28、视频解码器30和显示装置32。目的地装置14的接收器26经由信道16接收信息,且调制解调器28解调所述信息以产生用于视频解码器30的经解调位流。经由信道16传送的信息可包含由视频编码器20产生的多种语法信息以供视频解码器30在解码相关联的经编码视频数据时使用。此语法还可包含在存储于存储媒体34或文件服务器36上的经编码视频数据内。视频编码器20和视频解码器30中的每一者可形成能够编码或解码视频数据的相应编码器-解码器(CODEC)的部分。
目的地装置14的显示装置32表示能够呈现视频数据以供观看者观看的任何类型的显示器。虽然展示为与目的地装置14集成,但显示装置32可与目的地装置14集成或在目的地装置14外部。在一些实例中,目的地装置14可包含集成的显示装置且还可经配置以与外部显示装置介接。在其它实例中,目的地装置14可为显示装置。一般来说,显示装置32向用户显示经解码视频数据,且可包括多种显示装置中的任一者,例如,液晶显示器(LCD)、等离子显示器、有机发光二极管(OLED)显示器或另一类型的显示装置。
本发明可大体上涉及视频编码器20将语法信息“用信号发送”到另一装置(例如,视频解码器30)。然而,应理解,视频编码器20可通过使语法元素与视频数据的各种经编码部分相关联来用信号发送信息。也就是说,视频编码器20可通过将特定语法元素存储到视频数据的各种经编码部分的标头来“用信号发送”数据。在一些情况下,此类语法元素可在由视频解码器30接收并解码之前经编码和存储(例如,存储到存储媒体34或文件服务器36)。因此,术语“用信号发送”一般可指用以解码经压缩视频数据的语法或其它数据的传送,无论此通信实时地或近实时地发生还是在一时间跨度上发生,例如可在编码之时将语法元素存储到媒体时发生,所述语法元素接着可在存储到此媒体之后的任何时间由解码装置检索。
视频编码器20和视频解码器30可根据视频压缩标准(例如,目前在开发中的高效视频译码(HEVC)标准)而操作,且可符合HEVC测试模型(HM)。或者,视频编码器20和视频解码器30可根据其它专属或工业标准(例如ITU-T H.264标准,或者被称作MPEG-4第10部分高级视频译码(AVC))或此类标准的扩展而操作。然而,本发明的技术不限于任何特定译码标准。其它实例包含MPEG-2和ITU-T H.263。
HM将视频数据块称作译码单元(CU)。一般来说,除了CU不具有与H.264的宏块相关联的大小区别之外,CU具有与根据H.264译码的宏块类似的目的。因此,CU可***为若干子CU。一般来说,本发明中对CU的参考可指图片的最大译码单元(LCU)或LCU的子CU。举例来说,在位流内的语法数据可界定LCU,LCU在像素数目方面为最大的译码单元。LCU可***为若干子CU,且每一子CU可***为若干子CU。用于位流的语法数据可界定可***LCU的最大次数,称作最大CU深度。因此,位流还可界定最小译码单元(SCU)。
LCU可与阶层式四叉树数据结构相关联。一般来说,四叉树数据结构针对每一CU包含一个节点,其中根节点对应于LCU。如果将一个CU***为四个子CU,那么对应于所述CU的节点包含用于对应于所述子CU的四个节点中的每一者的参考。四叉树数据结构的每一节点可提供用于对应CU的语法数据。举例来说,在四叉树中的节点可包含指示对应于所述节点的CU是否***为若干子CU的***旗标。用于CU的语法元素可递归地界定,且可取决于CU是否***为子CU。
未***的CU可包含一个或一个以上预测单元(PU)。一般来说,PU表示对应CU的全部或一部分,且包含用于检索所述PU的参考样本的数据。举例来说,当PU被以帧内模式编码时,PU可包含描述用于PU的帧内预测模式的数据。作为另一实例,当PU被以帧间模式编码时,PU可包含界定用于PU的一个或一个以上运动向量的数据。运动向量通常识别一个或一个以上参考帧中的相同位置的CU,其中术语“参考帧”指时间上出现于PU所处的帧之前或之后的帧。关于CU界定PU的数据还可描述(例如)将CU分割成一个或一个以上PU。在CU是未经译码、经帧内预测模式编码还是经帧间预测模式编码之间,分割模式可不同。
界定运动向量的数据可描述(例如)运动向量的水平分量、运动向量的垂直分量、运动向量的分辨率(例如,四分之一像素精度或八分之一像素精度)、运动向量指向的参考帧、识别所识别参考帧在当前帧之前还是之后的预测方向,和/或用于运动向量的参考列表(例如,列表0或列表1)。或者,界定运动向量的数据可就称作运动向量预测值(MVP)的事物来描述运动向量。运动向量预测值可包含相邻PU或时间上在相同位置的PU的运动向量。通常,以经界定方式形成五个MVP的列表(例如,以具有最大振幅的MVP开始到具有最小振幅的MVP(即,待译码的当前PU与参考PU之间的最大或最小位移)列出MVP,或基于位置(即,上方块、左方块、角落块、时间块)列出MVP),其中五个MVP中的四者为选自四个相邻PU的空间MVP且第五MVP为选自参考帧中的时间上在相同位置的PU的时间上在相同位置的MVP。
尽管通常时间候选运动向量相对于当前帧中的当前部分的运动向量处在参考帧的相同部分中的相同位置,但所述技术不应严格地限于相同位置的时间候选运动向量。而是,所述技术可相对于任何时间候选运动向量而实施,无论所述时间候选运动向量是否在相同位置。在一些情况中,视频编码器可识别与当前帧的当前块或部分不在相同位置的时间候选运动向量且选择此时间候选运动向量作为时间MVP。通常,视频编码器可用信号通知使用了不在相同位置的时间MVP,或在一些情况中,给定上下文可指示使用了不在相同位置的时间MVP(在此情况下视频编码器可以不用信号通知是否选择了不在相同位置的时间MVP)。
在形成五个MVP的列表之后,视频编码器20可对所述MVP中的每一者进行评估以确定哪一MVP提供最佳地匹配经选择以用于编码视频的给定速率与失真曲线的最佳速率与失真特性。视频编码器20可相对于五个MVP中的每一者执行速率-失真优化(RDO)程序,从而选择MVP中具有最佳RDO结果的一个MVP。或者,视频编码器20可选择存储到列表的五个MVP中最佳地近似经确定以用于当前PU的运动向量的一个MVP。
在任何情况下,视频编码器20都可使用包括以下各者的数据来指定运动向量:识别五个MVP的列表中的MVP中的选定一者的索引、运动向量指向的一个或一个以上参考帧(经常呈列表形式),以及识别预测为单向还是双向的预测方向。或者,界定运动向量的数据可仅指定五个MVP的列表中的选定MVP的索引而不指定参考帧和预测方向,这向视频解码器表明MVP中的选定一者将完全用于当前PU。
除具有界定一个或一个以上运动向量的一个或一个以上PU之外,CU还可包含一个或一个以上变换单元(TU)。在使用PU进行预测之后,视频编码器可计算用于对应于PU的CU部分的残余值,其中此残余值还可称作残余数据。可变换、量化且扫描所述残余值。TU不必限于PU的大小。因此,TU可大于或小于相同CU的对应PU。在一些实例中,TU的最大大小可为对应CU的大小。本发明还使用术语“块”来指代CU、PU和/或TU中的任一者或组合。
一般来说,经编码视频数据可包含预测数据和残余数据。视频编码器20可在帧内预测模式或帧间预测模式期间产生预测数据。帧内预测大体上涉及相对于图片的相邻的先前经译码块中的参考样本来预测相同图片的块中的像素值。帧间预测大体上涉及相对于先前经译码图片的数据来预测图片的块中的像素值。
在帧内预测或帧间预测之后,视频编码器20可计算块的残余像素值。残余值大体上对应于块的预测像素值数据与块的真实像素值数据之间的差。举例来说,残余值可包含指示经译码像素与预测像素之间的差的像素差值。在一些实例中,经译码像素可与待译码的像素块相关联,且预测像素可与用以预测经译码块的一个或一个以上像素块相关联。
为了进一步压缩块的残余值,可将残余值变换为变换系数的集合,所述变换系数将尽可能多的数据(还称为“能量”)压缩为尽可能少的系数。变换技术可包括离散余弦变换(DCT)过程或概念上类似的过程、整数变换、小波变换或其它类型的变换。变换将像素的残余值从空间域转换到变换域。变换系数对应于大小通常与原始块相同的二维系数矩阵。换句话说,存在与原始块中的像素恰好一样多的变换系数。然而,归因于变换,变换系数中的许多者可能会具有等于零的值。
视频编码器20可接着量化变换系数以进一步压缩视频数据。量化大体上涉及将在相对大范围内的值映射到相对小范围中的值,因而减少表示经量化的变换系数所需的数据量。更具体来说,可根据量化参数(QP)而应用量化,量化参数(QP)可在LCU层级处界定。因此,同一层级的量化可适用于与LCU内的CU的不同PU相关联的TU中的所有变换系数。然而,并非用信号发送QP自身,而是可随LCU用信号发送QP的改变(即,Δ)。ΔQP界定了LCU的量化参数相对于某一参考QP(例如,先前传送的LCU的QP)的改变。
在量化之后,视频编码器20可扫描变换系数,从而从包含经量化的变换系数的二维矩阵产生一维向量。视频编码器20可接着执行统计无损编码(其通常被误称为“熵编码”)来编码所得阵列以更进一步压缩数据。一般来说,熵译码包括共同地压缩经量化的变换系数和/或其它语法信息的序列的一个或一个以上过程。举例来说,例如ΔQP、预测向量、译码模式、滤波器、偏移或其它信息等语法元素也可包含于经熵译码的位流中。接着(例如)经由内容自适应可变长度译码(CAVLC)、上下文自适应二进制算术译码(CABAC)或任何其它统计无损译码过程来熵译码经扫描的系数连同任何语法信息。
如上文所指出,界定用于PU的运动向量的数据可采取众多形式。视频编码器20可实施可借以表示运动向量的不同方式以压缩运动向量数据。视频编码器20可实施称作合并模式的模式以将运动向量表示为识别存储到以经界定方式建构的MVP列表的MVP的索引。在实施此合并模式的逆过程时,视频解码器30接收此索引,根据经定义方式重建五个MVP的列表,且选择列表中的五个MVP中的由所述索引指示的一者。视频解码器30接着将MVP中的选定一者实例化为用于相关联的PU的运动向量,其分辨率与MVP中的选定一者相同且指向与MVP中的选定一者指向的参考帧相同的参考帧。在实施合并模式时,视频编码器20可能不需要在得到运动向量所必要的最大程度上执行运动估计,不需要指定运动向量的水平和垂直分量、运动向量分辨率、运动向量方向(意指,运动向量指向时间上在当前帧之前还是之后的帧)或参考帧索引,进而潜在地减少确定运动向量所需要的处理器循环且压缩运动向量数据。
视频编码器20还可实施自适应运动向量预测(AMVP)模式,其类似于合并模式,也包含了将运动向量表示为识别存储到以经界定方式建构的MVP列表的MVP的索引。然而,与合并模式相反,视频编码器20还可指定预测方向和参考帧,从而有效地更动(override)MVP中的选定一者的这些部分。在实施AMVP模式时,视频编码器20可能不需要在得到运动向量所必要的最大程度上执行运动估计,不需要指定运动向量的水平和垂直分量以及运动向量分辨率,进而潜在地减少确定运动向量所需要的处理器循环且压缩运动向量数据。
随着各种译码标准的发展,运动向量的甚至更有效的表示也得到了发展。举例来说,关于新兴HEVC标准的提议已提出了可用以通过称作“修剪”或“MVP修剪”的过程而压缩MVP索引的方式。在执行此修剪过程时,视频编码器20以经界定方式建构五个MVP的列表且接着修剪或移除任何冗余MVP。也就是说,视频编码器20可移除在X和Y分量两者上具有相同振幅且参考相同参考帧的任何MVP,其中这些MVP在本发明中被视为“冗余MVP”。或者,视频编码器20可仅将“独特”的MVP添加到列表,“独特”意指这些MVP在X和Y方向上具有与列表中已包含的所有其它MVP不同的振幅和/或参考不同参考帧。无论在添加到列表之后修剪还是在创建列表时修剪,修剪过程都可减小列表的大小,其结果为可使用较少位来用信号发送或用其它方式指定MVP中的选定一者,这是因为较短列表通常需要较小数目的位来表示最大索引值。
举例来说,出于说明目的假设五个MVP中的任一者都没有被修剪。在此情况下,视频编码器可使用包括最多四位的截短一元码来用信号发送到五个MVP的此列表中的索引,以指示待选择的特定MVP。在提议中,用以用信号发送对五个MVP的列表中的第五MVP的选择的截短一元码为1111,用以用信号发送对五个MVP的列表中的第四MVP的选择的截短一元码为1110,用以用信号发送对五个MVP的列表中的第三MVP的选择的截短一元码为110,用以用信号发送对五个MVP的列表中的第二MVP的选择的截短一元码为10,且用以用信号发送对五个MVP的列表中的第一MVP的选择的截短一元码为0。然而,如果可将MVP列表修剪到三个MVP(意指MVP中的两者为冗余的),那么视频编码器20可使用消耗最多两位的截短一元码(例如,其中可使用码11用信号发送第三MVP),从而与不使用修剪或修剪不可能(例如当不存在冗余MVP时)且五个MVP的列表中的第五或第四MVP被选择的情况相比潜在地节省了一位。因此,在某种程度上,码取决于MVP列表的大小,其中较小MVP列表(意指具有较少MVP的列表)导致较小码(意指码需要较少位来表示来自经修剪的MVP列表的选定MVP)。
虽然修剪可通过减少用以用信号发送MVP列表中的选定MVP的索引的码长度来改进译码效率,但此修剪也可能会影响视频解码器30成功地剖析位流的能力。因为码取决于经修剪的MVP列表的大小,所以视频解码器30需要知道经修剪的MVP列表中的MVP的数目。然而,当时间上在相同位置的MVP所在的参考帧丢失时,此时间上在相同位置的MVP不可用且视频解码器30无法确定此MVP是独特的还是冗余的。因此,视频解码器30无法确定经修剪的MVP列表是否已包含此时间上在相同位置的MVP,且因此无法确定经修剪的MVP列表的大小。在不能确定经修剪的MVP列表的大小的情况下,视频解码器30则无法确定码的最大长度,这又使视频解码器30不能够剖析来自位流的码。
根据本发明中描述的技术,视频编码器20可通过修剪冗余空间MVP以潜在稳健而有效的方式指定MVP,但在修剪过程期间不包含时间上在相同位置的MVP。换句话说,视频编码器20可实施本发明中描述的技术以形成仅包含空间MVP的MVP中间列表,相对于此MVP中间列表执行修剪,且接着组合时间上在相同位置的MVP与经修剪的MVP中间列表以形成经修剪的MVP列表。以此方式,指定时间上在相同位置的MVP的参考帧的丢失可能不会阻止位流的剖析,这在常规***中是常见的,同时仍维持通过使用修剪过程而实现的译码效率增益中的至少一些。
为了说明,视频编码器20首先确定与当前视频帧的当前部分(例如CU)相关联的空间候选运动向量。此外,空间候选运动向量包含针对与对应CU相关联的与当前PU邻近的相邻PU所确定的相邻运动向量。通常,这些相邻PU定位成在左方、左上方、正上方和右上方邻近当前PU,如关于图6的实例更详细地展示。视频编码器20使用这些空间候选运动向量,因为已针对这些块确定了这些空间候选运动向量。鉴于视频编码器20通常从上到下、从左到右地执行运动估计/补偿,所以对于定位在当前PU正右方或正下方的任何块,视频编码器20仍需计算这些块的运动向量。然而,虽然关于这些空间运动向量进行描述,但所述技术可在以不同次序(例如,从上到下、从右到左)执行运动估计/补偿的视频编码器20中实施。另外,所述技术可相对于更多或更少空间或时间运动向量而实施。
在确定这些空间运动向量之后,视频编码器20接着修剪空间候选运动向量以移除空间候选运动向量中的重复者。视频编码器20可识别重复的空间候选运动向量为对于候选运动向量的x轴和y轴分量两者具有相同振幅且来自同一参考帧的候选空间运动向量中的任一者。视频编码器20通过从可称作空间候选运动向量的中间列表的列表移除重复者或在确定待添加到此列表的候选空间运动向量并非重复者后即刻仅将所述候选空间运动向量添加到此中间列表来执行修剪。
在以此方式修剪空间候选运动向量之后,视频编码器20可接着确定用于当前视频帧的当前PU的时间候选运动向量。此外,时间候选运动向量包括针对与当前视频帧的当前PU共同定位于相同位置的参考视频帧的PU所确定的运动向量。视频编码器20可接着选择时间候选运动向量或在执行修剪过程之后剩余的空间候选运动向量中的一者作为选定候选运动向量。视频编码器20接着在位流中用信号发送选定的候选运动向量。
在一些情况下,视频编码器20可确定所确定的空间候选运动向量中的每一者是经空间预测还是时间预测。换句话说,所确定的空间候选运动向量自身可在时间上从参考帧中的相同位置的块预测或在空间上从与空间候选运动向量的每一者的确定所针对的块邻近的块预测。响应于此确定,视频编码器20可从修剪过程进一步移除所确定的空间候选运动向量中的一者或一者以上。举例来说,视频编码器20可从修剪过程移除空间候选运动向量中的被确定为自身经时间预测的那些空间候选运动向量,因为如果这些时间预测的空间候选运动向量的预测所依据的参考帧的部分丢失,那么这些时间预测的空间候选运动向量可能对解码器不可用。视频编码器20可接着选择时间候选运动向量、时间预测的空间候选运动向量中的一者或修剪之后剩余的空间预测的空间候选运动向量中的一者,且在位流中用信号发送此选定的候选运动向量。
或者,视频编码器20可用界定默认运动信息的默认候选运动向量取代这些时间预测的空间候选运动向量,而不是从修剪过程移除时间预测的空间候选运动向量。此默认运动向量信息可包括(例如)运动向量振幅、识别参考帧在时间上在当前帧之前还是之后的预测方向,以及识别参考帧的参考索引。视频编码器20可通过取那些可用的空间预测的空间候选运动向量的平均值,选取第一可用的空间预测的空间候选运动向量,或使用静态地配置在视频编码器20和视频解码器30两者内的默认运动向量信息来确定此默认运动向量信息(仅举几个例子)。
通过从修剪过程消除空间候选运动向量中可能会丢失或对视频解码器30不可用(例如,因为经压缩视频数据的发射错误或在视频编码器20或视频解码器30处的存储错误)的空间候选运动向量,视频编码器20可用一方式用信号发送选定的候选运动向量,以使得视频解码器30能够在这些时间预测的空间候选运动向量丢失或变得不可用的情况下恰当地剖析位流。同样地,在替代方案中,通过用默认候选运动向量取代时间预测的空间候选运动向量,视频编码器20可用一方式用信号发送选定的候选运动向量,以使得视频解码器30能够在这些时间预测的空间候选运动向量丢失或变得不可用的情况下恰当地剖析位流。
通常,视频编码器20使用表示如列表中所布置的选定的候选运动向量的索引的一元码来用信号发送选定的候选运动向量。视频编码器20可用设定或经界定方式布置时间候选运动向量和在执行修剪过程之后剩余的空间候选运动向量(例如,从最高振幅到最低振幅,最低振幅到最高振幅,先是时间运动向量再接着从最高到最低振幅或最低到最高振幅排序的剩余空间运动向量,等等),从而形成候选运动向量的列表。或者,视频编码器20可用信号发送指示运动向量在列表中布置的方式的某一识别符。无论如何,视频编码器20接着识别存储到此列表的候选运动向量中的一者,从而以上述方式使用一元码对存储到此列表的候选运动向量中的选定一者的索引进行编码。
视频解码器30接收此位流,解码所述索引且形成空间候选运动向量(如果可用的话)的中间列表。如上所述,在视频编码器20使用运动向量预测来编码相邻块的运动向量且选择时间运动向量,其中界定此时间运动向量的参考帧丢失(例如,归因于存储器损坏、总线错误或发射错误)的情况下,空间候选运动向量中的一者或一者以上可能不可用。或者,当视频编码器20使用运动向量预测来编码此相邻PU的运动向量且选择空间运动向量中其自身是从时间运动向量进行运动向量预测的一者,其中界定此时间运动向量的参考帧丢失(例如,归因于存储器损坏、总线错误或发射错误)时,空间候选运动向量中的一者或一者以上可能不可用。视频解码器30可通过以下操作来克服此问题:从修剪过程移除不可用的时间预测的候选运动向量,或在替代方案中用默认候选运动向量取代这些不可用的时间预测的空间候选运动向量。在这方面,视频解码器30以大体上类似的方式实施上文关于视频编码器20描述的技术,以便恰当地剖析来自位流的用信号发送的选定的候选运动向量。
在任何情况下,甚至假设一个或一个以上候选运动向量丢失,所述技术都使得能够用一方式用信号发送MVP以使得促进位流的剖析。通过确保在修剪之后时间候选运动向量始终存在于列表中,视频编码器20确保视频解码器30可确定可用运动向量的数目且进而剖析来自位流的索引。同样地,通过确保时间预测的空间候选运动向量始终存在于列表中或用视频解码器30始终可再生的默认候选运动向量取代,视频编码器20确保视频解码器30可确定可用运动向量的数目且进而剖析来自位流的索引。以此方式,即使存储时间候选运动向量和/或时间预测的空间候选运动向量的切片丢失,视频解码器30也仍可剖析位流,而不管是否使用一元码。具体来说,视频解码器30可在知道时间候选运动向量和/或时间预测的空间候选运动向量始终包含在MVP列表中且决不从MVP列表修剪的情况下剖析位流。在时间预测的空间候选运动向量被默认候选运动向量取代的替代方案中,视频编码器20有效地确保此些时间预测的空间候选运动向量不会丢失,因为视频解码器30以一方式配置以便始终能够使用与视频编码器20执行以确定此默认候选运动向量相同的技术确定这些运动向量。
为了说明时间候选运动向量丢失的情况,考虑空间候选运动向量的振幅为1、1、1和1且时间候选运动向量的振幅为-1的情况。视频解码器30可实施所述技术以形成起初仅具有空间候选运动向量的列表(其可称作MVP列表),使得MVP列表为1、1、1和1。解码器接着修剪此仅空间MVP列表,使得此MVP列表被界定为1。解码器接着将时间候选运动向量添加到MVP列表,使得MVP列表被界定为-1和1。编码器可接着用信号发送为0或1的mvp_idx以指示这些运动向量中的一者被选定(或如果不使用截短一元码,则为0或10的mvp_idx)。关于上文描述的一元码,本发明的技术移除了必须推断在修剪之后仅一个候选运动向量可用的可能性,因为将始终存在至少一个空间候选运动向量和所述时间候选空间运动向量。
以此方式,所述技术使得视频编码器能够通过修剪冗余空间MVP以潜在稳健而有效的方式指定MVP,但在修剪过程期间不考虑时间上在相同位置的MVP。换句话说,所述技术形成仅包含空间MVP的MVP中间列表,相对于此MVP中间列表执行修剪,且接着将时间上在相同位置的MVP添加到经修剪的MVP中间列表以形成经修剪的MVP列表。以此方式,指定时间上在相同位置的MVP的参考帧的丢失可能不会阻止位流的剖析,这在常规***中是常见的,同时仍维持通过使用修剪过程而实现的译码效率增益。
在一些情况下,可在其它情形中应用所述技术。举例来说,HEVC测试模型(HM4.0)的第四版本提议先修剪MVP,且接着如果修剪之后剩余的MVP的总数目小于五则添加额外MVP。换句话说,HM4.0将修剪五个MVP(即,一个时间和四个空间)以产生经修剪的MVP列表。如果此经修剪的MVP列表中的MVP的数目小于五,那么HM4.0添加非冗余MVP直到经修剪列表中的MVP的总数目等于五为止。这些非冗余MVP可选自其它空间或时间块或可基于经修剪的MVP列表中的MVP而产生(例如,选择经修剪的MVP列表中的一个MVP的y分量和来自经修剪的MVP列表中的另一不同MVP的x分量)。在此情形中,视频编码器可实施本发明中描述的技术以选择额外非冗余MVP使得仅空间MVP被选择和/或用以产生这些额外非冗余MVP。
通过仅选择空间MVP或使用修剪之后剩余的现有空间MVP来产生这些额外非冗余MVP,视频编码器可确保视频解码器可恰当地确定MVP中的选定一者。也就是说,通过始终具有五个MVP,视频编码器确保视频解码器可始终剖析来自位流的MVP索引,但如果时间MVP丢失,那么视频解码器可能无法准确地建构MVP列表,因为当时间MVP丢失时,MVP无法确定MVP相对于彼此的次序。本发明中描述的技术可通过不选择任何时间MVP或自身是从时间MVP预测出的空间MVP作为额外非冗余MVP来减少或潜在地消除丢失时间MVP造成的影响。
关于本发明的实例描述的用于指定运动向量预测的技术可应用于视频译码以支持多种多媒体应用中的任一者,例如,空中电视广播、有线电视发射、***发射、(例如)经由因特网的串流视频传输、数字视频的编码以供存储在数据存储媒体上、存储在数据存储媒体上的数字视频的解码,或其它应用。在一些实例中,***10可经配置以支持单向或双向视频发射以用于例如视频串流传输、视频重播、视频广播和/或视频电话等应用。
尽管图1中未展示,但在一些方面中,视频编码器20和视频解码器30可各自与音频编码器和解码器集成,且可包含适当的多路复用器-多路分用器(MUX-DEMUX)单元或其它硬件和软件,以处理对共同数据流或单独数据流中的音频与视频两者的编码。如果适用,那么在一些实例中,MUX-DEMUX单元可遵照ITU H.223多路复用器协议,或例如用户数据报协议(UDP)等其它协议。
视频编码器20和视频解码器30各自可实施为多种合适编码器电路中的任一者,例如一个或一个以上微处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、离散逻辑、软件、硬件、固件或其任何组合。当所述技术部分地在软件中实施时,装置可将用于软件的指令存储在合适的非暂时性计算机可读媒体中,且在硬件中使用一个或一个以上处理器来执行所述指令以执行本发明的技术。视频编码器20和视频解码器30中的每一者可包含于一个或一个以上编码器或解码器中,其中任一者可作为组合式编码器/解码器(CODEC)的部分集成于相应装置中。
图2为说明可实施用于指定运动向量预测值的技术的视频编码器20的实例的框图。视频编码器20可执行视频帧内的块(包含宏块,或宏块的分区或子分区)的帧内和帧间译码。帧内译码依赖于空间预测以减少或移除给定视频帧内的视频中的空间冗余。帧间译码依赖于时间预测以减少或移除视频序列的邻近帧内的视频中的时间冗余。帧内模式(I模式)可指若干基于空间的压缩模式中的任一者,且帧间模式(例如单向预测(P模式)或双向预测(B模式))可指若干基于时间的压缩模式中的任一者。尽管图2中描绘了用于帧间模式编码的组件,但应理解,视频编码器20可进一步包含用于帧内模式编码的组件。然而,为了简洁和清楚起见,未说明此些组件。
如图2中所示,视频编码器20接收待编码的视频帧内的当前视频块。在图2的实例中,视频编码器20包含运动补偿单元44、运动估计单元42、存储器64、求和器50、变换单元52、量化单元54和熵译码单元56。对于视频块重建,视频编码器20还包含反量化单元58、反变换单元60,和求和器62。还可包含解块滤波器(图2中未展示)以对块边界进行滤波,以从经重建的视频移除成块性假影。在需要时,解块滤波器通常会对求和器62的输出进行滤波。尽管描述为包含通常指随机存取存储器(RAM)、动态RAM(DRAM)、静态RAM(SRAM)、快闪存储器或其它持续或非持续基于芯片的存储媒体的存储器64,但可利用任何类型的非暂时性计算机可读媒体,包含硬盘驱动器、光盘驱动器、磁盘驱动器等。
在编码过程期间,视频编码器20接收待译码的视频帧或切片。帧或切片可划分为多个视频块。运动估计单元42和运动补偿单元44相对于一个或一个以上参考帧中的一个或一个以上块执行对所接收的视频块的帧间预测译码以提供时间压缩。帧内预测单元46还可相对于与待译码的块在相同帧或切片中的一个或一个以上相邻块执行对所接收的视频块的帧内预测译码以提供空间压缩。
如图2的实例中进一步展示,视频编码器20还包含模式选择单元40。模式选择单元40可(例如)基于误差结果而选择译码模式(帧内或帧间)中的一者,且将所得的经帧内译码或经帧间译码的块提供到求和器50以产生残余块数据,且提供到求和器62以重建经编码块以用作参考帧。
运动估计单元42与运动补偿单元44可高度集成,但为概念目的而分开说明。运动估计是产生估计视频块的运动的运动向量的过程。运动向量(例如)可指示预测参考帧(或其它经译码单元)内的预测块相对于当前帧(或其它经译码单元)内正被译码的当前块的位移。预测块是被发现在像素差方面紧密地匹配待译码的块的块,像素差可通过绝对差总和(SAD)、平方差总和(SSD)或其它差量度来确定。运动向量还可指示宏块的分区的位移。运动补偿可涉及基于运动估计所确定的运动向量来获取或产生预测块。此外,在一些实例中,运动估计单元42与运动补偿单元44可在功能上集成。
运动估计单元42通过比较经帧间译码帧的视频块与在存储器64中的参考帧的视频块来计算用于经帧间译码帧的视频块的运动向量。运动补偿单元44还可内插参考帧(例如,I帧或P帧)的子整数像素。新兴HEVC标准(和ITU H.264标准)通过一个或一个以上列表数据结构(其通常称作“列表”)存储参考帧。因此,存储于存储器64中的数据也可被视为列表。运动估计单元42比较来自存储器64的一个或一个以上参考帧(或列表)的块与当前帧(例如,P帧或B帧)的待编码的块。当存储器64中的参考帧包含用于子整数像素的值时,由运动估计单元42计算的运动向量可指代参考帧的子整数像素位置。运动估计单元42将计算出的运动向量发送到熵译码单元56和运动补偿单元44。通过运动向量识别的参考帧块(其可包括CU)可称作预测块。运动补偿单元44计算参考帧的预测块的误差值。
运动补偿单元44可基于预测块计算预测数据。视频编码器20通过从正被译码的原始视频块减去来自运动补偿单元44的预测数据而形成残余视频块。求和器50表示执行此减法运算的组件。变换单元52对残余块应用例如离散余弦变换(DCT)或概念上类似的变换等变换,从而产生包括残余变换系数值的视频块。变换单元52可执行概念上类似于DCT的其它变换,例如由H.264标准界定的变换。也可使用小波变换、整数变换、子带变换或其它类型的变换。在任何情况下,变换单元52都将变换应用于残余块,从而产生残余变换系数的块。所述变换可将残余信息从像素值域转换到变换域(例如,频域)。量化单元54量化残余变换系数以进一步减小位速率。量化过程可减少与系数中的一些或全部相关联的位深度。可通过调整量化参数来修改量化的程度。
在量化之后,熵译码单元56对经量化的变换系数进行熵译码。举例来说,熵译码单元56可执行内容自适应可变长度译码(CAVLC)、上下文自适应二进制算术译码(CABAC),或另一熵译码技术。在熵译码单元56进行的熵译码之后,可将经编码视频发射到另一装置或加以存档以用于稍后发射或检索。在上下文自适应二进制算术译码的情况下,上下文可基于相邻宏块。
在一些情况下,熵译码单元56或视频编码器20的另一单元可经配置以除了执行熵译码以外还执行其它译码功能。举例来说,熵译码单元56可经配置以确定用于宏块和分区的CBP值。而且,在一些情况下,熵译码单元56可执行宏块或其分区中的系数的游程长度译码。具体来说,熵译码单元56可应用曲折扫描或其它扫描模式以扫描宏块或分区中的变换系数,且对为零的游程进行编码以便进一步压缩。熵译码单元56还可用适当的语法元素建构标头信息以用于在经编码视频位流中进行发射。
反量化单元58和反变换单元60分别应用反量化和反变换以在像素域中重建残余块(例如)以供稍后用作参考块。运动补偿单元44可通过将残余块添加到存储器64中的参考帧存储区的帧中的一者的预测块来计算参考块。运动补偿单元44还可将一个或一个以上内插滤波器应用于经重建的残余块来计算子整数像素值以用于在运动估计中使用。求和器62将经重建的残余块添加到由运动补偿单元44产生的经运动补偿的预测块,以产生经重建的视频块以用于存储在存储器64的参考帧存储区中。经重建的视频块可由运动估计单元42和运动补偿单元44用作用于对后续视频帧中的块进行帧间译码的参考块。
如上文所指出,在一些情况中,运动估计单元42可能不计算运动向量,而是改为确定运动向量预测值的列表,所述运动向量预测值中的四者为空间候选运动向量且所述运动向量预测值中的一者为时间候选运动向量。通常,运动估计单元42放弃运动向量计算是为了降低运动估计的计算复杂度且进而提高可对视频数据进行编码的速度同时还减少功率消耗。根据本发明中描述的技术,运动估计单元42可确定四个空间候选运动向量(或在确定空间候选运动向量中的一者或一者以上自身是经时间预测后更少,其中此些时间预测的空间候选运动向量要被从修剪过程中移除)的中间列表,修剪(潜在地仅空间预测的)空间候选运动向量的此列表,且将时间候选运动向量(和潜在地时间预测的空间候选运动向量)添加到(潜在地仅空间预测的)空间候选运动向量的经修剪列表。或者,运动估计单元42可确定四个(当用默认候选运动向量取代这些时间预测的空间候选运动向量时)空间候选运动向量的中间列表,修剪空间候选运动向量(包含确定的默认候选运动向量中的一者或一者以上)的此列表,且将时间候选运动向量添加到空间候选运动向量的经修剪列表。运动估计单元42可将包含时间运动向量候选者和经修剪的空间运动向量候选者的此列表输出到运动补偿单元44。
运动补偿单元44可接着识别列表中所包含的每一候选运动向量的参考帧块(再次,其可称作预测块)。运动补偿单元44可接着基于针对候选运动向量中的每一者确定的预测块来计算预测数据。视频编码器20可接着确定用于针对候选运动向量中的对应一者计算的每一预测数据的残余数据,变换所述残余数据,量化经转码的残余数据且接着以上文描述的方式对经量化的残余数据进行熵译码。视频编码器20可接着执行反操作以解码相对于在修剪之后剩余的候选运动向量的教示产生的此经熵编码的残余数据,以按经重建的视频块的形式再生参考数据。模式选择单元40可分析相对于候选运动向量中的每一者产生的经重建的视频块的每一者以选择候选运动向量中的一者。模式选择单元40可选择候选运动向量中的经由通常称作“速率-失真优化”(其通常缩写为“RDO”)的过程提供最佳速率-失真比的候选运动向量。
RDO通常涉及比较经压缩以实现某一速率(其通常指可发送包含经压缩的帧、切片或块的经压缩的视频数据的位速率)的经重建的帧、切片或块与原始帧、切片或块并确定原始帧、切片或块与给定速率下的经重建的帧、切片或块之间的失真量。模式选择单元40可使用实现或试图实现给定速率的多个不同量度来编码相同视频数据,从而相对于这些各种量度执行失真优化过程。在此情况中,模式选择单元40可比较每一经重建的视频块的RD输出且选择在目标速率下提供最小失真的视频块。
模式选择单元40可接着向运动估计单元42指示此选择,运动估计单元42前进到与熵译码单元56介接以告知熵译码单元56所述选择。通常,运动估计单元42与熵译码单元56介接以指示运动向量预测是与识别选定的候选运动向量的索引一起被执行。如上文所指出,运动估计单元42可按经界定方式(例如通过最高振幅到最低振幅或最低振幅到最高振幅或按任何其它经界定方式)布置候选运动向量。或者,运动估计单元42还可用信号通知熵译码单元56候选运动向量布置于此列表(其也可称作MVP列表)中的方式。熵译码单元56可接着使用一元或截短一元码来编码此索引连同对于指示执行MVP以编码运动数据可为必要的任何其它信息。熵译码单元56可输出经编码的索引作为位流中的语法元素(其可表示为“mvp_idx”),所述语法元素可用上文关于图1的实例描述的方式存储或发射。
在一些情况中,熵译码单元56执行称作上下文自适应二进制算术译码(CABAC)的一种熵译码。在执行CABAC时,熵译码单元56可选择多个所谓的上下文(其为针对不同上下文指定的不同码表以便更有效地压缩与对应上下文相关联的视频数据)中的一者且根据针对选定上下文界定的码表编码经压缩的残余数据。熵译码单元56可基于上下文信息选择上下文中的一者,所述上下文信息可包含在执行运动向量预测时确定的参考索引、独特运动向量候选者的数目以及在执行运动向量预测时确定的预测方向。
图3为说明解码经编码视频序列的视频解码器30的实例的框图。在图3的实例中,视频解码器30包含熵解码单元70、运动补偿单元72、帧内预测单元74、反量化单元76、反变换单元78、存储器82和求和器80。在一些实例中,视频解码器30可执行大体上与关于视频编码器(例如图1和2的实例中所展示的视频编码器20)所描述的编码过程互逆的解码过程。尽管通常为互逆的,但在一些情况中,视频解码器30可执行与视频编码器20执行的技术类似的技术。换句话说,视频解码器30可执行大体上与视频编码器20执行的过程类似的过程。此外,如上文所描述,视频编码器20可在执行视频编码的过程中执行视频解码。为了说明,视频编码器20的反量化单元58、反变换单元60和求和器62可执行与视频解码器30的反量化单元76、反变换单元78和求和器80大体上类似的操作。
如图3的实例中所展示,熵解码单元70接收经编码位流,出于说明的目的,假设经编码位流包含识别选定的候选运动向量(其中,再次,这些候选运动向量可称作运动向量预测值或MVP)的一元或截短的一元译码索引。在执行大体上与视频编码器20的熵译码单元56互逆的过程时,熵解码单元70可接收用于当前PU的语法元素或其它译码数据,其指示执行运动向量预测以确定用于当前PU的运动向量。响应于此语法元素或其它译码数据,熵解码单元70确定实施本发明中描述的技术以确定修剪之后剩余的候选运动向量的数目,以便恰当地剖析来自位流的一元或截短一元码。
为了确定候选运动向量的数目,熵译码单元70可与运动补偿单元72介接,从而指示运动补偿单元72根据本发明中描述的技术确定候选运动向量的数目。运动补偿单元72检索用于邻近当前PU的PU的空间候选运动向量以及用于参考帧中的相同位置的PU的时间候选运动向量。熵译码单元70可向运动补偿单元72提供经识别以用于当前PU的参考帧(通常作为位流中的另一语法元素)。或者,运动补偿单元72可相对于AMVP或合并模式来进行配置以从以设定方式(例如,从当前PU所处的当前帧向后或向前例如一个、两个或任何其它数目)识别的参考帧检索时间候选运动向量。
运动补偿单元72可接着以与上文关于视频编码器20的运动补偿单元44描述的方式大体上类似的方式来建构包含四个空间候选运动向量(或在确定空间候选运动向量中的一者或一者以上自身是经时间预测后更少,其中此些时间预测的空间候选运动向量从修剪过程中移除)的中间列表,修剪(潜在地仅空间预测的)空间候选运动向量的此列表,且组合时间候选运动向量(和潜在地时间预测的空间候选运动向量)与(潜在地仅空间预测的)空间候选运动向量的此经修剪列表。或者,运动补偿单元72可按再次与上文关于视频编码器20的运动补偿单元44描述的方式大体上类似的方式来确定四个空间候选运动向量(用默认候选运动向量取代时间预测的空间候选运动向量)的中间列表,修剪空间候选运动向量(包含确定的默认候选运动向量中的一者或一者以上)的此列表,且组合时间候选运动向量与空间候选运动向量的经修剪列表。在每一情况下,运动补偿单元72都输出在执行修剪之后确定的候选运动向量的此列表作为经修剪的MVP列表。在产生此经修剪的MVP列表之后,运动补偿单元72对此列表中的候选运动向量的数目计数且将此数目用信号发送到熵译码单元70。熵译码单元70可接着出于上述理由而恰当地剖析来自所提供位流的一元或截短一元译码索引。
在剖析一元或截短一元译码索引之后,熵译码单元70可接着解码所述一元或截短一元译码索引以产生到MVP列表的索引。熵译码单元70接着将此索引传递到运动补偿单元72,运动补偿单元72接着从经修剪的MVP列表中选择候选运动向量中的由所述索引识别的候选运动向量。对于经帧间译码的块,运动补偿单元72可接着基于所识别的运动向量产生帧间预测数据。运动补偿单元72可使用此运动向量来识别存储到存储器82的参考帧中的预测块。对于经帧内译码的块,帧内预测单元74可使用在位流中所接收的帧内预测模式,以从空间上邻近的块形成预测块。反量化单元76将提供于位流中且由熵解码单元70解码的经量化的块系数反量化(即,解量化)。反量化过程可包含(例如)如由H.264解码标准界定的常规过程。反量化过程还可包含使用由求和器50针对每一宏块计算出的量化参数QPY来确定量化的程度,且同样地确定应该应用的反量化的程度。
反变换单元60将反变换(例如,反DCT、反整数变换或概念上类似的反变换过程)应用于变换系数,以便在像素域中产生残余块。运动补偿单元72产生经运动补偿的块,可能执行基于内插滤波器的内插。将用于具有子像素精度的运动估计的内插滤波器的识别符可包含在语法元素中。运动补偿单元72可使用如由视频编码器20在视频块的编码期间所使用的内插滤波器来计算参考块的子整数像素的内插值。运动补偿单元72可根据所接收的语法信息来确定视频编码器20所使用的内插滤波器且使用所述内插滤波器来产生预测块。
运动补偿单元72使用语法信息中的一些来确定用以编码经编码的视频序列的(多个)帧的CU的大小、描述分割经编码的视频序列的帧的每一CU的方式的分割信息、指示编码每一CU的方式的模式、用于每一经帧间编码的CU的一个或一个以上参考帧(或列表),以及用以解码经编码的视频序列的其它信息。
求和器80对残余块与由运动补偿单元72或帧内预测单元产生的对应预测块进行求和以形成经解码块。如果需要的话,还可应用解块滤波器以对经解码块进行滤波,以便移除成块性假影。接着将经解码的视频块存储在存储器82中的参考帧存储区(其在HEVC标准中可称作经解码图片缓冲器)中,参考帧存储区提供参考块以用于后续运动补偿,且还产生经解码视频以用于呈现在显示装置(例如,图1的显示装置32)上。
在一些情况中,时间候选运动向量可能不可用,例如当指定时间候选运动向量的切片丢失(即,作为一个实例,未在经编码位流中恢复或接收到)时。当此时间候选运动向量不可用时,运动补偿单元72可将此时间候选运动向量设定为默认值或以其它方式确定用于此时间候选运动向量的默认运动向量信息。在一些情况中,可取决于参考帧是否经帧内译码来重建用于时间候选运动向量的此默认运动向量信息。当确定参考帧经帧内译码时,运动补偿单元72可基于针对在参考帧中处于与当前部分在当前帧中所处的位置相同的位置处的参考帧部分确定的空间运动向量而得到默认候选运动向量的默认运动向量信息。同样地,时间预测的空间候选运动向量中的一者或一者以上可能不可用或丢失且可基于针对在参考帧中处于与当前部分在当前帧中所处的位置相同的位置处的参考帧部分确定的空间运动向量而得到默认候选运动向量的默认运动向量信息。
本发明中阐述的技术的各种方面还可解决在执行CABAC或任何其它上下文相依的无损统计译码过程时因为自身是从丢失或遗失的时间运动向量预测出的空间候选运动向量而出现的问题。根据所述技术的这些方面,熵译码单元70可通过停用丢失的空间候选运动向量来克服此问题。或者,熵译码单元70可用默认运动信息取代此丢失的空间候选运动向量。熵译码单元70可与运动补偿单元72介接以确定此默认运动信息。此默认运动信息可指定默认运动向量、预测方向和参考索引。在一些情况下,运动补偿单元72基于切片类型(其指示当前切片经帧内预测还是帧间预测等)、当前CU深度(如在当前PU所驻留的上述四叉树阶层式结构中的CU的深度)、当前PU大小或任何其它可用信息来产生此取代运动信息。运动补偿单元72可接着将此默认运动信息提供到熵译码单元70。通过利用此默认运动信息,熵译码单元70可仍执行CABAC过程。
在一些实例中,本发明中描述的技术还可克服当运动补偿单元72不能确定空间候选运动向量自身是从空间候选运动向量还是时间候选运动向量预测出时(例如当其时间候选运动向量丢失时)出现的问题。在空间候选运动向量中的一者不可用的这些情况下,运动补偿单元72可实施本发明的技术以停用空间运动向量预测(且进而利用在相同位置的时间候选运动向量而不管通过编码器用信号发送的内容如何)。或者,运动补偿单元72可用上述方式确定默认运动信息。
所述技术可进一步克服当运动补偿单元72不能确定空间候选运动向量自身是否从时间候选运动向量预测出时(例如当其时间候选运动向量丢失时)出现的问题。在空间候选运动向量中的一者不可用的这些情况下,运动补偿单元72可实施本发明的技术以停用空间运动向量预测(且进而利用在相同位置的时间候选运动向量而不管通过编码器用信号发送的内容如何)。或者,运动补偿单元72可用上述方式确定默认运动信息,从而相对于默认候选运动向量的此默认运动信息执行修剪或从修剪过程完全移除此默认候选运动向量(但单独地指定其以实现位流的剖析)。
如上所述,存在两种类型的运动向量预测:合并模式和AMVP。对于合并模式,运动补偿单元72在确定默认运动信息时确定运动向量振幅、预测方向和参考索引。对于AMVP,运动补偿单元72确定运动向量振幅,但不需要确定预测方向和参考索引,这是因为在用于当前PU的位流中单独地用信号发送了预测方向和参考索引。因此,运动补偿单元72可基于用信号发送的用于执行运动向量预测的模式(即,对于当前PU,用信号发送的运动向量预测的类型为合并模式还是AMVP)来进行默认运动信息的确定。
图4为说明在执行本发明中描述的运动向量预测技术的过程中视频编码器(例如图2的实例中所展示的视频编码器20)的示范性操作的流程图。最初,如上文所描述,运动估计单元42可确定用于对应于当前CU的当前PU的空间候选运动向量(90)。运动估计单元42可实例化可称作存储这些空间候选运动向量的中间列表或中间空间MVP列表的列表。运动估计单元42可接着以上述方式中的一者修剪冗余空间候选运动向量(92)。在此意义上,运动估计单元42可产生剩余空间候选运动向量的中间空间MVP列表。
在产生剩余空间候选运动向量的此中间空间MVP列表之后,运动估计单元42可再次如上所述从参考帧中的相同位置PU确定当前PU的时间候选运动向量(94)。接下来,运动估计单元42可形成包含剩余空间候选运动向量和时间候选运动向量的MVP列表(96)。运动估计单元42可将此MVP列表提供到运动补偿单元44,运动补偿单元44以上述方式相对于MVP列表中所包含的每一候选运动向量执行运动补偿。视频编码器20接着基于通过相对于MVP列表中所包含的候选运动向量中的每一者执行的运动补偿而产生的预测数据来产生残余数据。视频编码器20将一个或一个以上变换应用于残余数据、量化所述经变换的残余数据且接着重建所述残余数据。经重建的残余数据接着通过基于MVP列表中所包含的候选运动向量中的每一者而产生的预测数据进行扩增以产生经重建的视频数据。
模式选择单元40可接着基于经重建的视频数据从当前PU的MVP列表选择候选运动向量中的一者(98)。举例来说,模式选择单元40可对相对于MVP列表中的候选运动向量中的每一者而重建的经重建的视频数据执行某一形式的速率-失真分析,且从列表选择候选运动向量中的提供最佳速率-失真量度的一者。模式选择单元40可接着与运动估计单元42介接以指示其候选运动向量选择。运动估计单元42可接着确定识别候选运动向量中的选定一者的到MVP列表的索引,如上文所描述(100)。运动估计单元42可接着将此索引提供到熵译码单元56。熵译码单元56可接着对识别MVP列表中的候选运动向量中的选定一者的索引译码,如上文进一步描述(102)。熵译码单元56接着将经译码索引***到位流中(104)。
图5为说明在实施本发明中描述的运动向量预测技术的过程中视频解码器(例如图3的实例中所展示的视频解码器30)的示范性操作的流程图。如上所述,视频解码器30的熵解码单元70最初接收包含经译码索引的位流,所述经译码索引通常以其语法元素名称称作“mvp_idx”或“MVP索引”(110)。熵解码单元70还解码在此MVP索引之前或之后的其它语法元素,所述其它语法元素指示当前PU具有表示为运动向量预测的运动向量。为了剖析来自位流的此MVP索引,熵解码单元70首先必须确定在执行修剪过程之后剩余的候选运动向量的数目。为了确定候选运动向量的数目,熵解码单元70与运动补偿单元72介接,从而请求运动补偿单元72提供用于当前PU的此数目的候选运动向量。
响应于此请求,运动补偿单元72以上述方式确定用于当前PU的空间候选运动向量(112)。如果空间候选运动向量中的一者或一者以上出于上文更详细地阐述的理由而不可用(“是”114),那么运动补偿单元72可用上述方式中的任一者产生运动信息(例如默认运动信息)且基于所产生的运动信息执行运动补偿(116、118)。如果所有空间候选运动向量都可用(“否”114),那么运动补偿单元72修剪冗余空间候选运动向量,如上文进一步描述(120)。
在修剪冗余空间候选运动向量之后,运动补偿单元72接着如上所述从参考帧中的相同位置PU确定当前PU的时间候选运动向量(122)。如果此时间候选运动向量出于上述理由而不可用(“是”124),那么运动补偿单元72可产生运动信息且基于所产生的运动信息执行运动补偿(116、118)。然而,如果时间候选运动向量可用(“否”124),那么运动补偿单元72形成包含剩余空间候选运动向量和时间候选运动向量的MVP列表(126)。运动补偿单元72可接着确定MVP列表中的候选运动向量的数目(128),将此数目传递到熵解码单元70。
熵解码单元70可接着基于所确定的数目剖析来自位流的MVP索引(130)。熵解码单元70接着解码经译码的MVP索引(131)。熵解码单元70将经解码的MVP索引传递到运动补偿单元72,运动补偿单元72基于经解码的MVP索引而从MVP列表选择候选运动向量中的一者,如上文所描述(132)。运动补偿单元72接着基于候选运动向量中的选定一者以上述方式执行运动补偿(134)。运动补偿单元72可根据合并模式或AMVP执行运动补偿,这取决于在位流中用信号发送了哪一模式或运动补偿单元72确定了哪一模式。
图6为说明当前PU144的邻近的相邻PU140A到140D和时间上在相同位置的PU142A的示范性布置的图。如图6的实例中所展示,当前PU144包含在当前帧146A内。在时间上,当前帧146A之前为参考帧146B,再之前为参考帧146C。邻近的相邻PU140A在空间上邻近地驻留在当前PU144左方。邻近的相邻PU140B在空间上邻近地驻留在当前PU144左上方。邻近的相邻PU140C在空间上邻近地驻留在当前PU144上方。邻近的相邻PU140D在空间上邻近地驻留在当前PU144右上方。时间上在相同位置的PU142A时间上在当前PU144之前,且在参考帧146B内处于与当前PU144在当前帧146A内所处的位置相同的位置。
邻近的相邻PU140A到140D中的每一者存储或以其它方式提供当前PU144的空间候选运动向量,而时间上在相同位置的PU142A存储或以其它方式提供当前PU144的时间候选运动向量。视频解码器的运动补偿单元(例如,图2的实例中所展示的视频解码器30的运动补偿单元72)可从PU140A到140D和142A分别检索这些空间和时间候选运动向量。因为时间上在相同位置的PU142A包含在与当前PU144的帧不同的参考帧146B内,所以此时间上在相同位置的PU142A通常与不同的可独立解码部分(其在新兴HEVC标准中经常称作切片)相关联。参考帧146B的此切片可能丢失(例如,在发射中或归因于存储器或存储装置的损坏)且运动补偿单元72可能无法检索存储当前PU144的时间候选运动向量的此时间上在相同位置的PU142A。丢失此时间候选运动向量可出于上述理由而阻止熵解码单元70剖析位流。本发明中描述的技术可使得运动补偿单元72能够通过在修剪过程中不包含时间候选运动向量而克服此问题。
同样地,当前PU144的空间候选运动向量可能在执行MVP以确定邻近的相邻PU140A到140D中的一者的运动向量时丢失,结果为时间候选运动向量被选定且存储时间候选运动向量的时间上在相同位置的PU丢失。为了说明,考虑邻近的相邻PU140A,其时间上在相同位置的PU在图6的实例中被识别为时间上在相同位置的PU142B。如果PU142B丢失且空间相邻PU140A的运动向量被选择作为与PU142B相关联的时间候选运动向量,那么不存在用于PU140A的运动向量信息。因此,当前PU144的空间候选运动向量也丢失。为了潜在地克服此丢失的空间候选运动向量,所述技术使得运动补偿单元72能够产生运动信息(例如默认运动信息),其可用作当前PU144的空间候选运动向量。
此外,此丢失的空间候选运动向量(或,在这方面,丢失的时间候选运动向量)可在执行MVP且时间候选运动向量被选择用于多个时间上在相同位置的PU时发生。为了说明,假设执行MVP以确定PU142B的运动向量,PU142B与PU140A在时间上在相同位置,且PU142B的时间上在相同位置的PU(即,在图6的实例中为PU142C)丢失。在缺乏本发明中描述的技术的情况下,此丢失将不仅潜在地阻止从位流剖析出MVP索引,而且还导致PU142B的运动向量的丢失。在缺乏本发明中描述的技术的情况下,假设执行MVP以确定PU140A的运动向量且时间上在相同位置的PU142B被选定,那么PU142B的运动向量的丢失导致PU140A的运动向量的丢失。此运动向量的丢失影响到当前PU144,因为空间候选运动向量不可用。出于此理由,所述技术使得运动补偿单元72能够产生运动信息(或,在一些情况下,再生丢失的运动信息),以便防止可称作多丢失效应的情况发生。
虽然上述实例涉及移除重复的空间候选运动向量,但所述技术可能未必要求仅移除重复的空间候选运动向量。可实施所述技术以执行修剪以便大体上移除空间候选运动向量中的至少一者。举例来说,视频编码器可在图片、帧、切片或块层级上用信号通知具有(仅举几个例子)最大振幅或最小振幅的空间候选运动向量将被修剪。或者,视频编码器可在位流中用信号发送可借以指定MVP的任何准则(例如阈值)作为修剪准则。在一些实施例中,视频编码器和视频解码器可关于可借以修剪候选运动向量的某一配置文件或其它配置意见一致。在一些情况下,视频解码器可基于上下文或其它信息而暗示某些候选运动向量何时将被修剪。因此,所述技术不应严格地限于执行修剪以仅移除重复的空间候选运动向量,而应涵盖可经实施以修剪至少一个空间候选运动向量的任何技术。
在一个或一个以上实例中,所描述的功能可用硬件、软件、固件或其任何组合来实施。如果用软件实施,那么可将功能作为计算机可读媒体上的一个或一个以上指令或代码而加以存储或发射。计算机可读媒体可包含计算机数据存储媒体或通信媒体,通信媒体包含促进计算机程序从一处传送到另一处的任何媒体。数据存储媒体可以是可由一个或一个以上计算机或一个或一个以上处理器存取以检索用于实施本发明中所述的技术的指令、代码和/或数据结构的任何可用媒体。举例来说(且并非限制),此些计算机可读媒体可包括RAM、ROM、EEPROM、CD-ROM或其它光盘存储装置、磁盘存储装置或其它磁性存储装置、快闪存储器,或可用于载送或存储呈指令或数据结构的形式的所要程序码且可由计算机存取的任何其它媒体。同样,恰当地将任何连接称作计算机可读媒体。举例来说,如果使用同轴电缆、光纤电缆、双绞线、数字订户线(DSL)或例如红外线、无线电和微波等无线技术从网站、服务器或其它远程源发射软件,那么同轴电缆、光纤电缆、双绞线、DSL或例如红外线、无线电和微波等无线技术包含于媒体的定义中。如本文中所使用,磁盘和光盘包含压缩光盘(CD)、激光光盘、光学光盘、数字多功能光盘(DVD)、软磁盘以及蓝光光盘,其中磁盘通常磁性地复制数据,而光盘使用激光光学地复制数据。上述各者的组合也应包含在计算机可读媒体的范围内。
可由例如一个或一个以上数字信号处理器(DSP)、通用微处理器、专用集成电路(ASIC)、现场可编程逻辑阵列(FPGA)或其它等效集成或离散逻辑电路等一个或一个以上处理器来执行代码。因此,如本文中所使用,术语“处理器”可指上述结构或适合于实施本文中所描述的技术的任何其它结构中的任一者。另外,在一些方面中,本文中所描述的功能性可提供在针对编码和解码而配置的专用硬件和/或软件模块内或并入在组合式编解码器中。并且,可将所述技术完全实施于一个或一个以上电路或逻辑元件中。
本发明的技术可用广泛多种装置或设备来实施,所述装置或设备包含无线手持机、集成电路(IC)或IC集合(例如,芯片集)。在本发明中描述各种组件、模块或单元是为了强调经配置以执行所揭示技术的装置的功能方面,但未必要求通过不同硬件单元来体现。而是,如上所述,各种单元可组合在编解码器硬件单元中或由互操作硬件单元(包含如上所述的一个或一个以上处理器)的集合结合合适的软件和/或固件来提供。
已描述各种实例。这些和其它实例属于所附权利要求书的范围内。

Claims (63)

1.一种编码视频数据的方法,所述方法包含:
确定与当前视频帧的当前部分相关联的空间候选运动向量,其中所述空间候选运动向量包括针对所述当前视频帧的与所述当前部分邻近的相邻部分而确定的运动向量;
修剪所述空间候选运动向量以移除所述空间候选运动向量中的至少一者;
确定与所述当前视频帧的所述当前部分相关联的时间候选运动向量,其中所述时间候选运动向量包括针对参考视频帧的部分而确定的运动向量;
选择所述时间候选运动向量或修剪之后剩余的所述空间候选运动向量中的一者作为选定的候选运动向量;以及
在位流中用信号发送所述选定的候选运动向量。
2.根据权利要求1所述的方法,其中修剪所述空间候选运动向量包括修剪所述空间候选运动向量以移除所述空间候选运动向量中的重复者。
3.根据权利要求1所述的方法,
其中所述当前部分包括当前译码单元CU,
其中所述参考帧的所述部分包括所述参考帧的CU。
4.根据权利要求1所述的方法,其进一步包括产生包含预测数据的预测单元PU,所述预测数据包括至少所述选定的候选运动向量,
其中用信号发送所述选定的候选运动向量包括在所述位流中用信号发送所述PU。
5.根据权利要求1所述的方法,其中用信号发送所述选定的候选运动向量包括用信号发送所述选定的候选运动向量作为运动向量预测值MVP索引,所述MVP索引识别所述时间候选运动向量和修剪之后剩余的所述空间候选运动向量的列表中的所述选定的候选运动向量的位置。
6.根据权利要求1所述的方法,其进一步包括:
确定运动向量预测值MVP索引,所述MVP索引识别所述时间候选运动向量和修剪之后剩余的所述空间候选运动向量的列表中的所述选定的候选运动向量的位置;以及
使用一元码或截短一元码中的一者来编码所述MVP索引以产生经编码的MVP索引,
其中用信号发送所述选定的候选运动向量包括在所述位流中用信号发送所述经编码的MVP索引。
7.根据权利要求1所述的方法,其中选择所述时间候选运动向量或修剪之后剩余的所述空间候选运动向量中的一者包括:
相对于所述时间候选运动向量和修剪之后剩余的所述空间候选运动向量中的每一者执行速率-失真分析;以及
基于所述速率-失真分析选择所述时间候选运动向量或修剪之后剩余的所述空间候选运动向量中的一者作为所述选定的候选运动向量。
8.根据权利要求1所述的方法,其进一步包括确定所述确定的空间候选运动向量中的每一者是经空间预测还是经时间预测,
其中修剪所述空间候选运动向量以移除所述空间候选运动向量中的所述重复者包括仅修剪所述确定的空间候选运动向量中被确定为经空间预测的空间候选运动向量,而不修剪所述确定的空间候选运动向量中被确定为经时间预测的空间候选运动向量中的任一者,且
其中选择所述时间候选运动向量或修剪之后剩余的所述空间候选运动向量中的一者作为所述选定的候选运动向量包括选择所述时间候选运动向量、所述空间候选运动向量中被确定为经时间预测的一者或修剪之后剩余的所述空间候选运动向量中被确定为经空间预测的一者作为所述选定的候选运动向量。
9.根据权利要求1所述的方法,其进一步包括:
确定所述确定的空间候选运动向量中的每一者经空间预测还是经时间预测;以及
用默认候选运动向量取代被确定为经时间预测的所述空间候选运动向量中的任一者,其中所述默认候选运动向量包含默认运动向量信息,其中所述默认运动向量信息包括运动向量振幅、识别所述参考帧在时间上在所述当前帧之前还是之后的预测方向以及识别所述参考帧的参考索引,且
其中修剪所述空间候选运动向量以移除所述空间候选运动向量中的重复者包括修剪包含所述默认候选运动向量中的一者或一者以上的所述空间候选运动向量以移除所述空间候选运动向量中的重复者。
10.根据权利要求1所述的方法,其进一步包括确定不是经时间预测且不同于所述时间候选运动向量和修剪之后剩余的所述空间候选运动向量中的任一者的一个或一个以上额外空间候选运动向量,
其中选择所述时间候选运动向量或修剪之后剩余的所述空间候选运动向量中的一者包括选择所述时间候选运动向量、修剪之后剩余的所述空间候选运动向量中的一者或所述额外空间候选运动向量中的一者作为所述选定的候选运动向量。
11.一种用于编码视频数据的设备,所述设备包括:
用于确定与当前视频帧的当前部分相关联的空间候选运动向量的装置,其中所述空间候选运动向量包括针对所述当前视频帧的与所述当前部分邻近的相邻部分而确定的运动向量;
用于修剪所述空间候选运动向量以移除所述空间候选运动向量中的至少一者的装置;
用于确定与所述当前视频帧的所述当前部分相关联的时间候选运动向量的装置,其中所述时间候选运动向量包括针对参考视频帧的部分而确定的运动向量;
用于选择所述时间候选运动向量或修剪之后剩余的所述空间候选运动向量中的一者作为选定的候选运动向量的装置;以及
用于在位流中用信号发送所述选定的候选运动向量的装置。
12.根据权利要求11所述的设备,其中所述用于修剪所述空间候选运动向量的装置包括用于修剪所述空间候选运动向量以移除所述空间候选运动向量中的重复者的装置。
13.根据权利要求11所述的设备,其进一步包括用于确定所述确定的空间候选运动向量中的每一者是经空间预测还是经时间预测的装置,
其中所述用于修剪所述空间候选运动向量以移除所述空间候选运动向量中的所述重复者的装置包括用于仅修剪所述确定的空间候选运动向量中被确定为经空间预测的空间候选运动向量,而不修剪所述确定的空间候选运动向量中被确定为经时间预测的空间候选运动向量中的任一者的装置,且
其中所述用于选择所述时间候选运动向量或修剪之后剩余的所述空间候选运动向量中的一者作为所述选定的候选运动向量的装置包括用于选择所述时间候选运动向量、所述空间候选运动向量中被确定为经时间预测的一者或修剪之后剩余的所述空间候选运动向量中被确定为经空间预测的一者作为所述选定的候选运动向量的装置。
14.根据权利要求11所述的设备,其进一步包括:
用于确定所述确定的空间候选运动向量中的每一者经空间预测还是经时间预测的装置;以及
用于用默认候选运动向量取代被确定为经时间预测的所述空间候选运动向量中的任一者的装置,其中所述默认候选运动向量包含默认运动向量信息,其中所述默认运动向量信息包括运动向量振幅、识别所述参考帧在时间上在所述当前帧之前还是之后的预测方向以及识别所述参考帧的参考索引,且
其中所述用于修剪所述空间候选运动向量以移除所述空间候选运动向量中的重复者的装置包括用于修剪包含所述默认候选运动向量中的一者或一者以上的所述空间候选运动向量以移除所述空间候选运动向量中的重复者的装置。
15.根据权利要求11所述的设备,其进一步包括用于确定不是经时间预测且不同于所述时间候选运动向量和修剪之后剩余的所述空间候选运动向量中的任一者的一个或一个以上额外空间候选运动向量的装置,
其中所述用于选择所述时间候选运动向量或修剪之后剩余的所述空间候选运动向量中的一者的装置包括用于选择所述时间候选运动向量、修剪之后剩余的所述空间候选运动向量中的一者或所述额外空间候选运动向量中的一者作为所述选定的候选运动向量的装置。
16.一种用于编码视频数据的设备,所述设备包括:
运动补偿单元,其确定与当前视频帧的当前部分相关联的空间候选运动向量,其中所述空间候选运动向量包括针对所述当前视频帧的与所述当前部分邻近的相邻部分而确定的运动向量;修剪所述空间候选运动向量以移除所述空间候选运动向量中的至少一者;且确定与所述当前视频帧的所述当前部分相关联的时间候选运动向量,其中所述时间候选运动向量包括针对参考视频帧的部分而确定的运动向量;
模式选择单元,其选择所述时间候选运动向量或修剪之后剩余的所述空间候选运动向量中的一者作为选定的候选运动向量;以及
熵译码单元,其在位流中用信号发送所述选定的候选运动向量。
17.根据权利要求16所述的设备,其中所述运动补偿单元修剪所述空间候选运动向量以移除所述空间候选运动向量中的重复者。
18.根据权利要求16所述的设备,
其中所述当前部分包括当前译码单元CU,
其中所述参考帧的所述部分包括所述参考帧的CU。
19.根据权利要求16所述的设备,其中所述运动补偿单元进一步产生包含预测数据的预测单元PU,所述预测数据包括至少所述选定的候选运动向量,
其中所述熵译码单元在所述位流中用信号发送所述PU。
20.根据权利要求16所述的设备,其中所述熵译码单元用信号发送所述选定的候选运动向量作为运动向量预测值MVP索引,所述MVP索引识别所述时间候选运动向量和修剪之后剩余的所述空间候选运动向量的列表中的所述选定的候选运动向量的位置。
21.根据权利要求16所述的设备,
其中所述运动补偿单元确定运动向量预测值MVP索引,所述MVP索引识别所述时间候选运动向量和修剪之后剩余的所述空间候选运动向量的列表中的所述选定的候选运动向量的位置,且
其中所述熵译码单元使用一元码或截短一元码中的一者来编码所述MVP索引以产生经编码的MVP索引且在所述位流中用信号发送所述经编码的MVP索引。
22.根据权利要求16所述的设备,其中所述模式选择单元相对于所述时间候选运动向量和修剪之后剩余的所述空间候选运动向量中的每一者执行速率-失真分析,且基于所述速率-失真分析选择所述时间候选运动向量或修剪之后剩余的所述空间候选运动向量中的一者作为所述选定的候选运动向量。
23.根据权利要求16所述的设备,
其中所述运动补偿单元进一步确定所述确定的空间候选运动向量中的每一者是经空间预测还是经时间预测,且仅修剪所述确定的空间候选运动向量中被确定为经空间预测的空间候选运动向量,而不修剪所述确定的空间候选运动向量中被确定为经时间预测的空间候选运动向量中的任一者,且
其中所述模式选择单元选择所述时间候选运动向量、所述空间候选运动向量中被确定为经时间预测的一者或修剪之后剩余的所述空间候选运动向量中被确定为经空间预测的一者作为所述选定的候选运动向量。
24.根据权利要求16所述的设备,其中所述运动补偿单元确定所述确定的空间候选运动向量中的每一者经空间预测还是经时间预测;用默认候选运动向量取代被确定为经时间预测的所述空间候选运动向量中的任一者,其中所述默认候选运动向量包含默认运动向量信息,其中所述默认运动向量信息包括运动向量振幅、识别所述参考帧在时间上在所述当前帧之前还是之后的预测方向以及识别所述参考帧的参考索引;且修剪包含所述默认候选运动向量中的一者或一者以上的所述空间候选运动向量以移除所述空间候选运动向量中的重复者。
25.根据权利要求1所述的设备,其中所述运动补偿单元进一步确定不是经时间预测且不同于所述时间候选运动向量和修剪之后剩余的所述空间候选运动向量中的任一者的一个或一个以上额外空间候选运动向量,
其中所述模式选择单元选择所述时间候选运动向量、修剪之后剩余的所述空间候选运动向量中的一者或所述额外空间候选运动向量中的一者作为所述选定的候选运动向量。
26.一种包括指令的非暂时性计算机可读媒体,所述指令在被执行时致使一个或一个以上处理器执行以下操作:
确定与当前视频帧的当前部分相关联的空间候选运动向量,其中所述空间候选运动向量包括针对所述当前视频帧的与所述当前部分邻近的相邻部分而确定的运动向量;
修剪所述空间候选运动向量以移除所述空间候选运动向量中的至少一者;
确定与所述当前视频帧的所述当前部分相关联的时间候选运动向量,其中所述时间候选运动向量包括针对参考视频帧的部分而确定的运动向量;
选择所述时间候选运动向量或修剪之后剩余的所述空间候选运动向量中的一者作为选定的候选运动向量;以及
在位流中用信号发送所述选定的候选运动向量。
27.一种解码视频数据的方法,所述方法包含:
确定与当前视频帧的当前部分相关联的空间候选运动向量,其中所述空间候选运动向量包括针对与所述当前视频帧内的所述当前部分邻近的空间上相邻的部分而确定的相邻运动向量;
修剪所述空间候选运动向量以移除所述空间候选运动向量中的至少一者但不移除针对所述当前视频帧的所述当前部分而确定的时间候选运动向量,其中所述时间候选运动向量包括针对参考视频帧的部分而确定的运动向量;
基于在位流中用信号发送的运动向量预测值MVP索引来选择所述时间候选运动向量或修剪之后剩余的所述空间候选运动向量中的一者作为选定的候选运动向量;以及
基于所述选定的候选运动向量执行运动补偿。
28.根据权利要求27所述的方法,其中修剪所述空间候选运动向量包括修剪所述空间候选运动向量以移除所述空间候选运动向量中的重复者。
29.根据权利要求27所述的方法,其进一步包括:
将候选运动向量的数目确定为所述时间候选运动向量加上所述空间候选运动向量在修剪之后剩余的空间候选运动向量;
基于候选运动向量的所述确定的数目从所述位流剖析出经译码的MVP索引,其中所述经译码的MVP索引包括一元经译码MVP索引和截短一元经译码MVP索引中的一者;以及
解码所述经译码MVP索引以确定所述MVP索引。
30.根据权利要求27所述的方法,其进一步包括:
确定所述当前帧的所述当前部分的所述时间候选运动向量不可用;以及
响应于确定所述时间候选运动向量不可用,确定所述时间候选运动向量的默认运动向量信息,其中所述默认运动向量信息包括运动向量振幅、识别所述参考帧在时间上在所述当前帧之前还是之后的预测方向以及识别所述参考帧的参考索引。
31.根据权利要求30所述的方法,其进一步包括基于所述确定的默认运动向量信息确定用于执行上下文自适应无损统计解码的上下文,其中所述上下文识别译码表以用以解码所述视频数据。
32.根据权利要求30所述的方法,其中确定所述默认运动向量信息包括:
确定所述参考帧是否经帧内译码;以及
当所述参考帧被确定为经帧内译码时,基于针对所述参考帧的所述部分而确定的空间运动向量得到所述默认运动向量信息。
33.根据权利要求27所述的方法,其进一步包括:
确定所述空间候选运动向量中的一者不可用;以及
响应于确定所述空间候选运动向量中的所述一者不可用,基于运动向量预测模式确定包含用于所述空间候选运动向量中的所述一者的默认运动向量信息的默认候选运动向量,且
其中修剪所述空间候选运动向量以移除所述空间候选运动向量中的重复者包括修剪包含所述默认候选运动向量中的一者或一者以上的所述空间候选运动向量以移除所述空间候选运动向量中的重复者,且
其中选择所述时间候选运动向量包括选择所述时间候选运动向量、修剪之后剩余的所述空间候选运动向量中的一者作为所述选定的候选运动向量包括基于在所述位流中用信号发送的所述运动向量预测值MVP索引来选择所述时间候选运动向量或所述空间候选运动向量中被确定为不可用的一者或修剪之后剩余的所述空间候选运动向量中的一者。
34.根据权利要求33所述的方法,其中当所述运动向量预测模式为自适应运动向量预测AMVP模式时,确定所述默认运动向量信息包括确定运动向量振幅但不确定识别所述参考帧在时间上在所述当前帧之前还是之后的预测方向或识别所述参考帧的参考索引。
35.根据权利要求33所述的方法,其中当所述运动向量预测模式为合并模式时,确定所述默认运动向量信息包括确定运动向量振幅、识别所述参考帧在时间上在所述当前帧之前还是之后的预测方向以及识别所述参考帧的参考索引。
36.根据权利要求33所述的方法,其进一步包括基于所述确定的默认运动向量信息确定用于执行上下文自适应无损统计解码的上下文,其中所述上下文识别译码表以用以解码所述视频数据。
37.根据权利要求27所述的方法,其进一步包括:
确定所述空间候选运动向量中的一者不可用;以及
响应于确定所述空间候选运动向量中的所述一者不可用,从所述修剪过程移除所述空间候选运动向量中被确定为不可用的所述一者,
其中修剪所述空间候选运动向量包括仅修剪所述空间候选运动向量中被确定为可用的空间候选运动向量以移除所述空间候选运动向量中的重复者但不移除针对所述当前视频帧的所述当前部分而确定的时间候选运动向量或所述空间候选运动向量中被确定为不可用的所述一者。
38.根据权利要求1所述的方法,其进一步包括确定不是经时间预测且不同于所述时间候选运动向量和修剪之后剩余的所述空间候选运动向量中的任一者的一个或一个以上额外空间候选运动向量,
其中选择所述时间候选运动向量或修剪之后剩余的所述空间候选运动向量中的一者包括选择所述时间候选运动向量、修剪之后剩余的所述空间候选运动向量中的一者或所述额外空间候选运动向量中的一者作为所述选定的候选运动向量。
39.一种用于解码视频数据的设备,所述设备包括:
用于确定与当前视频帧的当前部分相关联的空间候选运动向量的装置,其中所述空间候选运动向量包括针对所述当前视频帧的与所述当前部分邻近的相邻部分而确定的运动向量;
用于修剪所述空间候选运动向量以移除所述空间候选运动向量中的至少一者但不移除针对所述当前视频帧的所述当前部分而确定的时间候选运动向量的装置,其中所述时间候选运动向量包括针对参考视频帧的部分而确定的运动向量;
用于基于在位流中用信号发送的运动向量预测值MVP索引来选择所述时间候选运动向量中的一者或修剪之后剩余的所述空间候选运动向量中的一者作为选定的候选运动向量的装置;以及
用于基于所述选定的候选运动向量执行运动补偿的装置。
40.根据权利要求39所述的设备,其中所述用于修剪所述空间候选运动向量的装置包括用于修剪所述空间候选运动向量以移除所述空间候选运动向量中的重复者的装置。
41.根据权利要求39所述的设备,其进一步包括:
用于将候选运动向量的数目确定为所述时间候选运动向量加上所述空间候选运动向量中修剪之后剩余的空间候选运动向量的装置;
用于基于候选运动向量的所述确定的数目从所述位流剖析出经译码的MVP索引的装置,其中所述经译码的MVP索引包括一元经译码MVP索引和截短一元经译码MVP索引中的一者;以及
用于解码所述经译码MVP索引以确定所述MVP索引的装置。
42.根据权利要求39所述的设备,其进一步包括:
用于确定所述当前帧的所述当前部分的所述时间候选运动向量不可用的装置;以及
响应于确定所述时间候选运动向量不可用,用于确定所述时间候选运动向量的默认运动向量信息的装置,其中所述默认运动向量信息包括运动向量振幅、识别所述参考帧在时间上在所述当前帧之前还是之后的预测方向以及识别所述参考帧的参考索引。
43.根据权利要求42所述的设备,其进一步包括用于基于所述确定的默认运动向量信息确定用于执行上下文自适应无损统计解码的上下文的装置,其中所述上下文识别译码表以用以解码所述视频数据。
44.根据权利要求42所述的设备,其中所述用于确定所述默认运动向量信息的装置包括:
用于确定所述参考帧是否经帧内译码的装置;以及
当所述参考帧被确定为经帧内译码时,用于基于针对所述参考帧的所述部分而确定的空间运动向量得到所述默认运动向量信息的装置。
45.根据权利要求39所述的设备,其进一步包括:
用于确定所述空间候选运动向量中的一者不可用的装置;以及
响应于确定所述空间候选运动向量中的所述一者不可用,用于基于运动向量预测模式确定包含用于所述空间候选运动向量中的所述一者的默认运动向量信息的默认候选运动向量的装置,且
其中所述用于修剪所述空间候选运动向量以移除所述空间候选运动向量中的重复者的装置包括用于修剪包含所述默认候选运动向量中的一者或一者以上的所述空间候选运动向量以移除所述空间候选运动向量中的重复者的装置,且
其中所述用于选择的装置包括用于选择所述时间候选运动向量、修剪之后剩余的所述空间候选运动向量中的一者作为所述选定的候选运动向量的装置包括基于在所述位流中用信号发送的所述运动向量预测值MVP索引来选择所述时间候选运动向量或所述空间候选运动向量中被确定为不可用的一者或修剪之后剩余的所述空间候选运动向量中的一者的装置。
46.根据权利要求45所述的设备,其中当所述运动向量预测模式为自适应运动向量预测AMVP模式时,所述用于确定所述默认运动向量信息的装置包括用于确定运动向量振幅但不确定识别所述参考帧在时间上在所述当前帧之前还是之后的预测方向或识别所述参考帧的参考索引的装置。
47.根据权利要求45所述的设备,其中当所述运动向量预测模式为合并模式时,所述用于确定所述默认运动向量信息的装置包括用于确定运动向量振幅、识别所述参考帧在时间上在所述当前帧之前还是之后的预测方向以及识别所述参考帧的参考索引的装置。
48.根据权利要求45所述的设备,其进一步包括用于基于所述确定的默认运动向量信息确定用于执行上下文自适应无损统计解码的上下文的装置,其中所述上下文识别译码表以用以解码所述视频数据。
49.根据权利要求39所述的设备,其进一步包括:
用于确定所述空间候选运动向量中的一者不可用的装置;以及
响应于确定所述空间候选运动向量中的所述一者不可用,用于从所述修剪过程移除所述空间候选运动向量中被确定为不可用的所述一者,
其中所述用于修剪所述空间候选运动向量的装置包括用于仅修剪所述空间候选运动向量中被确定为可用的空间候选运动向量以移除所述空间候选运动向量中的重复者但不移除针对所述当前视频帧的所述当前部分而确定的时间候选运动向量或所述空间候选运动向量中被确定为不可用的所述一者的装置。
50.根据权利要求39所述的设备,其进一步包括用于确定不是经时间预测且不同于所述时间候选运动向量和修剪之后剩余的所述空间候选运动向量中的任一者的一个或一个以上额外空间候选运动向量的装置,
其中所述用于选择所述时间候选运动向量或修剪之后剩余的所述空间候选运动向量中的一者的装置包括用于选择所述时间候选运动向量、修剪之后剩余的所述空间候选运动向量中的一者或所述额外空间候选运动向量中的一者作为所述选定的候选运动向量的装置。
51.一种用于解码视频数据的设备,所述设备包括:
运动补偿单元,其确定与当前视频帧的当前部分相关联的空间候选运动向量,其中所述空间候选运动向量包括针对与所述当前部分邻近的相邻部分而确定的相邻运动向量;修剪所述空间候选运动向量以移除所述空间候选运动向量中的重复者但不移除针对所述当前视频帧的所述当前部分而确定的时间候选运动向量,其中所述时间候选运动向量包括针对参考视频帧的部分而确定的运动向量;基于在位流中用信号发送的运动向量预测值MVP索引来选择所述时间候选运动向量中的一者或修剪之后剩余的所述空间候选运动向量中的一者作为选定的候选运动向量;以及基于所述选定的候选运动向量执行运动补偿。
52.根据权利要求51所述的设备,其中所述运动补偿单元修剪所述空间候选运动向量以移除所述空间候选运动向量中的重复者。
53.根据权利要求51所述的设备,
其中所述运动补偿单元将候选运动向量的数目确定为所述时间候选运动向量加上所述空间候选运动向量中的修剪之后剩余的空间候选运动向量,且
其中所述设备进一步包括熵解码单元,所述熵解码单元基于候选运动向量的所述确定的数目从所述位流剖析出经译码的MVP索引,其中所述经译码的MVP索引包括一元经译码MVP索引和截短一元经译码MVP索引中的一者;且解码所述经译码MVP索引以确定所述MVP索引。
54.根据权利要求51所述的设备,其进一步包括:
确定所述当前帧的所述当前部分的所述时间候选运动向量不可用;以及
响应于确定所述时间候选运动向量不可用,确定所述时间候选运动向量的默认运动向量信息,其中所述默认运动向量信息包括运动向量振幅、识别所述参考帧在时间上在所述当前帧之前还是之后的预测方向以及识别所述参考帧的参考索引。
55.根据权利要求54所述的设备,其进一步包括熵解码单元,所述熵解码单元基于所述确定的默认运动向量信息确定用于执行上下文自适应无损统计解码的上下文,其中所述上下文识别译码表以用以解码所述视频数据。
56.根据权利要求54所述的设备,其中所述运动补偿单元进一步确定所述参考帧是否经帧内译码,且当所述参考帧被确定为经帧内译码时,基于针对在所述参考帧中处于与所述当前部分在所述当前帧中所处的位置相同的位置处的所述参考帧的所述部分而确定的空间运动向量得到所述默认运动向量信息。
57.根据权利要求51所述的设备,其中所述运动补偿单元确定所述空间候选运动向量中的一者不可用;响应于确定所述空间候选运动向量中的所述一者不可用,基于运动向量预测模式确定包含用于所述空间候选运动向量中的所述一者的默认运动向量信息的默认候选运动向量;修剪包含所述默认候选运动向量中的一者或一者以上的所述空间候选运动向量以移除所述空间候选运动向量中的重复者;以及基于在位流中用信号发送的运动向量预测值MVP索引来选择所述时间候选运动向量中的一者、所述空间候选运动向量中被确定为不可用的一者或修剪之后剩余的所述空间候选运动向量中的一者。
58.根据权利要求57所述的设备,其中当所述运动向量预测模式为自适应运动向量预测AMVP模式时,所述运动补偿单元确定运动向量振幅但不确定识别所述参考帧在时间上在所述当前帧之前还是之后的预测方向或识别所述参考帧的参考索引。
59.根据权利要求57所述的设备,其中当所述运动向量预测模式为合并模式时,所述运动补偿单元确定运动向量振幅、识别所述参考帧在时间上在所述当前帧之前还是之后的预测方向以及识别所述参考帧的参考索引。
60.根据权利要求57所述的设备,其进一步包括熵解码单元,所述熵解码单元基于所述确定的默认运动向量信息确定用于执行上下文自适应无损统计解码的上下文,其中所述上下文识别译码表以用以解码所述视频数据。
61.根据权利要求51所述的设备,其中所述运动补偿单元确定所述空间候选运动向量中的一者不可用;响应于确定所述空间候选运动向量中的所述一者不可用,从所述修剪过程移除所述空间候选运动向量中被确定为不可用的所述一者;且仅修剪所述空间候选运动向量中被确定为可用的空间候选运动向量以移除所述空间候选运动向量中的重复者但不移除针对所述当前视频帧的所述当前部分而确定的时间候选运动向量或所述空间候选运动向量中被确定为不可用的所述一者。
62.根据权利要求51所述的设备,其中所述运动补偿单元进一步确定不是经时间预测且不同于所述时间候选运动向量和修剪之后剩余的所述空间候选运动向量中的任一者的一个或一个以上额外空间候选运动向量,且选择所述时间候选运动向量、修剪之后剩余的所述空间候选运动向量中的一者或所述额外空间候选运动向量中的一者作为所述选定的候选运动向量。
63.一种包括指令的非暂时性计算机可读媒体,所述指令在被执行时致使一个或一个以上处理器执行以下操作:
确定与当前视频帧的当前部分相关联的空间候选运动向量,其中所述空间候选运动向量包括针对所述当前视频帧的与所述当前部分邻近的相邻部分而确定的运动向量;
修剪所述空间候选运动向量以移除所述空间候选运动向量中的至少一者但不移除针对所述当前视频帧的所述当前部分而确定的时间候选运动向量,其中所述时间候选运动向量包括针对参考视频帧的部分而确定的运动向量;
基于在位流中用信号发送的运动向量预测值MVP索引来选择所述时间候选运动向量中的一者或修剪之后剩余的所述空间候选运动向量中的一者作为选定的候选运动向量;以及
基于所述选定的候选运动向量执行运动补偿。
CN201280006666.7A 2011-01-27 2012-01-18 执行视频译码的运动向量预测 Active CN103339938B (zh)

Applications Claiming Priority (9)

Application Number Priority Date Filing Date Title
US201161436997P 2011-01-27 2011-01-27
US61/436,997 2011-01-27
US201161449985P 2011-03-07 2011-03-07
US61/449,985 2011-03-07
US201161561601P 2011-11-18 2011-11-18
US61/561,601 2011-11-18
US13/351,980 2012-01-17
US13/351,980 US9319716B2 (en) 2011-01-27 2012-01-17 Performing motion vector prediction for video coding
PCT/US2012/021742 WO2012102927A1 (en) 2011-01-27 2012-01-18 Performing motion vector prediction for video coding

Publications (2)

Publication Number Publication Date
CN103339938A true CN103339938A (zh) 2013-10-02
CN103339938B CN103339938B (zh) 2016-10-05

Family

ID=46577354

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201280006666.7A Active CN103339938B (zh) 2011-01-27 2012-01-18 执行视频译码的运动向量预测

Country Status (20)

Country Link
US (1) US9319716B2 (zh)
EP (1) EP2668784B1 (zh)
JP (1) JP5813784B2 (zh)
KR (1) KR101574866B1 (zh)
CN (1) CN103339938B (zh)
AU (1) AU2012209403B2 (zh)
BR (1) BR112013018816B1 (zh)
CA (1) CA2825154C (zh)
DK (1) DK2668784T3 (zh)
ES (1) ES2684522T3 (zh)
HU (1) HUE039019T2 (zh)
IL (1) IL227287A (zh)
MY (1) MY164598A (zh)
PL (1) PL2668784T3 (zh)
PT (1) PT2668784T (zh)
RU (1) RU2550554C2 (zh)
SG (1) SG191824A1 (zh)
SI (1) SI2668784T1 (zh)
WO (1) WO2012102927A1 (zh)
ZA (1) ZA201306423B (zh)

Cited By (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105491380A (zh) * 2014-10-06 2016-04-13 联发科技股份有限公司 用于运动向量预测因子推导的方法及装置
CN106134194A (zh) * 2014-03-17 2016-11-16 高通股份有限公司 用于低复杂度编码及后台检测的***及方法
CN109644271A (zh) * 2016-09-06 2019-04-16 联发科技股份有限公司 用于二叉树分割块的确定候选集的方法及装置
CN110662054A (zh) * 2018-06-29 2020-01-07 北京字节跳动网络技术有限公司 当向Merge/AMVP添加HMVP候选时的部分/完全修剪
WO2020043000A1 (zh) * 2018-08-28 2020-03-05 华为技术有限公司 候选运动信息列表的构建方法、帧间预测方法及装置
CN110870313A (zh) * 2017-05-31 2020-03-06 交互数字Vc控股公司 用于候选列表修剪的方法和装置
CN111095925A (zh) * 2017-09-13 2020-05-01 三星电子株式会社 通过使用基本运动矢量对运动矢量进行编码的设备和方法以及解码设备和方法
CN112204966A (zh) * 2018-03-27 2021-01-08 株式会社Kt 视频信号处理方法和装置
US20210297659A1 (en) 2018-09-12 2021-09-23 Beijing Bytedance Network Technology Co., Ltd. Conditions for starting checking hmvp candidates depend on total number minus k
US11245892B2 (en) 2018-06-29 2022-02-08 Beijing Bytedance Network Technology Co., Ltd. Checking order of motion candidates in LUT
US11463685B2 (en) 2018-07-02 2022-10-04 Beijing Bytedance Network Technology Co., Ltd. LUTS with intra prediction modes and intra mode prediction from non-adjacent blocks
US11528501B2 (en) 2018-06-29 2022-12-13 Beijing Bytedance Network Technology Co., Ltd. Interaction between LUT and AMVP
US11589071B2 (en) 2019-01-10 2023-02-21 Beijing Bytedance Network Technology Co., Ltd. Invoke of LUT updating
US11641483B2 (en) 2019-03-22 2023-05-02 Beijing Bytedance Network Technology Co., Ltd. Interaction between merge list construction and other tools
US11695921B2 (en) 2018-06-29 2023-07-04 Beijing Bytedance Network Technology Co., Ltd Selection of coded motion information for LUT updating
US11877002B2 (en) 2018-06-29 2024-01-16 Beijing Bytedance Network Technology Co., Ltd Update of look up table: FIFO, constrained FIFO
US11895318B2 (en) 2018-06-29 2024-02-06 Beijing Bytedance Network Technology Co., Ltd Concept of using one or multiple look up tables to store motion information of previously coded in order and use them to code following blocks
US11909989B2 (en) 2018-06-29 2024-02-20 Beijing Bytedance Network Technology Co., Ltd Number of motion candidates in a look up table to be checked according to mode
US11909951B2 (en) 2019-01-13 2024-02-20 Beijing Bytedance Network Technology Co., Ltd Interaction between lut and shared merge list
US11956464B2 (en) 2019-01-16 2024-04-09 Beijing Bytedance Network Technology Co., Ltd Inserting order of motion candidates in LUT
US11973971B2 (en) 2018-06-29 2024-04-30 Beijing Bytedance Network Technology Co., Ltd Conditions for updating LUTs
US12015780B2 (en) 2018-08-28 2024-06-18 Huawei Technologies Co., Ltd. Inter prediction method and apparatus, video encoder, and video decoder
US12034914B2 (en) 2021-12-01 2024-07-09 Beijing Bytedance Network Technology Co., Ltd Checking order of motion candidates in lut

Families Citing this family (88)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10474875B2 (en) 2010-06-07 2019-11-12 Affectiva, Inc. Image analysis using a semiconductor processor for facial evaluation
JP5755243B2 (ja) 2010-11-24 2015-07-29 パナソニック インテレクチュアル プロパティ コーポレーション オブアメリカPanasonic Intellectual Property Corporation of America 動きベクトル導出方法および動きベクトル導出装置
GB2487197B (en) * 2011-01-11 2015-06-17 Canon Kk Video encoding and decoding with improved error resilience
CN106851306B (zh) 2011-01-12 2020-08-04 太阳专利托管公司 动态图像解码方法和动态图像解码装置
US10404998B2 (en) * 2011-02-22 2019-09-03 Sun Patent Trust Moving picture coding method, moving picture coding apparatus, moving picture decoding method, and moving picture decoding apparatus
MX2013009864A (es) 2011-03-03 2013-10-25 Panasonic Corp Metodo de codificacion de imagenes en movimiento, metodo de decodificacion de imagenes en movimiento, aparato de codificacion de imagenes en movimiento, aparato de decodificacion de imagenes en movimiento y aparato de codificacion y decodificacion de imagenes en movimiento.
US9066110B2 (en) 2011-03-08 2015-06-23 Texas Instruments Incorporated Parsing friendly and error resilient merge flag coding in video coding
US9143795B2 (en) 2011-04-11 2015-09-22 Texas Instruments Incorporated Parallel motion estimation in video coding
EP3136727B1 (en) 2011-04-12 2018-06-13 Sun Patent Trust Motion-video coding method and motion-video coding apparatus
WO2012164880A1 (ja) 2011-05-27 2012-12-06 パナソニック株式会社 画像符号化方法、画像符号化装置、画像復号方法、画像復号装置、および、画像符号化復号装置
US9485518B2 (en) 2011-05-27 2016-11-01 Sun Patent Trust Decoding method and apparatus with candidate motion vectors
SG194746A1 (en) 2011-05-31 2013-12-30 Kaba Gmbh Image encoding method, image encoding device, image decoding method, image decoding device, and image encoding/decoding device
PL2717579T3 (pl) 2011-05-31 2020-07-27 Sun Patent Trust Sposób dekodowania obrazu i urządzenie do dekodowania obrazu
US9866859B2 (en) * 2011-06-14 2018-01-09 Texas Instruments Incorporated Inter-prediction candidate index coding independent of inter-prediction candidate list construction in video coding
KR20160003334A (ko) * 2011-06-15 2016-01-08 미디어텍 인크. 3d 비디오 코딩에서의 텍스처 이미지 압축 방법 및 장치
MY181718A (en) 2011-06-30 2021-01-05 Sun Patent Trust Image decoding method, image encoding method, image decoding device, image encoding device, and image encoding/decoding device
US9456214B2 (en) 2011-08-03 2016-09-27 Sun Patent Trust Moving picture coding method, moving picture coding apparatus, moving picture decoding method, moving picture decoding apparatus, and moving picture coding and decoding apparatus
GB2493755B (en) * 2011-08-17 2016-10-19 Canon Kk Method and device for encoding a sequence of images and method and device for decoding a sequence of images
GB2559226B (en) 2011-09-09 2018-11-28 Kt Corp Method for deriving a temporal predictive motion vector
WO2013057877A1 (ja) 2011-10-19 2013-04-25 パナソニック株式会社 画像符号化方法、画像符号化装置、画像復号方法、および、画像復号装置
RU2577181C2 (ru) * 2011-10-21 2016-03-10 Нокиа Текнолоджиз Ой Способ и устройство для кодирования видеосигналов
US9571833B2 (en) 2011-11-04 2017-02-14 Nokia Technologies Oy Method for coding and an apparatus
US9088796B2 (en) * 2011-11-07 2015-07-21 Sharp Kabushiki Kaisha Video decoder with enhanced CABAC decoding
CN107396100B (zh) * 2011-11-08 2020-05-05 株式会社Kt 利用解码装置对视频信号进行解码的方法
JP2013141077A (ja) * 2011-12-28 2013-07-18 Jvc Kenwood Corp 動画像符号化装置、動画像符号化方法及び動画像符号化プログラム
JP5747816B2 (ja) * 2011-12-28 2015-07-15 株式会社Jvcケンウッド 動画像符号化装置、動画像符号化方法、動画像符号化プログラム、送信装置、送信方法及び送信プログラム
WO2013099244A1 (ja) * 2011-12-28 2013-07-04 株式会社Jvcケンウッド 動画像符号化装置、動画像符号化方法及び動画像符号化プログラム、並びに動画像復号装置、動画像復号方法及び動画像復号プログラム
JP2013141078A (ja) * 2011-12-28 2013-07-18 Jvc Kenwood Corp 動画像復号装置、動画像復号方法及び動画像復号プログラム
JP5617834B2 (ja) * 2011-12-28 2014-11-05 株式会社Jvcケンウッド 動画像復号装置、動画像復号方法、及び動画像復号プログラム、並びに、受信装置、受信方法、及び受信プログラム
WO2013099288A1 (ja) * 2011-12-28 2013-07-04 株式会社Jvcケンウッド 動画像符号化装置、動画像符号化方法及び動画像符号化プログラム、並びに動画像復号装置、動画像復号方法及び動画像復号プログラム
WO2013109093A1 (ko) * 2012-01-19 2013-07-25 한국전자통신연구원 영상 부호화/복호화 방법 및 장치
WO2013107028A1 (en) * 2012-01-19 2013-07-25 Mediatek Singapore Pte. Ltd. Methods and apparatuses of amvp simplification
US9729873B2 (en) 2012-01-24 2017-08-08 Qualcomm Incorporated Video coding using parallel motion estimation
US9426463B2 (en) 2012-02-08 2016-08-23 Qualcomm Incorporated Restriction of prediction units in B slices to uni-directional inter prediction
US9451277B2 (en) 2012-02-08 2016-09-20 Qualcomm Incorporated Restriction of prediction units in B slices to uni-directional inter prediction
US20150010057A1 (en) * 2012-03-16 2015-01-08 Panasonic Corporation Image decoding device and image decoding method
US9584802B2 (en) * 2012-04-13 2017-02-28 Texas Instruments Incorporated Reducing context coded and bypass coded bins to improve context adaptive binary arithmetic coding (CABAC) throughput
US9800869B2 (en) * 2012-06-15 2017-10-24 Google Technology Holdings LLC Method and apparatus for efficient slice header processing
US20140079135A1 (en) * 2012-09-14 2014-03-20 Qualcomm Incoporated Performing quantization to facilitate deblocking filtering
US10178410B2 (en) * 2012-10-03 2019-01-08 Mediatek Inc. Method and apparatus of motion information management in video coding
CN102883163B (zh) 2012-10-08 2014-05-28 华为技术有限公司 用于运动矢量预测的运动矢量列表建立的方法、装置
US9894383B2 (en) 2012-10-09 2018-02-13 Hfi Innovation Inc. Method and apparatus for motion information prediction and inheritance in video coding
US9826244B2 (en) * 2013-01-08 2017-11-21 Qualcomm Incorporated Device and method for scalable coding of video information based on high efficiency video coding
CN103079067B (zh) * 2013-01-09 2016-03-09 华为技术有限公司 运动矢量预测值列表构建方法和视频编解码方法及装置
JP5983430B2 (ja) * 2013-01-25 2016-08-31 富士通株式会社 動画像符号化装置、動画像符号化方法及び動画像復号装置ならびに動画像復号方法
FR3011429A1 (fr) * 2013-09-27 2015-04-03 Orange Codage et decodage video par heritage d'un champ de vecteurs de mouvement
AU2013403224B2 (en) 2013-10-14 2018-10-18 Microsoft Technology Licensing, Llc Features of intra block copy prediction mode for video and image coding and decoding
CN105659606B (zh) 2013-10-14 2019-06-18 微软技术许可有限责任公司 用于视频和图像编码和解码的方法、***和介质
US11109036B2 (en) 2013-10-14 2021-08-31 Microsoft Technology Licensing, Llc Encoder-side options for intra block copy prediction mode for video and image coding
KR102353787B1 (ko) 2014-01-03 2022-01-19 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 비디오 및 이미지 코딩/디코딩에서의 블록 벡터 예측
US10390034B2 (en) 2014-01-03 2019-08-20 Microsoft Technology Licensing, Llc Innovations in block vector prediction and estimation of reconstructed sample values within an overlap area
US11284103B2 (en) 2014-01-17 2022-03-22 Microsoft Technology Licensing, Llc Intra block copy prediction with asymmetric partitions and encoder-side search patterns, search ranges and approaches to partitioning
US10542274B2 (en) 2014-02-21 2020-01-21 Microsoft Technology Licensing, Llc Dictionary encoding and decoding of screen content
KR102401946B1 (ko) 2014-03-04 2022-05-24 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 인트라 블록 카피 예측에서의 스킵 모드 및 블록 플립핑
KR102311815B1 (ko) 2014-06-19 2021-10-13 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 통합된 인트라 블록 카피 및 인터 예측 모드
JP5874790B2 (ja) * 2014-09-08 2016-03-02 株式会社Jvcケンウッド 動画像復号装置、動画像復号方法、及び動画像復号プログラム、並びに、受信装置、受信方法、及び受信プログラム
JP5874792B2 (ja) * 2014-09-08 2016-03-02 株式会社Jvcケンウッド 動画像復号装置、動画像復号方法、及び動画像復号プログラム、並びに、受信装置、受信方法、及び受信プログラム
JP5874791B2 (ja) * 2014-09-08 2016-03-02 株式会社Jvcケンウッド 動画像復号装置、動画像復号方法、及び動画像復号プログラム、並びに、受信装置、受信方法、及び受信プログラム
JP5874793B2 (ja) * 2014-09-08 2016-03-02 株式会社Jvcケンウッド 動画像復号装置、動画像復号方法、及び動画像復号プログラム、並びに、受信装置、受信方法、及び受信プログラム
JP2017535145A (ja) 2014-09-30 2017-11-24 マイクロソフト テクノロジー ライセンシング,エルエルシー 波面並列処理が可能にされた場合のピクチャ内予測モードに関する規則
US9591325B2 (en) 2015-01-27 2017-03-07 Microsoft Technology Licensing, Llc Special case handling for merged chroma blocks in intra block copy prediction mode
JP5975146B2 (ja) * 2015-05-14 2016-08-23 株式会社Jvcケンウッド 動画像符号化装置、動画像符号化方法、動画像符号化プログラム、送信装置、送信方法及び送信プログラム
US10187653B2 (en) * 2015-05-18 2019-01-22 Avago Technologies International Sales Pte. Limited Motor vector prediction using co-located prediction units
MY190056A (en) * 2015-05-21 2022-03-23 Huawei Tech Co Ltd Apparatus and method for video motion compensation
WO2016197314A1 (en) 2015-06-09 2016-12-15 Microsoft Technology Licensing, Llc Robust encoding/decoding of escape-coded pixels in palette mode
CN106559669B (zh) 2015-09-29 2018-10-09 华为技术有限公司 预测图像编解码方法及装置
US10477233B2 (en) * 2015-09-30 2019-11-12 Apple Inc. Predictor candidates for motion estimation search systems and methods
US10225572B2 (en) * 2015-09-30 2019-03-05 Apple Inc. Configurable motion estimation search systems and methods
JP6037061B2 (ja) * 2016-01-18 2016-11-30 株式会社Jvcケンウッド 動画像復号装置、動画像復号方法、及び動画像復号プログラム、並びに、受信装置、受信方法、及び受信プログラム
JP5962877B1 (ja) * 2016-04-26 2016-08-03 株式会社Jvcケンウッド 動画像符号化装置、動画像符号化方法、動画像符号化プログラム、送信装置、送信方法及び送信プログラム
JP5962876B1 (ja) * 2016-04-26 2016-08-03 株式会社Jvcケンウッド 動画像符号化装置、動画像符号化方法、動画像符号化プログラム、送信装置、送信方法及び送信プログラム
JP5962875B1 (ja) * 2016-04-26 2016-08-03 株式会社Jvcケンウッド 動画像符号化装置、動画像符号化方法、動画像符号化プログラム、送信装置、送信方法及び送信プログラム
JP6183505B2 (ja) * 2016-06-29 2017-08-23 株式会社Jvcケンウッド 動画像符号化装置
US10567461B2 (en) * 2016-08-04 2020-02-18 Twitter, Inc. Low-latency HTTP live streaming
WO2018164505A1 (ko) * 2017-03-09 2018-09-13 주식회사 케이티 영상 부호화 또는 복호화 방법 및 장치
JP6406408B2 (ja) * 2017-09-28 2018-10-17 株式会社Jvcケンウッド 動画像復号装置、動画像復号方法、及び、動画像復号プログラム
JP6406409B2 (ja) * 2017-09-28 2018-10-17 株式会社Jvcケンウッド 動画像復号装置、動画像復号方法、及び、動画像復号プログラム
KR102347598B1 (ko) * 2017-10-16 2022-01-05 삼성전자주식회사 영상 부호화 장치 및 인코더
KR102476204B1 (ko) * 2017-10-19 2022-12-08 삼성전자주식회사 멀티 코덱 인코더 및 이를 포함하는 멀티 코덱 인코딩 시스템
WO2019093598A1 (ko) * 2017-11-09 2019-05-16 삼성전자 주식회사 움직임 정보의 부호화 장치 및 방법, 및 복호화 장치 및 방법
US10986349B2 (en) 2017-12-29 2021-04-20 Microsoft Technology Licensing, Llc Constraints on locations of reference blocks for intra block copy prediction
CN110662063B (zh) 2018-06-29 2020-12-15 北京字节跳动网络技术有限公司 视频处理方法、装置和计算机可读存储介质
WO2020055169A1 (ko) * 2018-09-11 2020-03-19 김기백 인터 예측을 이용한 영상 부호화/복호화 방법 및 장치
CN115514958A (zh) 2018-11-02 2022-12-23 抖音视界有限公司 用于基于历史的运动矢量预测的表维护
US10979716B2 (en) * 2019-03-15 2021-04-13 Tencent America LLC Methods of accessing affine history-based motion vector predictor buffer
CN111741304A (zh) * 2019-03-25 2020-10-02 四川大学 一种基于运动矢量细化的帧率上变换与hevc相结合的方法
WO2020248925A1 (en) * 2019-06-08 2020-12-17 Beijing Bytedance Network Technology Co., Ltd. History-based motion vector prediction with default parameters
US20240080451A1 (en) * 2022-09-02 2024-03-07 Tencent America LLC Systems and methods for temporal motion vector prediction candidate derivation

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2026582A2 (en) * 1999-07-27 2009-02-18 Sharp Kabushiki Kaisha Methods for motion estimation with adaptive motion accuracy
US20090304084A1 (en) * 2008-03-19 2009-12-10 Nokia Corporation Combined motion vector and reference index prediction for video coding

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6671321B1 (en) 1999-08-31 2003-12-30 Mastsushita Electric Industrial Co., Ltd. Motion vector detection device and motion vector detection method
JP2001251632A (ja) 1999-12-27 2001-09-14 Toshiba Corp 動きベクトル検出方法および装置並びに動きベクトル検出プログラム
US20040001546A1 (en) 2002-06-03 2004-01-01 Alexandros Tourapis Spatiotemporal prediction for bidirectionally predictive (B) pictures and motion vector prediction for multi-picture reference motion compensation
US7408986B2 (en) 2003-06-13 2008-08-05 Microsoft Corporation Increasing motion smoothness using frame interpolation with motion analysis
US20040258147A1 (en) 2003-06-23 2004-12-23 Tsu-Chang Lee Memory and array processor structure for multiple-dimensional signal processing
US7567617B2 (en) 2003-09-07 2009-07-28 Microsoft Corporation Predicting motion vectors for fields of forward-predicted interlaced video frames
US20080144716A1 (en) 2004-03-11 2008-06-19 Gerard De Haan Method For Motion Vector Determination
KR100587562B1 (ko) 2004-04-13 2006-06-08 삼성전자주식회사 비디오 프레임에 대한 움직임 추정 방법 및 비디오 인코더
US9100535B2 (en) 2008-10-22 2015-08-04 Entropic Communications, Llc Device and method for motion estimation and compensation
EP2532159A1 (en) * 2010-02-05 2012-12-12 Telefonaktiebolaget L M Ericsson (PUBL) Selecting predicted motion vector candidates
CN106878741B (zh) 2011-01-07 2019-08-06 株式会社Ntt都科摩 预测解码方法
JP2012151576A (ja) 2011-01-18 2012-08-09 Hitachi Ltd 画像符号化方法、画像符号化装置、画像復号方法及び画像復号装置
JP2013141077A (ja) 2011-12-28 2013-07-18 Jvc Kenwood Corp 動画像符号化装置、動画像符号化方法及び動画像符号化プログラム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2026582A2 (en) * 1999-07-27 2009-02-18 Sharp Kabushiki Kaisha Methods for motion estimation with adaptive motion accuracy
US20090304084A1 (en) * 2008-03-19 2009-12-10 Nokia Corporation Combined motion vector and reference index prediction for video coding

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
YAO WANG ET AL.: "Error control and concealment for video communication:a review", 《PROCEEDINGS OF THE IEEE》 *
YEPING SU ET AL.: "On motion vector competition", 《JOINT COLLABORATIVE TEAM ON VIDEO CODING (JCT-VC)OF ITU-T SG16 WP3 AND ISO/IEC JTC1/SC29/WG11 3RD MEETING》 *

Cited By (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106134194A (zh) * 2014-03-17 2016-11-16 高通股份有限公司 用于低复杂度编码及后台检测的***及方法
CN106134194B (zh) * 2014-03-17 2019-05-03 高通股份有限公司 用于低复杂度编码及后台检测的***及方法
US9992512B2 (en) 2014-10-06 2018-06-05 Mediatek Inc. Method and apparatus for motion vector predictor derivation
CN105491380A (zh) * 2014-10-06 2016-04-13 联发科技股份有限公司 用于运动向量预测因子推导的方法及装置
CN109644271A (zh) * 2016-09-06 2019-04-16 联发科技股份有限公司 用于二叉树分割块的确定候选集的方法及装置
CN109644271B (zh) * 2016-09-06 2021-04-13 联发科技股份有限公司 用于二叉树分割块的确定候选集的方法及装置
CN110870313A (zh) * 2017-05-31 2020-03-06 交互数字Vc控股公司 用于候选列表修剪的方法和装置
US11589070B2 (en) 2017-09-13 2023-02-21 Samsung Electronics Co., Ltd. Apparatus and method for encoding motion vector by using basic motion vector, and decoding apparatus and method
CN111095925A (zh) * 2017-09-13 2020-05-01 三星电子株式会社 通过使用基本运动矢量对运动矢量进行编码的设备和方法以及解码设备和方法
CN112204966A (zh) * 2018-03-27 2021-01-08 株式会社Kt 视频信号处理方法和装置
US11706406B2 (en) 2018-06-29 2023-07-18 Beijing Bytedance Network Technology Co., Ltd Selection of coded motion information for LUT updating
US11245892B2 (en) 2018-06-29 2022-02-08 Beijing Bytedance Network Technology Co., Ltd. Checking order of motion candidates in LUT
US11877002B2 (en) 2018-06-29 2024-01-16 Beijing Bytedance Network Technology Co., Ltd Update of look up table: FIFO, constrained FIFO
US11973971B2 (en) 2018-06-29 2024-04-30 Beijing Bytedance Network Technology Co., Ltd Conditions for updating LUTs
US11528500B2 (en) 2018-06-29 2022-12-13 Beijing Bytedance Network Technology Co., Ltd. Partial/full pruning when adding a HMVP candidate to merge/AMVP
US11528501B2 (en) 2018-06-29 2022-12-13 Beijing Bytedance Network Technology Co., Ltd. Interaction between LUT and AMVP
CN110662054A (zh) * 2018-06-29 2020-01-07 北京字节跳动网络技术有限公司 当向Merge/AMVP添加HMVP候选时的部分/完全修剪
US11909989B2 (en) 2018-06-29 2024-02-20 Beijing Bytedance Network Technology Co., Ltd Number of motion candidates in a look up table to be checked according to mode
US11895318B2 (en) 2018-06-29 2024-02-06 Beijing Bytedance Network Technology Co., Ltd Concept of using one or multiple look up tables to store motion information of previously coded in order and use them to code following blocks
US11695921B2 (en) 2018-06-29 2023-07-04 Beijing Bytedance Network Technology Co., Ltd Selection of coded motion information for LUT updating
US11463685B2 (en) 2018-07-02 2022-10-04 Beijing Bytedance Network Technology Co., Ltd. LUTS with intra prediction modes and intra mode prediction from non-adjacent blocks
US11895319B2 (en) 2018-08-28 2024-02-06 Huawei Technologies Co., Ltd. Method for constructing candidate motion information list, inter prediction method, and apparatus
US12015780B2 (en) 2018-08-28 2024-06-18 Huawei Technologies Co., Ltd. Inter prediction method and apparatus, video encoder, and video decoder
WO2020043000A1 (zh) * 2018-08-28 2020-03-05 华为技术有限公司 候选运动信息列表的构建方法、帧间预测方法及装置
US20210297659A1 (en) 2018-09-12 2021-09-23 Beijing Bytedance Network Technology Co., Ltd. Conditions for starting checking hmvp candidates depend on total number minus k
US11997253B2 (en) 2018-09-12 2024-05-28 Beijing Bytedance Network Technology Co., Ltd Conditions for starting checking HMVP candidates depend on total number minus K
US11589071B2 (en) 2019-01-10 2023-02-21 Beijing Bytedance Network Technology Co., Ltd. Invoke of LUT updating
US11909951B2 (en) 2019-01-13 2024-02-20 Beijing Bytedance Network Technology Co., Ltd Interaction between lut and shared merge list
US11956464B2 (en) 2019-01-16 2024-04-09 Beijing Bytedance Network Technology Co., Ltd Inserting order of motion candidates in LUT
US11962799B2 (en) 2019-01-16 2024-04-16 Beijing Bytedance Network Technology Co., Ltd Motion candidates derivation
US11641483B2 (en) 2019-03-22 2023-05-02 Beijing Bytedance Network Technology Co., Ltd. Interaction between merge list construction and other tools
US12034914B2 (en) 2021-12-01 2024-07-09 Beijing Bytedance Network Technology Co., Ltd Checking order of motion candidates in lut

Also Published As

Publication number Publication date
AU2012209403A1 (en) 2013-08-01
DK2668784T3 (en) 2018-08-20
CN103339938B (zh) 2016-10-05
RU2550554C2 (ru) 2015-05-10
EP2668784A1 (en) 2013-12-04
IL227287A0 (en) 2013-09-30
IL227287A (en) 2016-10-31
RU2013139569A (ru) 2015-03-10
HUE039019T2 (hu) 2018-12-28
MY164598A (en) 2018-01-30
JP5813784B2 (ja) 2015-11-17
ZA201306423B (en) 2014-04-30
JP2014509480A (ja) 2014-04-17
EP2668784B1 (en) 2018-05-30
BR112013018816B1 (pt) 2022-07-19
AU2012209403B2 (en) 2015-10-01
PT2668784T (pt) 2018-10-09
BR112013018816A2 (pt) 2017-07-25
CA2825154C (en) 2016-10-04
ES2684522T3 (es) 2018-10-03
CA2825154A1 (en) 2012-08-02
WO2012102927A1 (en) 2012-08-02
US20120195368A1 (en) 2012-08-02
SI2668784T1 (en) 2018-08-31
KR101574866B1 (ko) 2015-12-04
SG191824A1 (en) 2013-08-30
US9319716B2 (en) 2016-04-19
KR20130126691A (ko) 2013-11-20
PL2668784T3 (pl) 2018-12-31

Similar Documents

Publication Publication Date Title
CN103339938A (zh) 执行视频译码的运动向量预测
CN103026709B (zh) 用于视频译码的帧间预测模式和参考图片列表索引的译码
CN103931182B (zh) 帧内预测视频译码中的非正方形变换
KR101523452B1 (ko) 비디오 코딩에서 블록에 대한 스캐닝 순서에 기초하여 비디오 블록 내의 마지막 유효 계수의 포지션을 코딩
CN103299620B (zh) 在视频译码中使用最可能扫描次序对用于视频块的扫描次序信息进行有效译码
CN104012096A (zh) 执行视频译码的运动向量预测
JP5866453B2 (ja) イントラモードコーディングにおける参照モード選択
JP2018530246A (ja) ビデオコーディングのために位置依存の予測組合せを使用する改善されたビデオイントラ予測
CN103238322A (zh) 在视频译码中单独地译码视频块的最后有效系数的位置
CN104704833A (zh) 多视图或3维视频译码中的高级视图间残差预测
CN103329523A (zh) 使用经映射变换和扫描模式的视频译码
CN104737537A (zh) 用于可缩放视频译码的加权预测模式
CN103609121A (zh) 统一合并模式和自适应运动向量预测模式候选者选择
CN103477638A (zh) 用于视频译码的变换系数的译码
CN103797801A (zh) 视频译码中的非正方形变换单元和预测单元
CN104221380A (zh) 用于并行运动估计的共同空间候选块
CN104221374A (zh) 在视频译码中分群经旁路译码语法元素
CN103339935A (zh) 运动向量预测
CN103563378A (zh) 存储器高效的上下文建模
CN104247420A (zh) 转换系数译码
CN103262533A (zh) 指示用于视频译码的帧内预测模式选择
CN103999460A (zh) 在变换跳过模式中译码有效系数信息
CN103202016A (zh) 用于视频译码的自适应运动向量分辨率信令
CN103299628A (zh) 指示使用cabac用于视频译码的帧内预测模式选择
CN103703776A (zh) 在视频译码中的系数扫描

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 1186892

Country of ref document: HK

C14 Grant of patent or utility model
GR01 Patent grant
REG Reference to a national code

Ref country code: HK

Ref legal event code: GR

Ref document number: 1186892

Country of ref document: HK