CN110800304A - 用于在视频译码中构造候选列表的基于运动的优先级 - Google Patents
用于在视频译码中构造候选列表的基于运动的优先级 Download PDFInfo
- Publication number
- CN110800304A CN110800304A CN201880041220.5A CN201880041220A CN110800304A CN 110800304 A CN110800304 A CN 110800304A CN 201880041220 A CN201880041220 A CN 201880041220A CN 110800304 A CN110800304 A CN 110800304A
- Authority
- CN
- China
- Prior art keywords
- candidate
- block
- prediction
- list
- motion vector
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 239000013598 vector Substances 0.000 claims abstract description 199
- 238000000034 method Methods 0.000 claims abstract description 81
- 230000002123 temporal effect Effects 0.000 claims description 25
- 238000013139 quantization Methods 0.000 claims description 21
- 238000012545 processing Methods 0.000 description 31
- 238000005192 partition Methods 0.000 description 20
- 230000008569 process Effects 0.000 description 15
- 238000004891 communication Methods 0.000 description 13
- 238000010586 diagram Methods 0.000 description 13
- 238000003860 storage Methods 0.000 description 13
- 230000005540 biological transmission Effects 0.000 description 9
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 8
- 238000013500 data storage Methods 0.000 description 8
- 230000006835 compression Effects 0.000 description 6
- 238000007906 compression Methods 0.000 description 6
- 230000011664 signaling Effects 0.000 description 6
- 238000010276 construction Methods 0.000 description 5
- 238000009795 derivation Methods 0.000 description 5
- 230000003044 adaptive effect Effects 0.000 description 4
- 238000013138 pruning Methods 0.000 description 4
- 230000000007 visual effect Effects 0.000 description 4
- 241000023320 Luma <angiosperm> Species 0.000 description 3
- 238000003491 array Methods 0.000 description 3
- 238000003780 insertion Methods 0.000 description 3
- 230000037431 insertion Effects 0.000 description 3
- OSWPMRLSEDHDFF-UHFFFAOYSA-N methyl salicylate Chemical compound COC(=O)C1=CC=CC=C1O OSWPMRLSEDHDFF-UHFFFAOYSA-N 0.000 description 3
- 239000013074 reference sample Substances 0.000 description 3
- 238000000638 solvent extraction Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 241000985610 Forpus Species 0.000 description 1
- 230000004308 accommodation Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000012432 intermediate storage Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000005022 packaging material Substances 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 239000000523 sample Substances 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/513—Processing of motion vectors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/124—Quantisation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/136—Incoming video signal characteristics or properties
- H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/513—Processing of motion vectors
- H04N19/517—Processing of motion vectors by encoding
- H04N19/52—Processing of motion vectors by encoding by predictive encoding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/58—Motion compensation with long-term prediction, i.e. the reference frame for a current frame not being the temporally closest one
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
实施例包含用于产生用于帧间预测的候选运动向量列表的技术。举例来说,根据一些实施例,将候选运动向量列表产生为具有基于候选运动向量中的每一者的运动信息的次序。可在所述列表产生时应用所述次序作为在部分地产生所述列表之后或在产生所述列表之后的重分类。
Description
优先权主张
本专利申请案主张2017年6月23日申请的美国临时申请案第62/524,420号及2018年6月21日申请的美国非临时申请案第16/014,947号的优先权,且所述申请案转让给本发明的受让人并在此以引用的方式明确地并入本文中。
技术领域
本申请案涉及视频编解码器中的运动向量预测。更具体地说,本申请案涉及从其中选择参考块以用于预测的候选列表的构造。
背景技术
视频译码标准包含ITU-T H.261、ISO/IEC MPEG-1 Visual、ITU-T H.262或ISO/IEC MPEG-2 Visual、ITU-T H.263、ISO/IEC MPEG-4 Visual及ITU-T H.264(也被称为ISO/IEC MPEG-4AVC),包含其可缩放视频译码(SVC)及多视图视频译码(MVC)扩展。MVC的最新联合草案描述于2010年3月的“用于通用视听服务的高级视频译码(Advanced video codingfor generic audiovisual services)”(ITU-T标准H.264)中。另外,存在新近开发的视频译码标准,即,由ITU-T视频译码专家组(VCEG)及ISO/IEC动画专家组(MPEG)的视频译码联合合作小组(JCT-VC)开发的高效率视频译码(HEVC)。最新的HEVC草案可从http://phenix.int-evry.fr/jct/doc_end_user/documents/12_Geneva/wg11/JCTVC-L1003-v34.zip获得。[HEVC]G.J.Sullivan;J.-R.Ohm;W.-J.Han;T.Wiegand(2012年12月)。“高效率视频译码(HEVC)标准的概述(Overview of the High Efficiency Video Coding(HEVC)Standard)”(PDF)。IEEE视频技术电路与***汇刊(IEEE Transactions on Circuits andSystems for Video Technology)(IEEE)22(12)。2012-09-14检索。需要支持更高分辨率及更高位深度的视频编解码器。
发明内容
实施例包含用于产生用于帧间预测的候选运动向量列表的技术。举例来说,根据一些实施例,将候选运动向量列表产生为具有基于候选运动向量中的每一者的运动信息的次序。
一个实施例包含一种构造用于视频编码器或解码器中的当前图片的块的帧间预测的候选列表的方法。所述方法包含:产生用于对图片的块进行帧间预测的候选运动向量的列表,其中将所述列表产生为具有基于所述候选运动向量中的每一者的运动信息的次序;从所述列表选择候选运动向量;及基于所述所选择候选运动向量执行所述块的帧间预测。
一个实施例包含一种用于构造用于当前图片的块的帧间预测的候选列表的装置。所述装置可包含视频编码器或视频解码器。所述装置包含存储器,其经配置以存储与图片的多个块相关联的运动向量。所述装置进一步包含处理器,其经配置以:产生用于对所述图片的块进行帧间预测的候选运动向量的列表,其中将所述列表产生为具有基于所述候选运动向量中的每一者的运动信息的次序;从所述列表选择候选运动向量;及基于所述所选择候选运动向量执行所述块的帧间预测。
一个实施例包含一种用于构造用于当前图片的块的帧间预测的候选列表的装置。所述装置可包含视频编码器或视频解码器。所述装置包含用于存储与图片的多个块相关联的运动向量的装置。所述装置进一步包含用于处理视频数据的装置,其经配置以:产生用于对所述图片的块进行帧间预测的候选运动向量的列表,其中将所述列表产生为具有基于所述候选运动向量中的每一者的运动信息的次序;从所述列表选择候选运动向量;及基于所述所选择候选运动向量执行所述块的帧间预测。
一个实施例包含一种非暂时性计算机可读媒体,其上存储有指令,所述指令在由处理器执行时使过程:产生用于对图片的块进行帧间预测的候选运动向量的列表,其中将所述列表产生为具有基于所述候选运动向量中的每一者的运动信息的次序;从所述列表选择候选运动向量;及基于所述所选择候选运动向量执行所述块的帧间预测。
附图说明
图1为绘示可利用本发明中所描述的技术的实例视频编码及解码***的框图。
图2为绘示可实施本发明中所描述的技术的实例视频编码器的框图。
图3为绘示可实施本发明中所描述的技术的实例视频解码器的框图。
图4a及4b绘示根据运动向量候选列表的导出次序标记的位置处的两个预测单元以及相邻块的实例。
图5为绘示关于时间运动向量预测子(TMVP)候选者产生的两个实例预测单元的图解。
图6为绘示运动向量606与TMVP候选者616之间的关系的图解。
图7绘示块及相邻块。
图8为绘示用于产生合并候选列表的实例技术的流程图。
图9为绘示在重排序之前及之后的实例合并列表的图解。
图10为绘示产生候选列表的方法的另一实施例的流程图。
图11绘示根据图10的过程的实例候选列表。
图12绘示根据每一候选者的帧间预测方向重排序前四个候选者的实例。
图13绘示如何计算当前图片中的另一块的相邻块的MV相似性的实例。
具体实施方式
如下文更详细地所论述,视频编解码器通常包含使用帧间预测技术来获得大量的译码增益。具体地说,帧间预测技术包含运动补偿的帧间预测,其中基于参考图片的块中的全部或一部分预测当前经译码图片的块。帧间预测被运动补偿,这是由于参考块可位于参考图片中的不同位置。参考块像素及指示位置差的运动向量共同用于预测当前块。
为了实现帧间预测参数的更有效信号发送,编码器及解码器使用对应过程产生从其中选择一或多个运动向量以译码当前块的候选运动向量列表。现有帧间预测技术可以基于相邻块的位置确定的预定次序产生这些候选列表。视频编码器编码视频位流中的数据,所述数据向视频解码器指示将使用候选运动向量中的哪一者来编码/解码块。
实施例包含用于基于运动信息对候选块进行排序以确定优先级或***次序的技术。实施例包含使用运动信息来确定构造例如合并候选列表及/或高级运动向量预测子(AMVP)候选列表的候选列表的优先级或***次序。如下文更详细地所论述,此运动信息可包含与候选运动向量的参考块相关联的信息,例如与参考块或其图片相关联的量化参数。运动信息还可包含或替代地包含候选块的参考图片与当前图片之间的时间距离。运动信息还可包含或替代地包含与候选运动向量的参考块或参考图片相关联的译码类型。运动信息还可包含或替代地包含基于待预测的当前块的同置参考块及至少一个相邻块的同置参考块计算的相似性度量。
此类排序的优势包含能够更早将更可能的候选者放置于候选列表中。在一些实施例中,这可减少编码器将数据译码成至解码器的位流所需的位数目,以指示将选择哪一候选者用于译码块。
作为更详细地论述实例及实施例的上下文,图1为绘示可利用本发明中所描述的技术的实例视频编码及解码***10的框图。如图1中所展示,***10包含源装置12,其产生稍后待由目的地装置14解码的经编码视频数据。源装置12及目的地装置14可包括广泛范围的装置中的任一者,包含桌上型计算机、笔记本(即,膝上型)计算机、平板计算机、机顶盒、电话手机(例如所谓的“智能”电话)、所谓的“智能”平板、电视、相机、显示装置、数字媒体播放器、视频游戏控制台、视频流式处理装置等等。在一些情况下,源装置12及目的地装置14可能经装备以用于无线通信。
目的地装置14可经由链路16接收待解码的经编码视频数据。链路16可包括能够将经编码视频数据从源装置12移动至目的地装置14的任何类型的媒体或装置。在一个实例中,链路16可包括使源装置12能够将经编码视频数据直接实时传输至目的地装置14的通信媒体。可根据通信标准(例如无线通信协议)调制经编码视频数据,且将其传输至目的地装置14。通信媒体可包括任何无线或有线通信媒体,例如射频(RF)频谱或一或多个物理传输线。通信媒体可形成基于数据包的网络(例如局域网、广域网或例如互联网的全局网络)的部分。通信媒体可包含路由器、交换机、基站,或可用于促进从源装置12至目的地装置14的通信的任何其它设备。
在另一实例中,经编码数据可从输出接口22输出至存储装置26。相似地,可由输入接口从存储装置26存取经编码数据。存储装置26可包含多种分布式或本地存取数据存储媒体中的任一者,例如硬盘驱动器、蓝光光盘、DVD、CD-ROM、闪速存储器、易失性或非易失性存储器,或用于存储经编码视频数据的任何其它合适数字存储媒体。在另一实例中,存储装置26可对应于文件服务器或可保持由源装置12产生的经编码视频的另一中间存储装置。目的地装置14可经由流式处理或下载而从存储装置26存取所存储的视频数据。文件服务器可为能够存储经编码视频数据且将所述经编码视频数据传输至目的地装置14的任何类型的服务器。实例文件服务器包含网页服务器(例如用于网站)、FTP服务器、网络连接存储(NAS)装置或本地磁盘驱动器。目的地装置14可经由任何标准数据连接(包含互联网连接)存取经编码视频数据。此数据连接可包含适用于存取存储于文件服务器上的经编码视频数据的无线信道(例如Wi-Fi连接)、有线连接(例如DSL、电缆调制解调器等等)或两者的组合。经编码视频数据从存储装置26的传输可为流式处理传输、下载传输或两者的组合。
本发明的技术未必限于无线应用或设定。所述技术可应用于支持多种多媒体应用(例如经由互联网的空中电视广播、有线电视传输、***传输、流式处理视频传输)中的任一者的视频译码、供存储于数据存储媒体上的数字视频的编码、存储于数据存储媒体上的数字视频的解码,或其它应用。在一些实例中,***10可经配置以支持单向或双向视频传输从而支持例如视频流式处理、视频回放、视频广播及/或视频电话的应用。
在图1的实例中,源装置12包含视频源18、视频编码器20及输出接口22。在一些情况下,输出接口22可包含调制器/解调器(调制解调器)及/或发射器。在源装置12中,视频源18可包含例如视频捕获装置(例如视频相机)、含有先前所捕获视频的视频存档、用以从视频内容提供者接收视频的视频馈送接口,及/或用于产生计算机图形数据作为源视频的计算机图形***的源,或这些源的组合。作为一个实例,如果视频源18为视频相机,那么源装置12及目的地装置14可形成所谓的智能电话、相机电话或视频电话。然而,本发明中所描述的技术一般可适用于视频译码,且可应用于无线及/或有线应用。
经捕获、预捕获或计算机产生的视频可由视频编码器20编码。经编码视频数据可经由源装置12的输出接口22直接传输至目的地装置14。经编码视频数据还可(或替代地)存储至存储装置26上以供稍后由目的地装置14或其它装置存取,用于解码及/或回放。
目的地装置14包含输入接口28、视频解码器30及显示装置32。在一些情况下,输入接口28可包含接收器及/或调制解调器。目的地装置14的输入接口28经由链路16接收经编码视频数据。经由链路16传达或在存储装置26上所提供的经编码视频数据可包含由视频编码器20产生的多种语法元素,其供例如视频解码器30的视频解码器在解码所述视频数据时使用。传输于通信媒体上、存储于存储媒体上或存储于文件服务器的经编码视频数据内可包含这些语法元素。
显示装置32可与目的地装置14集成或在目的地装置14外部。在一些实例中,目的地装置14可包含集成显示装置且还经配置以与外部显示装置介接。在其它实例中,目的地装置14可为显示装置。大体来说,显示装置32向用户显示经解码视频数据,且可包括多种显示装置中的任一者,例如液晶显示器(LCD)、等离子体显示器、有机发光二极管(OLED)显示器或另一类型的显示装置。
视频编码器20及视频解码器30可根据与新近定案的高效率视频译码(HEVC)标准相似地操作的较新视频压缩标准操作。具体地说,本发明的技术可使用HEVC术语以便于阐释。然而,并未假定本发明的技术受限于HEVC,而实际上,明确预期到本发明的技术可实施于HEVC的后续标准及其扩展中。
尽管图1中未展示,但在一些方面中,视频编码器20及视频解码器30可各自与音频编码器及解码器集成,且可包含适当MUX-DEMUX单元或其它硬件及软件,以处置共同数据流或单独数据流中的音频及视频两者的编码。适用时,在一些实例中,MUX-DEMUX单元可遵照ITU H.223多路复用器协议,或例如用户数据报协议(UDP)的其它协议。
视频编码器20及视频解码器30各自可被实施为多种合适编码器电路或解码器电路中的任一者,例如一或多个微处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、离散逻辑、软件、硬件、固件或其任何组合。当所述技术部分地以软件实施时,装置可将用于软件的指令存储于合适非暂时性计算机可读媒体中,且使用一或多个处理器在硬件中执行指令以执行本发明的技术。视频编码器20及视频解码器30中的每一者可包含在一或多个编码器或解码器中,编码器或解码器中的任一者可被集成为相应装置中的组合式编码器/解码器(CODEC)的部分。
在HEVC及其它视频译码规范中,视频序列通常包含一系列图片。图片也可被称为“帧”。在一个实例途径中,图片可包含三个样本阵列,被表示为SL、SCb及SCr。在此实例途径中,SL为亮度样本的二维阵列(即,块)。SCb为Cb彩度样本的二维阵列。SCr为Cr彩度样本的二维阵列。彩度样本也可在本文中被称作“色度(chroma)”样本。在其它情况下,图片可为单色的,且可仅包含亮度样本阵列。
图2为绘示可实施本发明中所描述的技术的实例视频编码器20的框图。视频编码器20可执行视频切片内的视频块的帧内译码及帧间译码。帧内译码依赖于空间预测以减少或移除给定视频帧或图片内的视频的空间冗余。帧间译码依赖于时间预测以减少或移除视频序列的相邻帧或图片内的视频的时间冗余。帧内模式(I模式)可指若干基于空间的压缩模式中的任一者。帧间模式(例如单向预测(P模式)或双向预测(B模式))可指若干基于时间的压缩模式中的任一者。
在图2的实例中,视频编码器20包含视频数据存储器33、分割单元35、预测处理单元41、求和器50、变换处理单元52、量化单元54、熵编码单元56。预测处理单元41包含运动估计单元(MEU)42、运动补偿单元(MCU)44及帧内预测单元46。对于视频块重构,视频编码器20还包含反量化单元58、反变换处理单元60、求和器62、滤波器单元64及经解码图片缓冲器(DPB)66。
如图2中所展示,视频编码器20接收视频数据且将所接收视频数据存储于视频数据存储器33中。视频数据存储器33可存储待由视频编码器20的组件编码的视频数据。可例如从视频源18获得存储于视频数据存储器33中的视频数据。DPB 66可为存储参考视频数据供视频编码器20用于例如在帧内译码模式或帧间译码模式下编码视频数据的参考图片存储器。视频数据存储器33及DPB 66可由各种存储器装置中的任一者形成,例如动态随机存取存储器(DRAM),包含同步DRAM(SDRAM)、磁阻式RAM(MRAM)、电阻式RAM(RRAM)或其它类型的存储器装置。视频数据存储器33及DPB 66可由同一存储器装置或分开的存储器装置提供。在各种实例中,视频数据存储器33可与视频编码器20的其它组件一起在芯片上,或相对于那些组件在芯片外。
分割单元35从视频数据存储器33检索视频数据且将视频数据分割成视频块。此分割还可包含分割成切片、图块或其它较大单元,以及例如根据LCU及CU的四叉树结构分割的视频块。视频编码器20大体上绘示编码待编码的视频切片内的视频块的组件。切片可划分成多个视频块(且可能划分成被称为图块的视频块集合)。预测处理单元41可针对基于错误结果(例如译码速率及失真程度)针对当前视频块选择多个可能译码模式中的一者,例如多个帧内译码模式中的一者或多个帧间译码模式中的一者。预测处理单元41可将所得经帧内或帧间译码块提供至求和器50以产生残差块数据,且提供至求和器62以重构经编码块以用作参考图片。
预测处理单元41内的帧内预测单元46可执行当前视频块相对于与待译码的当前块在同一帧或切片中的一或多个相邻块的帧内预测性译码,以提供空间压缩。预测处理单元41内的运动估计单元42及运动补偿单元44执行当前视频块相对于一或多个参考图片中的一或多个预测性块的帧间预测性译码,以提供时间压缩。
运动估计单元42可经配置以根据视频序列的预定图案来确定用于视频切片的帧间预测模式。预定图案可将序列中的视频切片指定为P切片或B切片。运动估计单元42及运动补偿单元44可高度集成,但出于概念目的而分开绘示。由运动估计单元42执行的运动估计为产生运动向量的过程,所述运动向量估计视频块的运动。举例来说,运动向量可指示将当前视频帧或图片内的视频块的PU相对于参考图片内的预测性块的移位。
预测性块为就像素差来说被发现紧密地匹配待译码的视频块的PU的块,所述像素差可由绝对差总和(SAD)、平方差总和(SSD)或其它差度量确定。在一些实例中,视频编码器20可计算存储于DPB 66中的参考图片的子整数像素位置的值。举例来说,视频编码器20可内插参考图片的四分之一像素位置、八分之一像素位置或其它分数像素位置的值。因此,运动估计单元42可关于全像素位置及分数像素位置执行运动搜索且输出具有分数像素精确度的运动向量。
运动估计单元42通过比较PU的位置与参考图片的预测性块的位置而计算经帧间译码切片中的视频块的PU的运动向量。参考图片可选自第一参考图片列表(列表0)或第二参考图片列表(列表1),参考图片列表中的每一者识别存储于DPB 66中的一或多个参考图片。如下文更详细地所论述,块的运动向量可由来自相邻块的候选列表的运动向量预测子确定。运动估计单元42将所计算运动向量发送至熵编码单元56及运动补偿单元44。
由运动补偿单元44执行的运动补偿可涉及基于由运动估计(可能执行内插至子像素精确度)确定的运动向量而提取或产生预测性块。在接收到当前视频块的PU的运动向量之后,运动补偿单元44可在参考图片列表中的一者中定位运动向量所指向的预测性块。视频编码器20通过从正被译码的当前视频块的像素值减去预测性块的像素值来形成残差视频块,从而形成像素差值。像素差值形成用于块的残差数据且可包含亮度及色度差分量两者。求和器50表示执行此减法运算的一或多个组件。运动补偿单元44还可产生与视频块及视频切片相关联的语法元素以供视频解码器30用于在解码视频切片的视频块时使用。
在预测处理单元41经由帧内预测或帧间预测产生当前视频块的预测性块之后,视频编码器20通过从当前视频块减去预测性块而形成残差视频块。残差块中的残差视频数据可包含于一或多个变换单元(TU)中,其含有每一亮度或色度分量的变换块;且应用至变换处理单元52。变换处理单元52使用例如离散余弦变换(DCT)或概念上相似的变换的变换将残差视频数据变换为残差变换系数。变换处理单元52可将残差视频数据从像素域转换至变换域(例如频域)。
变换处理单元52可将所得变换系数发送至量化单元54。量化单元54量化变换系数以进一步降低位速率。量化过程可减小与系数中的一些或全部相关联的位深度。可通过调整量化参数来修改量化程度。在一些实例中,量化单元54可接着执行对包含经量化变换系数的矩阵的扫描。在另一实例中,熵编码单元56可执行所述扫描。
在量化之后,熵编码单元56对经量化变换系数进行熵编码。举例来说,熵编码单元56可执行上下文自适应可变长度译码(CAVLC)、上下文自适应二进制算术译码(CABAC)、基于语法的上下文自适应二进制算术译码(SBAC)、概率区间分割熵(PIPE)译码或另一熵编码方法或技术。在由熵编码单元56熵编码之后,经编码位流可传输至视频解码器30,或经存档以供视频解码器30稍后传输或检索。熵编码单元56还可熵编码当前正被译码的视频切片的运动向量及其它语法元素。
反量化单元58及反变换处理单元60分别应用反量化及反变换以重构像素域中的残差块以供稍后用作参考图片的参考块。运动补偿单元44可通过将残差块与参考图片列表中的一者内的参考图片中的一者的预测性块相加来计算参考块。运动补偿单元44还可将一或多个内插滤波器应用于经重构残差块以计算子整数像素值以用于运动估计。求和器62将经重构残差块与由运动补偿单元44产生的运动补偿预测块相加以产生经重构块。
滤波器单元64对经重构块(例如求和器62的输出)进行滤波且将经滤波的经重构块存储于DPB 66中以供用作参考块。参考块可由运动估计单元42及运动补偿单元44用作参考块以对后续视频帧或图片中的块进行帧间预测。尽管图2中未明确展示,但视频编码器20可包含额外滤波器,例如解块滤波器、样本自适应偏移(SAO)滤波器或其它类型的环路滤波器。解块滤波器可例如将解块滤波应用于滤波器块边界,以从经重构视频移除块效应假像。SAO滤波器可将偏移应用于经重构像素值,以便改进总体译码质量。还可使用额外环路滤波器(环路内或环路后)。
图3为绘示可实施本发明中所描述的技术的实例视频解码器30的框图。图3的视频解码器30可例如经配置以接收上文关于图2的视频编码器20所描述的信号发送。在图3的实例中,视频解码器30包含视频数据存储器78、熵解码单元80、预测处理单元81、反量化单元86、反变换处理单元88、求和器90、滤波器单元92及DPB 94。预测处理单元81包含运动补偿单元82及帧内预测处理单元84。在一些实例中,视频解码器30可执行与关于来自图2的视频编码器20所描述的编码遍次大体上互逆的解码遍次。
在解码过程期间,视频解码器30从视频编码器20接收表示经编码视频切片的视频块及相关联语法元素的经编码视频位流。视频解码器20将所接收的经编码视频位流存储于视频数据存储器78中。视频数据存储器78可存储待由视频解码器30的组件解码的视频数据,例如经编码视频位流。存储于视频数据存储器78中的视频数据可例如经由链路16从存储装置26或从本地视频源(例如相机)或通过存取物理数据存储媒体而获得。视频数据存储器78可形成存储来自经编码视频位流的经编码视频数据的经译码图片缓冲器(CPB)。DPB94可为存储参考视频数据以供视频解码器30用于例如在帧内译码模式或帧间译码模式下解码视频数据的参考图片存储器。视频数据存储器78及DPB 94可由各种存储器装置中的任一者形成,所述存储器装置是例如DRAM、SDRAM、MRAM、RRAM或其它类型的存储器装置。视频数据存储器78及DPB 94可由同一存储器装置或分开的存储器装置提供。在各种实例中,视频数据存储器78可与视频解码器30的其它组件一起在芯片上,或相对于那些组件在芯片外。
视频解码器30的熵解码单元80熵解码存储于视频数据存储器78中的视频数据以产生经量化系数、运动向量及其它语法元素。熵解码单元80将运动向量及其它语法元素转发至预测处理单元81。视频解码器30可在视频切片层级及/或视频块层级接收语法元素。
当视频切片经译码为经帧内译码(I)切片时,预测处理单元81的帧内预测处理单元84可基于经用信号发送的帧内预测模式及来自当前帧或图片的先前经解码块的数据而产生当前视频切片的视频块的预测数据。当视频帧经译码为经帧间译码切片(例如B切片或P切片)时,预测处理单元81的运动补偿单元82基于从熵解码单元80接收到的运动向量及其它语法元素而生产当前视频切片的视频块的预测性块。预测性块可从参考图片列表中的一者内的参考图片中的一者产生。视频解码器30可基于存储于DPB 94中的参考图片使用默认构造技术来构造参考帧列表:列表0及列表1。
运动补偿单元82通过解析运动向量及其它语法元素来确定用于当前视频切片的视频块的预测信息,并使用所述预测信息来产生正被解码的当前视频块的预测性块。举例来说,运动补偿单元82使用所接收语法元素中的一些来确定用于译码视频切片的视频块的预测模式(例如帧内预测或帧间预测)、帧间预测切片类型(例如B切片或P切片)、切片的参考图片列表中的一或多者的构造信息、切片的每一经帧间编码视频块的运动向量、切片的每一经帧间译码视频块的帧间预测状态,及用以解码当前视频切片中的视频块的其它信息。
运动补偿单元82还可基于内插滤波器执行内插。运动补偿单元82可使用如由视频编码器20在视频块的编码期间使用的内插滤波器,以计算参考块的子整数像素的内插值。在此情况下,运动补偿单元82可从所接收语法元素确定由视频编码器20使用的内插滤波器并使用所述内插滤波器以产生预测性块。
反量化单元86反量化(即,解量化)位流中所提供并由熵解码单元80解码的经量化变换系数。反量化过程可包含使用由视频编码器20针对视频切片中的每一视频块计算的量化参数,以确定量化程度及同样地确定应被应用的反量化程度。反变换处理单元88将反变换(例如反DCT、反整数变换或另一频率变换过程)应用于变换系数,以便产生像素域中的残差块。
在预测处理单元81使用例如帧内或帧间预测产生当前视频块的预测性块后,视频解码器30通过将来自反变换处理单元88的残差块与由运动补偿单元82产生的对应预测性块求和而形成经重构视频块。求和器90表示执行此求和运算的一或多个组件。滤波器单元92使用例如ALF技术、SAO技术、解块技术或其它此类滤波技术中的一或多者对经重构视频块进行滤波。
尽管图2中未明确展示,但视频解码器30还可包含解块滤波器、SAO滤波器或其它类型的滤波器中的一或多者。还可使用其它环路滤波器(在译码环路内或在译码环路之后)使像素转变平滑,或以其它方式改进视频质量。给定帧或图片中的经解码视频块接着存储于DPB 94中,所述DPB存储用于后续运动补偿的参考图片。DPB 94可为额外存储器的部分或与其分离,所述额外存储器存储用于稍后呈现于显示装置(例如图1的显示装置32)上的经解码视频。
具体地说,参考帧间预测处理单元44及运动补偿单元82的操作,为了译码块(例如视频数据的预测单元(PU)的块),首先导出块的预测子。预测子可经由帧内(I)预测(即,空间预测)或帧间(P或B)预测(即,时间预测)导出。因此,一些预测单元可关于同一图片中的相邻参考块使用空间预测进行帧内译码(I),且其它预测单元可关于其它图片中的参考块进行帧间译码(P或B)。在一些情况下,参考块可处于同一图片中。应注意,术语“图片”及“帧”在本申请案中通常可互换使用。
在识别预测子之后,即刻计算原始视频数据块与其预测子之间的差。此差也被称为预测残差,且是指待译码的块的像素与参考块的对应像素(即,预测子)之间的像素值差。为了实现较佳的压缩,通常例如使用离散余弦变换(DCT)、整数变换、卡洛南-洛伊(Karhunen-Loeve;K-L)变换或其它变换来变换预测残差(即,像素差值阵列)。
使用帧间预测译码块涉及计算当前块与参考图片中的块之间的运动向量。运动信息因此包含运动向量及参考图片的指示两者。运动向量经由被称为运动估计(或运动搜索)的过程而计算。举例来说,运动向量可指示当前图片中的预测单元相对于参考图片的参考样本的移位。参考样本可为就像素差来说被发现紧密匹配包含经译码PU的CU的部分的块,所述像素差可由绝对差总和(SAD)、平方差总和(SSD)或其它差度量确定。参考样本可出现在参考图片或参考切片内的任何位置。在一些实例中,参考样本可出现在分数像素位置处。在发现最佳地匹配当前部分的参考图片的一部分之后,编码器即刻将当前部分的当前运动向量确定为从当前部分至参考图片的匹配部分(即,从当前部分的中心至匹配部分的中心)的位置差。
在一些实例中,编码器可在经编码视频位流中用信号发送每一部分的运动向量。经用信号发送的运动向量由解码器使用以执行运动补偿以便解码视频数据。然而,直接用信号发送原始运动向量可导致不太有效译码,这是由于通常需要大量位来传达信息。
编码器可预测每一分割区(即,每一PU)的运动向量,而非直接用信号发送原始运动向量。在执行此运动向量预测时,编码器可选择从作为当前部分的同一图片中的空间相邻块确定的候选运动向量集合或从参考图片中的同置块确定的候选运动向量。编码器可执行运动向量预测,且视需要,用信号发送预测差而非用信号发送原始运动向量以降低信号发送的位速率。来自空间相邻块的候选运动向量可被称为空间MVP候选者,而来自另一参考帧中的同置块的候选运动向量可被称为时间MVP候选者。
运动信息
对于每一块,各种类型的运动信息可供使用。运动信息包含用于前向及后向预测方向的运动信息。在一些实施例中,前向及后向预测方向为对应于不同参考图片列表(例如当前图片或切片的参考图片列表0(RefPicList0)及参考图片列表1(RefPicList1))的两个预测方向。术语“前向”及“后向”未必具有几何结构含义。替代地,其用以区分运动向量是基于哪一参考图片列表。前向预测意指基于参考列表0形成的预测,而后向预测意指基于参考列表1形成的预测。在参考列表0及参考列表1两者皆用以形成给定块的预测的情况下,其被称为双向预测。
对于给定图片或切片,如果使用仅一个参考图片列表,那么在图片或切片内部的每一块被前向预测。如果两个参考图片列表皆用于给定图片或切片,那么在图片或切片内部的块可被前向预测,或被后向预测,或被双向预测。
对于每一预测方向,运动信息含有参考索引及运动向量。参考索引用以识别对应参考图片列表(例如RefPicList0或RefPicList1)中的参考图片。运动向量具有水平及竖直分量两者,其中每一者分别指示沿水平及竖直方向的偏移值。在一些描述中,为简单起见,词语“运动向量”可与运动信息互换使用以指示运动向量及其相关联参考索引两者。
图片次序计数(POC)广泛用于视频译码标准中以识别图片的显示次序。虽然存在一个经译码视频序列内的两个图片可具有相同POC值的情况,但经译码视频序列内通常不发生此类情况。当位流中存在多个经译码视频序列时,就解码次序来说,具有同一POC值的图片可更接近于彼此。
图片的POC值通常用于参考图片列表构造、如HEVC中的参考图片集的导出及运动向量缩放。
视频编解码器中的块结构的实例
在H.264/AVC中,每一帧间宏块(MB)可以四种不同方式分割:
●一个16×16MB分割区
●两个16×8MB分割区
●两个8×16MB分割区
●四个8×8MB分割区
一个MB中的不同MB分割区针对每一方向可具有不同参考索引值(RefPicList0或RefPicList1)。
当MB不被分割成四个8×8MB分割区时,其在每一方向上针对每一MB分割区仅具有一个运动向量。
当MB被分割成四个8×8MB分割区时,每一8×8MB分割区可进一步被分割成子块,所述子块中的每一者在每一方向上可具有不同运动向量。存在从8×8MB分割区得到子块的四种不同方式:一个8×8子块、两个8×4子块、两个4×8子块或四个4×4子块。每一子块在每一方向上可具有不同运动向量。因此,运动向量存在于等于或高于子块的层级中。AVC的其它细节可发现于[AVC]Wiegand,Thomas;Sullivan,Gary J.;Gisle;Luthra,Ajay(2003年7月)中。“H.264/AVC视频译码标准的概述(Overview of the H.264/AVCVideo Coding Standard)”(PDF)。IEEE视频技术电路与***汇刊(IEEE Transactions onCircuits and Systems for Video Technology)13(7)。2011年1月31日检索。
在AVC中,可在B切片中针对跳过或直接模式而在MB或MB分割区层级启用时间直接模式。对于每一MB分割区,与当前块的RefPicList1[0]中的当前MB分割区同置的块的运动向量可用以导出运动向量。同置块中的每一运动向量可基于POC距离而缩放。在AVC中,直接模式还可从来自空间相邻者的信息预测运动信息。
HEVC块结构
在HEVC中,切片中的最大译码单元被称作译码树块(CTB)或译码树单元(CTU)。CTB含有四叉树,所述四叉树的节点为译码单元。
CTB的大小可介于HEVC主规范中的16×16至64×64的范围(尽管技术上可支持8×8CTB大小)。然而,译码单元(CU)可与CTB具有相同大小,且小到8×8。每一译码单元使用一个模式译码。当CU被帧间译码时,其可进一步分割成2个或4个预测单元(PU)或当不应用进一步分割时变为仅一个PU。当两个PU存在于一个CU中时,其可为CU的一半大小的矩形或具有CU的1/4或3/4大小的两个矩形大小。
当CU被帧间译码时,针对每一PU提供运动信息的一个集合。另外,每一PU使用唯一帧间预测模式来译码以导出运动信息集合。
在HEVC规范中,对于预测单元(PU)存在两个帧间预测模式,分别命名为合并(跳过被视为合并的特殊情况)及高级运动向量预测(AMVP)模式。在合并模式中,编码器经由预测语法的位流信号发送指导解码器来复制运动向量、参考索引(在图片中识别运动向量指向的在给定参考图片列表中的参考图片)及来自图片的当前部分的所选择候选运动向量的运动预测方向(其识别参考图片列表(列表0或列表1),即,依据参考图片在时间上在当前图片之前还是在当前图片之后)。为了在合并模式中重构块,解码器使用当前部分的经导出运动信息获得预测性块,且将残差数据与预测性块相加以重构经译码块。
在AMVP中,编码器经由位流信号发送来指导解码器仅复制来自候选部分的运动向量且使用经复制向量作为当前部分的运动向量的预测子,且用信号发送运动向量差(MVD)。分开地用信号发送参考图片及与当前部分的运动向量相关联的预测方向。MVD为当前部分的当前运动向量与从候选部分导出的运动向量预测子之间的差。在此情况下,编码器使用运动估计确定待译码块的实际运动向量,且接着将实际运动向量与运动向量预测子之间的差确定为MVD值。以此方式,解码器不使用候选运动向量的准确副本作为当前运动向量(如在合并模式中),而是实际上可使用值可“接近于”从运动估计确定的当前运动向量的候选运动向量且将MVD相加以再生当前运动向量。为了在AMVP模式下重构块,解码器将对应残差数据相加以重构经译码块。
在AMVP或合并模式中,针对多个运动向量预测子维持运动向量(MV)候选列表。当前PU的运动向量(以及合并模式中的参考索引)是通过从MV候选列表获取一个候选者而产生。
MV候选列表含有用于合并模式的至多5个候选者及用于AMVP模式的仅仅两个候选者。合并候选者可含有运动信息(例如对应于参考图片列表(列表0及列表1)及参考索引两者的运动向量)集合。如果由合并索引识别合并候选者,那么参考图片用于当前块的预测,以及确定相关联运动向量。然而,在AMVP模式下,对于从列表0或列表1的每一可能预测方向,需要明确地将参考索引连同针对MV候选列表的MVP索引一起用信号发送,这是因为AMVP候选者仅含有运动向量。在AMVP模式中,可进一步改进经预测运动向量。
如可从上文看出,合并候选者对应于运动信息的整个集合,而AMVP候选者仅含有用于特定预测方向的一个运动向量及参考索引。
以相似方式从相同空间及时间相邻块导出用于两个模式的候选者。
空间相邻候选者
图4a及4b绘示根据运动向量候选列表的导出次序所标记的位置处的两个PU 401及402以及相邻块的实例。实例空间MV候选者从图4a上展示的用于特定PU(例如与相邻PU402一起展示的PU 401)的相邻块导出,但从块产生候选者的技术对于合并及AMVP模式来说不同。在合并模式中,在此实例中,可使用图4a上展示的具有数字的次序导出达四个空间MV候选者,且所述次序如下:左(0,A1)、上(1,B1)、右上(2,B0)、左下(3,A0)及左上(4,B2),如图4a中所展示。
在AMVP模式中,相邻块分为两个群组:如图4b上所展示的包括被标记为0及1的位置处的块的左群组及包括被标记为2、3及4的位置处的块的上群组。对于每一群组,参考与由经用信号发送的参考索引指示的参考图片相同的参考图片的相邻块中的潜在候选者具有待选择的最高优先级以形成群组的最终候选者。有可能所有相邻块均不含有指向相同参考图片的运动向量。因此,如果无法发现此类候选者,那么将缩放第一可用候选者以形成最终候选者,因此可补偿时间距离差。
HEVC中的时间运动向量预测
时间运动向量预测子(TMVP)候选者(如果启用且可用)在空间运动向量候选者之后添加至MV候选列表中。用于TMVP候选者的运动向量导出的过程可对于合并及AMVP模式两者相同,然而,合并模式中的TMVP候选者的目标参考索引在HEVC中始终设定为0。
图5为绘示关于TMVP候选者产生的两个实例PU 501及502的图解。用于TMVP候选者导出的主要块位置为同置PU 501外部的右下方块,如图5中展示为块“T”的位置,以补偿用以产生空间相邻候选者的上方及左侧块的偏差。然而,如果块定位于当前CTB列外部或运动信息不可用,那么块被PU的中央块取代。
图6为绘示运动向量606与TMVP候选者616之间的关系的图解。用于TMVP候选者616的运动向量从切片层级中所指示的同置图片604的同置PU导出。同置PU的运动向量被识别为同置MV 606。相似于AVC中的时间直接模式,为了导出TMVP候选运动向量,缩放同置MV以补偿距离差。
HEVC中的运动预测的其它方面
合并及AMVP模式的若干方面被提供为如下内容:
运动向量缩放:假定运动向量的值与呈现时间中的图片的距离成比例。运动向量使两个图片相关联,参考图片及含有运动向量的图片(即,容纳图片)。当利用一运动向量预测另一运动向量时,基于图片次序计数(POC)值而计算容纳图片与参考图片的距离。
对于待预测的运动向量,其相关联的容纳图片及参考图片可不同。因此,计算新距离(基于POC)。且运动向量基于这两个POC距离而缩放。对于空间相邻候选者,用于两个运动向量的容纳图片相同,而参考图片不同。在HEVC中,运动向量缩放适用于空间及时间相邻候选者的TMVP及AMVP两者。
人工运动向量候选者产生:如果运动向量候选列表不完整,那么产生人工运动向量候选者并将其***在所述列表末端,直到列表将具有所有候选者。
在合并模式中,存在两种类型的人工MV候选者:仅针对B切片导出的组合双向预测候选者及默认固定候选者。如果第一类型未提供足够人工候选者,那么针对AMVP仅使用零候选者。
对于已在候选列表中且具有必要运动信息的每一对候选者,双向合并运动向量候选者由参考列表0中的图片的第一候选者的运动向量与参考列表1中的图片的第二候选者的运动向量的组合导出。
用于候选者***的修剪过程:来自不同块的候选者可恰好相同,这降低合并/AMVP候选列表的效率。应用修剪过程以解决此问题。修剪过程比较当前候选列表中的一个候选者与其它候选者,以在一定程度上避免***相同候选者。为了减小复杂度,应用仅受限制数目个修剪过程,而非比较每一潜在候选者与所有其它现有候选者。
图7绘示块701及经标记相邻块A0、A1、B0、B1及B2。如上文所描述,存在许多基于优先级的候选列表。根据预定优先级将每一候选者***至候选列表中。举例来说,在HEVC中,合并候选列表或AMVP候选列表是通过基于预定次序(或根据预定优先级)***候选者而构造。
图8为绘示用于产生合并候选列表的实例技术的流程图。如图8中所展示,编码器20的帧内预测处理单元44或框802处的解码器30的MCU通过以预定次序(A1→B1→B0→A0→B2->TMVP)将空间合并候选者***在所述列表末端而产生合并候选列表。图8绘示根据如HEVC中的技术的合并候选列表的构造过程。逐个地检查每一空间或时间相邻块以识别块是否可提供有效合并候选者。术语“有效”意指块存在,被帧间译码,候选列表不完整,且块中的运动信息并不由于当前候选列表中的现有候选者而修剪。举例来说,具有重复运动向量的候选者可取决于实施例而修剪。在框804处,如果在检查所有空间及时间相邻块之后合并候选列表不完整,那么将产生人工候选者以实现合并候选列表。人工候选者可如上文所提及般产生。
理想地,如果更可能的候选者更早,例如在候选列表中具有较高优先级(且因此可经由较小索引选择),那么译码效率可提高。具体地说,根据一些实施例,候选列表根据与候选运动向量相关联的运动信息被排序,或在一些实施例中被重排序。
在一个实施例中,候选列表根据检查次序来构造,随后根据候选列表中每一候选者的运动信息以不同的经限定次序添加候选者。在另一实施例中,首先构造整个候选列表,随后将列表中的所有候选者根据每一候选者的运动信息重排序。可使用任何合适分类方法(例如所属领域中已知的那些方法)进行重排序。图9绘示在重排序之前的合并列表910的实例及在重排序之后的那个列表920的绘示。在此实例中,合并候选列表中的总候选者数目为五个,如HEVC中所限定,但相同技术可与候选列表的其它大小一起使用。在重排序之后,每一候选者将在重分类列表920中具有新位置,即,C2将为候选列表中的第一个,其将以最短码字提供。
图10为绘示产生候选列表的方法的另一实施例的流程图。具体地说,在构造候选列表的一部分或若干部分之后,随后对候选列表的所述部分/所述若干部分根据所述部分/所述若干部分中的每一候选者的运动信息重排序。具体地说,在框1002处,对于相邻块的第一部分,对于第一部分中的每一块,编码器20的帧内预测处理单元44或解码器30的MCU根据经限定检查次序来确定相邻候选者是否有效,且如果有效,那么将所述候选者附加至候选列表的第一部分。接着在框1004处,编码器20的帧内预测处理单元44或解码器30的MCU根据基于候选列表的第一部分中的候选者的运动信息的次序而重排序候选列表的第一部分。举例来说,在一个实例中,合并候选列表可在前四个空间相邻块(A1、B1、B0、A0)已检查之后重排序。接着在框1006处,对于相邻块的剩余部分,对于所述剩余部分中的每一块,根据经限定检查次序,如果有效,那么编码器20的帧内预测处理单元44或解码器30的MCU将块附加至候选列表。剩余部分可包含添加至列表中的任何额外人工候选者。为了继续先前实例,在前四个空间相邻块已检查之后候选列表中存在三个候选者(C0、C1、C2)。在重排序之后,每一候选者将在列表中具有新位置,即,C2将为候选列表中的第一个,其将以最短码字提供。在重排序之后,以预定次序检查其它空间/时间相邻块,其将产生置于经重排序的前三个候选者之后的C3及C4。
图11绘示根据图10的过程的实例候选列表。具体地说,候选列表1102绘示在图10的框1002之后的候选列表。候选列表1104绘示根据图10的框1004重排序之后的实例候选列表。候选列表1106绘示在框1006从候选列表的剩余部分***候选者之后的实例候选列表。
一或多种类型的运动信息可用于排序候选列表。任选地,在一个实施例中,帧间预测方向用作重排序候选列表的准则。如本文中所使用,术语“帧间预测方向”是指运动补偿预测方向。举例来说,其可为来自参考图片列表0或参考图片列表1中的单一参考图片的“单向预测”。或其可为来自两个参考图片的加权总和的“双向预测”。任选地,如在一个实例中,部分排序经限定,其中具有双向预测的候选者将置于具有单向预测的候选者前。
在一些实例中,候选列表的重排序是稳定的。即,如果就与候选列表相关联的部分排序来说两个候选者具有相同信息,那么重排序不会改变那些候选者的次序。举例来说,如果候选者X及候选者Y具有相同帧间预测方向且在重排序之前候选者X在候选者Y的前面,那么在重排序之后候选者X应在候选者Y的前面。
图12绘示根据帧间预测方向重排序前四个候选者的实例。此部分实例绘示已检查候选列表完成之后的重排序及前4个空间块之后的重排序。具体地说,在检查列表1150中的前四个空间相邻块(左、上、右上及右下,或简称为L、T、TR及LB)之后,四个候选者按L、T、TR及LB的次序置于候选列表1150中。在重排序之后,候选列表1150在图12中呈现为列表1160。由于T及TR被双向预测且L及LB被单向预测,因此T及TR将置于L及LB前,如候选列表1160中所绘示。由于在重排序之前在列表中T在TR的前面,因此在重排序之后T仍在TR的前面。由于在重排序之前在列表中L在LB的前面,因此在重排序之后L仍在LB的前面。因此,最终次序为T、TR、L及LB,如候选列表1160中所绘示。
在一些实施例中,用于排序/重排序块的运动信息包括与参考图片/参考块相关联的信息。举例来说,参考图片/参考块的量化参数(QP)可用于重排序候选列表。在一些此类实例中,对于双向预测,可使用从两个相关QP计算的值。作为双向预测的这些实例,两个参考图片/参考块的QP的平均值或最小值或最大值可被视为待考虑的QP。在一个实施例中,部分排序经限定以使得具有QP值较低的参考图片/参考块的候选者将置于具有QP较高的参考图片/参考块的候选者前。
作为另一实例,当前图片与参考图片之间的时间距离可用于重排序候选列表。在一些此类实例中,对于双向预测,可使用从两个相关时间距离计算的值。作为双向预测的这些实例,当前图片与两个参考图片之间的时间距离的平均值或最小值或最大值可被视为待考虑的时间距离。当前图片与参考图片之间的时间距离可经计算为|POCcur-POCref|,其中POCcur为当前图片的POC且POCref为参考图片的POC。
在一个实施例中,具有低于当前图片的时间距离的参考图片的候选者将置于具有高于当前图片的时间距离的参考图片的候选者前。
再举例来说,参考图片/参考块的译码类型可用于重排序候选列表。术语“译码类型”是指图片的译码类型,例如I帧、P帧及B帧(例如在HEVC中);或块的译码类型,例如经帧内译码块及经帧间译码块。在一个实施例中,具有如I帧的参考图片的候选者将置于具有P帧或B帧的参考图片的候选者前。在一个实施例中,具有经帧内译码的参考块的候选者将置于具有经帧间译码的参考块的候选者前。再举例来说,运动相似性度量经计算用于每一空间相邻候选者。在合并候选列表中具有较高相似性的候选者将置于具有较低相似性的候选者前。
作为一实施例,可基于计算当前块的同置参考块与相邻块的同置参考块的运动向量相似性排序候选列表。图13绘示如何计算当前图片1206中块1204的相邻块A0 1202的MV相似性的实例。在A0的运动向量的情况下,参考图片1226中的块A0 1202的同置参考块1222定位于参考图片1226中。相似地,同样在A0的运动向量的情况下,当前块1204的同置参考块1224定位于参考图片1226中。随后可在图片1230中发现块A0的同置参考块的运动(被标记为MV0)及当前块的同置参考块的运动(被标记为MV1)。可计算相邻块A0与MV0及MV1的MV相似性(被标记为S)。在一个实施例中,如果MV0与MV1不同,那么将运动相似性(S)设定为0,且如果MV0与MV1相同,那么将S设定为1。在另一实施例中,MV0与MV1的绝对差经计算为D=|MV0x-MV1x|+|MV0y-MV1y|。随后S可计算为D的递减函数,例如S=1-D或S=1/D。在另一实施例中,如果A0块1222的同置参考块或当前块1204的同置参考块1224被帧内译码,那么S设定为最小值(例如0)。
在另一实施例中,如果相邻块A0 1202被双向预测,那么可分别计算参考列表0及参考列表1的运动向量的运动相似性,被标注为S0及S1。S可经计算为S0与S1的平均值、S0与S1的最小值或S0与S1的最大值。
应了解,在一些实施例中,限定候选列表的排序或重排序的部分排序可基于上文所论述的部分排序中的两者或更多者的组合。在一些实施例中,通过检查候选块的次序或运动信息所限定的候选者的第一部分可根据一个部分排序及剩余部分通过另一部分排序来排序。
结合本文中所揭示的实施例所描述的各种说明性逻辑块、模块、电路及算法步骤可被实施为电子硬件、计算机软件,或两者的组合。为了清楚地说明硬件与软件的此可互换性,各种说明性组件、块、模块、电路及步骤已在上文大体上按其功能性加以描述。此功能性被实施为硬件还是软件取决于特定应用及强加于整个***的设计约束。所属领域的技术人员可针对每一特定应用以不同方式实施所描述的功能性,但不应将这些实施决策解释为导致脱离本发明的范围。
因此,本文中所描述的技术可以硬件、软件、固件或其任何组合实施。这些技术可实施于多种装置中的任何者中,例如通用计算机、无线通信装置手机或具有多种用途(包含在无线通信装置手机及其它装置中的应用)的集成电路装置。可将被描述为模块或组件的任何特征共同实施于集成逻辑装置中或分开实施为离散但可互操作的逻辑装置。如果以软件实施,那么所述技术可至少部分地由包括程序代码的计算机可读数据存储媒体实现,所述程序代码包含在被执行时执行上文所描述的方法中的一或多者的指令。计算机可读数据存储媒体可形成计算机程序产品的部分,计算机程序产品可包含封装材料。计算机可读媒体可包括存储器或数据存储媒体,例如随机存取存储器(RAM),例如同步动态随机存取存储器(SDRAM)、只读存储器(ROM)、非易失性随机存取存储器(NVRAM)、电可擦除可编程只读存储器(EEPROM)、闪速存储器、磁性或光学数据存储媒体等等。另外或替代地,所述技术可至少部分地由计算机可读通信媒体实现,所述计算机可读通信媒体载送或传达呈指令或数据结构的形式且可由计算机存取、读取及/或执行的程序代码,例如传播的信号或波。
程序代码可由可包含一或多个处理器的处理器执行,例如一或多个数字信号处理器(DSP)、通用微处理器、专用集成电路(ASIC)、现场可编程逻辑阵列(FPGA)或其它等效集成或离散逻辑电路。此处理器可经配置以执行本发明中所描述的技术中的任一者。通用处理器可为微处理器;但在替代例中,处理器可为任何常规处理器、控制器、微控制器或状态机。处理器还可被实施为计算装置的组合,例如DSP与微处理器的组合、多个微处理器、结合DSP核心的一或多个微处理器,或任何其它此类配置。因此,如本文中所使用的术语“处理器”可指以下各者中的任一者:前述结构、前述结构的任何组合,或适合于实施本文中所描述的技术的任何其它结构或设备。此外,在一些方面中,本文中所描述的功能性可提供于经配置用于编码及解码的专用软件模块或硬件模块内,或并入于组合式视频编码器-解码器(编解码器)中。已描述了本发明的各种实施例。
Claims (38)
1.一种构造用于当前图片的块的帧间预测的候选列表的方法,其包括:
产生用于对图片的块进行帧间预测的候选运动向量的列表,其中将所述列表产生为具有基于所述候选运动向量中的每一者的运动信息的次序;
从所述列表选择候选运动向量;及
基于所述所选择候选运动向量执行所述块的帧间预测。
2.根据权利要求1所述的方法,其中所述候选运动向量中的每一者包括运动向量、参考索引及运动预测方向。
3.根据权利要求1所述的方法,其中执行帧间预测包括根据合并模式执行帧间预测。
4.根据权利要求1所述的方法,其中所述候选运动向量中的每一者包括运动向量、参考索引及运动预测方向,且其中执行帧间预测包括根据高级运动向量预测模式执行帧间预测。
5.根据权利要求1所述的方法,其进一步包括基于所述块的所述帧间预测将所述块编码至视频位流,其中编码所述块包括:
基于所述图片的所述块及作为执行所述帧间预测的部分产生的预测块产生残差;及
将用于执行所述帧间预测的数据编码至所述视频位流,并编码所述残差。
6.根据权利要求1所述的方法,其进一步包括基于所述块的所述帧间预测从经编码视频位流解码所述块,其中解码所述块包括:
从所述经编码视频位流解码残差;及
基于作为执行所述帧间预测的部分产生的预测块及所述残差解码所述图片的所述块,且其中从所述列表选择所述候选运动向量是基于来自所述经编码视频位流的信息。
7.根据权利要求1所述的方法,其中按基于每一候选运动向量的运动信息的所述次序产生所述候选运动列表包括:
根据第一次序构造所述整个候选列表;及
根据基于每一候选运动向量的运动信息的所述次序重排序所述候选列表。
8.根据权利要求1所述的方法,其中按基于每一候选运动向量的运动信息的所述次序产生所述候选运动列表包括:
根据将至少一个候选运动向量包括包含在所述候选列表中的第一次序构造所述候选列表的第一部分;
根据基于所述候选列表的所述第一部分中的所述候选运动向量中的每一者的运动信息的所述次序重排序所述候选列表的所述第一部分;
构造所述候选列表的剩余部分,其包括在所述候选列表中添加至少一个额外候选运动向量。
9.根据权利要求9中任一项所述的方法,其中执行所述重排序,使得在与所述候选列表的所述次序相关联的部分排序中具有相同值的候选者不被重排序。
10.根据权利要求1所述的方法,其中所述次序是基于所述候选运动向量中的至少一者的所述预测方向。
11.根据权利要求1所述的方法,其中所述次序是基于与所述候选运动向量中的至少一者的参考图片相关联的信息。
12.根据权利要求1所述的方法,其中所述次序是基于与所述候选运动向量中的至少一者的参考块相关联的信息。
13.根据权利要求11所述的方法,其中与所述候选运动向量中的至少一者的所述参考块相关联的所述信息包括与所述候选运动向量中的所述至少一者的所述参考图片或所述参考块中的一者相关联的量化参数。
14.根据权利要求11所述的方法,其中所述次序是基于候选块中的至少一者的所述参考图片与所述当前图片之间的时间距离。
15.根据权利要求1所述的方法,其中所述次序是基于与译码类型相关联的信息,所述译码类型与所述候选运动向量中的至少一者相关联。
16.根据权利要求15所述的方法,其中与所述候选运动向量中的至少一者相关联的所述译码类型为与所述候选运动向量中的所述至少一者相关联的所述参考图片的所述译码类型。
17.根据权利要求15所述的方法,其中与所述候选运动向量中的至少一者相关联的所述译码类型为与所述候选运动向量中的所述至少一者相关联的所述参考块的所述译码类型。
18.根据权利要求1所述的方法,其进一步包括计算与所述列表中的至少一个空间相邻候选者相关联的运动向量相似性度量,其中所述次序是基于所述经计算的运动向量相似性度量。
19.根据权利要求18所述的方法,其中基于待预测的当前块的同置参考块及至少一个相邻块的同置参考块计算所述运动向量相似性度量。
20.一种用于构造用于当前图片的块的帧间预测的候选列表的装置,其包括:
存储器,其经配置以存储与图片的多个块相关联的运动向量;及
处理器,其经配置以:
产生用于对所述图片的块进行帧间预测的候选运动向量的列表,其中将所述列表产生为具有基于所述候选运动向量中的每一者的运动信息的次序;
从所述列表选择候选运动向量;及
基于所述所选择候选运动向量执行所述块的帧间预测。
21.根据权利要求20所述的装置,其中所述候选运动向量中的每一者包括运动向量、参考索引及运动预测方向。
22.根据权利要求20所述的装置,其中所述处理器经配置以根据合并模式执行帧间预测。
23.根据权利要求20所述的装置,其中所述候选运动向量中的每一者包括运动向量、参考索引及运动预测方向,且其中所述处理器经配置以根据高级运动向量预测模式执行帧间预测。
24.根据权利要求20所述的装置,其中所述处理器经配置以基于所述块的所述帧间预测将所述块编码至视频位流,其中所述处理器经进一步配置以:
基于所述图片的所述块及作为执行所述帧间预测的部分产生的预测块产生残差;及
将指示如何执行所述帧间预测并指示所述残差的数据编码至所述视频位流。
25.根据权利要求20所述的装置,其中所述处理器经配置以基于所述块的所述帧间预测从经编码视频位流解码所述块,其中所述处理器经进一步配置以:
从所述经编码视频位流解码残差;及
基于作为执行所述帧间预测的部分产生的预测块及所述残差解码所述图片的所述块,且其中所述处理器经配置以基于来自所述经编码视频位流的信息从所述列表选择所述候选运动向量。
26.根据权利要求20所述的装置,其中为了按基于每一候选运动向量的运动信息的所述次序产生所述候选运动列表,所述处理器经配置以:
根据第一次序构造所述整个候选列表;及
根据基于每一候选运动向量的运动信息的所述次序重排序所述候选列表。
27.根据权利要求20所述的装置,其中为了按基于每一候选运动向量的运动信息的所述次序产生所述候选运动列表,所述处理器经配置以:
根据将至少一个候选运动向量包括包含在所述候选列表中的第一次序构造所述候选列表的第一部分;
根据基于所述候选列表的所述第一部分中的所述候选运动向量中的每一者的运动信息的所述次序重排序所述候选列表的所述第一部分;及
构造所述候选列表的剩余部分,其包括在所述候选列表中添加至少一个额外候选运动向量。
28.根据权利要求27所述的装置,其中执行所述重排序,使得在与所述候选列表的所述次序相关联的部分排序中具有相同值的候选者不被重排序。
29.根据权利要求20所述的装置,其中所述次序是基于所述候选运动向量中的至少一者的所述预测方向。
30.根据权利要求20所述的装置,其中所述次序是基于与所述候选运动向量中的至少一者的参考图片相关联的信息。
31.根据权利要求20所述的装置,其中所述次序是基于与所述候选运动向量中的至少一者的参考块相关联的信息。
32.根据权利要求31所述的装置,其中与所述候选运动向量中的至少一者的所述参考块相关联的所述信息包括与所述候选运动向量中的所述至少一者的所述参考图片或所述参考块中的一者相关联的量化参数。
33.根据权利要求20所述的装置,其中所述次序是基于候选块中的至少一者的所述参考图片与所述当前图片之间的时间距离。
34.根据权利要求20所述的装置,其中所述次序是基于与译码类型相关联的信息,所述译码类型与所述候选运动向量中的至少一者相关联。
35.根据权利要求34所述的装置,其中与所述候选运动向量中的至少一者相关联的所述译码类型为与所述候选运动向量中的所述至少一者相关联的所述参考图片的所述译码类型。
36.根据权利要求34所述的装置,其中与所述候选运动向量中的至少一者相关联的所述译码类型为与所述候选运动向量中的所述至少一者相关联的所述参考块的所述译码类型。
37.根据权利要求20所述的装置,其中所述处理器经进一步配置以计算与所述列表中的至少一个空间相邻候选者相关联的运动向量相似性度量,其中所述次序是基于所述经计算的运动向量相似性度量。
38.根据权利要求37所述的装置,其中基于待预测的当前块的同置参考块及至少一个相邻块的同置参考块计算所述运动向量相似性度量。
Applications Claiming Priority (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201762524420P | 2017-06-23 | 2017-06-23 | |
US62/524,420 | 2017-06-23 | ||
US16/014,947 US10911769B2 (en) | 2017-06-23 | 2018-06-21 | Motion-based priority for the construction of candidate lists in video coding |
US16/014,947 | 2018-06-21 | ||
PCT/US2018/039066 WO2018237304A1 (en) | 2017-06-23 | 2018-06-22 | MOTION-BASED SORT FOR THE CONSTRUCTION OF CANDIDATE LISTS FOR VIDEO ENCODING |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110800304A true CN110800304A (zh) | 2020-02-14 |
CN110800304B CN110800304B (zh) | 2023-10-27 |
Family
ID=64692947
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201880041220.5A Active CN110800304B (zh) | 2017-06-23 | 2018-06-22 | 用于在视频译码中构造候选列表的基于运动的优先级 |
Country Status (5)
Country | Link |
---|---|
US (1) | US10911769B2 (zh) |
EP (1) | EP3643070A1 (zh) |
CN (1) | CN110800304B (zh) |
TW (1) | TW201906414A (zh) |
WO (1) | WO2018237304A1 (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2023284817A1 (en) * | 2021-07-15 | 2023-01-19 | Beijing Bytedance Network Technology Co., Ltd. | Method, apparatus, and medium for video processing |
WO2023237025A1 (en) * | 2022-06-07 | 2023-12-14 | Beijing Bytedance Network Technology Co., Ltd. | Method, apparatus, and medium for video processing |
Families Citing this family (28)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110574377B (zh) * | 2017-05-10 | 2021-12-28 | 联发科技股份有限公司 | 用于视频编解码的重新排序运动向量预测候选集的方法及装置 |
US20200014918A1 (en) * | 2018-07-08 | 2020-01-09 | Mellanox Technologies, Ltd. | Application accelerator |
US20200014945A1 (en) * | 2018-07-08 | 2020-01-09 | Mellanox Technologies, Ltd. | Application acceleration |
US11252464B2 (en) | 2017-06-14 | 2022-02-15 | Mellanox Technologies, Ltd. | Regrouping of video data in host memory |
CN114466197A (zh) | 2018-06-29 | 2022-05-10 | 北京字节跳动网络技术有限公司 | 用于查找表更新的编码的运动信息的选择 |
WO2020003283A1 (en) | 2018-06-29 | 2020-01-02 | Beijing Bytedance Network Technology Co., Ltd. | Conditions for updating luts |
EP3794825A1 (en) | 2018-06-29 | 2021-03-24 | Beijing Bytedance Network Technology Co. Ltd. | Update of look up table: fifo, constrained fifo |
CN110662064B (zh) | 2018-06-29 | 2022-06-14 | 北京字节跳动网络技术有限公司 | Lut中的运动候选的检查顺序 |
CA3105330C (en) | 2018-06-29 | 2023-12-05 | Beijing Bytedance Network Technology Co., Ltd. | Interaction between lut and amvp |
CN110662053B (zh) | 2018-06-29 | 2022-03-25 | 北京字节跳动网络技术有限公司 | 使用查找表的视频处理方法、装置和存储介质 |
KR102648120B1 (ko) | 2018-06-29 | 2024-03-18 | 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 | 슬라이스/타일/lcu 행마다의 룩업 테이블 리셋 |
CN110662054B (zh) | 2018-06-29 | 2023-01-06 | 北京字节跳动网络技术有限公司 | 用于视频处理的方法、装置、计算机可读存储介质 |
CN110662059B (zh) | 2018-06-29 | 2021-04-20 | 北京字节跳动网络技术有限公司 | 使用查找表存储先前编码的运动信息并用其编码后续块的方法和装置 |
TWI734133B (zh) | 2018-07-02 | 2021-07-21 | 大陸商北京字節跳動網絡技術有限公司 | 更新查找表的規則 |
US10645380B2 (en) * | 2018-07-09 | 2020-05-05 | Tencent America LLC | Method and apparatus for video coding |
TW202025760A (zh) | 2018-09-12 | 2020-07-01 | 大陸商北京字節跳動網絡技術有限公司 | 要檢查多少個hmvp候選 |
WO2020084556A1 (en) | 2018-10-24 | 2020-04-30 | Beijing Bytedance Network Technology Co., Ltd. | Sub-block motion candidate list in video coding |
CN109889838B (zh) * | 2018-12-29 | 2021-02-12 | 北京佳讯飞鸿电气股份有限公司 | 一种基于roi区域的hevc快速编码方法 |
US10764603B2 (en) * | 2018-12-31 | 2020-09-01 | Alibaba Group Holding Limited | Resolution-adaptive video coding |
JP7275286B2 (ja) | 2019-01-10 | 2023-05-17 | 北京字節跳動網絡技術有限公司 | Lut更新の起動 |
CN113383554B (zh) | 2019-01-13 | 2022-12-16 | 北京字节跳动网络技术有限公司 | LUT和共享Merge列表之间的交互 |
WO2020147773A1 (en) * | 2019-01-16 | 2020-07-23 | Beijing Bytedance Network Technology Co., Ltd. | Inserting order of motion candidates in lut |
CN110809161B (zh) * | 2019-03-11 | 2020-12-29 | 杭州海康威视数字技术股份有限公司 | 运动信息候选者列表构建方法及装置 |
WO2020192611A1 (en) | 2019-03-22 | 2020-10-01 | Beijing Bytedance Network Technology Co., Ltd. | Interaction between merge list construction and other tools |
CN114390289A (zh) * | 2020-10-18 | 2022-04-22 | 腾讯科技(深圳)有限公司 | 参考像素候选列表构建方法、装置、设备及存储介质 |
US11477437B2 (en) * | 2021-01-28 | 2022-10-18 | Lemon Inc. | Coding of motion information |
KR20240072202A (ko) * | 2021-09-29 | 2024-05-23 | 캐논 가부시끼가이샤 | 비디오 코딩 및 디코딩 |
KR20230175110A (ko) * | 2022-06-22 | 2023-12-29 | 현대자동차주식회사 | 메타 정보를 이용하는 비디오 코딩방법 및 장치 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101022555A (zh) * | 2007-02-12 | 2007-08-22 | 清华大学 | 帧间预测编码的模式快速选择方法 |
CN102075762A (zh) * | 2010-12-31 | 2011-05-25 | 北京大学深圳研究生院 | 用于视频编码器的帧间预测电路及其实现方法 |
CN102984521A (zh) * | 2012-12-12 | 2013-03-20 | 四川大学 | 基于时域相关性的高性能视频编码帧间模式判决方法 |
WO2013106336A2 (en) * | 2012-01-09 | 2013-07-18 | Qualcomm Incorporated | Device and methods for merge list reordering in video coding |
US20140016701A1 (en) * | 2012-07-09 | 2014-01-16 | Qualcomm Incorporated | Temporal motion vector prediction in video coding extensions |
CN104539963A (zh) * | 2011-06-15 | 2015-04-22 | 富士通株式会社 | 由视频解码装置执行的方法 |
CN113170141A (zh) * | 2018-12-03 | 2021-07-23 | 华为技术有限公司 | 帧间预测方法和相关装置 |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2009115901A2 (en) * | 2008-03-19 | 2009-09-24 | Nokia Corporation | Combined motion vector and reference index prediction for video coding |
KR101449679B1 (ko) * | 2010-08-18 | 2014-10-15 | 에스케이텔레콤 주식회사 | 영상 부호화/복호화 장치 및 방법, 및 참조픽처 인덱싱 장치 및 방법 |
US9866859B2 (en) * | 2011-06-14 | 2018-01-09 | Texas Instruments Incorporated | Inter-prediction candidate index coding independent of inter-prediction candidate list construction in video coding |
US9282338B2 (en) * | 2011-06-20 | 2016-03-08 | Qualcomm Incorporated | Unified merge mode and adaptive motion vector prediction mode candidates selection |
JP5706264B2 (ja) * | 2011-08-01 | 2015-04-22 | 日本電信電話株式会社 | 画像符号化方法,画像復号方法,画像符号化装置,画像復号装置,画像符号化プログラムおよび画像復号プログラム |
US20130329007A1 (en) * | 2012-06-06 | 2013-12-12 | Qualcomm Incorporated | Redundancy removal for advanced motion vector prediction (amvp) in three-dimensional (3d) video coding |
CN102946536B (zh) * | 2012-10-09 | 2015-09-30 | 华为技术有限公司 | 候选矢量列表构建的方法及装置 |
US10021388B2 (en) * | 2012-12-26 | 2018-07-10 | Electronics And Telecommunications Research Institute | Video encoding and decoding method and apparatus using the same |
US9674542B2 (en) * | 2013-01-02 | 2017-06-06 | Qualcomm Incorporated | Motion vector prediction for video coding |
CN110574377B (zh) * | 2017-05-10 | 2021-12-28 | 联发科技股份有限公司 | 用于视频编解码的重新排序运动向量预测候选集的方法及装置 |
-
2018
- 2018-06-21 US US16/014,947 patent/US10911769B2/en active Active
- 2018-06-22 WO PCT/US2018/039066 patent/WO2018237304A1/en active Application Filing
- 2018-06-22 CN CN201880041220.5A patent/CN110800304B/zh active Active
- 2018-06-22 TW TW107121579A patent/TW201906414A/zh unknown
- 2018-06-22 EP EP18740478.5A patent/EP3643070A1/en active Pending
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101022555A (zh) * | 2007-02-12 | 2007-08-22 | 清华大学 | 帧间预测编码的模式快速选择方法 |
CN102075762A (zh) * | 2010-12-31 | 2011-05-25 | 北京大学深圳研究生院 | 用于视频编码器的帧间预测电路及其实现方法 |
CN104539963A (zh) * | 2011-06-15 | 2015-04-22 | 富士通株式会社 | 由视频解码装置执行的方法 |
WO2013106336A2 (en) * | 2012-01-09 | 2013-07-18 | Qualcomm Incorporated | Device and methods for merge list reordering in video coding |
US20140016701A1 (en) * | 2012-07-09 | 2014-01-16 | Qualcomm Incorporated | Temporal motion vector prediction in video coding extensions |
CN102984521A (zh) * | 2012-12-12 | 2013-03-20 | 四川大学 | 基于时域相关性的高性能视频编码帧间模式判决方法 |
CN113170141A (zh) * | 2018-12-03 | 2021-07-23 | 华为技术有限公司 | 帧间预测方法和相关装置 |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2023284817A1 (en) * | 2021-07-15 | 2023-01-19 | Beijing Bytedance Network Technology Co., Ltd. | Method, apparatus, and medium for video processing |
WO2023237025A1 (en) * | 2022-06-07 | 2023-12-14 | Beijing Bytedance Network Technology Co., Ltd. | Method, apparatus, and medium for video processing |
Also Published As
Publication number | Publication date |
---|---|
TW201906414A (zh) | 2019-02-01 |
US10911769B2 (en) | 2021-02-02 |
WO2018237304A1 (en) | 2018-12-27 |
CN110800304B (zh) | 2023-10-27 |
EP3643070A1 (en) | 2020-04-29 |
US20180376160A1 (en) | 2018-12-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110800304B (zh) | 用于在视频译码中构造候选列表的基于运动的优先级 | |
CN111602399B (zh) | 改进的解码器侧运动矢量推导 | |
JP7342115B2 (ja) | 履歴ベースの動きベクトル予測子の改善 | |
KR102343699B1 (ko) | 디코더-측 모션 벡터 도출에 기초한 mvp 도출의 제한 | |
CN111567051B (zh) | 对视频数据使用解块滤波器的方法和设备 | |
CN110431842B (zh) | 解码器侧运动向量导出 | |
CN107690810B (zh) | 确定用于视频译码的照明补偿状态的***及方法 | |
CN111567043B (zh) | 对视频数据进行译码的方法、装置和计算机可读存储介质 | |
CN110741639B (zh) | 视频译码中的运动信息传播 | |
CN107431820B (zh) | 视频译码中运动向量推导 | |
CN107710764B (zh) | 确定用于视频译码的照明补偿状态的***及方法 | |
CN107211157B (zh) | 用于视频译码的重叠运动补偿 | |
US20190116376A1 (en) | Motion vector predictors using affine motion model in video coding | |
CN110915214A (zh) | 用于运动向量推导的基于部分重构建的模板匹配 | |
JP7139531B2 (ja) | 彩度成分のアフィン動きベクトルを導出するためのビデオ符号化復号化の方法および装置 | |
CN109547800B (zh) | 用于3d-hevc的简化高级残余预测 | |
KR102548345B1 (ko) | 비디오 코딩을 위한 서브-블록 시간적 움직임 벡터 예측 | |
CN114363610B (zh) | 视频编码的方法、计算设备和存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |