CN112534807A - 用于多假设模式参考和约束的方法和设备 - Google Patents
用于多假设模式参考和约束的方法和设备 Download PDFInfo
- Publication number
- CN112534807A CN112534807A CN201980037502.2A CN201980037502A CN112534807A CN 112534807 A CN112534807 A CN 112534807A CN 201980037502 A CN201980037502 A CN 201980037502A CN 112534807 A CN112534807 A CN 112534807A
- Authority
- CN
- China
- Prior art keywords
- prediction
- prediction mode
- coding block
- data
- mode
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 116
- 238000004891 communication Methods 0.000 claims description 3
- 230000008569 process Effects 0.000 description 31
- 230000002123 temporal effect Effects 0.000 description 17
- 238000010586 diagram Methods 0.000 description 13
- 239000000872 buffer Substances 0.000 description 10
- 238000012545 processing Methods 0.000 description 10
- 238000009795 derivation Methods 0.000 description 8
- 238000013139 quantization Methods 0.000 description 7
- 238000005192 partition Methods 0.000 description 6
- 241000023320 Luma <angiosperm> Species 0.000 description 4
- OSWPMRLSEDHDFF-UHFFFAOYSA-N methyl salicylate Chemical compound COC(=O)C1=CC=CC=C1O OSWPMRLSEDHDFF-UHFFFAOYSA-N 0.000 description 4
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 2
- 230000004075 alteration Effects 0.000 description 2
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 241000699670 Mus sp. Species 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000005415 magnetization Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 230000001755 vocal effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/513—Processing of motion vectors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/109—Selection of coding mode or of prediction mode among a plurality of temporal predictive coding modes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/513—Processing of motion vectors
- H04N19/517—Processing of motion vectors by encoding
- H04N19/52—Processing of motion vectors by encoding by predictive encoding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
本文描述的技术涉及被配置为解码和/或编码视频数据的方法,装置和计算机可读介质。如果当前编码块使用多于一个预测数据的假设来生成预测数据,则使用第一预测模式生成的图像的当前编码块的第一预测数据被确定,以及使用第二预测模式生成的当前编码块的第二预测数据被确定。从第一预测模式和第二预测模式中的至少一个导出的信息被存储。存储信息可由后续编码块参考。
Description
相关引用
本发明要求在2018年6月8日递交的申请号为62/682,224,名称为“MULTI-HYPOTHESIS MODE REFERENCE AND CONSTRAINTS”的美国临时申请案的优先权,以及要求在2019年6月5日递交的申请号为16/432,890的美国临时申请案的优先权,以上申请的全部内容以引用方式并入本发明。
技术领域
本发明涉及视频编解码,更具体地说,涉及参考多个帧内和/或帧间假设以用于后续编解码和相关约束。
背景技术
各种视频编解码技术可用于编码视频,例如用于存储和/或传输。视频编解码技术还可提供对已编码的视频进行解码以进行回放。视频编解码器可包括压缩和/或解压缩数字视频的电子电路和/或软件。存在各种视频编解码标准,并且视频编解码器通常符合一个或多个视频编解码标准。在许多视频编解码标准中,离散余弦变换(Discrete CosineTransform,简称DCT)和基于块的运动估计分别被用于实现空间和时间压缩。例如,高效视频编解码(High-Efficiency Video Coding,简称HEVC)是由视频编解码联合协作小组(Joint Collaborative Team on Video Coding,简称JCT-VC)开发的国际视频编解码标准。HEVC是基于基于混合块的运动补偿DCT类变换编解码架构。
发明内容
根据所公开的主题,提供了用于多假设模式参考和约束的装置,***和方法。
一些实施例涉及用于解码视频数据的解码方法。该方法包括确定是否多于一个预测数据的假设被用于生成图像的当前编码块的预测数据。当多于一个预测数据的假设被用于图像的当前编码块的预测时,该方法包括确定使用第一预测模式生成的图像的当前编码块的第一预测数据,确定使用第二预测模式生成的当前编码块的第二预测数据,并且存储从第一预测模式和第二预测模式中的至少一个导出的信息。
在一些示例中,从第一预测模式和第二预测模式两者导出的信息被组合用于当前编码块以及存储组合信息。
在一些示例中,第一预测数据和第二预测数据从不同的运动候选生成,这两个运动候选均使用帧间预测模式生成。
在一些示例中,作为当前编码块的后续编码块的第二编码块使用利用当前编码块的第一预测模式和第二预测模式中的至少一个导出的存储信息。
在一些示例中,确定使用第二预测模式生成的当前编码块的第二预测数据包括使用帧内预测模式生成第二预测数据。当前编码块的后续编码块在帧内预测中使用的最可能模式的列表可根据第二预测模式生成。后续编码块可使用第二预测模式作为候选的帧内预测来解码。
在一些示例中,基于先前的编码块确定当前编码块的第一预测数据和/或第二预测数据。当前编码块和先前编码块可属于相同的编码树单元(coding tree unit,简称CTU)和/或相同的帧。
在一些示例中,其中仅当后续编码块和当前编码块属于相同CTU和/或相同帧时,后续编码块可使用从第一预测模式和第二预测模式中的至少一个导出的存储信息的至少一部分。
在一些示例中,其中当后续编码块和当前编码块属于不同的CTU和/或不同的帧时,后续编码块可使用除从第一预测模式和第二预测模式中的至少一个导出的存储信息的至少一部分之外的信息。
在一些示例中,仅从第一预测模式和第二预测中之一导出的信息被存储。
在一些示例中,从第一预测模式和第二预测模式中的至少一个导出的存储信息被用于后续编码块以供参考。
在一些示例中,对第一预测数据和第二预测数据进行加权组合来生成当前编码块的预测数据。
一些实施例涉及一种被配置为解码视频数据的装置。该装置包括与内存通讯的处理器,该处理器被配置为执行存储在内存中的指令,该指令使处理器确定是否使用多于一个预测数据的假设来生成图像的当前编码块的预测数据。当多于一个预测数据被用于预测图像的当前编码块时,该指令使处理器确定使用第一预测模式生成的图像的当前编码块的第一预测数据,确定使用第二预测模式生成的当前编码块的第二预测数据,以及存储从当前编码块的第一预测模式和第二预测模式中的至少一个导出的信息。
一些实施例涉及用于编码视频数据的编码方法。该方法包括使用第一预测模式生成用于图像的当前编码块的第一预测数据,使用第二预测模式生成用于当前编码块的第二预测数据,以及存储从第一预测模式和第二种预测模式的至少一个导出的信息。
在一些示例中,第一预测数据和第二预测数据是从不同的运动候选生成的,第一预测数据和第二预测数据都是使用帧间预测模式生成的。基于使用第一预测模式和第二预测模式中的至少一个导出的信息,作为当前编码块的后续编码块的第二编码块可被编码。组合的预测信息可利用使用第一预测模式和第二预测模式导出的信息生成,以及后续编码块可基于组合的预测信息被编码。
在一些示例中,使用第二预测模式生成第二预测数据包括使用帧内预测模式生成第二预测数据。当前编码块的后续编码块在帧内预测中使用的最可能模式的列表可根据第二预测模式生成。后续编码块可使用第二预测模式作为候选的帧内预测来编码。
在一些示例中,仅当后续编码块和当前编码块属于相同CTU和/或相同帧时,后续编码块使用从第一预测模式和第二预测模式中的至少一个导出的存储信息的至少一部分。
在一些示例中,仅从第一预测数据和第二预测数据中的一个导出的信息被存储。
在一些示例中,从第一预测数据和第二预测数据中的至少一个导出的信息被用于后续编码块以供参考。
附图说明
在附图中,在各个图中示出的每个相同或几乎相同的组件由相同的附图标记表示。为清楚起见,并非每个组件都在每张图纸中标记。附图不一定按比例绘制,而是将重点放在说明本文描述的技术和装置的各个方面。
图1示出根据一些实施例的示例性视频编解码配置。
图2示出根据一些实施例的示例性视频编码器的各方面。
图3示出根据一些实施例的示例性视频解码器的各方面。
图4示出根据一些示例的被称为编解码单元或预测单元的图,其导出用于高级运动向量预测和/或合并方案的空间和时间运动向量预测子。
图5标出根据一些示例的组合的双预测合并候选的推导过程的示例性图。
图6示出根据一些示例的缩放的双预测合并候选的推导过程的示例性图。
图7示出零向量合并候选和零向量高级运动向量预测候选的示例图。
图8示出根据一些示例的用于帧内预测的三十三个方向的图。
图9示出根据一些示例的如何对三角形预测模式分割CU的图。
图10示出根据一些实施例的用于使用多假设模式对视频数据进行编码的示例性编码过程。
图11示出根据一些实施例的用于使用多假设模式对视频数据进行解码的示例性解码过程。
具体实施方式
可使用技术将图像分割为编解码块,例如编解码单元(coding unit,简称CU)和/或预测单元(prediction unit,简称PU)。编解码块可使用不同的帧间预测模式或帧内预测模式进行编码和解码。然而,对于可由后续编解码块使用的每个编解码块,从一个预测模式导出的信息被保存。这里描述的技术提供了使用多假设(例如,不同的帧间和/或帧内预测模式)生成用于编解码块(例如,用于PU和/或CU)的编解码信息,以及保存用于多假设的编码信息以供后续编码块参考该编解码块。在一些实施例中,多假设(multiple hypotheses,简称MH)模式可使用两个假设。例如,对于组合了从帧间预测模式导出的预测假设和从帧内预测模式导出的另一预测假设的MH帧内模式,所保存的信息可包括用于一假设的运动信息和使用另一假设的帧内预测模式生成的编解码信息。作为另一示例,对于组合了从帧间预测模式导出的一预测假设和从不同帧间预测模式导出的另一预测假设的MH帧间模式,所保存的信息可包括用于一假设的运动信息和用于另一假设的运动信息。
在一些实施例中,当使用多假设技术时可以施加约束。例如,当第二假设是帧间预测模式时,缓冲器大小约束可被使用,使得仅一个假设的运动信息被保存,如此可防止需要将用于存储运动信息的缓冲器大小加倍。作为另一示例,编解码树单元(coding treeunit,简称CTU)约束可被使用,使得当多假设块和将参考先前MH块的后续编码单元(例如,PU和/或CU)在同一CTU行中时,仅利用来自多假设的信息进行编码的块的信息(例如,包括用于第一假设的预测信息和用于第二假设的预测信息)被参考。CTU约束可被应用于此处描述的多假设模式,其包括第二假设是帧间预测模式或帧内预测模式。
在以下描述中,阐述了关于所公开的主题的***和方法以及这些***和方法可操作的环境等的许多具体细节,以便提供对所公开的主题的透彻理解。另外,应当理解,下面提供的示例是示例性的,并且存在所公开的主题的范围内的其他***和方法也是可预期的。
图1示出根据一些实施例的示例性视频编解码配置100。视频编解码配置100包括生成视频数据106的一个或多个照相机102A-102N,统称为照相机102。照相机102可以是任何类型的照相机,例如包括音频记录功能的照相机,和/或单独的照相机和录音功能。编码设备104包括编码器108。编码器108对二维视频数据进行编码和/或压缩。解码设备110接收已编码的数据。解码设备110可通过广播网络、移动网络(例如,蜂窝网络)和/或因特网接收视频作为视频产品(例如,数字视频盘或其他计算机可读介质)。解码设备110可以是例如计算机,头戴式显示器的一部分或具有解码能力的任何其他装置。解码设备110包括解码器112,其被配置为对已编码视频进行解码以生成视频数据114。显示器116显示视频数据114。
图2示出根据一些实施例的示例性视频编码器200的各方面。视频编码器200接收输入视频202和包括预测单元204,变换和量化单元206,上下文自适应二进制算法编码(Context-Adaptive Binary Arithmetic Coding,简称CABAC)单元208,逆变换和逆量化单元210,解块单元212,取样自适应偏移(sample adaptive offset,简称SAO)单元214,已解码图像缓冲器216,以及SAO参数估计单元218的至少一部分。预测单元204包括帧间预测处理220和帧内预测处理226,帧间预测处理220包括运动估计单元222和运动补偿单元224,帧内预测处理226包括帧内估计单元228和帧内预测单元230。在其他实施例中,视频编码器200可包括比图2中所示的组件更多,更少和/或不同的组件。
对于基于块的运动补偿,用于压缩的基本单元是CU,其可以是2N×2N方块。每个CU可递归地分成四个较小的CU,直到达到预定义的最小尺寸。每个CU可包含一个或多个PU。如果一个CU仅包含一个PU,则可将PU视为与CU相同。视频编码器200可编码CU。作为CU的编码过程的一部分,预测单元204可将CU分割成一个或多个PU。
预测单元204可使用帧间预测单元220来执行帧间预测。帧间预测处理可包括通过对CU的每个PU执行帧间预测来产生PU的预测数据。取决于帧间预测的类型,运动估计单元222可搜索来自已解码图像缓冲器216的参考样本,包括来自列表0或列表1的参考样本。运动估计单元222可产生列表0和/或列表1中的位置的参考图像索引,和可产生运动向量以指示参考位置与PU的样本块之间的位移。运动补偿单元224可至少部分地基于由PU的运动向量指示的参考区域处的实际(on actual)或经内插样本来产生PU的预测样本块。
预测单元204可使用帧内预测单元226执行帧内预测。帧内预测处理可包括通过对PU执行帧内预测来产生PU的预测数据。PU的预测数据可包括PU的预测块和各种语法元素。预测单元204可从帧间预测处理生成的预测数据或帧内预测处理生成的预测数据中选择PU的预测数据。在一些实施例中,预测单元204包括MH模式,如本文中进一步讨论的。在一些实施例中,MH模式可以是来自帧间或帧内预测的独立模式。在一些实施例中,MH模式可以是帧间和/或帧内预测的一部分。例如,MH模式(被视为帧间模式)可在从帧间预测模式导出的现有预测假设之上添加额外的预测假设。又例如,MH模式(被视为帧内模式)可在从帧内预测模式导出的现有预测假设之上添加附加的预测假设。
变换和量化单元206可通过应用变换模式(例如,DCT,DST或任一其他类型的变换)来对每个TU生成变换系数,以及可量化变换系数。CABAC单元208通过对量化的变换系数和/或用于生成比特流的任何其他辅助信息执行CABAC来对量化的变换系数进行熵编码。在一些其他实施例中,CABAC单元208可用其他熵编码单元替换以生成熵编码数据。编码器200可在比特流中输出经熵编码的变换系数。
逆变换和逆量化单元210可应用逆量化和逆变换模式变换(例如,逆DCT,DST或任一其他类型的逆变换)以从系数块重构残差块。解块单元212可对重构的块执行一个或多个解块操作。SAO单元214和SAO参数估计单元218实现SAO,其是环内滤波技术。SAO过程可包括将重构的样本分类为不同的类别,获得每个类别的偏移,然后将偏移添加到该类别的每个样本中。每个类别的偏移可被发送给解码器以减少样本失真。
已解码的图像缓冲器216可存储经重构的经SAO处理的块。如本文所述,预测单元204可使用经重构的块来执行帧间预测和/或帧内预测。
图3示出根据一些实施例的示例性解码器300的各方面。解码器300包括熵解码单元302,预测单元304,逆量化和逆变换单元306,重构单元308,解块滤波器310,SAO单元312,参考图像和缓冲器314中和SAO参数单元316的至少一部分。出于示例目的,结合HEVC讨论图3,但是应当理解,这些技术可被应用于其他视频编解码标准。在其他实施例中,视频解码器300可包括比图3中所示的组件更多,更少和/或不同的组件。
熵解码单元302解析比特流以解码语法元素。预测单元304可例如使用在比特流中发送的语法元素来构造一个或多个参考图像列表,例如列表0和/或列表1。预测单元304可执行运动补偿和/或帧内预测。举例来说,如果使用帧间预测来编码PU,那么预测单元304可提取PU的运动信息,其可被用于确定一个或一个以上PU的参考区域。预测单元304可基于一个或一个以上参考块处的样本块产生PU的预测块。作为另一示例,如果使用帧内预测来编码PU,那么预测单元304可执行帧内预测以基于相邻PU产生PU的预测块。在一些实施例中,预测单元304包括MH模式处理,如本文进一步讨论的。在一些实施例中,MH模式处理可独立于帧间或帧内预测处理。在一些实施例中,MH模式处理可以是帧间和/或帧内预测的一部分。例如,MH模式(被视为帧间模式)可以在从帧间预测模式导出的现有预测假设之上添加额外的预测假设。又例如,MH模式(被视为帧内模式)可以在从帧内预测模式导出的现有预测假设之上添加额外的预测假设。
逆量化和逆变换单元306可对系数块进行逆量化,和可应用逆变换以生成残差块。重构单元308可重构编码块。
重构单元308可使用与CU的TU相关联的变换块(例如,亮度,Cb和Cr变换块)以及CU的PU的预测块(例如,亮度,Cb和Cr预测块),即,帧内预测数据和/或帧间预测数据,如果适用,用于重构CU的编码块(例如,亮度,Cb和Cr编码块)。举例来说,重构单元308可将变换块(例如,亮度,Cb和Cr变换块)的样本(残差分量)添加到预测块的对应样本(预测子分量)以重构CU的解码块。
解块滤波器310可执行解块操作以减少与编码块相关联的块伪像。SAO单元312和SAO参数单元316实现SAO环内滤波器。每个SAO类别的偏移可被发送给解码器300,解码器可使用该偏移来减少样本失真。参考图像和缓冲器314可存储所得到的解块的经SAO处理的编码块。缓冲器314可提供参考图像用于后续的运动补偿,帧内预测和图像的呈现,如图像318所示。
为了实现HEVC中混合编码结构的最佳编码效率,每种PU有两种预测模式,即帧内预测模式和帧间预测模式。对于帧内预测模式,空间相邻重构像素可被用于生成方向预测。如本文进一步讨论的,可存在多个方向(例如,33,65或更多)。对于帧间预测模式,时间重构参考帧可被用于生成运动补偿预测。有三种不同的模式,包括跳过(Skip),合并(Merge)和帧间高级运动向量预测(Inter Advanced Motion Vector Prediction,简称AMVP)模式。
当PU在帧间AMVP模式中被编码时,运动补偿预测可利用发送的运动向量差(motion vector difference,简称MVD)执行,MVD可与运动向量预测子(Motion VectorPredictor,简称MVP)一起用于导出运动向量(motion vector,简称MV)。为了在帧间AMVP模式中确定MVP,高级运动向量预测(advanced motion vector prediction,简称AMVP)方案被用于在包括两个空间MVP和一个时间MVP的AMVP候选集合中选择运动向量预测子。因此,在AMVP模式中,MVP的MVP索引和相应的MVD被编码和发送。另外,用于指定双预测和单预测中的预测方向(其是列表0(L0)和列表1(L1))的帧间预测方向,伴随着每个列表的参考帧索引被编码和发送。
当CU/PU被以跳过或合并模式编码时,除了所选择的候选的合并索引之外,运动信息被发送。这是因为跳过和合并模式利用运动推断方法(MV=MVP+MVD,其中MVD为零)来从位于同位图像的空间相邻块(空间候选)或时间块(时间候选)获得运动信息,其中同位图像是在片段报头中发送的列表0或列表1中的第一参考图像。在跳过PU的情况下,残差信号也被省略。为了确定跳过和合并模式的合并索引,合并方案被用于在包含四个空间MVP和一个时间MVP的合并候选集合中选择运动向量预测子。
图4示出根据一些示例的被称为导出AMVP和合并方案的空间和时间MVP的相邻PU的图400。在AMVP中,左MVP是A0,A1中的第一可用的MVP,顶部MVP是来自B0,B1,B2的第一可用的MVP,以及时间MVP是来自TBR或TCTR的第一可用的MVP(首先使用TBR,如果TBR不可用,则使用TCTR替代)。如果左MVP不可用且顶部MVP不是经缩放的MVP,则如果在B0,B1和B2中存在经缩放的MVP,则第二顶部MVP可被导出。在HEVC中,AMVP的MVP的列表大小是2。因此,在一些示例中,在两个空间MVP和一个时间MVP的推导过程之后,仅前两个MVP可包括在MVP列表中。如果在去除冗余之后,可用MVP的数量小于2,则零向量候选被添加到候选列表中。
对于跳过和合并模式,如图4所示,最多四个空间合并索引从A0,A1,B0和B1导出,一个时间合并索引从TBR或TCTR导出(首先使用TBR,如果TBR不可用,则首使用TCTR替代)。请注意,如果四个空间合并索引中的任一不可用,则位置B2可被用于将合并索引导出作为替换。在四个空间合并索引和一个时间合并索引的推导过程之后,任一删除冗余合并索引可被删除。如果在删除冗余之后,可用的合并索引的数量小于5,则三种类型的额外候选被导出和被添加到候选列表中。
额外双预测合并候选使用原始合并候选来创建。额外候选被分为三种候选类型:
1.组合双预测合并候选(候选类型1)
2.经缩放的双预测合并候选(候选类型2)
3.零向量合并/AMVP候选(候选类型3)
在候选类型1中,通过组合原始合并候选来创建组合的双预测合并候选。具体地,原始候选中的两个候选具有mvL0(列表0中的运动向量)和refIdxL0(列表0中的参考图像索引)或mvL1(列表1中的运动向量)和refIdxL1(列表1中的参考图像索引),用于创建双预测合并候选。组合的双预测合并候选的推导过程的示例性图500在图5中示出。其中A和B表示当前块的不同相邻块(如图4所示)。具有合并索引0的合并候选(其是列表0的单预测候选)和具有合并索引1的合并候选(其是列表1的单预测候选)形成具有合并索引2的合并候选,其是双预测候选。
在候选类型2中,通过缩放原始合并候选,经缩放的双预测合并候选被创建。具体地,原始候选中的候选,其具有列表X中的运动向量(mvLX)和列表X中的参考图像索引(refIdxLX),X可以是0或1,被用于创建双预测合并候选。例如,候选A是具有mvL0_A和ref0的单预测的列表0。为了缩放候选A,ref0被首先复制到列表1中的参考索引ref0'。之后,通过用ref0和ref0'缩放mvL0_A来计算mvL0'_A。然后,具有列表0中的mvL0_A和ref0以及列表1中的mvL0'_A和ref0'的双预测合并候选被创建和被添加到合并候选列表中。经缩放的双预测合并候选的推导过程的示例图600在图6中示出。原始合并候选列表602包括列表0中的参考索引0(ref0)处的mvL0_A,以及列表1中的参考索引1(ref1)处的mvL1_A。图6示出五个帧,包括当前帧Cur,列表0的参考0(L0R0),列表0的参考1(L0R1),列表1的参考0(L1R0)和列表1的参考1(L1R1)。Ref0被首先复制到列表1中的参考索引ref0'(参考索引2)。之后,通过用ref0和ref0'缩放mvL0_A来计算mvL0'_A。类似地,mvL1_A被复制到列表0中的参考索引ref1'(参考索引3)。之后,通过用ref1和ref1'缩放MVL1'_A来计算mvL1'_A。因此,在添加经缩放的候选之后,合并候选列表604还包括ref0'处的MVL0'_A和ref1'处的MVL1'_A。
在候选类型3中,零向量合并/AMVP候选可通过组合可被参考的零向量和参考索引来创建。图7示出用于零向量合并候选和零向量AMVP候选的示例图700。如果零向量候选不重复,则它们被添加到合并/AMVP候选列表中。如图7所示,对于合并模式,原始合并候选列表702包括三个合并候选,合并索引0处的列表0中的mvL0_A,合并索引1处的列表1中的mvL1_B,以及合并索引2处的列表1中的MVL1_B和列表0中的mvL0_A。如在添加零候选之后的合并候选列表704中所示,零向量(0,0)被添加到列表0和列表1以在参考索引3和4处形成剩余的两个合并候选。对于AMVP模式,原始AMVP候选列表706包括索引0处的列表0中的mvL0_A,索引1处的列表0中的mvL0_B,以及索引0处的列表1中的mvL1_A。零向量(0,0)被添加到每个列表0(在索引2处)和列表1(在索引1处)以生成AMVP候选列表708。
当以帧内模式编码PU时,传统上帧内预测方法仅利用与当前PU相邻的一参考层和帧内预测模式之一来生成当前PU的预测子。对于帧内预测模式,空间相邻重构像素可被用于生成方向预测。多个方向(例如,33,65或更多)可被使用。这里以HEVC中的帧内预测模式为例。HEVC中最多有33个方向,平面模式和DC模式。在HEVC中的所有35种帧内预测模式中,三种模式被认为是用于预测当前预测块中的帧内预测模式的最可能模式(most probablemode,简称MPM)。这三种模式被选择作为MPM集合。例如,在左预测块中、上方预测块中使用的帧内预测模式,以及在两个相邻块中的帧内预测模式相同且都是方向性,或两个相邻块中的仅一个可用且被编码在帧内预测中且同时该帧内预测模式是方向性的情况下,紧接着该方向的两个相邻方向也被用在MPM中。在MPM集合中还考虑DC模式和平面模式以填充MPM中的可用点,尤其是如果上部或顶部相邻块在帧内预测中不可用或未被编码,或者相邻块中的帧内预测模式不是方向性的。如果当前预测块的帧内预测模式是MPM集合中的模式之一,则1或2个二进制位被用来发送指示它是哪一个。否则,如果它与MPM集合中的任一条目都不同,则其被编码为非MPM模式。共有32种这样的非MPM模式和(5位)固定长度编码方法被用于发送该模式。33个方向在图8中的图800中示出。在图8中,总共有33个方向模式,可使用H,H+1~H+8,H-1~H-7,V,V+1~V+8,V-1~V-8。该***可扩展到一般情况,其中水平和垂直模式表示为H和V模式。对于其他方向模式,可被表示为H+k或V+k模式,其中k=+-1,+-2,......,等等。例如,如果65个方向模式被使用,则k的范围可以从+-1到+-16。
本发明描述的技术提供了MH模式。MH模式将现有预测模式(例如,帧间或帧内预测模式)与额外预测(例如额外合并索引预测)组合,并保存两个假设的信息以供将参考使用MH模式编码的块的后续编码块(例如,PU/CU)使用。在一些实施例中,标志被发送以指示是否启用MH模式。如果启用MH模式,则在一些实施例中,额外的索引(或多个索引)被发送以指示额外预测。在一些其他实施例中,对于MH模式,多假设预测被用于生成对当前块的最终预测。
在一些实施例中,MH模式可被用于改进帧间预测。在一些实施例中,MH模式可被用于改进跳过和/或合并模式。在跳过和合并模式的现有实现方式中,合并索引被用来选择运动候选,其可以是由候选自身导出的单预测或双预测。生成的运动补偿预测子可被认为是第一(一)假设。对于MH模式,该技术产生第二假设和/或另外的假设。预测子的第二假设可例如通过来自合并或跳过模式的运动补偿来生成,或者可通过来自帧内模式的帧内预测模式来生成。当多个预测子假设被获得时,这些假设的简单平均值或加权和可被用来生成最终预测子。
编码器和/或解码器可保存假设的信息。在一些实施例中,除了第一假设的信息之外,选择MH模式的PU还可保存第二假设的信息。出于便于解释的目的,本文描述的一些示例讨论使用两个假设,尽管这仅用于示例性目的,并且应当理解,任一附加数量的假设可被使用而不脱离本文描述的技术。
在一些实施例中,当预测子的第二假设通过运动补偿(例如,通过图2中的编码器200中的运动补偿单元224和/或图3中的解码器300中的预测单元304)生成时,对于选择MH模式的块,使用于产生第一个预测数据的假设和/或第二个预测数据的假设之运动信息可以被保存以供使用适当的预测模式之后续编码块(例如,PU/CU)参考。
在一些实施例中,当预测子的第二假设通过帧内预测模式生成时,用于第一假设的运动信息和/或用于预测子的第二假设的帧内预测模式可被保存以供后续使用帧内预测模式的编码块参考。
在一些实施例中,当预测子的第二假设通过运动补偿生成时,用于预测子的第一和/或第二假设的运动信息可被保存以供后续使用帧间预测模式的编码块(例如,PU/CU)参考使用MH模式编码的块。预测子的两个假设的运动信息可被单独使用。举例来说,对于帧间CU/PU(例如,合并CU/PU),空间MVP可从相邻块被导出。如果参考的相邻块用MH模式编码,其预测子的第二假设是通过运动补偿产生的,则来自两个假设的两组运动可被视为两个单独的候选MVP(例如,用于使用帧间预测模式的参考)。因此,相邻块将具有可用于当前块的多于一个的运动候选。又如,对于帧间CU/PU(例如,合并CU/PU),时间MVP可从同位块导出。如果参考的同位块使用MH模式编码,其预测子的第二假设是通过运动补偿产生的,则来自两个假设的两组运动可被视为两个单独的候选MVP(例如,用于使用帧间预测模式的参考)。因此,同位块将具有可用于当前块的多于一个的运动候选。
在一些实施例中,当通过运动补偿生成预测子的第二假设时,预测子的第二假设的运动信息可被保存以供后续使用帧间预测模式的编码块参考使用MH模式编码的块。在一些实施例中,预测子的两个假设的运动信息可被用来生成新的组合运动信息。举例来说,对于帧间CU/PU(例如,合并CU/PU),空间MVP可从相邻块导出。如果参考的相邻块使用多假设模式编码,其预测子的第二假设是通过运动补偿生成的,则来自两个假设的两组运动可被组合以生成新的候选MVP。组合方法可以是简单的平均值或加权和或使用的其他双预测合并候选。组合方法的示例如下。来自列表0的单预测运动和来自列表1的单预测运动可形成双预测运动。又如,对于帧间CU/PU(例如,合并CU/PU),时间MVP可从同位块导出。如果参考的同位块用多假设模式编码,其预测子的第二假设是通过运动补偿生成的,则来自两个假设的两组运动可被组合以生成新的候选MVP。组合方法可以是简单的平均值或加权和或使用的其他双预测合并候选。组合方法的示例如下。来自列表0的单预测运动和来自列表1的单预测运动可形成一双预测运动。
在一些实施例中,当预测子的第二假设通过帧内预测模式生成时,帧内预测模式可被保存以供后续使用帧内预测模式的编码块参考使用MH模式编码的块。对于帧内PU,MPM将从相邻块导出。如果参考的相邻块用多假设模式编码,其预测子的第二假设由帧内预测模式生成,则用于生成预测子的第二假设的帧内预测模式可被***到MPM列表中。待***位置可以与来自正常帧内模式的帧内预测模式将被添加的位置相同,或者来自多假设模式的帧内预测模式可被***在来自正常帧内模式的帧内预测模式的位置之前,或者来自多假设模式的预测模式可被***在来自正常帧内模式的帧内预测模式的位置之后。
在一些实施例中,当预测子的第二假设通过帧内预测模式生成时,帧内预测模式可被保存以供后续编码块参考(例如,使用帧内预测模式进行参考)这些块。对于帧内PU,MPM将从相邻块导出。如果参考的相邻块用多假设模式编码,其预测子的第二假设是由帧内预测模式生成的,则在帧内定向模式的范围与正常帧内模式不同的情况下,用于生成预测子第二假设的帧内预测模式需要被映像。一种可能的映射方法是构建预定义表,以将来自多假设模式的帧内定向模式与来自正常帧内模式的当前使用的帧内定向模式范围内的帧内定向模式相对应。
在一些实施例中,当第二假设的信息通过以下CU/PU参考时,参考帧约束可被应用。例如,如果来自参考帧的同位CU/PU使用其中第一和第二假设都生成运动信息的多假设模式编码,则仅来自第一或第二假设的一组运动数据可通过以下CU/PU来参考。如此可防止用于存储用于时间参考的运动信息的原始缓冲器大小加倍。在又一个实施例中,CTU约束可被应用。例如,如果同一帧中的相邻CU/PU使用多假设模式进行编码,则仅当CU/PU属于与当前CU/PU相同的CTU时来自第二假设的帧内模式或运动才可参考。因此,多假设块的信息(例如,包括第一假设的信息和/或第二假设的信息)可被约束,使得仅当MH块和随后的PU/CU(将参考先前的MH块)位于相同的CTU行(row)中时可以参考它。如此可防止CTU行缓冲器存储帧内模式或运动数据。CTU约束可被应用于MH帧间模式(其中第二假设从帧间预测导出)或MH帧内模式(其中第二假设从帧内预测导出)。
任一前述提出的方法可在编码器和/或解码器中实现。例如,任一所提出的方法可在编码器的帧间编码模块或帧内编码模块,运动补偿模块,解码器的合并候选推导模块中实现。或者,任一所提出的方法可实现为耦合到编码器和/或运动补偿模块的帧间编码模块或帧内编码模块的电路,解码器的合并候选导出模块。
如本文所述,用于MH模式的技术可以用在各种视频编解码标准中。虽然本文讨论的一些示例使用HEVC作为示例,但是应当理解,其他视频编解码标准也可以使用本文描述的技术。
在一些实施例中,具有从帧内预测模式生成的预测子的第二假设的MH模式被用作组合帧间合并/帧内预测(combined inter merge/intra prediction,简称CIIP)模式。在一些实施例中,来自合并模式的运动信息被用于生成预测子的第一假设,以及帧内预测模式(例如,平面模式)被用于生成CIIP模式的预测子的第二假设。当使用CIIP模式对编码单元(例如,CU)进行编码时,运动信息和/或帧内预测模式可被保存以供后续CU参考。
在一些实施例中,具有由帧间预测模式生成的预测子的第二假设的MH模式被用作三角形预测模式(triangle prediction mode,简称TPM)。在一些实施例中,TPM将CU分成两个三角形预测单元,如图9中的图900所示。CU可在不同的方向被划分。如分割910所示,CU可从左上角到右下角分割,从而产生PU1 912和PU2 914。如分割920所示,CU可从右上角到左下角分割,产生PU1 922和PU2 924。每个三角形预测单元可使用单预测运动。在预测两个三角形预测单元之后,自适应加权处理可被执行于对角线边缘。在一些实施例中,对于非加权区域单预测运动被存储,以及对于加权区域由两个三角形预测单元中的至少一个中使用的单预测运动形成的双预测运动被存储。举例来说,对于帧间CU/PU(例如,合并CU/PU),空间MVP可从相邻块导出。如果参考的相邻块位于用TPM编码的CU/PU的非加权区域内,则存储的单预测可被参考。又如,对于帧间CU/PU(例如,合并CU/PU),时间MVP可从同位块导出。如果所参考的同位块位于用TPM编码的CU/PU的非加权区域内,则所存储的单预测可被参考。对于另一示例,对于帧间CU/PU(例如,合并CU/PU),空间MVP可从相邻块导出。如果参考的相邻块位于用TPM编码的CU/PU的加权区域内,则存储的双预测可被参考。又如,对于帧间CU/PU(例如,合并CU/PU),时间MVP可从同位块导出。如果参考的同位块位于用TPM编码的CU/PU的加权区域内,则存储的双预测可被参考。
如本文所述,上述技术可用在编码器或解码器中。图10示出根据一些实施例的用于使用多假设模式对视频数据进行编码的示例性编码过程1000。编码处理1000可以例如由图1所示的编码设备104执行。在步骤1002,编码器使用第一预测模式生成用于图像的当前编码块(例如,PU)的第一预测数据,和使用第二预测模式生成用于当前编码块的第二预测数据。虽然步骤1002示出用于生成第一和第二预测数据的单个步骤,但这是出于说明性目的,因为第一和第二预测数据可在相同阶段或不同阶段生成。如本文所讨论的,第二预测模式可以是帧间预测模式或帧内预测模式。在步骤1004,编码器存储从第一预测数据和第二预测数据中的至少一个导出的信息。
图11示出根据一些实施例的用于使用多假设模式解码视频数据的示例性解码过程1100。在步骤1104,解码设备确定是否使用多于一个的预测数据假设来预测图像的当前编码块。如果是,则方法前进到步骤1106,解码器确定使用当前编码块的第一预测模式生成的第一预测数据和使用第二预测模式生成的第二预测数据,其中第一预测模式不同于第二预测模式。在步骤1108,解码器存储从编码块的第一预测模式和第二预测模式中的至少一个导出的信息。返回参考步骤1104,如果当前编码块未使用多假设来编码,则该方法前进到步骤1110以及将第一预测模式用于当前编码块。虽然步骤1104和1106示出用于确定第一和第二预测数据的步骤,但这是出于说明性目的,因为可在相同阶段或在不同阶段确定第一和第二预测数据。例如,解码器可确定(例如,使用标志)使用多假设对块进行编码,确定第一预测数据以及在相同阶段或在几个单独的阶段或这些步骤的任一组合中确定第二预测数据。
作为说明性示例,解码器可被配置为使用CIIP来解码视频数据。对于合并CU,CIIP标志可被发送以指示CIIP是否应用于该合并CU。如果标志指示CIIP被应用(例如,标志为真),则解码器可使用运动候选来生成第一假设,以及从平面模式确定预测的额外假设。然后,解码器将两个假设组合作为该合并CU的最终预测(例如,通过对两个假设求平均值或计算假设的加权和)。
作为另一个说明性示例,解码器可被配置为使用TPM来解码视频数据。对于合并CU,当解码器确定TPM被应用于该合并块时,解码器从运动候选1生成一假设和从运动候选2产生一额外假设。运动候选1与运动候选2不同。然后,解码器将两个假设组合作为该合并CU的最终预测。
根据本文描述的原理操作的技术可以以任何合适的方式实现。上述的流程图的处理和决策块表示可包括在执行这些各种过程的算法中的步骤和动作。从这些过程导出的算法可实现为与一个或多个单用途或多用途处理器的操作集成并指导其操作的软件,可实现为功能等效电路,例如数字信号处理(Digital Signal Processing,简称DSP)电路或应用-特定集成电路(Application-Specific Integrated Circuit,简称ASIC),或者可以以任一其他合适的方式实现。应当理解,本发明包括的流程图不描绘任何具体电路或任何具体程序设计语言或程序设计语言类型的语法或操作。相反,流程图示出所属领域的技术人员可用来制造电路或实现计算机软件算法以执行本文所述技术类型的具体装置的处理的功能信息。还应当理解,除非本文另有指示,否则每个流程图中描述的具体步骤和/或动作序列仅仅是对可实现的算法的说明,以及可在本文描述的原理的实现方式和实施例中变化。
因此,在一些实施例中,本文描述的技术可体现为实现为软件的计算机可执行指令,包括作为应用软件,***软件,固件,中间件,嵌入代码或任何其他合适类型的计算机代码。这样的计算机可执行指令可使用多个合适的程序设计语言和/或程序设计或脚本工具中的任何一种来编写,以及还可被编译为在框架或虚拟机上执行的可执行机器语言代码或中间代码。
当本文描述的技术体现为计算机可执行指令时,这些计算机可执行指令可以以任何合适的方式实现,包括作为多个功能设施,每个功能设施提供一个或多个操作以完成根据这些技术操作的算法的执行操作。然而,实例化的“功能设施”是计算机***的结构组件,当与一个或多个计算机集成和由一个或多个计算机执行时,会导致一个或多个计算机执行特定的操作角色。功能设施可以是软件元素的一部分或整个软件元素。例如,功能设施可根据过程,或作为离散过程,或作为任何其他合适的处理单元来实现。如果这里描述的技术被实现为多功能设施,则每个功能设施可以以其自己的方式实现;所有这些都不需要以同样的方式实现。另外,这些功能设施可以适当地并行和/或串行地执行,以及可使用它们正在执行的计算机上的共享内存以在彼此之间传递信息,使用消息传递协议,或其他合适的方式。
一般来说,功能设施包括执行具体任务或实现具体抽象数据类型的惯例,程序,对象,组件,数据结构等。通常,功能设施的功能可根据需要在它们运行的***中组合或分布。在一些实现方式中,执行本文技术的一个或多个功能设施可一起形成完整的软件包。在备选实施例中,这些功能设施可以适于与其他不相关的功能设施和/或过程交互,以实现软件程序应用。
本发明已经描述了用于执行一个或多个任务的一些示例性功能设施。然而,应当理解,所描述的功能设施和任务划分仅仅是可以实现本文描述的示例性技术的功能设施的类型的说明,并且实施例不限于以任何具体数量,划分,或功能设施的类型。在一些实现方式中,所有功能可在单个功能设施中实现。还应当理解,在一些实施方式中,本文描述的一些功能设施可与其他功能设施一起实施或与其他功能设施分开实施(即,作为单个单元或单独的单元),或者这些功能设施中的一些可以不实现。
在一些实施例中,实现本文描述的技术的计算机可执行指令(当实现为一个或多个功能设施或以任何其他方式实施时)可在一个或多个计算机可读介质上编码以向媒体提供功能。计算机可读介质包括诸如硬盘驱动器之类的磁介质,诸如光盘(Compact Disk,简称CD)或数字多功能碟(Digital Versatile Disk,简称DVD)之类的光学介质,永久或非永久固态内存(例如,闪存,磁性RAM等)或任何其他合适的存储介质。这种计算机可读介质可以以任何合适的方式实现。如这里所使用的,“计算机可读介质”(也称为“计算机可读存储介质”)指的是有形存储介质。有形存储介质是非暂时性的以及具有至少一个物理结构组件。在如本文所使用的“计算机可读介质”中,至少一个物理结构组件具有至少一个物理特性,该特性可在创建具有嵌入信息的介质的过程,在其上记录信息的过程,或用信息编码媒体的任何其他过程期间以某种方式改变。例如,计算机可读介质的物理结构的一部分的磁化状态可在记录过程期间改变。
此外,上述一些技术包括以特定方式存储信息(例如,数据和/或指令)以供这些技术使用的动作。在这些技术的一些实现方式中—诸如将技术实现为计算机可执行指令的实现方式—该信息可以在计算机可读存储介质上编码。在本文中将特定架构为存储该信息的有利格式的情况下,这些结构可用于在编码在存储介质上时发送信息的物理组织。然后,这些有利结构可通过影响与信息交互的一个或多个处理器的操作来向存储介质提供功能;例如,通过提高处理器执行的计算机操作的效率。
在其中技术可以体现为计算机可执行指令的一些但非全部实现方式中,这些指令可在任一合适的计算机***中操作的一个或多个合适的计算设备中执行,或一个或多个计算设备(或者,一个或多个计算设备的一个或多个处理器)可被程序设计为执行计算机可执行指令。当指令以计算设备或处理器可访问的方式存储时,计算设备或处理器可被程序设计为执行指令,例如在数据存储(例如,片上高速缓存或指令寄存器,可被总线访问的计算机可读存储介质,可被一个或多个网络访问并可由设备/处理器访问的计算机可读存储介质等)。包括这些计算机可执行指令的功能设施可与以下设备的操作集成和指导其操作:单个多用途可程序设计数字计算设备,共享处理能力和联合执行本文描述的技术的两个或更多个多用途计算设备的协调***,专用于执行本文所述技术的单个计算设备或计算设备的协调***(同位或地理分布),用于执行本文所述技术的一个或多个现场可程序设计门阵列(Field-Programmable Gate Array,简称FPGA),或任何其他合适的***。
计算设备可包括至少一个处理器,网络适配器和计算机可读存储介质。计算设备可以是例如台式或膝上型个人计算机,个人数字助理(Personal digital assistant,简称PDA),智慧移动电话,服务器或任何其他合适的计算设备。网络适配器可以是任何合适的硬件和/或软件,以使计算设备能够通过任何合适的计算网络与任何其他合适的计算设备进行有线和/或无线通信。计算网络可包括无线接入点,交换机,路由器,网关和/或其他网络设备以及用于在两个或更多个计算机(包括因特网)之间交换数据的任何合适的有线和/或无线通信介质或介质。计算机可读介质可以适于存储要处理的数据和/或要由处理器执行的指令。处理器能够处理数据和执行指令。数据和指令可以存储在计算机可读存储介质上。
计算设备可另外具有一个或多个组件和接口设备,包括输入和输出设备。除其他用途之外,这些设备可被用于呈现用户接口。可用于提供用户接口的输出设备的示例包括用于输出视觉呈现的打印机或显示屏,和用于输出的有声呈现的扬声器或其他声音生成设备。可用作用户接口的输入设备的示例包括键盘和指示设备,诸如鼠标,触摸板和数字化平板计算机。作为另一示例,计算设备可通过语音识别或其他有声格式接收输入信息。
以电路和/或计算机可执行指令实现这些技术的实施例已被描述。应当理解,一些实施例可以是方法的形式,其中已经提供了至少一个示例。作为方法的一部分执行的动作可以以任何合适的方式排序。因此,这样的实施例可被构造,其中以不同于所示的顺序执行动作,其可包括同时执行一些动作,即使在示例性实施例中示出为顺序动作。
上述实施例的各个方面可单独使用,组合使用,或者在前面描述的实施例中没有具体讨论的各种布置中使用,因此不限于其应用于前面的描述或附图中示出的上述实施例中阐述的组件的细节和布置。例如,一个实施例中描述的各方面可以以任何方式与其他实施例中描述的各方面组合。
在权利要求中使用诸如“第一”,“第二”,“第三”等的序数术语来修改权利要求的元素本身并不意味着任何优先权,优先级,或一个权利要求元素的顺序优先于另一个,或执行方法的行为的时间顺序,但仅用作标签以区分具有具体名称的一个权利要求元素与具有相同名称的另一个元素(但是用于使用序数术语),进而区分权利要求的元素。
此外,这里使用的措辞和术语是出于描述的目的,而不应被视为限制。本文中“包括”,“包含”,“具有”,“含有”,“涉及”及其变化形式的使用旨在涵盖其后列出的项目及其等同物以及附加项目。
本文使用的“示例性”一词意味着用作示例,实例或说明。因此,在此描述为示例性的任何实施例,实现,过程,特征等应当被理解为说明性示例,并且除非另有指示,否则不应被理解为优选或有利示例。
至少一个实施例的若干方面已被如此描述,应当理解,所属领域的技术人员将容易想到各种改变,修改和改进。这些改变,修改和改进旨在成为本公开的一部分,并且旨在落入本文描述的原理的精神和范围内。因此,前面的描述和附图仅是示例性的。
Claims (26)
1.一种用于解码视频数据的视频解码方法,包括:
确定是否多于一个预测数据的假设被用于生成图像的当前编码块的预测数据,其中当多于一个预测数据的假设被用于生成所述图像的所述当前编码块的所述预测时:
确定使用第一预测模式生成的所述图像的所述当前编码块的第一预测数据;
确定使用第二预测模式生成的所述当前编码块的第二预测数据;以及
存储从所述第一预测模式和所述第二预测模式中的至少一个导出的信息。
2.如权利要求1所述的用于解码视频数据的视频解码方法,其特征在于,更包括组合从所述当前编码块的所述第一预测模式和所述第二预测模式中导出的信息,以及存储所述组合的信息。
3.如权利要求1所述的用于解码视频数据的视频解码方法,其特征在于,所述第一预测数据和所述第二预测数据从不同运动候选生成,其中所述第一预测数据和所述第二预测数据均使用帧间预测模式生成。
4.如权利要求1所述的用于解码视频数据的视频解码方法,其特征在于,作为所述当前编码块的后续编码块的第二编码块使用存储的所述信息,其中存储的所述信息利用所述当前编码块的所述第一预测模式和所述第二预测模式中的至少一个来导出。
5.如权利要求1所述的用于解码视频数据的视频解码方法,其特征在于,确定使用所述第二预测模式生成的所述当前编码块的所述第二预测数据包括使用帧内预测模式产生所述第二预测数据。
6.如权利要求5所述的用于解码视频数据的视频解码方法,其特征在于,更包括根据所述第二预测模式产生在帧内预测中使用的最可能模式的列表,用于所述当前编码块的后续编码块。
7.如权利要求5所述的用于解码视频数据的视频解码方法,其特征在于,更包括使用具有所述第二预测模式作为候选的帧内预测来对所述后续编码块进行解码。
8.如权利要求1所述的用于解码视频数据的视频解码方法,其特征在于,所述当前编码块的所述第一预测数据和/或所述第二预测数据基于先前编码块被确定。
9.如权利要求8所述的用于解码视频数据的视频解码方法,其特征在于,所述当前编码块和所述先前编码块属于相同编码树单元和/或相同帧。
10.如权利要求1所述的用于解码视频数据的视频解码方法,其特征在于,仅当多个后续编码块和所述当前编码块属于相同编码树单元和/或相同帧,所述等后续编码块使用从所述第一预测模式和所述第二预测模式的至少一个导出的所述存储信息的至少一部分。
11.如权利要求1所述的用于解码视频数据的视频解码方法,其特征在于,当多个后续编码块和所述当前编码块属于不同编码树单元和/或不同帧,所述等后续编码块使用除从所述第一预测模式和所述第二预测模式的至少一个导出的所述存储信息的至少一部分之外的信息。
12.如权利要求1所述的用于解码视频数据的视频解码方法,其特征在于,仅从所述第一预测模式和所述第二预测模式中之一导出的信息被存储。
13.如权利要求1所述的用于解码视频数据的视频解码方法,其特征在于,从所述第一预测模式和所述第二预测模式至少一个导出的所述存储信息被用于所述后续编码块以作参考。
14.如权利要求1所述的用于解码视频数据的视频解码方法,其特征在于,更包括:
利用将所述第一预测数据和所述第二预测数据进行加权组合产生所述当前编码块的所述预测数据。
15.一种用于解码视频数据的装置,所述装置包括与内存通讯的处理器,所述处理器被配置为执行所述内存内存储的指令使得所述处理器:
确定是否多于一个预测数据的假设被用于生成图像的当前编码块的预测数据,其中当多于一个预测数据的假设被用于生成所述图像的所述当前编码块的所述预测时:
确定使用第一预测模式生成的所述图像的所述当前编码块的第一预测数据;
确定使用第二预测模式生成的所述当前编码块的第二预测数据;以及
存储从所述第一预测模式和所述第二预测模式中的至少一个导出的信息。
16.一种用于编码视频数据的编码方法,包括:
使用第一预测模式产生图像的当前编码块的第一预测数据;
使用第二预测模式产生所述当前编码块的第二预测数据;以及
存储从所述第一预测模式和所述第二预测模式的至少一个导出的信息。
17.如权利要求16所述的用于编码视频数据的编码方法,其特征在于,所述第一预测数据和所述第二预测数据从不同运动候选生成,其中所述第一预测数据和所述第二预测数据均使用帧间预测模式生成。
18.如权利要求17所述的用于编码视频数据的编码方法,其特征在于,基于利用所述当前编码块的所述第一预测模式和所述第二预测模式中的至少一个来导出的信息,对作为所述当前编码块的后续编码块的第二编码块进行编码。
19.如权利要求17所述的用于编码视频数据的编码方法,其特征在于,更包括:
使用利用所述第一预测模式和所述第二预测模式导出的信息,产生组合的预测信息;以及
基于所述组合的预测信息对后续编码块进行编码。
20.如权利要求16所述的用于编码视频数据的编码方法,其特征在于,使用所述第二预测模式产生所述第二预测数据包括使用帧内预测模式产生所述第二预测数据。
21.如权利要求20所述的用于编码视频数据的编码方法,其特征在于,更包括根据所述第二预测模式产生在帧内预测中使用的最可能模式的列表,用于所述当前编码块的后续编码块。
22.如权利要求20所述的用于编码视频数据的编码方法,其特征在于,更包括使用具有所述第二预测模式作为候选的帧内预测来对所述后续编码块进行编码。
23.如权利要求16所述的用于编码视频数据的编码方法,其特征在于,仅当多个后续编码块和所述当前编码块属于相同编码树单元和/或相同帧,所述等后续编码块使用从所述第一预测模式和所述第二预测模式的至少一个导出的所述存储信息的至少一部分。
24.如权利要求16所述的用于编码视频数据的编码方法,其特征在于,仅从所述第一预测数据和所述第二预测数据中之一导出的信息被存储。
25.如权利要求16所述的用于编码视频数据的编码方法,其特征在于,从所述第一预测模式和所述第二预测模式至少一个导出的所述信息被用于所述后续编码块以作参考。
26.如权利要求16所述的用于编码视频数据的编码方法,其特征在于,更包括:
利用将所述第一预测数据和所述第二预测数据进行加权组合产生所述当前编码块的所述预测数据。
Applications Claiming Priority (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201862682224P | 2018-06-08 | 2018-06-08 | |
US62/682,224 | 2018-06-08 | ||
US16/432,890 | 2019-06-05 | ||
US16/432,890 US11477474B2 (en) | 2018-06-08 | 2019-06-05 | Methods and apparatus for multi-hypothesis mode reference and constraints |
PCT/CN2019/090350 WO2019233476A1 (en) | 2018-06-08 | 2019-06-06 | Methods and apparatus for multi-hypothesis mode reference and constraints |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112534807A true CN112534807A (zh) | 2021-03-19 |
CN112534807B CN112534807B (zh) | 2024-01-05 |
Family
ID=68764388
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201980037502.2A Active CN112534807B (zh) | 2018-06-08 | 2019-06-06 | 一种用于编码/解码视频数据的方法和装置 |
Country Status (5)
Country | Link |
---|---|
US (1) | US11477474B2 (zh) |
EP (1) | EP3791576A4 (zh) |
CN (1) | CN112534807B (zh) |
TW (1) | TWI720504B (zh) |
WO (1) | WO2019233476A1 (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2023280311A1 (en) * | 2021-07-08 | 2023-01-12 | Beijing Bytedance Network Technology Co., Ltd. | Method, apparatus, and medium for video processing |
Families Citing this family (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3562158A1 (en) * | 2018-04-27 | 2019-10-30 | InterDigital VC Holdings, Inc. | Method and apparatus for combined intra prediction modes |
BR112021000750A2 (pt) * | 2018-07-16 | 2021-05-11 | Electronics And Telecommunications Research Institute | método e aparelho para codificar/decodificar imagens e mídia de gravação na qual um fluxo de bits é armazenado |
WO2020073896A1 (en) * | 2018-10-08 | 2020-04-16 | Huawei Technologies Co., Ltd. | Apparatuses and methods for inter prediction of a triangle partition of a coding block |
CN113170113A (zh) * | 2018-11-30 | 2021-07-23 | 交互数字Vc控股公司 | 用于视频编码和解码的三角形和多重假设组合 |
US10917636B2 (en) * | 2018-12-03 | 2021-02-09 | Tencent America LLC | Method and apparatus for video coding |
WO2020116402A1 (ja) * | 2018-12-04 | 2020-06-11 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ | 符号化装置、復号装置、符号化方法、および復号方法 |
US10778977B2 (en) * | 2018-12-05 | 2020-09-15 | Qualcomm Incorporated | Triangle motion information for video coding |
CN111294590A (zh) * | 2018-12-06 | 2020-06-16 | 华为技术有限公司 | 用于多假设编码的加权预测方法及装置 |
US20200213595A1 (en) * | 2018-12-31 | 2020-07-02 | Comcast Cable Communications, Llc | Methods, Systems, And Apparatuses For Adaptive Processing Of Non-Rectangular Regions Within Coding Units |
KR20210158402A (ko) * | 2019-06-19 | 2021-12-30 | 엘지전자 주식회사 | 현재 블록에 대하여 최종적으로 예측 모드를 선택하지 못하는 경우 인터 예측을 수행하는 영상 디코딩 방법 및 그 장치 |
CN114208195A (zh) * | 2019-08-06 | 2022-03-18 | 北京字节跳动网络技术有限公司 | 基于颜色格式的尺寸限制 |
CN117714683A (zh) | 2019-09-02 | 2024-03-15 | 北京字节跳动网络技术有限公司 | 基于色彩格式的视频区分割 |
KR20220134561A (ko) | 2020-02-14 | 2022-10-05 | 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 | 비디오 코딩에서 참조 픽처 리샘플링 (reference picture resampling) 활성화 |
US20220311997A1 (en) * | 2021-03-29 | 2022-09-29 | Qualcomm Incorporated | Adaptively coding motion information for multiple hypothesis prediction for video coding |
KR20240087758A (ko) * | 2021-09-29 | 2024-06-19 | 주식회사 윌러스표준기술연구소 | Mhp(multi-hypothesis prediction)모드에 기초한 비디오 신호 처리 방법 및 이를 위한 장치 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103444181A (zh) * | 2011-04-12 | 2013-12-11 | 松下电器产业株式会社 | 运动图像编码方法、运动图像编码装置、运动图像解码方法、运动图像解码装置及运动图像编码解码装置 |
US20140086329A1 (en) * | 2012-09-27 | 2014-03-27 | Qualcomm Incorporated | Base layer merge and amvp modes for video coding |
CN104521237A (zh) * | 2012-08-07 | 2015-04-15 | 高通股份有限公司 | 用于可缩放视频译码及3d视频译码的多假设运动补偿 |
US20150271515A1 (en) * | 2014-01-10 | 2015-09-24 | Qualcomm Incorporated | Block vector coding for intra block copy in video coding |
CN106576178A (zh) * | 2014-06-19 | 2017-04-19 | Vid拓展公司 | 采用块向量导出的块内复制编码的方法和*** |
CN107113424A (zh) * | 2014-11-18 | 2017-08-29 | 联发科技股份有限公司 | 基于来自单向预测的运动矢量和合并候选的双向预测视频编码方法 |
CN107615765A (zh) * | 2015-06-03 | 2018-01-19 | 联发科技股份有限公司 | 视频编解码***中在帧内块复制模式和帧间预测模式之间的资源共享的方法和装置 |
WO2018050226A1 (en) * | 2016-09-15 | 2018-03-22 | Telefonaktiebolaget Lm Ericsson (Publ) | Guided transcoding |
Family Cites Families (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP2269379B1 (en) * | 2008-04-11 | 2019-02-27 | InterDigital Madison Patent Holdings | Methods and apparatus for template matching prediction (tmp) in video encoding and decoding |
US8873626B2 (en) * | 2009-07-02 | 2014-10-28 | Qualcomm Incorporated | Template matching for video coding |
KR101782929B1 (ko) | 2010-05-26 | 2017-09-28 | 엘지전자 주식회사 | 비디오 신호의 처리 방법 및 장치 |
EP2596636A1 (en) * | 2010-07-21 | 2013-05-29 | Dolby Laboratories Licensing Corporation | Reference processing using advanced motion models for video coding |
CN109413423B (zh) * | 2012-01-20 | 2022-11-01 | 杜比实验室特许公司 | 解码方法、视频解码设备及编码方法 |
US9357195B2 (en) * | 2012-08-16 | 2016-05-31 | Qualcomm Incorporated | Inter-view predicted motion vector for 3D video |
US20140092978A1 (en) * | 2012-10-01 | 2014-04-03 | Nokia Corporation | Method and apparatus for video coding |
WO2015010319A1 (zh) | 2013-07-26 | 2015-01-29 | 北京大学深圳研究生院 | 一种基于p帧的多假设运动补偿编码方法 |
US9854246B2 (en) * | 2014-02-28 | 2017-12-26 | Apple Inc. | Video encoding optimization with extended spaces |
US10666940B2 (en) * | 2014-11-06 | 2020-05-26 | Samsung Electronics Co., Ltd. | Video encoding method and apparatus, and video decoding method and apparatus |
WO2017197146A1 (en) | 2016-05-13 | 2017-11-16 | Vid Scale, Inc. | Systems and methods for generalized multi-hypothesis prediction for video coding |
CN111436228B (zh) * | 2018-11-12 | 2024-06-21 | 北京字节跳动网络技术有限公司 | 组合帧间-帧内预测的简化 |
-
2019
- 2019-06-05 US US16/432,890 patent/US11477474B2/en active Active
- 2019-06-06 EP EP19815222.5A patent/EP3791576A4/en active Pending
- 2019-06-06 WO PCT/CN2019/090350 patent/WO2019233476A1/en unknown
- 2019-06-06 CN CN201980037502.2A patent/CN112534807B/zh active Active
- 2019-06-06 TW TW108119773A patent/TWI720504B/zh active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103444181A (zh) * | 2011-04-12 | 2013-12-11 | 松下电器产业株式会社 | 运动图像编码方法、运动图像编码装置、运动图像解码方法、运动图像解码装置及运动图像编码解码装置 |
CN104521237A (zh) * | 2012-08-07 | 2015-04-15 | 高通股份有限公司 | 用于可缩放视频译码及3d视频译码的多假设运动补偿 |
US20140086329A1 (en) * | 2012-09-27 | 2014-03-27 | Qualcomm Incorporated | Base layer merge and amvp modes for video coding |
US20150271515A1 (en) * | 2014-01-10 | 2015-09-24 | Qualcomm Incorporated | Block vector coding for intra block copy in video coding |
CN106576178A (zh) * | 2014-06-19 | 2017-04-19 | Vid拓展公司 | 采用块向量导出的块内复制编码的方法和*** |
CN107113424A (zh) * | 2014-11-18 | 2017-08-29 | 联发科技股份有限公司 | 基于来自单向预测的运动矢量和合并候选的双向预测视频编码方法 |
CN107615765A (zh) * | 2015-06-03 | 2018-01-19 | 联发科技股份有限公司 | 视频编解码***中在帧内块复制模式和帧间预测模式之间的资源共享的方法和装置 |
WO2018050226A1 (en) * | 2016-09-15 | 2018-03-22 | Telefonaktiebolaget Lm Ericsson (Publ) | Guided transcoding |
Non-Patent Citations (3)
Title |
---|
CHIH-WEI HSU ET AL: "Description of Core Experiment 10: Combined and multi-hypothesis prediction", JOINT VIDEO EXPERTS TEAM (JVET) OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 11,NO.JVET-J1030, pages 2 * |
J.CHEN ET AL: "Description of scalable video coding technology proposal by Qualcomm (configuration 2)", JOINT COLLABORATIVE TEAM ON VIDEO CODING (JCT-VC) OF ITU-T SG16 WP3 AND ISO/IEC JTC1/SC29/WG11,NO.JCTVC-K0036, pages 2 * |
张娜: "视频压缩中高效帧间编码技术研究", 《中国博士论文全文数据库》 * |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2023280311A1 (en) * | 2021-07-08 | 2023-01-12 | Beijing Bytedance Network Technology Co., Ltd. | Method, apparatus, and medium for video processing |
Also Published As
Publication number | Publication date |
---|---|
EP3791576A4 (en) | 2022-10-19 |
TW202013974A (zh) | 2020-04-01 |
EP3791576A1 (en) | 2021-03-17 |
US20190379901A1 (en) | 2019-12-12 |
CN112534807B (zh) | 2024-01-05 |
WO2019233476A1 (en) | 2019-12-12 |
US11477474B2 (en) | 2022-10-18 |
TWI720504B (zh) | 2021-03-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112534807B (zh) | 一种用于编码/解码视频数据的方法和装置 | |
CN110169061B (zh) | 编解码电子装置与方法 | |
US11172203B2 (en) | Intra merge prediction | |
US11863757B2 (en) | Methods and apparatus for generating affine candidates | |
CN113455003B (zh) | 视频编解码方法及电子设备 | |
CN112400319B (zh) | 一种视频编码/解码方法及装置 | |
US20180109812A1 (en) | Block partitioning using tree structures | |
KR102550530B1 (ko) | 서브블록 기반의 모션 보상을 이용한 비디오 신호 처리 방법 및 장치 | |
CN113491123B (zh) | 用于多重-参考行预测与多重-假设预测的发信 | |
CN113141783A (zh) | 用于多重假设的帧内预测 | |
EP4162682A1 (en) | Geometric partition mode with motion vector refinement |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
TA01 | Transfer of patent application right |
Effective date of registration: 20220426 Address after: Hsinchu County, Taiwan, China Applicant after: MEDIATEK Inc. Address before: 1 Duxing 1st Road, Hsinchu Science Park, Hsinchu, Taiwan, China Applicant before: MEDIATEK Inc. |
|
TA01 | Transfer of patent application right | ||
GR01 | Patent grant | ||
GR01 | Patent grant |