CN109587479A - 视频图像的帧间预测方法、装置及编解码器 - Google Patents

视频图像的帧间预测方法、装置及编解码器 Download PDF

Info

Publication number
CN109587479A
CN109587479A CN201710912607.0A CN201710912607A CN109587479A CN 109587479 A CN109587479 A CN 109587479A CN 201710912607 A CN201710912607 A CN 201710912607A CN 109587479 A CN109587479 A CN 109587479A
Authority
CN
China
Prior art keywords
block
motion information
image block
inter
current image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710912607.0A
Other languages
English (en)
Other versions
CN109587479B (zh
Inventor
张娜
郑建铧
安基程
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Priority to CN201710912607.0A priority Critical patent/CN109587479B/zh
Priority to PCT/CN2018/105148 priority patent/WO2019062544A1/zh
Priority to EP18863727.6A priority patent/EP3672249B1/en
Publication of CN109587479A publication Critical patent/CN109587479A/zh
Priority to US16/832,707 priority patent/US11252436B2/en
Application granted granted Critical
Publication of CN109587479B publication Critical patent/CN109587479B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/587—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal sub-sampling or interpolation, e.g. decimation or subsequent interpolation of pictures in a video sequence
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/109—Selection of coding mode or of prediction mode among a plurality of temporal predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/577—Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/91—Entropy coding, e.g. variable length coding [VLC] or arithmetic coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本申请实施例公开了视频图像的帧间预测方法和相关产品。其中该帧间预测方法包括：确定用于对当前图像块进行帧间预测的帧间预测模式，其中所述帧间预测模式是候选帧间预测模式集合中的一种，所述候选帧间预测模式集合包括：用于非方向性的运动场的多种帧间预测模式，和/或用于方向性的运动场的多种帧间预测模式；以及，基于所述确定的帧间预测模式，对所述当前图像块执行帧间预测。本申请实施例还公开了基于不同的帧间预测模式的运动信息预测方法。本申请实施例方案有利于提升图像块的运动信息(例如运动矢量)的预测准确性，在视频质量相同的情况下节省了码率，从而提高编解码性能。

Description

视频图像的帧间预测方法、装置及编解码器
技术领域
本申请涉及视频编解码技术领域，尤其涉及一种视频图像的帧间预测方法、装置以及相 应的编码器和解码器。
背景技术
数字视频能力可并入到多种多样的装置中，包含数字电视、数字直播***、无线广播系 统、个人数字助理(PDA)、膝上型或桌上型计算机、平板计算机、电子图书阅读器、数码相机、数字记录装置、数字媒体播放器、视频游戏装置、视频游戏控制台、蜂窝式或卫星无线电电话(所谓的“智能电话”)、视频电话会议装置、视频流式传输装置及其类似者。数 字视频装置实施视频压缩技术，例如，在由MPEG-2、MPEG-4、ITU-T H.263、ITU-T H.264/MPEG-4第10部分高级视频编码(AVC)定义的标准、视频编码标准H.265/高效视频 编码(HEVC)标准以及此类标准的扩展中所描述的视频压缩技术。视频装置可通过实施此 类视频压缩技术来更有效率地发射、接收、编码、解码和/或存储数字视频信息。
视频压缩技术执行空间(图像内)预测和/或时间(图像间)预测以减少或去除视频序列 中固有的冗余。对于基于块的视频编码，视频条带(即，视频帧或视频帧的一部分)可分割 成若干图像块，所述图像块也可被称作树块、编码单元(CU)和/或编码节点。使用关于同 一图像中的相邻块中的参考样本的空间预测来编码图像的待帧内编码(I)条带中的图像块。 图像的待帧间编码(P或B)条带中的图像块可使用相对于同一图像中的相邻块中的参考样 本的空间预测或相对于其它参考图像中的参考样本的时间预测。图像可被称作帧，且参考图 像可被称作参考帧。
其中，包含高效视频编码(HEVC)标准在内的各种视频编码标准提出了用于图像块的 预测性编码模式，即基于已经编码的视频数据块来预测当前待编码的块。在帧内预测模式中， 基于与当前块在相同的图像中的一或多个先前经解码相邻块来预测当前块；在帧间预测模式 中，基于不同图像中的已经解码块来预测当前块。
然而，现有的几种帧间预测模式，例如合并模式(Merge mode)、跳过模式(Skipmode) 和高级运动矢量预测模式(AMVP mode)仍然无法满足实际的不同应用场景对运动矢量的预 测准确性的要求。
发明内容
本申请实施例提供一种视频图像的帧间预测方法、装置及相应的编码器和解码器，一定 程度上提高图像块的运动信息的预测准确性，从而提高编解码性能。
第一方面，本申请实施例提供了一种视频图像的帧间预测方法，包括：确定用于对当前 图像块进行帧间预测的帧间预测模式，其中所述帧间预测模式是候选帧间预测模式集合中的 一种，所述候选帧间预测模式集合包括：用于非方向性的运动场的多种帧间预测模式，和/或 用于方向性的运动场的多种帧间预测模式；以及，基于所述确定的帧间预测模式，对所述当 前图像块执行帧间预测。
在可行的实施方式下，所述基于确定的帧间预测模式，对所述当前图像块执行帧间预测， 包括：
基于所述确定的帧间预测模式，预测所述当前图像块中一个或多个子块(具体可以是每 个子块或所有子块)的运动信息，并利用所述当前图像块中一个或多个子块的运动信息对所 述当前图像块执行帧间预测。
应当理解的是，这里的候选帧间预测模式集合可以是一个模式，也可以是多个模式。当 候选帧间预测模式集合是一个模式(例如用于非方向性的运动场的第一帧间预测模式，亦称 为用于帧间预测的平面planar模式)时，可以确定该模式为用于对当前图像块进行帧间预测 的帧间预测模式。当候选帧间预测模式集合是多个模式时，可以缺省确定该集合中排列优先 级最高或排列位置最前面的模式为用于对当前图像块进行帧间预测的帧间预测模式；或者， 可以确定第二标识指示的模式为用于对当前图像块进行帧间预测的帧间预测模式；或者，可 以确定用于非方向性的运动场的第一帧间预测模式为用于对当前图像块进行帧间预测的帧间 预测模式。
其中，本申请各实施例中提及的用于非方向性的运动场的多种帧间预测模式，例如可以 包括：用于非方向性的运动场的第一帧间预测模式(亦可称为用于帧间预测的平面planar模 式，或者插值帧间预测模式)、用于非方向性的运动场的第二帧间预测模式(亦可称为用于 帧间预测的直流系数DC模式)。
其中，本申请各实施例中提及的用于方向性的运动场的多种帧间预测模式，例如可以包 括用于帧间预测的各种方向预测模式。
可见，通过考虑运动场的特征将新的帧间预测模式分为用于非方向性的运动场的帧间预 测模式和/或用于方向性的运动场的帧间预测模式，无论基于哪一种用于方向性或非方向性的 帧间预测模式均能预测出当前图像块中一个或多个子块的运动信息(例如运动矢量)，这样 的话，从结果来看，预测出的当前图像块的运动矢量基本上接近使用运动估算方法得到的运 动矢量，提升了运动矢量的预测准确性，当编码时无需传送运动矢量差值MVD，在视频质量 相同的情况下节省了码率，编解码性得到进一步的改善。
例如，在一些可能的实施场景下，所述确定的帧间预测模式为用于非方向性的运动场的 第一帧间预测模式(亦可称为用于帧间预测的平面planner模式)，相应地，所述预测当前图 像块中当前子块的运动矢量包括：
利用多个参考块的运动矢量，预测或推导与当前图像块的当前子块相同行上的、所述当 前图像块的右侧空域邻近块的第一运动矢量，及与当前图像块的当前子块相同列上的、所述 当前图像块的下侧空域邻近块的第二运动矢量，其中所述多个参考块包括当前图像块的空域 邻近参考块和/或时域邻近参考块；
基于所述第一运动矢量和与当前子块相同行上的、所述当前图像块的左侧邻近块的第三 运动矢量的水平插值，得到当前子块的运动矢量的第一预测值；在可能的实现方式下，例如，
确定与当前子块相同行上的、所述当前图像块的右侧邻近块的第一运动信息和与当前子 块相同行上的、所述当前图像块的左侧邻近块的第三运动信息的加权值，为当前子块的运动 信息的第一预测值，其中，第三运动信息的加权因子和第一运动信息的加权因子之间比例是 基于与当前图像块的当前子块相同行上的、所述当前图像块的右侧空域邻近块和当前子块之 间的第一距离，与，当前子块和与当前子块相同行上的、所述当前图像块的左侧空域邻近块 之间的第二距离之间的比例确定的；
基于所述第二运动矢量和与当前子块相同列上的、所述当前图像块的上侧邻近块的第四 运动矢量的垂直插值，得到当前子块的运动矢量的第二预测值；在可能的实现方式下，例如，
确定与当前子块相同列上的、所述当前图像块的上侧空域邻近块的第四运动信息和与当 前子块相同列上的、所述当前图像块的下侧空域邻近块的第二运动信息的加权值，为当前子 块的运动信息的第二预测值，其中，第四运动信息的加权因子和第二运动信息的加权因子之 间比例是基于与当前图像块的当前子块相同列上的、所述当前图像块的下侧空域邻近块和当 前子块之间的第三距离，与，当前子块和与当前子块相同列上的、所述当前图像块的上侧空 域邻近块之间的第四距离之间的比例确定的；
利用所述当前子块的运动矢量的第一预测值和所述当前子块的运动矢量的第二预测值， 确定所述当前子块的运动矢量；在可能的实施方式下，例如，对所述当前子块的运动矢量的 第一预测值和所述当前子块的运动矢量的第二预测值进行加权处理，得到所述当前子块的运 动矢量。
其中，所述预测或推导与当前图像块的当前子块相同行上的、所述当前图像块的右侧空 域邻近块的第一运动信息的方式可能是多种多样的，如下：
第一种方式：基于所述当前图像块的第一并置块的右下角空域邻近块的第五运动信息和 所述当前图像块的右上角空域邻近块的第六运动信息的线性插值，得到所述第一运动信息， 其中所述第一并置块为参考图像中与所述当前图像块具有相同的大小、形状和坐标的图像块； 或者
第二种方式：确定所述当前图像块的第一并置块(co-located)的第一右侧空域邻近块的 运动信息为所述第一运动信息，其中所述第一右侧空域邻近块位于所述第一并置块的行与当 前子块位于所述当前图像块的行相同；或者
第三种方式：确定所述当前图像块的第二并置块(co-located)的第二右侧空域邻近块的 运动信息为所述第一运动信息，其中所述第二并置块为参考图像中与所述当前图像块具有指 定位置偏移的图像块，所述当前图像块的代表性空域邻近块的运动矢量用于表示所述指定位 置偏移，且所述第二右侧空域邻近块位于所述第二并置块的行与当前子块位于所述当前图像 块的行相同；或者
第四种方式：确定所述当前图像块的右上角空域邻近块的第六运动信息为所述第一运动 信息；或者，确定所述当前图像块的右上侧的多个空域邻近块的运动信息的均值为所述第一 运动信息。
应当理解的是，上述四种推导方式可以按照一定逻辑组合使用，例如如果使用上述第一 种方式推导不出来第一运动信息的情况下，进一步的使用上述第四种方式来推导第一运动信 息；又例如，依序使用第一、第二、第三和第四种方式推导，以得到第一运动信息。
其中，所述预测或推导与当前图像块的当前子块相同列上的、所述当前图像块的下侧空 域邻近块的第二运动信息的方式可能是多种多样的，如下：
第一种方式：基于所述当前图像块的第一并置块的右下角空域邻近块的第五运动信息和 所述当前图像块的左下角空域邻近块的第七运动信息的线性插值，得到所述第二运动信息， 其中所述第一并置块为参考图像中与所述当前图像块具有相同的大小、形状和坐标的图像块； 或者
第二种方式：确定所述当前图像块的第一并置块(co-located)的第一下侧空域邻近块的 运动信息为所述第二运动信息，其中所述第一并置块为参考图像中与所述当前图像块具有相 同的大小、形状和坐标的图像块，所述第一下侧空域邻近块位于所述第一并置块的列与当前 子块位于所述当前图像块的列相同；或者
第三种方式：确定所述当前图像块的第二并置块(co-located)的第二下侧空域邻近块的 运动信息为所述第二运动信息，其中所述第二并置块为参考图像中与所述当前图像块具有指 定位置偏移的图像块，所述当前图像块的代表性空域邻近块的运动矢量用于表示所述指定位 置偏移，且所述第二下侧空域邻近块位于所述第二并置块的列与当前子块位于所述当前图像 块的列相同；或者
第四种方式：确定所述当前图像块的左下角空域邻近块的第七运动信息为所述第二运动 信息；或者，确定所述当前图像块的左下侧的多个空域邻近块的运动信息的均值为所述第二 运动信息。
应当理解的是，上述四种推导方式可以按照一定逻辑组合使用，例如如果使用上述第一 种方式推导不出来第二运动信息的情况下，进一步的使用上述第四种方式来推导第二运动信 息；又例如，依序使用第一、第二、第三和第四种方式推导，以得到第二运动信息。
可见，基于用于非方向性的运动场的第一帧间预测模式的帧间预测过程中，使用水平和 垂直线性插值的加权值来推导当前子块的运动矢量，能较好的预测具有渐变的运动场的图像 块或其子块的运动矢量，从而提高了运动矢量的预测准确性。
又例如，在一些可能的实施场景下，所述确定的帧间预测模式为用于非方向性的运动场 的第二帧间预测模式(亦称为用于帧间预测的直流系数DC模式)，所述预测当前图像块中 当前子块的运动信息包括：
确定与当前图像块的当前子块相同行上的、所述当前图像块的左侧空域邻近块的第三运 动信息和与所述当前子块相同列上的、所述当前图像块的上侧空域邻近块的第四运动信息的 均值为所述当前子块的运动信息；或者，
确定当前图像块的多个左侧空域邻近块的运动信息和当前图像块的多个上侧空域邻近块 的运动信息的均值为所述当前图像块的一个或多个子块(例如所有子块)的运动信息。
可见，基于用于非方向性的运动场的第二帧间预测模式的帧间预测过程中，使用当前图 像块的直接左侧空域邻近块、上侧空域邻近块的运动矢量的均值来推导当前子块的运动矢量， 能较好的预测具有平滑的运动场的图像块或其子块的运动矢量，从而提高了运动矢量的预测 准确性。
再例如，在一些可能的实施场景下，所述确定的帧间预测模式为用于方向性的运动场的 帧间方向预测模式(亦称为用于帧间预测的方向预测模式)，所述预测当前图像块中当前子 块的运动信息包括：
确定一个目标参考块(亦称为投影参考块)的运动信息为当前图像块的当前子块的运动 信息；或者，
确定两个目标参考块的运动信息的加权值为所述当前子块的运动信息，或者
确定所述两个目标参考块及所述两个目标参考块的两个邻近块的运动信息的加权值为所 述当前子块的运动信息；
其中所述目标参考块是根据所述帧间方向预测模式对应的预测方向(角度)在参考行或 参考列上确定的与当前子块对应的参考块。
其中，所述参考行或参考列均不属于所述当前图像块，且所述参考行上的参考块为与所 述当前图像块的第一行子块相邻的一行上侧空域邻近块，所述参考列上的参考块为与所述当 前图像块第一列子块相邻的一列左侧空域邻近块。
可见，基于用于方向性的运动场的帧间方向预测模式的帧间预测过程中，沿着预测方向 的一个或多个子块的运动矢量彼此相同且运动矢量的值取决于目标参考块的运动矢量，从而 能较好的预测具有方向性的运动场的图像块或其子块的运动矢量，提高了运动矢量的预测准 确性。
其中，本申请各实施例中提及的运动信息主要指运动矢量，但应当理解的是，运动信息 还可以包括参考图像信息，其中参考图像信息可以包括但不限于参考图像列表和参考图像列 表对应的参考图像索引。
进一步的，为了提高运动矢量预测的有效性，在执行多组运动信息的线性插值或加权或 求均值之前，本申请各个实施例的方法还可以包括：
确定当前图像块的、与指定参考图像列表对应的目标参考图像索引；
判断所述多组运动信息各自包括的与所述指定参考图像列表对应的参考图像索引是否与 所述目标参考图像索引相同；
如果当前运动信息包括的与所述指定参考图像列表对应的参考图像索引不同于所述目标 参考图像索引，则对当前运动运动信息包括的与所述指定参考图像列表对应的运动矢量进行 基于时域距离的缩放处理，以得到指向所述目标参考图像索引的参考帧的运动矢量。
进一步的，为了减少由参考块运动信息的边缘edge效应引起的当前块运动信息的轮廓效 应，本申请各个实施例的方法还可以包括：基于与帧间方向预测模式对应的预测方向或角度， 对目标参考块的运动信息选择性地进行滤波。
进一步的，为了减少块边界运动信息的不连续性，本申请各个实施例的方法还可以包括： 对当前图像块的边界子块的运动信息进行滤波，该边界子块为当前图像块中位于边界的一个 或多个子块。尤其是，对特定帧间预测模式(例如第二帧间预测模式、垂直预测模式、水平 预测模式等)下当前图像块的边界子块的运动信息进行滤波。
其中，当用于解码视频图像，本申请各实施例中的帧间预测方法还可以包括：
解码码流，以得到包括第一标识的帧间预测数据，其中所述第一标识用于指示是否对当 前图像块采用所述候选帧间预测模式集合进行帧间预测；
相应地，所述确定用于对当前图像块进行帧间预测的帧间预测模式，包括：当所述帧间 预测数据指示采用候选帧间预测模式集合来对当前图像块进行预测时，从所述候选帧间预测 模式集合中确定用于对当前图像块进行帧间预测的帧间预测模式。
进一步的，如果所述帧间预测数据还包括用于指示所述当前图像块的帧间预测模式的第 二标识，则所述确定用于对所述当前图像块进行帧间预测的帧间预测模式包括：确定所述第 二标识指示的帧间预测模式为用于对所述当前图像块进行帧间预测的帧间预测模式；或者，
如果所述帧间预测数据未包括用于指示所述当前图像块的帧间预测模式的第二标识，则 所述确定用于对所述当前图像块进行帧间预测的帧间预测模式包括：确定用于非方向性的运 动场的第一帧间预测模式(亦称为用于帧间预测的平面Planar模式)为用于对所述当前图像 块进行帧间预测的帧间预测模式。
其中，当用于编码视频图像，本申请各实施例中的帧间预测方法中，所述确定用于对当 前图像块进行帧间预测的帧间预测模式，包括：确定所述候选帧间预测模式集合中编码所述 当前图像块的码率失真代价最小的帧间预测模式为用于对当前图像块进行帧间预测的帧间预 测模式。应当理解的是，如果用于平滑或渐变的运动场的第一帧间预测模式(亦称为用于帧 间预测的平面Planar模式)编码所述当前图像块的码率失真代价最小，则确定用于平滑或渐 变的运动场的第一帧间预测模式为用于对当前图像块进行帧间预测的帧间预测模式。
进一步的，当用于编码视频图像，本申请各实施例中的帧间预测方法还可以包括：
将帧间预测数据编入码流，其中所述帧间预测数据包括：用于指示是否对当前图像块采 用所述候选帧间预测模式集合进行帧间预测的第一标识；或者，所述帧间预测数据包括：用 于指示是否对当前图像块采用所述候选帧间预测模式集合进行帧间预测的第一标识和用于指 示当前图像块的帧间预测模式的第二标识。
第二方面，本申请实施例提供一种视频图像的帧间预测装置，包括用于实施第一方面的 任意一种方法的若干个功能单元。举例来说，视频图像的帧间预测装置可以包括：
帧间预测模式确定单元，用于确定用于对当前图像块进行帧间预测的帧间预测模式，其 中所述帧间预测模式是候选帧间预测模式集合中的一种，所述候选帧间预测模式集合包括： 用于非方向性的运动场的多种帧间预测模式，和/或用于方向性的运动场的多种帧间预测模 式；
帧间预测处理单元，用于基于所述确定的帧间预测模式，对所述当前图像块执行帧间预 测。
其中，如果所述帧间预测模式确定单元确定用于非方向性的运动场的第一帧间预测模式 (亦可称为用于帧间预测的平面planner模式)，所述帧间预测处理单元具体用于：
利用多个参考块的运动矢量，预测或推导与当前图像块的当前子块相同行上的、所述当 前图像块的右侧空域邻近块的第一运动矢量，及与当前图像块的当前子块相同列上的、所述 当前图像块的下侧空域邻近块的第二运动矢量，其中所述多个参考块包括当前图像块的空域 邻近参考块和/或时域邻近参考块；
基于所述第一运动信息和与当前子块相同行上的、所述当前图像块的左侧邻近块的第三 运动信息的线性插值，得到当前子块的运动信息的第一预测值；
基于所述第二运动信息和与当前子块相同列上的、所述当前图像块的上侧邻近块的第四 运动信息的线性插值，得到当前子块的运动信息的第二预测值；
利用所述当前子块的运动信息的第一预测值和所述当前子块的运动信息的第二预测值， 确定所述当前子块的运动信息；在可能的实施方式下，例如，对所述当前子块的运动矢量的 第一预测值和所述当前子块的运动矢量的第二预测值进行加权处理，得到所述当前子块的运 动矢量。
其中，所述视频图像的帧间预测装置例如应用于视频编码装置(视频编码器)或视频解 码装置(视频解码器)。
第三方面，本申请实施例提供一种视频编码器，所述视频编码器用于编码图像块，包括：
上述帧间预测器，其中所述帧间预测器用于基于帧间预测模式，预测待编码图像块的预 测块，其中所述帧间预测模式是候选帧间预测模式集合中的一种；
熵编码器，用于将第一标识编入码流，所述第一标识用于指示是否对所述待编码图像块 采用所述候选帧间预测模式集合进行帧间预测，换言之，所述第一标识用于指示是否对当前 待编码图像块采用新的帧间预测模式；
重建器，用于根据所述预测块重建所述图像块，并将所述重建的图像块存储于内存中。
在一些可能的实施方式下，所述熵编码器，还用于将第二标识编入码流，所述第二标识 用于指示所述待编码图像块的帧间预测模式，换言之，即所述第二标识用于指示对待编码图 像块采用哪一种新的帧间预测模式进行帧间预测。
第四方面，本申请实施例提供一种视频解码器，所述视频解码器用于从码流中解码出图 像块，包括：
熵解码器，用于从码流中解码出第一标识，所述第一标识用于指示是否对待解码图像块 采用候选帧间预测模式集合进行帧间预测，换言之，所述第一标识用于指示是否对待解码图 像块采用新的帧间预测模式；
上述的帧间预测器，其中所述帧间预测器用于基于帧间预测模式预测所述待解码图像块 的预测块，其中所述帧间预测模式是所述候选帧间预测模式集合中的一种；
重建器，用于根据所述预测块重建所述图像块。
在一些可能的实施方式下，所述熵解码器还用于从所述码流中解码出第二标识，所述第 二标识用于指示所述待解码图像块的帧间预测模式，换言之，所述第二标识用于指示所述待 解码图像块采用的是哪一种新的帧间预测模式。
第五方面，本申请实施例提供一种用于解码视频数据的设备，所述设备包括：
存储器，用于存储码流形式的视频数据；
视频解码器，用于从码流中解码出包括第一标识的帧间预测数据，所述第一标识与当前 待解码图像块相关；当所述第一标识为真时，基于帧间预测模式对所述当前待解码图像块执 行帧间预测，其中所述帧间预测模式是候选帧间预测模式集合中的一种，所述候选帧间预测 模式集合包括：用于非方向性的运动场的多种帧间预测模式，和/或用于方向性的运动场的多 种帧间预测模式。
第六方面，本申请实施例提供一种用于编码视频数据的设备，所述设备包括：
存储器，用于存储视频数据，所述视频数据包括一个或多个图像块；
视频编码器，用于将包括第一标识的帧间预测数据编入码流，所述第一标识与当前待编 码图像块相关；其中，当所述第一标识为真时，所述第一标识用于指示基于帧间预测模式对 所述当前待编码图像块执行帧间预测，其中所述帧间预测模式是候选帧间预测模式集合中的 一种，所述候选帧间预测模式集合包括：用于非方向性的运动场的多种帧间预测模式，和/或 用于方向性的运动场的多种帧间预测模式。
第七方面，本申请实施例提供一种用于解码视频数据的设备，所述设备包括：
存储器，用于存储经编码的视频数据；
视频解码器，用于预测与当前待解码图像块的当前子块相同行上的、所述图像块的右侧 空域邻近块的第一运动信息，及与所述当前待解码图像块的当前子块相同列上的、所述图像 块的下侧空域邻近块的第二运动信息；基于所述第一运动信息和与当前子块相同行上的、所 述图像块的左侧邻近块的第三运动信息的线性插值，得到当前子块的运动信息的第一预测值； 基于所述第二运动信息和与当前子块相同列上的、所述图像块的上侧邻近块的第四运动信息 的线性插值，得到当前子块的运动信息的第二预测值；利用所述当前子块的运动信息的第一 预测值和所述当前子块的运动信息的第二预测值，得到所述当前子块的运动信息；并利用当 前待解码图像块中包括所述当前子块的一个或多个子块的运动信息解码所述图像块。
第八方面，本申请实施例提供一种运动信息预测方法，所述方法包括：
预测或推导与当前图像块的当前子块相同行上的、所述当前图像块的右侧空域邻近块的 第一运动信息；
预测或推导与当前图像块的当前子块相同列上的、所述当前图像块的下侧空域邻近块的 第二运动信息；
基于所述第一运动信息和与当前子块相同行上的、所述当前图像块的左侧邻近块的第三 运动信息的线性插值，得到当前子块的运动信息的第一预测值；
基于所述第二运动信息和与当前子块相同列上的、所述当前图像块的上侧邻近块的第四 运动信息的线性插值，得到当前子块的运动信息的第二预测值；
利用所述当前子块的运动信息的第一预测值和所述当前子块的运动信息的第二预测值， 确定所述当前子块的运动信息。
第九方面，本申请实施例提供一种编码设备，包括：相互耦合的非易失性存储器和处理 器，所述处理器调用存储在所述存储器中的程序代码以执行第一方面的任意一种方法的部分 或全部步骤。
第十方面，本申请实施例提供一种解码设备，包括：相互耦合的非易失性存储器和处理 器，所述处理器调用存储在所述存储器中的程序代码以执行第一方面的任意一种方法的部分 或全部步骤。
第十一方面，本申请实施例提供一种计算机可读存储介质，所述计算机可读存储介质存 储了程序代码，其中，所述程序代码包括用于执行第一方面的任意一种方法的部分或全部步 骤的指令。
第十二方面，本申请实施例提供一种计算机程序产品，当所述计算机程序产品在计算机 上运行时，使得所述计算机执行第一方面的任意一种方法的部分或全部步骤。
第十三方面，本申请实施例提供了一种视频图像的帧间预测方法，包括：确定用于对当 前图像块进行帧间预测的帧间预测模式，其中所述帧间预测模式是候选帧间预测模式集合中 的一种，所述候选帧间预测模式集合包括：用于平滑或渐变的运动场的第一帧间预测模式； 以及，基于所述确定的帧间预测模式，预测所述当前图像块中每个子块的运动信息，并利用 所述当前图像块中每个子块的运动信息对所述当前图像块执行帧间预测。
第十四方面，本申请实施例提供一种视频图像的帧间预测装置，包括用于实施第十三方 面的任意一种方法的若干个功能单元。举例来说，视频图像的帧间预测装置可以包括：
帧间预测模式确定单元，用于确定用于对当前图像块进行帧间预测的帧间预测模式，其 中所述帧间预测模式是候选帧间预测模式集合中的一种，所述候选帧间预测模式集合包括： 用于平滑或渐变的运动场的第一帧间预测模式；
帧间预测处理单元，用于基于所述确定的帧间预测模式，预测所述当前图像块中每个子 块的运动信息，并利用所述当前图像块中每个子块的运动信息对所述当前图像块执行帧间预 测。
应当理解的是，本申请的第二至十四方面与本申请的第一方面的技术方案一致，各方面 及对应的可行实施方式所取得的有益效果相似，不再赘述。
附图说明
为了更清楚地说明本申请实施例或背景技术中的技术方案，下面将对本申请实施例或背 景技术中所需要使用的附图进行说明。
图1为本申请实施例中一种视频编码及解码***的示意性框图；
图2A为本申请实施例中一种视频编码器的示意性框图；
图2B为本申请实施例中一种视频解码器的示意性框图；
图3为本申请实施例中一种用于编码视频图像的帧间预测的方法的流程图；
图4为本申请实施例中一种用于解码视频图像的帧间预测的方法的流程图；
图5为本申请实施例中的多个候选帧间预测模式的示意图；
图6为本申请实施例中一种示例性的当前图像块和邻近参考块的运动信息示意图；
图7为本申请实施例中的基于用于非方向性的运动场的第一帧间预测模式获取当前图像 块中当前子块的运动信息的方法的流程图；
图8A至图8D为本申请实施例中四种示例性的第一帧间预测模式的原理示意图；
图9为本申请实施例中一种示例性的第二帧间预测模式的原理示意图；
图10A至图10E为本申请实施例中五种示例性的帧间方向预测模式的原理示意图；
图11为本申请实施例中一种视频图像的帧间预测装置的示意性框图；
图12为本申请实施例中一种编码设备或解码设备的示意性框图。
具体实施方式
下面结合本申请实施例中的附图对本申请实施例进行描述。
编码视频流，或者其一部分，诸如视频帧或者图像块可以使用视频流中的时间和空间相 似性以改善编码性能。例如，视频流的当前图像块可以通过基于视频流中的先前已编码块预 测用于当前图像块的运动信息，并识别预测块和当前图像块(即原始块)之间的差值(亦称 为残差)，从而基于先前已编码块对当前图像块进行编码。以这种方法，仅仅将用于产生当 前图像块的残差和一些参数包括于数字视频输出位流中，而不是将当前图像块的整体包括于 数字视频输出位流。这种技术可以称为帧间预测。
运动矢量是帧间预测过程中的一个重要参数，其表示先前已编码块相对于该当前编码块 的空间位移。可以使用运动估算的方法，诸如运动搜索来获取运动矢量。初期的帧间预测技 术，将表示运动矢量的位包括在编码的位流中，以允许解码器再现预测块，进而得到重建块。 为了进一步的改善编码效率，后来又提出使用参考运动矢量差分地编码运动矢量，即取代编 码运动矢量整体，而仅仅编码运动矢量和参考运动矢量之间的差值。在有些情况下，参考运 动矢量可以是从在视频流中先前使用的运动矢量中选择出来的，选择先前使用的运动矢量编 码当前的运动矢量可以进一步减少包括在编码的视频位流中的位数。
不限于现有标准中的几种帧间预测模式，例如在HEVC标准中，对于预测单元(PU)存 在两个帧间预测模式，分别称为合并(跳过被视为合并的特殊情况)和高级运动向量预测 (AMVP)模式，为了进一步的改善编解码性能，例如编码时无需传送当前编码块的运动矢量和参考运动矢量之间的差值，而且尽可能地减少需传送的残差值，本申请进一步的提出了 多种新的帧间预测模式，包括用于(预测)非方向性的运动场的多种帧间预测模式，和/或用 于(预测)方向性的运动场的多种帧间预测模式，以形成候选帧间预测模式集合。在一种示 例下，如图5和表-1所示，这里的用于(预测)非方向性的运动场的多种帧间预测模式可以 包括用于非方向性的运动场的第一帧间预测模式(例如用于平滑也用于渐变的运动场的第一 帧间预测模式，简称为模式0)和用于非方向性的运动场的第二帧间预测模式(例如主要用 于平滑的运动场的第二帧间预测模式，简称为模式1)。这里的用于(预测)方向性的运动 场的多种帧间预测模式(简称为帧间方向预测模式)可以对应于不同的预测方向或角度，本 申请的帧间方向预测模式的数量不限于9个(即表2所示的模式2至10)或32个(即表3 所示的模式2至33)，其个数可以随着运动矢量的预测精度的要求而增加或者减少。
尤其需要说明的是，本申请中，模式0可以理解为用于帧间预测的平面Planar模式，模 式1可以理解为用于帧间预测的DC模式，以及模式N可以理解为用于预测方向性的运动场 的帧间方向预测模式，N＝2,3…10或者N＝2,3…33。具体的，用于帧间预测的Planar模式是图 像块/子块的运动矢量的水平和垂直线性插值的均值，综合了水平和垂直运动场变化的特点， 能够使预测块/子块变化趋向于平缓，适用于运动场变化缓慢的图像块或其子块。用于帧内预 测的DC模式使用当前图像块的左邻近、上邻近块的运动矢量的均值作为当前图像块或其子 块的运动矢量，适用于平滑的图像块或其子块。而帧间方向预测模式适用于具有方向性的运 动场的图像块，以预测该图像块或其子块的运动矢量。
表1
在一种示例下，如下表2所示，帧间方向预测模式(2～10)的角度参数A有以下对应关系：
Mode 2 3 4 5 6 7 8 9 10
A 32 15 0 -15 -32 -15 0 15 32
表2
或者，在另一种示例下，如下表3所示，帧间方向预测模式(2～33)的角度参数A有以 下对应关系：
表3
本申请将介绍包括但不限于上述模式0,1,2…10的候选帧间预测模式集合，便于视频编码 器在视频数据序列的编码过程中，从该候选帧间预测模式集合中确定或选择用于对当前图像 块进行帧间预测的帧间预测模式(例如视频编码器使用多种帧间预测模式来编码视频数据且 选择编码图像块的码率失真折中的帧间预测模式)，并基于确定的帧间预测模式对所述当前 图像块执行帧间预测，进而完成当前图像块的编码。应当理解的是：为了方便阐述本申请的 技术方案，这里以包括上述模式0,1,2…10的候选帧间预测模式集合进行说明，但本申请的候 选帧间预测模式集合不限于此。
图1为本申请实施例中所描述的一种实例的视频译码***1的框图。如本文所使用，术 语“视频译码器”一般是指视频编码器和视频解码器两者。在本申请中，术语“视频译码” 或“译码”可一般地指代视频编码或视频解码。视频译码***1的视频编码器100和视频解 码器200用于根据本申请提出的多种新的帧间预测模式中的任一种所描述的各种方法实例来 预测当前经译码图像块或其子块的运动信息，例如运动矢量，使得预测出的运动矢量最大程 度上接近使用运动估算方法得到的运动矢量，从而编码时无需传送运动矢量差值，从而进一 步的改善编解码性能。
如图1中所示，视频译码***1包含源装置10和目的地装置20。源装置10产生经编码 视频数据。因此，源装置10可被称为视频编码装置。目的地装置20可对由源装置10所产生 的经编码的视频数据进行解码。因此，目的地装置20可被称为视频解码装置。源装置10、目的地装置20或两个的各种实施方案可包含一或多个处理器以及耦合到所述一或多个处理 器的存储器。所述存储器可包含但不限于RAM、ROM、EEPROM、快闪存储器或可用于以 可由计算机存取的指令或数据结构的形式存储所要的程序代码的任何其它媒体，如本文所描述。
源装置10和目的地装置20可以包括各种装置，包含桌上型计算机、移动计算装置、笔 记型(例如，膝上型)计算机、平板计算机、机顶盒、例如所谓的“智能”电话等电话手持机、 电视机、相机、显示装置、数字媒体播放器、视频游戏控制台、车载计算机或其类似者。
目的地装置20可经由链路30从源装置10接收经编码视频数据。链路30可包括能够将 经编码视频数据从源装置10移动到目的地装置20的一或多个媒体或装置。在一个实例中， 链路30可包括使得源装置10能够实时将经编码视频数据直接发射到目的地装置20的一或多 个通信媒体。在此实例中，源装置10可根据通信标准(例如无线通信协议)来调制经编码视频 数据，且可将经调制的视频数据发射到目的地装置20。所述一或多个通信媒体可包含无线和 /或有线通信媒体，例如射频(RF)频谱或一或多个物理传输线。所述一或多个通信媒体可形 成基于分组的网络的一部分，基于分组的网络例如为局域网、广域网或全球网络(例如，因特 网)。所述一或多个通信媒体可包含路由器、交换器、基站或促进从源装置10到目的地装置 20的通信的其它设备。
在另一实例中，可将经编码数据从输出接口140输出到存储装置40。类似地，可通过输 入接口240从存储装置40存取经编码数据。存储装置40可包含多种分布式或本地存取的数 据存储媒体中的任一者，例如硬盘驱动器、蓝光光盘、DVD、CD-ROM、快闪存储器、易失性或非易失性存储器，或用于存储经编码视频数据的任何其它合适的数字存储媒体。
在另一实例中，存储装置40可对应于文件服务器或可保持由源装置10产生的经编码视 频的另一中间存储装置。目的地装置20可经由流式传输或下载从存储装置40存取所存储的 视频数据。文件服务器可为任何类型的能够存储经编码的视频数据并且将经编码的视频数据 发射到目的地装置20的服务器。实例文件服务器包含网络服务器(例如，用于网站)、FTP 服务器、网络附接式存储(NAS)装置或本地磁盘驱动器。目的地装置20可通过任何标准数据 连接(包含因特网连接)来存取经编码视频数据。这可包含无线信道(例如，Wi-Fi连接)、 有线连接(例如，DSL、电缆调制解调器等)，或适合于存取存储在文件服务器上的经编码 视频数据的两者的组合。经编码视频数据从存储装置40的传输可为流式传输、下载传输或两 者的组合。
本申请的运动矢量预测技术可应用于视频编解码以支持多种多媒体应用，例如空中电视 广播、有线电视发射、***发射、串流视频发射(例如，经由因特网)、用于存储于数据 存储媒体上的视频数据的编码、存储在数据存储媒体上的视频数据的解码，或其它应用。在 一些实例中，视频译码***1可用于支持单向或双向视频传输以支持例如视频流式传输、视 频回放、视频广播和/或视频电话等应用。
图1中所说明的视频译码***1仅为实例，并且本申请的技术可适用于未必包含编码装 置与解码装置之间的任何数据通信的视频译码设置(例如，视频编码或视频解码)。在其它 实例中，数据从本地存储器检索、在网络上流式传输等等。视频编码装置可对数据进行编码 并且将数据存储到存储器，和/或视频解码装置可从存储器检索数据并且对数据进行解码。在 许多实例中，由并不彼此通信而是仅编码数据到存储器和/或从存储器检索数据且解码数据的 装置执行编码和解码。
在图1的实例中，源装置10包含视频源120、视频编码器100和输出接口140。在一些实例中，输出接口140可包含调节器/解调器(调制解调器)和/或发射器。视频源120可包括视频捕获装置(例如，摄像机)、含有先前捕获的视频数据的视频存档、用以从视频内容提供者接收视频数据的视频馈入接口，和/或用于产生视频数据的计算机图形***，或视频数据 的此些来源的组合。
视频编码器100可对来自视频源120的视频数据进行编码。在一些实例中，源装置10经 由输出接口140将经编码视频数据直接发射到目的地装置20。在其它实例中，经编码视频数 据还可存储到存储装置40上，供目的地装置20以后存取来用于解码和/或播放。
在图1的实例中，目的地装置20包含输入接口240、视频解码器200和显示装置220。在一些实例中，输入接口240包含接收器和/或调制解调器。输入接口240可经由链路30和/或从存储装置40接收经编码视频数据。显示装置220可与目的地装置20集成或可在目的地装置20外部。一般来说，显示装置220显示经解码视频数据。显示装置220可包括多种显示装置，例如，液晶显示器(LCD)、等离子显示器、有机发光二极管(OLED)显示器或其它 类型的显示装置。
尽管图1中未图示，但在一些方面，视频编码器100和视频解码器200可各自与音频编 码器和解码器集成，且可包含适当的多路复用器-多路分用器单元或其它硬件和软件，以处置 共同数据流或单独数据流中的音频和视频两者的编码。在一些实例中，如果适用的话，那么 MUX-DEMUX单元可符合ITU H.223多路复用器协议，或例如用户数据报协议(UDP)等其 它协议。
视频编码器100和视频解码器200各自可实施为例如以下各项的多种电路中的任一者： 一或多个微处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、 离散逻辑、硬件或其任何组合。如果部分地以软件来实施本申请，那么装置可将用于软件的 指令存储在合适的非易失性计算机可读存储媒体中，且可使用一或多个处理器在硬件中执行 所述指令从而实施本申请技术。前述内容(包含硬件、软件、硬件与软件的组合等)中的任 一者可被视为一或多个处理器。视频编码器100和视频解码器200中的每一者可包含在一或 多个编码器或解码器中，所述编码器或解码器中的任一者可集成为相应装置中的组合编码器/ 解码器(编码解码器)的一部分。
本申请可大体上将视频编码器100称为将某些信息“发信号通知”或“发射”到例如视 频解码器200的另一装置。术语“发信号通知”或“发射”可大体上指代用以对经压缩视频数据进行解码的语法元素和/或其它数据的传送。此传送可实时或几乎实时地发生。替代地， 此通信可经过一段时间后发生，例如可在编码时在经编码位流中将语法元素存储到计算机可 读存储媒体时发生，解码装置接着可在所述语法元素存储到此媒体之后的任何时间检索所述 语法元素。
视频编码器100和视频解码器200可根据例如高效视频编码(HEVC)等视频压缩标准或其 扩展来操作，并且可符合HEVC测试模型(HM)。或者，视频编码器100和视频解码器200也 可根据其它业界标准来操作，所述标准例如是ITU-T H.264、H.265标准，或此类标准的扩展。 然而，本申请的技术不限于任何特定编解码标准。
在一个实例中，一并参阅图3，视频编码器100用于：将与当前待编码的图像块相关的 语法元素编码入数字视频输出位流(简称为位流或码流)，这里将用于当前图像块帧间预测 的语法元素简称为帧间预测数据，其中帧间预测数据可以包括用于指示是否对当前图像块采 用上述候选帧间预测模式集合进行帧间预测的第一标识(换言之，即用于指示是否对当前图 像块采用本申请提出的新的帧间预测模式进行帧间预测的第一标识)；或者，帧间预测数据 可以包括：用于指示是否对当前待编码图像块采用候选帧间预测模式集合进行帧间预测的第 一标识和用于指示当前待图像块的帧间预测模式的第二标识；为了确定用于对当前图像块进 行编码的帧间预测模式，视频编码器100还用于确定或选择(S301)上述候选帧间预测模式 集合中用于对当前图像块进行帧间预测的帧间预测模式(例如选择多种新的帧间预测模式中 编码当前图像块的码率失真代价折中或最小的帧间预测模式)；以及基于确定的帧间预测模 式，编码所述当前图像块(S303)，这里的编码过程可以包括基于确定的帧间预测模式，预 测所述当前图像块中一个或多个子块的运动信息(具体可以是每个子块或者所有子块的运动 信息)，并利用所述当前图像块中一个或多个子块的运动信息对所述当前图像块执行帧间预 测；
应当理解的是，如果由基于本申请提出的新的帧间预测模式预测出的运动信息产生的预 测块与当前待编码图像块(即原始块)之间的差值(即残差)为0，则视频编码器100中只 需要将与当前待编码的图像块相关的语法元素编入位流(亦称为码流)；反之，除了语法元 素外，还需要将相应的残差编入位流。
在另一实例中，一并参阅图4，视频解码器200用于：从位流中解码出与当前待解码的 图像块相关的语法元素(S401)，这里将用于当前图像块帧间预测的语法元素简称为帧间预 测数据，所述帧间预测数据包括用于指示是否对当前经解码图像块采用候选帧间预测模式集 合进行帧间预测的第一标识(即用于指示是否对当前待解码图像块采用本申请提出的新的帧 间预测模式进行帧间预测的第一标识)，当所述帧间预测数据指示采用候选帧间预测模式集 合(即新的帧间预测模式)来对当前图像块进行预测时，确定所述候选帧间预测模式集合中 用于对当前图像块进行帧间预测的帧间预测模式(S403)，并基于确定的帧间预测模式解码 所述当前图像块(S405)，这里的解码过程可以包括基于确定的帧间预测模式，预测所述当 前图像块中一个或多个子块的运动信息，并利用所述当前图像块中一个或多个子块的运动信 息对所述当前图像块执行帧间预测。
可选的，如果所述帧间预测数据还包括用于指示所述当前图像块采用何种帧间预测模式 的第二标识，视频解码器200用于确定所述第二标识指示的帧间预测模式为用于对所述当前 图像块进行帧间预测的帧间预测模式；或者，如果所述帧间预测数据未包括用于指示所述当 前图像块采用何种帧间预测模式的第二标识，视频解码器200用于确定用于非方向性的运动 场的第一帧间预测模式为用于对所述当前图像块进行帧间预测的帧间预测模式。
应当理解的是，这里的候选帧间预测模式集合可以是一个模式，也可以是多个模式。当 候选帧间预测模式集合是一个模式(例如模式0)时，可以确定该模式为用于对当前图像块 进行编码或解码的帧间预测模式。当候选帧间预测模式集合是多个模式时，可以缺省确定该 集合中排列优先级最高或排列位置最前面的模式为用于对当前图像块进行编码或解码的帧间 预测模式；或者，可以确定第二标识指示的模式为用于对当前图像块进行解码的帧间预测模 式。
由上可见，本申请实施例通过考虑运动场的特征将新的帧间预测模式分为用于非方向性 的运动场的帧间预测模式和/或用于方向性的运动场的帧间预测模式，无论视频译码***1的 视频编码器100和视频解码器200采用候选帧间预测模式集合中用于方向性的运动场的帧间 预测模式还是用于非方向性的运动场的帧间预测模式来对当前待编码或解码图像块进行译 码，均能利用当前图像块的可用参考块的运动矢量(简称参考运动矢量)预测出当前图像块 中一个或多个子块的运动信息(例如运动矢量)，这样的话，从结果来看，预测出的当前图 像块的运动矢量基本上接近使用运动估算方法得到的运动矢量，从而编码时无需传送运动矢 量差值，在视频质量相同的情况下节省了码率，因此本申请实施例的视频译码***的编解码 性能得到进一步的改善。
图2A为本申请实施例中所描述的一种实例的视频编码器100的框图。视频编码器100 用于将视频输出到后处理实体41。后处理实体41表示可处理来自视频编码器100的经编码 视频数据的视频实体的实例，例如媒体感知网络元件(MANE)或拼接/编辑装置。在一些情 况下，后处理实体41可为网络实体的实例。在一些视频编码***中，后处理实体41和视频 编码器100可为单独装置的若干部分，而在其它情况下，相对于后处理实体41所描述的功能 性可由包括视频编码器100的相同装置执行。在某一实例中，后处理实体41是图1的存储装 置40的实例。
视频编码器100可根据本申请提出的包括模式0,1,2…或10的候选帧间预测模式集合中 的任一种新的帧间预测模式执行视频图像块的编码，例如执行视频图像块的帧间预测。
在图2A的实例中，视频编码器100包括预测处理单元108、滤波器单元106、经解码图 像缓冲器(DPB)107、求和器112、变换器101、量化器102和熵编码器103。预测处理单元108 包括帧间预测器110和帧内预测器109。为了图像块重构，视频编码器100还包含反量化器 104、反变换器105和求和器111。滤波器单元106既定表示一或多个环路滤波器，例如去块 滤波器、自适应环路滤波器(ALF)和样本自适应偏移(SAO)滤波器。尽管在图2A中将滤波器单元106示出为环路内滤波器，但在其它实现方式下，可将滤波器单元106实施为环路后滤波器。在一种示例下，视频编码器100还可以包括视频数据存储器、分割单元(图中未示意)。
视频数据存储器可存储待由视频编码器100的组件编码的视频数据。可从视频源120获 得存储在视频数据存储器中的视频数据。DPB 107可为参考图像存储器，其存储用于由视频 编码器100在帧内、帧间译码模式中对视频数据进行编码的参考视频数据。视频数据存储器 和DPB 107可由多种存储器装置中的任一者形成，例如包含同步DRAM(SDRAM)的动态随 机存取存储器(DRAM)、磁阻式RAM(MRAM)、电阻式RAM(RRAM)，或其它类型的存储器装置。视频数据存储器和DPB 107可由同一存储器装置或单独存储器装置提供。在各种实例中，视频数据存储器可与视频编码器100的其它组件一起在芯片上，或相对于那些组件在芯片外。
如图2A中所示，视频编码器100接收视频数据，并将所述视频数据存储在视频数据存 储器中。分割单元将所述视频数据分割成若干图像块，而且这些图像块可以被进一步分割为 更小的块，例如基于四叉树结构或者二叉树结构的图像块分割。此分割还可包含分割成条带 (slice)、片(tile)或其它较大单元。视频编码器100通常说明编码待编码的视频条带内 的图像块的组件。所述条带可分成多个图像块(并且可能分成被称作片的图像块集合)。预测 处理单元108可选择用于当前图像块的多个可能的译码模式中的一者，例如多个帧内译码模 式中的一者或多个帧间译码模式中的一者，其中所述多个帧间译码模式包括但不限于本申请 提出的模式0,1,2,3…10中的一个或多个。预测处理单元108可将所得经帧内、帧间译码的 块提供给求和器112以产生残差块，且提供给求和器111以重构用作参考图像的经编码块。
预测处理单元108内的帧内预测器109可相对于与待编码当前块在相同帧或条带中的一 或多个相邻块执行当前图像块的帧内预测性编码，以去除空间冗余。预测处理单元108内的 帧间预测器110可相对于一或多个参考图像中的一或多个预测块执行当前图像块的帧间预测 性编码以去除时间冗余。
具体的，帧间预测器110可用于确定用于编码当前图像块的帧间预测模式。举例来说， 帧间预测器110可使用速率-失真分析来计算候选帧间预测模式集合中的各种帧间预测模式的 速率-失真值，并从中选择具有最佳速率-失真特性的帧间预测模式。速率失真分析通常确定 经编码块与经编码以产生所述经编码块的原始的未经编码块之间的失真(或误差)的量，以 及用于产生经编码块的位速率(也就是说，位数目)。例如，帧间预测器110可确定候选帧 间预测模式集合中编码所述当前图像块的码率失真代价最小的帧间预测模式为用于对当前图 像块进行帧间预测的帧间预测模式。下文将详细介绍帧间预测性编码过程，尤其是在本申请 各种用于非方向性或方向性的运动场的帧间预测模式下，预测当前图像块中一个或多个子块 (具体可以是每个子块或所有子块)的运动信息的过程。
帧间预测器110用于基于确定的帧间预测模式，预测当前图像块中一个或多个子块的运 动信息(例如运动矢量)，并利用当前图像块中一个或多个子块的运动信息(例如运动矢量) 获取或产生当前图像块的预测块。帧间预测器110可在参考图像列表中的一者中定位所述运 动向量指向的预测块。帧间预测器110还可产生与图像块和视频条带相关联的语法元素以供 视频解码器200在对视频条带的图像块解码时使用。又或者，一种示例下，帧间预测器110 利用每个子块的运动信息执行运动补偿过程，以生成每个子块的预测块，从而得到当前图像 块的预测块；应当理解的是，这里的帧间预测器110执行运动估计和运动补偿过程。
具体的，在为当前图像块选择帧间预测模式之后，帧间预测器110可将指示当前图像块 的所选帧间预测模式的信息提供到熵编码器103，以便于熵编码器103编码指示所选帧间预 测模式的信息。在本申请中，视频编码器100可在所发射的位流中包含与当前图像块相关的 帧间预测数据，其可包括第一标识block_based_enable_flag，以表示是否对当前图像块采用本 申请提出的新的帧间预测模式进行帧间预测；可选的，还可以包括第二标识 block_based_index，以指示当前图像块使用的是哪一种新的帧间预测模式。本申请中，在不 同的模式0,1,2…10下，利用多个参考块的运动矢量来预测当前图像块或其子块的运动矢量的 过程，将在下文详细描述。
帧内预测器109可对当前图像块执行帧内预测。明确地说，帧内预测器109可确定用来 编码当前块的帧内预测模式。举例来说，帧内预测器109可使用速率-失真分析来计算各种待 测试的帧内预测模式的速率-失真值，并从待测试模式当中选择具有最佳速率-失真特性的帧 内预测模式。在任何情况下，在为图像块选择帧内预测模式之后，帧内预测器109可将指示 当前图像块的所选帧内预测模式的信息提供到熵编码器103，以便熵编码器103编码指示所 选帧内预测模式的信息。
在预测处理单元108经由帧间预测、帧内预测产生当前图像块的预测块之后，视频编码 器100通过从待编码的当前图像块减去所述预测块来形成残差图像块。求和器112表示执行 此减法运算的一或多个组件。所述残差块中的残差视频数据可包含在一或多个TU中，并应 用于变换器101。变换器101使用例如离散余弦变换(DCT)或概念上类似的变换等变换将 残差视频数据变换成残差变换系数。变换器101可将残差视频数据从像素值域转换到变换域， 例如频域。
变换器101可将所得变换系数发送到量化器102。量化器102量化所述变换系数以进一 步减小位速率。在一些实例中，量化器102可接着执行对包含经量化的变换系数的矩阵的扫 描。或者，熵编码器103可执行扫描。
在量化之后，熵编码器103对经量化变换系数进行熵编码。举例来说，熵编码器103可 执行上下文自适应可变长度编码(CAVLC)、上下文自适应二进制算术编码(CABAC)、基于语 法的上下文自适应二进制算术编码(SBAC)、概率区间分割熵(PIPE)编码或另一熵编码方法或 技术。在由熵编码器103熵编码之后，可将经编码位流发射到视频解码器200，或经存档以 供稍后发射或由视频解码器200检索。熵编码器103还可对待编码的当前图像块的语法元素 进行熵编码。
反量化器104和反变化器105分别应用逆量化和逆变换以在像素域中重构所述残差块， 例如以供稍后用作参考图像的参考块。求和器111将经重构的残差块添加到由帧间预测器110 或帧内预测器109产生的预测块，以产生经重构图像块。滤波器单元106可以适用于经重构 图像块以减小失真，诸如方块效应(block artifacts)。然后，该经重构图像块作为参考块存 储在经解码图像缓冲器107中，可由帧间预测器110用作参考块以对后续视频帧或图像中的 块进行帧间预测。
应当理解的是，视频编码器100的其它的结构变化可用于编码视频流。例如，对于某些 图像块或者图像帧，视频编码器100可以直接地量化残差信号而不需要经变换器101处理， 相应地也不需要经反变换器105处理；或者，对于某些图像块或者图像帧，视频编码器100 没有产生残差数据，相应地不需要经变换器101、量化器102、反量化器104和反变换器105 处理；或者，视频编码器100可以将经重构图像块作为参考块直接地进行存储而不需要经滤 波器单元106处理；或者，视频编码器100中量化器102和反量化器104可以合并在一起。
图2B为本申请实施例中所描述的一种实例的视频解码器200的框图。在图2B的实例中， 视频解码器200包括熵解码器203、预测处理单元208、反量化器204、反变换器205、求和 器211、滤波器单元206以及经解码图像缓冲器207。预测处理单元208可以包括帧间预测器 210和帧内预测器209。在一些实例中，视频解码器200可执行大体上与相对于来自图2A的 视频编码器100描述的编码过程互逆的解码过程。
在解码过程中，视频解码器200从视频编码器100接收表示经编码视频条带的图像块和 相关联的语法元素的经编码视频位流。视频解码器200可从网络实体42接收视频数据，可选 的，还可以将所述视频数据存储在视频数据存储器(图中未示意)中。视频数据存储器可存 储待由视频解码器200的组件解码的视频数据，例如经编码视频位流。存储在视频数据存储 器中的视频数据，例如可从存储装置40、从相机等本地视频源、经由视频数据的有线或无线 网络通信或者通过存取物理数据存储媒体而获得。视频数据存储器可作为用于存储来自经编 码视频位流的经编码视频数据的经解码图像缓冲器(CPB)。因此，尽管在图2B中没有示意 出视频数据存储器，但视频数据存储器和DPB 207可以是同一个的存储器，也可以是单独设 置的存储器。视频数据存储器和DPB 207可由多种存储器装置中的任一者形成，例如：包含 同步DRAM(SDRAM)的动态随机存取存储器(DRAM)、磁阻式RAM(MRAM)、电阻式 RAM(RRAM)，或其它类型的存储器装置。在各种实例中，视频数据存储器可与视频解码器 200的其它组件一起集成在芯片上，或相对于那些组件设置在芯片外。
网络实体42可例如为服务器、MANE、视频编辑器/剪接器，或用于实施上文所描述的 技术中的一或多者的其它此装置。网络实体42可包括或可不包括视频编码器，例如视频编码 器100。在网络实体42将经编码视频位流发送到视频解码器200之前，网络实体42可实施 本申请中描述的技术中的部分。在一些视频解码***中，网络实体42和视频解码器200可为 单独装置的部分，而在其它情况下，相对于网络实体42描述的功能性可由包括视频解码器 200的相同装置执行。在一些情况下，网络实体42可为图1的存储装置40的实例。
视频解码器200的熵解码器203对位流进行熵解码以产生经量化的系数和一些语法元素。 熵解码器203将语法元素转发到预测处理单元208。视频解码器200可接收在视频条带层级 和/或图像块层级处的语法元素。本申请中，在一种示例下，这里的语法元素可以包括与当前 图像块相关的帧间预测数据，该帧间预测数据可以包括第一标识block_based_enable_flag，以 表示是否对当前图像块采用上述候选帧间预测模式集合进行帧间预测(换言之，即以表示是 否对当前图像块采用本申请提出的新的帧间预测模式进行帧间预测)；可选的，还可以包括 第二标识block_based_index，以指示当前图像块使用的是哪一种新的帧间预测模式。
当视频条带被解码为经帧内解码(I)条带时，预测处理单元208的帧内预测器209可基 于发信号通知的帧内预测模式和来自当前帧或图像的先前经解码块的数据而产生当前视频条 带的图像块的预测块。当视频条带被解码为经帧间解码(即，B或P)条带时，预测处理单 元208的帧间预测器210可基于从熵解码器203接收到的语法元素，确定用于对当前视频条 带的当前图像块进行解码的帧间预测模式，基于确定的帧间预测模式，对所述当前图像块进 行解码(例如执行帧间预测)。具体的，帧间预测器210可确定是否对当前视频条带的当前 图像块采用新的帧间预测模式进行预测，如果语法元素指示采用新的帧间预测模式来对当前 图像块进行预测，基于新的帧间预测模式(例如通过语法元素指定的一种新的帧间预测模式 或默认的一种新的帧间预测模式)预测当前视频条带的当前图像块或当前图像块的子块的运 动信息，从而通过运动补偿过程使用预测出的当前图像块或当前图像块的子块的运动信息来 获取或生成当前图像块或当前图像块的子块的预测块。这里的运动信息可以包括参考图像信 息和运动矢量，其中参考图像信息可以包括但不限于单向/双向预测信息，参考图像列表号和 参考图像列表对应的参考图像索引。对于帧间预测，可从参考图像列表中的一者内的参考图 像中的一者产生预测块。视频解码器200可基于存储在DPB 207中的参考图像来建构参考图 像列表，即列表0和列表1。当前图像的参考帧索引可包含于参考帧列表0和列表1中的一 或多者中。在一些实例中，可以是视频编码器100发信号通知指示是否采用新的帧间预测模 式来解码特定块的特定语法元素，或者，也可以是发信号通知指示是否采用新的帧间预测模 式，以及指示具体采用哪一种新的帧间预测模式来解码特定块的特定语法元素。应当理解的 是，这里的帧间预测器210执行运动补偿过程。下文将详细的阐述在各种新的帧间预测模式 下，利用参考块的运动信息来预测当前图像块或当前图像块的子块的运动信息的帧间预测过 程。
反量化器204将在位流中提供且由熵解码器203解码的经量化变换系数逆量化，即去量 化。逆量化过程可包括：使用由视频编码器100针对视频条带中的每个图像块计算的量化参 数来确定应施加的量化程度以及同样地确定应施加的逆量化程度。反变换器205将逆变换应 用于变换系数，例如逆DCT、逆整数变换或概念上类似的逆变换过程，以便产生像素域中的 残差块。
在帧间预测器210产生用于当前图像块或当前图像块的子块的预测块之后，视频解码器 200通过将来自反变换器205的残差块与由帧间预测器210产生的对应预测块求和以得到重 建的块，即经解码图像块。求和器211表示执行此求和操作的组件。在需要时，还可使用环 路滤波器(在解码环路中或在解码环路之后)来使像素转变平滑或者以其它方式改进视频质 量。滤波器单元206可以表示一或多个环路滤波器，例如去块滤波器、自适应环路滤波器(ALF) 以及样本自适应偏移(SAO)滤波器。尽管在图2B中将滤波器单元206示出为环路内滤波 器，但在其它实现方式中，可将滤波器单元206实施为环路后滤波器。在一种示例下，滤波 器单元206适用于重建块以减小块失真，并且该结果作为经解码视频流输出。并且，还可以 将给定帧或图像中的经解码图像块存储在经解码图像缓冲器207中，经解码图像缓冲器207 存储用于后续运动补偿的参考图像。经解码图像缓冲器207可为存储器的一部分，其还可以 存储经解码视频，以供稍后在显示装置(例如图1的显示装置220)上呈现，或可与此类存储 器分开。
应当理解的是，视频解码器200的其它结构变化可用于解码经编码视频位流。例如，视 频解码器200可以不经滤波器单元206处理而生成输出视频流；或者，对于某些图像块或者 图像帧，视频解码器200的熵解码器203没有解码出经量化的系数，相应地不需要经反量化 器204和反变换器205处理。
下文将详细的阐述本申请在各种新的帧间预测模式下，利用多个参考块的运动信息来预 测当前图像块或当前图像块的子块的运动信息的过程。
图6是示出本申请实施例中一种示例性的当前图像块600和参考块的运动信息示意图。 如图6所示，W和H是当前图像块600以及当前图像块600的同位置co-located块(简称为 并置块)600’的宽度和高度。当前图像块600的参考块包括：当前图像块600的上侧空域邻 近块和左侧空域邻近块，以及并置块600’的下侧空域邻近块和右侧空域邻近块，其中并置块600’为参考图像中与当前图像块600具有相同的大小、形状和坐标的图像块。应当注意的是， 当前图像块的下侧空域邻近块和右侧空域邻近块的运动信息不存在，还没编码。应当理解的 是，当前图像块600和并置块600’可以是任意块大小。例如，当前图像块600和并置块600’ 可以包括但不限于16x16像素，32x32像素，32x16像素和16x32像素等。如上所述，每个图 像帧可以被分割为用于编码的图像块。这些图像块可以被进一步分割为更小的块，例如当前 图像块600和并置块600’可以被分割成多个MxN子块，即每个子块的大小均为MxN像素， 而且，每个参考块的大小也为MxN像素，即与当前图像块的子块的大小相同。图6中的坐标 以MxN块为衡量单位。“M×N”与“M乘N”可互换使用以指依照水平维度及垂直维度的图像块的像素尺寸，即在水平方向上具有M个像素，且在垂直方向上具有N个像素，其中M、 N表示非负整数值。此外，块未必需要在水平方向上与在垂直方向上具有相同数目个像素。举例说明，这里的M＝N＝4，当然当前图像块的子块大小和参考块的大小也可以是8x8像素，8x4像素，或4x8像素，或者最小的预测块大小。此外，本申请描述的图像块可以理解为但不限于：预测单元(prediction unit,PU)或者编码单元(coding unit，CU)或者变换单元(transform unit，TU)等。根据不同视频压缩编解码标准的规定，CU可包含一个或多个预测单元PU， 或者PU和CU的尺寸相同。图像块可具有固定或可变的大小，且根据不同视频压缩编解码 标准而在大小上不同。此外，当前图像块是指当前待编码或解码的图像块，例如待编码或解 码的预测单元。
在一种示例下，可以沿着方向1依序判断当前图像块600的每个左侧空域邻近块是否可 用，以及可以沿着方向2依序判断当前图像块600的每个上侧空域邻近块是否可用，例如判 断邻近块(亦称为参考块，可互换使用)是否帧间编码，如果邻近块存在且是帧间编码，则 所述邻近块可用；如果邻近块不存在或者是帧内编码，则所述邻近块不可用。如果一个邻近 块是帧内编码，则复制邻近的其它参考块的运动信息作为该邻近块的运动信息。按照类似方 法检测并置块600’的下侧空域邻近块和右侧空域邻近块是否可用，在此不再赘述。
进一步的，如果可用参考块的大小与当前图像块的子块的大小是4x4，可以直接获取fetch 可用参考块的运动信息；如果可用参考块的大小例如是8x4,8x8，可以获取其中心4x4块的运 动信息作为该可用参考块的运动信息，该中心4x4块的左上角顶点相对于该参考块的左上角 顶点的坐标为((W/4)/2*4，(H/4)/2*4)，这里除运算为整除运算，若M＝8，N＝4，则 中心4x4块的左上角顶点相对于该参考块的左上角顶点的坐标为(4,0)。可选地，也可以获 取该参考块的左上角4x4块的运动信息作为该可用参考块的运动信息，但本申请并不限于此。
为了简化描述，下文以子块表示MxN子块，以邻近块表示邻近MxN块来进行说明。
图7是示出根据本申请一种实施例的基于第一帧间预测模式预测当前图像块中当前子块 的运动信息的过程700的流程图。过程700可由视频编码器100或视频解码器200执行，具 体的，可以由视频编码器100或视频解码器200的帧间预测器110、210来执行。过程700描 述为一系列的步骤或操作，应当理解的是，过程700可以以各种顺序执行和/或同时发生，不 限于图7所示的执行顺序。假设具有多个视频帧的视频数据流正在使用视频编码器或者视频 解码器，执行包括如下步骤的过程700来预测当前视频帧的当前图像块的当前子块的运动信 息；
步骤701，利用多个参考块的运动信息来预测(推导)与当前图像块600的当前子块604 相同行上的、当前图像块600的右侧空域邻近块806的第一运动信息，以及，与当前图像块600的当前子块604相同列上的、所述当前图像块600的下侧空域邻近块808的第二运动信息；这里的参考块可以包括与当前图像块600在空间上和/或时间上相邻的图像块。在本说明 书中，当前图像块是指当前待编码或解码的图像块。
步骤703，基于所述推导得到的右侧空域邻近块806的第一运动信息和与当前子块604 相同行上的、当前图像块600的左侧邻近块802的第三运动信息的线性(水平)插值，得到 当前子块604的运动信息的第一预测值Ph(x,y)；
在一种实现方式下，步骤703中，确定与当前子块604相同行上的、所述当前图像块600 的右侧邻近块806的第一运动信息和与当前子块604相同行上的、所述当前图像块600的左 侧邻近块802的第三运动信息的加权值，为当前子块604的运动信息的第一预测值Ph(x,y)， 其中，第三运动信息的加权因子和第一运动信息的加权因子之间比例是基于与当前图像块600 的当前子块604相同行上的、所述当前图像块600的右侧空域邻近块806和当前子块604之 间的第一距离，与，当前子块604和与当前子块604相同行上的、所述当前图像块600的左 侧空域邻近块802之间的第二距离之间的比例确定的；
步骤705，基于所述推导得到的下侧空域邻近块808的第二运动信息和与当前子块604 相同列上的、当前图像块600的上侧邻近块809的第四运动信息的线性(垂直)插值，得到 当前子块604的运动信息的第二预测值Pv(x,y)；
在一种实现方式下，步骤705中，确定与当前子块604相同列上的、所述当前图像块600 的上侧空域邻近块809的第四运动信息和与当前子块604相同列上的、所述当前图像块600 的下侧空域邻近块808的第二运动信息的加权值，为当前子块604的运动信息的第二预测值 Pv(x,y)，其中，第四运动信息的加权因子和第二运动信息的加权因子之间比例是基于与当前 图像块600的当前子块604相同列上的、所述当前图像块600的下侧空域邻近块808和当前 子块604之间的第三距离，与，当前子块604和与当前子块604相同列上的、所述当前图像 块600的上侧空域邻近块809之间的第四距离之间的比例确定的。
步骤707，利用当前子块604的运动信息的第一预测值Ph(x,y)和当前子块604的运动信 息的第二预测值Pv(x,y)，确定所述当前子块604的运动信息P(x,y)。
在一种实现方式下，步骤707中，对当前子块604的运动信息的第一预测值Ph(x,y)和当 前子块604的运动信息的第二预测值Pv(x,y)进行加权处理，得到当前子块604的运动信息 P(x,y)。应当理解的是，加权处理中，加权因子相同的情况，就等同于求均值，即确定当前子 块604的运动信息的第一预测值Ph(x,y)和当前子块604的运动信息的第二预测值的均值为当 前子块604的运动信息。
本申请实施例中有多种不同的实现方式来推导与当前子块604相同行上的右侧空域邻近 块806的第一运动信息和与当前子块604相同列上的下侧空域邻近块808的第二运动信息， 其中在第一种实现方式下，如图8A所示，步骤701可以包括：
步骤701A-1：基于当前图像块600的第一并置块600’的右下角空域邻近块(简称右下角 时域邻近块)807的第五运动信息和当前图像块600的右上角空域邻近块805的第六运动信 息的线性(垂直)插值，得到与当前图像块600的当前子块604相同行上的、当前图像块600 的右侧空域邻近块806的第一运动信息；和，
步骤701A-2：基于当前图像块600的第一并置块600’的右下角空域邻近块(简称右下角 时域邻近块)807的第五运动信息和当前图像块600的左下角空域邻近块801的第七运动信 息的线性插值(即水平插值)，得到与当前图像块600的当前子块604相同列上的、当前图 像块600的下侧空域邻近块808的第二运动信息，其中第一并置块600’为参考图像中与当前 图像块600具有相同的大小、形状和坐标的图像块；
在一种具体的实现方式下，步骤701A-1中，第一并置块600’的右下角空域邻近块807 的第五运动信息和当前图像块600的右上角空域邻近块805的第六运动信息根据公式(1)垂 直插值出右侧空域邻近块806的第一运动信息；
步骤701A-2中，第一并置块600’的右下角空域邻近块807的第五运动信息和当前图像块 600的左下角空域邻近块801的第七运动信息根据公式(2)水平插值出下侧空域邻近块808 的第二运动信息；
R(W,y)＝((H-y-1)×AR+(y+1)×BR)/H (1)
B(x,H)＝((W-x-1)×BL+(x+1)×BR)/W (2)
其中，(x，y)代表当前子块604相对于当前图像块600的左上角子块的坐标，x是介于0 和W-1之间的整数，y是介于0与H-1之间的整数，W和H代表当前图像块600的宽度和高度(以子块为度量单位)，AR代表右上角空域邻近块805的第六运动信息，BR代表右下角 时域邻近块807的第五运动信息，BL代表左下角空域邻近块801的第七运动信息。
在一种具体的实现方式下，步骤703中，右侧空域邻近块806的第一运动信息和左侧空 域邻近块802的第三运动信息根据公式(3)水平插值当前子块604的运动信息的第一预测值；
以及，步骤705中，下侧空域邻近块808的第二运动信息和上侧空域邻近块809的第四 运动信息根据公式(4)垂直插值当前子块604的运动信息的第二预测值；
以及，步骤707中，水平和垂直线性插值的运动矢量均值(公式5)即为当前子块的运 动矢量；
Ph(x,y)＝(W-1-x)×L(-1,y)+(x+1)×R(W,y) (3)
Pv(x,y)＝(H-1-y)×A(x,-1)+(y+1)×B(x,H) (4)
P(x,y)＝(H×Ph(x,y)+W×Pv(x,y)+H×W)/(2×H×W) (5)
其中，L(-1,y)代表当前子块604所在行的左侧空域邻近块802的第三运动矢量，R(W,y) 代表当前子块604所在行的右侧空域邻近块806的第一运动矢量；A(x,-1)代表当前子块604 所在列的上侧空域邻近块809的第四运动矢量，B(x,H)代表当前子块604所在列的下侧空 域邻近块808的第二运动矢量，Ph(x,y)代表水平插值的运动矢量(即第一预测值)，Pv(x,y) 代表垂直插值的运动矢量(即第二预测值)，P(x,y)代表当前子块604的运动矢量。
在第二种实现方式下，如图8B所示，其与前述实现方式的区别在于：采用如下方式来 预测/推导右侧空域邻近块806的第一运动信息以及下侧空域邻近块808的第二运动信息，即 步骤701可以包括：
步骤701B-1：确定当前图像块600的右上角空域邻近块805的第六运动信息为与当前子 块604相同列上的右侧空域邻近块806的第一运动信息；或者，确定当前图像块600的右上 侧的多个空域邻近块的运动信息的均值为右侧空域邻近块806的第一运动信息；
步骤701B-2：确定当前图像块600的左下角空域邻近块801的第七运动信息为与当前子 块604相同列上的下侧空域邻近块808的第二运动信息；或者，确定当前图像块600的左下 侧的多个空域邻近块的运动信息的均值为下侧空域邻近块808的第二运动信息。
在第三种实现方式下，如图8C所示，其与前述实现方式的区别在于：采用如下方式来 预测/推导右侧空域邻近块806的第一运动信息以及下侧空域邻近块808的第二运动信息，即 步骤701可以包括：
步骤701C-1：确定当前图像块600的第一并置块600’(co-located)的第一右侧空域邻近 块(简称右侧时域邻近参考块)的运动信息为右侧空域邻近块806的第一运动信息，其中第 一右侧空域邻近块位于第一并置块600’的行与当前子块604位于当前图像块600的行相同； 和，
步骤701C-2：确定当前图像块600的第一并置块600’(co-located)的第一下侧空域邻近 块(简称下侧时域邻近参考块)的运动信息为下侧空域邻近块808的第二运动信息，其中第 一下侧空域邻近块位于第一并置块600’的列与当前子块604位于当前图像块600的列相同， 其中第一并置块600’为参考图像中与当前图像块600具有相同的大小、形状和坐标的图像块。
在第四种实现方式下，如图8D所示，其与前述实现方式的区别在于：采用如下方式来 预测/推导右侧空域邻近块806的第一运动信息以及下侧空域邻近块808的第二运动信息；即 步骤701可以包括：
步骤701D-1：确定当前图像块600的第二并置块(co-located)的第二右侧空域邻近块(简 称右侧时域邻近参考块)的运动信息为右侧空域邻近块806的第一运动信息，其中第二并置 块为参考图像中与当前图像块600具有指定位置偏移的图像块，当前图像块600的代表性空 域邻近块的运动矢量用于表示所述指定位置偏移，且所述第二右侧空域邻近块位于第二并置 块的行与当前子块604位于当前图像块600的行相同；和，
步骤701D-2：确定当前图像块600的第二并置块(co-located)的第二下侧空域邻近块(简 称下侧时域邻近参考块)的运动信息为下侧空域邻近块808的第二运动信息，其中第二并置 块为参考图像中与当前图像块600具有指定位置偏移的图像块，当前图像块600的代表性空 域邻近块的运动矢量用于表示所述指定位置偏移，且第二下侧空域邻近块位于第二并置块的 列与当前子块604位于当前图像块600的列相同。
需要说明的是，这里的代表性空域邻近块可以是图6所示的左侧空域邻近块或上侧空域 邻近块中的某一个可用的空域邻近块，例如，可以是沿着方向1检测到的第一个可用的左侧 空域邻近块，或者可以是沿着方向2检测到的第一个可用的上侧空域邻近块；例如，可以是 合成模式下对当前图像块的多个指定空域邻近位置点依序检测得到的第一个可用的空域邻近 块，如图8A所示的L→A→AR→BL→AL；例如，还可以是从依序检测得到的多个可用的空 域邻近块中随机选择或按照预定规则所选择的代表性空域邻近块，本申请实施例不限于此。
应当理解的是，为了便于描述，本申请实施例中以当前图像块600中的当前子块604作 为代表来描述当前子块604的运动矢量的预测过程，当前图像块600中的每个子块的运动矢 量的预测过程可参见本实施例所述，在此不再赘述。
由上可见，本申请实施例的基于用于非方向性的运动场的第一帧间预测模式(亦称为用 于帧间预测的平面planar模式)的帧间预测过程中，使用水平和垂直线性插值的均值来推导 当前子块的运动矢量，能较好的预测具有渐变的运动场的图像块或其子块的运动矢量，从而 提高了运动矢量的预测准确性。
图9是根据本申请另一种实施例的基于第二帧间预测模式预测当前图像块中当前子块的 运动信息的示意图。如图9所示，针对当前图像块600的当前子块604而言，确定与当前图 像块600的当前子块604相同行上的、当前图像块600的左侧空域邻近块802的第三运动信 息和与当前子块604相同列上的、当前图像块600的上侧空域邻近块809的第四运动信息的 均值为当前子块604的运动信息；或者，
确定当前图像块600的多个左侧空域邻近块的运动信息和当前图像块600的多个上侧空 域邻近块的运动信息的均值为当前图像块600的一个或多个子块(具体可以是所有子块)的 运动信息。
应当理解的是，为了便于描述，本申请实施例中以当前图像块600中的当前子块604作 为代表来描述当前子块604的运动矢量的预测过程，当前图像块600中的每个子块的运动矢 量的预测过程可参见本实施例所述，在此不再赘述。
由上可见，本申请实施例的基于用于非方向性的运动场的第二帧间预测模式(亦称为用 于帧间预测的DC模式)的帧间预测过程中，使用当前图像块的直接左侧空域邻近块、上侧 空域邻近块的运动矢量的均值来推导当前子块的运动矢量，能较好的预测具有平滑的运动场 的图像块或其子块的运动矢量，从而提高了运动矢量的预测准确性。
图10A-10E是示出根据本申请另一种实施例的基于帧间方向预测模式预测当前图像块中 当前子块的运动信息的原理示意图。其中，视频编码器100或视频解码器200(具体的帧间 预测器110、210)预测当前图像块的当前子块的运动信息的过程如下：
根据帧间方向预测模式对应的预测方向，当前图像块内的多个子块被投影至参考行1010 或参考列1020上，其中：
所述参考行1010不属于所述当前图像块600，且所述参考行1010是与所述当前图像块 的第一行子块相邻的一行上侧空域相邻块，所述参考行1010的第一列可以与所述当前图像块 的第一列对齐，也可以与所述当前图像块的第一列未对齐(例如超出所述当前图像块的第一 列，并向左边扩展)；所述参考列1020不属于所述当前图像块600，且所述参考列1020是 与所述当前图像块第一列子块相邻的一列左侧空域邻近块，且所述参考列1020的第一行可以 与所述当前图像块的第一行对齐，所述参考列1020的最后一行可以与所述当前图像块的最后 一行对齐，也可以与当前图像块600的最后一行不对齐(例如超出所述当前图像块的最后一 行，并向下扩展)；所述参考行1010和所述参考列1020相交的参考块为所述当前图像块600 的左上角空域邻近块。应当理解的是：这里的投影不限定为一种操作，而是方便描述子块与 目标参考块的对应关系所引入的一种描述方式。
如果当前子块被投影至参考行1010或参考列1020上的一个目标参考块，确定该目标参 考块的运动信息为该当前子块的运动信息；
如果当前子块被投影至参考行1010或参考列1020上的两个目标参考块，对所述两个目 标参考块的运动信息进行加权处理，得到当前子块的运动信息，或者，对所述两个目标参考 块及所述两个目标参考块的左右或上下邻近块的运动信息进行加权处理，得到当前子块的运 动信息；应当理解的是：前者为2个运动矢量的加权，后者为4个运动矢量的加权。其中， 这里的加权因子是根据参考块与投影点的距离决定的，距离越近，权值越大。
应当理解的是：这里提到的目标参考块(亦可称为投影参考块)是指根据帧间方向预测 模式对应的预测方向(角度)在参考行1010或参考列1020上确定的与当前子块对应的参考 块，这种对应性可以理解成当前子块与目标参考块沿着相同预测方向。
其中，图10A示意一种帧间方向预测模式(图5或表2中的模式2)的投影方式，虚线箭头表示帧间方向预测模式2对应的预测方向，举例说明，P(0,0)＝R(-1,1)，P(0,0)表示当前图像块 的左上角子块(0,0)的运动矢量，R(-1,1)表示当前图像块的左侧空域邻近块(-1,1)的运动矢 量，类推，这里不再一一说明；
其中，图10B示意另一种帧间方向预测模式(图5或表2中的模式6)的投影方式，虚线箭头表示帧间方向预测模式6对应的预测方向，举例说明，P(0,0)＝P(1,1)＝…＝P(W-1,H-1)＝R(-1,-1)， P(0,0)，P(1,1)，…P(W-1,H-1)表示当前图像块的坐标位置(0,0)，(1,1)…(W-1,H-1)的几个 子块的运动矢量，R(-1,-1)表示当前图像块的左上角空域邻近块(-1,-1)的运动矢量，类推，这 里不再一一说明；需要说明的是，如图10B中的实线箭头所示，参考列1020上的一些参考 块(即一些左侧邻近参考块)的运动矢量被投影或映射为参考行(尤其是参考行的扩展部分) 上的对应的一些参考块的运动矢量；
其中，图10C示意另一种帧间方向预测模式(正水平模式(directly horizontal)，例如图 5或表2中的模式4，或表3中的模式10)的投影方式，虚线箭头表示此种帧间方向预测模 式对应的预测方向(即水平方向)，举例说明，P(0,0)＝P(1,0)＝…＝P(W-1,0)＝R(-1,0)，P(0,0)，P(1,0)，… P(W-1,0)分别表示当前图像块的首行子块的运动矢量，R(-1,0)表示当前图像块的左侧空域邻近块 (-1,0)的运动矢量，类推，这里不再一一说明；
其中，图10D示意另一种帧间方向预测模式(即垂直模式(directly vertical)，例如图5 或表2中的模式8，或表3中的模式26)的投影方式，虚线箭头表示此种帧间方向预测模式 对应的预测方向(即垂直方向)，举例说明，P(0,0)＝P(0,1)＝…＝P(0,H-1)＝R(0,-1)，P(0,0)，P(0,1)，…P(0,H-1)分别表示当前图像块的首列子块的运动矢量，R(0,-1)表示当前图像块的上侧空域邻近块(0, -1)的运动矢量，类推，这里不再一一说明；
其中，图10E示意再一种帧间方向预测模式(表3中的模式23)的投影方式，粗体箭头 表示帧间方向预测模式23对应的预测方向，举例说明，两个相邻的上侧空域邻近块809、810 的运动矢量的加权值为当前子块604的运动矢量。需要说明的是，图10E中，如细箭头所示， 一些左侧邻近参考块的运动矢量被投影以扩展参考行，例如左侧空域邻近块802的运动矢量 被投影或映射为参考行的扩展部分中的左上空域邻近块811的运动矢量。
在第一种示例下，本申请实施例的运动信息加权方式可以采用JVET里的4tap的Cubic 帧内插值滤波。
以帧间垂直方向预测模式为例(图5或表2中的模式6～10)，i是投影位移的整数部分， f代表投影位移的小数部分,A是角度参数，y是当前子块的纵坐标，x是当前子块的横坐标。
i＝((y+1)*A)>>5 (6)
f＝((y+1)*A)&31 (7)
P(x,y)＝(w[0]*R(x+i-1,-1)+w[1]*R(x+i,-1)+w[2]*R(x+i+1,-1)+w[3]*R(x+i+2,-1)+128)>>8 (8)
其中，(x，y)代表当前子块相对于当前图像块的左上角子块的坐标，R(x+i-1,-1)，R(x+i,-1)， R(x+i+1,-1)，R(x+i+2,-1)代表4个彼此相邻的参考块的运动矢量；相应的，w[0]，w[1]，w[2]， w[3]代表前述4个参考块的加权因子，P(x,y)代表当前子块的运动矢量。
需要说明的是，帧间水平方向预测模式下，只需要将公式(6)、公式(7)和公式(8)中交换x和y坐标即可，这里不再赘述。
在第二种示例下，本申请实施例的运动信息加权方式可以采用JVET里的4tap的Gaussian 帧内插值滤波，将第一种示例中的Cubic帧内插值滤波替换为Gaussian帧内插值滤波即可， 这里不再赘述。
在第三种示例下，本申请实施例的运动信息加权方式可以采用HEVC里的2tap的帧内 插值滤波，
将第一种示例中的公式(8)替换为如下公式(9)即可，这里不再赘述。
P(x,y)＝((32-f)*R(x+i,-1)+f*R(x+i+1,-1)+16)>>5(9)
其中，(x，y)代表当前子块相对于当前图像块的左上角子块的坐标，R(x+i,-1)，R(x+i+1,-1) 代表两个彼此相邻的目标参考块的运动矢量；相应的，(32-f)，f代表两个目标参考块的加权 因子，P(x,y)代表当前子块的运动矢量。
由上可见，本申请实施例的基于用于方向性的运动场的帧间方向预测模式的帧间预测过 程中，沿着预测方向的一个或多个子块的运动矢量彼此相同且运动矢量的值取决于目标参考 块的运动矢量，从而能较好的预测具有方向性的运动场的图像块或其子块的运动矢量，提高 了运动矢量的预测准确性。
在本申请的一个实例中，每个参考块(例如空域邻近参考块，时域邻近参考块)的运动 信息(即每组运动信息)可包括运动矢量、参考图像列表和与参考图像列表对应的参考图像 索引。参考图像索引用于识别指定参考图像列表(RefPicList0或RefPicList1)中的运动矢量 所指向的参考图像。运动矢量(MV)是指水平和竖直方向的位置偏移，即运动向量的水平分 量和运动向量的垂直分量。
为了提高运动矢量预测的有效性，无论基于哪一种新的帧间预测模式预测当前图像块中 一个或多个子块的运动信息，在执行多组运动信息的线性插值或加权或求均值之前，视频编 码器100或者视频解码器200(具体的，帧间预测器110、210)可进一步用于(或者本申请 各个实施例的方法还可以包括)：
确定当前图像块的、与指定参考图像列表对应的目标参考图像索引；这里的指定参考图 像列表可以是参考图像列表0或列表1；这里的目标参考图像索引可以是0，1或其它，也可 以是指定参考图像列表中使用频率最高的参考图像索引，例如是所有参考块的运动矢量或者 经加权的参考块的运动矢量指向/使用次数最多的参考图像索引。
判断所述多组运动信息各自包括的与所述指定参考图像列表对应的参考图像索引是否与 所述目标参考图像索引相同；
如果当前运动信息包括的与所述指定参考图像列表对应的参考图像索引不同于所述目标 参考图像索引，则对当前运动运动信息包括的与所述指定参考图像列表对应的运动矢量进行 基于时域距离的缩放处理，以得到指向所述目标参考图像索引的参考帧的运动矢量。
在一种实例中，基于当前图像与由当前运动信息的参考图像索引指示的参考图像之间的 时间距离与当前图像与由目标参考图像索引指示的参考图像之间的时间距离，来按比例缩放 运动矢量。
举例说明，对多个参考块的运动矢量进行插值之前，如果多个参考块的运动信息各自包 括的与列表0对应的参考图像索引不同，例如第一参考块的与列表0对应的参考图像索引为 0，而第二参考块的与列表0对应的参考图像索引为1，而且在假定当前图像块与列表0对应 的参考图像索引为0的情况下，则对第二参考块的运动矢量(对应列表0)进行基于时域距 离的缩放，以得到指向由参考图像索引0指示的参考帧的运动矢量。
在本申请的另一个实例中，针对某些帧间方向预测模式，在利用目标参考块的运动矢量 推算当前子块的运动矢量之前，为了减少由参考块运动信息的边缘edge效应引起的当前块运 动信息的轮廓效应，视频编码器100或者视频解码器200可进一步用于(或者本申请各个实 施例的方法还可以包括)：基于与帧间方向预测模式对应的预测方向或角度，对目标参考块 的运动信息选择性地进行滤波，例如，当确定的帧间预测模式为角度比较大的帧间方向预测 模式2,6或10，在利用目标参考块的运动矢量推算当前子块的运动矢量之前，对目标参考块 的运动矢量进行滤波；例如，可以利用邻近参考块的运动信息通过{1/4,2/4,1/4}的滤波器对 目标参考块的运动信息进行滤波，其中邻近参考块为与目标参考块直接相邻(比如左右相邻， 或者上下相邻)的邻近参考块。
尤其是，可以基于块大小和与帧间方向预测模式对应的预测方向或角度，对目标参考块 的运动信息选择性地进行滤波，例如，块越大，角度较大的帧间方向预测模式，在利用目标 参考块的运动矢量推算当前子块的运动矢量之前，提前滤波处理的必要性就越大。
在本申请的再一实例中，考虑到处于当前图像块边界的多个子块(例如上下相邻的子块) 的运动矢量可能不同(不连续性)，那么从参考图像中取得的预测块在参考图像中不相邻， 这可能会导致边界子块的预测块之间的不连续，从而导致残差的不连续，影响残差的图像编 码/解码性能，因此考虑对图像块边界处的子块的运动矢量进行滤波。
相应地，视频编码器100或者视频解码器200可进一步用于(或者本申请各个实施例的 方法还可以包括)：对当前图像块的边界子块的运动信息进行滤波，该边界子块为当前图像 块中位于边界的一个或多个子块。尤其是，对特定帧间预测模式(例如第二帧间预测模式、 垂直预测模式、水平预测模式等)下当前图像块的边界子块的运动信息进行滤波。可选地， 可以通过{1/4,3/4}或者{1/4,2/4,1/4}的滤波器进行滤波，使得边界子块的运动矢量变化的更 平缓，应当理解的是本申请并不限于此。
图11为本申请实施例中的帧间预测装置1100的一种示意性框图。需要说明的是，帧间 预测装置1100既适用于解码视频图像的帧间预测，也适用于编码视频图像的帧间预测，应当 理解的是，这里的帧间预测装置1100可以对应于图2A中的帧间预测器110，或者可以对应 于图2B中的帧间预测器210，该帧间预测装置1100可以包括：
帧间预测模式确定单元1101，用于确定用于对当前图像块进行帧间预测的帧间预测模式， 其中所述帧间预测模式是候选帧间预测模式集合中的一种，所述候选帧间预测模式集合包括： 用于非方向性的运动场的多种帧间预测模式，或用于方向性的运动场的多种帧间预测模式；
帧间预测处理单元1102，用于基于所述确定的帧间预测模式，对所述当前图像块执行帧 间预测。
在一种可行的实施方式中，帧间预测处理单元1102具体用于：基于所述确定的帧间预测 模式，预测所述当前图像块中一个或多个子块(具体可以是每个子块或所有子块)的运动信 息，并利用所述当前图像块中一个或多个子块的运动信息对所述当前图像块执行帧间预测。 应当理解的是，在预测得到当前图像块中一个或多个子块的运动矢量之后，可以通过运动补 偿过程生成对应子块的预测块，进而得到当前图像块的预测块。
由上可见，本申请实施例的帧间预测装置无论基于哪一种用于方向性或非方向性的帧间 预测模式均能预测出当前图像块中一个或多个子块(具体可以是每个或所有子块)的运动信 息(例如运动矢量)，这样的话，从结果来看，预测出的当前图像块的运动矢量基本上接近 使用运动估算方法得到的运动矢量，从而当编码时无需传送运动矢量差值MVD，在视频质量 相同的情况下节省了码率，因此本申请实施例的帧间预测装置的编解码性能得到进一步的改 善。
在一些可能的实施场景下，如果所述帧间预测模式确定单元1101确定用于非方向性的运 动场的第一帧间预测模式(用于帧间预测的平面planner模式)，所述帧间预测处理单元1102 具体用于：
预测或推导与当前图像块的当前子块相同行上的、所述当前图像块的右侧邻近块的第一 运动信息；
预测或推导与当前子块相同列上的、所述当前图像块的下侧邻近块的第二运动信息；
基于所述第一运动信息和与当前子块相同行上的、所述当前图像块的左侧邻近块的第三 运动信息的线性插值，得到当前子块的运动信息的第一预测值；
基于所述第二运动信息和与当前子块相同列上的、所述当前图像块的上侧邻近块的第四 运动信息的线性插值，得到当前子块的运动信息的第二预测值；
利用所述当前子块的运动信息的第一预测值和所述当前子块的运动信息的第二预测值， 确定所述当前子块的运动信息。
在一些可行的实施方式中，在所述预测(推导)与当前图像块的当前子块相同行上的、 所述当前图像块的右侧邻近块的第一运动信息的方面，所述帧间预测处理单元1102具体用 于：
基于所述当前图像块的第一并置块的右下角空域邻近块的第五运动信息和所述当前图像 块的右上角空域邻近块的第六运动信息的线性插值，得到所述第一运动信息，其中所述第一 并置块为参考图像中与所述当前图像块具有相同的大小、形状和坐标的图像块；或者
确定所述当前图像块的第一并置块(co-located)的第一右侧空域邻近块的运动信息为所 述第一运动信息，其中所述第一右侧空域邻近块位于所述第一并置块的行与当前子块位于所 述当前图像块的行相同；或者，
确定所述当前图像块的第二并置块(co-located)的第二右侧空域邻近块的运动信息为所 述第一运动信息，其中所述第二并置块为参考图像中与所述当前图像块具有指定位置偏移的 图像块，所述当前图像块的代表性空域邻近块的运动矢量用于表示所述指定位置偏移，且所 述第二右侧空域邻近块位于所述第二并置块的行与当前子块位于所述当前图像块的行相同； 或者，
确定所述当前图像块的右上角空域邻近块的第六运动信息为所述第一运动信息；或者， 确定所述当前图像块的右上侧的两个空域邻近块的运动信息的平均值为所述第一运动信息。
在一些可行的实施方式中，在所述获取与当前子块相同列上的、所述当前图像块的下侧 邻近块的第二运动信息的方面，所述帧间预测处理单元1102具体用于：
基于所述当前图像块的第一并置块的右下角空域邻近块的第五运动信息和所述当前图像 块的左下角空域邻近块的第七运动信息的线性插值，得到所述第二运动信息，其中所述第一 并置块为参考图像中与所述当前图像块具有相同的大小、形状和坐标的图像块；或者
确定所述当前图像块的第一并置块(co-located)的第一下侧空域邻近块的运动信息为 所述第二运动信息，其中所述第一下侧空域邻近块位于所述第一并置块的列与当前子块位于 所述当前图像块的列相同；或者
确定所述当前图像块的第二并置块(co-located)的第二下侧空域邻近块的运动信息为 所述第二运动信息，其中所述第二并置块为参考图像中与所述当前图像块具有指定位置偏移 的图像块，所述当前图像块的代表性空域邻近块的运动矢量用于表示所述指定位置偏移，且 所述第二下侧空域邻近块位于所述第二并置块的列与当前子块位于所述当前图像块的列相 同；或者
确定所述当前图像块的左下角空域邻近块的第七运动信息为所述第二运动信息；或者， 确定所述当前图像块的左下侧的两个空域邻近块的运动信息的平均值为所述第二运动信息。
在一种可行的实施方式中，在所述基于所述第一运动信息和与当前子块相同行上的、所 述当前图像块的左侧邻近块的第三运动信息的线性插值，得到当前子块的运动信息的第一预 测值的方面，所述帧间预测处理单元1102具体用于：
确定与当前子块相同行上的、所述当前图像块的右侧邻近块的第一运动信息和与当前子 块相同行上的、所述当前图像块的左侧邻近块的第三运动信息的加权值，为当前子块的运动 信息的第一预测值，其中，第三运动信息的加权因子和第一运动信息的加权因子之间比例是 基于与当前图像块的当前子块相同行上的、所述当前图像块的右侧空域邻近块和当前子块之 间的第一距离，与，当前子块和与当前子块相同行上的、所述当前图像块的左侧空域邻近块 之间的第二距离之间的比例确定的；
在所述基于所述第二运动信息和与当前子块相同列上的、所述当前图像块的上侧邻近块 的第四运动信息的线性插值，得到当前子块的运动信息的第二预测值的方面，所述帧间预测 处理单元1102具体用于：
确定与当前子块相同列上的、所述当前图像块的上侧空域邻近块的第四运动信息和与当 前子块相同列上的、所述当前图像块的下侧空域邻近块的第二运动信息的加权值，为当前子 块的运动信息的第二预测值，其中，第四运动信息的加权因子和第二运动信息的加权因子之 间比例是基于与当前图像块的当前子块相同列上的、所述当前图像块的下侧空域邻近块和当 前子块之间的第三距离，与，当前子块和与当前子块相同列上的、所述当前图像块的上侧空 域邻近块之间的第四距离之间的比例确定的。
可见，本申请实施例的基于用于非方向性的运动场的第一帧间预测模式(亦称为用于帧 间预测的平面planar模式)的帧间预测过程中，使用水平和垂直线性插值的均值来推导当前 子块的运动矢量，能较好的预测具有渐变的运动场的图像块或其子块的运动矢量，从而提高 了运动矢量的预测准确性。
在一些可能的实施场景下，如果所述帧间预测模式确定单元确定用于非方向性的运动场 的第二帧间预测模式(用于帧间预测的DC模式)，所述帧间预测处理单元1102具体用于：
确定与当前图像块的当前子块相同行上的、所述当前图像块的左侧空域邻近块的第三运 动信息和与所述当前子块相同列上的、所述当前图像块的上侧空域邻近块的第四运动信息的 均值为所述当前子块的运动信息；或者，
确定当前图像块的多个左侧空域邻近块的运动信息和当前图像块的多个上侧空域邻近块 的运动信息的均值为所述当前图像块的一个或多个子块(例如可以是所有子块)的运动信息。
可见，本申请实施例的基于用于非方向性的运动场的第二帧间预测模式(亦称为用于帧 间预测的DC模式)的帧间预测过程中，使用当前图像块的直接左侧空域邻近块、上侧空域 邻近块的运动矢量的均值来推导当前子块的运动矢量，能较好的预测具有平滑的运动场的图 像块或其子块的运动矢量，从而提高了运动矢量的预测准确性。
在一些可能的实施场景下，如果所述帧间预测模式确定单元确定用于方向性的运动场的 帧间方向预测模式(用于帧间预测的方向预测模式)，所述帧间预测处理单元1102具体用于：
确定一个目标参考块的运动信息为当前图像块的当前子块的运动信息；或者，
确定两个目标参考块的运动信息的加权值为所述当前子块的运动信息，或者
确定所述两个目标参考块及所述两个目标参考块的两个邻近块的运动信息的加权值为所 述当前子块的运动信息；
其中所述目标参考块是根据所述帧间方向预测模式对应的预测方向(角度)在参考行或 参考列上确定的与当前子块对应的参考块。
可见，本申请实施例的基于用于方向性的运动场的帧间方向预测模式的帧间预测过程中， 沿着预测方向的一个或多个子块的运动矢量彼此相同且运动矢量的值取决于目标参考块的运 动矢量，从而能较好的预测具有方向性的运动场的图像块或其子块的运动矢量，提高了运动 矢量的预测准确性。
在一些可行的实施方式中，为了提高运动矢量预测的有效性，在执行多组运动信息的线 性插值或加权或求均值之前，所述帧间预测处理单元1102进一步用于：
确定当前图像块的、与指定参考图像列表对应的目标参考图像索引；
判断所述多组运动信息各自包括的与所述指定参考图像列表对应的参考图像索引是否与 所述目标参考图像索引相同；
如果当前运动信息包括的与所述指定参考图像列表对应的参考图像索引不同于所述目标 参考图像索引，对当前运动运动信息包括的与所述指定参考图像列表对应的运动矢量进行基 于时域距离的缩放处理，以得到指向所述目标参考图像索引的参考帧的运动矢量。
当所述装置1100用于解码视频图像，所述装置1100还可以包括：
帧间预测数据获取单元(图中未示意)，用于接收包括用于指示是否对当前图像块采用 所述候选帧间预测模式集合进行帧间预测的第一标识的帧间预测数据；
相应的，帧间预测模式确定单元1101具体用于当所述帧间预测数据指示采用所述候选帧 间预测模式集合来对当前图像块进行预测时，从所述候选帧间预测模式集合中确定用于对当 前图像块进行帧间预测的帧间预测模式。
进一步的，在所述帧间预测数据获取单元接收的帧间预测数据还包括用于指示所述当前 图像块的帧间预测模式的第二标识的情况下，所述帧间预测模式确定单元1101具体用于确定 所述第二标识指示的帧间预测模式为用于对所述当前图像块进行帧间预测的帧间预测模式；
在所述帧间预测数据获取单元接收的帧间预测数据不包括用于指示所述当前图像块的帧 间预测模式的第二标识的情况下，所述帧间预测模式确定单元1101具体用于确定用于非方向 性的运动场的第一帧间预测模式(亦称为用于帧间预测的平面Planar模式)为用于对所述当 前图像块进行帧间预测的帧间预测模式。
当所述装置1100用于编码视频图像，所述装置1100还可以包括：
所述帧间预测模式确定单元1101具体用于确定所述候选帧间预测模式集合中编码所述 当前图像块的码率失真代价最小的帧间预测模式为用于对当前图像块进行帧间预测的帧间预 测模式。
需要说明的是，本申请实施例的帧间预测装置中的各个模块为实现本申请帧间预测方法 中所包含的各种执行步骤的功能主体，即具备实现完整实现本申请帧间预测方法中的各个步 骤以及这些步骤的扩展及变形的功能主体，具体请参见本文中对帧间预测方法的介绍，为简 洁起见，本文将不再赘述。
图12为本申请实施例的编码设备或解码设备(简称为译码设备1200)的一种实现方式 的示意性框图。其中，译码设备1200可以包括处理器1210、存储器1230和总线***1250。 其中，处理器和存储器通过总线***相连，该存储器用于存储指令，该处理器用于执行该存 储器存储的指令。编码设备的存储器存储程序代码，且处理器可以调用存储器中存储的程序 代码执行本申请描述的各种视频编码或解码方法，尤其是在各种新的帧间预测模式下的视频 编码或解码方法，以及在各种新的帧间预测模式下预测运动信息的方法。为避免重复，这里 不再详细描述。
在本申请实施例中，该处理器1210可以是中央处理单元(Central ProcessingUnit，简称 为“CPU”)，该处理器1210还可以是其他通用处理器、数字信号处理器(DSP)、专用集 成电路(ASIC)、现成可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规 的处理器等。
该存储器1230可以包括只读存储器(ROM)设备或者随机存取存储器(RAM)设备。任何其 他适宜类型的存储设备也可以用作存储器1230。存储器1230可以包括由处理器1210使用总 线1250访问的代码和数据1231。存储器1230可以进一步包括操作***1233和应用程序1235， 该应用程序1235包括允许处理器1210执行本申请描述的视频编码或解码方法(尤其是本申 请描述的帧间预测方法或运动信息预测方法)的至少一个程序。例如，应用程序1235可以包 括应用1至N，其进一步包括执行在本申请描述的视频编码或解码方法的视频编码或解码应 用(简称视频译码应用)。
该总线***1250除包括数据总线之外，还可以包括电源总线、控制总线和状态信号总线 等。但是为了清楚说明起见，在图中将各种总线都标为总线***1250。
可选的，译码设备1200还可以包括一个或多个输出设备，诸如显示器1270。在一个示 例中，显示器1270可以是触感显示器，其将显示器与可操作地感测触摸输入的触感单元合并。 显示器1270可以经由总线1250连接到处理器1210。
本领域技术人员能够领会，结合本文公开描述的各种说明性逻辑框、模块和算法步骤所 描述的功能可以硬件、软件、固件或其任何组合来实施。如果以软件来实施，那么各种说明 性逻辑框、模块、和步骤描述的功能可作为一或多个指令或代码在计算机可读媒体上存储或 传输，且由基于硬件的处理单元执行。计算机可读媒体可包含计算机可读存储媒体，其对应 于有形媒体，例如数据存储媒体，或包括任何促进将计算机程序从一处传送到另一处的媒体 (例如，根据通信协议)的通信媒体。以此方式，计算机可读媒体大体上可对应于(1)非暂时 性的有形计算机可读存储媒体，或(2)通信媒体，例如信号或载波。数据存储媒体可为可由 一或多个计算机或一或多个处理器存取以检索用于实施本申请中描述的技术的指令、代码和/ 或数据结构的任何可用媒体。计算机程序产品可包含计算机可读媒体。
作为实例而非限制，此类计算机可读存储媒体可包括RAM、ROM、EEPROM、CD-ROM 或其它光盘存储装置、磁盘存储装置或其它磁性存储装置、快闪存储器或可用来存储指令或数据结构的形式的所要程序代码并且可由计算机存取的任何其它媒体。并且，任何连接被恰 当地称作计算机可读媒体。举例来说，如果使用同轴缆线、光纤缆线、双绞线、数字订户线 (DSL)或例如红外线、无线电和微波等无线技术从网站、服务器或其它远程源传输指令，那么 同轴缆线、光纤缆线、双绞线、DSL或例如红外线、无线电和微波等无线技术包含在媒体的 定义中。但是，应理解，所述计算机可读存储媒体和数据存储媒体并不包括连接、载波、信 号或其它暂时媒体，而是实际上针对于非暂时性有形存储媒体。如本文中所使用，磁盘和光 盘包含压缩光盘(CD)、激光光盘、光学光盘、数字多功能光盘(DVD)和蓝光光盘，其中磁盘 通常以磁性方式再现数据，而光盘利用激光以光学方式再现数据。以上各项的组合也应包含 在计算机可读媒体的范围内。
可通过例如一或多个数字信号处理器(DSP)、通用微处理器、专用集成电路(ASIC)、现场 可编程逻辑阵列(FPGA)或其它等效集成或离散逻辑电路等一或多个处理器来执行指令。因 此，如本文中所使用的术语“处理器”可指前述结构或适合于实施本文中所描述的技术的任 一其它结构中的任一者。另外，在一些方面中，本文中所描述的各种说明性逻辑框、模块、 和步骤所描述的功能可以提供于经配置以用于编码和解码的专用硬件和/或软件模块内，或者 并入在组合编解码器中。而且，所述技术可完全实施于一或多个电路或逻辑元件中。
本申请的技术可在各种各样的装置或设备中实施，包含无线手持机、集成电路(IC)或一 组IC(例如，芯片组)。本申请中描述各种组件、模块或单元是为了强调用于执行所揭示的技 术的装置的功能方面，但未必需要由不同硬件单元实现。实际上，如上文所描述，各种单元 可结合合适的软件和/或固件组合在编码解码器硬件单元中，或者通过互操作硬件单元(包含 如上文所描述的一或多个处理器)来提供。
以上所述，仅为本申请示例性的具体实施方式，但本申请的保护范围并不局限于此，任 何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到的变化或替换，都应 涵盖在本申请的保护范围之内。因此，本申请的保护范围应该以权利要求的保护范围为准。

Claims (39)

1.一种视频图像的帧间预测方法，其特征在于，包括：
确定用于对当前图像块进行帧间预测的帧间预测模式，其中所述帧间预测模式是候选帧间预测模式集合中的一种，所述候选帧间预测模式集合包括：用于非方向性的运动场的多种帧间预测模式，和/或用于方向性的运动场的多种帧间预测模式；
基于所述确定的帧间预测模式，对所述当前图像块执行帧间预测。
2.根据权利要求1所述的方法，其特征在于，所述基于确定的帧间预测模式，对所述当前图像块执行帧间预测，包括：
基于所述确定的帧间预测模式，预测所述当前图像块中一个或多个子块的运动信息，并利用所述当前图像块中一个或多个子块的运动信息对所述当前图像块执行帧间预测。
3.根据权利要求2所述的方法，其特征在于，所述确定的帧间预测模式为用于非方向性的运动场的第一帧间预测模式，所述预测当前图像块中一个或多个子块的运动信息包括：
预测与当前图像块的当前子块相同行上的、所述当前图像块的右侧空域邻近块的第一运动信息；
预测与当前图像块的当前子块相同列上的、所述当前图像块的下侧空域邻近块的第二运动信息；
基于所述第一运动信息和与当前子块相同行上的、所述当前图像块的左侧邻近块的第三运动信息的线性插值，得到当前子块的运动信息的第一预测值；
基于所述第二运动信息和与当前子块相同列上的、所述当前图像块的上侧邻近块的第四运动信息的线性插值，得到当前子块的运动信息的第二预测值；
利用所述当前子块的运动信息的第一预测值和所述当前子块的运动信息的第二预测值，确定所述当前子块的运动信息。
4.根据权利要求3所述的方法，其特征在于，所述预测与当前图像块的当前子块相同行上的、所述当前图像块的右侧邻近块的第一运动信息，包括：
基于所述当前图像块的第一并置块的右下角空域邻近块的第五运动信息和所述当前图像块的右上角空域邻近块的第六运动信息的线性插值，得到所述第一运动信息，其中所述第一并置块为参考图像中与所述当前图像块具有相同的大小、形状和坐标的图像块；或者
确定所述当前图像块的第一并置块的第一右侧空域邻近块的运动信息为所述第一运动信息，其中，所述第一并置块为参考图像中与所述当前图像块具有相同的大小、形状和坐标的图像块，所述第一右侧空域邻近块位于所述第一并置块的行与当前子块位于所述当前图像块的行相同；或者
确定所述当前图像块的第二并置块的第二右侧空域邻近块的运动信息为所述第一运动信息，其中所述第二并置块为参考图像中与所述当前图像块具有指定位置偏移的图像块，所述当前图像块的代表性空域邻近块的运动矢量用于表示所述指定位置偏移，且所述第二右侧空域邻近块位于所述第二并置块的行与当前子块位于所述当前图像块的行相同；或者
确定所述当前图像块的右上角空域邻近块的第六运动信息为所述第一运动信息；或者，确定所述当前图像块的右上侧的多个空域邻近块的运动信息的均值为所述第一运动信息。
5.根据权利要求3或4所述的方法，其特征在于，所述预测与当前图像块的当前子块相同列上的、所述当前图像块的下侧邻近块的第二运动信息，包括：
基于所述当前图像块的第一并置块的右下角空域邻近块的第五运动信息和所述当前图像块的左下角空域邻近块的第七运动信息的线性插值，得到所述第二运动信息，其中所述第一并置块为参考图像中与所述当前图像块具有相同的大小、形状和坐标的图像块；或者
确定所述当前图像块的第一并置块的第一下侧空域邻近块的运动信息为所述第二运动信息，其中所述第一并置块为参考图像中与所述当前图像块具有相同的大小、形状和坐标的图像块，所述第一下侧空域邻近块位于所述第一并置块的列与当前子块位于所述当前图像块的列相同；或者
确定所述当前图像块的第二并置块的第二下侧空域邻近块的运动信息为所述第二运动信息，其中所述第二并置块为参考图像中与所述当前图像块具有指定位置偏移的图像块，所述当前图像块的代表性空域邻近块的运动矢量用于表示所述指定位置偏移，且所述第二下侧空域邻近块位于所述第二并置块的列与当前子块位于所述当前图像块的列相同；或者
确定所述当前图像块的左下角空域邻近块的第七运动信息为所述第二运动信息；或者，确定所述当前图像块的左下侧的多个空域邻近块的运动信息的均值为所述第二运动信息。
6.如权利要求3至5任一项所述的方法，其特征在于，
所述基于所述第一运动信息和与当前子块相同行上的、所述当前图像块的左侧邻近块的第三运动信息的线性插值，得到当前子块的运动信息的第一预测值，包括：
确定与当前子块相同行上的、所述当前图像块的右侧邻近块的第一运动信息和与当前子块相同行上的、所述当前图像块的左侧邻近块的第三运动信息的加权值，为当前子块的运动信息的第一预测值，其中，第三运动信息的加权因子和第一运动信息的加权因子之间比例是基于第一距离与第二距离之间的比例确定的，与，与当前图像块的当前子块相同行上的、所述当前图像块的右侧空域邻近块和当前子块之间的距离为第一距离，当前子块和与当前子块相同行上的、所述当前图像块的左侧空域邻近块之间的距离为第二距离；
或者，
所述基于所述第二运动信息和与当前子块相同列上的、所述当前图像块的上侧邻近块的第四运动信息的线性插值，得到当前子块的运动信息的第二预测值，包括：
确定与当前子块相同列上的、所述当前图像块的上侧空域邻近块的第四运动信息和与当前子块相同列上的、所述当前图像块的下侧空域邻近块的第二运动信息的加权值，为当前子块的运动信息的第二预测值，其中，第四运动信息的加权因子和第二运动信息的加权因子之间比例是基于第三距离与第四距离之间的比例确定的，与，与当前图像块的当前子块相同列上的、所述当前图像块的下侧空域邻近块和当前子块之间的距离为第三距离，当前子块和与当前子块相同列上的、所述当前图像块的上侧空域邻近块之间的距离为第四距离。
7.根据权利要求2所述的方法，其特征在于，所述确定的帧间预测模式为用于非方向性的运动场的第二帧间预测模式，所述预测当前图像块中一个或多个子块的运动信息包括：
确定与当前图像块的当前子块相同行上的、所述当前图像块的左侧空域邻近块的第三运动信息和与所述当前子块相同列上的、所述当前图像块的上侧空域邻近块的第四运动信息的均值为所述当前子块的运动信息；或者，
确定当前图像块的多个左侧空域邻近块的运动信息和当前图像块的多个上侧空域邻近块的运动信息的均值为所述当前图像块的一个或多个子块的运动信息。
8.根据权利要求2所述的方法，其特征在于，所述确定的帧间预测模式为用于方向性的运动场的帧间方向预测模式，所述预测当前图像块中一个或多个子块的运动信息包括：
确定一个目标参考块的运动信息为当前图像块的当前子块的运动信息；或者，
确定两个目标参考块的运动信息的加权值为所述当前子块的运动信息，或者
确定所述两个目标参考块及所述两个目标参考块的两个邻近块的运动信息的加权值为所述当前子块的运动信息；
其中所述目标参考块是根据所述帧间方向预测模式对应的预测方向在参考行或参考列上确定的与当前子块对应的参考块。
9.如权利要求3至8任一项所述的方法，其特征在于，在执行多组运动信息的线性插值或加权或求均值之前，所述方法还包括：
确定当前图像块的、与指定参考图像列表对应的目标参考图像索引；
判断所述多组运动信息各自包括的与所述指定参考图像列表对应的参考图像索引是否与所述目标参考图像索引相同；
如果一组运动信息包括的与所述指定参考图像列表对应的参考图像索引不同于所述目标参考图像索引，则对该组运动信息包括的与所述指定参考图像列表对应的运动矢量进行基于时域距离的缩放处理，以得到指向所述目标参考图像索引的参考帧的运动矢量。
10.根据权利要求1至9任一项所述的方法，其特征在于，所述方法用于解码视频图像，还包括：
解码码流，以得到包括第一标识的帧间预测数据，其中所述第一标识用于指示是否对当前图像块采用所述候选帧间预测模式集合进行帧间预测；
所述确定用于对当前图像块进行帧间预测的帧间预测模式，包括：当所述帧间预测数据指示采用候选帧间预测模式集合来对当前图像块进行预测时，从所述候选帧间预测模式集合中确定用于对当前图像块进行帧间预测的帧间预测模式。
11.根据权利要求10所述的方法，其特征在于，如果所述帧间预测数据还包括用于指示所述当前图像块的帧间预测模式的第二标识，则所述确定用于对所述当前图像块进行帧间预测的帧间预测模式包括：确定所述第二标识指示的帧间预测模式为用于对所述当前图像块进行帧间预测的帧间预测模式；或者，
如果所述帧间预测数据未包括用于指示所述当前图像块的帧间预测模式的第二标识，则所述确定用于对所述当前图像块进行帧间预测的帧间预测模式包括：确定用于非方向性的运动场的第一帧间预测模式为用于对所述当前图像块进行帧间预测的帧间预测模式。
12.根据权利要求1至9任一项所述的方法，其特征在于，所述方法用于编码视频图像，
所述确定用于对当前图像块进行帧间预测的帧间预测模式，包括：确定所述候选帧间预测模式集合中编码所述当前图像块的码率失真代价最小的帧间预测模式为用于对当前图像块进行帧间预测的帧间预测模式。
13.根据权利要求1至9以及权12任一项所述的方法，其特征在于，所述方法用于编码视频图像，还包括：
将帧间预测数据编入码流，其中所述帧间预测数据包括：用于指示是否对当前图像块采用所述候选帧间预测模式集合进行帧间预测的第一标识；或者，所述帧间预测数据包括：用于指示是否对当前图像块采用所述候选帧间预测模式集合进行帧间预测的第一标识和用于指示当前图像块的帧间预测模式的第二标识。
14.一种视频图像的帧间预测装置，其特征在于，包括：
帧间预测模式确定单元，用于确定用于对当前图像块进行帧间预测的帧间预测模式，其中所述帧间预测模式是候选帧间预测模式集合中的一种，所述候选帧间预测模式集合包括：用于非方向性的运动场的多种帧间预测模式，和/或用于方向性的运动场的多种帧间预测模式；
帧间预测处理单元，用于基于所述确定的帧间预测模式，对所述当前图像块执行帧间预测。
15.根据权利要求14所述的装置，其特征在于，所述帧间预测处理单元用于基于所述确定的帧间预测模式，预测所述当前图像块中一个或多个子块的运动信息，并利用所述当前图像块中一个或多个子块的运动信息对所述当前图像块执行帧间预测。
16.根据权利要求15所述的装置，其特征在于，如果所述帧间预测模式确定单元确定用于非方向性的运动场的第一帧间预测模式，在所述预测当前图像块中一个或多个子块的运动信息的方面，所述帧间预测处理单元具体用于：
预测与当前图像块的当前子块相同行上的、所述当前图像块的右侧邻近块的第一运动信息；
预测与当前子块相同列上的、所述当前图像块的下侧邻近块的第二运动信息；
基于所述第一运动信息和与当前子块相同行上的、所述当前图像块的左侧邻近块的第三运动信息的线性插值，得到当前子块的运动信息的第一预测值；
基于所述第二运动信息和与当前子块相同列上的、所述当前图像块的上侧邻近块的第四运动信息的线性插值，得到当前子块的运动信息的第二预测值；
利用所述当前子块的运动信息的第一预测值和所述当前子块的运动信息的第二预测值，确定所述当前子块的运动信息。
17.根据权利要求16所述的装置，其特征在于，在所述预测与当前图像块的当前子块相同行上的、所述当前图像块的右侧邻近块的第一运动信息的方面，所述帧间预测处理单元具体用于：
基于所述当前图像块的第一并置块的右下角空域邻近块的第五运动信息和所述当前图像块的右上角空域邻近块的第六运动信息的线性插值，得到所述第一运动信息，其中所述第一并置块为参考图像中与所述当前图像块具有相同的大小、形状和坐标的图像块；或者
确定所述当前图像块的第一并置块的第一右侧空域邻近块的运动信息为所述第一运动信息，其中所述第一并置块为参考图像中与所述当前图像块具有相同的大小、形状和坐标的图像块，所述第一右侧空域邻近块位于所述第一并置块的行与当前子块位于所述当前图像块的行相同；或者，
确定所述当前图像块的第二并置块的第二右侧空域邻近块的运动信息为所述第一运动信息，其中所述第二并置块为参考图像中与所述当前图像块具有指定位置偏移的图像块，所述当前图像块的代表性空域邻近块的运动矢量用于表示所述指定位置偏移，且所述第二右侧空域邻近块位于所述第二并置块的行与当前子块位于所述当前图像块的行相同；或者，
确定所述当前图像块的右上角空域邻近块的第六运动信息为所述第一运动信息；或者，确定所述当前图像块的右上侧的两个空域邻近块的运动信息的平均值为所述第一运动信息。
18.根据权利要求16或17所述的装置，其特征在于，在所述预测与当前子块相同列上的、所述当前图像块的下侧邻近块的第二运动信息的方面，所述帧间预测处理单元具体用于：
基于所述当前图像块的第一并置块的右下角空域邻近块的第五运动信息和所述当前图像块的左下角空域邻近块的第七运动信息的线性插值，得到所述第二运动信息，其中所述第一并置块为参考图像中与所述当前图像块具有相同的大小、形状和坐标的图像块；或者
确定所述当前图像块的第一并置块的第一下侧空域邻近块的运动信息为所述第二运动信息，其中所述第一并置块为参考图像中与所述当前图像块具有相同的大小、形状和坐标的图像块，所述第一下侧空域邻近块位于所述第一并置块的列与当前子块位于所述当前图像块的列相同；或者
确定所述当前图像块的第二并置块的第二下侧空域邻近块的运动信息为所述第二运动信息，其中所述第二并置块为参考图像中与所述当前图像块具有指定位置偏移的图像块，所述当前图像块的代表性空域邻近块的运动矢量用于表示所述指定位置偏移，且所述第二下侧空域邻近块位于所述第二并置块的列与当前子块位于所述当前图像块的列相同；或者
确定所述当前图像块的左下角空域邻近块的第七运动信息为所述第二运动信息；或者，确定所述当前图像块的左下侧的两个空域邻近块的运动信息的平均值为所述第二运动信息。
19.如权利要求16至18任一项所述的装置，其特征在于，
在所述基于所述第一运动信息和与当前子块相同行上的、所述当前图像块的左侧邻近块的第三运动信息的线性插值，得到当前子块的运动信息的第一预测值的方面，所述帧间预测处理单元具体用于：确定与当前子块相同行上的、所述当前图像块的右侧邻近块的第一运动信息和与当前子块相同行上的、所述当前图像块的左侧邻近块的第三运动信息的加权值，为当前子块的运动信息的第一预测值，其中，第三运动信息的加权因子和第一运动信息的加权因子之间比例是基于与当前图像块的当前子块相同行上的、所述当前图像块的右侧空域邻近块和当前子块之间的第一距离，与，当前子块和与当前子块相同行上的、所述当前图像块的左侧空域邻近块之间的第二距离之间的比例确定的；
在所述基于所述第二运动信息和与当前子块相同列上的、所述当前图像块的上侧邻近块的第四运动信息的线性插值，得到当前子块的运动信息的第二预测值的方面，所述帧间预测处理单元具体用于：
确定与当前子块相同列上的、所述当前图像块的上侧空域邻近块的第四运动信息和与当前子块相同列上的、所述当前图像块的下侧空域邻近块的第二运动信息的加权值，为当前子块的运动信息的第二预测值，
其中，第四运动信息的加权因子和第二运动信息的加权因子之间比例是基于与当前图像块的当前子块相同列上的、所述当前图像块的下侧空域邻近块和当前子块之间的第三距离，与，当前子块和与当前子块相同列上的、所述当前图像块的上侧空域邻近块之间的第四距离之间的比例确定的。
20.根据权利要求15所述的装置，其特征在于，如果所述帧间预测模式确定单元确定用于非方向性的运动场的第二帧间预测模式，在所述预测当前图像块中一个或多个子块的运动信息的方面，所述帧间预测处理单元具体用于：
确定与当前图像块的当前子块相同行上的、所述当前图像块的左侧空域邻近块的第三运动信息和与所述当前子块相同列上的、所述当前图像块的上侧空域邻近块的第四运动信息的均值为所述当前子块的运动信息；或者，
确定当前图像块的多个左侧空域邻近块的运动信息和当前图像块的多个上侧空域邻近块的运动信息的均值为所述当前图像块的一个或多个子块的运动信息。
21.根据权利要求15所述的装置，其特征在于，如果所述帧间预测模式确定单元确定用于方向性的运动场的帧间方向预测模式，在所述预测当前图像块中一个或多个子块的运动信息的方面，所述帧间预测处理单元具体用于：
确定一个目标参考块的运动信息为当前图像块的当前子块的运动信息；或者，
确定两个目标参考块的运动信息的加权值为所述当前子块的运动信息，或者
确定所述两个目标参考块及所述两个目标参考块的两个邻近块的运动信息的加权值为所述当前子块的运动信息；
其中所述目标参考块是根据所述帧间方向预测模式对应的预测方向在参考行或参考列上确定的与当前子块对应的参考块。
22.如权利要求16至21任一项所述的装置，其特征在于，在执行多组运动信息的线性插值或加权或求均值之前，所述帧间预测处理单元进一步用于：
确定当前图像块的、与指定参考图像列表对应的目标参考图像索引；
判断所述多组运动信息各自包括的与所述指定参考图像列表对应的参考图像索引是否与所述目标参考图像索引相同；
如果一组运动信息包括的与所述指定参考图像列表对应的参考图像索引不同于所述目标参考图像索引，对该组运动运动信息包括的与所述指定参考图像列表对应的运动矢量进行基于时域距离的缩放处理，以得到指向所述目标参考图像索引对应的参考帧的运动矢量。
23.根据权利要求14至22任一项所述的装置，其特征在于，所述装置用于解码视频图像，还包括：
帧间预测数据获取单元，用于接收包括用于指示是否对当前图像块采用所述候选帧间预测模式集合进行帧间预测的第一标识的帧间预测数据；
所述帧间预测模式确定单元具体用于当所述帧间预测数据指示采用所述候选帧间预测模式集合来对当前图像块进行预测时，从所述候选帧间预测模式集合中确定用于对当前图像块进行帧间预测的帧间预测模式。
24.根据权利要求23所述的装置，其特征在于，在所述帧间预测数据获取单元接收的帧间预测数据还包括用于指示所述当前图像块的帧间预测模式的第二标识的情况下，所述帧间预测模式确定单元具体用于确定所述第二标识指示的帧间预测模式为用于对所述当前图像块进行帧间预测的帧间预测模式；
在所述帧间预测数据获取单元接收的帧间预测数据不包括用于指示所述当前图像块的帧间预测模式的第二标识的情况下，所述帧间预测模式确定单元具体用于确定用于非方向性的运动场的第一帧间预测模式为用于对所述当前图像块进行帧间预测的帧间预测模式。
25.根据权利要求14至22任一项所述的装置，其特征在于，所述装置用于编码视频图像，
所述帧间预测模式确定单元具体用于确定所述候选帧间预测模式集合中编码所述当前图像块的码率失真代价最小的帧间预测模式为用于对当前图像块进行帧间预测的帧间预测模式。
26.一种视频编码器，其特征在于，所述视频编码器用于编码图像块，包括：
如权利要求14至22以及25任一项所述的帧间预测器，其中所述帧间预测器用于基于帧间预测模式，预测待编码图像块的预测块，其中所述帧间预测模式是候选帧间预测模式集合中的一种；
熵编码器，用于将第一标识编入码流，所述第一标识用于指示是否对所述待编码图像块采用所述候选帧间预测模式集合进行帧间预测；
重建器，用于根据所述预测块重建所述图像块。
27.根据权利要求26所述的视频编码器，其特征在于，所述熵编码器，还用于将第二标识编入码流，所述第二标识用于指示所述待编码图像块的帧间预测模式。
28.一种视频解码器，其特征在于，所述视频解码器用于从码流中解码出图像块，包括：
熵解码器，用于从码流中解码出第一标识，所述第一标识用于指示是否对待解码图像块采用候选帧间预测模式集合进行帧间预测；
如权利要求14至24任一项所述的帧间预测器，其中所述帧间预测器用于基于帧间预测模式，预测所述待解码图像块的预测块，其中所述帧间预测模式是所述候选帧间预测模式集合中的一种；
重建器，用于根据所述预测块重建所述图像块。
29.根据权利要求28所述的视频解码器，其特征在于，所述熵解码器还用于从所述码流中解码出第二标识，所述第二标识用于指示所述待解码图像块的帧间预测模式。
30.一种视频图像的帧间预测方法，其特征在于，包括：
确定用于对当前图像块进行帧间预测的帧间预测模式，其中所述帧间预测模式是候选帧间预测模式集合中的一种，所述候选帧间预测模式集合包括：用于平滑或渐变的运动场的第一帧间预测模式；
基于所述确定的帧间预测模式，预测所述当前图像块中每个子块的运动信息，并利用所述当前图像块中每个子块的运动信息对所述当前图像块执行帧间预测。
31.根据权利要求30所述的方法，其特征在于，所述确定的帧间预测模式为用于平滑或渐变的运动场的第一帧间预测模式，所述预测当前图像块中每个子块的运动信息包括：
预测与当前图像块的当前子块相同行上的、所述当前图像块的右侧空域邻近块的第一运动信息；
预测与当前图像块的当前子块相同列上的、所述当前图像块的下侧空域邻近块的第二运动信息；
基于所述第一运动信息和与当前子块相同行上的、所述当前图像块的左侧邻近块的第三运动信息的线性插值，得到当前子块的运动信息的第一预测值；
基于所述第二运动信息和与当前子块相同列上的、所述当前图像块的上侧邻近块的第四运动信息的线性插值，得到当前子块的运动信息的第二预测值；
利用所述当前子块的运动信息的第一预测值和所述当前子块的运动信息的第二预测值，确定所述当前子块的运动信息。
32.根据权利要求31所述的方法，其特征在于，所述预测与当前图像块的当前子块相同行上的、所述当前图像块的右侧邻近块的第一运动信息，包括：
基于所述当前图像块的第一并置块的右下角空域邻近块的第五运动信息和所述当前图像块的右上角空域邻近块的第六运动信息的线性插值，得到所述第一运动信息，其中所述第一并置块为参考图像中与所述当前图像块具有相同的大小、形状和坐标的图像块；或者
确定所述当前图像块的第一并置块的第一右侧空域邻近块的运动信息为所述第一运动信息，其中，所述第一并置块为参考图像中与所述当前图像块具有相同的大小、形状和坐标的图像块，所述第一右侧空域邻近块位于所述第一并置块的行与当前子块位于所述当前图像块的行相同；或者
确定所述当前图像块的第二并置块的第二右侧空域邻近块的运动信息为所述第一运动信息，其中所述第二并置块为参考图像中与所述当前图像块具有指定位置偏移的图像块，所述当前图像块的代表性空域邻近块的运动矢量用于表示所述指定位置偏移，且所述第二右侧空域邻近块位于所述第二并置块的行与当前子块位于所述当前图像块的行相同；或者
确定所述当前图像块的右上角空域邻近块的第六运动信息为所述第一运动信息；或者，确定所述当前图像块的右上侧的多个空域邻近块的运动信息的均值为所述第一运动信息。
33.根据权利要求31或32所述的方法，其特征在于，所述预测与当前图像块的当前子块相同列上的、所述当前图像块的下侧邻近块的第二运动信息，包括：
基于所述当前图像块的第一并置块的右下角空域邻近块的第五运动信息和所述当前图像块的左下角空域邻近块的第七运动信息的线性插值，得到所述第二运动信息，其中所述第一并置块为参考图像中与所述当前图像块具有相同的大小、形状和坐标的图像块；或者
确定所述当前图像块的第一并置块的第一下侧空域邻近块的运动信息为所述第二运动信息，其中所述第一并置块为参考图像中与所述当前图像块具有相同的大小、形状和坐标的图像块，所述第一下侧空域邻近块位于所述第一并置块的列与当前子块位于所述当前图像块的列相同；或者
确定所述当前图像块的第二并置块的第二下侧空域邻近块的运动信息为所述第二运动信息，其中所述第二并置块为参考图像中与所述当前图像块具有指定位置偏移的图像块，所述当前图像块的代表性空域邻近块的运动矢量用于表示所述指定位置偏移，且所述第二下侧空域邻近块位于所述第二并置块的列与当前子块位于所述当前图像块的列相同；或者
确定所述当前图像块的左下角空域邻近块的第七运动信息为所述第二运动信息；或者，确定所述当前图像块的左下侧的多个空域邻近块的运动信息的均值为所述第二运动信息。
34.如权利要求31至33任一项所述的方法，其特征在于，
所述基于所述第一运动信息和与当前子块相同行上的、所述当前图像块的左侧邻近块的第三运动信息的线性插值，得到当前子块的运动信息的第一预测值，包括：
确定与当前子块相同行上的、所述当前图像块的右侧邻近块的第一运动信息和与当前子块相同行上的、所述当前图像块的左侧邻近块的第三运动信息的加权值，为当前子块的运动信息的第一预测值，
其中，第三运动信息的加权因子和第一运动信息的加权因子之间比例是基于与当前图像块的当前子块相同行上的、所述当前图像块的右侧空域邻近块和当前子块之间的第一距离，与，当前子块和与当前子块相同行上的、所述当前图像块的左侧空域邻近块之间的第二距离之间的比例确定的；
或者，
所述基于所述第二运动信息和与当前子块相同列上的、所述当前图像块的上侧邻近块的第四运动信息的线性插值，得到当前子块的运动信息的第二预测值，包括：
确定与当前子块相同列上的、所述当前图像块的上侧空域邻近块的第四运动信息和与当前子块相同列上的、所述当前图像块的下侧空域邻近块的第二运动信息的加权值，为当前子块的运动信息的第二预测值，
其中，第四运动信息的加权因子和第二运动信息的加权因子之间比例是基于与当前图像块的当前子块相同列上的、所述当前图像块的下侧空域邻近块和当前子块之间的第三距离，与，当前子块和与当前子块相同列上的、所述当前图像块的上侧空域邻近块之间的第四距离之间的比例确定的。
35.一种视频图像的帧间预测装置，其特征在于，包括：
帧间预测模式确定单元，用于确定用于对当前图像块进行帧间预测的帧间预测模式，其中所述帧间预测模式是候选帧间预测模式集合中的一种，所述候选帧间预测模式集合包括：用于平滑或渐变的运动场的第一帧间预测模式；
帧间预测处理单元，用于基于所述确定的帧间预测模式，预测所述当前图像块中每个子块的运动信息，并利用所述当前图像块中每个子块的运动信息对所述当前图像块执行帧间预测。
36.根据权利要求35所述的装置，其特征在于，如果所述帧间预测模式确定单元确定用于平滑或渐变的运动场的第一帧间预测模式，在所述预测当前图像块中每个子块的运动信息的方面，所述帧间预测处理单元具体用于：
预测与当前图像块的当前子块相同行上的、所述当前图像块的右侧邻近块的第一运动信息；
预测与当前子块相同列上的、所述当前图像块的下侧邻近块的第二运动信息；
基于所述第一运动信息和与当前子块相同行上的、所述当前图像块的左侧邻近块的第三运动信息的线性插值，得到当前子块的运动信息的第一预测值；
基于所述第二运动信息和与当前子块相同列上的、所述当前图像块的上侧邻近块的第四运动信息的线性插值，得到当前子块的运动信息的第二预测值；
利用所述当前子块的运动信息的第一预测值和所述当前子块的运动信息的第二预测值，确定所述当前子块的运动信息。
37.根据权利要求36所述的装置，其特征在于，在所述预测与当前图像块的当前子块相同行上的、所述当前图像块的右侧邻近块的第一运动信息的方面，所述帧间预测处理单元具体用于：
基于所述当前图像块的第一并置块的右下角空域邻近块的第五运动信息和所述当前图像块的右上角空域邻近块的第六运动信息的线性插值，得到所述第一运动信息，其中所述第一并置块为参考图像中与所述当前图像块具有相同的大小、形状和坐标的图像块；或者
确定所述当前图像块的第一并置块(co-located)的第一右侧空域邻近块的运动信息为所述第一运动信息，其中所述第一并置块为参考图像中与所述当前图像块具有相同的大小、形状和坐标的图像块，所述第一右侧空域邻近块位于所述第一并置块的行与当前子块位于所述当前图像块的行相同；或者，
确定所述当前图像块的第二并置块(co-located)的第二右侧空域邻近块的运动信息为所述第一运动信息，其中所述第二并置块为参考图像中与所述当前图像块具有指定位置偏移的图像块，所述当前图像块的代表性空域邻近块的运动矢量用于表示所述指定位置偏移，且所述第二右侧空域邻近块位于所述第二并置块的行与当前子块位于所述当前图像块的行相同；或者，
确定所述当前图像块的右上角空域邻近块的第六运动信息为所述第一运动信息；或者，确定所述当前图像块的右上侧的两个空域邻近块的运动信息的平均值为所述第一运动信息。
38.根据权利要求36或37所述的装置，其特征在于，在所述预测与当前子块相同列上的、所述当前图像块的下侧邻近块的第二运动信息的方面，所述帧间预测处理单元具体用于：
基于所述当前图像块的第一并置块的右下角空域邻近块的第五运动信息和所述当前图像块的左下角空域邻近块的第七运动信息的线性插值，得到所述第二运动信息，其中所述第一并置块为参考图像中与所述当前图像块具有相同的大小、形状和坐标的图像块；或者
确定所述当前图像块的第一并置块的第一下侧空域邻近块的运动信息为所述第二运动信息，其中所述第一并置块为参考图像中与所述当前图像块具有相同的大小、形状和坐标的图像块，所述第一下侧空域邻近块位于所述第一并置块的列与当前子块位于所述当前图像块的列相同；或者
确定所述当前图像块的第二并置块的第二下侧空域邻近块的运动信息为所述第二运动信息，其中所述第二并置块为参考图像中与所述当前图像块具有指定位置偏移的图像块，所述当前图像块的代表性空域邻近块的运动矢量用于表示所述指定位置偏移，且所述第二下侧空域邻近块位于所述第二并置块的列与当前子块位于所述当前图像块的列相同；或者
确定所述当前图像块的左下角空域邻近块的第七运动信息为所述第二运动信息；或者，确定所述当前图像块的左下侧的两个空域邻近块的运动信息的平均值为所述第二运动信息。
39.如权利要求36至38任一项所述的装置，其特征在于，
在所述基于所述第一运动信息和与当前子块相同行上的、所述当前图像块的左侧邻近块的第三运动信息的线性插值，得到当前子块的运动信息的第一预测值的方面，所述帧间预测处理单元具体用于：确定与当前子块相同行上的、所述当前图像块的右侧邻近块的第一运动信息和与当前子块相同行上的、所述当前图像块的左侧邻近块的第三运动信息的加权值，为当前子块的运动信息的第一预测值，其中，第三运动信息的加权因子和第一运动信息的加权因子之间比例是基于与当前图像块的当前子块相同行上的、所述当前图像块的右侧空域邻近块和当前子块之间的第一距离，与，当前子块和与当前子块相同行上的、所述当前图像块的左侧空域邻近块之间的第二距离之间的比例确定的；
在所述基于所述第二运动信息和与当前子块相同列上的、所述当前图像块的上侧邻近块的第四运动信息的线性插值，得到当前子块的运动信息的第二预测值的方面，所述帧间预测处理单元具体用于：
确定与当前子块相同列上的、所述当前图像块的上侧空域邻近块的第四运动信息和与当前子块相同列上的、所述当前图像块的下侧空域邻近块的第二运动信息的加权值，为当前子块的运动信息的第二预测值，其中，第四运动信息的加权因子和第二运动信息的加权因子之间比例是基于与当前图像块的当前子块相同列上的、所述当前图像块的下侧空域邻近块和当前子块之间的第三距离，与，当前子块和与当前子块相同列上的、所述当前图像块的上侧空域邻近块之间的第四距离之间的比例确定的。
CN201710912607.0A 2017-09-29 2017-09-29 视频图像的帧间预测方法、装置及编解码器 Active CN109587479B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201710912607.0A CN109587479B (zh) 2017-09-29 2017-09-29 视频图像的帧间预测方法、装置及编解码器
PCT/CN2018/105148 WO2019062544A1 (zh) 2017-09-29 2018-09-12 视频图像的帧间预测方法、装置及编解码器
EP18863727.6A EP3672249B1 (en) 2017-09-29 2018-09-12 Inter frame prediction method and device for video images
US16/832,707 US11252436B2 (en) 2017-09-29 2020-03-27 Video picture inter prediction method and apparatus, and codec

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710912607.0A CN109587479B (zh) 2017-09-29 2017-09-29 视频图像的帧间预测方法、装置及编解码器

Publications (2)

Publication Number Publication Date
CN109587479A true CN109587479A (zh) 2019-04-05
CN109587479B CN109587479B (zh) 2023-11-10

Family

ID=65900774

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710912607.0A Active CN109587479B (zh) 2017-09-29 2017-09-29 视频图像的帧间预测方法、装置及编解码器

Country Status (4)

Country Link
US (1) US11252436B2 (zh)
EP (1) EP3672249B1 (zh)
CN (1) CN109587479B (zh)
WO (1) WO2019062544A1 (zh)

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110213590A (zh) * 2019-06-25 2019-09-06 浙江大华技术股份有限公司 时域运动矢量获取、帧间预测、视频编码的方法及设备
CN111866502A (zh) * 2019-04-25 2020-10-30 华为技术有限公司 图像预测方法、装置和计算机可读存储介质
CN112055220A (zh) * 2019-06-05 2020-12-08 杭州海康威视数字技术股份有限公司 一种编解码方法、装置及其设备
CN112135129A (zh) * 2019-06-25 2020-12-25 华为技术有限公司 一种帧间预测方法及装置
CN112153389A (zh) * 2019-05-17 2020-12-29 华为技术有限公司 一种帧间预测的方法和装置
CN112422971A (zh) * 2019-08-23 2021-02-26 杭州海康威视数字技术股份有限公司 一种编解码方法、装置及其设备
WO2021052369A1 (zh) * 2019-09-20 2021-03-25 杭州海康威视数字技术股份有限公司 一种解码、编码方法、装置及其设备
WO2021061027A1 (en) * 2019-09-25 2021-04-01 Huawei Technologies Co., Ltd. Harmonizing triangular merge mode with weighted prediction
WO2021072795A1 (zh) * 2019-10-17 2021-04-22 北京大学深圳研究生院 一种基于帧间预测的编解码方法及装置
CN113347436A (zh) * 2019-06-21 2021-09-03 杭州海康威视数字技术股份有限公司 预测模式的解码、编码方法及装置
CN114402591A (zh) * 2019-09-13 2022-04-26 北京字节跳动网络技术有限公司 并置运动矢量的推导
TWI784452B (zh) * 2020-03-25 2022-11-21 大陸商杭州海康威視數字技術股份有限公司 解碼、編碼、編解碼方法、裝置及其設備
WO2023198144A1 (zh) * 2022-04-15 2023-10-19 维沃移动通信有限公司 帧间预测方法及终端
US12010293B2 (en) 2019-04-25 2024-06-11 Huawei Technologies Co., Ltd. Picture prediction method and apparatus, and computer-readable storage medium

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7412343B2 (ja) * 2018-09-21 2024-01-12 日本放送協会 画像符号化装置、画像復号装置、及びプログラム
US11595662B2 (en) * 2019-02-06 2023-02-28 Tencent America LLC Method and apparatus for neighboring block availability in video coding
EP4026321A4 (en) * 2019-10-06 2022-11-30 Huawei Technologies Co., Ltd. HARMONIZING WEIGHTED PREDICTION WITH AFFINER MODEL-BASED MOTION COMPENSATION
CN112218076B (zh) * 2020-10-17 2022-09-06 浙江大华技术股份有限公司 一种视频编码方法、装置、***及计算机可读存储介质

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102387360A (zh) * 2010-09-02 2012-03-21 乐金电子(中国)研究开发中心有限公司 视频编解码帧间图像预测方法及视频编解码器
CN102484699A (zh) * 2009-06-23 2012-05-30 法国电信 对图像进行编码和解码的方法、用于编码和解码的对应装置以及计算机程序
CN102763411A (zh) * 2009-12-09 2012-10-31 三星电子株式会社 对视频编码的方法和设备以及对视频解码的方法和设备
US20140044178A1 (en) * 2012-08-07 2014-02-13 Qualcomm Incorporated Weighted difference prediction under the framework of generalized residual prediction
CN104539966A (zh) * 2014-09-30 2015-04-22 华为技术有限公司 图像预测方法及相关装置
CN104618714A (zh) * 2015-01-20 2015-05-13 宁波大学 一种立体视频帧重要性评估方法
CN105493505A (zh) * 2014-06-19 2016-04-13 微软技术许可有限责任公司 统一的帧内块复制和帧间预测模式
CN105556972A (zh) * 2013-07-18 2016-05-04 三星电子株式会社 用于层间视频解码和编码设备和方法的对深度图像的场景内预测方法
US20170223350A1 (en) * 2016-01-29 2017-08-03 Google Inc. Dynamic reference motion vector coding mode

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100952340B1 (ko) * 2008-01-24 2010-04-09 에스케이 텔레콤주식회사 시공간적 복잡도를 이용한 부호화 모드 결정 방법 및 장치
CN102215388B (zh) * 2010-04-09 2013-11-06 华为技术有限公司 一种简化方向性变换的方法、装置和***
KR101456499B1 (ko) 2010-07-09 2014-11-03 삼성전자주식회사 움직임 벡터의 부호화 방법 및 장치, 그 복호화 방법 및 장치

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102484699A (zh) * 2009-06-23 2012-05-30 法国电信 对图像进行编码和解码的方法、用于编码和解码的对应装置以及计算机程序
CN102763411A (zh) * 2009-12-09 2012-10-31 三星电子株式会社 对视频编码的方法和设备以及对视频解码的方法和设备
CN102387360A (zh) * 2010-09-02 2012-03-21 乐金电子(中国)研究开发中心有限公司 视频编解码帧间图像预测方法及视频编解码器
US20140044178A1 (en) * 2012-08-07 2014-02-13 Qualcomm Incorporated Weighted difference prediction under the framework of generalized residual prediction
CN105556972A (zh) * 2013-07-18 2016-05-04 三星电子株式会社 用于层间视频解码和编码设备和方法的对深度图像的场景内预测方法
CN105493505A (zh) * 2014-06-19 2016-04-13 微软技术许可有限责任公司 统一的帧内块复制和帧间预测模式
CN104539966A (zh) * 2014-09-30 2015-04-22 华为技术有限公司 图像预测方法及相关装置
CN104618714A (zh) * 2015-01-20 2015-05-13 宁波大学 一种立体视频帧重要性评估方法
US20170223350A1 (en) * 2016-01-29 2017-08-03 Google Inc. Dynamic reference motion vector coding mode

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
KRIT PANUSOPONE: "Unequal Weight Planar Prediction and Constrained PDPC", 《JOINT VIDEO EXPLORATION TEAM (JVET) OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 11 5TH MEETING: GENEVA, CH》 *

Cited By (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111866502A (zh) * 2019-04-25 2020-10-30 华为技术有限公司 图像预测方法、装置和计算机可读存储介质
US12010293B2 (en) 2019-04-25 2024-06-11 Huawei Technologies Co., Ltd. Picture prediction method and apparatus, and computer-readable storage medium
CN112153389B (zh) * 2019-05-17 2021-11-19 华为技术有限公司 一种帧间预测的方法和装置
CN112153389A (zh) * 2019-05-17 2020-12-29 华为技术有限公司 一种帧间预测的方法和装置
CN112055220A (zh) * 2019-06-05 2020-12-08 杭州海康威视数字技术股份有限公司 一种编解码方法、装置及其设备
WO2020244425A1 (zh) * 2019-06-05 2020-12-10 杭州海康威视数字技术股份有限公司 一种编解码方法、装置及其设备
CN113347436A (zh) * 2019-06-21 2021-09-03 杭州海康威视数字技术股份有限公司 预测模式的解码、编码方法及装置
CN113382262A (zh) * 2019-06-21 2021-09-10 杭州海康威视数字技术股份有限公司 预测模式的解码、编码方法及装置
CN113347436B (zh) * 2019-06-21 2022-03-08 杭州海康威视数字技术股份有限公司 预测模式的解码、编码方法及装置
CN113382262B (zh) * 2019-06-21 2022-03-08 杭州海康威视数字技术股份有限公司 预测模式的解码、编码方法及装置
CN110213590A (zh) * 2019-06-25 2019-09-06 浙江大华技术股份有限公司 时域运动矢量获取、帧间预测、视频编码的方法及设备
CN112135129B (zh) * 2019-06-25 2024-06-04 华为技术有限公司 一种帧间预测方法及装置
CN112135129A (zh) * 2019-06-25 2020-12-25 华为技术有限公司 一种帧间预测方法及装置
CN112422971A (zh) * 2019-08-23 2021-02-26 杭州海康威视数字技术股份有限公司 一种编解码方法、装置及其设备
CN112422971B (zh) * 2019-08-23 2022-04-26 杭州海康威视数字技术股份有限公司 一种编解码方法、装置及其设备
CN114402591A (zh) * 2019-09-13 2022-04-26 北京字节跳动网络技术有限公司 并置运动矢量的推导
WO2021052369A1 (zh) * 2019-09-20 2021-03-25 杭州海康威视数字技术股份有限公司 一种解码、编码方法、装置及其设备
WO2021061027A1 (en) * 2019-09-25 2021-04-01 Huawei Technologies Co., Ltd. Harmonizing triangular merge mode with weighted prediction
WO2021072795A1 (zh) * 2019-10-17 2021-04-22 北京大学深圳研究生院 一种基于帧间预测的编解码方法及装置
TWI784452B (zh) * 2020-03-25 2022-11-21 大陸商杭州海康威視數字技術股份有限公司 解碼、編碼、編解碼方法、裝置及其設備
WO2023198144A1 (zh) * 2022-04-15 2023-10-19 维沃移动通信有限公司 帧间预测方法及终端

Also Published As

Publication number Publication date
CN109587479B (zh) 2023-11-10
EP3672249A1 (en) 2020-06-24
EP3672249B1 (en) 2024-02-14
US20200228830A1 (en) 2020-07-16
US11252436B2 (en) 2022-02-15
EP3672249A4 (en) 2020-07-08
WO2019062544A1 (zh) 2019-04-04

Similar Documents

Publication Publication Date Title
CN109587479A (zh) 视频图像的帧间预测方法、装置及编解码器
CN106797477B (zh) 用于解码及编码视频数据的方法和设备
CN103843347B (zh) 用于视频译码的运动向量预测值候选剪裁移除
TWI532369B (zh) 用於基於高效率視訊寫碼之可擴縮寫碼視訊資訊之裝置及方法
CN103348677B (zh) 像素层级自适应帧内平滑化
CN103999465B (zh) 自适应性重叠块运动补偿
CN103141100B (zh) 用于视频译码的帧内平滑滤波器
CN103181169B (zh) 使用联合上下文模型对系数进行熵译码
CN105103550B (zh) 用于视频编码的帧内速率控制方法和设备
CN107660341A (zh) 切片级帧内块复制及其它视频译码改进
TW201729595A (zh) 針對視訊寫碼使用與位置相關之預測組合之改良視訊幀內預測
CN107211125A (zh) 预测单元的灵活分割
CN104429076B (zh) 用于可缩放视频译码和3d视频译码的一般化残差预测
CN106165419A (zh) 用于视频译码的自适应运动向量分辨率信令
CN104012096A (zh) 执行视频译码的运动向量预测
CN104685883A (zh) 用于3d视频的经视图间预测运动向量
CN105075265A (zh) 3d视频译码中针对跳过和直接模式的视差向量导出
CN105723707A (zh) 用于视频译码的色彩残差预测
CN104221380A (zh) 用于并行运动估计的共同空间候选块
CN104303502A (zh) 用于3d-hevc的视差向量建构方法
CN103339938A (zh) 执行视频译码的运动向量预测
CN104041045A (zh) 用于视频译码的二次边界滤波
CN103636223A (zh) 用于视频译码的多区扫描次序
CN105247868A (zh) 使用缩放因数的再取样
CN110199522A (zh) 处理用于图像块帧内预测的参考样本

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant