CN110839155B - 运动估计的方法、装置、电子设备及计算机可读存储介质 - Google Patents

运动估计的方法、装置、电子设备及计算机可读存储介质 Download PDF

Info

Publication number
CN110839155B
CN110839155B CN201810940267.7A CN201810940267A CN110839155B CN 110839155 B CN110839155 B CN 110839155B CN 201810940267 A CN201810940267 A CN 201810940267A CN 110839155 B CN110839155 B CN 110839155B
Authority
CN
China
Prior art keywords
reference frame
candidate
predicted
matching block
candidate reference
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810940267.7A
Other languages
English (en)
Other versions
CN110839155A (zh
Inventor
范娟婷
樊鸿飞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Kingsoft Cloud Network Technology Co Ltd
Beijing Kingsoft Cloud Technology Co Ltd
Original Assignee
Beijing Kingsoft Cloud Network Technology Co Ltd
Beijing Kingsoft Cloud Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Kingsoft Cloud Network Technology Co Ltd, Beijing Kingsoft Cloud Technology Co Ltd filed Critical Beijing Kingsoft Cloud Network Technology Co Ltd
Priority to CN201810940267.7A priority Critical patent/CN110839155B/zh
Priority to PCT/CN2019/100236 priority patent/WO2020034921A1/zh
Publication of CN110839155A publication Critical patent/CN110839155A/zh
Application granted granted Critical
Publication of CN110839155B publication Critical patent/CN110839155B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/147—Data rate or code amount at the encoder output according to rate distortion criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/567—Motion estimation based on rate distortion criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/587—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal sub-sampling or interpolation, e.g. decimation or subsequent interpolation of pictures in a video sequence

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明实施例提供了一种运动估计的方法、装置、电子设备及计算机可读存储介质，获取与目标预测单元对应的候选参考帧集合中的待预测参考帧，待预测参考帧为候选参考帧集合中满足第一预设条件的候选参考帧，按照与待预测参考帧对应的像素搜索规则对待预测参考帧进行像素搜索，得到候选匹配块，将候选匹配块中率失真代价最小的匹配块，确定为目标预测单元的最佳匹配块。基于上述处理，仅对满足第一预设条件的候选参考帧进行像素搜索，而不需要遍历所有的候选参考帧并对每一个候选参考帧都进行像素搜索，进而提高视频的编码效率。

Description

运动估计的方法、装置、电子设备及计算机可读存储介质
技术领域
本发明涉及图像处理技术领域，特别是涉及一种运动估计的方法、装置、电子设备及计算机可读存储介质。
背景技术
随着计算机网络技术的快速发展，为了减少视频传输时占用的带宽和存储空间，需要对传输的视频进行编码。在对视频进行编码时，可以将视频中的每一视频帧划分为多个图像块，此图像块也称为编码块。对编码块进行编码的过程中，需要对编码块进行预测，此时，可以将一个编码块划分为多个预测单元，其中，对编码块进行预测可以包括：对编码块进行帧内预测和对编码块进行帧间预测，帧间预测即在参考帧中搜索与预测单元相似的图像块作为匹配块。帧间预测可以包括运动估计和运动补偿，其中，运动估计是在候选参考帧集合中的各候选参考帧中搜索率失真代价最小的匹配块的过程，该匹配块为预测单元的最佳匹配块，该匹配块所在的参考帧为最佳参考帧。
相关技术中，根据候选参考帧集合中的各候选参考帧的排列顺序，针对每一候选参考帧，根据预设的像素搜索规则，可以得到该候选参考帧中率失真代价最小的匹配块(可以称为优选匹配块)。然后，在各候选参考帧对应的优选匹配块中，确定率失真代价最小的优选匹配块，作为预测单元的最佳匹配块。
可见，相关技术中，需要遍历所有候选参考帧，并对每一候选参考帧进行像素搜索，才可以确定预测单元的最佳匹配块，导致运动估计的复杂度较高，进而会降低视频的编码效率。
发明内容
本发明实施例的目的在于提供一种运动估计的方法、装置、电子设备及计算机可读存储介质，可以提高视频的编码效率。具体技术方案如下：
第一方面，为了达到上述目的，本发明实施例公开了一种运动估计的方法，所述方法包括：获取与目标预测单元对应的候选参考帧集合中的待预测参考帧；其中，所述待预测参考帧为所述候选参考帧集合中满足第一预设条件的候选参考帧；按照与所述待预测参考帧对应的像素搜索规则对所述待预测参考帧进行像素搜索，得到候选匹配块；将所述候选匹配块中率失真代价最小的匹配块，确定为所述目标预测单元的最佳匹配块。
可选的，所述第一预设条件包括以下至少之一：备选参考帧集合中的参考帧的个数小于或等于第一预设阈值且所述候选参考帧不是所述候选参考帧集合中的指定参考帧；所述备选参考帧集合中的参考帧的个数小于或等于所述第一预设阈值且所述候选参考帧在所述备选参考帧集合中；所述候选参考帧在所述备选参考帧集合中；所述候选参考帧在所述备选参考帧集合中且所述候选参考帧不是所述候选参考帧集合中的指定参考帧；其中，所述备选参考帧集合包括的参考帧为在对图像块进行帧间预测得到的匹配块中率失真代价最小的匹配块所在的参考帧，所述图像块为与所述目标预测单元满足预设相邻条件的图像块。
可选的，所述方法还包括：在所述候选参考帧满足第二预设条件的情况下，跳过对所述候选参考帧的运动估计；其中，所述第二预设条件包括以下至少之一：备选参考帧集合中的参考帧的个数大于第一预设阈值且所述候选参考帧不在所述备选参考帧集合中；所述备选参考帧集合中的参考帧的个数小于或等于所述第一预设阈值，所述候选参考帧不是所述候选参考帧集合中的指定参考帧且所述候选参考帧不在所述备选参考帧集合中；其中，所述备选参考帧集合包括的参考帧为在对图像块进行帧间预测得到的匹配块中率失真代价最小的匹配块所在的参考帧，所述图像块为与所述目标预测单元满足预设相邻条件的图像块。
可选的，所述按照与所述待预测参考帧对应的像素搜索规则对所述待预测参考帧进行像素搜索，得到候选匹配块，包括以下至少之一：在所述待预测参考帧不在所述备选参考帧集合中的情况下，对所述待预测参考帧进行整像素搜索，得到所述待预测参考帧中的匹配块，作为候选匹配块；在所述待预测参考帧在所述备选参考帧集合中的情况下，对所述待预测参考帧进行整像素搜索和分像素搜索，得到所述待预测参考帧中的匹配块，作为候选匹配块。
可选的，在所述待预测参考帧为多个的情况下，针对多个所述待预测参考帧中的第一待预测参考帧，按照与所述待预测参考帧对应的像素搜索规则对所述待预测参考帧进行像素搜索，得到候选匹配块，包括：按照与所述第一待预测参考帧对应的像素搜索规则对所述第一待预测参考帧进行像素搜索，得到第一候选匹配块；在所述按照与所述第一待预测参考帧对应的像素搜索规则对所述第一待预测参考帧进行像素搜索，得到第一候选匹配块之后，所述方法还包括：在确定所述第一候选匹配块为当前得到的各候选匹配块中率失真代价最小的匹配块，且所述第一候选匹配块的率失真代价小于第二预设阈值的情况下，根据所述第一待预测参考帧在所述候选参考帧集合中的排列顺序，将位于所述第一待预测参考帧之后的各参考帧的像素搜索规则更新为整像素搜索。
第二方面，为了达到上述目的，本发明实施例还公开了一种运动估计的装置，所述装置包括：获取模块，用于获取与目标预测单元对应的候选参考帧集合中的待预测参考帧；其中，所述待预测参考帧为所述候选参考帧集合中满足第一预设条件的候选参考帧；第一处理模块，用于按照与所述待预测参考帧对应的像素搜索规则对所述待预测参考帧进行像素搜索，得到候选匹配块；确定模块，用于将所述候选匹配块中率失真代价最小的匹配块，确定为所述目标预测单元的最佳匹配块。
可选的，所述第一预设条件包括以下至少之一：备选参考帧集合中的参考帧的个数小于或等于第一预设阈值且所述候选参考帧不是所述候选参考帧集合中的指定参考帧；所述备选参考帧集合中的参考帧的个数小于或等于所述第一预设阈值且所述候选参考帧在所述备选参考帧集合中；所述候选参考帧在所述备选参考帧集合中；所述候选参考帧在所述备选参考帧集合中且所述候选参考帧不是所述候选参考帧集合中的指定参考帧；其中，所述备选参考帧集合包括的参考帧为在对图像块进行帧间预测得到的匹配块中率失真代价最小的匹配块所在的参考帧，所述图像块为与所述目标预测单元满足预设相邻条件的图像块。
可选的，所述装置还包括：第二处理模块，用于在所述候选参考帧满足第二预设条件的情况下，跳过对所述候选参考帧的运动估计；其中，所述第二预设条件包括以下至少之一：备选参考帧集合中的参考帧的个数大于第一预设阈值且所述候选参考帧不在所述备选参考帧集合中；所述备选参考帧集合中的参考帧的个数小于或等于所述第一预设阈值，所述候选参考帧不是所述候选参考帧集合中的指定参考帧且所述候选参考帧不在所述备选参考帧集合中；其中，所述备选参考帧集合包括的参考帧为在对图像块进行帧间预测得到的匹配块中率失真代价最小的匹配块所在的参考帧，所述图像块为与所述目标预测单元满足预设相邻条件的图像块。
可选的，所述第一处理模块，具体用于在所述待预测参考帧不在所述备选参考帧集合中的情况下，对所述待预测参考帧进行整像素搜索，得到所述待预测参考帧中的匹配块，作为候选匹配块；和/或，在所述待预测参考帧在所述备选参考帧集合中的情况下，对所述待预测参考帧进行整像素搜索和分像素搜索，得到所述待预测参考帧中的匹配块，作为候选匹配块。
可选的，在所述待预测参考帧为多个的情况下，针对多个所述待预测参考帧中的第一待预测参考帧，所述第一处理模块，用于按照与所述第一待预测参考帧对应的像素搜索规则对所述第一待预测参考帧进行像素搜索，得到第一候选匹配块；所述装置还包括：第三处理模块，用于在确定所述第一候选匹配块为当前得到的各候选匹配块中率失真代价最小的匹配块，且所述第一候选匹配块的率失真代价小于第二预设阈值的情况下，根据所述第一待预测参考帧在所述候选参考帧集合中的排列顺序，将位于所述第一待预测参考帧之后的各参考帧的像素搜索规则更新为整像素搜索。
第三方面，为了达到上述目的，本发明实施例还公开了一种电子设备，所述电子设备包括存储器和处理器；所述存储器，用于存放计算机程序；所述处理器，用于执行存储器上所存放的程序时，实现如上述第一方面所述的运动估计的方法步骤。
第四方面，为了达到上述目的，本发明实施例还公开了一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时，实现如上述第一方面所述的运动估计的方法步骤。
第五方面，为了达到上述目的，本发明实施例还公开了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述第一方面所述的运动估计的方法步骤。
本发明实施例提供的一种运动估计的方法、装置、电子设备及计算机可读存储介质，获取与目标预测单元对应的候选参考帧集合中满足第一预设条件的待预测参考帧，按照与待预测参考帧对应的像素搜索规则对待预测参考帧进行像素搜索，得到候选匹配块，将候选匹配块中率失真代价最小的匹配块，确定为目标预测单元的最佳匹配块。基于上述处理，对满足第一预设条件的候选参考帧进行像素搜索，与现有技术中需要遍历所有的候选参考帧并对每一个候选参考帧都进行像素搜索的方式相比，不需要对所有的候选参考帧都进行像素搜索，因而减少了视频编码的复杂度，节省了编码的时间，并且可以提高视频的编码效率。
当然，实施本发明的任一产品或方法必不一定需要同时达到以上所述的所有优点。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为现有技术中一种运动估计的方法的流程图；
图2为本发明实施例提供的获取预测单元的匹配块的示意图；
图3为本发明实施例提供的一种运动估计的方法的流程图；
图4为本发明实施例提供的一种对编码块进行划分的示意图；
图5为本发明实施例提供的不同层级编码块的示意图；
图6为本发明实施例提供的空域相邻块的示意图；
图7为本发明实施例提供的像素搜索的搜索过程示意图；
图8为本发明实施例提供的分像素搜索的示意图；
图9为本发明实施例提供的一种运动估计的方法的示例的流程图；
图10为本发明实施例提供的一种运动估计的装置的结构图；
图11为本发明实施例提供的一种电子设备的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
首先从现有技术中运动估计的方法与本发明实施例提供的运动估计的方法对比的角度进行说明。
参照图1，图1为现有技术中一种运动估计的方法的流程图。
现有技术中，首先获取目标预测单元对应的候选参考帧集合(S101)。
然后，根据预设的精度要求，对候选参考帧集合中的每一候选参考帧进行像素搜索，得到该候选参考帧内的匹配块(S102)，示例性的，参见图2，为本发明实施例提供的获取预测单元的匹配块的示意图。其中，Pn、Pn-1、Pn-2、Pn-3、Pn-4分别表示图2中5个视频帧的序号，Pn为当前待编码的视频帧，Pn中的图像块即为预测单元，Pn-1、Pn-2、Pn-3和Pn-4为候选参考帧。如图2所示，即在候选参考帧Pn-1、候选参考帧Pn-2、候选参考帧Pn-3和候选参考帧Pn-4中找到与当前视频帧Pn中的预测单元最为匹配的匹配块。
将各候选参考帧内的匹配块中率失真代价最小的匹配块，确定为最佳匹配块(S103)。现有技术需要对候选参考帧集合中每一候选参考帧进行像素搜索，以获取每一候选参考帧内的匹配块，进而从多个匹配块中选择率失真代价最小的匹配块，作为目标预测单元的最佳匹配块。
发明人发现，现有技术忽略了图像内容的相关性，并且针对所有候选参考帧都进行像素搜索，操作繁琐，导致运动估计的复杂度较高，进而会降低视频的编码效率。
基于上述考虑，本发明提供了一种运动估计的方法，可以应用于电子设备，该电子设备用于对视频进行编码。在现有技术的基础上，电子设备可以获取与目标预测单元对应的候选参考帧集合中的待预测参考帧，其中，待预测参考帧为候选参考帧集合中满足第一预设条件的候选参考帧，按照与待预测参考帧对应的像素搜索规则对待预测参考帧进行像素搜索，得到候选匹配块，将候选匹配块中率失真代价最小的匹配块，确定为目标预测单元的最佳匹配块。电子设备仅对满足第一预设条件的候选参考帧进行像素搜索，而不需要遍历所有的候选参考帧并对每一个候选参考帧都进行像素搜索，进而可以提高视频的编码效率。
下面再通过具体实施例对本发明进行详细介绍。
图3为本发明实施例提供的一种运动估计的方法的流程图，该方法可以包括以下步骤：
S301：获取与目标预测单元对应的候选参考帧集合中的待预测参考帧。
其中，待预测参考帧为候选参考帧集合中满足第一预设条件的候选参考帧。第一预设条件可以由技术人员根据经验进行预先设置。
可选的，第一预设条件包括以下至少之一：
一、备选参考帧集合中的参考帧的个数小于或等于第一预设阈值且候选参考帧不是候选参考帧集合中的指定参考帧。
二、备选参考帧集合中的参考帧的个数小于或等于第一预设阈值且候选参考帧在备选参考帧集合中。
三、候选参考帧在备选参考帧集合中。
四、候选参考帧在备选参考帧集合中且候选参考帧不是候选参考帧集合中的指定参考帧。
其中，备选参考帧集合包括的参考帧为在对图像块进行帧间预测得到的匹配块中率失真代价最小的匹配块所在的参考帧，图像块为与目标预测单元满足预设相邻条件的图像块。可以看出，只要某一候选参考帧在备选参考帧集合中，电子设备就可以将该候选参考帧作为待预测参考帧，可见，待预测参考帧包含有帧间预测时已参考的图像帧，进而能够提高待预测参考帧的准确性。
另外，备选参考帧集合中的参考帧，均为与目标预测单元满足预设相邻条件的图像块的参考帧，因而上述图像块与目标预测单元在图像内容上具有一定的相关性，即本申请利用了图像内容的相关性，根据上述图像块的参考帧，对候选参考帧集合中的参考帧进行筛选，进而进一步提高视频的编码性能。
与目标预测单元满足预设相邻条件的图像块可以包括：目标预测单元所在编码块的上层编码块、目标预测单元所在编码块的下层编码块、目标预测单元的空域相邻块。
目标预测单元由对该目标预测单元所在编码块进行划分得到的。具体的，参见图4，图4为本发明实施例提供的一种对编码块进行划分的示意图。图4左侧为一个2N×2N(N为大于1的整数)的编码块，可以根据右侧所示的八种划分示例对该编码块进行划分，得到相应的预测单元。
参见图5，图5为本发明实施例提供的不同层级编码块的示意图。对视频帧进行编码时，会将视频帧先划分为等大小的编码树单元(Coding Tree Unit，CTU)，再以编码树单元为基本单位进行编码。其中，编码树单元大小一般呈64×64的块，编码过程中，可将编码树单元进一步划分成不同大小的编码块。图5中，64×64的块代表通过视频帧划分得到的一个宽为64像素，高为64像素的编码树单元。可以看出，一个64×64的编码树单元可以作为一个64×64的编码块进行编码，也可以划分成4个等大小的32×32的编码块，再对每个32×32的编码块进行编码。根据率失真准则，对于每个64×64的编码块，比较该64×64编码块的率失真代价与4个32×32编码块的率失真代价之和，选择率失真代价较小的划分方式进行划分。而每个32×32的编码块又可以划分为4个等大小的16×16的编码块，也就是说，对于每个32×32的编码块，需要比较一个32×32编码块的率失真代价与4个16×16编码块的率失真代价之和，选择率失真代价较小的划分方式进行划分。同理，每个16×16的编码块还可以划分为4个等大小的8×8的编码块，而每个16×16编码块是否需要再进行划分则通过比较16×16编码块的率失真代价与4个8×8编码块的率失真代价之和来确定。
需要说明的是，上述划分的结束条件可以是默认的，也可以是用户自定义的，比如可以设置划分到4个8×8编码块就结束划分，但并不限于此。
具体的，若以32×32的方式对CTU进行划分，可以得到图5中标出的四个32×32的编码块，此时，这四个32×32的编码块称为图中64×64的编码块的下层编码块，相应的，图中64×64的编码块称为图中四个32×32的编码块的上层编码块。以此类推，每个32×32划分得到的四个16×16的编码块称为该32×32的编码块的下层编码块，该32×32的编码块称为划分得到的四个16×16的编码块的上层编码块；每个16×16划分得到的四个8×8的编码块称为该16×16的编码块的下层编码块，该16×16的编码块称为划分得到的四个8×8的编码块的上层编码块。其中，上层编码块和下层编码块这种上下层关系也称为互为相邻层的关系，这种相邻层关系只存在于相邻的两层之间，对于两层中间间隔了一层的情况，不在考虑范围内。由上述可见，一种划分方式得到的编码块有可能只存在下层编码块，例如64×64的编码块只存在下层编码块，也有可能只存在上层编码块，例如8×8的编码块只存在上层编码块，也有可能既存在上层编码块也存在上层编码块，例如32×32的编码块和16×16的编码块，既存在上层编码块也存在上层编码块。而实际对视频帧进行编码时，会选择从上层编码块到下层编码块或从下层编码块到上层编码块或从中间层对视频帧内编码树单元进行划分，得到编码块，进而对编码块进行预测，得到预测单元。
参见图6，图6为本发明实施例提供的空域相邻块的示意图。其中，C为当前预测单元，预测单元A0、预测单元A1、预测单元B0、预测单元B1和预测单元B2为与当前预测单元C在同一视频帧且处于当前预测单元C相邻位置的预测单元。预测单元A0、预测单元A1、预测单元B0、预测单元B1和预测单元B2称为当前预测单元C的空域相邻块。
第一预设阈值可以由技术人员根据经验进行设置，第一预设阈值通常大于1。在第一预设条件涉及上述第一预设阈值的情况下，可以看出，第一预设阈值越小，满足第一预设条件的概率越小，则待预测参考帧的数目越小，相应的，编码效率也越高，但编码性能会降低，因此，也可以综合考虑编码效率和编码性能确定第一预设阈值。
候选参考帧集合中的指定参考帧通常为候选参考帧集合中位于预设位置之后的参考帧。预设位置可以由技术人员根据经验进行设置，例如，预设位置可以为候选参考帧集合中第二个候选参考帧所处的位置，则指定参考帧包括候选参考帧集合中从第三个候选参考帧到最后一个候选参考帧；预设位置也可以为候选参考帧集合中第四个候选参考帧所处的位置，则指定参考帧包括候选参考帧集合中从第五个候选参考帧到最后一个候选参考帧。预设位置越靠后，满足第一预设条件的概率越大，则待预测参考帧的数目越大，相应的，编码效率也越低，但编码性能会提升，因此，可以综合考虑编码效率和编码性能确定预设位置。
在实施中，针对每一候选参考帧，电子设备可以判断该候选参考帧是否满足上述四个条件中的任一项。当电子设备判定该候选参考帧满足上述四个条件中的任一项时，电子设备可以确定该候选参考帧满足第一预设条件，也即，电子设备可以将该候选参考帧，确定为待预测参考帧，以便进行后续处理。
S302：按照与待预测参考帧对应的像素搜索规则对待预测参考帧进行像素搜索，得到候选匹配块。
其中，像素搜索规则可以由技术人员根据业务需求设置，例如，对待预测参考帧只进行整像素搜索，或者，在整像素搜索的基础上进行分像素搜索。分像素搜索可以包括二分之一像素搜索、四分之一像素搜索、八分之一像素搜索。
如图7所示，为本发明实施例提供的像素搜索的搜索过程示意图。搜索范围为(2d+1+M)×(2d+1+N)，填充块为预测单元，空白块为预测单元的匹配块，M为预测单元的宽度，N为预测单元的高度，d为搜索窗口大小的值，预测单元左上角坐标(k，l)，预测单元的匹配块左上角坐标(k+u，l+v)，进而可以得到运动矢量为(u，v)。
参见图8，图8为本发明实施例提供的分像素搜索的示意图。实心圆点表示整像素点，而中心的实心圆点表示整像素搜索的最佳匹配点；在进行分像素搜索前，先插值出分像素点，即空心圆点(二分之一像素点)，以中心的实心圆点为中心，对周围八个二分之一像素点进行全搜索(全搜索，即在搜索区域内穷举搜索，即遍历搜索范围内的每一个像素点)。选择率失真代价最小的二分之一像素点作为最佳匹配点(此处以右上角的二分之一像素点为最佳匹配点)；若支持四分之一像素搜索，则先插值出当前的最佳匹配点周围的四分之一像素点(实心三角形)，以当前的最佳匹配点为中心，对周围八个四分之一像素点进行全搜索，选择率失真代价最小的四分之一点作为最佳匹配点。此处，以右下角的四分之一像素点为最佳匹配点，即图中空心三角形。则该空心三角形即分像素搜索得到的最佳匹配点，即当前参考帧内的候选匹配块。
在实施中，电子设备可以根据待预测参考帧对应的像素搜索规则，对待预测参考帧进行像素搜索，得到待预测参考帧中目标预测单元对应的匹配块，作为候选匹配块。由于待预测参考帧通常为多个，因此，对应的候选匹配块也通常为多个。
S303：将候选匹配块中率失真代价最小的匹配块，确定为目标预测单元的最佳匹配块。
在实施中，电子设备可以从得到的各候选匹配块中，选择率失真代价最小的候选匹配块，作为目标预测单元的最佳匹配块。
由以上可见，本实施例仅对满足第一预设条件的候选参考帧进行像素搜索，并不会遍历所有的候选参考帧并对每一候选参考帧都进行像素搜索，能够减少视频编码的复杂度，提高编码效率。
可选的，该方法还可以包括以下步骤：在候选参考帧满足第二预设条件的情况下，跳过对候选参考帧的运动估计。
第二预设条件包括以下至少之一：
一、备选参考帧集合中的参考帧的个数大于第一预设阈值且候选参考帧不在备选参考帧集合中。
二、备选参考帧集合中的参考帧的个数小于或等于第一预设阈值，候选参考帧不是候选参考帧集合中的指定参考帧且候选参考帧不在备选参考帧集合中。
关于备选参考帧集合和第一预设阈值，可以参考上述实施例中的详细介绍。
在实施中，针对候选参考帧集合中的每一候选参考帧，电子设备可以判断该候选参考帧是否满足上述两个条件中的任一项。当电子设备判定该候选参考帧满足上述两个条件中的任一项时，电子设备可以确定该候选参考帧满足第二预设条件，也即，电子设备可以确定跳过对该候选参考帧的运动估计，进而确定需要进行运动估计的待预测参考帧。
需要说明的是，电子设备可以仅根据第一预设条件，确定待预测参考帧；电子设备也可以仅根据第二预设条件，确定待预测参考帧。另外，电子设备还可以结合第一预设条件和第二预设条件，确定待预测参考帧。
例如，电子设备可以根据第二预设条件，在候选参考帧集合中确定出不会跳过运动估计的候选参考帧，然后，电子设备可以在确定出的不会跳过运动估计的候选参考帧中，确定出满足第一预设条件的候选参考帧，作为待预测参考帧。
或者，电子设备可以根据第一预设条件，在候选参考帧集合中确定出需要进行运动估计的候选参考帧，然后，电子设备可以在确定出的需要进行运动估计的候选参考帧中，确定出不满足第二预设条件的候选参考帧，作为待预测参考帧。
本发明实施例对于上述根据第一预设条件和第二预设条件，确定待预测参考帧的方法中各步骤的执行顺序并不进行限定。
需要说明的是，针对目标预测单元对应的候选参考帧集合中的每一候选参考帧，电子设备可以判断该候选参考帧是否在备选参考帧集合中。当电子设备判定该候选参考帧在备选参考帧集合中时，电子设备可以确定该候选参考帧不满足预设跳过条件。
当电子设备判定该候选参考帧不在备选参考帧集合中时，电子设备可以根据以下方式判断该候选参考帧是否满足预设跳过条件。
方式一，电子设备获取备选参考帧集合中的参考帧的第一数目，如果第一数目大于第一预设阈值，则电子设备确定该候选参考帧满足预设跳过条件。
方式二，如果第一数目小于或者等于第一预设阈值，电子设备可以进一步判断该候选参考帧是否为候选参考帧集合中的指定参考帧。如果该候选参考帧为指定参考帧，电子设备则确定该候选参考帧满足预设跳过条件，如果该候选参考帧不是指定参考帧，电子设备则确定该候选参考帧不满足预设跳过条件。
基于上述处理，电子设备可以确定不满足预设跳过条件的候选参考帧，然后，电子设备可以仅对不满足预设跳过条件的候选参考帧进行像素搜索，以提高视频的编码效率。需要说明的是，上述预设跳过条件可以是对候选参考帧不进行像素搜索或运动估计的条件。
可选的，电子设备可以根据待预测参考帧与备选参考帧集合的所属关系，确定待预测参考帧的像素搜索规则，以进一步提高视频的编码效率。
具体的，步骤S302可以包括以下处理步骤：在待预测参考帧不在备选参考帧集合中的情况下，对待预测参考帧进行整像素搜索，得到待预测参考帧中的匹配块，作为候选匹配块。
在实施中，针对每一待预测参考帧，电子设备可以判断该待预测参考帧是否在备选参考帧集合中。当电子设备判定该待预测参考帧不在备选参考帧集合中时，电子设备仅对该待预测参考帧进行整像素搜索，而不进行分像素搜索，将整像素搜索得到的匹配块，作为候选匹配块。
在待预测参考帧在备选参考帧集合中的情况下，对待预测参考帧进行整像素搜索和分像素搜索，得到待预测参考帧中的匹配块，作为候选匹配块。
在实施中，当电子设备判定该待预测参考帧在备选参考帧集合中时，电子设备则对该待预测参考帧进行整像素搜索和分像素搜索，将分像素搜索得到匹配块，作为候选匹配块。
可以看出，如果待预测参考帧不在备选参考帧集合中，电子设备只对待预测参考帧进行整像素搜索，而不进行分像素搜索，降低了运动估计的复杂度，能够进一步提高视频的编码效率。
可选的，电子设备还可以进一步跳过部分候选参考帧的分像素搜索处理，以进一步提高视频的编码效率。具体的，待预测参考帧为多个时，针对多个待预测参考帧中的第一待预测参考帧，步骤S302可以包括以下处理过程：按照与第一待预测参考帧对应的像素搜索规则对第一待预测参考帧进行像素搜索，得到第一候选匹配块。
相应的，在得到第一候选匹配块之后，方法还可以包括以下处理过程：在确定第一候选匹配块为当前得到的各候选匹配块中率失真代价最小的匹配块，且第一候选匹配块的率失真代价小于第二预设阈值时，根据第一待预测参考帧在候选参考帧集合中的排列顺序，将位于第一待预测参考帧之后的各参考帧的像素搜索规则更新为整像素搜索。
其中，待预测参考帧在候选参考帧集合中的排列顺序可以根据候选参考帧集合中各待预测参考帧的排列顺序确定。第二预设阈值可以由技术人员根据经验进行设置。具体的，第二预设阈值可以用Cost(代价)表示，Cost是与量化参数等信息有关的常量，一般而言，量化参数越大，Cost越大。
根据排列顺序，第一待预测参考帧可以为多个待预测参考帧中中的任一个参考帧，比如可以是第一个参考帧，也可以是第二个参考帧，本申请实施例对此并不进行限定。
在实施中，电子设备可以根据第一待预测参考帧对应的像素搜素规则，对第一待预测参考帧进行像素搜索，得到第一待预测参考帧中的匹配块(即第一候选匹配块)，然后，电子设备可以判断第一候选匹配块是否为当前得到的各候选匹配块中率失真代价最小的匹配块。
电子设备判定第一候选匹配块是否为当前得到的各候选匹配块中率失真代价最小的匹配块的方法，可以参考以下示例。
例如，候选参考帧P1为候选参考帧集合中第一个候选参考帧，候选参考帧P2为候选参考帧集合中第二个候选参考帧，候选参考帧P3为候选参考帧集合中第三个候选参考帧。候选参考帧P1、候选参考帧P2和候选参考帧P3均不满足预设跳过条件，候选参考帧P1中的匹配块为Z1、候选参考帧P2中的匹配块为Z2、候选参考帧P3中的匹配块为Z3。电子设备在对候选参考帧P1进行像素搜索时，当前得到的各匹配块为匹配块Z1，匹配块Z1为当前得到的各匹配块中率失真代价最小的匹配块；在电子设备对候选参考帧P2进行像素搜索后，当前得到的各匹配块为匹配块Z1和匹配块Z2，电子设备需要判断Z2的率失真代价是否小于匹配块Z1的率失真代价；在电子设备对候选参考帧P3进行像素搜索后，当前得到的各匹配块为匹配块Z1、匹配块Z2和匹配块Z3，电子设备需要判断匹配块Z3是否为匹配块Z1、匹配块Z2和匹配块Z3中率失真代价最小的匹配块。
当电子设备判定第一候选匹配块为当前得到的各候选匹配块中率失真代价最小的匹配块时，电子设备可以进一步判断第一候选匹配块的率失真代价是否小于第二预设阈值。如果第一候选匹配块的率失真代价小于第二预设阈值，电子设备可以确定第一待预测参考帧在候选参考帧集合中的排列顺序，并将位于第一待预测参考帧之后的各参考帧的像素搜索规则更新为整像素搜索，即电子设备对位于第一待预测参考帧之后的待预测参考帧(可以称为第二待预测参考帧)进行运动估计时，电子设备只进行整像素搜索，不进行分像素搜索，进而提高视频的编码效率。
需要说明的是，在电子设备确定第一候选匹配块为当前得到的各候选匹配块中率失真代价最小的匹配块，且第一候选匹配块的率失真代价是否小于第二预设阈值的情况下，电子设备对第二待预测参考帧进行整像素搜索，得到第二待预测参考帧中的匹配块(可以称为第二候选匹配块)后，不需要判断第二候选匹配块是否为当前得到的各候选匹配块中率失真代价最小的匹配块，也不需要判断第二候选匹配块的率失真代价是否小于第二预设阈值。
参见图9，图9为本发明实施例提供的一种运动估计的方法的示例的流程图，该方法可以包括以下步骤：
S901：获取与目标预测单元满足预设相邻条件的图像块中进行帧间预测采用的最佳参考帧，得到备选参考帧集合。
S902：针对目标预测单元对应的候选参考帧集合中的每一候选参考帧，判断该候选参考帧是否在备选参考帧集合中，如果该候选参考帧在备选参考帧集合中，执行S903，如果该候选参考帧不在备选参考帧集合中，执行S904。
S903：确定该候选参考帧不满足预设跳过条件。
S904：判断备选参考帧集合包含的备选参考帧的第一数目是否大于第一预设阈值。如果第一数目大于第一预设阈值，执行S905，如果第一数目不大于第一预设阈值，执行S906。
S905：确定该候选参考帧满足预设跳过条件。
S906：判断该候选参考帧是否为候选参考帧集合中的指定参考帧，如果该候选参考帧不是指定参考帧，执行S903，如果该候选参考帧是指定参考帧，执行S905。
S907：将不满足预设跳过条件的候选参考帧，确定为待预测参考帧。
S908：判断待预测参考帧是否在备选参考帧集合中，如果待预测参考帧不在备选参考帧集合中，执行S909，如果待预测参考帧在备选参考帧集合中，执行S910。
S909：对待预测参考帧进行整像素搜索，得到待预测参考帧中的匹配块，作为候选匹配块。
S910：对待预测参考帧进行整像素搜索和分像素搜索，得到待预测参考帧中的匹配块，作为候选匹配块。
S911：将候选匹配块中率失真代价最小的匹配块，作为目标预测单元的最佳匹配块。
本发明实施例还提供了一种可选的运动估计的方法，该方法可以包括以下步骤：
获取与目标预测单元满足预设相邻条件的图像块中进行帧间预测采用的最佳参考帧，得到备选参考帧集合；
针对目标预测单元对应的候选参考帧集合中的每一候选参考帧，判断是否满足条件1，如果满足条件1，则跳过对该候选参考帧进行运动估计，直接进行下一个候选参考帧的判断；如果不满足条件1，则判断是否满足条件2，如果满足条件2，则跳过对该候选参考帧进行运动估计，直接进行下一个候选参考帧的判断；如果不满足条件2，则判断是否满足条件3，如果满足条件3，则在对当前候选参考帧进行运动估计时，跳过分像素搜索，只做整像素搜索；如果不满足条件3，则需完成所有的运动搜索步骤。其中，条件1为备选参考帧集合中的参考帧个数大于一定阈值T(T>1)(相当于上述第一预设阈值)且候选参考帧并不在备选参考帧集合中；条件2为当前候选参考帧为第N个候选参考帧(相当于上述指定参考帧)(其中，N大于2)，且当前候选参考帧不在备选参考帧集合中；条件3为当前候选参考帧不在备选参考帧集合中。
基于上述实施例的运动估计的方法，针对表(1)中所示图像序列分类中的每个分类，选取对应的图像序列，进行编码性能的测试，表(1)为利用本发明实施例的运动估计的方法和利用现有技术进行编码的对比结果。
表(1)
Figure BDA0001768873070000161
Figure BDA0001768873070000171
其中，分辨率一列表示采用不同分辨率的图像序列，图像序列一列表示不同视频画面的图像序列。
针对每个图像序列分类，选取不同个数的图像序列进行测试，表中的结果为每个图像序列分类中对所有图像序列利用本发明实施例的运动估计的方法和利用现有技术进行编码的比较结果的平均值。Y(BD-rate)列、U(BD-rate)列、V(BD-rate)列和YUV(BD-rate)列分别表示Y、U、V以及YUV合并质量下的码率节省(负值表示节省，正值表示增加)，Y表示明亮度(Luminance或Luma)，也就是灰阶值；U和V表示色度(Chrominance或Chroma)，作用是描述影像色彩及饱和度，用于指定像素的颜色。Δfps表示编码加速，具体的，如公式(1)所示。
Figure BDA0001768873070000172
其中，Δfps表示编码加速，FPSanchor表示使用原编码器编码图像序列的帧率fps，FPSproposed表示同一编码器采用本实施例的运动估计的方法后的编码图像序列的帧率fps。Δfps为正值表示加速，为负值表示减速。
由表(1)中的数据可以看出，针对每一分类的图像序列，使用本发明实施例的方法进行运动估计具有显著的节省编码时间的效果，平均带来2.02％左右的增益。
由以上可见，基于本发明实施例的运动估计的方法，获取与目标预测单元对应的候选参考帧集合中满足第一预设条件的待预测参考帧，按照与待预测参考帧对应的像素搜索规则对待预测参考帧进行像素搜索，得到候选匹配块，将候选匹配块中率失真代价最小的匹配块，确定为目标预测单元的最佳匹配块。基于上述处理，对满足第一预设条件的候选参考帧进行像素搜索，与现有技术中遍历所有的候选参考帧并对每一个候选参考帧都进行像素搜索的方式相比，减少了视频编码的复杂度，节省了编码的时间，进而可以提高视频的编码效率。
与图3的方法实施例相对应，参见图10，图10为本发明实施例提供的一种运动估计的装置的结构图，该装置包括：
获取模块1001，用于获取与目标预测单元对应的候选参考帧集合中的待预测参考帧；其中，所述待预测参考帧为所述候选参考帧集合中满足第一预设条件的候选参考帧；
第一处理模块1002，用于按照与所述待预测参考帧对应的像素搜索规则对所述待预测参考帧进行像素搜索，得到候选匹配块；
确定模块1003，用于将所述候选匹配块中率失真代价最小的匹配块，确定为所述目标预测单元的最佳匹配块。
可选的，所述第一预设条件包括以下至少之一：
备选参考帧集合中的参考帧的个数小于或等于第一预设阈值且所述候选参考帧不是所述候选参考帧集合中的指定参考帧；
所述备选参考帧集合中的参考帧的个数小于或等于所述第一预设阈值且所述候选参考帧在所述备选参考帧集合中；
所述候选参考帧在所述备选参考帧集合中；
所述候选参考帧在所述备选参考帧集合中且所述候选参考帧不是所述候选参考帧集合中的指定参考帧；
其中，所述备选参考帧集合包括的参考帧为在对图像块进行帧间预测得到的匹配块中率失真代价最小的匹配块所在的参考帧，所述图像块为与所述目标预测单元满足预设相邻条件的图像块。
可选的，所述装置还包括：
第二处理模块，用于在所述候选参考帧满足第二预设条件的情况下，跳过对所述候选参考帧的运动估计；
其中，所述第二预设条件包括以下至少之一：备选参考帧集合中的参考帧的个数大于第一预设阈值且所述候选参考帧不在所述备选参考帧集合中；所述备选参考帧集合中的参考帧的个数小于或等于所述第一预设阈值，所述候选参考帧不是所述候选参考帧集合中的指定参考帧且所述候选参考帧不在所述备选参考帧集合中；其中，所述备选参考帧集合包括的参考帧为在对图像块进行帧间预测得到的匹配块中率失真代价最小的匹配块所在的参考帧，所述图像块为与所述目标预测单元满足预设相邻条件的图像块。
可选的，所述第一处理模块1002，具体用于在所述待预测参考帧不在所述备选参考帧集合中的情况下，对所述待预测参考帧进行整像素搜索，得到所述待预测参考帧中的匹配块，作为候选匹配块；
和/或，在所述待预测参考帧在所述备选参考帧集合中的情况下，对所述待预测参考帧进行整像素搜索和分像素搜索，得到所述待预测参考帧中的匹配块，作为候选匹配块。
可选的，在所述待预测参考帧为多个的情况下，针对多个所述待预测参考帧中的第一待预测参考帧，所述第一处理模块1002，具体用于按照与所述第一待预测参考帧对应的像素搜索规则对所述第一待预测参考帧进行像素搜索，得到第一候选匹配块；
所述装置还包括：第三处理模块，用于在确定所述第一候选匹配块为当前得到的各候选匹配块中率失真代价最小的匹配块，且所述第一候选匹配块的率失真代价小于第二预设阈值的情况下，根据所述第一待预测参考帧在所述候选参考帧集合中的排列顺序，将位于所述第一待预测参考帧之后的各参考帧的像素搜索规则更新为整像素搜索。
由以上可见，基于本发明实施例的运动估计的装置，获取与目标预测单元对应的候选参考帧集合中满足第一预设条件的待预测参考帧，按照与待预测参考帧对应的像素搜索规则对待预测参考帧进行像素搜索，得到候选匹配块，将候选匹配块中率失真代价最小的匹配块，确定为目标预测单元的最佳匹配块。基于上述处理，对满足第一预设条件的候选参考帧进行像素搜索，与现有技术中遍历所有的候选参考帧并对每一个候选参考帧都进行像素搜索的方式相比，减少了视频编码的复杂度，节省了编码的时间，进而可以提高视频的编码效率。
需要说明的是，上述装置可以位于设备中，比如终端，服务器等，但并不限于此。
本发明实施例还提供了一种电子设备，如图11所示，包括存储器1101和处理器1102；
存储器1101，用于存放计算机程序；
处理器1102，用于执行存储器1101上所存放的程序时，实现本发明实施例提供的运动估计的方法。
具体的，上述运动估计的方法，包括：
获取与目标预测单元对应的候选参考帧集合中的待预测参考帧；其中，所述待预测参考帧为所述候选参考帧集合中满足第一预设条件的候选参考帧；
按照与所述待预测参考帧对应的像素搜索规则对所述待预测参考帧进行像素搜索，得到候选匹配块；
将所述候选匹配块中率失真代价最小的匹配块，确定为所述目标预测单元的最佳匹配块。
需要说明的是，上述运动估计的方法的其他实现方式与前述方法实施例部分相同，这里不再赘述。
上述电子设备可以具备有实现上述电子设备与其他设备之间通信的通信接口。
上述的处理器1102，通信接口，存储器1101通过通信总线完成相互间的通信，此处提到的通信总线可以是外设部件互连标准(Peripheral Component Interconnect，简称PCI)总线或扩展工业标准结构(Extended Industry Standard Architecture，简称EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。
存储器1101可以包括随机存取存储器(Random Access Memory，简称RAM)，也可以包括非易失性存储器(Non-Volatile Memory，简称NVM)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器1102可以是通用处理器，包括中央处理器(Central ProcessingUnit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(Digital Signal Processing，简称DSP)、专用集成电路(Application SpecificIntegrated Circuit，简称ASIC)、现场可编程门阵列(Field-Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
本发明实施例提供的电子设备，在进行运动估计时，仅对满足第一预设条件的候选参考帧进行像素搜索，减少了视频编码的复杂度，节省了编码的时间，进而可以提高视频的编码效率。
本发明实施例还提供了一种计算机可读存储介质，该计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行本发明实施例提供的运动估计的方法。
具体的，上述运动估计的方法，包括：
获取与目标预测单元对应的候选参考帧集合中的待预测参考帧；其中，所述待预测参考帧为所述候选参考帧集合中满足第一预设条件的候选参考帧；
按照与所述待预测参考帧对应的像素搜索规则对所述待预测参考帧进行像素搜索，得到候选匹配块；
将所述候选匹配块中率失真代价最小的匹配块，确定为所述目标预测单元的最佳匹配块。
需要说明的是，上述运动估计的方法的其他实现方式与前述方法实施例部分相同，这里不再赘述。
通过运行本发明实施例提供的计算机可读存储介质中存储的指令，在进行运动估计时，仅对满足第一预设条件的候选参考帧进行像素搜索，减少了视频编码的复杂度，节省了编码的时间，进而可以提高视频的编码效率。
本发明实施例还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行本发明实施例提供的运动估计的方法。
具体的，上述运动估计的方法，包括：
获取与目标预测单元对应的候选参考帧集合中的待预测参考帧；其中，所述待预测参考帧为所述候选参考帧集合中满足第一预设条件的候选参考帧；
按照与所述待预测参考帧对应的像素搜索规则对所述待预测参考帧进行像素搜索，得到候选匹配块；
将所述候选匹配块中率失真代价最小的匹配块，确定为所述目标预测单元的最佳匹配块。
需要说明的是，上述运动估计的方法的其他实现方式与前述方法实施例部分相同，这里不再赘述。
通过运行本发明实施例提供的计算机程序产品，在进行运动估计时，仅对满足第一预设条件的候选参考帧进行像素搜索，减少了视频编码的复杂度，节省了编码的时间，进而可以提高视频的编码效率。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置、电子设备、计算机可读存储介质、计算机程序产品实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。

Claims (10)

1.一种运动估计的方法，其特征在于，所述方法包括：
获取与目标预测单元对应的候选参考帧集合中的待预测参考帧；其中，所述待预测参考帧为所述候选参考帧集合中满足第一预设条件的候选参考帧；
按照与所述待预测参考帧对应的像素搜索规则对所述待预测参考帧进行像素搜索，得到候选匹配块；
将所述候选匹配块中率失真代价最小的匹配块，确定为所述目标预测单元的最佳匹配块；
在所述待预测参考帧为多个的情况下，针对多个所述待预测参考帧中的第一待预测参考帧，按照与所述待预测参考帧对应的像素搜索规则对所述待预测参考帧进行像素搜索，得到候选匹配块，包括：
按照与所述第一待预测参考帧对应的像素搜索规则对所述第一待预测参考帧进行像素搜索，得到第一候选匹配块；
在所述按照与所述第一待预测参考帧对应的像素搜索规则对所述第一待预测参考帧进行像素搜索，得到第一候选匹配块之后，所述方法还包括：
在确定所述第一候选匹配块为当前得到的各候选匹配块中率失真代价最小的匹配块，且所述第一候选匹配块的率失真代价小于第二预设阈值的情况下，根据所述第一待预测参考帧在所述候选参考帧集合中的排列顺序，将位于所述第一待预测参考帧之后的各参考帧的像素搜索规则更新为整像素搜索。
2.根据权利要求1所述的方法，其特征在于，所述第一预设条件包括以下至少之一：
备选参考帧集合中的参考帧的个数小于或等于第一预设阈值且所述候选参考帧不是所述候选参考帧集合中的指定参考帧；
所述备选参考帧集合中的参考帧的个数小于或等于所述第一预设阈值且所述候选参考帧在所述备选参考帧集合中；
所述候选参考帧在所述备选参考帧集合中；
所述候选参考帧在所述备选参考帧集合中且所述候选参考帧不是所述候选参考帧集合中的指定参考帧；
其中，所述备选参考帧集合包括的参考帧为在对图像块进行帧间预测得到的匹配块中率失真代价最小的匹配块所在的参考帧，所述图像块为与所述目标预测单元满足预设相邻条件的图像块。
3.根据权利要求1所述的方法，其特征在于，所述方法还包括：
在所述候选参考帧满足第二预设条件的情况下，跳过对所述候选参考帧的运动估计；
其中，所述第二预设条件包括以下至少之一：备选参考帧集合中的参考帧的个数大于第一预设阈值且所述候选参考帧不在所述备选参考帧集合中；所述备选参考帧集合中的参考帧的个数小于或等于所述第一预设阈值，所述候选参考帧不是所述候选参考帧集合中的指定参考帧且所述候选参考帧不在所述备选参考帧集合中；其中，所述备选参考帧集合包括的参考帧为在对图像块进行帧间预测得到的匹配块中率失真代价最小的匹配块所在的参考帧，所述图像块为与所述目标预测单元满足预设相邻条件的图像块。
4.根据权利要求2所述的方法，其特征在于，所述按照与所述待预测参考帧对应的像素搜索规则对所述待预测参考帧进行像素搜索，得到候选匹配块，包括以下至少之一：
在所述待预测参考帧不在所述备选参考帧集合中的情况下，对所述待预测参考帧进行整像素搜索，得到所述待预测参考帧中的匹配块，作为候选匹配块；
在所述待预测参考帧在所述备选参考帧集合中的情况下，对所述待预测参考帧进行整像素搜索和分像素搜索，得到所述待预测参考帧中的匹配块，作为候选匹配块。
5.一种运动估计的装置，其特征在于，所述装置包括：
获取模块，用于获取与目标预测单元对应的候选参考帧集合中的待预测参考帧；其中，所述待预测参考帧为所述候选参考帧集合中满足第一预设条件的候选参考帧；
第一处理模块，用于按照与所述待预测参考帧对应的像素搜索规则对所述待预测参考帧进行像素搜索，得到候选匹配块；
确定模块，用于将所述候选匹配块中率失真代价最小的匹配块，确定为所述目标预测单元的最佳匹配块；
在所述待预测参考帧为多个的情况下，针对多个所述待预测参考帧中的第一待预测参考帧，所述第一处理模块，用于按照与所述第一待预测参考帧对应的像素搜索规则对所述第一待预测参考帧进行像素搜索，得到第一候选匹配块；
所述装置还包括：第三处理模块，用于在确定所述第一候选匹配块为当前得到的各候选匹配块中率失真代价最小的匹配块，且所述第一候选匹配块的率失真代价小于第二预设阈值的情况下，根据所述第一待预测参考帧在所述候选参考帧集合中的排列顺序，将位于所述第一待预测参考帧之后的各参考帧的像素搜索规则更新为整像素搜索。
6.根据权利要求5所述的装置，其特征在于，所述第一预设条件包括以下至少之一：
备选参考帧集合中的参考帧的个数小于或等于第一预设阈值且所述候选参考帧不是所述候选参考帧集合中的指定参考帧；
所述备选参考帧集合中的参考帧的个数小于或等于所述第一预设阈值且所述候选参考帧在所述备选参考帧集合中；
所述候选参考帧在所述备选参考帧集合中；
所述候选参考帧在所述备选参考帧集合中且所述候选参考帧不是所述候选参考帧集合中的指定参考帧；
其中，所述备选参考帧集合包括的参考帧为在对图像块进行帧间预测得到的匹配块中率失真代价最小的匹配块所在的参考帧，所述图像块为与所述目标预测单元满足预设相邻条件的图像块。
7.根据权利要求5所述的装置，其特征在于，所述装置还包括：
第二处理模块，用于在所述候选参考帧满足第二预设条件的情况下，跳过对所述候选参考帧的运动估计；
其中，所述第二预设条件包括以下至少之一：备选参考帧集合中的参考帧的个数大于第一预设阈值且所述候选参考帧不在所述备选参考帧集合中；所述备选参考帧集合中的参考帧的个数小于或等于所述第一预设阈值，所述候选参考帧不是所述候选参考帧集合中的指定参考帧且所述候选参考帧不在所述备选参考帧集合中；其中，所述备选参考帧集合包括的参考帧为在对图像块进行帧间预测得到的匹配块中率失真代价最小的匹配块所在的参考帧，所述图像块为与所述目标预测单元满足预设相邻条件的图像块。
8.根据权利要求6所述的装置，其特征在于，所述第一处理模块，用于在所述待预测参考帧不在所述备选参考帧集合中的情况下，对所述待预测参考帧进行整像素搜索，得到所述待预测参考帧中的匹配块，作为候选匹配块；和/或，在所述待预测参考帧在所述备选参考帧集合中的情况下，对所述待预测参考帧进行整像素搜索和分像素搜索，得到所述待预测参考帧中的匹配块，作为候选匹配块。
9.一种电子设备，其特征在于，包括存储器和处理器；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现权利要求1-4任一所述的方法步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1-4任一所述的方法步骤。
CN201810940267.7A 2018-08-17 2018-08-17 运动估计的方法、装置、电子设备及计算机可读存储介质 Active CN110839155B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201810940267.7A CN110839155B (zh) 2018-08-17 2018-08-17 运动估计的方法、装置、电子设备及计算机可读存储介质
PCT/CN2019/100236 WO2020034921A1 (zh) 2018-08-17 2019-08-12 运动估计的方法、装置、电子设备及计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810940267.7A CN110839155B (zh) 2018-08-17 2018-08-17 运动估计的方法、装置、电子设备及计算机可读存储介质

Publications (2)

Publication Number Publication Date
CN110839155A CN110839155A (zh) 2020-02-25
CN110839155B true CN110839155B (zh) 2021-12-03

Family

ID=69524706

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810940267.7A Active CN110839155B (zh) 2018-08-17 2018-08-17 运动估计的方法、装置、电子设备及计算机可读存储介质

Country Status (2)

Country Link
CN (1) CN110839155B (zh)
WO (1) WO2020034921A1 (zh)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111462170B (zh) * 2020-03-30 2023-08-25 Oppo广东移动通信有限公司 运动估计方法、运动估计装置、存储介质与电子设备
CN111510727B (zh) * 2020-04-14 2022-07-15 腾讯科技（深圳）有限公司 一种运动估计方法及装置
CN111479115B (zh) * 2020-04-14 2022-09-27 腾讯科技（深圳）有限公司 一种视频图像处理方法、装置及计算机可读存储介质
CN111405282B (zh) * 2020-04-21 2022-04-01 广州市百果园信息技术有限公司 基于长期参考帧的视频编码方法、装置、设备和存储介质
CN111263151B (zh) * 2020-04-26 2020-08-25 腾讯科技（深圳）有限公司 视频编码方法、装置、电子设备和计算机可读存储介质
CN112261413B (zh) * 2020-10-22 2023-10-31 北京奇艺世纪科技有限公司 视频编码方法、编码装置、电子设备和存储介质
CN112565753B (zh) * 2020-12-06 2022-08-16 浙江大华技术股份有限公司 运动矢量差的确定方法和装置、存储介质及电子装置
CN112770118B (zh) * 2020-12-31 2022-09-13 展讯通信(天津)有限公司 视频帧图像运动估计方法及相关设备
CN113596475A (zh) * 2021-06-24 2021-11-02 浙江大华技术股份有限公司 图像/视频编码方法、装置、***及计算机可读存储介质
CN116567267A (zh) * 2022-01-28 2023-08-08 腾讯科技（深圳）有限公司 一种编码过程中的运动估计方法及相关产品
CN116074533B (zh) * 2023-04-06 2023-08-22 湖南国科微电子股份有限公司 运动矢量预测方法、***、电子设备及存储介质
CN117615129B (zh) * 2024-01-23 2024-04-26 腾讯科技（深圳）有限公司 帧间预测方法、装置、计算机设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100747544B1 (ko) * 2006-03-31 2007-08-08 엘지전자 주식회사 움직임 추정 방법 및 장치
CN101621694A (zh) * 2009-07-29 2010-01-06 深圳市九洲电器有限公司 一种运动估计方法、***及显示终端
CN102387360A (zh) * 2010-09-02 2012-03-21 乐金电子(中国)研究开发中心有限公司 视频编解码帧间图像预测方法及视频编解码器
CN104602019A (zh) * 2014-12-31 2015-05-06 乐视网信息技术（北京）股份有限公司 一种视频编码方法及装置

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100571401C (zh) * 2007-01-09 2009-12-16 华为技术有限公司 确定参考帧的方法及其装置
CN102843561B (zh) * 2011-06-21 2017-03-08 乐金电子(中国)研究开发中心有限公司 帧间图像预测编解码的参考帧序号编解码方法及编解码器
CN103501437B (zh) * 2013-09-29 2016-06-22 北京航空航天大学 一种基于分形和h.264的高光谱图像压缩方法
CN106034236B (zh) * 2015-03-19 2019-07-19 阿里巴巴集团控股有限公司 一种hevc编码最佳参考帧的选择方法、装置及编码器
US10448043B2 (en) * 2016-12-28 2019-10-15 Novatek Microelectronics Corp. Motion estimation method and motion estimator for estimating motion vector of block of current frame
CN106888024B (zh) * 2017-01-06 2020-09-08 南京邮电大学 一种基于双向最佳匹配的分布式视频压缩感知重构方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100747544B1 (ko) * 2006-03-31 2007-08-08 엘지전자 주식회사 움직임 추정 방법 및 장치
CN101621694A (zh) * 2009-07-29 2010-01-06 深圳市九洲电器有限公司 一种运动估计方法、***及显示终端
CN102387360A (zh) * 2010-09-02 2012-03-21 乐金电子(中国)研究开发中心有限公司 视频编解码帧间图像预测方法及视频编解码器
CN104602019A (zh) * 2014-12-31 2015-05-06 乐视网信息技术（北京）股份有限公司 一种视频编码方法及装置

Also Published As

Publication number Publication date
CN110839155A (zh) 2020-02-25
WO2020034921A1 (zh) 2020-02-20

Similar Documents

Publication Publication Date Title
CN110839155B (zh) 运动估计的方法、装置、电子设备及计算机可读存储介质
US20220286706A1 (en) Method and device for obtaining motion vector of video image
CN109660800B (zh) 运动估计方法、装置、电子设备及计算机可读存储介质
CN110446044B (zh) 线性模型预测方法、装置、编码器及存储装置
CN113812155B (zh) 多种帧间编解码方法之间的交互
KR101621358B1 (ko) Ｈｅｖｃ 부호화 장치 및 그 인트라 예측 모드 결정 방법
WO2022104498A1 (zh) 帧内预测方法、编码器、解码器以及计算机存储介质
CN101389025A (zh) 用于根据多个子像素分辨率进行视频编码的运动细化引擎及其使用方法
US10742989B2 (en) Variable frame rate encoding method and device based on a still area or a motion area
TW202023282A (zh) 動態影像編碼裝置、動態影像編碼方法、動態影像解碼裝置、及動態影像解碼方法
US20240015300A1 (en) Image encoding/decoding method and device
CN114641997A (zh) 基于颜色分量的语法信令通知和解析
US20230362401A1 (en) Image encoding/decoding method and apparatus
US11438577B2 (en) Image encoding/decoding method and device
US11381809B2 (en) Intra prediction encoding/decoding method and apparatus for chrominance components
US11558608B2 (en) On split prediction
WO2021253373A1 (en) Probabilistic geometric partitioning in video coding
CN112055208A (zh) 视频编码方法、设备及存储装置
CN113596480B (zh) 一种编解码方法、装置及其设备
CN112565768B (zh) 一种帧间预测方法、编解码***及计算机可读存储介质
CN113992914B (zh) 帧间预测方法及装置、设备、存储介质
CN109660806B (zh) 一种编码方法、装置和电子设备
CN111988612A (zh) 一种视频编码处理方法、装置及电子设备
KR20220066166A (ko) 현재 블록의 예측 방법 및 예측 장치, 디바이스, 저장 매체
CN113242427B (zh) 一种基于vvc中自适应运动矢量精度的快速方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant