CN111541854B - 运动矢量拟合、帧率转换方法及装置和电子设备 - Google Patents

运动矢量拟合、帧率转换方法及装置和电子设备 Download PDF

Info

Publication number
CN111541854B
CN111541854B CN202010303943.7A CN202010303943A CN111541854B CN 111541854 B CN111541854 B CN 111541854B CN 202010303943 A CN202010303943 A CN 202010303943A CN 111541854 B CN111541854 B CN 111541854B
Authority
CN
China
Prior art keywords
fitting
motion vector
interpolation block
block
interpolation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010303943.7A
Other languages
English (en)
Other versions
CN111541854A (zh
Inventor
张弓
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Oppo Mobile Telecommunications Corp Ltd
Original Assignee
Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Oppo Mobile Telecommunications Corp Ltd filed Critical Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority to CN202010303943.7A priority Critical patent/CN111541854B/zh
Publication of CN111541854A publication Critical patent/CN111541854A/zh
Application granted granted Critical
Publication of CN111541854B publication Critical patent/CN111541854B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0127—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level by changing the field or frame frequency of the incoming video signal, e.g. frame rate converter
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234381—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by altering the temporal resolution, e.g. decreasing the frame rate by frame skipping
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440281—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by altering the temporal resolution, e.g. by frame skipping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Television Systems (AREA)

Abstract

本公开涉及图像处理技术领域，具体涉及一种运动矢量拟合方法、运动矢量拟合装置、帧率转换方法和电子设备。所述方法包括：基于运动估计和运动矢量投影确定穿过待插值图像上各插值块的目标投影块的数量；根据各所述数量选择对应的目标拟合方法进行拟合，得到各所述插值块对应的拟合运动矢量。本公开可以根据插值块的特征选择适合的目标拟合方法，进而提高拟合运动矢量的准确性，以改善视频播放的流畅度。

Description

运动矢量拟合、帧率转换方法及装置和电子设备
技术领域
本公开涉及图像处理技术领域，具体涉及一种运动矢量拟合方法、运动矢量拟合装置、帧率转换方法和电子设备。
背景技术
随着多媒体领域的不断发展，人们对视频的要求也越来越高。为了提高视频的质量，往往需要对视频格式进行必要的转换。其中，帧率转换技术是视频转换技术中非常重要的一环。
帧率是以帧为单位的位图图像连续出现在显示器上的频率，现有的帧率转换算法无法有效改善运动物体出现模糊的情况，存在使得视频播放不够流畅的问题。
发明内容
本公开的目的在于提供一种运动矢量拟合方法、运动矢量拟合装置、帧率转换方法和电子设备，进而至少在一定程度上克服相关技术中运动矢量拟合方法过于简单、单一，导致拟合运动矢量的准确性较低，影响视频播放的流畅度的问题。
本公开的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本公开的实践而习得。
根据本公开的第一方面，提供一种运动矢量拟合方法，包括：
基于运动估计和运动矢量投影确定穿过待插值图像上各插值块的目标投影块的数量；
根据各数量，确定对应的目标拟合方法进行拟合，获得各插值块对应的拟合运动矢量。
根据本公开的第二方面，提供一种帧率转换方法，包括：
获取待插值图像中各插值块对应的拟合运动矢量；其中，拟合运动矢量通过上述的运动矢量拟合方法得到；
利用拟合运动矢量对待插值图像进行运动补偿插值。
根据本公开的第三方面，提供一种运动矢量拟合装置，包括：
数量确定模块，用于基于运动估计和运动矢量投影确定穿过待插值图像上各插值块的目标投影块的数量；
矢量拟合模块，用于根据各数量，确定对应的目标拟合方法进行拟合，获得各插值块对应的拟合运动矢量。
根据本公开的第四方面，提供一种帧率转换装置，包括：
运动拟合模块，用于获取待插值图像中各插值块对应的拟合运动矢量；其中，拟合运动矢量通过上述的运动矢量拟合方法得到；
运动补偿模块，用于利用拟合运动矢量对待插值图像进行运动补偿插值。
根据本公开的第五方面，提供一种计算机可读介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述的运动矢量拟合方法或帧率转换方法。
根据本公开的第六方面，提供一种电子设备，其特征在于，包括：
处理器；以及
存储器，用于存储一个或多个程序，当一个或多个程序被一个或多个处理器执行时，使得一个或多个处理器实现上述的运动矢量拟合方法或帧率转换方法。
本公开的一种实施例所提供的运动矢量拟合方法中，通过确定穿过各插值块的目标投影块的数量，对插值块进行分类，进而根据该数量对应的目标拟合方法进行拟合，最终得到各插值块对应的拟合运动矢量。通过根据插值块的特征对插值块进行分类，选择对应的目标拟合方法，可以根据插值块的特征选择适合的目标拟合方法，进而提高拟合运动矢量的准确性，以改善视频播放的流畅度。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：
图1示意性示出本公开示例性实施例中一种运动矢量拟合方法的流程图；
图2示意性示出本公开示例性实施例中一种确定穿过待插值图像上各插值块的目标投影块的数量的方法的流程图；
图3示意性示出本公开示例性实施例中一种得到各插值块对应的拟合运动矢量的方法的流程图；
图4示意性示出本公开示例性实施例中一种通过基于面积和可信度的拟合方法进行拟合，得到插值块对应的拟合运动矢量的方法的流程图；
图5示意性示出本公开示例性实施例中根据重叠面积和可信度得到插值块对应的拟合运动矢量的方法的流程图；
图6示意性示出本公开示例性实施例中一种通过联合拟合方法进行拟合，得到插值块对应的拟合运动矢量的方法的流程图；
图7示意性示出本公开示例性实施例中基于联合拟合规则和预设参数对第一拟合运动矢量和第二拟合运动矢量进行拟合，得到插值块对应的拟合运动矢量的方法的流程图；
图8示意性示出本公开示例性实施例中一种通过基于时空邻域的拟合方法进行拟合，得到插值块对应的拟合运动矢量的方法的流程图；
图9示意性示出本公开示例性实施例中根据第一插值块和第二插值块得到插值块对应的拟合运动矢量的方法的流程图；
图10示意性示出本公开示例性实施例中根据目标第一插值块和目标第二插值块对应的拟合运动矢量以及与插值块之间的距离，得到插值块对应的拟合运动矢量的方法的流程图；
图11示意性示出本公开示例性实施例中一种帧率转换方法的流程图；
图12示意性示出本公开示例性实施例中一种目标投影块穿过插值块的示意图；
图13示意性示出本公开示例性实施例中运动矢量拟合装置的组成示意图；
图14示意性示出本公开示例性实施例中帧率转换装置的组成示意图；
图15示意性示出本公开示例性实施例中电子设备的计算机***的结构示意图。
具体实施方式
现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本公开将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。
此外，附图仅为本公开的示意性图解，并非一定是按比例绘制。图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。附图中所示的一些方框图是功能实体，不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
在相关的运动补偿插帧算法中，通常需要针对待插帧图像确定对应的拟合运动矢量。例如，可以对待插帧图像进行分块得到多个插值块，进而针对每个插值块确定对应的拟合运动矢量。在相关拟合运动矢量的确定方法中，往往会采用在多个穿过插值块的运动矢量中确定一个运动矢量为拟合运动矢量的方式。然而，这种简单、单一的方法往往会造成确定的拟合运动矢量准确性较低的问题，进而可能会导致最终得到的视频质量较低。
针对上述的现有技术所存在的缺点和不足，本示例实施方式中提供了一种运动矢量拟合方法，可以应用于手机、平板电脑、数码相机等终端设备。
参考图1中所示，上述的运动矢量拟合方法可以包括以下步骤S110至S120：
步骤S110，基于运动估计和运动矢量投影确定穿过待插值图像上各插值块的目标投影块的数量。
本示例实施方式中，运动估计用于获取待插值图像对应的运动矢量，可以包括双向运动估计等运动估计方式；运动矢量投影用于将运动矢量投影至待插值图像生成运动矢量对应的投影块，可以包括基于距离的运动矢量投影等运动矢量投影方式。
本示例实施方式中，参照图2所示，基于运动估计和运动矢量投影确定穿过待插值图像上各插值块的目标投影块的数量，可以包括以下步骤S210至S220：
步骤S210，获取待插值图像对应的运动矢量，并对运动矢量进行投影以确定运动矢量对应的投影块在待插值图像上的位置。
本示例实施方式中，待插值运动图像对应的运动矢量可以包括通过双向运动估计方式对待插值图像进行处理得到的前向运动矢量或者后向运动矢量；此外，待插值图像对应的运动矢量还可以包括根据其它运动估计方式对待插值图像进行处理得到的其它运动矢量，本公开对此不做特殊限定。
本示例实施方式中，对运动矢量进行投影时，可以采用基于距离的运动矢量投影，其中，距离是指投影块中心点到各重叠的插值块的中心点的距离；此外，还可以采用其他方式进行运动矢量投影，本公开对此不做特殊限定。通过对运动矢量进行投影，可以确定运动矢量对应的投影块在待插值图像上的位置。
步骤S220，根据预设分割规则将待插值图像划分为至少一个插值块，并根据插值块和投影块在待插值图像上的位置，确定穿过各插值块的目标投影块的数量。
本示例实施方式中，预设分割规则可以包括预设插值块数量。此时，可以根据预设插值块数量将待插值图像平均划分为形状相同、大小相同的插值块。此外，预设分割规则还可以包括预设插值块大小等参数，进而根据参数将待插值图像划分为至少一个插值块。需要说明的是，为了保证对待插值图像中各个区域的处理相同，预设分割规则包括用于将待插值图像划分为形状、大小均相同的插值块的分割规则。
本示例实施方式中，在将待插值图像划分为至少一个插值块之后，可以根据投影块在待插值图像中的位置确定穿过各插值块的目标投影块的数量。其中，穿过插值块的目标投影块是指与插值块存在重叠的投影块。例如，图12所示的投影块均为穿过插值块的目标投影块。
步骤S120，根据各数量，确定对应的目标拟合方法进行拟合，获取各插值块对应的拟合运动矢量。
本示例实施方式中，在确定穿过各插值块的目标投影块的数量之后，可以选择该数量对应的目标拟合方法进行拟合，进而得到各插值块对应的拟合运动矢量。
举例而言，参照图3所示，根据各数量选择对应的目标拟合方法进行拟合，得到各插值块对应的拟合运动矢量，可以包括以下步骤S310至S320：
步骤S310，在数量大于等于预设阈值时，通过基于面积和可信度的拟合方法进行拟合，得到插值块对应的拟合运动矢量；和/或通过基于面积和可信度的拟合方法和基于时空邻域的运动矢量拟合方法进行联合拟合，得到插值块对应的拟合运动矢量。
本示例实施方式中，预设阈值可以根据不同场景的需求进行不同的设定，取正整数。举例而言，在更加信任穿过插值块的目标投影块时，可以将预设阈值设置为较小值，在更加信任相邻拟合运动矢量时，可以将预设阈值设置为较大值，本公开对此不做特殊限定。
本示例实施方式中，在穿过插值块的目标投影块的数量大于等于预设阈值时，可以通过重叠面积和可信度确定每个目标投影块对应的运动矢量对于该插值块对应的拟合运动矢量的贡献度，进而确定该插值块的拟合运动矢量；或者，也可以通过基于面积和可信度的拟合方法和基于时空邻域的运动矢量拟合方法进行联合拟合，得到插值块对应的拟合运动矢量。此外，还可以通过对穿过待插值图像上各插值块的目标投影块的数量按任意规则进行进一步分类，进而分别采用通过基于面积和可信度的拟合方法进行拟合，和通过基于面积和可信度的拟合方法和基于时空邻域的运动矢量拟合方法进行联合拟合，分别得到不同分类的插值块对应的拟合运动矢量。
举例而言，在预设阈值取值为1时，可以通过设置分类阈值2，将插值块分为数量小于2和数量大于等于2的两类插值块，然后对数量等于1的插值块进行基于面积和可信度的拟合方法和基于时空邻域的运动矢量拟合方法进行联合拟合，得到对应的拟合运动矢量；对数量大于等于2的插值块，进行通过基于面积和可信度的拟合方法进行拟合，得到插值块对应的拟合运动矢量。需要说明的是，还可以根据其它的分类方法进行进一步分类，本公开对此不做特殊限定。
具体的，参照图4所示，通过基于面积和可信度的拟合方法进行拟合，得到插值块对应的拟合运动矢量，可以包括以下步骤S410至S430：
步骤S410，获取与插值块对应的目标投影块，并获取各目标投影块对应的运动矢量的可信度。
其中，运动矢量的可信度可以根据以下至少一个参数或者多个参数的组合进行计算：该运动矢量对应的绝对误差和(SAD)、绝对变换差之和(STAD)、纹理梯度，位置惩罚，候选MV的准确度等；具体计算的方式可以是加和、加权平均等，本公开对此不做特殊限定。
本示例实施方式中，在获取与插值块对应的目标投影块之后，方法还包括：根据预设筛选条件对目标投影块进行筛选，将不满足预设筛选条件的目标投影块删除。
本示例实施方式中，在获取插值块对应的目标投影块之后，还可以根据预设筛选条件对目标投影块进行筛选，以不满足预设筛选条件的目标投影块删除，提高拟合的准确性。举例而言，可以设置距离阈值，将目标投影块中心点与插值块中心点之间的距离大于预设距离的目标投影块删除；再如，还可以通过确定各目标投影块对应的重复率，并将重复率不在前预设数量的目标投影块删除；此外，还可以设置其它的预设筛选条件对目标投影块进行筛选，本公开对此不做特殊限制。
步骤S420，计算各目标投影块与插值块的重叠面积。
本示例实施方式中，穿过插值块的目标投影块是指与插值块存在重叠的投影块，因此可以通过目标投影块与插值块之间的重叠面积作为该目标投影块的一个参数。
步骤S430，根据重叠面积和可信度对目标投影块对应的运动矢量进行拟合，得到插值块对应的拟合运动矢量
本示例实施方式中，可以根据各目标投影块的可信度以及各目标投影块与插值块的重叠面积将各目标投影块对应的运动矢量进行拟合，进而得到插值块对应的拟合运动矢量。
举例而言，上述的根据重叠面积和可信度对目标投影块对应的运动矢量进行拟合，得到插值块对应的拟合运动矢量，参照图5所示，可以包括如下步骤S510至S530：
步骤S510，计算各目标投影块对应的运动矢量、重叠面积和可信度的乘积得到第一乘积，并对所有目标投影块对应的第一乘积求和，得到第一乘积和。
本示例实施方式中，可以先针对每个目标投影块分别计算对应的运动矢量、重叠面积和可信度的乘积得到第一乘积，并将穿过该插值块的所有目标投影块对应的第一乘积求和，得到第一乘积和。
步骤S520，计算各目标投影块对应的重叠面积和可信度的乘积得到第二乘积，并对所有目标投影块对应的第二乘积求和，得到第二乘积和。
本示例实施方式中，可以先针对每个目标投影块分别计算对应的重叠面积和可信度的乘积得到第二乘积，并对应的将穿过该插值块的所有目标投影块对应的第二乘积求和，得到第二乘积和。
步骤S530，计算第一乘积和与第二乘积和的商，得到插值块对应的拟合运动矢量。
本示例实施方式中，可以通过计算第一乘积和和第二场景和的商，并将计算得到商确定为该插值块对应的拟合运动矢量。
具体的，上述根据重叠面积和可信度对目标投影块对应的运动矢量进行拟合，得到插值块对应的拟合运动矢量的方法可以表示为：
Figure BDA0002455055570000081
其中，
Figure BDA0002455055570000084
为计算得到拟合运动矢量，A为穿过插值块的目标投影块的数量，
Figure BDA0002455055570000083
为第i个目标投影块与插值块之间的重叠面积，
Figure BDA0002455055570000082
为第i个目标投影块的可信度，MVi为第i个目标投影块对应的运动矢量。
本示例实施方式中，参照图6所示，通过基于面积和可信度的拟合方法和基于时空邻域的运动矢量拟合方法对插值块进行联合拟合，得到插值块对应的拟合运动矢量，可以包括以下步骤S610至S630：
步骤S610，通过基于面积和可信度的拟合方法进行拟合，得到插值块对应的第一预设参数和第一拟合运动矢量。
本示例实施方式中，可以先以穿过该插值块的大于等于预设阈值的目标投影块为基础，通过基于面积和可信度的拟合方式对其目标投影块进行计算，得到插值块对应的第一拟合运动矢量。同时，还可以获取计算第一拟合运动矢量过程中的第一预设参数进行后续的联合拟合。举例而言，第一预设参数可以是目标投影块的数量等，本公开对此不做特殊限定。
步骤S620，通过基于时空邻域的运动矢量拟合方法进行拟合，得到插值块对应的第二预设参数和第二拟合运动矢量。
本示例实施方式中，可以通过基于时空领域的运动矢量拟合方法对该插值块的邻近插值块对应的拟合运动矢量进行进一步拟合，得到第二拟合运动矢量。同时，还可以获取计算第二拟合运动矢量过程中的第二预设参数进行后续拟合。举例而言，第二预设参数可以是邻近插值块数量等，本公开对此不做特殊限制。
步骤S630，基于联合拟合规则、第一预设参数和第二预设参数对第一拟合运动矢量和第二拟合运动矢量进行联合拟合，得到插值块对应的拟合运动矢量。
本示例实施方式中，由于第一拟合运动矢量可能是通过多个目标投影块对应的运动矢量进行拟合得到的，第二拟合运动矢量可能是通过多个邻近插值块对应的拟合运动矢量进行进一步拟合得到的，因此第一预设参数可以包括目标投影块数量，而第二预设参数可以包括计算第二拟合运动矢量过程中邻近插值块数量。
此外，第一预设参数和第二预设参数还可以根据计算第一拟合运动矢量和第二拟合运动矢量过程中的其它参数进行设定。但需要说明的是，一般情况下，第一预设参数和第二预设参数在设定时，所选择的参数可以是计算第一拟合运动矢量过程中和计算第二拟合运动矢量过程中，相互对应的参数。
本示例实施方式中，联合拟合规则可以包括用于对第一拟合运动矢量和第二拟合运动矢量进行联合拟合的任意规则。举例而言，联合拟合规则可以包括权重规则，该权重规则可以包括第一权重和第二权重。此时，参照图7所示，基于联合拟合规则第一预设参数、和第二预设参数对第一拟合运动矢量和第二拟合运动矢量进行联合拟合，得到插值块对应的拟合运动矢量，可以包括以下步骤S710至S730：
步骤S710，计算所述第一权重与所述目标投影块的数量的乘积，得到第四乘积。
本示例实施方式中，由于第一拟合运动矢量可能是通过多个目标投影块对应的运动矢量进行拟合得到的，因此第一预设参数可以包括计算第一拟合运动矢量过程中目标投影块的数量。此时，可以先计算第一权重和目标投影块数量的乘积，得到第四乘积。
步骤S720，计算第二权重与邻近插值块数量的乘积，得到第五乘积。
本示例实施方式中，由于第二拟合运动矢量可能是通过多个邻近插值块对应的拟合运动矢量进行进一步拟合得到的，因此第二预设参数可以包括计算第二拟合运动矢量过程中邻近插值块数量。此时，可以先计算第二权重和邻近插值块数量的乘积，得到第五乘积。
步骤S730，以第四乘积为第一拟合运动矢量的权重，第五乘积为第二拟合运动矢量的权重，计算第一拟合运动矢量和第二拟合运动矢量的加权平均值，得到插值块对应的拟合运动矢量。
本示例实施方式中，可以以第四乘积为第一拟合运动矢量的权重，以第五乘积为第二拟合运动矢量的权重，计算第一拟合运动矢量和第二拟合运动矢量的加权平均值，并以计算得到的加权平均值为该插值块对应的拟合运动矢量。
具体的，上述基于联合拟合规则、第一预设参数和第二预设参数对第一拟合运动矢量和第二拟合运动矢量进行联合拟合，得到插值块对应的拟合运动矢量的方法可以表示为：
MVn＝(B*w1*MVn1+C*w2*MVn2)/(B*w1+C*w2) (2)
其中，MVn为计算得到拟合运动矢量，B为第一预设参数，w1为第一拟合运动矢量对应的第一权重，MVn1为第一拟合运动矢量，C为第二预设参数，w2为第二拟合运动矢量对应的第二权重，MVn2为第二拟合运动矢量。
需要说明的是，由于不同场景下对不同拟合运动矢量的信任度不同，用户还可以根据场景需求对第一权重和第二权重进行设置；此外，还可以在对不同插值块进行拟合时，设置不同的第一权重和第二权重，本公开对权重的设置方式不做特殊限定。
步骤S320，在数量小于预设阈值时，通过基于时空邻域的拟合方法进行拟合，得到插值块对应的拟合运动矢量。
本示例实施方式中，在穿过插值块的目标投影块的数量小于预设阈值时，可以通过与该插值块位置邻近的第一插值块和时间邻近的第二插值块进行拟合，确定该插值块的拟合运动矢量。
具体的，参照图8所示，通过基于时空邻域的拟合方法进行拟合，得到插值块对应的拟合运动矢量，可以包括以下步骤S810至S830：
步骤S810，根据预设空间阈值获取待插值图像中与插值块的位置邻近的第一插值块。
本示例实施方式中，预设空间阈值可以用于限定与插值块中心点的距离。即在所有插值块中，插值块中心点与该插值块中心点之间的距离小于预设空间阈值的插值块为第一插值块。例如，在预设空间阈值为10个像素时，在插值块中心点与该插值块中心点之间的距离小于10个像素时，该插值块则为第一插值块。
步骤S820，根据预设时间阈值获取与待插值图像时间相邻的视频图像中，与插值块位置相同的第二插值块。
本示例实施方式中，预设时间阈值可以用于限定与待插值图像之间的时间差值。即根据预设时间阈值获取与待插值图像时间相邻的视频图像，并在其中确定与该插值块位置相同的第二插值块。例如，在预设时间阈值为10时，可以获取与待插值图像时间相邻在10以内的视频图像，并将所有视频图像中与该插值块位置相同的插值块确定为第二插值块。
步骤S830，根据第一插值块和第二插值块进行拟合，得到插值块对应的拟合运动矢量。
需要说明的是，在获取第一插值块和第二插值块后，对应于对目标投影块的筛选，还可以根据预设筛选条件对第一插值块和第二插值块进行筛选，以将不满足预设筛选条件的目标投影块删除，提高拟合的准确性。
本示例实施方式中，可以通过空间邻近的第一插值块和时间邻近的第二插值块确定该插值块对应的拟合运动矢量。举例而言，参照图9所示，根据第一插值块和第二插值块进行拟合，得到插值块对应的拟合运动矢量，可以包括以下步骤S910至S920：
步骤S910，获取第一插值块和第二插值块中，已经具有拟合运动矢量的目标第一插值块和目标第二插值块。
本示例实施方式中，可以通过对第一插值块和第二插值块对应的拟合运动矢量进行进一步拟合，因此需要获取第一插值块和第二插值块中已经得到拟合运动矢量的目标第一插值块和目标第二插值块。
举例而言，在对待插值图像进行处理时，可以通过从左到右，从上到下的顺序确定每个插值块的拟合运动矢量。在这种情况下，可以通过第一插值块与该插值块的位置确定第一插值块是否已经具有拟合运动矢量，并获取已经具有拟合运动矢量的目标第一插值块；而针对视频进行处理时，可能是按照时间顺序进行处理的，此时则可以通过第二插值块与该插值块的时间先后确定第二插值块是否具有拟合运动矢量，进而获取已经具有拟合运动矢量的目标第二插值块。
步骤S920，根据目标第一插值块和目标第二插值块对应的拟合运动矢量以及与插值块之间的距离进行拟合，得到插值块对应的拟合运动矢量。
本示例实施方式中，可以根据目标第一插值块和目标第二插值块对应的拟合运动矢量以及各目标第一插值块和各目标第二插值块与该插值块之间的距离进行拟合，得到该插值块对应的拟合运动矢量。
举例而言，参照图10所示，根据目标第一插值块和目标第二插值块对应的拟合运动矢量以及与插值块之间的距离进行拟合，得到插值块对应的拟合运动矢量，可以包括以下步骤S1010至S1050：
步骤S1010，获取目标第一插值块与插值块之间的空间距离，以及目标第二插值块与插值块之间的时间距离。
本示例实施方式中，由于空间距离越远的目标第一插值块和时间距离越远的目标第二插值块对该插值块的影响越小，可以分别获取目标第一插值块与该插值块之间的空间距离和目标第二插值块与该插值块之间的时间距离。
步骤S1020，对空间距离和时间距离进行归一化，以获取目标第一插值块和目标第二插值块对应的标准距离。
本示例实施方式中，为了便于进行计算，需要对空间距离和时间距离进行归一化，以获取目标第一插值块和目标第二插值块对应的标准距离。举例而言，可以针对空间距离和时间距离分别设置归一化规则，将其归一化的标准距离。例如，可以将空间距离为1像素确定为标准距离为1，进而根据该规则对所有目标第一插值块进行归一化；将与待插值图像在时间线上相邻的前1个和后1个视频图像定义为标准距离为1，进而将从待插值图像开始，向前第N个和向后第N个视频图像的标准距离确定为N。
步骤S1030，对所有标准距离求和，得到标准距离和。
本示例实施方式中，在将空间距离和时间距离进行归一化后，可以对归一化之后的所有标准距离进行求和。具体的，将所有目标第一插值块和目标第二插值块对应的标准距离全部加和，得到标准距离和。
步骤S1040，针对各目标第一插值块和各目标第二插值块，分别计算对应的拟合运动矢量和标准距离的乘积得到第三乘积，并对所有第三乘积求和，得到第三乘积和。
本示例实施方式中，可以先针对每个目标第一插值块和每个目标第二插值块分别计算对应的拟合运动矢量和标准距离的乘积得到第三乘积，并将所有的目标第一插值块和目标第二插值块对应的第三乘积求和，得到第三乘积和。
步骤S1050，计算第三乘积和与标准距离和的商，得到插值块对应的拟合运动矢量。
本示例实施方式中，可以通过计算第三乘积和和标准距离和的商，并将计算得到商确定为该插值块对应的拟合运动矢量。
具体的，上述根据目标第一插值块和目标第二插值块对应的拟合运动矢量以及与插值块之间的距离进行拟合，得到插值块对应的拟合运动矢量的方法可以表示为：
Figure BDA0002455055570000131
其中，MVn2为计算得到拟合运动矢量，D为该插值块对应的目标第一插值块和目标第二插值块的数量之和，
Figure BDA0002455055570000141
为第i个目标第一插值块或目标第二插值块对应的标准距离，MVi2为第i个目标第一插值块或目标第二插值块对应的拟合运动矢量。
此外，本示例实施方式中还提供了一种帧率转换方法，参照图11所示，上述的帧率转换方法可以包括以下步骤S1110至S1120：
步骤S1110，获取待插值图像中各插值块对应的拟合运动矢量。
其中，拟合运动矢量为通过上述运动矢量拟合方法得到的待插值图像中各插值块对应的拟合运动矢量。
步骤S1120，利用所述拟合运动矢量对所述待插值图像进行运动补偿插值。
本示例实施方式中，可以通过上述方法得到的拟合运动矢量对待插值图像进行运动补偿插值，以实现帧率转换。
需要注意的是，上述附图仅是根据本发明示例性实施例的方法所包括的处理的示意性说明，而不是限制目的。易于理解，上述附图所示的处理并不表明或限制这些处理的时间顺序。另外，也易于理解，这些处理可以是例如在多个模块中同步或异步执行的。
进一步的，参考图13所示，本示例的实施方式中还提供一种运动矢量拟合装置1300，包括：数量确定模块1310和矢量拟合模块1320。其中：
数量确定模块1310可以用于基于运动估计和运动矢量投影确定穿过待插值图像上各插值块的目标投影块的数量。
矢量拟合模块1320可以用于根据各数量，确定对应的目标拟合方法进行拟合，获得各插值块对应的拟合运动矢量。
本示例实施方式中，矢量拟合模块1320可以用于在所述数量大于等于预设阈值时，通过基于面积和可信度的拟合方法进行拟合，得到所述插值块对应的拟合运动矢量，和/或通过基于面积和可信度的拟合方法和基于时空邻域的运动矢量拟合方法进行联合拟合，得到所述插值块对应的拟合运动矢量；在所述数量小于所述预设阈值时，通过基于时空邻域的拟合方法进行拟合，得到所述插值块对应的拟合运动矢量。
本示例实施方式中，矢量拟合模块1320可以用于获取与插值块对应的目标投影块，并获取各目标投影块对应的运动矢量的可信度；计算各目标投影块与插值块的重叠面积；根据重叠面积和可信度对目标投影块对应的运动矢量进行拟合，得到插值块对应的拟合运动矢量。
本示例实施方式中，矢量拟合模块1320可以用于计算各目标投影块对应的运动矢量、重叠面积和可信度的乘积得到第一乘积，并对所有目标投影块对应的第一乘积求和，得到第一乘积和；计算各目标投影块对应的重叠面积和可信度的乘积得到第二乘积，并对所有目标投影块对应的第二乘积求和，得到第二乘积和；计算第一乘积和与第二乘积和的商，得到插值块对应的拟合运动矢量。
本示例实施方式中，矢量拟合模块1320可以用于根据预设筛选条件对目标投影块进行筛选，将不满足预设筛选条件的目标投影块删除。
本示例实施方式中，矢量拟合模块1320可以用于根据预设空间阈值获取待插值图像中与插值块的位置邻近的第一插值块；根据预设时间阈值获取与待插值图像时间相邻的视频图像中，与插值块位置相同的第二插值块；根据第一插值块和第二插值块进行拟合，得到插值块对应的拟合运动矢量。
本示例实施方式中，矢量拟合模块1320可以用于获取第一插值块和第二插值块中，已经具有拟合运动矢量的目标第一插值块和目标第二插值块；根据目标第一插值块和目标第二插值块对应的拟合运动矢量以及与插值块之间的距离进行拟合，得到插值块对应的拟合运动矢量。
本示例实施方式中，矢量拟合模块1320可以用于获取目标第一插值块与插值块之间的空间距离，以及目标第二插值块与插值块之间的时间距离；对空间距离和时间距离进行归一化，以获取目标第一插值块和目标第二插值块对应的标准距离；对所有标准距离求和，得到标准距离和；针对各目标第一插值块和各目标第二插值块，分别计算对应的拟合运动矢量和标准距离的乘积得到第三乘积，并对所有第三乘积求和，得到第三乘积和；计算第三乘积和与标准距离和的商，得到插值块对应的拟合运动矢量。
本示例实施方式中，矢量拟合模块1320可以用于通过基于面积和可信度的拟合方法进行拟合，得到所述插值块对应的第一预设参数和第一拟合运动矢量；通过基于时空邻域的运动矢量拟合方法进行拟合，得到所述插值块对应的第二预设参数和第二拟合运动矢量；基于联合拟合规则、所述第一预设参数和所述第二预设参数对所述第一拟合运动矢量和所述第二拟合运动矢量进行联合拟合，得到所述插值块对应的拟合运动矢量。
本示例实施方式中，矢量拟合模块1320可以用于计算所述第一权重与所述目标投影块的数量的乘积，得到第四乘积；计算第二权重与邻近插值块数量的乘积，得到第五乘积；以第四乘积为第一拟合运动矢量的权重，第五乘积为第二拟合运动矢量的权重，计算第一拟合运动矢量和第二拟合运动矢量的加权平均值，得到插值块对应的拟合运动矢量。
本示例实施方式中，数量确定模块1310可以用于获取待插值图像对应的运动矢量，并对运动矢量进行投影以确定运动矢量对应的投影块在待插值图像上的位置；根据预设分割规则将待插值图像划分为至少一个插值块，并根据插值块和投影块在待插值图像上的位置，确定穿过各插值块的目标投影块的数量。
此外，在本公开的示例性实施方式中，还提供了一种帧率转换装置，参照图14所示，帧率转换装置1400包括：运动拟合模块1410和运动补偿模块1420。其中：
运动拟合模块1410可以用于获取待插值图像中各插值块对应的拟合运动矢量；拟合运动矢量通过上述的运动矢量拟合方法得到。
运动补偿模块1420可以用于利用拟合运动矢量对待插值图像进行运动补偿插值。
上述的运动矢量拟合装置和帧率转换装置中各模块的具体细节已经在对应的运动矢量拟合方法和帧率转换方法中进行了详细的描述，因此此处不再赘述。
应当注意，尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元，但是这种划分并非强制性的。实际上，根据本公开的实施方式，上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之，上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。
图15示出了适于用来实现本发明实施例的电子设备的计算机***的结构示意图。
需要说明的是，图15示出的电子设备的计算机***1500仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
如图15所示，计算机***1500包括中央处理单元(CPU)1501，其可以根据存储在只读存储器(ROM)1502中的程序或者从存储部分1508加载到随机访问存储器(RAM)1503中的程序而执行各种适当的动作和处理。在RAM 1503中，还存储有***操作所需的各种程序和数据。CPU 1501、ROM 1502以及RAM 1503通过总线1504彼此相连。输入/输出(I/O)接口1505也连接至总线1504。
以下部件连接至I/O接口1505：包括键盘、鼠标等的输入部分1506；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分1507；包括硬盘等的存储部分1508；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分1509。通信部分1509经由诸如因特网的网络执行通信处理。驱动器1510也根据需要连接至I/O接口1505。可拆卸介质1511，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器1510上，以便于从其上读出的计算机程序根据需要被安装入存储部分1508。
特别地，根据本发明的实施例，下文参考流程图描述的过程可以被实现为计算机软件程序。例如，本发明的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分1509从网络上被下载和安装，和/或从可拆卸介质1511被安装。在该计算机程序被中央处理单元(CPU)1501执行时，执行本申请的***中限定的各种功能。
需要说明的是，本发明所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的***、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本发明中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行***、装置或者器件使用或者与其结合使用。而在本发明中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行***、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。
附图中的流程图和框图，图示了按照本发明各种实施例的***、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的***来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本发明实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现，所描述的单元也可以设置在处理器中。其中，这些单元的名称在某种情况下并不构成对该单元本身的限定。
作为另一方面，本申请还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被一个该电子设备执行时，使得该电子设备实现如下述实施例中的方法。例如，的电子设备可以实现如图1至图11所示的各个步骤。
此外，上述附图仅是根据本发明示例性实施例的方法所包括的处理的示意性说明，而不是限制目的。易于理解，上述附图所示的处理并不表明或限制这些处理的时间顺序。另外，也易于理解，这些处理可以是例如在多个模块中同步或异步执行的。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其他实施例。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由权利要求指出。
应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限。

Claims (13)

1.一种运动矢量拟合方法，其特征在于，包括：
基于运动估计和运动矢量投影确定穿过待插值图像上各插值块的目标投影块的数量；
根据各所述数量，确定对应的目标拟合方法进行拟合，获得各所述插值块对应的拟合运动矢量；
所述根据各所述数量，确定对应的目标拟合方法进行拟合，获得各所述插值块对应的拟合运动矢量，包括：
在所述数量大于等于预设阈值，且所述数量大于等于分类阈值时，通过基于面积和可信度的拟合方法进行拟合，得到所述插值块对应的拟合运动矢量；
在所述数量大于等于所述预设阈值，且所述数量小于所述分类阈值时，通过所述基于面积和可信度的拟合方法和基于时空邻域的运动矢量拟合方法进行联合拟合，得到所述插值块对应的拟合运动矢量；
在所述数量小于所述预设阈值时，通过所述基于时空邻域的拟合方法进行拟合，得到所述插值块对应的拟合运动矢量。
2.根据权利要求1所述的方法，其特征在于，所述通过基于面积和可信度的拟合方法进行拟合，得到所述插值块对应的拟合运动矢量，包括：
获取与所述插值块对应的目标投影块，并获取各所述目标投影块对应的所述运动矢量的可信度；
计算各所述目标投影块与所述插值块的重叠面积；
根据所述重叠面积和所述可信度对所述目标投影块对应的运动矢量进行拟合，得到所述插值块对应的拟合运动矢量。
3.根据权利要求2所述的方法，其特征在于，根据所述重叠面积和所述可信度对所述目标投影块对应的运动矢量进行拟合，得到所述插值块对应的拟合运动矢量，包括：
计算各所述目标投影块对应的所述运动矢量、所述重叠面积和所述可信度的乘积得到第一乘积，并对所有目标投影块对应的第一乘积求和，得到第一乘积和；
计算各所述目标投影块对应的所述重叠面积和所述可信度的乘积得到第二乘积，并对所有目标投影块对应的第二乘积求和，得到第二乘积和；
计算所述第一乘积和与所述第二乘积和的商，得到所述插值块对应的拟合运动矢量。
4.根据权利要求2所述的方法，其特征在于，在获取与所述插值块对应的目标投影块之后，所述方法还包括：
根据预设筛选条件对所述目标投影块进行筛选，将不满足所述预设筛选条件的所述目标投影块删除。
5.根据权利要求1所述的方法，其特征在于，所述通过所述基于时空邻域的拟合方法进行拟合，得到所述插值块对应的拟合运动矢量，包括：
根据预设空间阈值获取所述待插值图像中与所述插值块的位置邻近的第一插值块；
根据预设时间阈值获取与所述待插值图像时间相邻的视频图像中，与所述插值块位置相同的第二插值块；
根据所述第一插值块和所述第二插值块进行拟合，得到所述插值块对应的拟合运动矢量。
6.根据权利要求5所述的方法，其特征在于，所述根据所述第一插值块和所述第二插值块进行拟合，得到所述插值块对应的拟合运动矢量，包括：
获取所述第一插值块和所述第二插值块中，已经具有拟合运动矢量的目标第一插值块和目标第二插值块；
根据所述目标第一插值块和所述目标第二插值块对应的拟合运动矢量以及与所述插值块之间的距离进行拟合，得到所述插值块对应的拟合运动矢量。
7.根据权利要求6所述的方法，其特征在于，所述根据所述目标第一插值块和所述目标第二插值块对应的拟合运动矢量以及与所述插值块之间的距离进行拟合，得到所述插值块对应的拟合运动矢量，包括：
获取所述目标第一插值块与所述插值块之间的空间距离，以及所述目标第二插值块与所述插值块之间的时间距离；
对所述空间距离和所述时间距离进行归一化，以获取所述目标第一插值块和所述目标第二插值块对应的标准距离；
对所有所述标准距离求和，得到标准距离和；
针对各所述目标第一插值块和各所述目标第二插值块，分别计算对应的所述拟合运动矢量和所述标准距离的乘积得到第三乘积，并对所有所述第三乘积求和，得到第三乘积和；
计算所述第三乘积和与所述标准距离和的商，得到所述插值块对应的拟合运动矢量。
8.根据权利要求1所述的方法，其特征在于，所述通过所述基于面积和可信度的拟合方法和基于时空邻域的运动矢量拟合方法对所述插值块进行联合拟合，得到所述插值块对应的拟合运动矢量，包括：
通过基于面积和可信度的拟合方法进行拟合，得到所述插值块对应的第一预设参数和第一拟合运动矢量；
通过基于时空邻域的运动矢量拟合方法进行拟合，得到所述插值块对应的第二预设参数和第二拟合运动矢量；
基于联合拟合规则、所述第一预设参数和所述第二预设参数对所述第一拟合运动矢量和所述第二拟合运动矢量进行联合拟合，得到所述插值块对应的拟合运动矢量。
9.根据权利要求8所述的方法，其特征在于，所述联合拟合规则包括权重规则，所述权重规则包括第一权重和第二权重；所述第一预设参数包括所述目标投影块的数量；所述第二预设参数包括邻近插值块数量；
所述基于联合拟合规则和所述预设参数对所述第一拟合运动矢量和所述第二拟合运动矢量进行联合拟合，得到所述插值块对应的拟合运动矢量，包括：
计算所述第一权重与所述目标投影块的数量的乘积，得到第四乘积；
计算所述第二权重与所述邻近插值块数量的乘积，得到第五乘积；
以所述第四乘积为所述第一拟合运动矢量的权重，所述第五乘积为所述第二拟合运动矢量的权重，计算所述第一拟合运动矢量和所述第二拟合运动矢量的加权平均值，得到所述插值块对应的拟合运动矢量。
10.根据权利要求1所述的方法，其特征在于，所述基于运动估计和运动矢量投影确定穿过待插值图像上各插值块的目标投影块的数量，包括：
获取所述待插值图像对应的运动矢量，并对所述运动矢量进行投影以确定所述运动矢量对应的投影块在所述待插值图像上的位置；
根据预设分割规则将所述待插值图像划分为至少一个所述插值块，并根据所述插值块和所述投影块在所述待插值图像上的位置，确定穿过各所述插值块的目标投影块的数量。
11.一种帧率转换方法，其特征在于，包括：
获取待插值图像中各插值块对应的拟合运动矢量；其中，所述拟合运动矢量通过权利要求1-10中任一项所述的运动矢量拟合方法得到；
利用所述拟合运动矢量对所述待插值图像进行运动补偿插值。
12.一种运动矢量拟合装置，其特征在于，包括：
数量确定模块，用于基于运动估计和运动矢量投影确定穿过待插值图像上各插值块的目标投影块的数量；
矢量拟合模块，用于根据各所述数量，确定对应的目标拟合方法进行拟合，获得各所述插值块对应的拟合运动矢量；
所述根据各所述数量，确定对应的目标拟合方法进行拟合，获得各所述插值块对应的拟合运动矢量，包括：
在所述数量大于等于预设阈值，且所述数量大于等于分类阈值时，通过基于面积和可信度的拟合方法进行拟合，得到所述插值块对应的拟合运动矢量；
在所述数量大于等于所述预设阈值，且所述数量小于所述分类阈值时，通过所述基于面积和可信度的拟合方法和基于时空邻域的运动矢量拟合方法进行联合拟合，得到所述插值块对应的拟合运动矢量；
在所述数量小于所述预设阈值时，通过所述基于时空邻域的拟合方法进行拟合，得到所述插值块对应的拟合运动矢量。
13.一种电子设备，其特征在于，包括：
处理器；以及
存储器，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如权利要求1至10中任一项所述的运动矢量拟合方法，或权利要11所述的帧率转换方法。
CN202010303943.7A 2020-04-17 2020-04-17 运动矢量拟合、帧率转换方法及装置和电子设备 Active CN111541854B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010303943.7A CN111541854B (zh) 2020-04-17 2020-04-17 运动矢量拟合、帧率转换方法及装置和电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010303943.7A CN111541854B (zh) 2020-04-17 2020-04-17 运动矢量拟合、帧率转换方法及装置和电子设备

Publications (2)

Publication Number Publication Date
CN111541854A CN111541854A (zh) 2020-08-14
CN111541854B true CN111541854B (zh) 2021-07-27

Family

ID=71979970

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010303943.7A Active CN111541854B (zh) 2020-04-17 2020-04-17 运动矢量拟合、帧率转换方法及装置和电子设备

Country Status (1)

Country Link
CN (1) CN111541854B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1747678A1 (en) * 2004-05-04 2007-01-31 Qualcomm, Incorporated Method and apparatus for motion compensated frame rate up conversion
CN101489031A (zh) * 2009-01-16 2009-07-22 西安电子科技大学 基于运动分类的自适应帧速率上转换方法
US8477848B1 (en) * 2008-04-22 2013-07-02 Marvell International Ltd. Picture rate conversion system architecture
CN109756778A (zh) * 2018-12-06 2019-05-14 中国人民解放军陆军工程大学 一种基于自适应运动补偿的帧率转换方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1747678A1 (en) * 2004-05-04 2007-01-31 Qualcomm, Incorporated Method and apparatus for motion compensated frame rate up conversion
US8477848B1 (en) * 2008-04-22 2013-07-02 Marvell International Ltd. Picture rate conversion system architecture
CN101489031A (zh) * 2009-01-16 2009-07-22 西安电子科技大学 基于运动分类的自适应帧速率上转换方法
CN109756778A (zh) * 2018-12-06 2019-05-14 中国人民解放军陆军工程大学 一种基于自适应运动补偿的帧率转换方法

Also Published As

Publication number Publication date
CN111541854A (zh) 2020-08-14

Similar Documents

Publication Publication Date Title
CN111193923B (zh) 视频质量评估方法、装置、电子设备及计算机存储介质
EP1665808B1 (en) Temporal interpolation of a pixel on basis of occlusion detection
Wang et al. Motion-compensated frame rate up-conversion—Part I: Fast multi-frame motion estimation
Dikbas et al. Novel true-motion estimation algorithm and its application to motion-compensated temporal frame interpolation
US8687693B2 (en) Temporal image prediction
Bao et al. High-order model and dynamic filtering for frame rate up-conversion
US7519230B2 (en) Background motion vector detection
CN112954450B (zh) 视频处理方法、装置、电子设备和存储介质
JPH08265745A (ja) 特徴点の特定装置及びその方法
US7949205B2 (en) Image processing unit with fall-back
US8358878B2 (en) Method and apparatus for interpolating an image
US20160330371A1 (en) Image correction apparatus and imaging apparatus
JP2011071986A (ja) 低解像度ビデオから高解像度ビデオを生成する方法
US6175657B1 (en) Adaptive intrafield reducing of Gaussian noise by fuzzy logic processing
JP2007506333A (ja) 動きベクトルフィールド再タイミング
US20050226462A1 (en) Unit for and method of estimating a motion vector
CN115205305A (zh) 一种实例分割模型训练方法、实例分割方法及装置
CN110958363B (zh) 图像处理方法及装置、计算机可读介质和电子设备
WO2024056030A1 (zh) 一种图像深度估计方法、装置、电子设备及存储介质
US20100039517A1 (en) Film cadence detection
CN111541854B (zh) 运动矢量拟合、帧率转换方法及装置和电子设备
JP2007527139A (ja) 動き補償画像信号の補間
CN111784733A (zh) 图像处理方法、装置、终端和计算机可读存储介质
KR102056218B1 (ko) 특징점 기반 움직임 벡터를 이용한 움직임 추정 방법 및 장치
CN111179310B (zh) 视频数据处理方法、装置、电子设备及计算机可读介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant