CN111586321B - 视频生成方法、装置、电子设备和计算机可读存储介质 - Google Patents

视频生成方法、装置、电子设备和计算机可读存储介质 Download PDF

Info

Publication number
CN111586321B
CN111586321B CN202010381604.0A CN202010381604A CN111586321B CN 111586321 B CN111586321 B CN 111586321B CN 202010381604 A CN202010381604 A CN 202010381604A CN 111586321 B CN111586321 B CN 111586321B
Authority
CN
China
Prior art keywords
image
target
original
images
interpolation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010381604.0A
Other languages
English (en)
Other versions
CN111586321A (zh
Inventor
张弓
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Oppo Mobile Telecommunications Corp Ltd
Original Assignee
Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Oppo Mobile Telecommunications Corp Ltd filed Critical Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority to CN202010381604.0A priority Critical patent/CN111586321B/zh
Publication of CN111586321A publication Critical patent/CN111586321A/zh
Application granted granted Critical
Publication of CN111586321B publication Critical patent/CN111586321B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0135—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Television Signal Processing For Recording (AREA)
  • Processing Or Creating Images (AREA)
  • Television Systems (AREA)
  • Studio Circuits (AREA)

Abstract

本申请涉及一种视频生成方法，包括：获取原始图像集合，所述原始图像集合中包括至少两个原始图像；获取所述原始图像集合对应的目标前景变化状态；根据所述目标前景变化状态确定所述原始图像集合对应的插值时间相位；根据所述插值时间相位对所述原始图像集合中的所述原始图像进行插帧处理，得到目标视频。本申请还公开了一种视频生成装置、电子设备以及计算机可读存储介质。本申请可生成真实性高的视频。

Description

视频生成方法、装置、电子设备和计算机可读存储介质
技术领域
本申请涉及计算机技术领域，特别是涉及一种视频生成方法、装置、电子设备和计算机可读存储介质。
背景技术
在现有的通过图像生成视频的方法中，通过对输入图像，进行一定程度的编辑后，复制图像并重复播放显示得到视频。当出现图像间的切换时，传统技术通常采用特殊效果进行一定的过度。然而，传统的方法，存在视频的真实性较低的问题。
发明内容
本申请实施例提供了一种视频生成方法、装置、电子设备、计算机可读存储介质，可以提高生成的视频的真实性。
一种视频生成方法，包括：
获取原始图像集合，所述原始图像集合中包括至少两个原始图像；
获取所述原始图像集合对应的目标前景变化状态；
根据所述目标前景变化状态确定所述原始图像集合对应的插值时间相位；
根据所述插值时间相位对所述原始图像集合中的所述原始图像进行插帧处理，得到目标视频。
一种视频生成装置，包括：
第一获取模块，用于获取原始图像集合，所述原始图像集合中包括至少两个原始图像；
第二获取模块，用于获取所述原始图像集合对应的目标前景变化状态；
确定模块，用于根据所述目标前景变化状态确定所述原始图像集合对应的插值时间相位；
插帧模块，用于根据所述插值时间相位对所述原始图像集合中的所述原始图像进行插帧处理，得到目标视频。
一种电子设备，包括存储器及处理器，所述存储器中储存有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如下步骤：
获取原始图像集合，所述原始图像集合中包括至少两个原始图像；
获取所述原始图像集合对应的目标前景变化状态；
根据所述目标前景变化状态确定所述原始图像集合对应的插值时间相位；
根据所述插值时间相位对所述原始图像集合中的所述原始图像进行插帧处理，得到目标视频。
一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行如下步骤：
获取原始图像集合，所述原始图像集合中包括至少两个原始图像；
获取所述原始图像集合对应的目标前景变化状态；
根据所述目标前景变化状态确定所述原始图像集合对应的插值时间相位；
根据所述插值时间相位对所述原始图像集合中的所述原始图像进行插帧处理，得到目标视频。
上述视频生成方法、装置、电子设备和计算机可读存储介质，获取原始图像集合，获取原始图像集合对应的目标前景变化状态，根据目标前景变化状态确定原始图像集合对应的插值时间相位，根据插值时间相位对原始图像集合中的至少两个原始图像进行插帧处理，得到目标视频，能够按照目标前景变化状态使原始图像中前景产生不同状态变化的效果，提高了根据图像生成视频的可操作性，也提高生成的视频的真实性。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为一个实施例中视频生成方法的流程图；
图2为一个实施例中生成运动均匀变化的目标视频的示意图；
图3为一个实施例中生成形变均匀变化的目标视频的示意图；
图4为一个实施例中生成非均匀变化的目标视频的示意图；
图5为一个实施例中根据目标图像组生成目标视频的示意图；
图6为另一个实施例中根据目标图像组生成目标视频的示意图；
图7为一个实施例中根据循环图像组生成目标视频的示意图；
图8为一个实施例中生成目标视频的示意图；
图9为一个实施例中插帧得到目标视频的流程示意图；
图10为一个实施例中前向运动矢量和后向运动矢量的示意图；
图10A为一个实施例中修正后的前向运动矢量和后向运动矢量示意图；
图11为前向映射运动矢量和后向映射运动矢量的示意图；
图12为一个实施例中视频生成***的示意图；
图13为一个实施例中视频生成装置的结构框图；
图14为一个实施例中电子设备的内部结构示意图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
可以理解，本申请所使用的术语“第一”、“第二”等可在本文中用于描述各种数据，但这些数据不受这些术语限制。这些术语仅用于将第一个数据与另一个数据区分。举例来说，在不脱离本申请的范围的情况下，可以将第一融合图像称为第二融合图像，且类似地，可将第二融合图像称为第一融合图像。第一融合图像和第二融合图像两者都是融合图像，但其不是同一融合图像。
图1为一个实施例中视频生成方法的流程图。本实施例中的视频生成方法，以运行于电子设备或服务器上为例进行描述。其中电子设备可以为包括手机、平板电脑、PDA(Personal Digital Assistant，个人数字助理)、车载电脑、穿戴式设备等终端设备。其中服务器120可以为一个服务器或服务器集群。如图1所示，视频生成方法包括步骤102至步骤108。
步骤102，获取原始图像集合，原始图像集合中包括至少两个原始图像。
具体地，原始图像集合中包括至少两个原始图像。原始图像可以是终端实时拍摄的图像，也可以是预先配置的图像，如网络中下载的图像，电子相册中的图像等。原始图像集合中的原始图像的分辨率可以相同或不同。原始图像集合中的各个原始图像的背景相匹配。背景相匹配可以是背景的相似度高于预设相似度。至少两个原始图像中的主体可以相同也可以不相同。
步骤104，获取原始图像集合对应的目标前景变化状态。
其中，目标前景变化状态包括均匀变化状态和非均匀变化状态。其中，均匀变化状态包括形变均匀变化状态、运动均匀变化状态、位姿均匀变化状态中至少一种。非均匀状态也可以包括形变非均匀状态、运动非均匀状态、位姿非均匀状态中至少一种。前景为图像中的主体所在的区域，主体一般为发生形状，姿态，颜色或位置变化的区域，但不限于此。背景为图像中背景所在的区域，其中背景可以是运动幅度小于预设阈值的区域或次要对象对应的区域，但不限于此。
或者，目标前景变化状态也可以包括运动变化状态、形变变化状态、位姿变化状态。运动变化状态包括均匀运动变化状态和非均匀运动变化状态。形变变化状态包括均匀形变变化状态和非均匀形变变化状态。位姿变化状态包括均匀位姿变化状态和非均匀位姿变化状态。
或者，例如原始图像集合中包括第一原始图像和第二原始图像，目标前景变化状态为前景从第一原始图像中的位置均匀运动到第二原始图像中的位置等不限于此。
具体地，电子设备可获取与原始图像集合对应的选取的目标前景变化状态。或者，电子设备可获取原始图像集合对应的默认的目标前景变化状态。
本实施例中，电子设备可识别出至少两个原始图像中的前景，根据前景确定目标前景变化状态。具体地，电子设备可以通过前景背景判别算法识别原始图像集合中的图像得到前景和背景，其中前景和背景可以自适应的识别或通过接收作用于图像中的操作设定。其中前景和背景可以是规则的形状区域或与前景背景直接匹配的轮廓区域。在一个实施例中，电子设备可以通过神经网络训练得到的前景背景判别模型识别原始图像集合中的图像的前景和背景。例如，原始图像包括第一原始图像和第二原始图像，第一原始图像中前景的中心坐标为(10，10)，第二原始图像的中心坐标为(10，100)，那么可根据前景坐标确定该原始图像集合对应的目标前景变化状态为运动变化状态。再例如，原始图像包括第一原始图像和第二原始图像，第一原始图像中前景对应的面积为100，第二原始图像中前景对应的面积为1000，那么可根据前景的面积确定该原始图像集合对应的目标前景变化状态为形变变化状态。
步骤106，根据目标前景变化状态确定原始图像集合对应的插值时间相位。
其中，插值时间相位是指将两个图像的前景的变化幅度分为N份，其中每一份表示一个相位，其中N可以自定义。电子设备可以根据图像的前景的变化幅度来自定义N的数量，如两个图像的前景的变化幅度与N的数值大小成正比关系，变化幅度大，则需要多个插值时间相位才能从第一前景变为第二前景。如果前景的变化幅度小，则只需经过较少的插值时间相位就能快速从第一前景变为第二前景。根据目标前景变化状态确定插值时间相位，体现了对图像前景的关注度，使得插值图像更符合人眼感兴趣度。
如第一图像对应第一前景，第二图像对应第二前景，N为3，则插值时间相位可以为1/3、2/3，表示第一图像的第一前景经过两个时间相位的变化，成为第二前景。
具体地，当目标前景变化状态为均匀变化状态时，原始图像集合对应的插值时间相位为均匀插值时间相位。当目标前景变化状态为非均匀变化状态时，原始图像集合对应的插值时间相位为非均匀插值时间相位。
步骤108，根据插值时间相位对原始图像集合中的至少两个原始图像进行插帧处理，得到目标视频。
具体地，当原始图像集合中包括2个图像时，对该2个图像可以确定多个不同的插值时间相位，进行多次插帧。当原始图像集合中包括至少三个图像时，则需要根据目标图像组确定对应的多个插值时间相位。每个新生成的插值图像都对应一个插值时间相位。
本实施例中，插帧方法包括MEMC(Motion Estimate and Motion Compensation，运动估计和运动补偿)，光流法，神经网络或其他任意FRC(Frame Rate Conversion，帧率转换)技术。本实施例中，根据插值时间相位对至少两个原始图像进行多次插帧时，每次插帧选择对应的插帧方法，多个插值图像可以是通过不同的插帧方法生成的。在一个实施例中，计算待插帧图像的前景的复杂度、检测前景中的人脸区域得到检测结果，根据前景的复杂度和检测结果选择对应的目标插帧算法，如当前景中存在面部时，可采用复杂度高的插帧算法以保证插帧图的面部的纹理细节与逼真度。在一个实施例中，在电子相册的制作过程中，上述方法用于图像编辑，利用已有照片形成目标视频。
本实施例中的视频生成方法，获取原始图像集合，获取原始图像集合对应的目标前景变化状态，根据目标前景变化状态确定原始图像集合对应的插值时间相位，根据插值时间相位对原始图像集合中的至少两个原始图像进行插帧处理，得到目标视频，能够按照目标前景变化状态使原始图像中前景产生不同状态变化的效果，提高了根据图像生成视频的可操作性，也提高生成的视频的真实性。
在一个实施例中，根据目标前景变化状态确定原始图像集合对应的插值时间相位，包括：当目标前景变化状态为均匀变化状态时，确定各个目标图像组对应的均匀插值时间相位，均匀变化状态包括形变均匀变化状态、运动均匀变化状态、位姿均匀变化状态中至少一种。
其中，均匀变化状态是指匀速的变化状态。形变均匀变化状态是指在目标视频中，需要达到的效果是前景的形变是均匀变化的。例如一个小球从大变小均匀变化等不限于此。运动均匀变化状态是指在目标视频中需要达到的效果是匀速运动的效果。例如一个小球匀速从图像的一侧移动到图像的另一侧等不限于此。位姿均匀变化状态是指在目标视频中需要达到的效果是位姿均匀变化。例如一个人的动作从一个动作转换为另一个动作等不限于此。均匀插值时间相位是指将两个图像的前景的变化幅度平均分为N份，其中每一份表示一个相位，其中N可以自定义。例如，均匀插值时间相位为1、2、3…10等不限于此。
具体地，当目标前景变化状态为均匀变化状态时，电子设备获取原始图像集合对应的均匀插值时间相位。其中，均匀插值时间相位可以是预设的，也可以是根据原始图像集合中的前景变化幅度确定的。例如，实现均匀变化状态，需要根据至少两幅原始图像，可按照原始图像中前景的前景变化程度等分成N个时间相位，每个时间相位插值一帧，再加上至少两个原始图像作为首帧和终止帧，共输出N+2帧。在T秒内将这N+2帧图像播放完毕。例如在10秒内将这300帧播放完毕，那么每帧播放间隔为33ms。
本实施例中，如图2所示，为一个实施例中生成运动均匀变化的目标视频的示意图。根据均匀插值时间相位对两个背景不变仅有前景运动变化的原始图像进行插帧处理，得到目标视频。该视频分辨率大小可与原始图像保持一致。目标视频中前景以匀速进行水平移动，从原始图像A中所在位置，均匀移动到原始图像B的所在位置。
本实施例中，如图3所示，为一个实施例生成形变均匀变化的目标视频的示意图。根据均匀插值时间相位对两个背景不变仅有前景运动变化的原始图像进行插帧处理，得到目标视频。目标视频中的前景匀速变大，从原始图像A对应的大小变化至原始图像B对应的大小。
本实施例中的视频生成方法，当目标前景变化状态为均匀变化状态时，获取原始图像集合对应的均匀插值时间相位，并根据均匀插值时间相位进行插帧处理，则能够使目标视频中的前景达到均匀变化的效果，提高生成的目标视频的真实性。
在一个实施例中，根据目标前景变化状态确定原始图像集合对应的插值时间相位，包括：当目标前景变化状态为第一非均匀变化状态时，确定原始图像集合对应的非均匀插值时间相位。
其中，第一非均匀变化状态为非匀速的变化状态。同样地，非均匀变化状态包括形变非均匀变化状态、运动非均匀变化状态、位姿非均匀变化状态中至少一种。形变非均匀变化状态是指在目标视频中，需要达到的效果是前景的形变是非均匀变化的。例如一个小球从大变小非均匀变化等不限于此。运动非均匀变化状态是指在目标视频中需要达到的效果是匀速运动的效果。例如一个小球匀速从图像的一侧移动到图像的另一侧等不限于此。位姿非均匀变化状态是指在目标视频中需要达到的效果是位姿非均匀变化。例如一个人的动作从一个动作转换为另一个动作等不限于此。非均匀插值时间相位是指将两个图像的前景的变化幅度平均分为N份，其中每一份表示一个相位，其中N可以自定义。例如，非均匀插值时间相位为1、5、7、8等不限于此。而第一非均匀变化状态是基于非均匀插值时间相位实现的。
具体地，当目标前景变化状态为第一非均匀变化状态时，确定原始图像集合对应的非均匀插值时间相位。其中，非均匀插值时间相位可以是电子设备中默认的，也可以是选择的，或者根据原始图像中前景变化确定的等不限于此。例如，在两幅原始图像中，按照原始图像中前景的前景变化程度等分成298个时间相位，在不均匀的相位插值一帧，再加上输入图像作为第一帧和最后一帧，共输出120帧。4秒内将这30帧播放完毕，每帧播放间隔为33ms。因为插值时间相位不均匀，会达到目标视频中前景的移动或变化的快慢不均等的效果。
本实施例中，如图4所示，为一个实施例中生成非均匀变化的目标视频的示意图。根据非均匀插值时间相位对两个背景不变仅有前景运动变化的原始图像进行插帧处理，得到目标视频。该视频分辨率大小与原始图像保持一致。目标视频中前景以匀速进行水平移动，从原始图像A中所在位置，非均匀移动到原始图像B的所在位置。
本实施例中的视频生成方法，当目标前景变化状态为第一非均匀变化状态时，确定原始图像集合对应的非均匀插值时间相位，并根据非均匀时间相位进行插帧处理，则能够使目标视频中的前景达到不均匀变化的效果，提高视频的可操作性。
在一个实施例中，根据目标前景变化状态确定原始图像集合对应的插值时间相位，包括：
步骤(a1)，当目标前景变化状态为第二非均匀变化状态时，确定各个目标图像组对应的插值时间相位，插值时间相位为均匀插值时间相位或非均匀插值时间相位。
其中，第二非均匀变化状态与第一非均匀变化状态均为非均匀变化状态，但其不是同一状态。第二非均匀变化状态是通过图像替换实现的。因此，插值时间相位可以是均匀插值时间相位，也可以是非均匀插值时间相位。
步骤(a2)，根据插值时间相位对原始图像集合中的原始图像进行插帧处理，得到插值图像。
步骤(a3)，从插值图像中确定待替换图像，确定与待替换图像的时间相位相邻的相邻图像。
具体地，电子设备可从插值图像中任取一个图像作为待替换图像，或者从插值图像中选取中间图像作为待替换图像不限于此。电子设备确定与待替换图像的时间相位相邻的相邻图像。例如，电子设备可将待替换图像的前一个时间相位的插值图像、后一个时间相位的插值图像中至少一种作为相邻图像。
步骤(a4)，将待替换图像替换为相邻图像。
具体地，例如插值图像包括第一插值图像、第二插值图像和第三插值图像。第二插值图像为待替换图像，确定第一插值图像为相邻图像，替换后就得到两张第一插值图像和一张第三插值图像。
步骤(a5)，将相邻图像、除待替换图像之外的剩余插值图像和原始图像集合中的原始图像拼接生成目标视频。
具体地，电子设备将相邻图像、除了待替换图像之外的剩余插值图像和原始图像集合中的原始图像，按照时间顺序拼接生成目标视频。例如，在两幅原始图像中，按照原始图像中前景的前景变化程度等分成298个时间相位，每个相位插值一帧，再加上输入图像作为第一帧和最后一帧，共输出300帧。然后将这300帧图像中的插值图像替换为上一帧或下一帧的插值图像，即相邻图像。10秒内将这300帧播放完毕，每帧播放间隔为33ms。因为目标视频中存在重复的图像，会达到目标视频中前景的移动或变化的快慢不均等的效果。
本实施例中的视频生成方法，当目标前景变化状态为第二非均匀变化状态时，确定各个目标图像组对应的插值时间相位，插值时间相位可以是均匀插值时间相位或非均匀插值时间相位，插帧生成插值图像，确定待替换图像以及与待替换图像的时间相位相邻的相邻图像，并据此生成目标视频，可以能够使目标视频中的前景达到不均匀变化的效果，提高视频的可操作性。
在一个实施例中，根据目标前景变化状态确定原始图像集合对应的插值时间相位，包括：对原始图像集合中的原始图像进行分组，得到目标图像组；根据目标前景变化状态确定原始图像集合中每个目标图像组对应的插值时间相位。
根据插值时间相位对原始图像集合中的至少两个原始图像进行插帧处理，得到目标视频，包括：根据各插值时间相位对对应的目标图像组中的至少两个原始图像进行插帧处理，得到目标视频。
具体地，当原始图像集合中原始图像的数量为至少三个时，电子设备对原始图像集合中的原始图像进行分组，得到目标图像组。目标图像组的中的原始图像数量为至少两个。获取原始图像集合对应的目标前景变化状态，可以是获取原始图像集合中的每个目标图像组对应的目标前景变化状态，即每个目标图像组对应一种目标前景变化状态；也可以是一个原始图像集合只对应一种目标前景变化状态。那么电子设备根据目标前景变化状态确定原始图像集合中每个目标图像组对应的插值时间相位，则每个目标图像组对应的插值时间相位可以相同，也可以不相同。
本实施例中，如图5所示，为一个实施例中根据目标图像组生成目标视频的示意图。原始图像集合中包括原始图像A、原始图像B和原始图像C。目标图像组包括第一图像组和第二图像组，其中第一图像组包括原始图像A和原始图像B，第二图像组包括原始图像C和原始图像B，那么生成的目标视频则为前景从图A位置运动到图B位置，之后从图C位置运动到图B位置。
本实施例中的视频生成方法，当原始图像集合中原始图像的数量为至少三个时，对原始图像集合中的原始图像进行分组，得到目标图像组，根据目标前景变化状态确定原始图像集合中每个目标图像组对应的插值时间相位，根据各插值时间相位对对应的目标图像组进行插帧处理，得到目标视频，能够按照目标前景变化状态使原始图像中前景产生不同状态变化的效果，提高了根据图像生成视频的可操作性，也提高产生的视频的真实性。
在一个实施例中，对原始图像集合中的原始图像进行分组，得到目标图像组，包括：当所述原始图像集合中的原始图像的数量为至少三个时，从至少三个原始图像中选取时间相位相邻的原始目标图像组成目标图像组，得到至少两个目标图像组。
根据各插值时间相位对对应的目标图像组中的至少两个原始图像进行插帧处理，得到目标视频，包括：根据各插值时间相位对对应的目标图像组中的至少两个原始图像进行插帧处理，得到每个目标图像组对应的参考视频；按照目标图像组中图像的时间顺序将参考视频拼接成目标视频。
具体地，电子设备从至少三个原始图像中选取时间相邻的原始目标图像组成目标图像组，得到至少两个目标图像组。电子设备根据插值时间相位对对应的目标图像组中的至少两个原始图像进行插帧处理，得到至少两个目标图像组中每个目标图像组对应的参考视频。电子设备按照目标图像组中图像的顺序将参考视频拼接成目标视频。例如，原始图像集合中包括第一原始图像、第二原始图像和第三原始图像，那么选取第一原始图像和第二原始目标图像组成第一目标图像组；选取第二原始图像和第三原始目标图像组成第二目标图像组，得到至少两个目标图像组。电子设备分别对每个目标图像组进行插帧处理，则得到两个参考视频。参考视频A与第一目标图像组对应，参考视频B与第二目标图像组对应。而图像的时间顺序为第一原始图像、第二原始图像和第三原始图像，那么拼接成的目标视频为按照参考视频A和参考视频B的顺序拼接而成的。
本实施例中，如图6所示，为另一个实施例中根据目标图像组生成目标视频的示意图。原始图像集合中包括原始图像A、原始图像B和原始图像C。目标图像组包括第一图像组和第二图像组，其中第一图像组包括原始图像A和原始图像B，第二图像组包括原始图像B和原始图像C，那么生成的目标视频则为前景从图A位置运动到图B位置，之后从图B位置运动到图C位置。
本实施例中的视频生成方法，从至少三个原始图像中选取时间相邻的原始目标图像组成目标图像组，得到至少两个目标图像组，根据各插值时间相位对对应的目标图像组中的至少两个原始图像进行插帧处理，得到每个目标图像组对应的参考视频，按照目标图像组中图像的时间顺序将参考视频拼接成目标视频，能够达到目标视频中的前景依次变化的效果，提高视频的可操作性。
在一个实施例中，对原始图像集合中的原始图像进行分组，得到对应的目标图像组，包括：当所述原始图像集合中的原始图像的数量为至少三个时，从至少三个原始图像中选取时间相邻的原始图像作为图像对，将各个两两图像对联接形成目标图像组，目标图像组中前一个图像对的后向图像为后一个图像对的前向图像。
其中，前向图像是指前景初始位置对应的图像，后向图像是指前景终止位置对应的图像。例如，目标前景变化状态为前景从左边匀速运动到右边，那么左边对应的图像为前向图像、右边对应的图像为后向图像。该目标图像组为循环图像组。
具体地，从至少三个原始图像中选取时间相邻的原始目标图像组成图像对，得到至少两个图像对。将至少两个目标图像组中图像对两两图像对联接形成目标图像组，目标图像组中前一个图像对的后向图像为后一个图像对的前向图像。例如，原始图像集合中包括第一原始图像、第二原始图像和第三原始图像，那么选取第一原始图像和第二原始目标图像组成第一图像对；选取第二原始图像和第三原始目标图像组成第二图像对；选取第三原始图像和第一原始目标图像组成第三图像对。由于目标图像组中的前一个图像对的后向图像为前一个图像对的前向图像，那么目标图像组的则为第一图像对→第二图像对→第三图像对→第一图像对…得到目标图像组。那么，电子设备根据各插值时间相位分别对目标图像组中每个图像对对应的原始图像进行插帧处理，得到每个图像对对应的参考视频。按照目标图像组中图像的时间顺序将参考视频拼接得到目标视频。
本实施例中，如图7所示，为一个实施例中根据目标图像组生成目标视频的示意图。原始图像集合中包括原始图像A、原始图像B和原始图像C。目标图像组包括第一图像对、第二图像对和第三图像对，组成目标图像组。其中第一图像对包括原始图像A和原始图像B，第二图像对包括原始图像B和原始图像C，第三图像对包括原始图像C和原始图像A。那么即生成3段参考视频，三段视频的图像帧数可以不一样，播放时以相同的帧率进行播放。生成的目标视频则为前景从图A位置运动到图B位置，之后从图C位置运动到图B位置。
本实施例中的视频生成方法，至少三个原始图像中选取时间相邻的原始图像作为目标图像组，将各个目标图像组两两联接形成循环图像组，循环图像组中前一个目标图像组的后向图像为后一个目标图像组的前向图像，根据各插值时间相位对循环图像组进行插帧处理，得到目标视频，能够达到目标视频中前景循环运动的效果，提高视频的可操作性。
在一个实施例中，对原始图像集合中的原始图像进行分组，得到目标图像组，包括：从原始图像集合中确定前向图像和对应的后向图像，将前向图像和对应的后向目标图像组成一个目标图像组。
其中，目标图像组具有时间顺序，即前向图像和后向图像的顺序。前向图像的数量和后向图像的数量均为至少一个。并且将同一目标图像组中的所有前向图像对应的时间视为同一时间，将同一目标图像组中的所有后向图像对应的时间视为同一时间。例如，原始图像集合中包括前向图像A和后向图像B，那么前向图像A和后向图像B组成目标图像组。
本实施例中的视频生成方法，从原始图像集合中确定前向图像和对应的后向图像，将前向图像和对应的后向目标图像组成一个目标图像组，则可以确定目标视频中前景的变化方向，即从前景图像中对应的位置变化至后向图像中的位置，可生成前景发生运动、姿态和形状自适应变化的视频。
在一个实施例中，目标图像组中的前向图像的图像数量、后向图像的图像数量中至少一种图像数量为至少两个；
根据各插值时间相位对对应的目标图像组中的原始图像进行插帧处理，得到目标视频，包括：
步骤(b1)，根据插值时间相位对图像组中的每个图像对进行插帧处理，得到各个插值图像，其中，图像对包括一个前向图像和对应的一个后向图像。
其中，目标图像组中的前向图像的图像数量为至少两个、后向图像的图像数量为至少两个或者前向图像和后向图像的图像数量均为至少两个。
电子设备根据插值时间相位对图像组中每个图像对进行插帧处理，其中图像对包括一个前向图像和对应的一个后向图像，得到各个插值图像。例如，当前向图像中有原始图像A和原始图像B，后向图像中有原始图像C时，后向图像对应的前向图像则有两个，那么有两个图像对。由于插帧是在前向图像和后向图像之间进行插帧，那么电子设备需要对原始图像A和原始图像C组成的第一图像对进行插帧处理，也对原始图像B和原始图像C组成的第二图像对进行插帧处理，得到各个插值图像。
步骤(b2)，将各相位匹配的插值图像分别进行融合，得到第一融合图像。
具体地，电子设备将各时间相位匹配的插值图像分别进行融合，即相位匹配的至少两张插值图像进行融合，得到与匹配的相位数量相同的第一融合图像。例如，第一图像对中包括时间相位为1的插值图像A和时间相位为2的插值图像B，第二图像对中包括时间相位为1的插值图像C和时间相位为2的插值图像D，那么则将时间相位均为1的插值图像A和插值图像C进行融合，将时间相位均为2的插值图像B和插值图像D进行融合，得到两个融合图像。
步骤(b3)，将图像数量为至少两个的目标图像进行融合，得到第二融合图像，所述目标图像为所述前向图像、所述后向图像中至少一种。
具体地，当前向图像的图像数量为至少两个时，则将至少两个前向图像进行融合。当后向图像的图像数量为至少两个时，则将至少两个后向图像进行融合。当前向图像的图像数量和后向图像的图像数量均为至少两个时，则分别将至少两个前向图像进行融合，以及将至少两个后向图像进行融合。
步骤(b4)，按照图像的时间顺序将第一融合图像和第二融合图像进行拼接，得到目标视频。
具体地，电子设备按照图像的时间顺序将第一融合图像和第二融合图像进行拼接，得到目标视频。图像的时间顺序应当为前向图像→插值图像→后向图像。
如图8所示，为一个实施例中生成目标视频的示意图。目标图像组中包括原始图像A、原始图像B和原始图像C。其中前向图像为原始图像A和原始图像B，后向图像为原始图像C。生成的目标视频则为前景从图A位置运动到图C位置与从图B位置运动到图C位置同时进行。
本实施例中的视频生成方法，根据插值时间相位对图像组中每个图像对进行插帧处理，得到各个插值图像，将各时间相位匹配的插值图像分别进行融合，得到第一融合图像，将图像数量为至少两个的目标图像进行融合，得到第二融合图像，按照图像的时间顺序将第一融合图像和第二融合图像进行拼接，得到目标视频，能够实现一个图像中的前景朝着多个图像中的前景位置运动、形变等，或者多个图像中的前景朝着一个图像中前景所在位置运动、形变等，能够增加目标视频的表现形式。
在一个实施例中，目标前景变化状态包括目标前景运动轨迹。对原始图像集合中的原始图像进行分组，得到目标图像组，包括：根据前景运动轨迹，从原始图像集合中获取与前景运动轨迹对应的至少两个目标原始图像，得到目标图像组。
其中，目标前景运动轨迹是指目标视频中前景的运动轨迹。目标前景运动轨迹例如可以是“L”型、“S”型不限于此。
具体地，根据前景运动轨迹，电子设备从原始图像集合中获取与前景运动轨迹对应的至少两个目标原始图像，得到目标图像组。例如，目标前景运动轨迹为“L”，那么电子设备从原始图像集合中选取前景在左上角的、左下角的、右下角的目标原始图像，得到目标图像组。
本实施例中的视频生成方法，根据前景运动轨迹，从原始图像集合中获取与前景运动轨迹对应的至少两个目标原始图像，得到目标图像组，能够得到符合运动轨迹的目标视频，也提高了视频制作的便捷性。
在一个实施例中，原始图像集合中包括第一视频中的第一图像帧和第二视频中的第二图像帧，第一图像帧为第一视频中的最后一帧，第二图像帧为第二视频中的首帧，第一图像帧和第二图像帧的背景相匹配。根据插值时间相位对原始图像集合中的原始图像进行插帧处理，得到目标视频，包括：根据插值时间相位对第一图像帧和第二图像帧进行插帧处理，得到第三视频；获取第一视频和第二视频；按照图像帧顺序将第一视频、第三视频和第二视频进行拼接，得到目标视频。
具体地，第一视频和第二视频不相同。第一图像帧为第一视频中的最后一帧，第二图像帧为第二视频中的首帧，且第一图像帧和第二图像帧的背景相匹配。那么电子设备根据插值时间相位对第一图像帧和第二图像帧进行插帧处理，生成第三视频，其中，第三视频中不包括第一图像帧和第二图像帧。电子设备获取第一视频和第二视频，且第一图像帧为前向图像帧、第二图像帧为后向图像帧，按照图像帧顺序将第一视频、第三视频和第二视频进行拼接，得到目标视频。视频拼接的工具可为视频编解码器，首先将三段视频进行解码，并按照播放顺序，将解码后的数据文件进行统一的编码。
本实施例中，根据插值时间相位对第一图像帧和第二图像帧进行插帧处理，得到第三视频，包括：根据插值时间相位对第一图像帧和第二图像帧进行插帧处理，得到插值图像；从插值图像中确定待替换图像，确定与待替换图像的时间相位相邻的相邻图像；将待替换图像替换为相邻图像；将相邻图像、除待替换图像之外的剩余插值图像和原始图像集合中的原始图像拼接生成第三视频。
本实施例中的视频生成方法，根据插值时间相位对第一图像帧和第二图像帧进行插帧处理，得到第三视频，获取第一视频和第二视频，按照图像帧顺序将第一视频、第三视频和第二视频进行拼接，得到目标视频，能够得到运动、移动、位姿变化的视频，提高目标视频的可操作性。
在一个实施例中，如图9所示，为一个实施例中插帧得到目标视频的流程示意图。根据插值时间相位对原始图像集合中的原始图像进行插帧处理，得到目标视频，得到目标视频，包括：
步骤108A，从原始图像集合中确定前向图像和后向图像。
步骤108B，对前向图像和后向图像进行前向运动估计得到前向运动矢量，对前向图像和后向图像进行后向运动估计得到后向运动矢量。
具体地，对前向图像和后向图像进行分块，块大小可自定义，按块进行遍历，寻找前向图像中每个块在后向图像中的最佳匹配块，以确定前向图像每个块相对于后向图像的运动矢量，得到前向运动矢量。按块进行遍历，寻找后向图像中每个块在前向图像中的最佳匹配块，以确定后向图像每个块相对于前向图像的运动矢量，得到后向运动矢量。如图10所示，为一个实施例中前向运动矢量和后向运动矢量的示意图。在一个实施例中，可以对前向运动矢量和后向运动矢量进行修正，修正时可参考邻近块的运动矢量。如图10A所示，为一个实施例中修正后的前向运动矢量和后向运动矢量示意图。
步骤108C，根据目标插值时间相位对前向运动矢量和后向运动矢量进行映射和校正，得到插值图像中各个插值块对应的前向映射运动矢量和后向映射运动矢量。
具体地，前向映射运动矢量用于表示插值块相对于前向图像的运动矢量，后向映射运动矢量用于表示插值块相对于后向图像的运动矢量。如前向运动矢量是将前向图像中的块映射到后向图像中，在将第一前向运动矢量对应的前向图像中的块映射到后向图像的过程中会穿过插值图像，穿过插值图像中的第一插值块，则第一前向运动矢量是第一插值块对应的目标运动矢量，将第一插值块对应的目标运动矢量根据目标插值时间相位进行双向映射，得到第一插值块对应的前向映射运动矢量和后向映射运动矢量。如第一前向运动矢量为(3，-9)，目标插值时间相位为1/3，则进行映射和校正后，得到第一插值块对应的前向映射运动矢量和后向映射运动矢量分别为(1，-3)和(-1，3)。
同样，后向运动矢量是将后向图像中的块映射到前向图像中，在将第一后向运动矢量对应的后向图像中的块映射到前向图像的过程中会穿过插值图像，穿过插值图像中的第二插值块，则第一后向运动矢量是第二插值块对应的目标运动矢量，将第二插值块对应的目标运动矢量根据目标插值时间相位进行双向映射，得到第二插值块对应的前向映射运动矢量和后向映射运动矢量。如第二后向运动矢量为(-3，9)，目标插值时间相位为1/3，则进行映射和校正后，得到第二插值块对应的前向映射运动矢量和后向映射运动矢量分别为(1，-3)和(-1，3)。如图11所示，为前向映射运动矢量和后向映射运动矢量的示意图。
如果一个插值块有多个前向运动矢量和多个后面运动矢量穿过，则所有穿过的运动矢量进行映射和校正后得到的前向映射运动矢量和后向映射运动矢量，都作为这个插值块对应的候选的前向映射运动矢量和后向映射运动矢量。可以从候选的前向映射运动矢量和后向映射运动矢量中确定这个插值块对应的目标前向映射运动矢量和目标后向映射运动矢量，具体的筛选方法可自定义，如通过计算前向映射运动矢量和后向映射运动矢量对应的匹配块的匹配误差得到。
步骤108D，根据前向映射运动矢量和后向映射运动矢量得到各个插值块对应的插值像素值，根据各个插值块生成插值图像。
具体地，通过前向映射运动矢量得到插值块在前向图像中的第一插值像素值，通过后向映射运动矢量得到插值块在后向图像中的第二插值像素值，通过对第一插值像素值和第二插值像素值进行加权得到插值块的插值像素值，其中加权系数的确定可自定义，从而最终生成插值图像。
步骤108E，根据插值图像生成目标视频。
本实施例中的视频生成方法，通过前向运动估计和后面运动估计分别计算得到前向运动矢量和后向运动矢量，并根据目标插值时间相位对前向运动矢量和后向运动矢量进行映射和校正，得到各个插值块对应的前向映射运动矢量和后向映射运动矢量，能提高插值块运动矢量确定的准确性，提高插值图像的生成质量，从而提高目标视频的生成质量。
在一个实施例中，在获取原始图像集合之后，该视频生成方法还包括：调整原始图像集合中的图像的分辨率，使得原始图像集合中的图像的分辨率一致。
具体地，当原始图像集合中的图像的分辨率不同时，可从中选择一个目标图像，将目标图像的分辨率作为目标分辨率，将原始图像集合中的各个图像进行上采样或下采样调整为目标分辨率。或根据原始图像集合中的各个图像的分辨率，计算得到目标分辨率，目标分辨率的范围在原始图像集合中图像的最大分辨率和最小分辨率之间，或获取预先配置的任意的目标分辨率。当原始图像集合中的图像的分辨率相同时，也可以通过上采样或下采样调整原始图像集合中的图像的分辨率至目标分辨率。其中目标分辨率的确定可以受到网络质量的影响或终端的性能影响。
本实施例中的视频生成方法，通过将原始图像集合中的图像的分辨率调整为一致，便于后续进行插值，提高了图像处理的效率。
在一个实施例中，根据插值时间相位对对应的目标图像组进行插帧处理，得到目标视频，包括：根据至少两个插值时间相位对对应的目标图像组进行插帧处理，生成与每个插值时间相位对应的插值图像，按照时间相位顺序将插值图像拼接生成目标视频。本实施例中的视频生成方法，按照时间相位顺序将插值图像拼接生成目标视频，生成的目标视频中可以不包括原始图像且能保持目标视频中图像的连贯性。
在一个实施例中，根据插值时间相位对对应的目标图像组进行插帧处理，得到目标视频，包括：根据至少两个插值时间相位对对应的目标图像组进行插帧处理，生成与每个插值时间相位对应的插值图像，按照图像的时间顺序将插值图像拼接生成目标视频。本实施例中的视频生成方法，生成的目标视频中包括原始图像，提高了生成的视频的真实性。
在一个实施例中，本申请可用于在短视频或电子相册的制作过程的图像编辑，利用已有照片形成一种新颖特殊的效果的动态视频。
在一个实施例中，在低功耗视频录制中，可以间隔固定时间进行图像的拍摄，并通过本申请的方法，使这些图像形成动态的视频。
在一个具体的实施例中，如图12所示，提供了一种视频生成***，通过图12所述的***生成目标视频。通过输入的至少两个原始图像，经过上下采样模块进行分辨率调节。至少两个原始图像的分辨率可以不相同，当分辨率不相同时，可以经过上下采样模块，也可以不经过，且上下采样后的图像分辨率可以与原图分辨率不相同。目标视频中可包含原始输入帧，也可以不包含，且目标视频中帧的数量可为任意数量。且目标视频的特性为前景的变化，背景不变。前景为输入的两幅或多幅图像中发生较大形状变化的区域，背景为输入的两幅或多幅图像中发生较小形状变化的区域。输出的目标视频可以经过上下采样模块进行分辨率的改变。
应该理解的是，虽然图1、10和12的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图1、10和12中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
图13为一个实施例的视频生成装置的结构框图。一种视频生成装置，包括第一获取模块1302、第二获取模块1304、确定模块1306和插帧模块1308，其中：
第一获取模块1302，用于获取原始图像集合，原始图像集合中包括至少两个原始图像；
第二获取模块1304，用于获取原始图像集合对应的目标前景变化状态；
确定模块1306，用于根据目标前景变化状态确定原始图像集合对应的插值时间相位；
插帧模块1308，用于根据插值时间相位对原始图像集合中的原始图像进行插帧处理，得到目标视频。
本实施例中的视频生成装置，获取原始图像集合，获取原始图像集合对应的目标前景变化状态，根据目标前景变化状态确定原始图像集合对应的插值时间相位，根据插值时间相位对原始图像集合中的至少两个原始图像进行插帧处理，得到目标视频，能够按照目标前景变化状态使原始图像中前景产生不同状态变化的效果，提高了根据图像生成视频的可操作性，也提高生成的视频的真实性。
在一个实施例中，确定模块1306用于当目标前景变化状态为均匀变化状态时，确定各个目标图像组对应的均匀插值时间相位，均匀变化状态包括形变均匀变化状态、运动均匀变化状态、位姿均匀变化状态中至少一种。
本实施例中的视频生成装置，当目标前景变化状态为均匀变化状态时，获取原始图像集合对应的均匀插值时间相位，并根据均匀插值时间相位进行插帧处理，则能够使目标视频中的前景达到均匀变化的效果，提高生成的目标视频的真实性。
在一个实施例中，确定模块1306用于当目标前景变化状态为第一非均匀变化状态时，确定原始图像集合对应的非均匀插值时间相位。
本实施例中的视频生成装置，当目标前景变化状态为第一非均匀变化状态时，确定原始图像集合对应的非均匀插值时间相位，并根据非均匀时间相位进行插帧处理，则能够使目标视频中的前景达到不均匀变化的效果，提高视频的可操作性。
在一个实施例中，确定模块1306用于当目标前景变化状态为第二非均匀变化状态时，确定各个目标图像组对应的插值时间相位，插值时间相位为均匀插值时间相位或非均匀插值时间相位。插帧模块1308用于根据插值时间相位对原始图像集合中的原始图像进行插帧处理，得到插值图像；从插值图像中确定待替换图像，确定与待替换图像的时间相位相邻的相邻图像；将待替换图像替换为相邻图像；将相邻图像、除待替换图像之外的剩余插值图像和原始图像集合中的原始图像拼接生成目标视频。
本实施例中的视频生成装置，当目标前景变化状态为第二非均匀变化状态时，确定各个目标图像组对应的插值时间相位，插值时间相位可以是均匀插值时间相位或非均匀插值时间相位，插帧生成插值图像，确定待替换图像以及与待替换图像的时间相位相邻的相邻图像，并据此生成目标视频，可以能够使目标视频中的前景达到不均匀变化的效果，提高视频的可操作性。
在一个实施例中，确定模块1306用于对原始图像集合中的原始图像进行分组，得到目标图像组；根据目标前景变化状态确定原始图像集合中每个目标图像组对应的插值时间相位。插帧模块1308用于根据各插值时间相位对对应的目标图像组中的至少两个原始图像进行插帧处理，得到目标视频。
本实施例中的视频生成装置，当原始图像集合中原始图像的数量为至少三个时，对原始图像集合中的原始图像进行分组，得到目标图像组，根据目标前景变化状态确定原始图像集合中每个目标图像组对应的插值时间相位，根据各插值时间相位对对应的目标图像组进行插帧处理，得到目标视频，能够按照目标前景变化状态使原始图像中前景产生不同状态变化的效果，提高了根据图像生成视频的可操作性，也提高产生的视频的真实性。
在一个实施例中，确定模块1306用于当所述原始图像集合中的原始图像的数量为至少三个时，从至少三个原始图像中选取时间相位相邻的原始目标图像组成目标图像组，得到至少两个目标图像组。插帧模块1308用于根据各插值时间相位对对应的目标图像组中的至少两个原始图像进行插帧处理，得到每个目标图像组对应的参考视频；按照目标图像组中图像的时间顺序将参考视频拼接成目标视频。
本实施例中的视频生成装置，从至少三个原始图像中选取时间相邻的原始目标图像组成目标图像组，得到至少两个目标图像组，根据各插值时间相位对对应的目标图像组中的至少两个原始图像进行插帧处理，得到每个目标图像组对应的参考视频，按照目标图像组中图像的时间顺序将参考视频拼接成目标视频，能够达到目标视频中的前景依次变化的效果，提高视频的可操作性。
在一个实施例中，确定模块1306用于当所述原始图像集合中的原始图像的数量为至少三个时，从至少三个原始图像中选取时间相邻的原始图像作为目标图像组，将各个目标图像组两两联接形成循环图像组，循环图像组中前一个目标图像组的后向图像为后一个目标图像组的前向图像。插帧模块1308用于根据各插值时间相位对循环图像组中每个目标图像组对应的原始图像进行插帧处理，得到每个目标图像组对应的参考视频；按照循环图像组中的图像的时间顺序将参考视频拼接得到目标视频。
本实施例中的视频生成装置，至少三个原始图像中选取时间相邻的原始图像作为目标图像组，将各个目标图像组两两联接形成循环图像组，循环图像组中前一个目标图像组的后向图像为后一个目标图像组的前向图像，根据各插值时间相位对循环图像组进行插帧处理，得到目标视频，能够达到目标视频中前景循环运动的效果，提高视频的可操作性。
在一个实施例中，确定模块1306用于从原始图像集合中确定前向图像和对应的后向图像，将前向图像和对应的后向目标图像组成一个目标图像组。
本实施例中的视频生成装置，从原始图像集合中确定前向图像和对应的后向图像，将前向图像和对应的后向目标图像组成一个目标图像组，则可以确定目标视频中前景的变化方向，即从前景图像中对应的位置变化至后向图像中的位置，可生成前景发生运动、姿态和形状自适应变化的视频。
在一个实施例中，目标图像组中的前向图像的图像数量、后向图像的图像数量中至少一种图像数量为至少两个。插帧模块1308用于根据插值时间相位对图像组中的每个图像对进行插帧处理，得到各个插值图像，其中，图像对包括一个前向图像和对应的一个后向图像；将各相位匹配的插值图像分别进行融合，得到第一融合图像；将图像数量为至少两个的目标图像进行融合，得到第二融合图像，所述目标图像为所述前向图像、所述后向图像中至少一种；按照图像的时间顺序将第一融合图像和第二融合图像进行拼接，得到目标视频。
本实施例中的视频生成装置，根据插值时间相位对图像组中每个图像对进行插帧处理，得到各个插值图像，将各时间相位匹配的插值图像分别进行融合，得到第一融合图像，将图像数量为至少两个的目标图像进行融合，得到第二融合图像，按照图像的时间顺序将第一融合图像和第二融合图像进行拼接，得到目标视频，能够实现一个图像中的前景朝着多个图像中的前景位置运动、形变等，或者多个图像中的前景朝着一个图像中前景所在位置运动、形变等，能够增加目标视频的表现形式。
在一个实施例中，目标前景变化状态包括目标前景运动轨迹。确定模块1306用于根据前景运动轨迹，从原始图像集合中获取与前景运动轨迹对应的至少两个目标原始图像，得到目标图像组。
本实施例中的视频生成装置，根据前景运动轨迹，从原始图像集合中获取与前景运动轨迹对应的至少两个目标原始图像，得到目标图像组，能够得到符合运动轨迹的目标视频，也提高了视频制作的便捷性。
在一个实施例中，原始图像集合中包括第一视频中的第一图像帧和第二视频中的第二图像帧，第一图像帧为第一视频中的最后一帧，第二图像帧为第二视频中的首帧，第一图像帧和第二图像帧的背景相匹配。插帧模块1308用于根据插值时间相位对第一图像帧和第二图像帧进行插帧处理，得到第三视频；获取第一视频和第二视频；按照图像帧顺序将第一视频、第三视频和第二视频进行拼接，得到目标视频。
本实施例中的视频生成装置，根据插值时间相位对第一图像帧和第二图像帧进行插帧处理，得到第三视频，获取第一视频和第二视频，按照图像帧顺序将第一视频、第三视频和第二视频进行拼接，得到目标视频，能够得到运动、移动、位姿变化的视频，提高目标视频的可操作性。
第一实施例中，插帧模块1308用于从原始图像集合中确定前向图像和后向图像；对前向图像和后向图像进行前向运动估计得到前向运动矢量，对前向图像和后向图像进行后向运动估计得到后向运动矢量；根据目标插值时间相位对前向运动矢量和后向运动矢量进行映射和校正，得到插值图像中各个插值块对应的前向映射运动矢量和后向映射运动矢量；根据前向映射运动矢量和后向映射运动矢量得到各个插值块对应的插值像素值，根据各个插值块生成插值图像；根据插值图像生成目标视频。
本实施例中的视频生成装置，通过前向运动估计和后面运动估计分别计算得到前向运动矢量和后向运动矢量，并根据目标插值时间相位对前向运动矢量和后向运动矢量进行映射和校正，得到各个插值块对应的前向映射运动矢量和后向映射运动矢量，能提高插值块运动矢量确定的准确性，提高插值图像的生成质量，从而提高目标视频的生成质量。
在一个实施例中，该视频生成装置还包括调整模块，调整模块用于调整原始图像集合中的图像的分辨率，使得原始图像集合中的图像的分辨率一致。
本实施例中的视频生成装置，通过将原始图像集合中的图像的分辨率调整为一致，便于后续进行插值，提高了图像处理的效率。
上述视频生成装置中各个模块的划分仅用于举例说明，在其他实施例中，可将视频生成装置按照需要划分为不同的模块，以完成上述视频生成装置的全部或部分功能。
关于视频生成装置的具体限定可以参见上文中对于视频生成方法的限定，在此不再赘述。上述视频生成装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
图14为一个实施例中电子设备的内部结构示意图。如图14所示，该电子设备包括通过***总线连接的处理器和存储器。其中，该处理器用于提供计算和控制能力，支撑整个电子设备的运行。存储器可包括非易失性存储介质及内存储器。非易失性存储介质存储有操作***和计算机程序。该计算机程序可被处理器所执行，以用于实现以下各个实施例所提供的一种视频生成方法。内存储器为非易失性存储介质中的操作***计算机程序提供高速缓存的运行环境。该电子设备可以是手机、平板电脑、PDA(Personal DigitalAssistant，个人数字助理)、POS(Point of Sales，销售终端)、车载电脑、穿戴式设备等任意终端设备。
本申请实施例中提供的视频生成装置中的各个模块的实现可为计算机程序的形式。该计算机程序可在终端或服务器上运行。该计算机程序构成的程序模块可存储在电子设备的存储器上。该计算机程序被处理器执行时，实现本申请实施例中所描述方法的步骤。
本申请实施例还提供了一种计算机可读存储介质。一个或多个包含计算机可执行指令的非易失性计算机可读存储介质，当所述计算机可执行指令被一个或多个处理器执行时，使得所述处理器执行视频生成方法的步骤。
一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行视频生成方法。
本申请所使用的对存储器、存储、数据库或其它介质的任何引用可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)，它用作外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDR SDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (15)

1.一种视频生成方法，其特征在于，包括：
获取原始图像集合，所述原始图像集合中包括至少两个原始图像；
获取所述原始图像集合对应的目标前景变化状态；
当所述目标前景变化状态为第二非均匀变化状态时，确定所述原始图像集合对应的插值时间相位，所述插值时间相位为均匀插值时间相位或非均匀插值时间相位；
根据所述插值时间相位对所述原始图像集合中的所述原始图像进行插帧处理，得到插值图像；
从所述插值图像中确定待替换图像，确定与所述待替换图像的时间相位相邻的相邻图像；
将所述待替换图像替换为所述相邻图像；
将所述相邻图像、除所述待替换图像之外的剩余插值图像和所述原始图像集合中的所述原始图像拼接生成目标视频；其中，所述目标前景变化状态为所述目标视频中需要达到的效果。
2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
当所述目标前景变化状态为均匀变化状态时，确定所述原始图像集合对应的插值时间相位为均匀插值时间相位，所述均匀变化状态包括形变均匀变化状态、运动均匀变化状态、位姿均匀变化状态中至少一种；
根据所述插值时间相位对所述原始图像集合中的所述原始图像进行插帧处理，得到目标视频，得到目标视频。
3.根据权利要求1所述的方法，其特征在于，所述方法还包括：
当所述目标前景变化状态为第一非均匀变化状态时，确定所述原始图像集合对应的插值时间相位为非均匀插值时间相位；所述第一非均匀变化状态与所述第二非均匀变化状态为不相同的变化状态；
根据所述插值时间相位对所述原始图像集合中的所述原始图像进行插帧处理，得到目标视频。
4.根据权利要求1所述的方法，其特征在于，所述方法还包括：
对所述原始图像集合中的原始图像进行分组，得到目标图像组；
根据所述目标前景变化状态确定所述原始图像集合中每个目标图像组对应的插值时间相位；
根据各所述插值时间相位对对应的目标图像组中的所述原始图像进行插帧处理，得到目标视频。
5.根据权利要求4所述的方法，其特征在于，所述对所述原始图像集合中的原始图像进行分组，得到目标图像组，包括：
当所述原始图像集合中的原始图像的数量为至少三个时，从至少三个所述原始图像中选取时间相邻的原始目标图像组成目标图像组，得到至少两个目标图像组；
所述根据各所述插值时间相位对对应的目标图像组中的所述原始图像进行插帧处理，得到目标视频，包括：
根据各所述插值时间相位对对应的目标图像组中的所述原始图像进行插帧处理，得到每个所述目标图像组对应的参考视频；
按照所述目标图像组中图像的时间顺序将所述参考视频拼接成目标视频。
6.根据权利要求4所述的方法，其特征在于，所述对所述原始图像集合中的原始图像进行分组，得到对应的目标图像组，包括：
当所述原始图像集合中的原始图像的数量为至少三个时，从至少三个所述原始图像中选取时间相邻的原始目标图像组成图像对，将各个所述图像对两两图像对联接形成目标图像组，所述目标图像组中前一个图像对的后向图像为后一个图像对的前向图像。
7.根据权利要求4所述的方法，其特征在于，所述对所述原始图像集合中的原始图像进行分组，得到目标图像组，包括：
从所述原始图像集合中确定前向图像和对应的后向图像，将所述前向图像和对应的所述后向图像组成一个目标图像组。
8.根据权利要求7所述的方法，其特征在于，所述目标图像组中的前向图像的图像数量、所述后向图像的图像数量中至少一种图像数量为至少两个；
所述根据各所述插值时间相位对对应的目标图像组中的所述原始图像进行插帧处理，得到目标视频，包括：
根据所述插值时间相位对所述目标图像组中的每个图像对进行插帧处理，得到各个插值图像，其中，所述图像对包括一个前向图像和对应的一个后向图像；
将各时间相位匹配的插值图像分别进行融合，得到第一融合图像；
将图像数量为至少两个的目标图像进行融合，得到第二融合图像，所述目标图像为所述前向图像、所述后向图像中至少一种；
按照图像的时间顺序将所述第一融合图像和所述第二融合图像进行拼接，得到目标视频。
9.根据权利要求4所述的方法，其特征在于，所述目标前景变化状态包括目标前景运动轨迹；
所述对所述原始图像集合中的原始图像进行分组，得到目标图像组，包括：
根据所述前景运动轨迹，从所述原始图像集合中获取与所述前景运动轨迹对应的至少两个目标原始图像，得到目标图像组。
10.根据权利要求2至3任一项所述的方法，其特征在于，所述原始图像集合中包括第一视频中的第一图像帧和第二视频中的第二图像帧，所述第一图像帧为所述第一视频中的最后一帧，所述第二图像帧为所述第二视频中的首帧，所述第一图像帧和所述第二图像帧的背景相匹配；
所述根据所述插值时间相位对所述原始图像集合中的所述原始图像进行插帧处理，得到目标视频，包括：
根据所述插值时间相位对所述第一图像帧和所述第二图像帧进行插帧处理，得到第三视频；
获取所述第一视频和所述第二视频；
按照图像帧顺序将所述第一视频、所述第三视频和所述第二视频进行拼接，得到目标视频。
11.根据权利要求2至3任一项所述的方法，其特征在于，所述根据所述插值时间相位对所述原始图像集合中的所述原始图像进行插帧处理，得到目标视频，包括：
从所述原始图像集合中确定前向图像和后向图像；
对所述前向图像和所述后向图像进行前向运动估计得到前向运动矢量；
对所述前向图像和所述后向图像进行后向运动估计得到后向运动矢量；
根据所述插值时间相位对所述前向运动矢量和所述后向运动矢量进行映射和校正，得到插值图像中各个插值块对应的前向映射运动矢量和后向映射运动矢量；
根据所述前向映射运动矢量和所述后向映射运动矢量得到各个所述插值块对应的插值像素值，根据各个所述插值块生成插值图像；
根据所述插值图像生成目标视频。
12.根据权利要求1至3任一项所述的方法，其特征在于，在所述获取原始图像集合之后，所述方法还包括：
调整所述原始图像集合中的所述原始图像的分辨率，使得原始图像集合中的所述原始图像的分辨率一致。
13.一种视频生成装置，其特征在于，包括：
第一获取模块，用于获取原始图像集合，所述原始图像集合中包括至少两个原始图像；
第二获取模块，用于获取所述原始图像集合对应的目标前景变化状态；
确定模块，用于当所述目标前景变化状态为第二非均匀变化状态时，确定所述原始图像集合对应的插值时间相位，所述插值时间相位为均匀插值时间相位或非均匀插值时间相位；
插帧模块，用于根据所述插值时间相位对所述原始图像集合中的所述原始图像进行插帧处理，得到插值图像；从所述插值图像中确定待替换图像，确定与所述待替换图像的时间相位相邻的相邻图像；将所述待替换图像替换为所述相邻图像；将所述相邻图像、除所述待替换图像之外的剩余插值图像和所述原始图像集合中的所述原始图像拼接生成目标视频；其中，所述目标前景变化状态为所述目标视频中需要达到的效果。
14.一种电子设备，包括存储器及处理器，所述存储器中储存有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如权利要求1至12中任一项所述的视频生成方法的步骤。
15.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至12中任一项所述的方法的步骤。
CN202010381604.0A 2020-05-08 2020-05-08 视频生成方法、装置、电子设备和计算机可读存储介质 Active CN111586321B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010381604.0A CN111586321B (zh) 2020-05-08 2020-05-08 视频生成方法、装置、电子设备和计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010381604.0A CN111586321B (zh) 2020-05-08 2020-05-08 视频生成方法、装置、电子设备和计算机可读存储介质

Publications (2)

Publication Number Publication Date
CN111586321A CN111586321A (zh) 2020-08-25
CN111586321B true CN111586321B (zh) 2023-05-12

Family

ID=72120411

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010381604.0A Active CN111586321B (zh) 2020-05-08 2020-05-08 视频生成方法、装置、电子设备和计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN111586321B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111951157A (zh) * 2020-09-02 2020-11-17 深圳传音控股股份有限公司 图像处理方法、设备及存储介质
CN112511859B (zh) * 2020-11-12 2023-03-24 Oppo广东移动通信有限公司 一种视频处理方法、装置和存储介质
CN112995533A (zh) * 2021-02-04 2021-06-18 上海哔哩哔哩科技有限公司 视频制作方法及装置

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2001045036A1 (en) * 1999-12-14 2001-06-21 Dynapel Systems, Inc. Slow motion system
CN101543065A (zh) * 2007-02-20 2009-09-23 索尼株式会社 图像显示装置、视频信号处理器以及视频信号处理方法
CN101808205A (zh) * 2009-02-18 2010-08-18 索尼爱立信移动通信股份公司 运动图像输出方法和运动图像输出设备
CN102360514A (zh) * 2011-10-20 2012-02-22 中国地质大学（武汉） 基于动态插帧技术的曲面过程时空模拟方法
CN103402098A (zh) * 2013-08-19 2013-11-20 武汉大学 一种基于图像插值的视频插帧方法
CN105120337A (zh) * 2015-08-28 2015-12-02 小米科技有限责任公司 视频特效处理方法、装置及终端设备
CN106791279A (zh) * 2016-12-30 2017-05-31 中国科学院自动化研究所 基于遮挡检测的运动补偿方法及***
CN108040217A (zh) * 2017-12-20 2018-05-15 深圳岚锋创视网络科技有限公司 一种视频解码的方法、装置及相机
CN109922372A (zh) * 2019-02-26 2019-06-21 深圳市商汤科技有限公司 视频数据处理方法及装置、电子设备和存储介质

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5847752B2 (ja) * 2013-03-29 2016-01-27 株式会社東芝 動画再生装置

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2001045036A1 (en) * 1999-12-14 2001-06-21 Dynapel Systems, Inc. Slow motion system
CN101543065A (zh) * 2007-02-20 2009-09-23 索尼株式会社 图像显示装置、视频信号处理器以及视频信号处理方法
CN101808205A (zh) * 2009-02-18 2010-08-18 索尼爱立信移动通信股份公司 运动图像输出方法和运动图像输出设备
CN102360514A (zh) * 2011-10-20 2012-02-22 中国地质大学（武汉） 基于动态插帧技术的曲面过程时空模拟方法
CN103402098A (zh) * 2013-08-19 2013-11-20 武汉大学 一种基于图像插值的视频插帧方法
CN105120337A (zh) * 2015-08-28 2015-12-02 小米科技有限责任公司 视频特效处理方法、装置及终端设备
CN106791279A (zh) * 2016-12-30 2017-05-31 中国科学院自动化研究所 基于遮挡检测的运动补偿方法及***
CN108040217A (zh) * 2017-12-20 2018-05-15 深圳岚锋创视网络科技有限公司 一种视频解码的方法、装置及相机
CN109922372A (zh) * 2019-02-26 2019-06-21 深圳市商汤科技有限公司 视频数据处理方法及装置、电子设备和存储介质

Also Published As

Publication number Publication date
CN111586321A (zh) 2020-08-25

Similar Documents

Publication Publication Date Title
CN111586321B (zh) 视频生成方法、装置、电子设备和计算机可读存储介质
KR102281017B1 (ko) 이미지 처리를 위한 신경망 모델 훈련 방법, 장치 및 저장 매체
Yang et al. Self-supervised learning of depth inference for multi-view stereo
US20200334894A1 (en) 3d motion effect from a 2d image
US8363985B2 (en) Image generation method and apparatus, program therefor, and storage medium which stores the program
CN111586409B (zh) 插值帧的生成方法、装置、电子设备和存储介质
CN111614911B (zh) 图像生成方法和装置、电子设备及存储介质
CN111447359B (zh) 数字变焦方法、***、电子设备、介质及数字成像设备
CN111402139A (zh) 图像处理方法、装置、电子设备和计算机可读存储介质
CN111507333A (zh) 一种图像矫正方法、装置、电子设备和存储介质
CN113724155B (zh) 用于自监督单目深度估计的自提升学习方法、装置及设备
CN112215877A (zh) 图像处理方法和装置、电子设备、可读存储介质
CN114339409A (zh) 视频处理方法、装置、计算机设备及存储介质
KR20210089737A (ko) 이미지 깊이 추정 방법 및 장치, 전자 기기, 저장 매체
CN114640885B (zh) 视频插帧方法、训练方法、装置和电子设备
CN111754429A (zh) 运动矢量后处理方法和装置、电子设备及存储介质
Weng et al. Boosting event stream super-resolution with a recurrent neural network
Huang et al. Stablenet: semi-online, multi-scale deep video stabilization
Luo et al. Defocus to focus: Photo-realistic bokeh rendering by fusing defocus and radiance priors
CN111462021B (zh) 图像处理方法、装置、电子设备和计算机可读存储介质
CN112884657A (zh) 一种人脸超分辨率重建方法及***
CN110555414B (zh) 目标检测方法、装置、设备及存储介质
KR102057395B1 (ko) 기계학습 기반 비디오 보외법을 이용한 영상 생성 방법
CN111726526A (zh) 一种图像处理方法、装置、电子设备和存储介质
Gao et al. Real-time image enhancement with attention aggregation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant