CN110062165B - 电子设备的视频处理方法、装置和电子设备 - Google Patents

Abstract

本公开提供了一种电子设备的视频处理方法，包括：在电子设备拍摄视频的过程中，获取视频帧图像；基于第一方式对所述视频帧图像进行防抖处理；以及基于第二方式对所述视频帧图像进行防抖处理，所述第二方式与所述第一方式不同；其中，经基于第一方式的防抖处理后的所述视频帧图像作为所述拍摄视频的过程中的预览帧图像进行展示，经基于第二方式的防抖处理后的所述视频帧图像作为所述拍摄视频的过程生成的视频文件的一帧图像。本公开还提供了一种电子设备的视频处理装置和电子设备。

Description

电子设备的视频处理方法、装置和电子设备

技术领域

本公开涉及一种电子设备的视频处理方法、装置和电子设备。

背景技术

随着现代信息技术的飞速发展，视频成为信息的重要载体之一，丰富了人们的日常生活。与此同时，支持视频拍摄的电子设备也已越来越普遍，这些设备在为人们提供便利的同时，也存在着一些问题有待提供。

用户在利用电子设备进行视频拍摄时一方面需要在拍摄过程中进行预览，另一方面需要在拍摄完成后得到最终视频文件。现有技术中，对于预览视频和最终生成的视频文件的防抖(Stabilization)处理方式是相同的，为了获得更为优质的最终视频文件，该防抖处理过程是较为复杂费时的，导致预览视频的输出展示相对于视频拍摄过程有相当大的延迟，给用户带来不好的感受。如何兼顾预览视频画面的稳定性和即时性，是当前亟需解决的问题。

发明内容

本公开的一个方面提供了一种电子设备的视频处理方法，包括：在电子设备拍摄视频的过程中，获取视频帧图像；基于第一方式对所述视频帧图像进行防抖处理；以及基于第二方式对所述视频帧图像进行防抖处理，所述第二方式与所述第一方式不同。其中，经基于第一方式的防抖处理后的所述视频帧图像作为所述拍摄视频的过程中的预览帧图像进行展示，经基于第二方式的防抖处理后的所述视频帧图像作为所述拍摄视频的过程生成的视频文件的一帧图像。

可选地，上述基于第一方式对所述视频帧图像进行防抖处理包括：获取与所述视频帧图像之前的第一预定数量的视频帧图像对应的在第一方向上的第一位置参数，其中，所述视频帧图像是所述拍摄视频的过程中获取的任意一视频帧图像；基于所述第一位置参数确定与所述视频帧图像对应的预测偏移量；以及基于所述预测偏移量对所述视频帧图像进行所述第一方向的第一补偿防抖处理。

可选地，上述获取与所述视频帧图像之前第一预定数量的视频帧图像对应的在第一方向上的第一位置参数包括：基于图像配准法和/或惯性测量法获取与所述视频帧图像之前第一预定数量的视频帧图像对应的在第一方向上的第一位置参数。

可选地，上述基于所述第一位置参数确定与所述视频帧图像对应的预测偏移量包括：基于所述第一位置参数确定与所述视频帧图像对应的预测位置参数；基于所述第一位置参数和所述预测位置参数的变化，计算获得第一运动趋势曲线；以及将所述预测位置参数和所述第一运动趋势曲线上与所述视频帧图像对应的位置参数之间的差值作为所述预测偏移量。

可选地，上述基于所述第一位置参数确定与所述视频帧图像对应的预测位置参数包括：基于所述第一位置参数进行线性拟合获得所述预测位置参数；或者，利用所述第一位置参数进行神经网络模型训练，基于训练得到的神经网络模型确定所述预测位置参数。

可选地，上述基于第二方式对所述视频帧图像进行防抖处理包括：获取与所述视频帧图像之前的第二预定数量的视频帧图像、所述视频帧图像、以及所述视频帧图像之后的第三预定数量的视频帧图像对应的在第一方向上的第二位置参数，其中，所述视频帧图像是所述拍摄视频的过程中获取的任意一视频帧图像；基于所述第二位置参数的变化，计算获得第二运动趋势曲线；以及基于与所述视频帧图像对应的第二位置参数和所述第二运动趋势曲线上与所述视频帧图像对应的位置参数之间的差值，对所述视频帧图像进行所述第一方向的第二补偿防抖处理。

可选地，上述获取与所述视频帧图像之前的第二预定数量的视频帧图像、所述视频帧图像、以及所述视频帧图像之后的第三预定数量的视频帧图像对应的在第一方向上的第二位置参数包括：基于图像配准法和/或惯性测量法获取与所述视频帧图像之前的第二预定数量的视频帧图像、所述视频帧图像、以及所述视频帧图像之后的第三预定数量的视频帧图像对应的在第一方向上的第二位置参数。

可选地，上述基于第一方式对所述视频帧图像进行防抖处理的开始时间早于上述基于第二方式对所述视频帧图像进行防抖处理的开始时间。上述基于第一方式对所述视频帧图像进行防抖处理所需要的时间小于上述基于第二方式对所述视频帧图像进行防抖处理所需要的时间。多个视频帧图像经基于第二方式的防抖处理后的稳定性高于所述多个视频帧图像经基于第一方式的防抖处理后的稳定性。

本公开的另一方面提供了一种电子设备的视频处理装置，包括：获取模块、第一处理模块、以及第二处理模块。获取模块用于在电子设备拍摄视频的过程中，获取视频帧图像。第一处理模块用于基于第一方式对所述视频帧图像进行防抖处理。以及第二处理模块用于基于第二方式对所述视频帧图像进行防抖处理，所述第二方式与所述第一方式不同。其中，经基于第一方式的防抖处理后的所述视频帧图像作为所述拍摄视频的过程中的预览帧图像进行展示，经基于第二方式的防抖处理后的所述视频帧图像作为所述拍摄视频的过程生成的视频文件的一帧图像。

可选地，第一处理模块包括：第一获取子模块、第一确定子模块、以及第一处理子模块。第一获取子模块用于获取与所述视频帧图像之前的第一预定数量的视频帧图像对应的在第一方向上的第一位置参数，其中，所述视频帧图像是所述拍摄视频的过程中获取的任意一视频帧图像。第一确定子模块用于基于所述第一位置参数确定与所述视频帧图像对应的预测偏移量。以及第一处理子模块用于基于所述预测偏移量对所述视频帧图像进行所述第一方向的第一补偿防抖处理。

可选地，第一获取子模块具体用于基于图像配准法和/或惯性测量法获取与所述视频帧图像之前第一预定数量的视频帧图像对应的在第一方向上的第一位置参数。

可选地，第一确定子模块包括：预测单元、第一计算单元、以及第一确定单元。预测单元用于基于所述第一位置参数确定与所述视频帧图像对应的预测位置参数。第一计算单元用于基于所述第一位置参数和所述预测位置参数的变化，计算获得第一运动趋势曲线。以及第一确定单元用于将所述预测位置参数和所述第一运动趋势曲线上与所述视频帧图像对应的位置参数之间的差值作为所述预测偏移量。

可选地，预测单元用于基于所述第一位置参数进行线性拟合获得所述预测位置参数；或者，用于利用所述第一位置参数进行神经网络模型训练，基于训练得到的神经网络模型确定所述预测位置参数。

可选地，第二处理模块包括：第二获取子模块、第一计算子模块、以及第二处理子模块。第二获取子模块用于获取与所述视频帧图像之前的第二预定数量的视频帧图像、所述视频帧图像、以及所述视频帧图像之后的第三预定数量的视频帧图像对应的在第一方向上的第二位置参数，其中，所述视频帧图像是所述拍摄视频的过程中获取的任意一视频帧图像。第一计算子模块用于基于所述第二位置参数的变化，计算获得第二运动趋势曲线。以及第二处理子模块用于基于与所述视频帧图像对应的第二位置参数和所述第二运动趋势曲线上与所述视频帧图像对应的位置参数之间的差值，对所述视频帧图像进行所述第一方向的第二补偿防抖处理。

可选地，第二获取子模块具体用于基于图像配准法和/或惯性测量法获取与所述视频帧图像之前的第二预定数量的视频帧图像、所述视频帧图像、以及所述视频帧图像之后的第三预定数量的视频帧图像对应的在第一方向上的第二位置参数。

可选地，基于第一方式对所述视频帧图像进行防抖处理的开始时间早于所述基于第二方式对所述视频帧图像进行防抖处理的开始时间。所述基于第一方式对所述视频帧图像进行防抖处理所需要的时间小于所述基于第二方式对所述视频帧图像进行防抖处理所需要的时间。多个视频帧图像经基于第二方式的防抖处理后的稳定性高于所述多个视频帧图像经基于第一方式的防抖处理后的稳定性。

本公开的另一方面提供了一种电子设备，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时用于实现如上所述的方法。

本公开的另一方面提供了一种计算机可读存储介质，存储有计算机可执行指令，所述指令在被执行时用于实现如上所述的方法。

本公开的另一方面提供了一种计算机程序，所述计算机程序包括计算机可执行指令，所述指令在被执行时用于实现如上所述的方法。

附图说明

为了更完整地理解本公开及其优势，现在将参考结合附图的以下描述，其中：

图1示意性示出了根据本公开实施例的电子设备的视频处理方法、装置和电子设备的应用场景；

图2示意性示出了根据本公开实施例的电子设备的视频处理方法的流程图；

图3A示意性示出了根据本公开实施例的获得预测偏移量的过程的示意图；

图3B示意性示出了根据本公开实施例的获得实际偏移量的过程的示意图；

图4示意性示出了根据本公开实施例的电子设备的视频处理装置的框图；

图5示意性示出了根据本公开另一实施例的电子设备的视频处理装置的框图；以及

图6示意性示出了根据本公开实施例的电子设备的框图。

具体实施方式

以下，将参照附图来描述本公开的实施例。但是应该理解，这些描述只是示例性的，而并非要限制本公开的范围。在下面的详细描述中，为便于解释，阐述了许多具体的细节以提供对本公开实施例的全面理解。然而，明显地，一个或多个实施例在没有这些具体细节的情况下也可以被实施。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本公开的概念。

在此使用的术语仅仅是为了描述具体实施例，而并非意在限制本公开。在此使用的术语“包括”、“包含”等表明了所述特征、步骤、操作和/或部件的存在，但是并不排除存在或添加一个或多个其他特征、步骤、操作或部件。

在此使用的所有术语(包括技术和科学术语)具有本领域技术人员通常所理解的含义，除非另外定义。应注意，这里使用的术语应解释为具有与本说明书的上下文相一致的含义，而不应以理想化或过于刻板的方式来解释。

在使用类似于“A、B和C等中至少一个”这样的表述的情况下，一般来说应该按照本领域技术人员通常理解该表述的含义来予以解释(例如，“具有A、B和C中至少一个的***”应包括但不限于单独具有A、单独具有B、单独具有C、具有A和B、具有A和C、具有B和C、和/或具有A、B、C的***等)。在使用类似于“A、B或C等中至少一个”这样的表述的情况下，一般来说应该按照本领域技术人员通常理解该表述的含义来予以解释(例如，“具有A、B或C中至少一个的***”应包括但不限于单独具有A、单独具有B、单独具有C、具有A和B、具有A和C、具有B和C、和/或具有A、B、C的***等)。

附图中示出了一些方框图和/或流程图。应理解，方框图和/或流程图中的一些方框或其组合可以由计算机程序指令来实现。这些计算机程序指令可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器，从而这些指令在由该处理器执行时可以创建用于实现这些方框图和/或流程图中所说明的功能/操作的装置。本公开的技术可以硬件和/或软件(包括固件、微代码等)的形式来实现。另外，本公开的技术可以采取存储有指令的计算机可读存储介质上的计算机程序产品的形式，该计算机程序产品可供指令执行***使用或者结合指令执行***使用。

本公开的实施例提供了一种电子设备的视频处理方法、装置和电子设备。该方法包括视频帧图像获取阶段、第一防抖处理阶段、以及第二防抖处理阶段。在电子设备开始进行视频拍摄时，进入视频帧图像获取阶段，获取视频帧图像。对于获取到的每个视频帧图像，在第一防抖处理阶段和第二防抖处理阶段分别对该视频帧图像进行基于第一方式的防抖处理和基于第二方式的防抖处理，第二方式与第一方式不同。经第一方式的防抖处理后的视频帧图像用于作为拍摄视频的过程中的预览帧图像进行展示，经第二方式的防抖处理后的视频帧图像用于生成拍摄视频的过程结束后最终生成的视频文件。

图1示意性示出了根据本公开实施例的电子设备的视频处理方法、装置和电子设备的应用场景。需要注意的是，图1所示仅为可以应用本公开实施例的场景的示例，以帮助本领域技术人员理解本公开的技术内容，但并不意味着本公开实施例不可以用于其他设备、***、环境或场景。

如图1所示，该应用场景展示了用户使用电子设备100拍摄视频的情景。当用户触发电子设备100上开始视频拍摄的实体按键或虚拟按键时，电子设备100开始视频拍摄。在视频拍摄的过程中，用户可以通过电子设备100的显示屏进行预览。当用户触发电子设备上结束视频拍摄的实体按键或虚拟按键时，电子设备100结束视频拍摄，上述视频拍摄过程生成视频文件并存储于指定存储空间中。后续用户可以根据需要对该视频文件进行观看、编辑、剪辑、传输等。

图1所示的电子设备100为智能手机，可以具有一个摄像头或者多个摄像头。在其他实施例中，电子设备100可以是具有显示屏且支持视频/图像拍摄的各种电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等，在此不做限制。

在上述图1所示的场景中，由于用户在手持电子设备拍摄视频时的稳定性较差，导致拍摄视频的画面出现抖动(Jitter)，根据本公开实施例的电子设备的视频处理方法和装置可以应用于图1所示的电子设备中，以在视频拍摄过程中展示更符合用户观看需求的预览画面。

图2示意性示出了根据本公开实施例的电子设备的视频处理方法的流程图。

如图2所示，该方法在电子设备拍摄视频的过程中，执行操作S201～S203。

在操作S201，获取视频帧图像。

其中，电子设备在拍摄视频的过程中，以一定的帧率获取视频帧图像，直至视频拍摄结束。所获取的视频帧图像的序列一方面用于在视频拍摄的过程中展示预览，一方面用于后续生成与该视频拍摄的过程对应的视频文件。

在操作S202，基于第一方式对所述视频帧图像进行防抖处理。

本操作S202对于操作S201获取到的每一视频帧图像，基于第一方式对该视频帧图像进行防抖处理，经基于第一方式的防抖处理后的所述视频帧图像作为电子设备拍摄视频的过程中的预览帧图像进行展示。

在操作S203，基于第二方式对所述视频帧图像进行防抖处理。

本操作S203对于操作S201获取到的每一视频帧图像，还基于第二方式对该视频帧图像进行防抖处理，经基于第二方式的防抖处理后的所述视频帧图像作为电子设备拍摄视频的过程最终生成的视频文件的一帧图像。其中，上述第二方式与上述第一方式不同。

可见，图2所示的方法在电子设备拍摄视频的过程中，对于获取到的任一视频帧图像，分别基于两种不同的方式进行两种不同的防抖处理，并将两种防抖处理结果分别用作视频拍摄过程的视频预览和最终视频生成，两个处理过程相互独立，可以根据用户对视频预览和最终视频文件的需求不同而进行设置。根据本公开实施例的电子设备的视频处理方法能够克服现有技术无法兼顾视频预览画面的稳定性和即时性的问题。

在本公开的实施例中，基于第一方式对视频帧图像进行的防抖处理，实质上是依据对于该视频帧图像的预测数据来对该视频帧图像进行的防抖处理，而基于第二方式对视频帧图像进行的防抖处理，实质上是依据对于该视频帧图像的测量数据来对该视频帧图像进行的防抖处理。

在本公开的一个实施例中，对于视频拍摄过程获取到的每一视频帧图像，上述基于第一方式对视频帧图像进行防抖处理可以是基于对于该视频帧图像的预测偏移量对该视频帧图像进行补偿防抖处理，可以包括：获取与所述视频帧图像之前的第一预定数量的视频帧图像对应的在第一方向上的第一位置参数，其中第一预定数量可以根据实际需要设置；基于所述第一位置参数确定与所述视频帧图像对应的预测偏移量(offset)；以及基于所述预测偏移量对所述视频帧图像进行所述第一方向的第一补偿防抖处理。其中，对于一个视频帧图像来说，第一方向上的偏移量是指该视频帧图像在第一方向上因抖动而产生的偏移量，本实施例中的预测偏移量是指通过预测算法得到的该偏移量。

具体地，作为一个可选的实施例，上述获取与所述视频帧图像之前第一预定数量的视频帧图像对应的在第一方向上的第一位置参数包括：基于图像配准(ImageRegistration)法和/或惯性测量(Inertial Measurement)法获取与所述视频帧图像之前第一预定数量的视频帧图像对应的在第一方向上的第一位置参数。其中，图像配准法是通过对在不同时间下获取到的视频帧图像进行比对、匹配、分析、叠加进而获得与所述视频帧图像之前的第一预定数量的视频帧图像对应的第一位置参数的方式，此时第一位置参数具体可以表征某一特定图像特征在上述第一预定数量的视频帧图像中的位置参数。惯性测量法是通过电子设备的惯性测量单元(Inertial Measurement Unit)测量拍摄视频的感光元件的姿态变化进而获得与所述视频帧图像之前的第一预定数量的视频帧图像对应的位置参数的方式，此时第一位置参数具体可以表征电子设备拍摄上述第一预定数量的视频帧图像时感光元件的位置参数。

在此基础上，作为一个可选的实施例，上述基于所述第一位置参数确定与所述视频帧图像对应的预测偏移量包括：对于一个视频帧图像，基于与该视频帧图像之前的第一预定数量的视频帧图像对应的第一位置参数确定与该视频帧图像对应的预测位置参数；基于所述第一位置参数和所述预测位置参数的变化，计算获得第一运动趋势曲线；以及将所述预测位置参数和所述第一运动趋势曲线上与该视频帧图像对应的位置参数之间的差值作为所述预测偏移量。

具体可选地，上述基于所述第一位置参数确定与所述视频帧图像对应的预测位置参数包括：基于所述第一位置参数进行线性拟合获得所述预测位置参数；或者利用所述第一位置参数进行神经网络模型训练，基于训练得到的神经网络模型确定所述预测位置参数。

以第一方向为水平方向为例进行说明。对于一个视频帧图像A，该视频帧图像A之前的6个视频帧图像为视频帧图像A1～A6。在视频拍摄过程中，当获取到视频帧图像A时，可以对该视频帧图像A进行基于第一方式的防抖处理。具体地，基于图像配准法和/或惯性测量法获取与该视频帧图像A之前的6个视频帧图像A1～A6对应的水平方向的第一位置参数。例如，与视频帧图像A1对应的水平位置坐标为x₁₁，与视频帧图像A2对应的水平位置坐标为x₂₁，与视频帧图像A3对应的水平位置坐标为x31，与视频帧图像A4对应的水平位置坐标为x₄₁，与视频帧图像A5对应的水平位置坐标为x₅₁，与视频帧图像A6对应的水平位置坐标为x₆₁。基于与视频帧图像A1～A6对应的水平位置坐标，可以预测得到与视频帧图像A对应的预测位置参数，进而得到与视频帧图像A对应的预测偏移量，参见图3A。

图3A示意性示出了根据本公开实施例的获得预测偏移量的过程的示意图。

如图3A所示，以6个离散点表示与视频帧图像A1～A6对应的水平位置。每个离散点的横坐标表示相应视频帧图像的获取时间，每个离散点的纵坐标表示与相应视频帧图像对应的水平位置坐标。利用线性拟合、线性回归、神经网络模型预测等方式，通过这6个离散点可以得到与视频帧图像A对应的第7个预测离散点，如图中所示，第7个预测离散点的横坐标表示视频帧图像A的获取时间，纵坐标表示与视频帧图像A对应的预测位置参数，本例中为预测水平位置坐标x₁。基于图中的6个测量离散点和1个预测离散点，可以拟合得到第一运动趋势曲线。该第一运动趋势曲线上与视频帧图像A的获取时间对应的点的纵坐标表征在没有抖动时与视频帧图像A对应的水平位置坐标的预测结果x₁’。将与视频帧图像A中的预测水平位置坐标x₁和无抖动时的预测水平位置坐标x₁’之间的差值作为视频帧图像A在水平方向上的预测偏移量。需要说明的是，在竖直方向上获得视频帧图像A的预测偏移量的过程与上述同理，在此不再赘述。

在本公开的一个实施例中，对于视频拍摄过程获取到的每一视频帧图像，上述基于第二方式对所述视频帧图像进行防抖处理包括：获取与所述视频帧图像之前的第二预定数量的视频帧图像、所述视频帧图像、以及所述视频帧图像之后的第三预定数量的视频帧图像对应的在第一方向上的第二位置参数，其中第二预定数量和第三预定数量均可以根据实际需要设置；基于所述第二位置参数的变化，计算获得第二运动趋势曲线；以及基于与所述视频帧图像对应的第二位置参数和所述第二运动趋势曲线上与所述视频帧图像对应的位置参数之间的差值，对所述视频帧图像进行所述第一方向的第二补偿防抖处理，其中，与所述视频帧图像对应的第二位置参数和所述第二运动趋势曲线上与所述视频帧图像对应的位置参数之间的差值即为与视频帧图像对应的实际偏移量。

具体地，作为一个可选的实施例，上述获取与所述视频帧图像之前的第二预定数量的视频帧图像、所述视频帧图像、以及所述视频帧图像之后的第三预定数量的视频帧图像对应的在第一方向上的第二位置参数包括：基于图像配准法和/或惯性测量法获取与所述视频帧图像之前的第二预定数量的视频帧图像、所述视频帧图像、以及所述视频帧图像之后的第三预定数量的视频帧图像对应的在第一方向上的第二位置参数。

以第一方向为水平方向为例进行说明。对于一个视频帧图像A，该视频帧图像A之前的6个视频帧图像为视频帧图像A1～A6，该视频帧图像A之后的3个视频帧图像为视频帧图像A7～A9。在视频拍摄过程中，在获取到视频帧图像A后，需要等待至获取到视频帧图像A7～A9，才可以对该视频帧图像A进行基于第二方式的防抖处理。具体地，基于图像配准法和/或惯性测量法获取与该视频帧图像A之前的6个视频帧图像A1～A6、该视频帧图像A、以及该视频帧图像A之后的3个视频帧图像A7～A9对应的水平方向的第二位置参数。例如，与视频帧图像A1对应的水平位置坐标为x₁₁，与视频帧图像A2对应的水平位置坐标为x₂₁，与视频帧图像A3对应的水平位置坐标为x₃₁，与视频帧图像A4对应的水平位置坐标为x₄₁，与视频帧图像A5对应的水平位置坐标为x₅₁，与视频帧图像A6对应的水平位置坐标为x₆₁，与视频帧图像A对应的水平位置坐标为x₂，与视频帧图像A7对应的水平位置坐标为x₇₁，与视频帧图像A8对应的水平位置坐标为x₈₁，与视频帧图像A9对应的水平位置坐标为x₉₁。基于上述获取到的多个水平位置坐标，可以计算得到与视频帧图像A对应的实际偏移量，参见图3B。

图3B示意性示出了根据本公开实施例的获得实际偏移量的过程的示意图。

如图3B所示，以10个离散点表示与上述视频帧图像A1～A6、视频帧图像A、以及视频帧图像A7～A9对应的水平位置。每个离散点的横坐标表示相应视频帧图像的获取时间，基于图中的10个测量离散点，可以拟合得到第二运动趋势曲线。该第二运动趋势曲线上与视频帧图像A的获取时间对应的点的纵坐标表征在没有抖动时与视频帧图像A对应的水平位置坐标x₂’。将与视频帧图像A中的水平位置坐标x₂和无抖动时的水平位置坐标x₂’之间的差值作为视频帧图像A在水平方向上的实际偏移量。需要说明的是，在竖直方向上获得视频帧图像A的实际偏移量的过程与上述同理，在此不再赘述。

通过上述说明可知，对于任一视频帧图像，对该视频帧图像基于第一方式进行防抖处理只需要已获得的在前视频帧图像的测量数据即可进行，且数据量较小，处理过程所需的时间较短，在获得该视频帧图像后很快即可得到基于第一方式进行防抖处理的处理结果并进行预览展示。而对该视频帧图像基于第二方式进行防抖处理不仅需要在前视频帧图像的测量数据，还需要当前该视频帧图像的测量数据以及在后视频帧图像的测量数据，在获得当前该视频帧图像后还需等待一段时间才可开始进行基于第二方式的防抖处理，且数据量较大，处理过程所需的时间较长，但计算得到的实际偏移量更为准确，防抖效果更好，用于生成最终视频文件。

也就是说，在本公开的实施例中，基于第一方式对所述视频帧图像进行防抖处理的开始时间早于基于第二方式对所述视频帧图像进行防抖处理的开始时间。基于第一方式对所述视频帧图像进行防抖处理所需要的时间小于基于第二方式对所述视频帧图像进行防抖处理所需要的时间。多个视频帧图像经基于第二方式的防抖处理后的稳定性高于所述多个视频帧图像经基于第一方式的防抖处理后的稳定性。

可见，根据本公开实施例的电子设备的视频处理方法一方面对获得的视频帧图像进行快速、粗略的预测性防抖处理，使得得到的视频预览画面的与实际拍摄过程之间的延时较小，且具有一定的稳定性，兼顾了视频预览的即时性和稳定性，符合用户对于视频预览的观看需求。另一方面在用户无感知的情况下还对获得的视频帧图像进行更为精确复杂的防抖处理用于生成最终视频文件，使得最终生成的视频文件具有更佳的画面稳定度，符合用户对于最终生成的视频文件的使用需求。

图4示意性示出了根据本公开实施例的电子设备的视频处理装置的框图。

如图4所示，电子设备的视频处理装置400包括：获取模块410、第一处理模块420、以及第二处理模块430。

获取模块410用于在电子设备拍摄视频的过程中，获取视频帧图像。

第一处理模块420用于基于第一方式对所述视频帧图像进行防抖处理。

第二处理模块430用于基于第二方式对所述视频帧图像进行防抖处理，所述第二方式与所述第一方式不同。

其中，经基于第一方式的防抖处理后的所述视频帧图像作为所述拍摄视频的过程中的预览帧图像进行展示，经基于第二方式的防抖处理后的所述视频帧图像作为所述拍摄视频的过程生成的视频文件的一帧图像。

图5示意性示出了根据本公开另一实施例的电子设备的视频处理装置的框图。

如图5所示，电子设备的视频处理装置500包括：获取模块510、第一处理模块520、以及第二处理模块530。获取模块510、第一处理模块520、以及第二处理模块530分别具有与获取模块410、第一处理模块420、以及第二处理模块430对应相同的功能，重复的部分不再赘述。

在本公开的一个实施例中，第一处理模块520包括：第一获取子模块521、第一确定子模块522、以及第一处理子模块523。

第一获取子模块521用于获取与所述视频帧图像之前的第一预定数量的视频帧图像对应的在第一方向上的第一位置参数，其中，所述视频帧图像是所述拍摄视频的过程中获取的任意一视频帧图像。第一确定子模块522用于基于所述第一位置参数确定与所述视频帧图像对应的预测偏移量。以及第一处理子模块523用于基于所述预测偏移量对所述视频帧图像进行所述第一方向的第一补偿防抖处理。

作为一个可选的实施例，第一获取子模块521具体用于基于图像配准法和/或惯性测量法获取与所述视频帧图像之前第一预定数量的视频帧图像对应的在第一方向上的第一位置参数。

具体地，作为一个可选的实施例，第一确定子模块522包括：预测单元、第一计算单元、以及第一确定单元。

预测单元用于基于所述第一位置参数确定与所述视频帧图像对应的预测位置参数。第一计算单元用于基于所述第一位置参数和所述预测位置参数的变化，计算获得第一运动趋势曲线。以及第一确定单元用于将所述预测位置参数和所述第一运动趋势曲线上与所述视频帧图像对应的位置参数之间的差值作为所述预测偏移量。

其中可选地，预测单元具体可以用于基于所述第一位置参数进行线性拟合获得所述预测位置参数；或者，用于利用所述第一位置参数进行神经网络模型训练，基于训练得到的神经网络模型确定所述预测位置参数。

在本公开的一个实施例中，第二处理模块530包括：第二获取子模块531、第一计算子模块532、以及第二处理子模块533。

第二获取子模块531用于获取与所述视频帧图像之前的第二预定数量的视频帧图像、所述视频帧图像、以及所述视频帧图像之后的第三预定数量的视频帧图像对应的在第一方向上的第二位置参数，其中，所述视频帧图像是所述拍摄视频的过程中获取的任意一视频帧图像。第一计算子模块532用于基于所述第二位置参数的变化，计算获得第二运动趋势曲线。以及第二处理子模块533用于基于与所述视频帧图像对应的第二位置参数和所述第二运动趋势曲线上与所述视频帧图像对应的位置参数之间的差值，对所述视频帧图像进行所述第一方向的第二补偿防抖处理。

作为一个可选的实施例，第二获取子模块531具体用于基于图像配准法和/或惯性测量法获取与所述视频帧图像之前的第二预定数量的视频帧图像、所述视频帧图像、以及所述视频帧图像之后的第三预定数量的视频帧图像对应的在第一方向上的第二位置参数。

可选地，第一处理模块520基于第一方式对所述视频帧图像进行防抖处理的开始时间早于第二处理模块530基于第二方式对所述视频帧图像进行防抖处理的开始时间。第一处理模块520基于第一方式对所述视频帧图像进行防抖处理所需要的时间小于第二处理模块530基于第二方式对所述视频帧图像进行防抖处理所需要的时间。多个视频帧图像经第二处理模块530防抖处理后的稳定性高于所述多个视频帧图像经第一处理模块520防抖处理后的稳定性。

需要说明的是，装置部分实施例中各模块/单元/子单元等的实施方式、解决的技术问题、实现的功能、以及达到的技术效果分别与方法部分实施例中各对应的步骤的实施方式、解决的技术问题、实现的功能、以及达到的技术效果相同或类似，在此不再赘述。

根据本公开的实施例的模块、子模块、单元、子单元中的任意多个、或其中任意多个的至少部分功能可以在一个模块中实现。根据本公开实施例的模块、子模块、单元、子单元中的任意一个或多个可以被拆分成多个模块来实现。根据本公开实施例的模块、子模块、单元、子单元中的任意一个或多个可以至少被部分地实现为硬件电路，例如现场可编程门阵列(FPGA)、可编程逻辑阵列(PLA)、片上***、基板上的***、封装上的***、专用集成电路(ASIC)，或可以通过对电路进行集成或封装的任何其他的合理方式的硬件或固件来实现，或以软件、硬件以及固件三种实现方式中任意一种或以其中任意几种的适当组合来实现。或者，根据本公开实施例的模块、子模块、单元、子单元中的一个或多个可以至少被部分地实现为计算机程序模块，当该计算机程序模块被运行时，可以执行相应的功能。

例如，获取模块510、第一处理模块520、以及第二处理模块530中的任意多个可以合并在一个模块中实现，或者其中的任意一个模块可以被拆分成多个模块。或者，这些模块中的一个或多个模块的至少部分功能可以与其他模块的至少部分功能相结合，并在一个模块中实现。根据本公开的实施例，获取模块510、第一处理模块520、以及第二处理模块530中的至少一个可以至少被部分地实现为硬件电路，例如现场可编程门阵列(FPGA)、可编程逻辑阵列(PLA)、片上***、基板上的***、封装上的***、专用集成电路(ASIC)，或可以通过对电路进行集成或封装的任何其他的合理方式等硬件或固件来实现，或以软件、硬件以及固件三种实现方式中任意一种或以其中任意几种的适当组合来实现。或者，获取模块510、第一处理模块520、以及第二处理模块530中的至少一个可以至少被部分地实现为计算机程序模块，当该计算机程序模块被运行时，可以执行相应的功能。

图6示意性示出了根据本公开实施例的适于实现上文描述的方法的电子设备的框图。图6示出的电子设备仅仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。

如图6所示，电子设备600包括处理器610和计算机可读存储介质620。该电子设备600可以执行根据本公开实施例的方法。

具体地，处理器610例如可以包括通用微处理器、指令集处理器和/或相关芯片组和/或专用微处理器(例如，专用集成电路(ASIC))，等等。处理器610还可以包括用于缓存用途的板载存储器。处理器610可以是用于执行根据本公开实施例的方法流程的不同动作的单一处理单元或者是多个处理单元。

计算机可读存储介质620，例如可以是非易失性的计算机可读存储介质，具体示例包括但不限于：磁存储装置，如磁带或硬盘(HDD)；光存储装置，如光盘(CD-ROM)；存储器，如随机存取存储器(RAM)或闪存；等等。

计算机可读存储介质620可以包括计算机程序621，该计算机程序621可以包括代码/计算机可执行指令，其在由处理器610执行时使得处理器610执行根据本公开实施例的方法或其任何变形。

计算机程序621可被配置为具有例如包括计算机程序模块的计算机程序代码。例如，在示例实施例中，计算机程序621中的代码可以包括一个或多个程序模块，例如包括621A、模块621B、……。应当注意，模块的划分方式和个数并不是固定的，本领域技术人员可以根据实际情况使用合适的程序模块或程序模块组合，当这些程序模块组合被处理器610执行时，使得处理器610可以执行根据本公开实施例的方法或其任何变形。

根据本发明的实施例，获取模块510、第一处理模块520、以及第二处理模块530中的至少一个可以实现为参考图6描述的计算机程序模块，其在被处理器610执行时，可以实现上文所述的电子设备的视频处理方法。

本公开还提供了一种计算机可读存储介质，该计算机可读存储介质可以是上述实施例中描述的设备/装置/***中所包含的；也可以是单独存在，而未装配入该设备/装置/***中。上述计算机可读存储介质承载有一个或者多个程序，当上述一个或者多个程序被执行时，实现根据本公开实施例的方法。

根据本公开的实施例，计算机可读存储介质可以是非易失性的计算机可读存储介质，例如可以包括但不限于：便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行***、装置或者器件使用或者与其结合使用。

附图中的流程图和框图，图示了按照本公开各种实施例的***、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的***来实现，或者可以用专用硬件与计算机指令的组合来实现。

本领域技术人员可以理解，本公开的各个实施例和/或权利要求中记载的特征可以进行多种组合和/或结合，即使这样的组合或结合没有明确记载于本公开中。特别地，在不脱离本公开精神和教导的情况下，本公开的各个实施例和/或权利要求中记载的特征可以进行多种组合和/或结合。所有这些组合和/或结合均落入本公开的范围。

尽管已经参照本公开的特定示例性实施例示出并描述了本公开，但是本领域技术人员应该理解，在不背离所附权利要求及其等同物限定的本公开的精神和范围的情况下，可以对本公开进行形式和细节上的多种改变。因此，本公开的范围不应该限于上述实施例，而是应该不仅由所附权利要求来进行确定，还由所附权利要求的等同物来进行限定。

Claims (10)

1.一种电子设备的视频处理方法，包括：

在电子设备拍摄视频的过程中，

按照预定帧率获取视频帧图像；

针对所获取的每个视频帧图像，

基于第一方式对所述视频帧图像进行防抖处理，包括：基于预测偏移量对所述视频帧图像进行所述第一方向的第一补偿防抖处理；

基于第二方式对所述视频帧图像进行防抖处理，包括：基于计算获得的第二运动趋势曲线对所述视频帧图像进行所述第一方向的第二补偿防抖处理；所述第二方式与所述第一方式不同；

其中，经基于第一方式的防抖处理后的所述视频帧图像作为所述拍摄视频的过程中的预览帧图像进行展示，经基于第二方式的防抖处理后的所述视频帧图像作为所述拍摄视频的过程生成的视频文件的一帧图像。

2.根据权利要求1所述的方法，其中，所述基于第一方式对所述视频帧图像进行防抖处理包括：

获取与所述视频帧图像之前的第一预定数量的视频帧图像对应的在第一方向上的第一位置参数，其中，所述视频帧图像是所述拍摄视频的过程中获取的任意一视频帧图像；

基于所述第一位置参数确定与所述视频帧图像对应的预测偏移量；以及

基于所述预测偏移量对所述视频帧图像进行所述第一方向的第一补偿防抖处理。

3.根据权利要求2所述的方法，其中，所述获取与所述视频帧图像之前第一预定数量的视频帧图像对应的在第一方向上的第一位置参数包括：

基于图像配准法和/或惯性测量法获取与所述视频帧图像之前第一预定数量的视频帧图像对应的在第一方向上的第一位置参数。

4.根据权利要求2所述的方法，其中，所述基于所述第一位置参数确定与所述视频帧图像对应的预测偏移量包括：

基于所述第一位置参数确定与所述视频帧图像对应的预测位置参数；

基于所述第一位置参数和所述预测位置参数的变化，计算获得第一运动趋势曲线；以及

将所述预测位置参数和所述第一运动趋势曲线上与所述视频帧图像对应的位置参数之间的差值作为所述预测偏移量。

5.根据权利要求4所述的方法，其中，所述基于所述第一位置参数确定与所述视频帧图像对应的预测位置参数包括：

基于所述第一位置参数进行线性拟合获得所述预测位置参数；或者

利用所述第一位置参数进行神经网络模型训练，基于训练得到的神经网络模型确定所述预测位置参数。

6.根据权利要求1所述的方法，其中，所述基于第二方式对所述视频帧图像进行防抖处理包括：

获取与所述视频帧图像之前的第二预定数量的视频帧图像、所述视频帧图像、以及所述视频帧图像之后的第三预定数量的视频帧图像对应的在第一方向上的第二位置参数，其中，所述视频帧图像是所述拍摄视频的过程中的任意一视频帧图像；

基于所述第二位置参数的变化，计算获得第二运动趋势曲线；以及

基于与所述视频帧图像对应的第二位置参数和所述第二运动趋势曲线上与所述视频帧图像对应的位置参数之间的差值，对所述视频帧图像进行所述第一方向的第二补偿防抖处理。

7.根据权利要求6所述的方法，其中，所述获取与所述视频帧图像之前的第二预定数量的视频帧图像、所述视频帧图像、以及所述视频帧图像之后的第三预定数量的视频帧图像对应的在第一方向上的第二位置参数包括：

基于图像配准法和/或惯性测量法获取与所述视频帧图像之前的第二预定数量的视频帧图像、所述视频帧图像、以及所述视频帧图像之后的第三预定数量的视频帧图像对应的在第一方向上的第二位置参数。

8.根据权利要求1所述的方法，其中：

所述基于第一方式对所述视频帧图像进行防抖处理的开始时间早于所述基于第二方式对所述视频帧图像进行防抖处理的开始时间；

所述基于第一方式对所述视频帧图像进行防抖处理所需要的时间小于所述基于第二方式对所述视频帧图像进行防抖处理所需要的时间；

多个视频帧图像经基于第二方式的防抖处理后的稳定性高于所述多个视频帧图像经基于第一方式的防抖处理后的稳定性。

9.一种电子设备的视频处理装置，包括：

获取模块，用于在电子设备拍摄视频的过程中，按照预定帧率获取视频帧图像；

第一处理模块，用于针对所获取的每个视频帧图像，基于第一方式对所述视频帧图像进行防抖处理，包括：基于预测偏移量对所述视频帧图像进行所述第一方向的第一补偿防抖处理；

第二处理模块，用于针对所获取的每个视频帧图像，基于第二方式对所述视频帧图像进行防抖处理，包括：基于计算获得的第二运动趋势曲线对所述视频帧图像进行所述第一方向的第二补偿防抖处理；所述第二方式与所述第一方式不同；

其中，经基于第一方式的防抖处理后的所述视频帧图像作为所述拍摄视频的过程中的预览帧图像进行展示，经基于第二方式的防抖处理后的所述视频帧图像作为所述拍摄视频的过程生成的视频文件的一帧图像。

10.一种电子设备，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时用于实现：

在电子设备拍摄视频的过程中，

按照预定帧率获取视频帧图像；

针对所获取的每个视频帧图像，

基于第一方式对所述视频帧图像进行防抖处理，包括：基于预测偏移量对所述视频帧图像进行所述第一方向的第一补偿防抖处理；

基于第二方式对所述视频帧图像进行防抖处理，包括：基于计算获得的第二运动趋势曲线对所述视频帧图像进行所述第一方向的第二补偿防抖处理；所述第二方式与所述第一方式不同；

其中，经基于第一方式的防抖处理后的所述视频帧图像作为所述拍摄视频的过程中的预览帧图像进行展示，经基于第二方式的防抖处理后的所述视频帧图像作为所述拍摄视频的过程生成的视频文件的一帧图像。

Images