CN116095484B - 一种视频防抖方法、装置及电子设备 - Google Patents

Abstract

本申请提供了一种视频防抖方法、装置及电子设备，涉及人工智能技术领域。该视频防抖方法可以在使用EIS进行防抖时自适应对第一次路径优化得到的结果进行矫正，从而缓解了第一次路径优化产生的误差累积，进而可以保证能够输出稳定的图像，提升了防抖效果。此外，该方法中在进行第一次路径优化前也可以使用OIS的偏移量和预设数量的帧图像的位置预测下一帧图像的位置，从而提升了预测的准确性。

Description

一种视频防抖方法、装置及电子设备

技术领域

本申请涉及人工智能技术领域，尤其涉及一种视频防抖方法、装置及电子设备。

背景技术

视频拍摄是带摄像头的电子设备(比如：手机、平板、运动相机等)的基础功能。拍摄高清晰度和强画面稳定性的视频是产品核心竞争力之一。目前，在拍摄视频时主要采用电子防抖技术(electric image stabilization，EIS)，但在某些场景下，比如：长曝光下手抖模糊带来的画面颤动场景，单一的EIS技术的防抖效果较差。

发明内容

本申请提供了一种视频防抖方法、装置及电子设备，能够保证输出稳定的图像，提升了防抖效果。

第一方面，本申请提供了一种视频防抖方法，该方法包括：获取第t帧图像和第t帧图像对应的第一位置，第一位置由拍摄第t帧图像的设备在拍摄第t帧图像时的运动数据所表示，t为大于或等于1的正整数；将第一位置和在第t帧图像之前的n帧图像的位置均输入至未来路径预测模型，得到第(t+1)帧图像对应的第一预测位置；根据第一位置、在第t帧图像之前的(n－1)帧图像的位置和第一预测位置，进行第一次路径优化，得到第一最优路径，第一最优路径中包括第t帧图像之前的(n－1)帧图像、第t帧图像和第(t+1)帧图像均为稳定的图像时各帧图像的理想位置，n为大于或等于1的正整数；确定目标帧图像的位置与目标帧图像对应的预测位置之间的目标偏差值大于预设偏差阈值，利用目标误差矫正量，对第一最优路径中第(t+1)帧图像对应的第一理想位置进行矫正，目标帧图像包括第t帧图像和在第t帧图像之前的n帧图像；根据第一位置和在第t帧图像之前的n帧图像的位置，进行第二次路径优化，得到第二最优路径，第二最优路径中包括第t帧图像之前的(n－1)帧图像和第t帧图像均为稳定的图像时各帧图像的理想位置；根据第一位置和第二最优路径中第t帧图像对应的第二理想位置，对第t帧图像进行处理，得到稳定的图像。这样，在使用EIS进行防抖时可以自适应对第一次路径优化得到的结果进行矫正，从而缓解了第一次路径优化产生的误差累积，并降低了第一次路径优化的结果在对下一帧图像处理时进行第二次路径优化的影响，进而保证能够输出稳定的图像，提升了防抖效果。其中，第一次路径优化的结果可以用于确定在对下一帧图像处理且进行第二次路径优化时对下一帧图像进行裁剪的边界。

在一种可能的实现方式中，利用目标误差矫正量，对第一最优路径中第(t+1)帧图像对应的第一理想位置进行矫正，具体包括：利用目标误差矫正量和预先设定的矫正量缩放比例，对第一最优路径中第(t+1)帧图像对应的第一理想位置进行矫正。

在一种可能的实现方式中，目标误差矫正量为预先设定的矫正量；或者，目标误差矫正量为对第(t－1)帧图像进行第二次路径优化得到的最优路径中第(t－1)帧图像的理想位置和对第(t－1)帧图像进行第一次路径优化得到的最优路径中第(t－1)帧图像的理想位置之间的差。

在一种可能的实现方式中，将第一位置和在第t帧图像之前的n帧图像的位置均输入至未来路径预测模型，得到第(t+1)帧图像对应的第一预测位置，具体包括：获取拍摄第t帧图像的设备上的光学防抖模块的偏移量；将第一位置、在第t帧图像之前的n帧图像的位置和偏移量均输入至未来路径预测模型，得到第(t+1)帧图像对应的第一预测位置。这样，在两级EIS防抖时使用“光学防抖模块(即OIS)的偏移量”和“各帧图像的历史真实位置”做为输入，并在第一次路径优化前，对未来1帧的运动状态做预测，提升了预测准确性。

第二方面，本申请提供了一种视频防抖装置，装置包括：获取模块，用于获取第t帧图像和第t帧图像对应的第一位置，第一位置由拍摄第t帧图像的设备在拍摄第t帧图像时的运动数据所表示，t为大于或等于1的正整数；处理模块，将第一位置和在第t帧图像之前的n帧图像的位置均输入至未来路径预测模型，得到第(t+1)帧图像对应的第一预测位置；处理模块，还用于根据第一位置、在第t帧图像之前的(n－1)帧图像的位置和第一预测位置，进行第一次路径优化，得到第一最优路径，第一最优路径中包括第t帧图像之前的(n－1)帧图像、第t帧图像和第(t+1)帧图像均为稳定的图像时各帧图像的理想位置，n为大于或等于1的正整数；处理模块，还用于确定目标帧图像的位置与目标帧图像对应的预测位置之间的目标偏差值大于预设偏差阈值，利用目标误差矫正量，对第一最优路径中第(t+1)帧图像对应的第一理想位置进行矫正，目标帧图像包括第t帧图像和在第t帧图像之前的n帧图像；处理模块，还用于根据第一位置和在第t帧图像之前的n帧图像的位置，进行第二次路径优化，得到第二最优路径，第二最优路径中包括第t帧图像之前的(n－1)帧图像和第t帧图像均为稳定的图像时各帧图像的理想位置；处理模块，还用于根据第一位置和第二最优路径中第t帧图像对应的第二理想位置，对第t帧图像进行处理，得到稳定的图像。

在一种可能的实现方式中，处理模块，还用于：利用目标误差矫正量和预先设定的矫正量缩放比例，对第一最优路径中第(t+1)帧图像对应的第一理想位置进行矫正。

在一种可能的实现方式中，目标误差矫正量为预先设定的矫正量；或者，目标误差矫正量为对第(t－1)帧图像进行第二次路径优化得到的最优路径中第(t－1)帧图像的理想位置和对第(t－1)帧图像进行第一次路径优化得到的最优路径中第(t－1)帧图像的理想位置之间的差。

在一种可能的实现方式中，获取模块，还用于：获取拍摄第t帧图像的设备上的光学防抖模块的偏移量；处理模块，还用于：将第一位置、在第t帧图像之前的n帧图像的位置和偏移量均输入至未来路径预测模型，得到第(t+1)帧图像对应的第一预测位置。

第三方面，本申请提供了一种电子设备，包括：

至少一个存储器，用于存储程序；

至少一个处理器，用于执行存储器存储的程序，当存储器存储的程序被执行时，处理器用于执行如第一方面中提供的方法。

第四方面，本申请提供了一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，当计算机程序在电子设备上运行时，使得电子设备执行如第一方面中提供的方法。

第五方面，本申请提供了一种计算机程序产品，其特征在于，当计算机程序产品在电子设备上运行时，使得电子设备执行如第一方面中提供的方法。

可以理解的是，上述第二方面至第五方面的有益效果可以参见上述第一方面中的相关描述，在此不再赘述。

附图说明

图1是本申请实施例提供的一种电子设备的硬件结构示意图；

图2是本申请实施例提供的一种视频防抖方法的流程示意图；

图3是本申请实施例提供的一种视频防抖方法的步骤示意图；

图4是本申请实施例提供的又一种视频防抖方法的步骤示意图；

图5是本申请实施例提供的一种视频防抖装置的结构示意图。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

本文中术语“和/或”，是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。本文中符号“/”表示关联对象是或者的关系，例如A/B表示A或者B。

本文中的说明书和权利要求书中的术语“第一”和“第二”等是用于区别不同的对象，而不是用于描述对象的特定顺序。例如，第一响应消息和第二响应消息等是用于区别不同的响应消息，而不是用于描述响应消息的特定顺序。

在本申请实施例中，“示例性的”或者“例如”等词用于表示作例子、例证或说明。本申请实施例中被描述为“示例性的”或者“例如”的任何实施例或设计方案不应被解释为比其它实施例或设计方案更优选或更具优势。确切而言，使用“示例性的”或者“例如”等词旨在以具体方式呈现相关概念。

在本申请实施例的描述中，除非另有说明，“多个”的含义是指两个或者两个以上，例如，多个处理单元是指两个或者两个以上的处理单元等；多个元件是指两个或者两个以上的元件等。

示例性的，电子防抖技术(electric image stabilization，EIS)主要是通过程序对图像传感器上的图像进行分析和采集，当单帧图像画面内容出现扭曲拉伸，或者连续多帧图像画面之间存在较大跳跃，即视频的抖动现象时，可以利用图像变换、移动像素位置等，消除抖动现象，从而实现“防抖”，其实现原理更像是对图像进行“后期处理”。

一般的，电子防抖技术采用的是两级电子防抖技术(two－stage electric imagestabilization，Two－Stage EIS)。该两级电子防抖技术可以在保证防抖效果前提下，分两步进行图像裁剪，从而降低通路上在EIS模块之前的图像处理模块的计算量和存储量。该两级电子防抖技术主要是通过两次路径优化，得到视频画面稳定的最优路径，然后再将输出的视频画面轨迹调整到该最优路径上，从而得到画面稳定性最佳的视频。可以理解的是，电子设备在移动过程中，其上的惯性度量单元(inertial measurement unit，IMU)可记录电子设备在某时刻的运动状态(比如：轴角速度、加速度等)，IMU记录的是电子设备的机身真实运动的过程，即为电子设备的机身的真实路径。在拍摄视频时，每帧画面对应时刻的电子设备的机身运动状态可表示为一个向量，即为路径上的一个点。多个连续画面帧对应的多个连续向量，即组成电子设备的机身运动的路径。其中，最优路径是指通过使用滤波或优化等算法对电子设备的机身的真实路径进行处理，得到的连续且平滑的、虚拟的、理想的路径。此外，计算最优路径的过程即为路径优化。

其中，在两级电子防抖技术中，一般先由电子设备的机身运动的历史数据预测未来一帧图像的位置。然后再使用当前帧图像的位置、预测得到的未来一帧图像的位置和当前帧图像之前的预设数量的图像的位置进行第一次路径优化，得到一个最优路径。接着，根据预测的未来一帧图像的位置和第一次路径优化后的未来一帧图像对应的位置，得到在对未来一帧图像进行第二次路径优化时的裁剪边界。接着，再使用当前帧图像的位置和当前帧图像之前的预设数量的图像的位置进行第二次路径优化，得到一个最优路径。最后，由当前帧图像的真实位置和第二次路径优化得到的最优路径中所包含的当前帧的理想位置，输出图像，该图像即为防抖处理后的图像。

由于在预测未来一帧图像的位置时存在误差，而第一次路径优化时是需要使用预测得到的未来一帧图像的位置，这就使得第一次路径优化得到的最优路径也存在误差。随着后续预测得到未来一帧图像的位置的误差的累积，将会导致后续进行路径优化时得到的最优路径变的越来越差，从而导致EIS稳像效果变差，即防抖效果变差。

为解决在使用EIS进行防抖时防抖效果较差的问题，本申请实施例提供了一种视频防抖方法。该视频防抖方法可以在使用EIS进行防抖时自适应对第一次路径优化得到的结果进行矫正，从而缓解了第一次路径优化产生的误差累积，进而可以保证能够输出稳定的图像，提升了防抖效果。

示例性的，图1示出了一种电子设备的硬件结构示意图。如图1所示，该电子设备100包括：相机模块110、惯性度量单元(inertial measurement unit，IMU)模块120、处理器130和存储器140。

其中，相机模块110可以用于采集图像。示例性的，相机模块110可以包括图像传感器111。图像传感器111可以用于生成某时刻的图像，该图像可以由多个像素组成。另外，相机模块110中还可以包括光学防抖(optical image stabilization，OIS)模块112。光学防抖模块112可以在图像传感器111生成图像的过程中，动态调整图像传感器111和相机模块110中镜片(图中未示出)之间的相对位置，以实现机械防抖，同时会输出电子设备100的机身的移动距离。

惯性度量单元模块120可以用于实时记录电子设备100的机身的旋转和平移，输出机身某时刻的位姿(即旋转和平移数据的表示形式)，一段时间的位姿即为机身在这段时间的运动路径。示例性的，惯性度量单元模块120可以包括陀螺仪和/或加速度计等。

处理器130是电子设备100的计算核心及控制核心。处理器130可以包括一个或多个处理单元。例如，处理器130可以包括应用处理器(application processor，AP)、调制解调器(modem)、图形处理器(graphics processing unit，GPU)、图像信号处理器(imagesignal processor，ISP)、控制器、视频编解码器、数字信号处理器(digital signalprocessor，DSP)、基带处理器、和/或神经网络处理器(neural－network processingunit，NPU)等中的一项或多项。其中，不同的处理单元可以是独立的器件，也可以集成在一个或多个处理器中。示例性的，处理器130可以通过图像处理算法对视频图像进行处理，例如处理视频图像的亮度、颜色、像素等。另外，处理器130也可以通过防抖算法对各种数据计算得到画面稳定的图像等。

存储器140可以存储有程序，程序可被处理器130运行，使得处理器130执行本申请提供的方法。存储器140还可以存储有数据。处理器130可以读取存储器140中存储的数据。存储器140和处理器130可以单独设置。可选地，存储器140也可以集成在处理器130中。

可以理解的是，本方案图1示意的结构并不构成对电子设备100的具体限定。在本方案另一些实施例中，电子设备100可以包括比图示更多或更少的部件，或者组合某些部件，或者拆分某些部件，或者不同的部件布置。图示的部件可以以硬件，软件或软件和硬件的组合实现。

可以理解的是，本申请实施例中，电子设备100可以是手机、平板电脑、桌面型计算机、膝上型计算机、手持计算机、笔记本电脑、超级移动个人计算机(ultra－mobilepersonal computer，UMPC)、上网本，以及蜂窝电话、个人数字助理(personal digitalassistant，PDA)、增强现实(augmented reality，AR)设备、虚拟现实(virtual reality，VR)设备、人工智能(artificial intelligence，AI)设备、可穿戴式设备、车载设备、智能家居设备和/或智慧城市设备，本申请实施例对该电子设备的具体类型不作特殊限制。

接下来，基于上文所描述的内容对本申请实施例中提供的视频防抖方法进行详细描述。

示例性的，图2示出了本申请实施例提供的一种视频防抖方法。其中，该视频防抖方法可以通过上文所描述的图1中的电子设备100执行，也可以通过任何具有计算、处理能力的装置、设备、平台、设备集群来执行。为便于叙述，下面以图1中的电子设备100为执行主体进行描述。具体地，如图2所示，该方法包括以下步骤：

S201、获取第t帧图像和该第t帧图像对应的第一位置，第一位置由电子设备100在拍摄第t帧图像时的运动数据所表示，t为大于或等于1的正整数。

具体地，电子设备100可以通过其上的图像传感器111获取到第t帧图像，以及通过其上的IMU模块120可以获取到在拍摄第t帧图像时电子设备100的运动数据(比如加速度数据、角速度数据等)，进而得到第t帧图像对应的第一位置。

S202、将第一位置和在第t帧图像之前的n帧图像的位置输入至未来路径预测模型，得到第(t+1)帧图像的路径的第一预测位置。

具体地，获取到第一位置后，可以将第一位置和在第t帧图像之前的n帧图像的位置输入至未来路径预测模型，得到第(t+1)帧图像的路径的第一预测位置。

作为一种可能的实现方式，由于电子设备100上的光学防抖模块112检测到的偏移量也可以反应电子设备100的运动状态，因此还可以将电子设备100上的光学防抖模块112检测到的偏移量也同时输入至未来路径预测模型，以得到第一预测位置，由此以提升路径预测的准确度。

S203、根据第一位置、在第t帧图像之前的(n－1)帧图像的位置和第一预测位置，进行第一次路径优化，得到第一最优路径，该第一最优路径中包括第t帧图像之前的(n－1)帧图像、第t帧图像和第(t+1)帧图像均为稳定的图像时各帧图像的理想位置，n为大于或等于1的正整数。

具体地，预测出第(t+1)帧图像的路径的第一预测路径后，可以根据第一位置、在第t帧图像之前的n帧图像的位置和第一预测位置，进行第一次路径优化，得到第一最优路径。示例性的，可以将第一位置、在第t帧图像之前的n帧图像的位置和第一预测位置输入至路径优化模型，进行第一次路径优化，并得到第一最优路径。另外，也可以使用滤波算法(比如均值滤波等)对第一位置、在第t帧图像之前的n帧图像的位置和第一预测位置进行处理，以得到第一最优路径。

S204、确定目标帧图像的位置与目标帧图像对应的预测位置之间的目标偏差值是否大于预设偏差阈值，目标帧图像包括第t帧图像和在第t帧图像之前的n帧图像。

具体地，在进行第一次路径优化后，可以确定目标帧图像的位置与目标帧图像对应的预测位置之间的目标偏差值是否大于预设偏差阈值。其中，目标帧图像包括第t帧图像和在第t帧图像之前的n帧图像。示例性的，可以先确定每帧图像的位置和其所对应的预测位置之间的偏差值，然后再将所有的偏差值的平均值、方差值等作为目标偏差值。

当目标偏差值大于预设偏差阈值时，表明第一次路径优化得到的第一最优路径中第(t+1)帧图像对应的理想位置与其真实的路径之间的偏差较大，此时需要对中第(t+1)帧图像对应的理想位置进行矫正，即执行S205。否则，则执行S206。

S205、利用目标误差矫正量，对第一最优路径中第(t+1)帧图像对应的第一理想位置进行矫正。

具体地，可以使用预先设定的误差矫正量对第一最优路径中第(t+1)帧图像对应的第一理想位置进行矫正。

另外，也可以使用对第(t－1)帧图像进行第二次路径优化得到的最优路径中第(t－1)帧图像的理想位置和进行第一次路径优化得到的最优路径中第(t－1)帧图像的理想位置之间的差进行矫正。也即是说，可以使用目标误差矫正量可以为预设值，也可以为对第(t－1)帧图像进行第二次路径优化得到的最优路径中第(t－1)帧图像的理想位置和进行第一次路径优化得到的最优路径中第(t－1)帧图像的理想位置之间的差。

在一个例子中，还可以根据第一理想位置和第一预测位置，确定第(t+1)帧图像对应的收缩边界。具体地，可以根据第一理想位置和第一预测位置，确定出第(t+1)帧图像对应的收缩边界。示例性的，收缩边界可以为预设的边界阈值减去第一理想位置与第一预测位置之间的绝对值所得到的数据。另外，各帧图像对应的收缩边界可以用于在对该帧图像进行处理时(比如进行第二次路径优化时)对该帧图像进行裁剪，以减少图像的存储量和计算量，提升处理效率。示例性的，预设的边界阈值可以为在对待处理的一帧图像进行第一次路径优化时对该帧图像进行裁剪的边界。

S206、根据第一位置和在第t帧图像之前的n帧图像的位置，进行第二次路径优化，得到第二最优路径，第二最优路径中包括第t帧图像之前的(n－1)帧图像和第t帧图像均为稳定的图像时各帧图像的理想位置。

具体地，可以根据第一位置和在第t帧图像之前的n帧图像的位置，进行第二次路径优化，得到第二最优路径。其中，第二最优路径中包括第t帧图像之前的(n－1)帧图像和第t帧图像均为稳定的图像时各帧图像的理想位置。示例性的，可以将第一位置和在第t帧图像之前的n帧图像的位置输入至路径优化模型，进行第一次路径优化，并得到第二最优路径。另外，也可以使用滤波算法(比如均值滤波等)对第一位置和在第t帧图像之前的n帧图像的位置进行处理，以得到第二最优路径。

S207、根据第一位置和第二最优路径中第t帧图像对应的第二理想位置，对第t帧图像进行处理，得到稳定的图像。

具体地，得到第二最优路径后，可以根据第一位置和第二最优路径中第t帧图像对应的第二理想位置，对第t帧图像进行处理，得到稳定的图像。示例性的，可以将第位置和第二理想位置输入至罗德里格斯旋转矩阵公式，得到第t帧图像上的像素坐标变化前后的关系即坐标变换的矩阵，进而可以对第t帧图像的像素做移动，并输出稳定的图像，从而达到EIS防抖的目的。可以理解的是，由于EIS采用的是基于位置到最优路径的运动状态变换得到画面像素移动变换的软件算法，而由运动状态变换计算像素移动变换的公式即为罗德里格斯旋转矩阵公式，所以可以通过罗德里格斯旋转矩阵公式得到稳定的图像。

由此，本申请实施例提供的视频防抖方法中，在使用EIS防抖技术过程中，采用自适应误差矫正技术，动态调整第一次路径优化结果，从而消除了在进行第一次路径优化时误差累积问题，提升两级防抖稳像效果。

以上即是对本申请实施例提供的视频防抖方法的描述，为便于理解下面举例进行说明。

示例性的，图3示出了一种视频防抖方法的过程示意图。如图3所示，具体包括以下步骤：

S301、初始化。

具体地，初始化可以包括：误差矫正量Δs，矫正开启阈值e，矫正量缩放比例参数α，相机内参矩阵K，优化边界阈值σ，罗德里格斯公式R等。

其中，矫正量缩放比例参数α可以理解为矫正的力度；当矫正量缩放比例参数α大时，则矫正力度大，当矫正量缩放比例参数α小时，则矫正力度小。

相机内参矩阵K是由电子设备上的相机本身物理特性决定的参数，可由经典相机标定算法(如张正友标定法)得到。

优化边界阈值σ是在使用EIS算法过程中需要剪裁的裁剪比例。由于EIS算法的实质是移动输入图像的像素，移动像素后，整幅图像不是规则的矩形，而需要输出规定分辨率的矩形，所以需要对边界做裁剪，这个裁剪比例即为边界阈值参数。

在一个例子中，S301并不是每次必须要执行，其可以根据实际情况进行选择，此处不做限定。

S302、获取第t帧图像和对应的位置/>

S303、未来1帧位置预测，得到未来1帧的位置

具体地，将第t帧图像和对应位置/>以及第t帧图像前的n个图像的位置做为输入，输入至预先训练好的未来路径预测模型，得到预测的未来1帧的位置/>示例性的，以n＝29为例，则是将/>输入至预先训练好的未来路径预测模型，得到预测的未来1帧的位置/>

S304、第一次路径优化。

具体地，将第t帧图像对应的位置第t帧图像前的(n－1)个图像的位置、未来1帧的位置/>作为输入，做第一次路径优化，得到第一次优化的最优路径，该最优路径中包含第t帧图像的理想位置和未来1帧图像的理想位置。示例性的，以n＝29为例，则做为输入的位置为/>做第一次路径优化时，各帧边界阈值均为σ，输出的第一次优化的最优路径为/>

在一个例子中，在进行第一次路径优化时，可以采用初始化时的优化边界阈值σ对进行第t帧图像裁剪，以减轻后续处理的计算量，提升处理效率。

S305、判断矫正是否开启。

具体地，可以计算包含第t帧的(n+1)个帧图像的位置与相应的预测位置之间的差值，然后再由该差值判断是否开启矫正。示例性的，以n＝29为例，预测平均误差 若该误差大于开启阈值e，则执行S306，否则跳过步骤S306。

S306、矫正第一次最优路径中未来1帧的理想位置。

具体地，可以使用初始化误差矫正量Δs和矫正量缩放比例参数α对第一次得到的最优路径中未来1帧的理想位置进行矫正。示例性的，矫正后的第一次最优路径中未来一帧的理想位置

S307、得到未来1帧图像的收缩边界。

具体地，由于EIS算法的实质是移动输入图像的像素，移动像素后，整幅图像不是规则的矩形，而需要输出规定分辨率的矩形，所以需要对边界做裁剪。此外，在两级防抖中执行了第一次路径优化，使用了部分可裁剪的边界，那么在做第二次路径优化时，可裁剪的边界范围减少，因此需要收缩边界。

其中，可以根据在处理(t－1)帧图像时预测得到的第t帧的位置和在处理(t－1)帧图像时矫正后的第一次最优路径/>收缩第t帧的边界阈值。新边界阈值 此外，此时也可以收缩第(t+1)帧图像的边界阈值，以便于后续处理第(t+1)帧图像。其中，第(t+1)帧图像的边界阈值为/>其中，σ_t+1可以为初始化时的优化边界阈值σ。

S308、第二次路径优化。

具体地，将第t帧图像对应的位置第t帧图像前的n个图像的位置作为输入，做第二次路径优化，得到第二次优化的最优路径，该最优路径中包含第t帧图像的的理想位置。示例性的，以n＝29为例，则做为输入的位置为/>做第二次路径优化时，各帧边界阈值分别是(∈_t-29,…,∈_t-1,∈_t)，输出的第二次优化的最优路径

在一个例子中，在进行第二次路径优化时，可以采用在对第(t－1)帧图像进行处理时得到的第t帧图像的收缩边界∈_t对经过第一次路径优化后被裁剪的第t帧图像再次进行裁剪，以减轻后续处理的计算量，提升处理效率。

S309、计算误差矫正量。

具体地，可以以两次路径优化的最优路径中第t帧图像对应的位置差异为误差矫正量其中，此处计算得到的误差矫正量为处理下一帧图像时的误差矫正量。

S310、输出防抖图像。

具体地，得到当前第t帧图像对应的防抖最优路径中的位置后，可以利用罗德里格斯旋转矩阵公式R和相机内参矩阵等，对第t帧图像的防抖最优路径/>和其真实位置/>进行处理，得到变换矩阵/>然后，再将得到的变换矩阵H作用在第t帧图像/>上即可以得到稳定图像/>

最后，在输出防抖图像后，可以跳转到S302，循环处理下一帧。具体地，处理完第t帧图像后，即可以开始处理第(t+1)帧图像。跳转到S302时可以将t更新为(t+1)。

示例性的，图4示出了另一种视频防抖方法的过程示意图。图4与图3的不同之处主要是在于图4中在预测未来一帧图像的路径时加入了电子设备上的OIS模块检测到的偏移量。

如图4所示，具体包括以下步骤：

S401、初始化。

具体地，初始化可以包括：初始化误差矫正量Δs，矫正开启阈值e，矫正量缩放比例参数α，相机内参矩阵K，优化边界阈值σ，罗德里格斯公式R等。

在一个例子中，S401并不是每次必须要执行，其可以根据实际情况进行选择，此处不做限定。

S402、获取第t帧图像和对应的位置/>

S403、OIS偏移量引导未来1帧路径预测，得到未来1帧的位置

具体地，将第t帧图像和对应位置/>第t帧图像前的n个图像的位置和电子设备上的OIS模块检测到的偏移量f做为输入，输入至预先训练好的未来路径预测模型，得到预测的未来1帧的位置/>示例性的，以n＝29为例，则是将/>输入至预先训练好的未来路径预测模型，得到预测的未来1帧的位置/>

S404、第一次路径优化。

具体地，将第t帧图像对应的位置第t帧图像前的(n－1)个图像的位置、未来1帧的位置/>作为输入，做第一次路径优化，得到第一次优化的最优路径，该最优路径中包含第t帧图像的理想位置和未来1帧图像的理想位置。示例性的，以n＝29为例，则做为输入的位置为/>做第一次路径优化时，各帧边界阈值均为σ，输出的第一次优化的最优路径为/>

在一个例子中，在进行第一次路径优化时，可以采用初始化时的优化边界阈值σ对进行第t帧图像裁剪，以减轻后续处理的计算量，提升处理效率。

S405、判断矫正是否开启。

具体地，可以计算包含第t帧的(n+1)个帧图像的位置与相应的预测位置之间的差值，然后再由该差值判断是否开启矫正。示例性的，以n＝29为例，预测平均误差 若该误差大于开启阈值e，则执行S406，否则跳过步骤S406。

S406、矫正第一次最优路径

具体地，可以使用初始化误差矫正量Δs和矫正量缩放比例参数α对第一次得到的最优路径中未来1帧的理想位置进行矫正。示例性的，矫正后的第一次最优路径中未来一帧的理想位置

S407、得到未来1帧图像的收缩边界。

具体地，由于EIS算法的实质是移动输入图像的像素，移动像素后，整幅图像不是规则的矩形，而我们需要输出规定分辨率的矩形，所以需要对边界做裁剪。此外，在两级防抖中执行了第一次路径优化，使用了部分可裁剪的边界，那么在做第二次路径优化时，可裁剪的边界范围减少，因此需要收缩边界。

其中，可以根据在处理(t－1)帧图像时预测得到的第t帧的位置和在处理(t－1)帧图像时矫正后的第一次最优路径/>收缩第t帧的边界阈值。新边界阈值 此外，此时也可以收缩第(t+1)帧图像的边界阈值，以便于后续处理第(t+1)帧图像。其中，第(t+1)帧图像的边界阈值为/>其中，σ_t+1可以为初始化时的优化边界阈值σ。

S408、第二次路径优化。

具体地，将第t帧图像对应的位置第t帧图像前的n个图像的位置作为输入，做第二次路径优化，得到第二次优化的最优路径，该最优路径中包含第t帧图像的的理想位置。示例性的，以n＝29为例，则做为输入的位置为/>做第二次路径优化时，各帧边界阈值分别是(∈_t-29,…,∈_t-1,∈_t)，输出的第二次优化的最优路径其中，最优路径中的各个值为各帧图像对应的理想位置。

在一个例子中，在进行第二次路径优化时，可以采用在对第(t－1)帧图像进行处理时得到的第t帧图像的收缩边界∈_t对经过第一次路径优化后被裁剪的第t帧图像再次进行裁剪，以减轻后续处理的计算量，提升处理效率。

S409、计算误差矫正量。

具体地，可以以两次路径优化的最优路径中第t帧图像对应的位置差异为误差矫正量其中，此处计算得到的误差矫正量为处理下一帧图像时的误差矫正量。

S410、输出防抖图像。

具体地，得到当前第t帧图像对应的防抖最优路径中的位置后，可以利用罗德里格斯旋转矩阵公式R和相机内参矩阵等，对第t帧图像的防抖最优路径/>和其真实位置/>进行处理，得到变换矩阵/>然后，再将得到的变换矩阵H作用在第t帧图像/>上即可以得到稳定图像/>

最后，在输出防抖图像后，可以跳转到S402，循环处理下一帧。具体地，处理完第t帧图像后，即可以开始处理第(t+1)帧图像。跳转到S402时可以将t更新为(t+1)。

可以理解的是，本申请的任意实施例中提供的方法，除了通过电子设备100执行外，也可以通过任何具有计算、处理能力的装置、设备、平台、设备集群来执行，其中，除电子设备100之外的执行主体执行的方式也在本申请的保护范围之内。此外，本申请的任意实施例中的各个步骤的执行顺序在不矛盾的前提下，可根据实际情况进行调整，调整后的技术方案也在本申请的范围之内。此外，本申请的任意实施例中的各个步骤也可以选择性执行，此处不做限定。另外，本申请的任意实施例的任意特征的全部或部分在不矛盾的前提下，可以自由地、任何地组合，组合后的技术方案也在本申请的保护范围之内。

基于上述实施例中的方法，本申请实施例还提供了一种视频防抖装置。请参阅图5，图5为本申请实施例提供的一种视频防抖装置的结构示意图。如图5所示，视频防抖装置500包括一个或多个处理器501以及接口电路502。可选的，视频防抖装置500还可以包含总线503。

其中：

处理器501可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器501中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器501可以是通用处理器、数字通信器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或者其它可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请实施例中的公开的各方法、步骤。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。接口电路502可以用于数据、指令或者信息的发送或者接收，处理器501可以利用接口电路502接收的数据、指令或者其它信息，进行加工，可以将加工完成信息通过接口电路502发送出去。

可选的，视频防抖装置还包括存储器，存储器可以包括只读存储器和随机存取存储器，并向处理器提供操作指令和数据。存储器的一部分还可以包括非易失性随机存取存储器(NVRAM)。可选的，存储器存储了可执行软件模块或者数据结构，处理器可以通过调用存储器存储的操作指令(该操作指令可存储在操作***中)，执行相应的操作。

可选的，接口电路502可用于输出处理器501的执行结果。

需要说明的，处理器501、接口电路502各自对应的功能既可以通过硬件设计实现，也可以通过软件设计来实现，还可以通过软硬件结合的方式来实现，这里不作限制。

应理解，上述方法实施例的各步骤可以通过处理器中的硬件形式的逻辑电路或者软件形式的指令完成。其中，该视频防抖装置可应用于上述图2中的电子设备100中，以实现本申请实施例中提供的方法。

可以理解的是，本申请的实施例中的处理器可以是中央处理单元(centralprocessing unit，CPU)，还可以是其他通用处理器、数字信号处理器(digital signalprocessor，DSP)、专用集成电路(application specific integrated circuit，ASIC)、现场可编程门阵列(field programmable gate array，FPGA)或者其他可编程逻辑器件、晶体管逻辑器件，硬件部件或者其任意组合。通用处理器可以是微处理器，也可以是任何常规的处理器。

本申请的实施例中的方法步骤可以通过硬件的方式来实现，也可以由处理器执行软件指令的方式来实现。软件指令可以由相应的软件模块组成，软件模块可以被存放于随机存取存储器(random access memory，RAM)、闪存、只读存储器(read－only memory，ROM)、可编程只读存储器(programmable rom，PROM)、可擦除可编程只读存储器(erasablePROM，EPROM)、电可擦除可编程只读存储器(electrically EPROM，EEPROM)、寄存器、硬盘、移动硬盘、CD－ROM或者本领域熟知的任何其它形式的存储介质中。一种示例性的存储介质耦合至处理器，从而使处理器能够从该存储介质读取信息，且可向该存储介质写入信息。当然，存储介质也可以是处理器的组成部分。处理器和存储介质可以位于ASIC中。

在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者通过所述计算机可读存储介质进行传输。所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘(solid state disk，SSD))等。

可以理解的是，在本申请的实施例中涉及的各种数字编号仅为描述方便进行的区分，并不用来限制本申请的实施例的范围。

Claims (10)

1.一种视频防抖方法，其特征在于，所述方法包括：

获取第t帧图像和所述第t帧图像对应的第一位置，第一位置由拍摄所述第t帧图像的设备在拍摄所述第t帧图像时的运动数据所表示，t为大于或等于1的正整数；

将所述第一位置和在所述第t帧图像之前的n帧图像的位置均输入至未来路径预测模型，得到第（t+1 ）帧图像对应的第一预测位置；

根据所述第一位置、在所述第t帧图像之前的（n-1）帧图像的位置和所述第一预测位置，进行第一次路径优化，得到第一最优路径，所述第一最优路径中包括所述第t帧图像之前的（n-1）帧图像、所述第t帧图像和所述第（t+1 ）帧图像均为稳定的图像时各帧图像的理想位置，n为大于或等于1的正整数；

确定目标帧图像的位置与目标帧图像对应的预测位置之间的目标偏差值大于预设偏差阈值，利用目标误差矫正量，对所述第一最优路径中所述第（t+1 ）帧图像对应的第一理想位置进行矫正，所述目标帧图像包括所述第t帧图像和在所述第t帧图像之前的n帧图像；

根据所述第一位置和在所述第t帧图像之前的n帧图像的位置，进行第二次路径优化，得到第二最优路径，所述第二最优路径中包括所述第t帧图像之前的（n-1）帧图像和所述第t帧图像均为稳定的图像时各帧图像的理想位置；

根据所述第一位置和所述第二最优路径中所述第t帧图像对应的第二理想位置，对所述第t帧图像进行处理，得到稳定的图像。

2.根据权利要求1所述的方法，其特征在于，所述利用目标误差矫正量，对所述第一最优路径中所述第（t+1 ）帧图像对应的第一理想位置进行矫正，具体包括：

利用所述目标误差矫正量和预先设定的矫正量缩放比例，对所述第一最优路径中所述第（t+1 ）帧图像对应的第一理想位置进行矫正。

3.根据权利要求1或2所述的方法，其特征在于，所述目标误差矫正量为预先设定的矫正量；

或者，所述目标误差矫正量为对第（t-1）帧图像进行第二次路径优化得到的最优路径中第（t-1）帧图像的理想位置和对所述第（t-1）帧图像进行第一次路径优化得到的最优路径中第（t-1）帧图像的理想位置之间的差。

4.根据权利要求1或2所述的方法，其特征在于，所述将所述第一位置和在所述第t帧图像之前的n帧图像的位置均输入至未来路径预测模型，得到第（t+1 ）帧图像对应的第一预测位置，具体包括：

获取拍摄所述第t帧图像的设备上的光学防抖模块的偏移量；

将所述第一位置、在所述第t帧图像之前的n帧图像的位置和所述偏移量均输入至未来路径预测模型，得到第（t+1 t+1）帧图像对应的第一预测位置。

5.一种视频防抖装置，其特征在于，所述装置包括：

获取模块，用于获取第t帧图像和所述第t帧图像对应的第一位置，第一位置由拍摄所述第t帧图像的设备在拍摄所述第t帧图像时的运动数据所表示，t为大于或等于1的正整数；

处理模块，将所述第一位置和在所述第t帧图像之前的n帧图像的位置均输入至未来路径预测模型，得到第（t+1 t+1）帧图像对应的第一预测位置；

所述处理模块，还用于根据所述第一位置、在所述第t帧图像之前的（n-1）帧图像的位置和所述第一预测位置，进行第一次路径优化，得到第一最优路径，所述第一最优路径中包括所述第t帧图像之前的（n-1）帧图像、所述第t帧图像和所述第（t+1 t+1）帧图像均为稳定的图像时各帧图像的理想位置，n为大于或等于1的正整数；

所述处理模块，还用于确定目标帧图像的位置与目标帧图像对应的预测位置之间的目标偏差值大于预设偏差阈值，利用目标误差矫正量，对所述第一最优路径中所述第（t+1 t+1）帧图像对应的第一理想位置进行矫正，所述目标帧图像包括所述第t帧图像和在所述第t帧图像之前的n帧图像；

所述处理模块，还用于根据所述第一位置和在所述第t帧图像之前的n帧图像的位置，进行第二次路径优化，得到第二最优路径，所述第二最优路径中包括所述第t帧图像之前的（n-1）帧图像和所述第t帧图像均为稳定的图像时各帧图像的理想位置；

所述处理模块，还用于根据所述第一位置和所述第二最优路径中所述第t帧图像对应的第二理想位置，对所述第t帧图像进行处理，得到稳定的图像。

6.根据权利要求5所述的装置，其特征在于，所述处理模块，还用于：

利用所述目标误差矫正量和预先设定的矫正量缩放比例，对所述第一最优路径中所述第（t+1 ）帧图像对应的第一理想位置进行矫正。

7.根据权利要求5或6所述的装置，其特征在于，所述目标误差矫正量为预先设定的矫正量；

或者，所述目标误差矫正量为对第（t-1）帧图像进行第二次路径优化得到的最优路径中第（t-1）帧图像的理想位置和对所述第（t-1）帧图像进行第一次路径优化得到的最优路径中第（t-1）帧图像的理想位置之间的差。

8.根据权利要求5或6所述的装置，其特征在于，

所述获取模块，还用于：获取拍摄所述第t帧图像的设备上的光学防抖模块的偏移量；

所述处理模块，还用于：将所述第一位置、在所述第t帧图像之前的n帧图像的位置和所述偏移量均输入至未来路径预测模型，得到第（t+1 ）帧图像对应的第一预测位置。

9.一种电子设备，包括：

至少一个存储器，用于存储程序；

至少一个处理器，用于执行存储器存储的程序，当存储器存储的程序被执行时，处理器用于执行如权利要求1-4中任一所述的方法。

10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，当所述计算机程序在电子设备上运行时，使得所述电子设备执行如权利要求1-4任一所述的方法。