CN117221727A

CN117221727A - 运动相机稳像控制方法及相关设备

Info

Publication number: CN117221727A
Application number: CN202311305755.8A
Authority: CN
Inventors: 王婧萱
Original assignee: Shenzhen Qihui Intelligent Technology Co ltd
Current assignee: Shenzhen Qihui Intelligent Technology Co ltd
Priority date: 2023-10-09
Filing date: 2023-10-09
Publication date: 2023-12-12
Anticipated expiration: 2043-10-09
Also published as: CN117221727B

Abstract

本发明实施例提供一种运动相机稳像控制方法，包括：进入目标运动模式时，获取目标运动模式对应的第一防抖参数，并通过第一防抖参数对所述运动相机进行第一稳像控制；在第一稳像控制过程中，获取运动环境数据以及所述运动相机的镜头抖动数据和画面数据，并根据运动环境数据、镜头抖动数据和画面数据，确定运动相机在第一稳像控制下的第二防抖参数；通过第二防抖参数对第一稳像控制过程中的运动相机进行第二稳像控制。本发明可以在第一防抖参数的基础上进行抖动数据采集，得到更能适应当前运动环境的第二防抖参数，进而根据第二防抖参数更准确地对运动相机进行稳像控制，提高运动相机拍摄到的画面稳定性。

Description

运动相机稳像控制方法及相关设备

技术领域

本发明涉及相机控制领域，尤其涉及一种运动相机稳像控制方法及相关设备。

背景技术

随着视频拍摄和远程遥控等技术的广泛应用，运动相机的抖动问题成为了制约其性能的关键因素。在实际应用中，相机的抖动受到多种因素的影响，如风、光线、地形、人员走动等，具有很强的随机性和时变性。为了提高拍摄画面的稳定性，需要进行实时防抖控制。然而，传统的稳像控制方法通常基于简单的振动模型进行抖动预测，比如只考虑了画面抖动来进行稳像控制，或者只考虑传感器数据来进行稳像控制，无法准确刻画实际***的复杂动态特性，使得运动相机拍摄到的画面稳定性较低。

发明内容

本发明实施例提供一种运动相机稳像控制方法，旨在解决现有无法准确刻画实际***的复杂动态特性，使得运动相机拍摄到的画面稳定性较低的问题。通过在第一稳像控制过程中，获取运动环境数据以及运动相机的镜头抖动数据和画面数据，并根据运动环境数据、镜头抖动数据和画面数据，确定运动相机在第一稳像控制下的第二防抖参数，可以在第一防抖参数的基础上进行抖动数据采集，得到更能适应当前运动环境的第二防抖参数，进而根据第二防抖参数更准确地对运动相机进行稳像控制，提高运动相机拍摄到的画面稳定性。

第一方面，本发明实施例提供一种运动相机稳像控制方法，所述方法包括：

进入目标运动模式时，获取所述目标运动模式对应的第一防抖参数，并通过所述第一防抖参数对所述运动相机进行第一稳像控制；

在所述第一稳像控制过程中，获取运动环境数据以及所述运动相机的镜头抖动数据和画面数据，并根据所述运动环境数据、所述镜头抖动数据和所述画面数据，确定所述运动相机在第一稳像控制下的第二防抖参数；

通过所述第二防抖参数对所述第一稳像控制过程中的所述运动相机进行第二稳像控制。

可选的，在所述进入目标运动模式时，获取所述目标运动模式对应的第一防抖参数，并通过所述第一防抖参数对所述运动相机进行第一稳像控制之前，所述方法还包括：

获取用户的身体数据以及历史运动数据；

基于所述历史运动数据，确定所述用户的运动类型，并根据所述运动类型，确定所述运动相机的运动模式，一个所述运动类型对应一个所述运动模式；

基于所述运动类型以及所述身体数据，确定所述运动类型对应的运动模型，一个所述运动类型对应一个所述运动模型；

基于各个所述运动模型，确定所述运动相机中各个所述运动模式对应的防抖参数，一个所述运动模式对应对应一个所述防抖参数。

可选的，所述进入目标运动模式时，获取所述目标运动模式对应的第一防抖参数，包括：

进入目标运动模式时，在防抖参数表中进行遍历查找，得到所述目标运动模式对应的第一防抖参数，所述防抖参数表中包括运动模型与防抖参数的对应关系。

可选的，所述根据所述运动环境数据、所述镜头抖动数据和所述画面数据，确定所述运动相机在第一稳像控制下的第二防抖参数，包括：

基于所述运动环境数据，确定所述运动相机在第一稳像控制下的环境抖动量；

基于所述镜头抖动数据，确定所述运动相机在第一稳像控制下的镜头抖动量；

基于所述画面数据，确定所述运动相机在第一稳像控制下的画面抖动量；

基于所述环境抖动量、所述镜头抖动量以及所述画面抖动量，确定所述运动相机在第一稳像控制下的第二防抖参数。

可选的，所述基于所述画面数据，确定所述运动相机在第一稳像控制下的画面抖动量，包括：

对所述画面数据进行目标识别处理，得到前景目标和背景目标；

基于所述前景目标以及所述背景目标，确定所述运动相机在第一稳像控制下的画面抖动量。

可选的，所述基于所述环境抖动量、所述镜头抖动量以及所述画面抖动量，确定所述运动相机在第一稳像控制下的第二防抖参数，包括：

根据所述环境抖动量、所述镜头抖动量以及所述画面抖动量，确定所述运动相机在上一时刻的抖动状态；

根据所述上一时刻的抖动状态、当前时刻的所述环境抖动量、当前时刻的所述镜头抖动量以及当前时刻的所述画面抖动量，预测所述运动相机在所述当前时刻的抖动状态；

基于所述当前时刻的抖动状态确定所述运动相机在第一稳像控制下的第二防抖参数。

可选的，所述根据所述上一时刻的抖动状态、当前时刻的所述环境抖动量、当前时刻的所述镜头抖动量以及当前时刻的所述画面抖动量，预测所述运动相机在所述当前时刻的抖动状态，包括：

基于所述上一时刻的抖动状态对当前时刻的抖动状态进行预测，得到所述当前时刻的预测抖动状态；

基于当前时刻的所述环境抖动量、当前时刻的所述镜头抖动量以及当前时刻的所述画面抖动量，得到所述当前时刻的观测状态；

基于所述当前时刻的预测抖动状态以及所述当前时刻的观测状态的重叠部分，确定所述当前时刻的卡尔曼增益；

基于所述当前时刻的预测抖动状态、所述当前时刻的观测状态以及所述当前时刻的卡尔曼增益，计算得到所述运动相机在所述当前时刻的抖动状态。

第二方面，本发明实施例还提供了一种运动相机稳像控制装置，所述运动相机稳像控制装置包括：

第一获取模块，用于进入目标运动模式时，获取所述目标运动模式对应的第一防抖参数，并通过所述第一防抖参数对所述运动相机进行第一稳像控制；

处理模块，用于在所述第一稳像控制过程中，获取运动环境数据以及所述运动相机的镜头抖动数据和画面数据，并根据所述运动环境数据、所述镜头抖动数据和所述画面数据，确定所述运动相机在第一稳像控制下的第二防抖参数；

控制模块，用于通过所述第二防抖参数对所述第一稳像控制过程中的所述运动相机进行第二稳像控制。

第三方面，本发明实施例提供一种电子设备，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现本发明实施例提供的运动相机稳像控制方法中的步骤。

第四方面，本发明实施例提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现发明实施例提供的运动相机稳像控制方法中的步骤。

本发明实施例中，进入目标运动模式时，获取所述目标运动模式对应的第一防抖参数，并通过所述第一防抖参数对所述运动相机进行第一稳像控制；在所述第一稳像控制过程中，获取运动环境数据以及所述运动相机的镜头抖动数据和画面数据，并根据所述运动环境数据、所述镜头抖动数据和所述画面数据，确定所述运动相机在第一稳像控制下的第二防抖参数；通过所述第二防抖参数对所述第一稳像控制过程中的所述运动相机进行第二稳像控制。通过在第一稳像控制过程中，获取运动环境数据以及运动相机的镜头抖动数据和画面数据，并根据运动环境数据、镜头抖动数据和画面数据，确定运动相机在第一稳像控制下的第二防抖参数，可以在第一防抖参数的基础上进行抖动数据采集，得到更能适应当前运动环境的第二防抖参数，进而根据第二防抖参数更准确地对运动相机进行稳像控制，提高运动相机拍摄到的画面稳定性。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例提供的一种运动相机稳像控制方法的流程图；

图2是本发明实施例中提供的一种运动相机稳像控制装置的结构示意图；

图3是本发明实施例提供的一种电子设备的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

如图1所示，图1是本发明实施例提供的一种运动相机稳像控制方法的方法流程图。该运动相机稳像控制方法包括步骤：

101、进入目标运动模式时，获取目标运动模式对应的第一防抖参数，并通过第一防抖参数对运动相机进行第一稳像控制。

在本发明实施例中，上述运动相机可以包括正常模式和多个运动模式，上述正常模式可以将运动相机作为普通相机进行拍摄，上述正常模式正常模式可以进行稳像控制或不进行稳像控制。上述运动模式对应于不同的运动类型，可以每个运动类型对应一个运动模式，上述运动模式中可以根据对应运动类型进行相应的第一稳像控制。

用户可以根据运动相机上预设的模式切换指令进行模式切换，将运动相机的模式在正常模式和多个运动模式中进行切换。上述模式切换指令的触发可以由运动相机的实体按键或运动相机的界面按键来执行。当用户切换到某一运动模式且在该运动模式停留预设时长，则可以确定该运动模式为目标运动模式，进而控制运动相机进入目标运动模式。

上述多个运动模式中，每个运动模式对应于一个第一防抖参数，上述第一防抖参数可以根据对应的运动类型进行整理得到，不同的运动类型可以理解出不同的第一防抖参数，上述运动类型可以包括骑行、慢跑、登山、游泳、跳伞、跳远等，上述第一防抖参数可以包括骑行运动对应的第一防抖参数、慢跑运动对应的第一防抖参数、登山运动对应的第一防抖参数、游泳运动对应的第一防抖参数、跳伞运动对应的第一防抖参数、跳远运动对应的第一防抖参数等。需要说明的是，上述骑行、慢跑、登山、游泳、跳伞、跳远仅是对运动类型的示例，上述骑行运动对应的第一防抖参数、慢跑运动对应的第一防抖参数、登山运动对应的第一防抖参数、游泳运动对应的第一防抖参数、跳伞运动对应的第一防抖参数、跳远运动对应的第一防抖参数也仅是对第一防抖参数的对应示例，不应示为本申请的范围限定，在此之外还可以其他运动类型以及与其他运动类型对应的第一防抖参数。

在进入目标运动模式后，可以匹配出目标运动模式对应的第一防抖参数，通过第一防抖参数生成对应的控制指令，通过第一防抖参数生成的控制指令来对运动相机进行控制，使得运动相机可以在用户进行对应运动时，拍摄到画面稳定的图像。

在一种可能的实施例中，在进入目标运动模式之前，若检测到用户切换到某一运动模式且在该运动模式停留预设时长，则获取该预设时长内运动相机的运动情况以及该运动模式的运动规律，若该预设时长内运动相机的运动情况符合该运动模式的运动规律，则确定该运动模式为目标运动模式。这样，可以提高目标运动模式的准确率。当该预设时长内运动相机的运动情况不符合该运动类型的运动规律，则提示用户运动相机的当前运动模式与用户当前运动类型不符，以使用户可以切换到对应的运动模式。进一步的，在该预设时长内运动相机的运动情况不符合该运动类型的运动规律时，可以根据该预设时长内运动相机的运动情况与各个运动类型的运动规律进行比对，确定出对应的候选运动类型，根据候选运动类型确定出对应的候选运动模式，并提示用户运动相机的当前运动模式与用户当前运动类型不符，以使用户可以切换至对应的候选运动模式。

102、在第一稳像控制过程中，获取运动环境数据以及运动相机的镜头抖动数据和画面数据，并根据运动环境数据、镜头抖动数据和画面数据，确定运动相机在第一稳像控制下的第二防抖参数。

在本发明实施例中，在第一稳像控制过程中，可以持续对用户的运动环境、运动相机的镜头抖动和运动相机的画面进行数据采集，进而获取用户的运动环境数据、运动相机的镜头抖动数据以及运动相机的画面数据。

上述运动环境数据可以包括光照数据、风速和风向数据、地形平坦度数据、地形坡度数据等。上述镜头抖动数据可以包括速度数据、加速度数据、角速度数据等。上述画面数据可以是运动相机拍摄到的画面图像。上述运动环境数据可以通过环境感知传感器进行采集得到，上述镜头抖动数据可以根据相机的惯性测量单元和陀螺仪等传感器进行确定。

在得到运动环境数据、镜头抖动数据和画面数据后，可以在第一防抖参数的基础上确定出运动相机在第一稳像控制下的第二防抖参数。具体的，可以建立基于神经网络的预测模型，比如建立基于CNN(卷积神经网络)、RNN(循环神经网络)、LSMT(长短时记忆网络)的预测模型，通过预测模型对运动环境数据、镜头抖动数据、画面数据进行处理，得到预测抖动量，在第一防抖参数的基础上增加预测抖动量，得到第二防抖参数。

103、通过第二防抖参数对第一稳像控制过程中的运动相机进行第二稳像控制。

在本发明实施例中，在得到第二防抖参数后，通过第二防抖参数生成对应的控制指令，通过第二防抖参数生成的控制指令来对运动相机进行控制，使得运动相机可以在用户进行对应运动时，拍摄到画面稳定的图像。

需要说明的是，上述第一防抖参数可以理解为目标运动模式通用的防抖参数，由于不同用户所处的运动环境不同，不同用户之间运动姿态存在差异，采用第一防抖参数只能在运动类型的共有特征层面进行防抖，而无法在用户进行运动过程中的独有特征层面进行防抖，因此，上述第一防抖参数只能有限提升运动相机在运动过程中的画面稳定性，而上述第二防抖参数可以理解为目标运动模式特有的防抖参数，考虑不同用户所处的运动环境不同，不同用户之间运动姿态存在差异，使得第二防抖参数可以在用户进行运动过程中的独有特征层面进行防抖，进一步提高了运动相机的画面稳定性。

可选的，在进入目标运动模式时，获取目标运动模式对应的第一防抖参数，并通过第一防抖参数对运动相机进行第一稳像控制的步骤之前，还可以获取用户的身体数据以及历史运动数据；基于历史运动数据，确定用户的运动类型，并根据运动类型，确定运动相机的运动模式，一个运动类型对应一个运动模式；基于运动类型以及所述身体数据，确定运动类型对应的运动模型，一个运动类型对应一个运动模型；基于各个运动模型，确定运动相机中各个运动模式对应的防抖参数，一个运动模式对应对应一个防抖参数。

在本发明实施例中，上述身体数据可以包括用户的身体形态(包括身高、手臂长度、大腿长度等)、身体质量、肌肉力量等数据，可以通过用户上传或通过穿戴式设备来获取用户的身体形态、身体质量、肌肉力量等身体数据。

上述历史运动数据可以包括运动类型、运动地形、运动姿态、运动时长等数据，上述历史运动数据可以根据穿戴式设备或运动相机的历史记录进行获取。

在得到用户的身体数据和历史运动数据后，可以根据历史运动数据中的运动类型来确定用户常用的运动类型，根据用户常用的运动类型，在运动相机中设置对应的运动模式。

同时，可以根据用户的身体数据和历史运动数据，建立用户对于每个运动类型的运动模型。可以理解的是，由于不同用户的身体数据和历史运动数据不同，使得不同用户的运动模型也不同，比如，两个用户的大腿长度不同，其在跑步时的步幅和频率也不同，因此，对应的运动模型也不同。

可以通过运动模型模拟用户在不同运动类型下的运动情况，根据不同运动类型下的运动情况，将运动相机的模型固定在用户对应的运动模型中，根据不同运动类型下的运动情况，来确定出不同运动类型下运动相机的抖动情况，以消除抖动情况为目标来计算出对应运动类型下的第一防抖参数。具体的，在得到不同运动类型下的运动情况，可以根据光学防抖方法或电子防抖方法计算出对应运动类型下的第一防抖参数。

在得到用户在各个运动类型下的第一防抖参数后，将第一防抖参数与对应的运动模式进行关联，在用户选择目标运动模式之后，可以根据目标运动模式查找到对应的第一防抖参数，进而可以通过第一防抖参数对运动相机进行第一稳像控制。

可选的，在进入目标运动模式时，获取目标运动模式对应的第一防抖参数的步骤中，进入目标运动模式时，可以在防抖参数表中进行遍历查找，得到目标运动模式对应的第一防抖参数，防抖参数表中包括运动模型与防抖参数的对应关系。

在本发明实施例中，上述运动模式与第一防抖参数可以通过防抖参数表进行关联，在防抖参数表中，一个运动模式对应一个第一防抖参数，在进入目标运动模式后，可以在防抖参数表中查找出与目标运动模式对应的第一防抖参数。

可选的，在根据运动环境数据、镜头抖动数据和画面数据，确定运动相机在第一稳像控制下的第二防抖参数的步骤中，可以基于运动环境数据，确定运动相机在第一稳像控制下的环境抖动量；基于镜头抖动数据，确定运动相机在第一稳像控制下的镜头抖动量；基于画面数据，确定运动相机在第一稳像控制下的画面抖动量；基于环境抖动量、镜头抖动量以及画面抖动量，确定运动相机在第一稳像控制下的第二防抖参数。

在本发明实施例中，可以通过回归分析、机器学***坦度越小，说明运动地形不平坦，坑洼较多，则可以确定环境抖动量越大；地形坡度越大，说明运动地形高度差较大，则可以确定环境抖动量越大。

同样的，也可以通过回归分析、机器学习或其他统计方法对镜头抖动数据进行分析处理，得到运动相机在第一稳像控制下的镜头抖动量。可以理解的是，用户在运动过程中的运动速度越大，则运动相机的速度越大，则可以确定镜头抖动量越大；用户在运动过程中的加速度越大，运动相机的加速度越大，则可以确定镜头抖动量越大；用户在运动过程中的转弯或转身速度越大，则说明运动相机的角速度越大，则可以确定镜头抖动量越大。

对于画面数据，可以对画面数据进行图像分析，以得到运动相机在第一稳像控制下的画面抖动量。上述图像分析可以是基于图像特征的图像分析方法，也可以是基于像素的图像分析方法。

在得到环境抖动量、镜头抖动量以及画面抖动量后，可以在第一防抖参数的基础上确定出运动相机在第一稳像控制下的第二防抖参数。具体的，可以建立基于神经网络的预测模型，比如建立基于CNN(卷积神经网络)、RNN(循环神经网络)、LSMT(长短时记忆网络)的预测模型，通过预测模型对运动环境数据、镜头抖动数据、画面数据进行处理，得到预测抖动量，在第一防抖参数的基础上增加预测抖动量，得到第二防抖参数。

可选的，在基于画面数据，确定运动相机在第一稳像控制下的画面抖动量的步骤中，可以对画面数据进行目标识别处理，得到前景目标和背景目标；基于前景目标以及背景目标，确定运动相机在第一稳像控制下的画面抖动量。

在本发明实施例中，上述前景目标可以是运动目标，上述背景目标可以是静止目标，上述运动目标可以是人员、车辆、动物等可运动的目标，上述静止目标可以是路面、树木、草地、天空等静止的目标。

具体的，上述画面数据至少包括两帧连续的画面图像，对两帧连续的画面图像进行目标识别处理，得到在前画面图像的第一前景目标和第一背景目标，以及在后画面图像的第二前景目标和第二背景目标，一个第一前景目标对应一个第二前景目标，一个第一背景目标对应一个第二背景目标，计算第一前景目标与对应第二前景目标之间的第一运动矢量，计算第一前景目标与对应第二前景目标之间的第二运动矢量，其中，第一运动矢量中包括用户的运动矢量与前景目标之间的相对运动矢量，上述第二运动矢量包括用户的运动矢量与背景目标之间的相对运动矢量，由于背景目标为静止的，因此，第二运动矢量为用户的运动矢量。一般来说，画面抖动的原因来源于用户的运动矢量，因此，画面抖动量可以通过下述式子计算：

其中，上述u_(t-1,t)表示在前画面图像t-1与在后画面图像t之间的画面抖动量，上述N表示前景目标的数量，上述M表示背景目标的数量，上述a_i表示第i个前景目标的第一运动矢量，上述b_j表示第j个前景目标的第二运动矢量，上述Δt表示在前画面图像t-1与在后画面图像t之间的间隔时间，上述k₁与上述k₂是先验值，上述k₁与上述k₂与前景目标数量N和背景目标的数量M相关。

上述环境抖动量可以是从进入目标运动模式时到当前时刻的环境抖动量序列V_t＝{v₁,v₂,…,v_t-1,v_t}，上述镜头抖动量可以是从进入目标运动模式时到当前时刻的镜头抖动量序列R_t＝{r₁,r₂,…,r_t-1,r_t}，上述画面抖动量可以是从进入目标运动模式时到当前时刻的画面抖动量序列U_t＝{u₁,u₂,…,u_t-1,u_t}。在预测出运动相机的环境抖动量序列V_t＝{v₁,v₂,…,v_t-1,v_t}、镜头抖动量序列R_t＝{r₁,r₂,…,r_t-1,r_t}、画面抖动量序列U_t＝{u₁,u₂,…,u_t-1,u_t}后，可以在第一防抖参数的基础上确定出运动相机在第一稳像控制下的第二防抖参数。具体的，可以建立基于神经网络的预测模型，比如建立基于CNN(卷积神经网络)、RNN(循环神经网络)、LSMT(长短时记忆网络)的预测模型，通过预测模型对环境抖动量序列V_t＝{v₁,v₂,…,v_t-1,v_t}、镜头抖动量序列R_t＝{r₁,r₂,…,r_t-1,r_t}、画面抖动量序列U_t＝{u₁,u₂,…,u_t-1,u_t}进行处理，得到预测抖动量，在第一防抖参数的基础上增加预测抖动量，得到第二防抖参数。

可选的，在基于环境抖动量、镜头抖动量以及画面抖动量，确定运动相机在第一稳像控制下的第二防抖参数的步骤中，可以根据环境抖动量、镜头抖动量以及画面抖动量，确定运动相机在上一时刻的抖动状态；根据上一时刻的抖动状态、当前时刻的环境抖动量、当前时刻的镜头抖动量以及当前时刻的画面抖动量，预测运动相机在当前时刻的抖动状态；基于当前时刻的抖动状态确定运动相机在第一稳像控制下的第二防抖参数。

在本发明实施例中，可以根据环境抖动量序列V_t＝{v₁,v₂,…,v_t-1,v_t}、镜头抖动量序列R_t＝{r₁,r₂,…,r_t-1,r_t}以及画面抖动量序列U_t＝{u₁,u₂,…,u_t-1,u_t}，确定运动相机在上一时刻的抖动状态s_t-1，根据上一时刻的抖动状态s_t-1、当前时刻的环境抖动量v_t、当前时刻的镜头抖动量r_t以及当前时刻的画面抖动量u_t，预测运动相机在当前时刻的抖动状态s_t。具体的，可以通过卡尔曼滤波算法对环境抖动量序列V_t-1＝{v₁,v₂,…,v_t-1,}、镜头抖动量序列R_t-1＝{r₁,r₂,…,r_t-1}以及画面抖动量序列U_t-1＝{u₁,u₂,…,u_t-1,}进行滤波处理，得到运动相机在上一时刻的抖动状态s_t-1，基于上一时刻的抖动状态s_t-1、当前时刻的环境抖动量v_t、当前时刻的镜头抖动量r_t以及当前时刻的画面抖动量u_t，通过卡尔曼滤波算法预测运动相机在当前时刻的抖动状态s_t。

在预测出运动相机在当前时刻的抖动状态s_t后，可以在第一防抖参数的基础上确定出运动相机在第一稳像控制下的第二防抖参数。具体的，可以建立基于神经网络的预测模型，比如建立基于CNN(卷积神经网络)、RNN(循环神经网络)、LSMT(长短时记忆网络)的预测模型，通过预测模型对当前时刻的抖动状态s_t进行处理，得到预测抖动量，在第一防抖参数的基础上增加预测抖动量，得到第二防抖参数。也可以通过预测模型对抖动状态序列S_t＝{s₁,s₂,…,s_t-1,s_t}进行处理，得到预测抖动量，在第一防抖参数的基础上增加预测抖动量，得到第二防抖参数。

可选的，在根据上一时刻的抖动状态、当前时刻的环境抖动量、当前时刻的镜头抖动量以及当前时刻的画面抖动量，预测运动相机在当前时刻的抖动状态的步骤中，可以基于上一时刻的抖动状态对当前时刻的抖动状态进行预测，得到当前时刻的预测抖动状态；基于当前时刻的环境抖动量、当前时刻的镜头抖动量以及当前时刻的画面抖动量，得到当前时刻的观测状态；基于当前时刻的预测抖动状态以及当前时刻的观测状态的重叠部分，确定当前时刻的卡尔曼增益；基于当前时刻的预测抖动状态、当前时刻的观测状态以及当前时刻的卡尔曼增益，计算得到运动相机在当前时刻的抖动状态。

在本发明实施例中，可以使用卡尔曼滤波器的状态预测部分进行预测。具体的，可以使用上一时刻的抖动状态s_t-1作为输入值，通过卡尔曼滤波器的状态预测部分得到当前时刻的预测抖动状态ps_t。然后可以使用卡尔曼滤波器的观测部分对环境抖动量、镜头抖动量以及画面抖动量进行处理，得到当前时刻的观测状态qs_t。卡尔曼滤波器的观测部分考虑了环境抖动量、镜头抖动量以及画面抖动量对相机抖动的实际影响。然后，基于当前时刻的预测抖动状态ps_t以及当前时刻的观测状态qs_t的重叠部分zs_t，确定当前时刻的卡尔曼增益w；基于当前时刻的预测抖动状态ps_t、当前时刻的观测状态qs_t以及当前时刻的卡尔曼增益w，计算得到运动相机在当前时刻的抖动状态s_t。

上述预测抖动状态ps_t可以通过S_t-1＝{s₁,s₂,…,s_t-1}的期望μ₀和协方差δ₀得到，对观测状态qs_t于可以通过重叠部分zs_t和协方差δ₁进行表示，由于期望μ₀和协方差δ₀可以通过S_t-1＝{s₁,s₂,…,s_t-1}得到，协方差δ₁可以通过环境抖动量序列V_t＝{v₁,v₂,…,v_t-1,v_t}、镜头抖动量序列R_t＝{r₁,r₂,…,r_t-1,r_t}以及画面抖动量序列U_t＝{u₁,u₂,…,u_t-1,u_t}得到，卡尔曼增益w＝δ₀(δ₀+δ₁)^-1，μ₁＝w(zs_t-μ₀)，δ₁＝wδ₀，进而可以求解出运动相机在当前时刻的抖动状态s_t＝(μ₁，δ₁)。

本发明实施例中，考虑了环境抖动量、镜头抖动量以及画面抖动量的影响，使得当前时刻的抖动状态更准确，进而提升第二防抖参数的准确性。

如图2所示，本发明实施例提供一种运动相机稳像控制装置，该运动相机稳像控制装置包括：

第一获取模块201，用于进入目标运动模式时，获取所述目标运动模式对应的第一防抖参数，并通过所述第一防抖参数对所述运动相机进行第一稳像控制；

处理模块202，用于在所述第一稳像控制过程中，获取运动环境数据以及所述运动相机的镜头抖动数据和画面数据，并根据所述运动环境数据、所述镜头抖动数据和所述画面数据，确定所述运动相机在第一稳像控制下的第二防抖参数；

控制模块203，用于通过所述第二防抖参数对所述第一稳像控制过程中的所述运动相机进行第二稳像控制。

可选的，所述装置还包括：

第二获取模块，用于获取用户的身体数据以及历史运动数据；

第一确定模块，用于基于所述历史运动数据，确定所述用户的运动类型，并根据所述运动类型，确定所述运动相机的运动模式，一个所述运动类型对应一个所述运动模式；

第二确定模块，用于基于所述运动类型以及所述身体数据，确定所述运动类型对应的运动模型，一个所述运动类型对应一个所述运动模型；

第三确定模块，用于基于各个所述运动模型，确定所述运动相机中各个所述运动模式对应的防抖参数，一个所述运动模式对应对应一个所述防抖参数。

可选的，所述第一获取模块201还用于进入目标运动模式时，在防抖参数表中进行遍历查找，得到所述目标运动模式对应的第一防抖参数，所述防抖参数表中包括运动模型与防抖参数的对应关系。

可选的，所述处理模块202还用于基于所述运动环境数据，确定所述运动相机在第一稳像控制下的环境抖动量；基于所述镜头抖动数据，确定所述运动相机在第一稳像控制下的镜头抖动量；基于所述画面数据，确定所述运动相机在第一稳像控制下的画面抖动量；基于所述环境抖动量、所述镜头抖动量以及所述画面抖动量，确定所述运动相机在第一稳像控制下的第二防抖参数。

可选的，所述处理模块202还用于对所述画面数据进行目标识别处理，得到前景目标和背景目标；基于所述前景目标以及所述背景目标，确定所述运动相机在第一稳像控制下的画面抖动量。

可选的，所述处理模块202还用于根据所述环境抖动量、所述镜头抖动量以及所述画面抖动量，确定所述运动相机在上一时刻的抖动状态；根据所述上一时刻的抖动状态、当前时刻的所述环境抖动量、当前时刻的所述镜头抖动量以及当前时刻的所述画面抖动量，预测所述运动相机在所述当前时刻的抖动状态；基于所述当前时刻的抖动状态确定所述运动相机在第一稳像控制下的第二防抖参数。

可选的，所述处理模块202还用于基于所述上一时刻的抖动状态对当前时刻的抖动状态进行预测，得到所述当前时刻的预测抖动状态；基于当前时刻的所述环境抖动量、当前时刻的所述镜头抖动量以及当前时刻的所述画面抖动量，得到所述当前时刻的观测状态；基于所述当前时刻的预测抖动状态以及所述当前时刻的观测状态的重叠部分，确定所述当前时刻的卡尔曼增益；基于所述当前时刻的预测抖动状态、所述当前时刻的观测状态以及所述当前时刻的卡尔曼增益，计算得到所述运动相机在所述当前时刻的抖动状态。

本发明实施例提供的运动相机稳像控制装置能够实现上述方法实施例中运动相机稳像控制方法实现的各个过程，且可以达到相同的有益效果。为避免重复，这里不再赘述。

参见图3，图3是本发明实施例提供的一种电子设备的结构示意图，如图3所示，包括：存储器302、处理器301及存储在存储器302上并可在处理器301上运行的运动相机稳像控制方法的计算机程序，其中：

处理器301用于调用存储器302存储的计算机程序，执行如下步骤：

可选的，在所述进入目标运动模式时，获取所述目标运动模式对应的第一防抖参数，并通过所述第一防抖参数对所述运动相机进行第一稳像控制之前，处理器301执行的所述方法还包括：

获取用户的身体数据以及历史运动数据；

可选的，处理器301执行的所述进入目标运动模式时，获取所述目标运动模式对应的第一防抖参数，包括：

可选的，处理器301执行的所述根据所述运动环境数据、所述镜头抖动数据和所述画面数据，确定所述运动相机在第一稳像控制下的第二防抖参数，包括：

可选的，处理器301执行的所述基于所述画面数据，确定所述运动相机在第一稳像控制下的画面抖动量，包括：

可选的，处理器301执行的所述基于所述环境抖动量、所述镜头抖动量以及所述画面抖动量，确定所述运动相机在第一稳像控制下的第二防抖参数，包括：

可选的，处理器301执行的所述根据所述上一时刻的抖动状态、当前时刻的所述环境抖动量、当前时刻的所述镜头抖动量以及当前时刻的所述画面抖动量，预测所述运动相机在所述当前时刻的抖动状态，包括：

本发明实施例提供的电子设备能够实现上述方法实施例中运动相机稳像控制方法实现的各个过程，且可以达到相同的有益效果。为避免重复，这里不再赘述。

本发明实施例还提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现本发明实施例提供的运动相机稳像控制方法或应用端运动相机稳像控制方法的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存取存储器(Random Access Memory，简称RAM)等。

以上所揭露的仅为本发明较佳实施例而已，当然不能以此来限定本发明之权利范围，因此依本发明权利要求所作的等同变化，仍属本发明所涵盖的范围。

Claims

1.一种运动相机稳像控制方法，其特征在于，包括：

2.如权利要求1所述的方法，其特征在于，在所述进入目标运动模式时，获取所述目标运动模式对应的第一防抖参数，并通过所述第一防抖参数对所述运动相机进行第一稳像控制之前，所述方法还包括：

获取用户的身体数据以及历史运动数据；

3.如权利要求2所述的方法，其特征在于，所述进入目标运动模式时，获取所述目标运动模式对应的第一防抖参数，包括：

4.如权利要求1至3中任一所述的方法，其特征在于，所述根据所述运动环境数据、所述镜头抖动数据和所述画面数据，确定所述运动相机在第一稳像控制下的第二防抖参数，包括：

5.如权利要求4所述的方法，其特征在于，所述基于所述画面数据，确定所述运动相机在第一稳像控制下的画面抖动量，包括：

6.如权利要求4所述的方法，其特征在于，所述基于所述环境抖动量、所述镜头抖动量以及所述画面抖动量，确定所述运动相机在第一稳像控制下的第二防抖参数，包括：

7.如权利要求6所述的方法，其特征在于，所述根据所述上一时刻的抖动状态、当前时刻的所述环境抖动量、当前时刻的所述镜头抖动量以及当前时刻的所述画面抖动量，预测所述运动相机在所述当前时刻的抖动状态，包括：

8.一种运动相机稳像控制装置，其特征在于，所述运动相机稳像控制装置包括：

9.一种电子设备，其特征在于，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如权利要求1至7中任一项所述的运动相机稳像控制方法中的步骤。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述的运动相机稳像控制方法中的步骤。