CN114339101B - 一种录像方法及设备 - Google Patents

Abstract

本申请实施例提供一种录像方法及设备，涉及电子技术领域，能够在视频录制场景下结合被拍摄主体的运动信息和姿态传感器数据获得相机的运动信息，从而根据相机的运动信息进行防抖处理，以便同时对运动主体和背景实现防抖，提高视频图像的稳像效果，提高用户拍摄体验。具体方案为：电子设备在开启录像功能后采集原始图像；根据采集到的多帧原始图像获取主体的运动信息；根据多帧原始图像对应的姿态传感器数据和主体的运动信息获得相机的运动信息；根据相机的运动信息计算第一原始图像的稳像变换矩阵，第一原始图像为多帧原始图像中的图像；根据稳像变换矩阵对第一原始图像进行图像变换获得目标图像。本申请实施例用于视频防抖。

Description

一种录像方法及设备

技术领域

本申请实施例涉及电子技术领域，尤其涉及一种录像方法及设备。

背景技术

随着拍摄技术的发展，用户对视频录制效果的要求也越来越高。在视频录制过程中，手机或平板电脑等电子设备可以根据陀螺仪(gyro)数据对图像进行防抖处理。该防抖处理方案可以对拍摄范围内的背景实现较好的防抖效果，但难以实现对拍摄范围内的运动主体的防抖，用户拍摄体验较差。

发明内容

本申请实施例提供一种录像方法及设备，能够在视频录制场景下结合被拍摄主体的运动信息和姿态传感器数据获得相机的运动信息，从而根据相机的运动信息进行防抖处理，以便同时对运动主体和背景实现防抖，提高视频图像的稳像效果，提高用户拍摄体验。

为达到上述目的，本申请实施例采用如下技术方案：

一方面，本申请实施例提供一种录像方法，应用于电子设备，电子设备包括相机，该方法可以包括：电子设备在开启录像功能后采集原始图像。电子设备根据采集到的多帧原始图像获取主体的运动信息。而后，电子设备根据多帧原始图像对应的姿态传感器数据和主体的运动信息获得相机的运动信息。电子设备根据相机的运动信息计算第一原始图像的稳像变换矩阵，该第一原始图像为多帧原始图像中的图像。电子设备根据稳像变换矩阵对第一原始图像进行图像变换获得目标图像。

在该方案中，电子设备在视频录制场景下，可以根据结合被拍摄主体的运动信息和姿态传感器数据获得相机的运动信息，从而根据相机的运动信息获得稳像变换矩阵，进而通过稳像变换矩阵同时对运动主体和背景实现运动补偿和防抖，提高视频图像的稳像效果，提高用户拍摄体验。

在一种可能设计中，电子设备在开启录像功能后采集原始图像，可以包括：电子设备在开启录像功能并检测到用户的拍摄操作后采集原始图像。该方法还可以包括：电子设备检测到用户的停止拍摄操作后，根据视频图像生成视频文件，该视频图像为目标图像。

也就是说，在视频拍摄过程中，电子设备可以结合被拍摄主体的运动信息和姿态传感器数据获得相机的运动信息，从而根据相机的运动信息对原始图像进行防抖处理获得视频图像，从而同时对运动主体和背景实现运动补偿和防抖，提高视频图像的稳像效果，提高用户拍摄体验。

在另一种可能设计中，在开启录像功能后采集原始图像，可以包括：电子设备在开启录像功能并检测到用户的拍摄操作后采集原始图像。该方法还可以包括：电子设备在拍摄界面上显示录拍图像，该录拍图像为目标图像。

也就是说，在视频拍摄过程中，电子设备可以结合被拍摄主体的运动信息和姿态传感器数据获得相机的运动信息，从而根据相机的运动信息对原始图像进行防抖处理获得拍摄界面上的录拍图像，从而同时对运动主体和背景实现运动补偿和防抖，提高录拍图像的稳像效果，提高用户拍摄体验。

在另一种可能设计中，目标图像为预览图像，该方法还可以包括：电子设备在预览界面上显示预览图像。

也就是说，在开启录像功能后的预览状态下，电子设备可以结合被拍摄主体的运动信息和姿态传感器数据获得相机的运动信息，从而根据相机的运动信息对原始图像进行防抖处理获得预览界面上的预览图像，从而同时对运动主体和背景实现运动补偿和防抖，提高录拍图像的稳像效果，提高用户拍摄体验。

在另一种可能设计中，主体的运动信息为主体的目标运动曲线，主体的目标运动曲线根据主体的原始运动曲线获得，主体的原始运动曲线根据多帧原始图像上主体中心的位置获得。

也就是说，主体的原始运动曲线和主体的为目标运动曲线可以用于表示主体的运动情况。

在另一种可能设计中，主体的目标运动曲线是连续的；主体的目标运动曲线一阶、二阶可导，且曲率小于或者等于第一预设阈值；主体的目标运动曲线上的主体中心与主体的原始运动曲线上的主体中心之间的距离小于或者等于第一预设值。

也就是说，人脸中心的运动轨迹较为平滑，变化不能过于剧烈；主体人脸的目标运动曲线的速度和加速度的变化较为平滑，不能过于剧烈；主体人脸的目标运动曲线上的人脸中心不能偏离主体人脸的原始运动曲线太远，主体人脸的目标运动曲线上的人脸中心应在主体人脸的原始运动曲线附近。

在另一种可能设计中，相机的运动信息为相机的目标运动曲线，电子设备根据多帧原始图像对应的姿态传感器数据和主体的运动信息获得相机的运动信息，可以包括：电子设备根据多帧原始图像对应的姿态传感器数据获得相机的原始运动曲线。电子设备根据相机的原始运动曲线和主体约束获得相机的目标运动曲线。其中，主体约束与主体的目标运动曲线相关，主体约束用于使得目标图像上的主体中心与主体的目标运动曲线上对应的主体中心之间的距离小于或者等于第二预设值。

也就是说，电子设备可以结合主体的目标运动曲线以及相机的原始运动曲线，来获得相机的目标运动曲线。

在另一种可能设计中，电子设备根据相机的原始运动曲线和主体约束获得相机的目标运动曲线，可以包括：电子设备根据主体的运动幅度确定对应的主体约束档位。电子设备将主体约束强度从初始值逐渐提升至主体约束档位对应的上界值。电子设备根据相机的原始运动曲线和主体约束强度获得相机的目标运动曲线。

这样，电子设备可以根据主体的运动幅度来动态调节主体约束的强度，以平衡背景和主体的防抖效果，使得背景和主体的稳像效果都比较好。并且，电子设备在动态调节人脸约束的强度时，可以平滑地改变人脸约束强度，以避免背景或主体的防抖强度发生突变，避免背景和主体的图像效果发生突变，使得背景和主体的防抖效果平滑过渡，提高用户拍摄体验。

在另一种可能设计中，电子设备根据采集到的多帧原始图像获取主体的运动信息，可以包括：电子设备在满足预设条件后，根据采集到的多帧原始图像获取主体的运动信息。

也就是说，电子设备在满足一定条件后才开启主体防抖模式，从而获取主体的运动信息，以便根据主体的运动信息以及姿态传感器数据获得相机的运动信息，从而根据相机的运动信息进行防抖处理。

在另一种可能设计中，该预设条件可以包括：电子设备的运动幅度大于或者等于第三预设值；主体在原始图像上的面积占比大于或者等于第四预设值；连续出现主体的原始图像的帧数大于或者等于第五预设值。

也就是说，电子设备在运动幅度较大，主体占比较大，且原始图像上连续出现主体的情况下，才根据主体的运动信息以及姿态传感器数据获得相机的运动信息，从而根据相机的运动信息进行防抖处理。

在另一种可能设计中，电子设备根据多帧原始图像对应的姿态传感器数据和主体的运动信息获得相机的运动信息，可以包括：电子设备根据N帧原始图像对应的姿态传感器数据和主体的运动信息获得相机的运动信息，N为大于1的整数，且N＝N1+I+N2，N1和I为正整数，N2为非负整数。电子设备根据相机的运动信息计算第一原始图像的稳像变换矩阵，包括：电子设备根据相机的运动信息上N帧原始图像对应的相机的目标位姿，计算I帧原始图像的稳像变换矩阵，I帧原始图像即为第一原始图像，I帧原始图像的稳像变换矩阵用于获得I帧目标图像，I帧原始图像的起始帧与N帧原始图像中的第N1+1帧原始图像对应。

也就是说，电子设备可以根据某个原始图像之前的原始图像以及之后的原始图像，来计算该原始图像对应的相机位姿和稳像变换矩阵，使得不同原始图像对应的相机位姿之间的变化更为平滑，提高稳像效果。

在另一种可能设计中，当目标图像为预览图像或录拍图像时，N2为0。

这样，在预览界面和拍摄界面上，电子设备不需要根据某个原始图像之后的原始图像，来计算该原始图像对应的相机位姿和稳像变换矩阵，因而可以实时处理并显示该原始图像对应的预览图像和录拍图像。

在另一种可能设计中，该方法还可以包括：若不满足预设条件，则电子设备根据多帧原始图像对应的姿态传感器数据获得相机的运动信息。电子设备根据相机的运动信息计算第一原始图像的稳像变换矩阵，第一原始图像为多帧原始图像中的图像；根据稳像变换矩阵对第一原始图像进行图像变换获得目标图像。

在该方案中，若不满足主体防抖条件，则电子设备可以根据姿态传感器数据获得相机的运动信息，而不需要结合主体的运动信息来获得相机的运动信息，从而不需要进行主体防抖处理。

在另一种可能设计中，该方法还可以包括：若满足预设条件，则电子设备提示用户已开启目标防抖模式。若不满足预设条件，则电子设备提示用户未开启目标防抖模式。

这样，用户可以方便地获知当前是否处理目标防抖模式，该目标防抖模式可以为主体防抖模式。

在另一种可能设计中，在电子设备根据相机的运动信息计算第一原始图像的稳像变换矩阵之前，该方法还可以包括：电子设备根据姿态传感器的数据计算第一原始图像的卷帘快门(RS)补偿量。电子设备根据相机的运动信息计算第一原始图像的稳像变换矩阵，可以包括：电子设备根据相机的运动信息计算第一原始图像的旋转补偿量。电子设备根据旋转补偿量和RS补偿量计算第一原始图像的稳像变换矩阵。

其中，RS补偿量用于进行RS校正，该方案可以在根据相机的运动信息进行防抖处理的同时，还可以进行RS校正，以有效纠正原始图像上背景的果冻效应。

在另一种可能设计中，电子设备根据旋转补偿量和RS补偿量计算第一原始图像的稳像变换矩阵，可以包括：若电子设备确定进入摇摄模式，则电子设备根据摇摄幅度减小RS补偿量。该摇摄幅度与相机的运动主轴和目标坐标轴之间的夹角的大小负相关。电子设备根据旋转补偿量和减小后的RS补偿量计算第一原始图像的稳像变换矩阵。

其中，由于原始图像上的背景和主体的稳定是相互冲突的，因而电子设备在对背景进行RS校正时，还可以根据摇摄幅度来调整RS补偿量的大小，从而尽量减小或避免主体人脸的畸变。

在另一种可能设计中，主体为人脸。

在该方案中，电子设备可以结合主体人脸的运动信息和姿态传感器数据获得相机的运动信息，从而根据相机的运动信息进行防抖处理，以便同时对运动主体人脸和背景实现防抖，提高视频图像的稳像效果，提高用户拍摄体验。

另一方面，本申请实施例提供了一种拍摄装置，该装置包含在电子设备中。该装置具有实现上述方面及可能的设计中任一方法中电子设备行为的功能，使得电子设备执行上述方面任一项可能的设计中电子设备执行的录像方法。该功能可以通过硬件实现，也可以通过硬件执行相应的软件实现。硬件或软件包括至少一个与上述功能相对应的模块或单元。例如，该装置可以包括采集单元、获取单元和处理单元等。

又一方面，本申请实施例提供了一种电子设备，包括：相机，用于采集图像；屏幕，用于显示界面，一个或多个处理器；以及存储器，存储器中存储有代码。当代码被电子设备执行时，使得电子设备执行上述方面任一项可能的设计中电子设备执行的录像方法。

又一方面，本申请实施例提供了一种电子设备，包括：一个或多个处理器；以及存储器，存储器中存储有代码。当代码被电子设备执行时，使得电子设备执行上述方面任一项可能的设计中电子设备执行的录像方法。

又一方面，本申请实施例提供了一种计算机可读存储介质，包括计算机指令，当计算机指令在电子设备上运行时，使得电子设备执行上述方面任一项可能的设计中的录像方法。

又一方面，本申请实施例提供了一种计算机程序产品，当计算机程序产品在计算机上运行时，使得计算机执行上述方面任一项可能的设计中电子设备执行的录像方法。

又一方面，本申请实施例提供了一种芯片***，该芯片***应用于电子设备。该芯片***包括一个或多个接口电路和一个或多个处理器；接口电路和处理器通过线路互联；接口电路用于从电子设备的存储器接收信号，并向处理器发送信号，信号包括存储器中存储的计算机指令；当处理器执行计算机指令时，使得电子设备执行上述方面任一项可能的设计中的录像方法。

上述其他方面对应的有益效果，可以参见关于方法方面的有益效果的描述，此处不予赘述。

附图说明

图1为本申请实施例提供的一种电子设备的结构示意图；

图2为本申请实施例提供的一种录像方法流程图；

图3为本申请实施例提供的一组界面示意图；

图4为本申请实施例提供的一种人脸特征点示意图；

图5为本申请实施例提供的一种约束条件的效果示意图；

图6A为本申请实施例提供的一种调节人脸约束强度的流程图；

图6B为本申请实施例提供的一种人脸防抖处理流程图；

图7A为本申请实施例提供的一种确定满足第四条件的流程图；

图7B为本申请实施例提供的一种减小RS补偿量的流程图；

图8A为本申请实施例提供的一种panning场景示意图；

图8B为本申请实施例提供的一种原始图像与预览图像的时序关系示意图；

图9A为本申请实施例提供的一组预览界面示意图；

图9B为本申请实施例提供的另一组预览界面示意图；

图9C为本申请实施例提供的另一组预览界面示意图；

图9D为本申请实施例提供的另一组预览界面示意图；

图10A为本申请实施例提供的一组拍摄界面示意图；

图10B为本申请实施例提供的另一组拍摄界面示意图；

图10C为本申请实施例提供的另一组拍摄界面示意图；

图10D为本申请实施例提供的另一组拍摄界面示意图；

图11A为本申请实施例提供的一组视频图像示意图；

图11B为本申请实施例提供的另一组视频图像示意图；

图11C为本申请实施例提供的另一组视频图像示意图；

图11D为本申请实施例提供的另一组视频图像示意图；

图12为本申请实施例提供的一种提示界面示意图；

图13为本申请实施例提供的另一种录像方法流程图；

图14为本申请实施例提供的另一种录像方法流程图；

图15为本申请实施例提供的另一种录像方法流程图；

图16为本申请实施例提供的另一种界面示意图；

图17为本申请实施提供的另一种录像方法流程图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行描述。其中，在本申请实施例的描述中，除非另有说明，“/”表示或的意思，例如，A/B可以表示A或B；本文中的“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，在本申请实施例的描述中，“多个”是指两个或多于两个。

以下，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本实施例的描述中，除非另有说明，“多个”的含义是两个或两个以上。

在本申请实施例中，“示例性地”或者“例如”等词用于表示作例子、例证或说明。本申请实施例中被描述为“示例性地”或者“例如”的任何实施例或设计方案不应被解释为比其它实施例或设计方案更优选或更具优势。确切而言，使用“示例性地”或者“例如”等词旨在以具体方式呈现相关概念。

在使用电子设备录制视频时，由于用户手抖、电子设备晃动或被拍摄物体运动等原因，容易导致拍摄的图像出现抖动和模糊。尤其地，当被拍摄的运动主体离电子设备的摄像头较近时，运动主体的相对运动也较大，主体图像的抖动也更为明显，用户使用体验较差。例如，在前置自拍的录像场景下，人脸离电子设备的摄像头较近，当人脸运动时人脸图像的抖动也更为明显。在一种技术方案中，电子设备根据陀螺仪数据对图像进行防抖处理，这样可以对拍摄范围内的背景实现较好的防抖效果，但难以实现对拍摄范围内的运动主体的防抖，用户拍摄体验较差。

本申请实施例提供了一种录像方法及设备，可以应用于电子设备，能够在视频录制场景下结合被拍摄主体的运动信息和姿态传感器数据等多源信息进行防抖处理，从而同时对运动主体和背景实现防抖，提高视频图像的稳像效果，提高用户拍摄体验。

本申请实施例提供的录像方法可以用于后置视频录制场景，也可以用于前置视频录制场景，不予限定。在启动拍摄功能后，电子设备可以结合被拍摄主体的运动信息和姿态传感器数据计算相机的运动信息，从而根据相机的运动信息进行图像防抖处理。

例如，该电子设备可以是手机、平板电脑、可穿戴设备(例如智能手表)、车载设备、增强现实(augmented reality，AR)/虚拟现实(virtual reality，VR)设备、笔记本电脑、超级移动个人计算机(ultra-mobile personal computer，UMPC)、上网本或个人数字助理(personal digital assistant，PDA)等移动终端，也可以是专业的相机等设备，本申请实施例对电子设备的具体类型不作任何限制。

示例性的，图1示出了电子设备100的一种结构示意图。电子设备100可以包括处理器110，外部存储器接口120，内部存储器121，通用串行总线(universal serial bus，USB)接口130，充电管理模块140，电源管理模块141，电池142，天线1，天线2，移动通信模块150，无线通信模块160，音频模块170，扬声器170A，受话器170B，麦克风170C，耳机接口170D，传感器模块180，按键190，马达191，指示器192，摄像头193，显示屏194，以及用户标识模块(subscriber identification module，SIM)卡接口195等。其中传感器模块180可以包括压力传感器180A，陀螺仪传感器180B，气压传感器180C，磁传感器180D，加速度传感器180E，距离传感器180F，接近光传感器180G，指纹传感器180H，温度传感器180J，触摸传感器180K，环境光传感器180L，骨传导传感器180M等。

可以理解的是，本申请实施例示意的结构并不构成对电子设备100的具体限定。在本申请另一些实施例中，电子设备100可以包括比图示更多或更少的部件，或者组合某些部件，或者拆分某些部件，或者不同的部件布置。图示的部件可以以硬件，软件或软件和硬件的组合实现。

处理器110可以包括一个或多个处理单元，例如：处理器110可以包括应用处理器(application processor，AP)，调制解调处理器，图形处理器(graphics processingunit，GPU)，图像信号处理器(image signal processor，ISP)，控制器，存储器，视频编解码器，数字信号处理器(digital signal processor，DSP)，基带处理器，和/或神经网络处理器(neural-network processing unit，NPU)等。其中，不同的处理单元可以是独立的器件，也可以集成在一个或多个处理器中。

其中，控制器可以是电子设备100的神经中枢和指挥中心。控制器可以根据指令操作码和时序信号，产生操作控制信号，完成取指令和执行指令的控制。

处理器110中还可以设置存储器，用于存储指令和数据。在一些实施例中，处理器110中的存储器为高速缓冲存储器。该存储器可以保存处理器110刚用过或循环使用的指令或数据。如果处理器110需要再次使用该指令或数据，可从存储器中直接调用。避免了重复存取，减少了处理器110的等待时间，因而提高了***的效率。

电子设备100通过GPU，显示屏194，以及应用处理器等实现显示功能。GPU为图像处理的微处理器，连接显示屏194和应用处理器。GPU用于执行数学和几何计算，用于图形渲染。处理器110可包括一个或多个GPU，其执行程序指令以生成或改变显示信息。

显示屏194用于显示图像，视频等。显示屏194包括显示面板。显示面板可以采用液晶显示屏(liquid crystal display，LCD)，有机发光二极管(organic light-emittingdiode，OLED)，有源矩阵有机发光二极体或主动矩阵有机发光二极体(active-matrixorganic light emitting diode的，AMOLED)，柔性发光二极管(flex light-emittingdiode，FLED)，Miniled，MicroLed，Micro-oLed，量子点发光二极管(quantum dot lightemitting diodes，QLED)等。在一些实施例中，电子设备100可以包括1个或N个显示屏194，N为大于1的正整数。在本申请的实施例中，显示屏194可以用于在视频录制模式下显示预览界面和拍摄界面等。

电子设备100可以通过ISP，摄像头193，视频编解码器，GPU，显示屏194以及应用处理器等实现拍摄功能。

ISP用于处理摄像头193反馈的数据。例如，拍照时，打开快门，光线通过镜头被传递到摄像头感光元件上，光信号转换为电信号，摄像头感光元件将电信号传递给ISP处理，转化为肉眼可见的图像。ISP还可以对图像的噪点，亮度，肤色进行算法优化。ISP还可以对拍摄场景的曝光，色温等参数优化。在一些实施例中，ISP可以设置在摄像头193中。

摄像头193用于捕获静态图像或视频。物体通过镜头生成光学图像投射到感光元件。感光元件可以是电荷耦合器件(charge coupled device，CCD)或互补金属氧化物半导体(complementary metal-oxide-semiconductor，CMOS)光电晶体管。感光元件把光信号转换成电信号，之后将电信号传递给ISP转换成数字图像信号。ISP将数字图像信号输出到DSP加工处理。DSP将数字图像信号转换成标准的RGB，YUV等格式的图像信号。在一些实施例中，电子设备100可以包括1个或N个摄像头193，N为大于1的正整数。

其中，摄像头193可以包括不同焦段的摄像头，例如等效焦距从小到大变化的超广角摄像头、广角摄像头和长焦摄像头等。其中，等效焦距较小的摄像头，视野范围较大，可用于拍摄风景等较大的画面。等效焦距较大的摄像头，视野范围较小，可用于拍摄远处的物体，可拍摄到的区域较小。

此外，摄像头193还可以包括用于测量待拍摄对象的物距的深度摄像，以及其他摄像头。例如，深度摄像头可以包括三维(3dimensions，3D)深感摄像头、飞行时间(time offlight，TOF)深度摄像头或双目深度摄像头等。

数字信号处理器用于处理数字信号，除了可以处理数字图像信号，还可以处理其他数字信号。例如，当电子设备100在频点选择时，数字信号处理器用于对频点能量进行傅里叶变换等。

视频编解码器用于对数字视频压缩或解压缩。电子设备100可以支持一种或多种视频编解码器。这样，电子设备100可以播放或录制多种编码格式的视频，例如：动态图像专家组(moving picture experts group，MPEG)1，MPEG2，MPEG3，MPEG4等。

NPU为神经网络(neural-network，NN)计算处理器，通过借鉴生物神经网络结构，例如借鉴人脑神经元之间传递模式，对输入信息快速处理，还可以不断的自学习。通过NPU可以实现电子设备100的智能认知等应用，例如：图像识别，人脸识别，语音识别，文本理解，模式识别，机器自学习等。

内部存储器121可以用于存储计算机可执行程序代码，可执行程序代码包括指令。处理器110通过运行存储在内部存储器121的指令，从而执行电子设备100的各种功能应用以及数据处理。内部存储器121可以包括存储程序区和存储数据区。其中，存储程序区可存储操作***，至少一个功能所需的应用程序(比如声音播放功能，图像播放功能等)等。存储数据区可存储电子设备100使用过程中所创建的数据(比如音频数据，电话本等)等。此外，内部存储器121可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件，闪存器件，通用闪存存储器(universal flash storage，UFS)等。

在本申请的实施例中，处理器110通过运行存储在内部存储器121的指令，可以实现在视频录制场景下结合被拍摄主体的运动信息和姿态传感器获得相机的运动信息，从而根据相机的运动信息进行防抖处理，以便同时对运动主体和背景实现防抖，提高视频图像的稳像效果，提高用户拍摄体验。

陀螺仪传感器180B可以用于确定电子设备100的运动姿态。在一些实施例中，可以通过陀螺仪传感器180B确定电子设备100围绕三个轴(即，x，y和z轴)的角速度，即可以获得电子设备100的运动信息，比如旋转信息。陀螺仪传感器180B可以用于拍摄防抖。示例性的，当按下快门，陀螺仪传感器180B检测电子设备100抖动的角度，根据角度计算出镜头模组需要补偿的距离(即补偿量)，让镜头通过反向运动抵消电子设备100的抖动，实现防抖。陀螺仪传感器180B还可以用于导航，体感游戏场景。其中，电子设备100的旋转信息，也可以表示摄像头193的旋转信息，也可以表示相机模组的旋转信息。其中，相机模组包括摄像头193。以下将相机模组简称为相机。

加速度传感器180E可检测电子设备100在各个方向上(一般为三轴)加速度的大小。当电子设备100静止时可检测出重力的大小及方向。还可以用于识别电子设备姿态，应用于横竖屏切换，计步器等应用。

距离传感器180F，用于测量距离。电子设备100可以通过红外或激光测量距离。在一些实施例中，拍摄场景，电子设备100可以利用距离传感器180F测距以实现快速对焦。

触摸传感器180K，也称“触控面板”。触摸传感器180K可以设置于显示屏194，由触摸传感器180K与显示屏194组成触摸屏，也称“触控屏”。触摸传感器180K用于检测作用于其上或附近的触摸操作。触摸传感器可以将检测到的触摸操作传递给应用处理器，以确定触摸事件类型。可以通过显示屏194提供与触摸操作相关的视觉输出。在另一些实施例中，触摸传感器180K也可以设置于电子设备100的表面，与显示屏194所处的位置不同。

在本申请的实施例中，在视频录制场景下，摄像头193可以用于采集图像；显示屏194可以用于显示预览界面和拍摄界面等；陀螺仪传感器180B(也称陀螺仪)等姿态传感器数据可以用于获得相机的旋转信息；处理器110通过运行存储在内部存储器121的指令，可以获得被拍摄主体的运动信息，从而实现结合主体的运动信息和姿态传感器数据获得相机的运动信息，从而根据相机的运动信息进行防抖处理，以便同时对运动主体和背景实现防抖，提高视频图像的稳像效果，提高用户拍摄体验。

可以理解的是，姿态传感器用于检测电子设备100的姿态，以获得电子设备100的旋转信息。例如，姿态传感器可以是陀螺仪或三轴电子罗盘等传感器，本申请实施例对姿态传感器的类型不予限定。

以下将以电子设备为具有图1所示结构的手机，姿态传感器为陀螺仪，视频录制场景为前置自拍场景为例，对本申请实施例提供的录像方法进行阐述。如图2所示，该录像方法可以包括：

201、手机启动拍摄功能后进入录像模式，在预览状态下根据预设帧率采集原始图像。

用户想要使用手机拍摄图像时，可以启动手机的拍摄功能。例如，手机可以启动相机应用，或者启动具有拍照或录像功能的其他应用(比如抖音或河图cyberverse等AR应用)，从而启动手机的拍摄功能。

在一些实施例中，本申请实施例提供的录像方法可以应用于录像模式，手机在启动拍摄功能后，可以进入录像模式，以便在录像模式下结合被拍摄主体的运动信息和陀螺仪数据进行防抖处理。

示例性的，手机检测到用户点击图3中的(a)所示的相机图标301的操作后，启动相机应用的拍摄功能，并显示如图3中的(b)所示的拍照模式下的预览界面。手机检测到用户点击图3中的(b)所示的控件302的操作后，如图3中的(c)所示进入录像模式。

再示例性的，手机显示桌面或非相机应用的界面，检测到用户指示录像的语音指令后，启动拍摄功能，并如图3中的(c)所示进入录像模式。

需要说明的是，手机还可以响应于用户的其他触摸操作、语音指令或快捷手势等操作进入录像模式，本申请实施例对触发手机进入录像模式的操作不作限定。

在另一些实施例中，在录像模式下，手机并不自动结合主体的运动信息和陀螺仪数据进行防抖处理；手机检测到用户的预设操作1后，才启动结合主体的运动信息和陀螺仪数据进行防抖处理。该预设操作1用于指示手机对主体进行防抖处理。示例性的，在录像模式下，预览界面上包括主体防抖控件，手机检测到用户点击主体防抖控件的操作后，启动主体防抖流程，从而结合主体的运动信息和陀螺仪数据进行防抖处理。

手机进入录像模式后，在预览状态下根据预设帧率采集原始图像。

在另一些实施例中，本申请实施例提供的录像方法应用于录像模式以外特定的目标拍摄模式，手机启动拍摄功能后可以进入该目标拍摄模式，以便在目标拍摄模式下结合主体的运动信息和陀螺仪数据进行防抖处理。

以下实施例中，以手机在录像模式下结合主体的运动信息和陀螺仪数据进行防抖处理为例进行说明。

202、手机根据S帧原始图像确定是否满足第一条件，S为大于1的整数。若满足第一条件，则手机执行步骤203-204；若不满足第一条件，则手机执行步骤205。

在录像模式的预览状态下，手机采集S帧原始图像后，可以根据原始图像1-S(即根据S帧原始图像)确定是否满足第一条件。例如，S为2帧、20帧或45帧等。若满足第一条件，则可以确定手机发生了运动，被拍摄主体的占比较大，且主体在原始图像上持续出现，需要进行主体防抖处理，因而手机可以进入主体防抖模式，从而获取主体的运动信息，并结合主体的运动信息对主体进行防抖处理。若不满足第一条件，则表明不需要进行主体防抖处理，你需要进入主体防抖模式，手机仅对背景进行防抖处理。该第一条件也可以称为主体防抖条件。

在本申请的实施例中，被拍摄的主体为拍摄范围内用户感兴趣的物体或对象。拍摄范围内除主体以外的其他物体可以称为背景。相应的，手机采集到的图像上也可以包括主体和背景。

例如，在一些实施例中，主体为预设类型的物体。例如，该预设类型的物体为人脸或动物等。

在另一些实施例中，主体为在预览图像上的图像位于中心区域的物体。用户感兴趣的主体通常会正对着摄像头，因而主体在预览图像上的图像通常位于中心区域。

在另一些实施例中，主体为在预览图像上的图像靠近中心区域且面积大于预设阈值1的物体。用户感兴趣的主体通常会对着摄像头且离摄像头较近，从而主体在预览图像上的图像靠近中心区域且面积大于预设阈值1。

在另一些实施例中，主体为在预览图像上的图像靠近中心区域的预设类型的物体。

在另一些实施例中，主体为在预览图像上的图像靠近中心区域，且面积大于预设阈值1的预设类型的物体。

在另一些实施例中，主体为在预览图像上的图像靠近中心区域，且深度最小的预设类型的物体。

在另一些实施例中，主体为用户通过预设的触摸操作、预设的手势操作或预设的语音指令指定的物体。

其中，主体可以为一个物体。或者，主体也可以为保持相对静止的多个物体形成的整体。

本申请以下实施例中主要以主体为人脸为例进行说明。

当拍摄范围内出现多个人脸时，主体可以为离摄像头最近的一个人脸，或者为面积最大的一个人脸，或者为图像画面上最靠近中间位置的一个人脸，或者为用户指定的一个人脸等。

举例来说，当主体为人脸时，第一条件可以包括以下子条件1-子条件3，或子条件1-子条件3中的任意一种或任意两种子条件的组合。

其中，子条件1：手机的运动幅度大于或者等于预设值1。手机通过加速度计或陀螺仪等运动传感器确定手机的运动幅度较大时，才进行主体人脸防抖处理；从而避免手机静止时由于主体人脸防抖处理导致的背景跟随主体人脸运动的问题。

子条件2：原始图像上主体人脸的面积占比大于或者等于预设值2。在主体人脸占比小于预设值2的情况下，主体人脸面积较小，用户可能想要更好的背景效果，因而不满足第一条件，从而不需要进行主体人脸防抖。在主体人脸占比大于或者等于预设值2的情况下，用户可能想要主要拍摄主体人脸，可以进行主体人脸防抖处理。

子条件3：连续出现主体人脸的原始图像的帧数大于或者等于预设值3，该预设值3为大于1的整数。例如，预设值3为L，主体人脸在连续L帧原始图像上持续出现，主体人脸在原始图像上连续出现的时长大于或者等于预设时长。也就是说，当连续的一段时间内出现主体人脸后手机才进行主体人脸防抖处理，防止主体人脸频繁进出拍摄画面时频繁地开始或退出主体人脸防抖所导致的相关问题。

若满足子条件1-3，则手机确定满足第一条件，可以表明手机发生了运动，主体人脸的面积占比较大，且主体人脸在原始图像上持续出现，需要进行主体人脸的防抖处理。若不满足子条件1、子条件2或子条件3中的任意一个，则手机确定不满足第一条件，从而不再继续确定是否满足第一条件中的其他子条件，且手机确定不需要进行主体人脸的防抖处理。

在一些实施例中，手机可以根据S帧原始图像确定是否满足子条件1，若满足子条件1，则再确定是否满足子条件2和子条件3，以进一步确定是否满足第一条件；若不满足子条件1，则手机确定不满足第一条件。

在预览状态下，若手机采集到的原始图像的帧数大于S帧，则手机根据最近采集到的S帧原始图像确定是否满足第一条件。也就是说，在采集到S帧图像之后，手机每采集一帧原始图像，均根据最近S帧历史原始图像确定是否满足第一条件。若满足第一条件，且当前已进入主体防抖模式，则手机继续在主体防抖模式下进行防抖处理。若满足第一条件，且手机当前未进入主体防抖模式，则手机进入主体防抖模式。若不满足第一条件，且当前已进入防抖模式，则手机退出主体防抖模式。

在一些实施例中，手机进入/退出主体防抖模式后，可以通过显示信息、语音播报或振动等方式提示用户。

203、若满足第一条件，则手机根据M帧原始图像获取主体人脸的运动信息，M为大于1的整数。

若满足第一条件，则表明需要进行主体人脸的防抖处理，因而手机可以开启人脸防抖模式，从而执行步骤203-204，以便结合主体人脸的运动信息和陀螺仪数据进行防抖处理。

在其他一些实施例中，若手机检测到用户开启人脸防抖模式的操作，则表明需要进行主体人脸的防抖处理，因而手机可以开启人脸防抖模式，从而执行步骤203-204，以便结合主体人脸的运动信息和陀螺仪数据进行防抖处理。例如，预览界面上包括人脸防抖控件，手机检测到用户点击该控件的操作后开启人脸防抖模式。

其中，主体人脸的运动信息用于表示主体人脸的运动情况。例如，主体人脸的运动信息可以为主体人脸的目标运动曲线，手机在满足第一条件后根据M帧原始图像获取主体人脸的目标运动曲线，以便结合主体人脸的目标运动曲线和陀螺仪数据进行防抖处理。

以下以手机根据M帧原始图像获取主体人脸的目标运动曲线为例进行说明。

手机根据人脸特征检测算法，对M帧原始图像进行人脸特征点检测。示例性的，参见图4，人脸共包括71个特征点。手机将各特征点的坐标均值作为人脸中心。M帧原始图像的人脸中心构成了主体人脸的原始运动曲线，也可以称为主体人脸的原始运动轨迹或主体人脸的原始运动路径等。

手机对主体人脸的原始运动曲线进行平滑处理，从而得到一条平滑的主体人脸的目标运动曲线。该主体人脸的目标运动曲线满足如下第二条件：

(1)主体人脸的目标运动曲线处处连续。也就是说，人脸中心的运动轨迹较为平滑，变化不能过于剧烈。

(2)主体人脸的目标运动曲线一阶、二阶可导，且曲率尽可能小(例如小于或者等于预设阈值2)。也就是说，主体人脸的目标运动曲线的速度和加速度的变化较为平滑，不能过于剧烈。

(3)主体人脸的目标运动曲线上的人脸中心与主体人脸的原始运动曲线上的人脸中心之间的距离小于或者等于预设值4。即，主体人脸的目标运动曲线上的人脸中心不能偏离主体人脸的原始运动曲线太远，主体人脸的目标运动曲线上的人脸中心应在主体人脸的原始运动曲线附近。

手机可以采用多种方法来对主体人脸的原始运动曲线进行平滑处理，来获得主体人脸的目标运动曲线。例如，手机可以通过二次规划的方法来获得平滑的主体人脸的目标运动曲线。

其中，多帧原始图像上代表的主体人脸的运动，可以使用式1表示的2组等时间间隔的人脸坐标序列来表示：

假设人脸中心坐标序列均在一条曲线上，手机可以通过二次规划的方法，根据式2表示的目标函数1，确定一条满足上述第二条件的平滑的主体人脸的目标运动曲线。该主体人脸的目标运动曲线上的点通过C’_k序列来表示。

其中，r＝[r_u,r_v]^T∈R^2×1,c_k＝[u_k,v_k]^T,c'_k＝[u'_k,v'_k]^T。

在式2中，s.t.表示“使得满足”，C’_k表示的就是期望得到的平滑后的主体人脸的目标运动曲线中第k帧原始图像上人脸中心的坐标。C_k表示平滑前的主体人脸的原始运动曲线上第k帧原始图像上人脸中心的坐标。ω₁，ω₂为预设的超参数。r表示平滑前后人脸中心的差距阈值，ru和rv分别表示该差距的行坐标阈值和纵坐标阈值。

式2也可以表示为式3：

minω₁J₁+ω₂J₂式3

其中，J₁表示主体人脸的目标运动曲线的一阶导数，

J₂表示主体人脸的目标运动曲线的二阶导数，/>

/>

在步骤203中，手机在满足第一条件后根据M帧原始图像获取主体人脸的目标运动曲线，以便结合主体人脸的目标运动曲线和陀螺仪数据进行防抖处理。例如，手机在首次根据M帧原始图像获取主体人脸的目标运动曲线后，后续每采集到一帧原始图像都可以结合最近采集到的M帧原始图像，继续获取主体人脸的目标运动曲线上后续的轨迹点。

204、手机根据N帧原始图像对应的陀螺仪数据和主体人脸的运动信息，获得相机的运动信息，N为大于1的整数。

其中，相机的运动信息用于表示相机的运动情况。由于相机模组包括摄像头，因而相机的运动情况也就是摄像头的运动情况，而相机模组通常是固定在手机上而随着手机一起运动的，因而摄像头的运动情况也就是手机的运动情况。例如，相机的运动信息为相机的目标运动曲线，也可以称为相机的目标运动轨迹或路径，也即手机的目标运动曲线或手机的目标运动轨迹或路径。相机的运动信息用于后续计算原始图像的稳像变换矩阵，稳像变换矩阵用于通过变形(warp)变换对原始图像进行运动补偿，从而达到图像防抖和稳像的效果。

以下以相机的运动信息为相机的目标运动曲线，手机获取相机的目标运动曲线为例进行说明。

手机在满足第一条件后根据N帧原始图像对应的陀螺仪数据获得相机的原始运动曲线。N帧原始图像对应的陀螺仪数据即为N帧原始图像的采集时段内对应的陀螺仪数据。手机根据第一约束条件对相机的原始运动曲线进行处理，从而获得相机的目标运动曲线。其中，该第一约束条件与主体人脸的运动信息相关联。也就是说，手机根据陀螺仪数据和主体人脸的运动信息，获得相机的目标运动曲线。该相机的目标运动曲线满足如下第三条件：

(1)相机的目标运动曲线处处连续。也就是说，相机的运动轨迹较为平滑，轨迹变化不能过于剧烈。

(2)相机的目标运动曲线一阶、二阶、三阶可导，且曲率尽可能小(例如小于或者等于预设阈值3)。也就是说，相机的目标运动曲线的速度、加速度和加速度的变化率(即急动度)的变化较为平滑，不能过于剧烈。

(3)根据相机的目标运动曲线计算稳像变换矩阵，从而根据稳像变换矩阵对原始图像进行运动补偿时，不能导致补偿后的原始图像超出裁剪(crop后)的边界从而产生黑边。

(4)根据相机的目标运动曲线对原始图像进行运动补偿时，原始图像上进行warp变换后的人脸中心与主体人脸的目标运动曲线上的人脸中心之间的距离小于或者等于预设值5。即，主体人脸的目标运动曲线上的人脸中心不能偏离主体人脸的原始运动曲线太远，主体人脸的目标运动曲线上的人脸中心应在主体人脸的原始运动曲线附近。

手机可以采用多种方法来对相机的原始运动曲线进行平滑处理，来获得相机的目标运动曲线。例如，手机可以通过二次规划的方法来获得平滑的相机的目标运动曲线。

其中，相机的原始运动曲线上的点表示相机的原始位姿，可以使用式4表示的3组等时间间隔的旋转角序列来表示：

其中，

分别代表从陀螺仪积分出的三个方向的旋转角。手机可以通过二次规划的方法，根据式5表示的目标函数2以及式6表示的第一约束条件，确定一条满足上述第三条件的平滑的相机的目标运动曲线。

min w₁J₁+w₂J₂+w₃J₃ 式5

与上述式3类似，J_i代表相机的目标运动曲线的第i阶导数，如式6所示，第一约束条件可以包括：

在满足第一条件后，手机采用本申请实施例提供的算法，首次根据采集到的N帧原始图像对应的相机的原始位姿进行处理，获得I帧(I为正整数)原始图像对应的优化后的相机的目标位姿，以使得I帧原始图像对应的相机的目标位姿之间的过渡较为平滑。其中，优化后的相机的目标位姿形成了相机的目标运动曲线，优化后的相机的目标位姿为相机的目标运动曲线上的点。而后，手机采集到后续I帧原始图像后，根据最近采集到的历史N帧原始图像对应的相机的原始位姿进行处理，获得I帧原始图像对应的优化后的相机的目标位姿。

其中，N＝N1+I+N2，N1和I为正整数，N2为非负整数。本申请实施例采用的算法根据N帧原始图像对应的相机的原始位姿，输出的是N1帧原始图像之后的I帧原始图像对应的优化后的相机的目标位姿。例如，N为45，N1为15，N2为27，I为3，算法第一次对第1-45帧原始图像对应的相机的原始位姿进行处理，输出第16、17、18这I帧原始图像对应的优化后的相机的目标位姿。也就是说，手机根据I帧原始图像以及之前的N1帧原始图像和之后的N2帧原始图像对应的相机的原始位姿，得到该I帧原始图像对应的优化后的相机的目标位姿。

式6中的子约束条件(1)用于将优化后的部分原始图像对应的相机的目标位姿作为输入，来优化相邻的后续几帧原始图像对应的相机的目标位姿，以使得优化后的相机的目标位姿的整体过渡较为平滑，而不只是I帧原始图像对应的相机的目标位姿之间局部过渡平滑。例如，N为45，N1为15，N2为27，I为3，算法第二次对第4-48帧原始图像对应的优化后的相机的目标位姿进行处理，输出第19、20、21帧原始图像对应的优化后的相机的目标位姿。为了保证优化后的第18和19帧原始图像对应的优化后的相机的目标位姿不出现跳变，过渡较为平滑，手机基于子约束条件(1)可以把第二次优化时使用的第17和18帧原始图像对应的相机的原始位置，替换为第一次优化后的第17和18帧原始图像对应的优化后的相机的目标位姿。

式6中的子约束条件(2)用于使得原始图像基于相机的目标运动曲线经过warp变换后不会超出预设的裁剪边界。示例性的，参见图5，方框501表示原始图像的范围，方框502表示防抖处理时的裁剪保留范围，预设的裁剪边界可以为图5所示的P_w和P_h所限定的边界。例如，在图5中，P_i表示原始图像上warp变换前的像素点，P_i’表示根据相机的运动信息进行warp变换后的像素点。原始图像边缘的四个角点即方框501的四个顶点，经过warp变换后不能超出P_w和P_h所限定的边界，即不能位于P_w和P_h所限定的边界之外的方框502表示的裁剪保留范围内，以使得裁剪获得的图像不会留有黑边。再例如，原始图像上的人脸中心P_c经过warp变换后的P_c’不能超出边界P_w和P_h，即不能超出方框503表示的裁剪保留范围，以使得裁剪获得的图像不会留有黑边。

在式6中的子约束条件(3)中，函数∏(x_f，w，w_f)表示对原始图像上人脸中心的坐标X_f，根据目标函数2以及子约束条件(1)-(2)获得的相机的位姿，以及变换矩阵w进行计算，获得的warp变换后的人脸中心的投影位置；x_h表示平滑后的主体人脸的目标运动曲线上人脸中心的理想位置；ε表示人脸中心投影位置及理想位置之间的坐标偏移量阈值。也就是说，式6中的子约束条件(3)用于使得人脸中心投影位置与理想位置之间的坐标偏移量应小于ε，从而使得人脸在相邻原始图像上的位置较为稳定，人脸抖动较小，稳像效果较好。ε决定了稳像后图像画面中人脸的稳定程度。

举例来说，方框504的中心点P₀是平滑后的主体人脸目标曲线上的人脸中心。对原始图像上的人脸中心P_c进行warp变换后得到的人脸中心P_c’落在子约束条件(3)中的ε限定的方框504的范围内。

由子约束条件(3)可知，由于相机的目标运动曲线基于主体人脸的目标运动曲线获得，因而主体人脸的目标运动曲线上的点对应的原始图像应包括相机的目标运动曲线上的点。因此，在一些实施例中，M可以大于或者等于N。

手机首次根据N帧原始图像获得相机的目标运动曲线后，后续每采集到I帧原始图像都可以结合最近采集到的N帧原始图像获取相机的目标运动曲线上后续的I个点。

手机在确定相机的运动信息后，后续根据相机的运动信息确定旋转补偿量，从而根据旋转补偿量计算原始图像的稳像变换矩阵。该稳像变换矩阵为原始图像进行变形(warp)变换的单应性矩阵。稳像变换矩阵用于通过warp变换对原始图像进行运动补偿，从而达到图像防抖和稳像的效果。例如，手机可以根据稳像变换矩阵对原始图像进行warp变换处理得到预览图像，并在预览界面上显示预览图像。这样，手机根据相机的运动信息进行warp变换时，在相机的运动信息中结合了主体人脸的运动信息，从而可以在对背景进行防抖时还可以对主体人脸进行防抖，提高图像的稳像效果，提高用户拍摄体验。

可以理解的是，在防抖处理时，原始图像上的背景和主体的稳定情况通常是相互冲突的。若背景的防抖处理强度较大，则主体的防抖效果较差；若主体的防抖处理强度较大，则背景的防抖效果较差。

因而，在一些实施例中，手机在开启人脸防抖模式后，还可以根据主体人脸的运动幅度来动态调节人脸约束的强度，以平衡背景和主体人脸的防抖效果，使得背景和主体人脸的稳像效果都比较好。并且，手机在动态调节人脸约束的强度时，可以平滑地增强和减弱人脸约束强度，以避免背景或主体人脸的防抖强度发生突变，避免背景和主体人脸的图像效果发生突变，使得背景和主体人脸的防抖效果平滑过渡，提高用户拍摄体验。

例如，在一种可能的实现方式中，参见图6A，在开启人脸防抖模式后，手机根据人脸运动幅度调节人脸约束强度的流程可以包括：

204a、手机根据主体人脸的运动幅度确定对应的人脸约束档位1，每个档位对应一个人脸约束强度的上界值。

其中，主体人脸的运动幅度通过M帧原始图像上主体人脸中心的方差来衡量。方差越大，则主体人脸的运动幅度也越大。主体人脸的运动幅度越大，则对应的人脸约束档位越高，人脸约束越强；主体人脸的运动幅度越小，则对应的人脸约束档位越低，人脸约束越弱。

其中，人脸约束强弱通过上述子约束条件(3)中的ε来控制。ε值越大，人脸约束强度就越弱；ε值越小，人脸约束强度就越强。

在一些实施例中，不同档位对应的人脸约束强度的上界值可以与不同的ε值相对应。

204b、手机将人脸约束强度从初始值逐渐提升至档位1的上界值1。而后，手机执行步骤204c或步骤204d。

其中，该初始值可以是预设的数值，该初始值对应的人脸约束强度较小，以使得手机进入人脸防抖模式后，刚开始进行人脸防抖处理时的人脸约束强度较小，使得防抖前后的图像变化较为平滑。

204c、若手机确定主体人脸的运动幅度增大且对应人脸约束档位2，则将人脸约束强度从档位1对应的上界值1开始逐渐提升至档位2对应的上界值2。

其中，档位2对应的人脸约束强度大于档位1对应的人脸约束强度，上界值2对应的人脸约束强度大于上界值1对应的人脸约束强度。相应地，上界值2对应的ε值小于上界值1对应的ε值。

也就是说，当主体人脸的运动幅度增大(例如主体对象由行走改为跑步)时，手机可以相应地增强人脸约束强度，从而对运动幅度较大的主体人脸进行更大强度的防抖处理，提高主体人脸的稳像效果。并且，手机需要逐渐、缓慢、平滑地增强人脸约束的强度，以使得主体人脸和背景进行防抖处理后的图像效果缓慢变化，避免背景或主体人脸的防抖强度发生突变，避免背景和主体人脸的图像效果发生突变。

204d、若手机确定主体人脸的运动幅度减小且对应人脸约束档位3，手机将人脸约束强度从档位1对应的上界值1开始逐渐减弱至档位2对应的上界值3。

其中，档位3对应的人脸约束强度小于档位2对应的人脸约束强度，上界值3对应的人脸约束强度小于上界值2对应的人脸约束强度。相应地，上界值3对应的ε值大于上界值2对应的ε值。

也就是说，当主体人脸的运动幅度减小时，手机可以相应地减弱人脸约束强度，从而对运动幅度较小的主体人脸进行较弱强度的防抖处理，在提高主体人脸稳像效果的同时也保证背景的稳像效果。并且，手机需要逐渐、缓慢、平滑地减弱人脸约束的强度，以使得主体人脸和背景进行防抖处理后的图像效果缓慢变化，避免背景或主体人脸的防抖强度发生突变，避免背景和主体人脸的图像效果发生突变。

205、若不满足第一条件，则手机根据N帧原始图像对应的陀螺仪数据获得相机的运动信息。

在步骤205中，若不满足第一条件，则相机的运动信息根据N帧原始图像对应的陀螺仪数据获得，而不需要结合主体人脸的运动信息。例如，当相机的运动信息为相机的目标运动曲线时，相机的目标运动曲线根据式5表示的目标函数2以及第二约束条件来计算获得。其中，与第一约束条件不同，第二约束条件不包括与主体人脸的运动信息相关联的上述子约束条件(3)。例如，第二约束条件可以包括上述子约束条件(1)和子约束条件(2)。也就是说，相机的目标运动曲线并不根据主体人脸的运动信息来获得。相机的运动信息用于后续计算原始图像的稳像变换矩阵，稳像变换矩阵用于通过warp变换对原始图像进行运动补偿，从而达到图像防抖和稳像的效果。

若手机确定不满足第一条件，则可以表明不需要进行主体人脸的防抖处理，从而可以执行步骤211-214，以采用根据N帧原始图像对应的陀螺仪数据获得的相机的运动信息进行防抖处理，而不需要结合主体人脸的运动信息进行防抖处理。

需要说明的是，若手机之前已进入人脸防抖模式，则手机确定不满足第一条件后退出人脸防抖模式，从而执行步骤211-214，删除子约束条件(3)对应的人脸约束项，以采用根据陀螺仪数据获得的相机的运动信息进行防抖处理。

也就是说，若不满足第一条件，则后续手机根据相机的运动信息计算原始图像的稳像变换矩阵，手机根据稳像变换矩阵对原始图像进行warp变换处理得到预览图像，并在预览界面上显示预览图像。

在本申请以上实施例描述的方案中，手机进行人脸防抖调节的一种流程图可以参见图6B。如图6B所示，手机根据多帧原始图像确定满足人脸防抖条件时，计算人脸运动幅度；根据人脸运动幅度将人脸约束逐渐增加至对应的约束强度上界；若人脸运动幅度发生变化，则根据人脸运动幅度将人脸约束逐渐增加至对应的新的约束强度上界；若不满足人脸防抖条件，则删除人脸约束，退出人脸防抖模式。

可以理解的是，摄像头的卷帘快门是通过逐行曝光来采集原始图像的，当被拍摄物体高速运动或摄像头的扫描速度不够快，图像上的物体会出现倾斜、摇摆不定或部分曝光等现象，称为卷帘快门(rolling shutter，RS)效应或果冻效应。在一些实施例中，手机还可以计算RS补偿量来进行RS校正，以有效纠正原始图像上背景的果冻效应。由于原始图像上的背景和主体的稳定是相互冲突的，因而手机在对背景进行RS校正时，通过调整RS补偿量的大小来尽量减小或避免主体人脸的畸变。基于此，在上述步骤204和步骤205之后，该方法还可以包括：

206、手机根据陀螺仪的数据，计算原始图像对应的RS补偿量。

其中，RS补偿量用于在warp变换时对原始图像进行运动补偿，从而进行RS校正。并且，卷帘快门是逐行曝光的，因而RS补偿量包括每个曝光行分别对应的补偿量。

手机可以根据陀螺仪的数据计算原始图像对应的RS补偿量。例如，原始图像曝光行的中心行不需要进行RS补偿，即中心行对应的RS补偿量为0。手机可以根据其他曝光行的时间戳与中心行的时间戳的差值，以及其他曝光行对应的陀螺仪数据与中心行对应的陀螺仪数据的差值，计算其他曝光行分别对应的RS补偿量。

再例如，手机可以根据陀螺仪的数据计算原始图像首行/末行的RS补偿量，根据其他曝光行的时间戳与首行/末行的时间戳的差值以及其他曝光行对应的陀螺仪数据与首/末行对应的陀螺仪数据的差值，计算其他曝光行分别对应的RS补偿量。

207、手机确定是否满足第四条件。若满足第四条件，则手机执行步骤208；若不满足第四条件，则手机执行步骤211。

若满足第四条件，则可以表明主体人脸和背景有较大的相对运动，手机可以进入摇摄panning模式，从而减小RS补偿量，并结合减小后的RS补偿量和相机的运动信息计算原始图像的稳像变换矩阵，从而进行warp变换。

208、若满足第四条件，则手机根据panning幅度确定减小因子，该减小因子用于减小RS补偿量。

其中，该减小因子用于减小每行的RS补偿量。例如，该减小因子可以为减小比例k，减小后的RS补偿量＝原始RS补偿量*(1-k)。原始RS补偿量为步骤206中根据陀螺仪的数据获得的未减小的RS补偿量。

若满足第四条件，则可以表明主体人脸和背景有较大的相对运动。此时，若采用根据陀螺仪的数据获取的RS补偿量对原始图像进行warp变换，则容易导致主体人脸发生畸变，因而手机可以进入panning模式，并根据panning幅度减小RS补偿量，以尽量减小或避免主体人脸因RS校正而发生畸变。

在一些实施例中，panning模式指相机与主体保持相对静止或以相同的速度运动，而拍摄用户身体旋转从而使得手机和相机发生旋转，使得背景发生变化，进而使得主体人脸和背景有较大的相对运动。

例如，参见图7A，手机确定满足第四条件包括：

208a、手机根据多帧原始图像对应的陀螺仪数据确定相机旋转运动的主轴。

手机根据采集连续多帧原始图像期间对应的陀螺仪数据，计算相机的角速度，并对角速度积分获得x,y,z三个坐标轴的旋转角，进而根据x,y,z三个坐标轴的旋转角获得相机旋转运动的主轴。

208b、手机计算主轴与目标坐标轴之间的夹角。

其中，该目标坐标轴为预设的坐标轴，且与手机当前的横/竖屏状态相关。例如，若手机当前为竖屏状态，则目标坐标轴为与重力方向相同的y轴；若手机当前为横屏模式，则目标坐标轴为与重力方向垂直的水平方向的x轴。手机在确定相机旋转运动的主轴后，可以计算主轴与目标坐标轴之间的夹角。

208c、若夹角小于或者等于预设值6，则手机确定满足第四条件。

若主轴与目标坐标轴之间的夹角小于或者等于预设值6，则可以表明主轴与目标坐标轴之间的夹角较小，相机基本在绕着目标坐标轴旋转，主体人脸和背景有较大的相对运动，满足第四条件。

例如，手机可以计算主轴与目标坐标轴之间的夹角的余弦值，若该余弦值大于或者等于预设值7，则可以表明主轴与目标坐标轴之间的夹角较小，相机基本在绕着目标坐标轴旋转，主体人脸和背景有较大的相对运动，满足第四条件。

示例性的，当手机为竖屏状态时，手机绕y轴panning的示意图可以参见图8A。

手机在满足第四条件后进入panning模式，并根据panning幅度确定减小因子。其中，panning幅度用于表示相机绕目标坐标轴旋转的幅度。例如，若主轴与目标坐标轴之间的夹角越小或相机的旋转速度越大，则可以表明panning幅度越大。panning幅度越大，则减小因子越大。相对地，若主轴与目标坐标轴之间的夹角越大或相机的旋转速度越小，则可以表明panning幅度越小，减小因子也就越小。

在本申请实施例中，在进行人脸畸变校正时，手机获取减小后的RS补偿量的处理流程还可以参见图7B。如图7B所示，手机可以缓存多帧原始图像对应的陀螺仪数据，在原始图像出现人脸时计算运动主轴，而后计算主轴与目标坐标轴之间的夹角，当夹角小于或者等于预设值8时计算减小因子，根据减小因子减小RS补偿量。

209、手机根据减小后的RS补偿量和相机的运动信息，计算原始图像的稳像变换矩阵。

手机可以根据相机的运动信息计算旋转补偿量，旋转补偿量也包括每个曝光行分别对应的补偿量。手机可以将减小后的RS补偿量与旋转补偿量相加，从而计算原始图像的稳像变换矩阵。

例如，相机的运动信息为相机的目标运动曲线，手机可以根据相机的目标运动曲线上I帧原始图像对应的相机的目标位姿，分别计算I帧原始图像分别对应的旋转补偿量。手机将I帧原始图像中每帧原始图像分别对应的旋转补偿量与减小后的RS补偿量相加，从而获得I帧原始图像中每帧原始图像分别对应的稳像变换矩阵。

举例来说，N为45，N1为15，I为3，N2为27，手机对第1-45帧原始图像对应的相机的原始位姿进行处理，输出第16、17、18帧原始图像对应的优化后的相机的目标位姿后，根据第16、17、18帧原始图像对应的优化后的相机的目标位姿，计算第16、17、18帧原始图像对应的旋转补偿量。手机将第16、17、18帧原始图像中每帧原始图像分别对应的旋转补偿量与减小后的RS补偿量相加，从而获得第16、17、18帧原始图像中每帧原始图像分别对应的稳像变换矩阵。

而后，手机对第4-48帧原始图像对应的相机的原始位姿(其中第17和18帧原始图像对应的原始位姿替换为优化后的相机的目标位姿)进行处理，输出19、20、21帧原始图像对应的优化后的相机的目标位姿后，根据第19、20、21帧原始图像对应的优化后的相机的目标位姿，计算第19、20、21帧原始图像对应的旋转补偿量。手机将第19、20、21帧原始图像中每帧原始图像分别对应的旋转补偿量与减小后的RS补偿量相加，从而获得第19、20、21帧原始图像中每帧原始图像分别对应的稳像变换矩阵。

210、手机根据稳像变换矩阵对原始图像进行图像变换得到预览图像，并在预览界面上显示预览图像。

手机根据I帧原始图像中每帧原始图像分别对应的稳像变换矩阵，对相应的原始图像进行warp变换从而得到预览图像，并将预览图像显示在预览界面上。

例如，N为45，N1为15，N2为27，I为3，手机根据第16、17、18帧原始图像中每帧原始图像分别对应的稳像变换矩阵，对第16、17、18帧原始图像进行warp变换从而得到第1、2、3帧预览图像，并在预览界面上依次显示第1、2、3帧预览图像。手机根据第19、20、21帧原始图像中每帧原始图像分别对应的稳像变换矩阵，对第19、20、21帧原始图像进行warp变换从而得到第4、5、6帧预览图像，并在预览界面上依次显示第4、5、6帧预览图像。示例性的，当N为45，N1为15，N2为27，I为3时，手机在预览状态下采集的原始图像帧和显示的预览图像的时序对应关系可以参见图8B。

其中，手机显示的预览图像帧的序号与原始图像帧的序号之间的差值为N1。也就是说，手机在预览界面上并不显示第1至N1帧原始图像进行warp变换后的预览图像，而从第N1+1帧原始图像进行warp变换后的预览图像开始显示。

可以理解的是，手机在预览状态下对原始图像的采集帧率较大，且手机从其他模式到录像模式的切换需要一定的时间，手机在切换为录像模式后不显示1至N1帧原始图像进行warp变换后的预览图像，不会使得用户产生卡顿或黑屏等较差的视觉体验。

并且，手机根据N1+I+N2帧原始图像对应的相机的初始位姿才能得到第N1+1帧原始图像对应的相机的目标位姿，从而才能根据第N1+1帧原始图像对应的相机的目标位姿得到第N1+1帧原始图像对应的稳像变换矩阵，进而得到第N1+1帧原始图像进行warp变换后对应的第1帧预览图像。也就是说，I帧原始图像的起始帧与该N帧原始图像中的第N1+1帧原始图像对应，手机显示的预览图像与手机采集到的原始图像相比延迟了至少N2帧。

在本申请的其他一些实施例中，在刚进入预览状态后，手机采集首个N帧原始图像的过程中，将前N1帧原始图像中的每帧原始图像作为预览图像显示在预览界面上。后续，手机采集到新的原始图像后，采用上述实施例描述的方法根据N帧原始图像生成I帧原始图像对应的预览图像，并将生成的预览图像显示在预览界面上。

在本申请的其他一些实施例中，在预览状态下，手机在预览界面上显示的预览图像的帧序号与原始图像的帧序号相对应，即N2为0，且I为1。也就是说，手机采集到一帧原始图像后，即显示该帧原始图像对应的预览图像。并且，N1可以较小，例如可以为5、8或10等。在预览状态下，在手机采集到N1帧原始图像之前，手机结合在预览状态下已采集的原始图像，生成当前原始图像对应的预览图像并显示。

比如，在刚进入预览状态后，手机采集到第1帧原始图像后即将该第1帧原始图像作为第1帧预览图像显示在预览界面上。手机采集到第2帧原始图像后，根据第1至2帧原始图像生成第2帧原始图像对应的第2帧预览图像，并在预览界面上显示该第2帧预览图像。手机采集到第3帧原始图像后，根据第1至3帧原始图像生成第3帧原始图像对应的第3帧预览图像，并在预览界面上显示该第3帧预览图像。手机采集到第N1+1帧原始图像后，根据第1至N1+1帧原始图像生成第N1+1帧预览图像，并在预览界面上显示该第N1+1帧预览图像。后续，手机采集到新的原始图像后，结合该新的原始图像之前的N1帧原始图像和该新的原始图像，生成该新的原始图像对应的预览图像，并将生成的预览图像显示在预览界面上。

在预览图像根据平滑的相机的目标运动曲线上的目标位姿计算的稳像矩阵进行图像变换获得的情况下，由于上述平滑的相机的目标运动曲线满足子约束条件(1)，因而基于相机的目标运动曲线获得的warp变换后的预览图像之间整体过渡平滑。上述平滑的相机的目标运动曲线满足子约束条件(2)，因而基于相机的目标运动曲线获得的warp变换后的预览图像不会超出裁剪边界。上述平滑的相机的目标运动曲线满足子约束条件(3)，因而基于相机的目标运动曲线获得的warp变换后的预览图像上主体人脸的稳像效果较好。

211、若不满足第四条件，则手机根据RS补偿量和相机的运动信息，计算原始图像的稳像变换矩阵。而后，手机执行上述步骤210。

若不满足第四条件，则可以表明主体人脸和背景并没有较大的相对运动，不需要减小RS补偿量，因而手机可以根据原始RS补偿量和相机的运动信息计算原始图像的稳像变换矩阵，根据稳像变换矩阵进行warp变换，从而得到预览图像，并将预览图像显示在预览界面上。

也就是说，在预览状态下，手机可以结合主体的运动信息和陀螺仪数据进行防抖处理，从而同时对运动主体和背景实现防抖，提高预览图像的稳像效果，提高用户拍摄体验。并且，手机还可以根据主体人脸的运动幅度来动态调节预览状态下人脸约束的强度，以平衡为用户呈现的预览图像上背景和主体人脸的防抖效果，使得预览图像上背景和主体人脸的稳像效果都较好。而且，手机还可以在对背景进行RS校正时，通过调整RS补偿量的大小来尽量减小或避免预览图像上主体人脸的畸变。

示例性的，在预览状态下，当手机处于panning模式时，手机未进行防抖处理的预览图像的效果示意图可以参见图9A中的(a)-(d)。如图9A所示，在预览过程中，背景和主体人脸均发生了抖动。比如，背景中树叶的位置发生了上、下抖动和旋转，人脸的位置也发生了上、下抖动和旋转。手机未开启人脸防抖模式的情况下进行防抖处理的预览图像的效果示意图可以参见图9B中的(a)-(d)。手机开启人脸防抖模式后进行防抖处理且未进行人脸畸变校正的预览图像的效果示意图可以参见图9C中的(a)-(d)。手机开启人脸防抖模式后进行防抖处理且进行了人脸畸变校正的预览图像的效果示意图可以参见图9D中的(a)-(d)。

而后，手机检测到用户的拍摄操作后进入拍摄过程。参见图2，该方法还可以包括步骤212：

212、手机检测到用户的拍摄操作后，在拍摄过程中根据预设帧率采集原始图像。

例如，手机检测到用户点击如图9D中的(d)所示的拍摄控件900的操作后，确定检测到用户的拍摄操作，从而进入视频拍摄过程。再例如，手机检测到用户语音指示开始拍摄的操作后，确定检测到用户的拍摄操作，从而进入视频拍摄过程。

可以理解的是，用于触发手机进入视频拍摄过程的方式还可以有多种其他方式，本申请实施例不予限定。

需要说明的是，拍摄过程中的图像数据流包括录像中预览流和视频流。其中，录像中预览流用于在录像过程中在拍摄界面上用户呈现录拍图像。与录像中预览流相对的，预览状态下用于为用户呈现预览图像的预览流可以称为录像前预览流。视频流用于生成视频文件中的视频图像。

在一些实施例中，录像中预览流与录像前预览流为同一条数据流。进入拍摄过程后，手机接续预览状态下的状态、防抖模式和处理过程继续处理生成录拍图像。例如，若进入拍摄过程之前，手机处于人脸防抖模式，且手机生成第60帧预览图像；则进入拍摄过程之后，手机仍处于人脸防抖模式，并结合进入拍摄过程之前的原始图像生成第61帧预览图像，该61帧预览图像即为拍摄界面上的第1帧录拍图像。若进入拍摄过程时，手机未进入人脸防抖模式，则进入拍摄过程之后，手机确定是否进入人脸防抖模式。

在另一些实施例中，录像中预览流与录像前预览流不是同一条数据流。进入拍摄过程后，手机停止录像前预览流并启动录像中预览流。类似于预览状态下手机根据录像前预览流中的原始图像，结合人脸的运动信息和陀螺仪数据进行防抖处理从而生成预览图像并显示；手机在拍摄过程中可以根据录像中预览流中的原始图像，结合人脸的运动信息和陀螺仪数据进行防抖处理从而生成录拍图像并显示。并且，手机可以根据拍摄过程中采集到的原始图像，重新判断是否进入人脸防抖模式，并在进入人脸防抖模式后执行人脸防抖流程。比如，进入拍摄过程之前，手机处于人脸防抖模式，且手机生成第60帧预览图像；进入拍摄过程之后，手机重新确定是否进入人脸防抖模式，并在进入人脸防抖模式后，根据拍摄过程中采集到的原始图像生成第1帧录拍图像，并显示在录拍界面上。例如，参见图2，在步骤212之后，针对录像中预览流，该方法还可以包括以下步骤213-222：

213、手机根据拍摄过程中的S’帧原始图像确定是否满足第一条件，S’为大于1的整数。若满足第一条件，则手机执行步骤214-221；若不满足第一条件，则手机执行步骤222-225。

其中，S’与S可以相同或不同。

214、若满足第一条件，则手机根据M’帧原始图像获取主体人脸的运动信息，M’为大于1的整数。

其中，M’与M可以相同或不同。

215、手机根据N’帧原始图像对应的陀螺仪数据和主体人脸的运动信息，获得相机的运动信息，N’为大于1的整数。

其中，N’与N可以相同或不同，N1’与N1可以相同或不同，I’与I可以相同或不同，N2’与N2可以相同或不同。

216、若不满足第一条件，则手机根据N’帧原始图像对应的陀螺仪数据获得相机的运动信息。

217、手机根据陀螺仪的数据，计算原始图像对应的RS补偿量。

218、手机确定是否满足第四条件。若满足第四条件，则手机执行步骤219；若不满足第四条件，则手机执行步骤222。

219、若满足第四条件，则手机根据panning幅度确定减小因子，该减小因子用于减小RS补偿量。

220、手机根据减小后的RS补偿量以及相机的运动信息，计算原始图像的稳像变换矩阵。

221、手机根据稳像变换矩阵对原始图像进行图像变换得到录拍图像，并在预览界面上显示录拍图像。

222、若不满足第四条件，则手机根据RS补偿量以及相机的运动信息，计算原始图像的稳像变换矩阵。而后，手机执行上述步骤221。

需要说明的是，关于步骤213-222的说明可以参考上述步骤202-211中的相关描述，这里不予赘述。

与预览状态下类似，在拍摄过程中，手机可以根据N1+I+N2帧原始图像对应的相机的初始位姿才能得到第N1+1帧原始图像对应的相机的目标位姿，从而才能根据第N1+1帧原始图像对应的相机的目标位姿得到第N1+1帧原始图像对应的稳像变换矩阵，进而得到第N1+1帧原始图像进行warp变换后对应的第1帧录拍图像。也就是说，I帧原始图像的起始帧与该N帧原始图像中的第N1+1帧原始图像对应，手机显示的录拍图像与手机采集到的原始图像相比延迟了至少N2帧。

在其他一些实施例中，在刚进入拍摄过程后，手机采集首个N帧原始图像的过程中，将前N1帧原始图像中的每帧原始图像作为录拍图像显示在拍摄界面上。后续，手机采集到新的原始图像后，采用上述实施例描述的方法根据N帧原始图像生成I帧原始图像对应的录拍图像，并将生成的录拍图像显示在拍摄界面上。

在其他一些实施例中，在拍摄过程下，手机在拍摄界面上显示的录拍图像的帧序号与原始图像的帧序号相对应，即N2为0，且I为1。也就是说，手机采集到一帧原始图像后，即显示该帧原始图像对应的录拍图像。并且，N1可以较小，例如可以为5、8或10等。在拍摄过程下，在手机采集到N1帧原始图像之前，手机结合在拍摄过程下已采集的原始图像，生成当前原始图像对应的录拍图像并显示。

比如，在刚进入拍摄过程后，手机采集到第1帧原始图像后即将该第1帧原始图像作为第1帧录拍图像显示在拍摄界面上。手机采集到第2帧原始图像后，根据第1至2帧原始图像生成第2帧原始图像对应的第2帧录拍图像，并在拍摄界面上显示该第2帧录拍图像。手机采集到第3帧原始图像后，根据第1至3帧原始图像生成第3帧原始图像对应的第3帧录拍图像，并在拍摄界面上显示该第3帧录拍图像。手机采集到第N1+1帧原始图像后，根据第1至N1+1帧原始图像生成第N1+1帧录拍图像，并在拍摄界面上显示该第N1+1帧录拍图像。后续，手机采集到新的原始图像后，结合该新的原始图像之前的N1帧原始图像和该新的原始图像，生成该新的原始图像对应的录拍图像，并将生成的录拍图像显示在拍摄界面上。

在录拍图像根据平滑的相机的目标运动曲线上的目标位姿计算的稳像矩阵进行图像变换获得的情况下，由于上述平滑的相机的目标运动曲线满足子约束条件(1)，因而基于相机的目标运动曲线获得的warp变换后的录拍图像之间整体过渡平滑。上述平滑的相机的目标运动曲线满足子约束条件(2)，因而基于相机的目标运动曲线获得的warp变换后的录拍图像不会超出裁剪边界。上述平滑的相机的目标运动曲线满足子约束条件(3)，因而基于相机的目标运动曲线获得的warp变换后的录拍图像上主体人脸的稳像效果较好。

这样，在拍摄过程中，手机可以结合主体的运动信息和陀螺仪数据进行防抖处理，从而同时对运动主体和背景实现防抖，提高录拍图像的稳像效果，提高用户拍摄体验。并且，手机还可以根据主体人脸的运动幅度来动态调节拍摄过程中人脸约束的强度，以平衡为用户呈现的录拍图像上背景和主体人脸的防抖效果，使得录拍图像上背景和主体人脸的稳像效果都较好。而且，手机还可以在对背景进行RS校正时，通过调整RS补偿量的大小来尽量减小或避免录拍图像上主体人脸的畸变。

示例性的，在拍摄过程中，当手机处于panning模式时，手机未进行防抖处理的录拍图像的效果示意图可以参见图10A中的(a)-(d)。如图10A所示，在预览过程中，背景和主体人脸均发生了抖动。比如，背景中树叶的位置发生了上下抖动，人脸的位置也发生了上下抖动。手机未开启人脸防抖模式的情况下进行防抖处理的录拍图像的效果示意图可以参见图10B中的(a)-(d)。手机开启人脸防抖模式后进行防抖处理且未进行人脸畸变校正的录拍图像的效果示意图可以参见图10C中的(a)-(d)。手机开启人脸防抖模式后进行防抖处理且进行了人脸畸变校正的录拍图像的效果示意图可以参见图10D中的(a)-(d)。

在拍摄过程中，视频流与录像中预览流的处理是并行、独立的。对于视频流来说，与拍摄过程之前手机的状态和处理过程无关，手机可以根据拍摄过程中采集到的原始图像判断是否进入人脸防抖模式，并在进入人脸防抖模式后执行人脸防抖流程。比如，进入拍摄过程之后，手机确定是否进入人脸防抖模式，并在人脸防抖模式下，根据拍摄过程中采集到的原始图像生成第1帧视频图像并保存，以便在停止拍摄后根据保存的视频图像生成视频文件。例如，参见图2，在上述步骤212之后，针对视频流，该方法还可以包括以下步骤213’-222’：

213’、手机根据拍摄过程中的S”帧原始图像确定是否满足第一条件，S”为大于1的整数。若满足第一条件，则手机执行步骤214’-221’；若不满足第一条件，则手机执行步骤222’-225’。

其中，S”与S可以相同或不同。

214’、若满足第一条件，则手机根据M”帧原始图像获取主体人脸的运动信息，M”为大于1的整数。

其中，M”与M可以相同或不同。

215’、手机根据N”帧原始图像对应的陀螺仪数据和主体人脸的运动信息，获得相机的运动信息，N”为大于1的整数。

其中，N’与N可以相同或不同，N1’与N1可以相同或不同，I”与I相同或不同，N2’与N2可以相同或不同。

216’、若不满足第一条件，则手机根据N”帧原始图像对应的陀螺仪数据获得相机的运动信息。

217’、手机根据陀螺仪的数据，计算原始图像对应的RS补偿量。

218’、手机确定是否满足第四条件。若满足第四条件，则手机执行步骤219’；若不满足第四条件，则手机执行步骤222’。

219’、若满足第四条件，则手机根据panning幅度确定减小因子，该减小因子用于减小RS补偿量。

220’、手机根据减小后的RS补偿量以及相机的运动信息，计算原始图像的稳像变换矩阵。

221’、手机根据稳像变换矩阵对原始图像进行图像变换得到视频图像并保存。

222’、若不满足第四条件，则手机根据RS补偿量以及相机的运动信息，计算原始图像的稳像变换矩阵。而后，手机执行上述步骤221’。

需要说明的是，关于步骤213”-222”的说明可以参考上述步骤202-211中的相关描述，这里不予赘述。

与预览图像和录拍图像类似，在拍摄过程中，手机可以根据N1+I+N2帧原始图像对应的相机的初始位姿才能得到第N1+1帧原始图像对应的相机的目标位姿，从而才能根据第N1+1帧原始图像对应的相机的目标位姿得到第N1+1帧原始图像对应的稳像变换矩阵，进而得到第N1+1帧原始图像进行warp变换后对应的第1帧录拍图像。也就是说，I帧原始图像的起始帧与该N帧原始图像中的第N1+1帧原始图像对应，手机显示的录拍图像与手机采集到的原始图像相比延迟了至少N2帧。

其中，由于视频图像并不需要在拍摄过程中为用户实时呈现，因而防抖处理时长和处理延迟可以较长，依据的原始图像帧数可以较多。为了获得质量更好的视频图像，S”可以大于S，M”可以大于M，N”可以大于N，N1”可以大于N1，I”可以大于I，和/或N2”可以大于N2。例如，对于预览流来说，N2或N2’可以为0或较小的整数(例如2或3等)，以减小延迟；对于视频流来说，N2”可以为较大的整数(例如27或15等)，以提高防抖处理效果。

在其他一些实施例中，在刚进入拍摄过程后，手机采集首个N帧原始图像的过程中，将前N1帧原始图像中的每帧原始图像作为视频图像并保存。后续，手机采集到新的原始图像后，采用上述实施例描述的方法根据N帧原始图像生成I帧原始图像对应的视频图像。

在其他一些实施例中，在拍摄过程下，手机生成的视频图像的帧序号与原始图像的帧序号相对应，即N2为0，且I为1。也就是说，手机采集到一帧原始图像后，即显示该帧原始图像对应的视频图像。并且，N1可以较小，例如可以为5、8或10等。在拍摄过程下，在手机采集到N1帧原始图像之前，手机结合在拍摄过程下已采集的原始图像，生成当前原始图像对应的视频图像并保存。

比如，在刚进入拍摄过程后，手机采集到第1帧原始图像后即将该第1帧原始图像作为第1帧视频图像。手机采集到第2帧原始图像后，根据第1至2帧原始图像生成第2帧原始图像对应的第2帧视频图像。手机采集到第3帧原始图像后，根据第1至3帧原始图像生成第3帧原始图像对应的第3帧视频图像。手机采集到第N1+1帧原始图像后，根据第1至N1+1帧原始图像生成第N1+1帧视频图像。后续，手机采集到新的原始图像后，根据该新的原始图像之前的N1帧原始图像和该新的原始图像，生成该新的原始图像对应的视频图像。

在视频图像根据平滑的相机的目标运动曲线上的目标位姿计算的稳像矩阵进行图像变换获得的情况下，由于上述平滑的相机的目标运动曲线满足子约束条件(1)，因而基于相机的目标运动曲线获得的warp变换后的视频图像之间整体过渡平滑。上述平滑的相机的目标运动曲线满足子约束条件(2)，因而基于相机的目标运动曲线获得的warp变换后的视频图像不会超出裁剪边界。上述平滑的相机的目标运动曲线满足子约束条件(3)，因而基于相机的目标运动曲线获得的warp变换后的视频图像上主体人脸的稳像效果较好。

这样，在拍摄过程中，手机可以结合主体的运动信息和陀螺仪数据进行防抖处理，从而同时对运动主体和背景实现防抖，提高视频图像的稳像效果，提高用户拍摄体验。并且，手机还可以根据主体人脸的运动幅度来动态调节拍摄过程中人脸约束的强度，以平衡视频图像上背景和主体人脸的防抖效果，使得视频图像上背景和主体人脸的稳像效果都较好。而且，手机还可以在对背景进行RS校正时，通过调整RS补偿量的大小来尽量减小或避免视频图像上主体人脸的畸变。

在上述步骤222和步骤222’之后，参见图2，该方法还可以包括：

223、手机在拍摄结束后，根据视频图像生成视频文件。

示例性的，手机检测到用户点击如图10D中的(d)所示的停止拍摄控件1000的操作后，确定拍摄结束。可以理解的是，该停止拍摄操作还可以是其他手势操作或用户语音指示操作等，本申请实施例对触发手机结束拍摄过程的操作不予限定。

手机在拍摄结束后生成的视频文件中的视频图像，是结合主体的运动信息和陀螺仪数据进行防抖处理获得的，因而视频图像上背景和主体人脸的稳像效果都较好，用户拍摄体验较好。

示例性的，手机未进行防抖处理的视频图像的效果示意图可以参见图11A中的(a)-(d)。如图11A所示，在拍摄过程中，背景和主体人脸均发生了抖动。比如，背景中树叶的位置发生了上下抖动，人脸的位置也发生了上下抖动。手机未开启人脸防抖模式的情况下进行防抖处理的视频图像的效果示意图可以参见图11B中的(a)-(d)。手机开启人脸防抖模式后进行防抖处理且未进行人脸畸变校正的视频图像的效果示意图可以参见图11C中的(a)-(d)。手机开启人脸防抖模式后进行防抖处理且进行了人脸畸变校正的视频图像的效果示意图可以参见图11D中的(a)-(d)。

此外，如前所述，手机在进入/退出主体防抖模式后，可以通过显示信息、语音播报或振动等方式提示用户。示例性的，参见图12，在拍摄过程中，手机在进入人脸防抖模式后，可以在拍摄界面上通过文字信息提示用户：已开启人脸防抖！

在上述步骤201-223描述的拍摄过程中，手机进行人脸防抖处理的流程还可以参见图13。该流程包括：手机根据多帧原始图像进行人脸特征点检测，根据人脸特征点获得平滑的主体人脸的目标运动曲线，根据主体人脸的目标运动曲线生成第一约束条件。该流程还包括：手机根据多帧原始图像对应的陀螺仪数据计算旋转角，获得相机的原始运动曲线；手机根据相机的原始运动曲线和第一约束条件，求解相机的目标运动曲线。该流程还包括：手机在进入panning模式后，确定减小后的RS补偿量以在RS较正时进行人脸畸变校正；手机根据目标运动曲线和减小后的RS补偿量，计算运动补偿单应性矩阵；手机根据运动补偿单应性矩阵对原始图像进行运动补偿和RS校正，从而获得防抖处理后稳定的视频图像帧。

在上述步骤201-223描述的方案中，手机可以在预览状态下和拍摄过程中，结合主体的运动信息和陀螺仪数据进行防抖处理，从而同时对运动主体和背景实现防抖，提高预览图像、录拍图像和视频图像的稳像效果，提高用户拍摄体验。

尤其地，在前置自拍等运动主体离手机的摄像头较近，运动主体的相对运动也较大，主体图像的抖动也更为明显的录像场景下，采用本申请实施提供的录像方法进行防抖处理，图像的防抖和稳像效果更好，用户拍摄体验也更好。

以上是以手机在录像模式的预览状态和拍摄过程中，均启用本申请实施例提供的上述方法，结合主体人脸的运动信息和陀螺仪数据进行防抖处理进行防抖处理为例进行说明的。在其他一些实施例中，手机在录像模式的预览状态下不采用本申请实施例提供的上述方法进行防抖处理，而在拍摄过程中才启用本申请实施例提供的上述方法进行防抖处理。参见图14，上述图2所示的步骤201-211可以替换为步骤201A：

201A、手机启动拍摄功能后进入录像模式，在预览状态下根据预设帧率采集原始图像，根据原始图像生成预览图像，并将预览图像显示在预览界面上。

在该方案中，手机可以在拍摄过程中结合主体的运动信息和陀螺仪数据进行防抖处理，从而同时对运动主体和背景实现防抖，提高录拍图像和视频图像的稳像效果，提高用户拍摄体验。

在其他一些实施例中，手机在录像模式针对录像前预览流和录像中预览流不采用本申请实施例提供的上述方法进行防抖处理，而在拍摄过程中针对视频流才启用本申请实施例提供的上述方法进行防抖处理。参见图15，该方法可以包括上述步骤201A、如下步骤212A以及步骤213’-223。

212A、手机检测到用户的拍摄操作后，在拍摄过程中根据预设帧率采集原始图像，根据原始图像生成录拍图像，并将录拍图像显示在拍摄界面上。

在该方案中，手机可以在拍摄过程中结合主体的运动信息和陀螺仪数据进行防抖处理，从而同时对运动主体和背景实现防抖，提高视频图像的稳像效果，提高用户拍摄体验。

在本申请的一些实施例中，手机保存的经过主体防抖处理的视频文件可以区别于其他视频文件而特别标识，以方便用户直观地获知经过主体防抖处理的视频文件。示例性的，参见图16，经过人脸防抖处理生成的视频文件上显示有“rlfd”的文字标识1600。

结合上述实施例及相应的附图，本申请另一实施例提供一种拍摄方法，该方法可以在具有图1所示的硬件结构的电子设备中实现，该电子设备包括相机，该相机包括摄像头。如图17所示，该方法可以包括：

1701、电子设备在开启录像功能后采集原始图像。

在开启录像功能后，电子设备可以根据预设的采集帧率连续采集原始图像。

1702、电子设备根据采集到的多帧原始图像获取主体的运动信息。

例如，主体可以为上述主体人脸。主体的运动信息可以用于表示主体的运动情况，例如主体的运动信息可以为上述主体人脸的目标运动曲线。

1703、电子设备根据多帧原始图像对应的姿态传感器数据和主体的运动信息获得相机的运动信息。

例如，姿态传感器可以为陀螺仪，相机的运动信息可以为上述相机的目标运动曲线，相机的目标运动曲线可以根据上述子约束条件(3)中的人脸约束获得。

1704、电子设备根据相机的运动信息计算第一原始图像的稳像变换矩阵，第一原始图像为多帧原始图像中的图像。

其中，该稳像变换矩阵用于对第一原始图像进行运动补偿和warp变换。

1705、电子设备根据稳像变换矩阵对第一原始图像进行图像变换获得目标图像。

例如，该目标图像可以是视频录制场景下的预览图像、录拍图像或视频图像。

在该方案中，电子设备在视频录制场景下，可以根据结合被拍摄主体的运动信息和姿态传感器数据获得相机的运动信息，从而根据相机的运动信息获得稳像变换矩阵，进而通过稳像变换矩阵同时对运动主体和背景实现运动补偿和防抖，提高视频图像的稳像效果，提高用户拍摄体验。

以上是以视频录制场景为前置自拍场景为例进行说明的，本申请实施例涉及的视频录制场景并不限于该种场景。

以上是以电子设备为手机为例进行说明的，不限于手机，智能手表或平板电脑等其他电子设备也可以采用上述方法进行防抖处理，这里不再赘述。

可以理解的是，为了实现上述功能，电子设备包含了执行各个功能相应的硬件和/或软件模块。结合本文中所公开的实施例描述的各示例的算法步骤，本申请能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行，取决于技术方案的特定应用和设计约束条件。本领域技术人员可以结合实施例对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

本实施例可以根据上述方法示例对电子设备进行功能模块的划分，例如，可以对应各个功能划分各个功能模块，也可以将两个或两个以上的功能集成在一个处理模块中。上述集成的模块可以采用硬件的形式实现。需要说明的是，本实施例中对模块的划分是示意性的，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。

本申请实施例还提供一种电子设备，包括一个或多个处理器以及一个或多个存储器。该一个或多个存储器与一个或多个处理器耦合，一个或多个存储器用于存储计算机程序代码，计算机程序代码包括计算机指令，当一个或多个处理器执行计算机指令时，使得电子设备执行上述相关方法步骤实现上述实施例中的录像方法。

本申请的实施例还提供一种计算机可读存储介质，该计算机可读存储介质中存储有计算机指令，当该计算机指令在电子设备上运行时，使得电子设备执行上述相关方法步骤实现上述实施例中的录像方法。

本申请的实施例还提供了一种计算机程序产品，当该计算机程序产品在计算机上运行时，使得计算机执行上述相关步骤，以实现上述实施例中电子设备执行的录像方法。

另外，本申请的实施例还提供一种装置，这个装置具体可以是芯片，组件或模块，该装置可包括相连的处理器和存储器；其中，存储器用于存储计算机执行指令，当装置运行时，处理器可执行存储器存储的计算机执行指令，以使芯片执行上述各方法实施例中电子设备执行的录像方法。

其中，本实施例提供的电子设备、计算机可读存储介质、计算机程序产品或芯片均用于执行上文所提供的对应的方法，因此，其所能达到的有益效果可参考上文所提供的对应的方法中的有益效果，此处不再赘述。

通过以上实施方式的描述，所属领域的技术人员可以了解到，为描述的方便和简洁，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。

在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个装置，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是一个物理单元或多个物理单元，即可以位于一个地方，或者也可以分布到多个不同地方。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个可读取存储介质中。基于这样的理解，本申请实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该软件产品存储在一个存储介质中，包括若干指令用以使得一个设备(可以是单片机，芯片等)或处理器(processor)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(read only memory，ROM)、随机存取存储器(random access memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

以上内容，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。

Claims (17)

1.一种录像方法，应用于电子设备，所述电子设备包括相机，其特征在于，所述方法包括：

在开启录像功能后采集原始图像；

根据采集到的多帧原始图像获取主体的运动信息；

根据所述多帧原始图像对应的姿态传感器数据和所述主体的运动信息获得相机的运动信息；

根据所述相机的运动信息计算第一原始图像的稳像变换矩阵，所述第一原始图像为所述多帧原始图像中的图像；

根据所述稳像变换矩阵对所述第一原始图像进行图像变换获得目标图像；

其中，所述主体的运动信息为主体的目标运动曲线，所述主体的目标运动曲线根据主体的原始运动曲线获得，所述主体的原始运动曲线根据所述多帧原始图像上主体中心的位置获得；

所述相机的运动信息为相机的目标运动曲线，所述根据所述多帧原始图像对应的姿态传感器数据和所述主体的运动信息获得相机的运动信息，包括：

根据所述多帧原始图像对应的姿态传感器数据获得相机的原始运动曲线；

根据所述相机的原始运动曲线和主体约束获得相机的目标运动曲线，所述主体约束与所述主体的目标运动曲线相关，所述主体约束用于使得所述目标图像上的主体中心与所述主体的目标运动曲线上对应的主体中心之间的距离小于或者等于第二预设值。

2.根据权利要求1所述的方法，其特征在于，所述在开启录像功能后采集原始图像，包括：

在开启录像功能并检测到用户的拍摄操作后采集原始图像；

所述方法还包括：

检测到用户的停止拍摄操作后，根据视频图像生成视频文件，所述视频图像为所述目标图像。

3.根据权利要求1所述的方法，其特征在于，所述在开启录像功能后采集原始图像，包括：

在开启录像功能并检测到用户的拍摄操作后采集原始图像；

所述方法还包括：

在拍摄界面上显示录拍图像，所述录拍图像为所述目标图像。

4.根据权利要求1所述的方法，其特征在于，所述目标图像为预览图像，所述方法还包括：

在预览界面上显示所述预览图像。

5.根据权利要求1所述的方法，其特征在于，所述主体的目标运动曲线是连续的；所述主体的目标运动曲线一阶、二阶可导，且曲率小于或者等于第一预设阈值；所述主体的目标运动曲线上的主体中心与所述主体的原始运动曲线上的主体中心之间的距离小于或者等于第一预设值。

6.根据权利要求5所述的方法，其特征在于，所述根据所述相机的原始运动曲线和主体约束获得相机的目标运动曲线，包括：

根据主体的运动幅度确定对应的主体约束档位；

将主体约束强度从初始值逐渐提升至所述主体约束档位对应的上界值；

根据所述相机的原始运动曲线和所述主体约束强度获得相机的目标运动曲线。

7.根据权利要求1-6任一项所述的方法，其特征在于，所述根据采集到的多帧原始图像获取主体的运动信息，包括：

在满足预设条件后，根据采集到的所述多帧原始图像获取主体的运动信息。

8.根据权利要求7所述的方法，其特征在于，所述预设条件包括：

所述电子设备的运动幅度大于或者等于第三预设值；

主体在所述原始图像上的面积占比大于或者等于第四预设值；

连续出现主体的所述原始图像的帧数大于或者等于第五预设值。

9.根据权利要求1-6任一项或8所述的方法，其特征在于，所述根据多帧原始图像对应的姿态传感器数据和所述主体的运动信息获得相机的运动信息，包括：

根据N帧原始图像对应的姿态传感器数据和所述主体的运动信息获得所述相机的运动信息，所述N为大于1的整数，且N＝N1+I+N2，所述N1和所述I为正整数，所述N2为非负整数；

根据所述相机的运动信息计算第一原始图像的稳像变换矩阵，包括：

根据所述相机的运动信息上所述N帧原始图像对应的相机的目标位姿，计算所述I帧原始图像的稳像变换矩阵，所述I帧原始图像即为所述第一原始图像，所述I帧原始图像的稳像变换矩阵用于获得I帧所述目标图像，所述I帧原始图像的起始帧与所述N帧原始图像中的第N1+1帧原始图像对应。

10.根据权利要求9所述的方法，其特征在于，当所述目标图像为预览图像或录拍图像时，所述N2为0。

11.根据权利要求8或10所述的方法，其特征在于，所述方法还包括：

若不满足所述预设条件，则根据多帧原始图像对应的姿态传感器数据获得相机的运动信息；

根据所述相机的运动信息计算第一原始图像的稳像变换矩阵，所述第一原始图像为所述多帧原始图像中的图像；

根据所述稳像变换矩阵对所述第一原始图像进行图像变换获得目标图像。

12.根据权利要求11所述的方法，其特征在于，所述方法还包括：

若满足所述预设条件，则提示用户已开启目标防抖模式；

若不满足所述预设条件，则提示用户未开启所述目标防抖模式。

13.根据权利要求1-6任一项或8或10或12所述的方法，其特征在于，在所述根据所述相机的运动信息计算第一原始图像的稳像变换矩阵之前，所述方法还包括：

根据姿态传感器的数据计算所述第一原始图像的卷帘快门RS补偿量；

所述根据所述相机的运动信息计算第一原始图像的稳像变换矩阵，包括：

根据所述相机的运动信息计算所述第一原始图像的旋转补偿量；

根据所述旋转补偿量和所述RS补偿量计算所述第一原始图像的稳像变换矩阵。

14.根据权利要求13所述的方法，其特征在于，所述根据所述旋转补偿量和所述RS补偿量计算所述第一原始图像的稳像变换矩阵，包括：

若确定进入摇摄模式，则根据摇摄幅度减小所述RS补偿量，所述摇摄幅度与相机的运动主轴和目标坐标轴之间的夹角的大小负相关；

根据所述旋转补偿量和减小后的所述RS补偿量计算所述第一原始图像的稳像变换矩阵。

15.根据权利要求1-6任一项或8或10或12或14所述的方法，其特征在于，所述主体为人脸。

16.一种电子设备，其特征在于，包括：

相机，用于采集图像；

屏幕，用于显示界面；

一个或多个处理器；

存储器；

以及一个或多个计算机程序，其中所述一个或多个计算机程序被存储在所述存储器中，所述一个或多个计算机程序包括指令，当所述指令被所述电子设备执行时，使得所述电子设备执行如权利要求1-15中任一项所述的录像方法。

17.一种计算机可读存储介质，其特征在于，包括计算机指令，当所述计算机指令在计算机上运行时，使得所述计算机执行如权利要求1-15中任一项所述的录像方法。

Images