CN116055871B

CN116055871B - 视频处理方法及其相关设备

Info

Publication number: CN116055871B
Application number: CN202211056015.0A
Authority: CN
Inventors: 邵涛; 徐荣跃; 王宁; 林梦然; 陈代挺
Original assignee: Honor Device Co Ltd
Current assignee: Honor Device Co Ltd
Priority date: 2022-08-31
Filing date: 2022-08-31
Publication date: 2023-10-20
Anticipated expiration: 2042-08-31
Also published as: CN116055871A

Abstract

本申请提供了一种视频处理方法及其相关设备，涉及图像处理领域，该视频处理方法应用于电子设备，包括：显示第一图像；在目标拍摄对象移动至第二位置的情况下，获取第二图像，第二位置与第一位置为不同位置；当电子设备包括深度器件时，利用深度器件确定目标拍摄对象移动至第二位置后对应的物距；根据物距，从预设的缩放表中确定对应的目标变焦比例；根据目标变焦比例确定裁剪框，并根据裁剪框裁剪第二图像；根据目标变焦比例，对裁剪后的第二图像进行缩放，得到包括目标拍摄对象的第三图像。基于本申请的方案可以以简单快捷地方式，提高视频处理中拍摄对象的尺寸固定的准确性。

Description

视频处理方法及其相关设备

技术领域

本申请涉及图像处理领域，具体涉及一种视频处理方法及其相关设备。

背景技术

随着图像技术的飞速发展，用户对视频录制功能的需求不断增加。例如，通过相机应用录制视频、在视频通话过程中录制视频、以及监控场景中录制视频等。以录制视频为例，在拍摄过程中，如果需要拍摄对象一直处于画面的中心位置，则需要对拍摄对象进行“视频追踪”；如果还需要显示的拍摄对象的大小基本不变，则根据拍摄对象的尺寸进行数字变焦(digital zoom)，也即进行缩放，然后进行裁切，以使得拍摄对象的尺寸固定。

但是，当拍摄对象的位置改变时，拍摄对象的尺寸也会随位置改变而改变，而数字变焦的比例是否能随之准确的改变存在一定风险，进而使得拍摄的视频的效果也难以保证，因此，如何利用可靠性更高的方式，来使得获取的视频中的拍摄对象的尺寸固定成为一个亟需解决的问题。

发明内容

本申请提供了一种视频处理方法及其相关设备，通过本申请实施例的视频处理方法，可以以简单快捷地方式，提高视频处理中拍摄对象的尺寸固定的准确性。

第一方面，提供了一种视频处理方法，该视频处理方法应用于电子设备，包括：

显示第一图像，所述第一图像为目标拍摄对象在第一位置的图像帧；

在所述目标拍摄对象移动至第二位置的情况下，获取第二图像，所述第二位置与所述第一位置为不同位置，所述第二图像是指所述目标拍摄对象移动至所述第二位置时所述电子设备采集的图像帧；

当所述电子设备包括深度器件时，利用所述深度器件确定所述目标拍摄对象移动至所述第二位置后对应的物距；

根据所述物距，从预设的缩放表中确定对应的目标变焦比例，所述预设的缩放表包括多组具有一一映射关系的物距和目标变焦比例；

根据所述目标变焦比例确定裁剪框，并根据所述裁剪框裁剪所述第二图像；

根据所述目标变焦比例，对裁剪后的所述第二图像进行缩放，得到包括所述目标拍摄对象的第三图像，所述第一图像中所述目标拍摄对象的尺寸与所述第三图像中的所述目标拍摄对象的尺寸一致。

应理解，第二图像可以是指目标拍摄对象移动后相机实时采集到的图像帧；目标拍摄对象可以是指拍摄对象中的部分或者全部。比如，在接收一个用户的指示的情况下，目标拍摄对象可以是当前用户，或者，可以是其他用户中的一个或多个。

还应理解，第一图像中目标拍摄对象的尺寸与第三图像中的目标拍摄对象的尺寸一致，指的是长、宽、高均分别一致。在实际应用中，长、宽、高每一项可以分别完全一致，也可以稍有误差。

在本申请实施例提供了一种视频处理方法，由于可以通过根据拍摄对象的深度查询预设的缩放表，来确定最终的目标变焦比例，深度信息更能准确定反应拍摄对象的变化，因此与现有技术中通过确定拍摄对象的尺寸来检测确定缩放比例的方案相比，本申请的视频处理方法能够提高确定出的目标比例的可靠性，从而可以更好地保证固定尺寸的拍摄对象在显示的视频中的尺寸也能固定不变。

此外，根据预设的缩放表去查找对应的目标变焦比例以进行后续处理，相对于现有技术，不仅简单快捷，还可以节省电子设备计算缩放比例的运算量，提高处理效率，节省时间，降低了电子设备的功耗。

结合第一方面，在第一方面的某些实现方式中，在显示所述第一图像与所述第三图像时，所述电子设备所处的位置相同。

在本申请的实施例中，电子设备可以保持位置不变，在拍摄的目标拍摄对象进行移动后，拍摄的目标拍摄对象可以在视频显示画面的显示尺寸保持固定，实现对目标对象的跟踪固定尺寸显示。

结合第一方面，在第一方面的某些实现方式中，在第二位置与所述第一位置为相同位置，显示所述第一图像和所述第三图像时，所述电子设备所处的位置不同。

在本申请的实施例中，目标拍摄对象可以保持位置不变，在电子设备进行移动后，拍摄的目标拍摄对象也可以在视频显示画面的显示尺寸保持固定，实现对目标对象的跟踪固定尺寸显示。

结合第一方面，在第一方面的某些实现方式中，所述方法还包括：

当所述电子设备不包括深度器件时，获取AF马达霍尔参数，所述AF马达霍尔参数用于指示AF马达在霍尔器件生成的线圈磁场中的距离；

根据AF马达霍尔参数，确定AF马达推动镜头移动的距离Δf；

根据所述AF马达推动镜头移动的距离Δf，从所述预设的缩放表中确定对应的目标变焦比例，所述预设的缩放表还包括多组具有一一映射关系的AF马达推动镜头移动的距离Δf和目标变焦比例。

其中，电子设备包括AF马达和霍尔器件。

例如，通过确定当前采集的图像所对应的AF马达在线圈磁场中的距离，以及相邻上一帧采集的图像所对应的AF马达在线圈磁场中的距离，根据该两次距离从而可以确定AF马达的距离变化量，AF马达的距离变化量即为AF马达推动镜头移动的距离Δf。

在本申请的实施例中，当电子设备不包括深度器件时，电子设备通过获取内部的AF马达霍尔参数，可以快捷、方便地确定出AF马达推动镜头移动的距离Δf。

结合第一方面，在第一方面的某些实现方式中，利用所述深度器件确定所述目标拍摄对象移动至所述第二位置后对应的物距，包括：

利用所述深度器件获取深度图像；

根据所述深度图像确定所述目标拍摄对象的物距。

在本申请的实施例中，利用电子设备包含的深度器件来获取拍摄对象的物距，一方面可以复用深度器件的数据，减小计算量；另一方面由于深度器件确定深度的运算准确率比较高，确定出的物距信息准确，从而可以提高后续变焦的准确性。

检测到指示运行相机应用程序的操作；或者，

检测到指示运行视频通话应用程序的操作。

在本申请的实施例中，视频处理方法可以应用于相机应用程序拍摄视频的过程中；或者，视频处理方法也可以应用于视频通话应用程序中。

第二方面，提供了一种电子设备，所述电子设备包括：一个或多个处理器、存储器和显示屏；所述存储器与所述一个或多个处理器耦合，所述存储器用于存储计算机程序代码，所述计算机程序代码包括计算机指令，所述一个或多个处理器调用所述计算机指令以使得所述电子设备执行：

结合第二方面，在第二方面的某些实现方式中，在显示所述第一图像与所述第三图像时，所述电子设备所处的位置相同。

结合第二方面，在第二方面的某些实现方式中，在第二位置与所述第一位置为相同位置，显示所述第一图像和所述第三图像时，所述电子设备所处的位置不同。

结合第二方面，在第二方面的某些实现方式中，所述一个或多个处理器调用所述计算机指令以使得所述电子设备还执行：

根据AF马达霍尔参数，确定AF马达推动镜头移动的距离Δf；

利用所述深度器件获取深度图像；

根据所述深度图像确定所述目标拍摄对象的物距。

检测到指示运行相机应用程序的操作；或者，

检测到指示运行视频通话应用程序的操作。

应理解，在上述第一方面中对相关内容的扩展、限定、解释和说明也适用于第二方面中相同的内容。

第三方面，提供了一种视频处理装置，包括用于执行第一方面中任一种视频处理方法的单元。

在一种可能的实现方式中，当该视频处理装置是电子设备时，该处理单元可以是处理器，该输入单元可以是通信接口；该电子设备还可以包括存储器，该存储器用于存储计算机程序代码，当该处理器执行该存储器所存储的计算机程序代码时，使得该电子设备执行第一方面中的任一种方法。

第四方面，提供了一种芯片，所述芯片应用于电子设备，所述芯片包括一个或多个处理器，所述处理器用于调用计算机指令以使得所述电子设备执行第一方面中的任一种视频处理方法。

第五方面，提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序代码，当所述计算机程序代码被电子设备运行时，使得该电子设备执行第一方面中的任一种视频处理方法。

第六方面，提供了一种计算机程序产品，所述计算机程序产品包括：计算机程序代码，当所述计算机程序代码被电子设备运行时，使得该电子设备执行第一方面中的任一种视频处理方法。

附图说明

图1是一种适用于本申请的应用场景的示意图；

图2是另一种适用于本申请的应用场景的示意图；

图3是本申请实施例提供的一路光学成像的示意图；

图4是本申请实施例提供的另一路光学成像的示意图；

图5是本申请实施例提供的一种AF马达带动镜头移动的光学成像的示意图；

图6是本申请实施例提供的一种预设的缩放表；

图7是本申请实施例提供的一种视频处理方法的示意性流程图；

图8是本申请实施例提供的一种视频处理的显示界面的示意图；

图9是一种适用于本申请的电子设备的硬件***的示意图；

图10是一种适用于本申请的电子设备的软件***的示意图；

图11是本申请提供的一种视频处理装置的结构示意图；

图12是本申请提供的一种芯片的结构示意图。

具体实施方式

下面将结合附图，对本申请实施例中的技术方案进行描述。

在本申请实施例的描述中，除非另有说明，“/”表示或的意思，例如，A/B可以表示A或B；本文中的“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，在本申请实施例的描述中，“多个”是指两个或多于两个。

以下，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。

首先，对本申请实施例中的部分用语进行解释说明，以便于本领域技术人员理解。

1、数字变焦(digital zoom)，或者称为数码变焦，是指通过相机内的处理器，把成像部件上的图像的像素使用插值算法进行放大，进而实现对拍摄对象的放大。数字变焦实际上并没有改变镜头的焦距。

2、光学变焦(optical zoom)是指依靠相机中的镜头的移动实现变焦，进而实现对拍摄对象的放大与缩小。光学变焦倍数越大，能拍摄的景物就越远。

3、自动对焦(automatic focus，AF)是指电子设备通过调整聚焦镜头的位置，获得最高的图像频率成分，以得到更高的图像对比度。其中，自动对焦是一个不断积累的过程，电子设备比较镜头在不同位置下拍摄的图像的对比度，从而获得图像的对比度最大时镜头的位置，进而确定对焦的焦距。

以上是对本申请实施例所涉及的名词的简单介绍，以下不再赘述。

本申请实施例提供的视频处理方法可以适用于各种电子设备。

在本申请实施例中，电子设备100可以是手机、智慧屏、平板电脑、可穿戴电子设备、车载电子设备、增强现实(augmented reality，AR)设备、虚拟现实(virtual reality，VR)设备、笔记本电脑、超级移动个人计算机(ultra-mobile personal computer，UMPC)、上网本、个人数字助理(personal digital assistant，PDA)、投影仪等等，本申请实施例对电子设备100的具体类型不作任何限制。

图1是一种适用于本申请的应用场景的示意图。图1所示也可以称为“视频追踪”场景的示意图。

在一个示例中，以电子设备是平板设备进行举例说明，如图1中的(a)所示的录像模式的显示界面；该显示界面中可以包括拍摄界面10；拍摄界面10中可以包括取景框11与用于指示录像的控件12；在检测到用户点击控件12之前，该取景框11内可以显示预览图像。

在检测到用户点击控件12的操作后，响应于用户的操作，平板设备可以进行视频拍摄；第一拍摄对象(例如为一个小孩)在第一位置时，取景框11显示如图1中的(a)所示的第一图像；在视频拍摄过程中，第一拍摄对象进行了移动；比如，第一拍摄对象从第一位置移动至相对于平板设备较远的第二位置，第一拍摄对象移动位置后显示如图1中的(b)所示的第二图像。

在第一拍摄对象移动后，第一拍摄对象在取景框11中能够始终保持在中间位置，而且，第一拍摄对象的大小基本能保持不变，该拍摄功能即为“视频追踪”功能。换言之，在平板设备开启“视频追踪”功能后，平板设备的位置可以保持不变，在拍摄对象进行移动后，拍摄对象可以始终显示在视频显示画面的中间位置且保持大小不变。

图2是另一种适用于本申请的应用场景的示意图。图2所示也可以称为“滑动变焦(dolly zoom)”场景的示意图。

在一个示例中，以电子设备是手机进行举例说明，如图2中的(a)所示的录像模式的显示界面；该显示界面可以包括拍摄界面20；拍摄界面20中可以包括取景框21和用于指示录像的控件22；在检测到用户点击控件22之前，该取景框21内可以显示预览图像。

在检测到用户点击控件22的操作后，响应于用户的操作，手机可以进行视频拍摄；当手机在第三位置时，取景框21显示如图2中的(a)所示的第三图像；在视频拍摄过程中，拍摄对象位置不变，用户拿着手机进行了移动；比如，用户拿着手机从第三位置走到了相对于拍摄对象较近的第四位置，手机移动位置后显示如图2中的(b)所示的第四图像。

此时，拍摄对象中的球体为第二拍摄对象，其他锥体为第三拍摄对象、第四拍摄对象等。在手机移动后，作为第二拍摄对象的球体的大小在取景框21中能够始终保持不变，而且，位置也能够基本不变，除此之外的第三拍摄对象、第四拍摄对象等其他拍摄对象的大小均发生变化。该拍摄功能即为滑动变焦功能。换言之，在手机开启“滑动变焦”功能后，在拍摄对象的位置保持不变的情况下，用户拿着手机向远离拍摄对象的方向推开手机，或者向靠近拍摄对象的方向拉近手机后，拍摄对象可以始终显示在视频显示画面的中间位置且保持大小不变。

上述图1和图2所示的场景为举例描述，本申请实施例提供的视频处理方法可以应用但不限于以下场景中：

视频通话、视频会议应用、长短视频应用、视频直播类应用、视频网课应用、人像智能运镜应用场景、***相机录像功能录制视频、视频监控以及智能猫眼等拍摄类场景等。

相关技术中，以上述第一种场景为例，在进行视频拍摄时，电子设备的摄像头会对采集到的视频图像帧中的拍摄对象识别后进行拍摄对象跟踪，实时定位拍摄对象位置；在拍摄对象的位置发生移动时，可以根据拍摄对象的尺寸进行数字变焦，以保证固定尺寸的拍摄对象在最终视频中的尺寸基本固定不变；再进行裁剪处理，得到适应的显示规格，从而实现根据拍摄对象位置实时调整显示画面，达到“视频追踪”的效果。

利用上述相关技术进行处理时，拍摄对象的位置改变后，拍摄对象的尺寸也会位置改变而改变，数字变焦的比例或者说幅度是否能随之准确的改变存在一定风险，进而使得后续得到的拍摄效果难以保证。

有鉴于此，本申请实施例提供了一种视频处理方法，在进行视频拍摄时，电子设备的摄像头会按照固定视野进行大分辨率采集，对采集到的视频图像帧中的拍摄对象(例如人脸或人体)识别后进行拍摄对象跟踪，实时定位拍摄对象位置；在拍摄对象的位置发生移动时，通过根据拍摄对象的深度从预设的缩放表中确定出对应的目标变焦比例，来对大分辨率视频图像帧进行相应的缩放处理。由于深度信息更能准确反应拍摄对象的变化，所以确定出的目标变焦比例的可靠性更高，从而使得根据该深度信息进行缩放时，可以更好地保证固定尺寸的拍摄对象在显示的视频中的尺寸也固定不变。最后，再进行裁剪处理，得到适应的显示规格，实现根据拍摄对象位置实时调整显示画面，达到“视频追踪”的效果。

在本申请提供的视频处理方法中，由于需要利用预设的缩放表来确定目标变焦比例，那么，接下来首先结合附图先对相机的成像及对焦原理、以及提供的预设的缩放表来进行说明，然后，再结合预设的缩放表对本申请提供的视频处理方法进行说明。

图3示出了一路光学成像的示意图。结合图3，该光学成像的方法可以应用于相机或者电子设备中的相机，相机至少包括镜头和成像部件。

其中，镜头可以包括一个或多个透镜，本申请以一个透镜为例进行示意。成像部件例如为电荷耦合图像传感器。镜头与成像部件的光轴重合。

镜头位置固定，在q1位置处，焦距为f；成像部件位置固定，在r1位置处，镜头中心与成像部件之间的距离可以称为像距，也即，像距v固定不变；拍摄对象的尺寸为L固定不变，但位置可以移动，以上述条件为例。如图3中的(a)所示，在光学成像的过程中，成像部件可以生成图像，相应的，在拍摄对象移动到某一位置处时，从拍摄对象处出射的光线经镜头折射后，可以在成像部件上生成图像中对应的成像。

应理解，拍摄对象对应的成像指的是视频中的拍摄对象。拍摄对象对应的成像为成像部件上生成的图像中的局部内容。

例如，若拍摄对象在p1位置处，拍摄对象与镜头之间的距离为u1时，成像部件上生成的图像中，拍摄对象对应的成像如图3中的(b)中的成像1所示，对应尺寸为I1。

若拍摄对象向靠近镜头的方向移动，并移动至p2位置处，拍摄对象与镜头之间的距离缩短为u2时，成像部件上生成的图像中，拍摄对象对应的成像如图3中的(b)中的成像2所示，对应尺寸为I2。相对于成像1来说，由于拍摄对象更靠近镜头，所以，生成的成像2的尺寸相对大于成像1的尺寸。

若拍摄对象继续向靠近镜头的方向移动，并移动至p3位置处，拍摄对象与镜头之间的距离缩短为u3时，成像部件上生成的图像中，拍摄对象对应的成像如图3中的(b)中的成像3所示，对应尺寸为I3。相对于成像1和成像2来说，由于拍摄对象更靠近镜头，所以，生成的成像3的尺寸相对于大于成像2的尺寸，当然，远大于成像1的尺寸。

结合上述光路图，根据相似三角形可知：

其中，L为拍摄对象的尺寸，或者称为物体尺寸；u为物距，也即拍摄对象与镜头中心之间的距离；I为拍摄对象对应的成像的尺寸；f为镜头的焦距，焦距即为镜头的中心到光聚集之焦点的距离，对于固定的镜头而言其焦距是一个固定值。

根据上述公式可知，当镜头位置固定、拍摄对象的尺寸不变时，拍摄对象对应的成像I的尺寸与物距u成反比。物距u越小，对应的成像的尺寸I就越大；反之，物距u越大，对应的成像的尺寸I就越小。

那么，若要在物距改变的情况下，保持拍摄对象在成像部件上对应的成像的尺寸不变，则需要在拍摄对象距离镜头较远时，对对应的成像进行放大；在距离镜头较近时，对对应的成像进行缩小。该缩放比例即为数字变焦比例。

结合上述所述，可以基于预设最小物距u'与物距u的比值，来确定不同物距下对应的数字变焦比例。

其中，预设最小物距u'指的拍摄对象与镜头的之间的最短距离，具体大小可以根据需要进行预设，本申请实施例对此不进行任何限制。

需要说明的是，虽然拍摄对象越靠近镜头，成像部件上对应的成像的尺寸越大，但是，由于成像部件的尺寸有限，拍摄对象对应的成像超过成像部件的尺寸时，将不能完成成像，所以，拍摄对象不可能无限制的靠近镜头来进行成像，因此，需对拍摄对象移动到镜头前的最短距离进行限制，设定预设最小物距u'，保证拍摄对象对应的成像内容完整。

还需要说明的是，拍摄对象越远离镜头，成像部件上对应的成像的尺寸越小。虽然可以根据确定出的数字变焦比例对成像的尺寸进行放大，但是，由于拍摄对象远离镜头到一定距离时，拍摄对象在成像部件上对应的成像的尺寸过于小，导致在整个图像中所占的像素特别少，例如小于100像素。此时，电子设备可能根据无法识别出拍摄对象的成像内容，更无法进行放大，所以，拍摄对象从镜头前远离时的最大距离也是有限的。例如，标准镜头一般不超过5米，长焦镜头一般不超过20米。

示例性的，图6示出了一种预设的缩放表。

结合图6所示，以标准镜头为例，预设最小物距u'可以为300mm，若拍摄对象与镜头之间的物距u也为300mm，则预设最小物距与该物距的比例为1，相应的，数字变焦比例为1。若拍摄对象与镜头之间的物距u为600mm，则预设最小物距与该物距的比例为0.5，相应的，数字变焦比例为1。其他物距对应的数字变焦比例的计算过程与前述类似，在此不再赘述。应理解，5000mm为该镜头对应的最远的物距。

图4示出了另一路光学成像的示意图。结合图4和图5，该光学成像的方法可以应用于相机或者电子设备中的相机，相机至少包括镜头和成像部件。

根据光学成像原理可知：

其中，u为物距，v为像距，f为焦距。

根据上述光学成像公式可知，当拍摄对象与镜头中心之间的距离，也即物距为无穷大时，像距v和焦距f相等，此时，镜头的位置可以认为是镜头设置在相机中的初始位置，例如如图4中的所指示的q0位置。

在此基础上，图5示出了一种AF马达带动镜头移动的光学成像示意图，此时，相机还包括对焦部件。对焦部件可以包括AF处理部件和AF马达。

其中，AF处理部件用于采集成像部件上所成的图像，并根据所采集的图像的清晰程度，控制AF马达转动。AF马达转动带动镜头移动，从而实现相机的对焦功能。例如，AF马达可以指示光学图像防抖(optical image stabilization，OIS)马达。

如图5所示，在对焦过程中，镜头的初始位置为像距与焦距相等的位置q0，拍摄对象与镜头之间的距离，也即物距u可视为固定值。应理解，该固定值是小于无穷大的。根据上述光学成像公式，在物距u和焦距f为固定值的前提下，对焦就是通过移动镜头的位置改变像距v，使成像部件上所成图像更为清晰的过程。结合图5所示，对焦过程中，将镜头从初始位置q0处沿着远离成像部件的方向移动镜头，从而可以改变像距v，达到对焦的目的。

根据上述光学成像公式可得：

由此，可以推导得到，像距与焦距之间的差值为：

差值Δf即为AF马达需要推动镜头移动的距离，单位为微米(um)。

同时，镜头推动后，将会引起成像部件上的图像中的成像的尺寸产生变化。该变化可以称为AF变焦比例。其中，AF变焦比例的大小可以根据以下公式进行确定：

示例性的，以标准镜头为例，在物距u为无穷大时，像距v与焦距f之间的差值Δf为0，此时，不用移动镜头，当然也不会产生成像尺寸的变化。

如图6所示，而在物距u为5000mm时，可以根据上述差值公式确定出对焦时，AF马达需朝远离成像部件的方向推动镜头移动的距离Δf约为5.005um，近似为5.01um。此时，可以确定出对应的AF变焦比例约为1.001，也就是说，拍摄对象在成像部件上图像中的成像尺寸，在镜头移动前后尺寸几乎不变。

当物距u为2000mm时，可以根据上述差值公式确定出对焦时，AF马达需朝远离成像部件的方向推动镜头移动的距离Δf约为12.53um。此时，可以确定出对应的AF变焦比例约为1.003，拍摄对象在成像部件上的图像中的成像尺寸，在镜头移动前后进行了微小的变化。

其他物距下对焦时，确定AF马达需朝远离成像部件的方向推动镜头移动的距离、AF变焦比例的过程与前述类似，在此不再赘述。

上述详细说明了两种变焦比例的计算原理，结合该两种变焦比例可知，当拍摄对象与镜头之间的物距较大时，以数字变焦比例的影响为主，AF马达推动镜头的改变对成像的尺寸影响不大；当拍摄对象与镜头之间的物距逐渐缩小时，AF马达推动镜头的改变对成像的尺寸大小开始产生不可忽视的影响，因此，若要保证成像尺寸的大小固定不变，则需将数字变焦比例和AF变焦比例进行结合，以确定最终的缩放比例。此处，可以通过确定数字变焦比例与AF变焦比例的比值，来作为最终的目标变焦比例。

示例性的，结合图6所示，在物距u为5000mm时，确定出的数字变焦比例为0.06，AF变焦比例为1.001，此时，可以确定出对应的目标变焦比例为0.06，与数字变焦比例大小一样。

在物距u为2000mm时，确定出的数字变焦比例为0.15，AF变焦比例为1.003，此时，可以确定出对应的目标变焦比例为0.15，与数字变焦比例大小一样。

其他依次类推，而当物距u为300mm时，确定出的数字变焦比例为1，AF变焦比例为1.017，此时，可以确定出对应的目标变焦比例为0.98，相对于数字变焦比例来说，最终的目标变焦比例缩小一些才能保证成像的尺寸的固定。

应理解，图6仅为一种预设的缩放表，其镜头的焦距、物距的大小可以根据需要进行设置和修改，本申请实施例对此不进行任何限制。

还应理解，确定出预设的缩放表后，可以将其进行存储，以在后续提供的视频处理过程中进行调用。

下面结合上述确定出的预设的缩放表，以对本申请实施例提供的视频处理方法进行详细说明。

图7是本申请实施例提供的视频处理方法的示意性流程图。如图7所示的视频处理方法10可以包括以下S11至S20，下面分别对这些步骤进行详细的描述。

本申请实施例提供的视频处理方法可以用于视频模式，其中，视频模式可以是指电子设备进行视频拍摄；或者，视频模式也可以是指电子设备进行视频通话。

在一种可能的实现方式中，可以在电子设备的设置界面中设置开启“视频追踪”的功能，在电子设备中用于视频通话的应用程序运行后，可以自动开启“视频追踪”的功能执行本申请实施例的视频处理方法。

在一种可能的实现方式中，可以在电子设备的相机中设置开启“视频追踪”功能，根据设置可以在录制视频时可以开启“视频追踪”的功能，执行本申请实施例的视频处理方法。

S11、请求打开相机。

例如，电子设备中的应用程序下发请求打开相机的指令；其中，应用程序可以包括但不限于：微信视频通话应用程序、视频会议应用程序、视频直播应用程序、视频录制应用程序、相机应用程序等。

在一个示例中，电子设备的相机应用程序录制视频时，可以请求打开相机。

例如，如图8所示，可以是用户点击相机应用程序的图标81进行视频拍摄时请求打开相机。

在一个示例中，电子设备中的微信视频通话应用程序发起视频邀请或者接收视频邀请时，可以请求打开相机。

例如，如图8所示，可以是指用户点击视频应用程序的图标82进行视频通话时请求打开相机。

S12、相机检测到请求打开相机的指令后，获取视频图像帧。

例如，上述相机可以是指相机模组中的图像传感器；视频图像帧可以是指拍摄对象相对于相机运动，拍摄对象与相机之间的距离增大或缩短，也即拍摄对象的z向位置发生改变时；或者，相机相对于拍摄对象运动，相机与拍摄对象之间的距离增大或缩短时，也即相机的z向位置发生改变时，相机图像传感器实时获取的图像帧。

示例性地，相机获取的视频图像帧的分辨率大小可以为全尺寸(full size)。

例如，相机模组中镜头支持的最大分辨率为4096×2160，则获取的全尺寸的视频图像帧的分辨率可以为4096×2160。

S13、对视频图像帧进行检测，确定并跟踪拍摄对象。

目前，通常通过对视频图像帧中的拍摄对象进行人体检测实现视频显示画面中的跟踪；人体检测通常采用人体检测跟踪算法，即对拍摄对象的关键点进行检测；拍摄对象的关键点可以包括但不限于：头部、肩膀、胳膊、手、腿、脚、眼睛、鼻子、嘴巴及衣服等；但是，对拍摄对象进行人体检测跟踪算法的运算量较大，从而导致对电子设备的性能要求较高。

例如，可以采用现有的人脸检测算法对相机获取的视频图像帧进行人脸检测，确定检测出的人脸为对应的拍摄对象。

应理解，当识别出多个人脸时，可以通过后台计算给用户推荐一个主要的拍摄对象，或者，也可以示意用户选择出一个主要的拍摄对象。

S14、确定电子设备中是否包含深度器件，是，执行S15，否，执行S16。

其中，深度器件用于获取深度图像，深度图像用于反映拍摄对象的深度。深度器件例如可以包括激光传感器、飞行时间(time of flight、TOF)传感器、相位对焦(phasedetect auto focus，PDAF)传感器、双摄像头等器件，当然，也可以包括其他器件，本申请实施例对此不进行任何限制。

S15、当电子设备包含深度器件时，利用深度器件获取深度图像，并根据深度图像确定拍摄对象的深度，也即物距。

当电子设备包含深度器件时，深度器件可以获取深度图像，并根据深度图像确定出拍摄场景中的不同人或事物相对于镜头的深度，也即物距。其中，也包括拍摄对象对应的深度。深度器件获取深度的方法可以利用现有技术确定，本申请实施例对此不进行任何限制。

应理解，利用电子设备包含的深度器件来获取拍摄对象的物距，一方面可以复用深度器件的数据，减小计算量；另一方面由于深度器件确定深度的运算准确率比较高，确定出的物距信息准确，从而可以提高后续变焦的准确性。

S16、当不包含深度器件时，获取AF马达霍尔参数，并根据AF马达霍尔参数确定AF马达推动镜头移动的距离Δf。

其中，电子设备还包括霍尔器件。AF马达霍尔参数用于指示AF马达在霍尔器件生成的线圈磁场中的距离。

应理解，当电子设备不包括深度器件时，电子设备通过获取内部的AF马达霍尔参数，可以快捷、方便地确定出AF马达推动镜头移动的距离Δf。

S17、当根据S15确定出拍摄对象的物距时，可以根据该物距从预设的缩放表中查询对应的目标变焦比例；当根据S16确定出AF马达推动镜头移动的距离Δf时，根据Δf从预设的缩放表中查询对应的目标变焦比例。

例如，预设的缩放表可以如图6所示的缩放表，当确定出拍摄对象的物距时，可以根据该物距从图6中查询对应的目标变焦比例。当确定出AF马达推动镜头移动的距离Δf时，可以根据Δf从图6中查询对应的目标变焦比例。

S18、根据目标变焦比例确定裁剪框，并根据裁剪框裁剪视频图像帧。

其中，可以根据视频图像帧的拍摄对象的坐标信息，结合目标变焦比例来确定对应裁剪框的坐标信息，然后，按照裁剪框的坐标信息对视频图像帧进行裁剪处理，得到显示内容。

应理解，目标变焦比例越大，裁剪框的尺寸越小；目标变焦比例越小，裁剪框的尺寸越大。

在上述基础上，例如，基于裁剪框的坐标信息和视频图像帧的画面坐标信息，还可以按照N帧视频图像帧的调整策略(比如，根据平滑度要求)，调整视频图像帧对应的裁剪框的坐标信息和目标变焦比例。

S19、将裁剪后的视频图像帧，根据目标变焦比例缩放到固定分辨率，得到目标视频图像帧。

例如，以裁剪后的视频图像帧的中心为中心进行放大。

裁剪后的视频图像帧即为显示内容，根据目标变焦比例可以对显示内容进行缩放处理，使得处理后的视频图像帧满足显示的固定分辨率大小。

S20、在应用程序中显示目标视频图像帧。

例如，将经过裁剪与缩放处理后的视频图像帧传输至应用程序，在应用程序中显示视频图像帧。

示例性地，经过裁剪与缩放处理后的目标视频图像帧的分辨率大小为电子设备的显示屏分辨率大小1920×1080；于是，将处理后的目标视频图像帧传输至应用程序，电子设备的显示屏可以显示适合电子设备的显示规格的目标视频图像帧。

在本申请的实施例中，在拍摄对象移动后获取该拍摄对象的视频图像帧，和/或在电子设备移动后获取该拍摄对象的视频图像帧；对视频图像帧进行检测，确定并跟踪拍摄对象；然后，在电子设备包括深度器件的时候，利用深度器件确定拍摄对象的深度，在电子设备没有包括深度器件的时候，利用AF马达霍尔参数，确定AF马达推动镜头移动的距离Δf；根据深度或Δf查询预设的缩放表，确定出对应的目标变焦比例，进一步再根据目标变焦比例确定裁剪框，并根据裁剪框裁剪视频图像，根据目标变焦比例缩放到固定分辨率，得到显示内容。在本申请的实施例中，由于可以通过根据拍摄对象的深度查询预设的缩放表，来确定最终的目标变焦比例，深度信息更能准确定反应拍摄对象的变化，因此与现有技术中通过拍摄对象的尺寸来检测确定缩放比例的方案相比，本申请的视频处理方法能够提高确定出的目标比例的可靠性，从而可以更好地保证固定尺寸的拍摄对象在显示的视频中的尺寸也能固定不变。

上文结合图1至图8，描述了本申请实施例的视频处理方法、光学原理以及适用场景。下面将结合图9至图12，详细描述本申请适用的电子设备的软件***、硬件***、装置以及芯片。应理解，本申请实施例中的软件***、硬件***、装置以及芯片可以执行前述本申请实施例的各种方法，即以下各种产品的具体工作过程，可以参考前述方法实施例中的对应过程。

图9示出了一种适用于本申请的电子设备的硬件***。电子设备100可用于实现上述方法实施例中描述的视频处理方法。

电子设备100可以包括处理器110，外部存储器接口120，内部存储器121，通用串行总线(universal serial bus，USB)接口130，充电管理模块140，电源管理模块141，电池142，天线1，天线2，移动通信模块150，无线通信模块160，音频模块170，扬声器170A，受话器170B，麦克风170C，耳机接口170D，传感器模块180，按键190，马达191，指示器192，摄像头193，显示屏194，以及用户标识模块(subscriber identification module，SIM)卡接口195等。其中传感器模块180可以包括压力传感器180A，陀螺仪传感器180B，气压传感器180C，磁传感器180D，加速度传感器180E，距离传感器180F，接近光传感器180G，指纹传感器180H，温度传感器180J，触摸传感器180K，环境光传感器180L，骨传导传感器180M等。

需要说明的是，图9所示的结构并不构成对电子设备100的具体限定。在本申请另一些实施例中，电子设备100可以包括比图9所示的部件更多或更少的部件，或者，电子设备100可以包括图9所示的部件中某些部件的组合，或者，电子设备100可以包括图9所示的部件中某些部件的子部件。图9示的部件可以以硬件、软件、或软件和硬件的组合实现。

处理器110可以包括一个或多个处理单元。例如，处理器110可以包括以下处理单元中的至少一个：应用处理器(application processor，AP)、调制解调处理器、图形处理器(graphics processing unit，GPU)、图像信号处理器(image signal processor，ISP)、控制器、视频编解码器、数字信号处理器(digital signal processor，DSP)、基带处理器、神经网络处理器(neural-network processing unit，NPU)。其中，不同的处理单元可以是独立的器件，也可以是集成的器件。

控制器可以根据指令操作码和时序信号，产生操作控制信号，完成取指令和执行指令的控制。

处理器110中还可以设置存储器，用于存储指令和数据。在一些实施例中，处理器110中的存储器为高速缓冲存储器。该存储器可以保存处理器110刚用过或循环使用的指令或数据。如果处理器110需要再次使用该指令或数据，可从所述存储器中直接调用。避免了重复存取，减少了处理器110的等待时间，因而提高了***的效率。

在一些实施例中，处理器110可以包括一个或多个接口。例如，处理器110可以包括以下接口中的至少一个：内部集成电路(inter-integrated circuit，I2C)接口、内部集成电路音频(inter-integrated circuit sound，I2S)接口、脉冲编码调制(pulse codemodulation，PCM)接口、通用异步接收传输器(universal asynchronous receiver/transmitter，UART)接口、移动产业处理器接口(mobile industry processor interface，MIPI)、通用输入输出(general-purpose input/output，GPIO)接口、SIM接口、USB接口。

I2C接口是一种双向同步串行总线，包括一根串行数据线(serial data line，SDA)和一根串行时钟线(derail clock line，SCL)。I2S接口可以用于音频通信。PCM接口也可以用于音频通信，将模拟信号抽样，量化和编码。UART接口是一种通用串行数据总线，用于异步通信。该总线可以为双向通信总线。它将要传输的数据在串行通信与并行通信之间转换。MIPI接口可以被用于连接处理器110与显示屏194和摄像头193等***器件。MIPI接口包括摄像头串行接口(camera serial interface，CSI)、显示屏串行接口(display serialinterface，DSI)等。

在一些实施例中，处理器110和摄像头193通过CSI接口通信，实现电子设备100的拍摄功能。处理器110和显示屏194通过DSI接口通信，实现电子设备100的显示功能。GPIO接口可以通过软件配置。GPIO接口可以被配置为控制信号接口，也可被配置为数据信号接口。

在一些实施例中，GPIO接口可以用于连接处理器110与摄像头193，显示屏194、无线通信模块160、音频模块170和传感器模块180。GPIO接口还可以被配置为I2C接口、I2S接口、UART接口或MIPI接口。

USB接口130是符合USB标准规范的接口，例如可以是迷你(Mini)USB接口、微型(Micro)USB接口或C型USB(USB Type C)接口。USB接口130可以用于连接充电器为电子设备100充电，也可以用于电子设备100与***设备之间传输数据，还可以用于连接耳机以通过耳机播放音频。USB接口130还可以用于连接其他电子设备100，例如AR设备。

图9所示的各模块间的连接关系只是示意性说明，并不构成对电子设备100的各模块间的连接关系的限定。可选地，电子设备100的各模块也可以采用上述实施例中多种连接方式的组合。

充电管理模块140用于从充电器接收电力。充电管理模块140为电池142充电的同时，还可以通过电源管理模块141为电子设备100供电。电源管理模块141用于连接电池142，充电管理模块140与处理器110。电源管理模块141接收电池142和/或充电管理模块140的输入，为处理器110，内部存储器121，显示屏194，摄像头193，和无线通信模块160等供电。电源管理模块141还可以用于监测电池容量、电池循环次数和电池健康状态(例如，漏电、阻抗)等参数。可选地，电源管理模块141可以设置于处理器110中，或者，电源管理模块141和充电管理模块140可以设置于同一个器件中。

电子设备100的无线通信功能可以通过天线1、天线2、移动通信模块150、无线通信模块160、调制解调处理器以及基带处理器等器件实现。天线1和天线2用于发射和接收电磁波信号。电子设备100中的每个天线可用于覆盖单个或多个通信频带。不同的天线还可以复用，以提高天线的利用率。

移动通信模块150可以提供应用在电子设备100上的无线通信的解决方案，例如下列方案中的至少一个：第二代(2^th generation，2G)移动通信解决方案、第三代(3^thgeneration，3G)移动通信解决方案、***(4^th generation，5G)移动通信解决方案、第五代(5^th generation，5G)移动通信解决方案。

调制解调处理器可以包括调制器和解调器。其中，调制器用于将待发送的低频基带信号调制成中高频信号。解调器用于将接收的电磁波信号解调为低频基带信号。随后解调器将解调得到的低频基带信号传送至基带处理器处理。低频基带信号经基带处理器处理后，被传递给应用处理器。应用处理器通过音频设备(例如，扬声器170A、受话器170B)输出声音信号，或通过显示屏194显示图像或视频。在一些实施例中，调制解调处理器可以是独立的器件。在另一些实施例中，调制解调处理器可以独立于处理器110，与移动通信模块150或其他功能模块设置在同一个器件中。

与移动通信模块150类似，无线通信模块160也可以提供应用在电子设备100上的无线通信解决方案，例如下列方案中的至少一个：无线局域网(wireless local areanetworks，WLAN)、蓝牙(bluetooth，BT)、蓝牙低功耗(bluetooth low energy，BLE)、超宽带(ultra wide band，UWB)、全球导航卫星***(global navigation satellite system，GNSS)、调频(frequency modulation，FM)、近场通信(near field communication，NFC)、红外(infrared，IR)技术。

在一些实施例中，电子设备100的天线1和移动通信模块150耦合，电子设备100的天线2和无线通信模块160耦合，使得电子设备100可以通过无线通信技术与网络和其他电子设备通信。

电子设备100可以通过GPU、显示屏194以及应用处理器实现显示功能。GPU为图像处理的微处理器，连接显示屏194和应用处理器。GPU用于执行数学和几何计算，用于图形渲染。处理器110可包括一个或多个GPU，其执行程序指令以生成或改变显示信息。

显示屏194可以用于显示图像或视频。显示屏194包括显示面板。显示面板可以采用液晶显示屏(liquid crystal display，LCD)、有机发光二极管(organic light-emitting diode，OLED)、有源矩阵有机发光二极体(active-matrix organic light-emitting diode，AMOLED)、柔性发光二极管(flex light-emitting diode，FLED)、迷你发光二极管(mini light-emitting diode，Mini LED)、微型发光二极管(micro light-emitting diode，Micro LED)、微型OLED(Micro OLED)或量子点发光二极管(quantum dotlight emitting diodes，QLED)。在一些实施例中，电子设备100可以包括1个或N个显示屏194，N为大于1的正整数。

电子设备100可以通过ISP、摄像头193、视频编解码器、GPU、显示屏194以及应用处理器等实现拍摄功能。

ISP用于处理摄像头193反馈的数据。例如，拍照时，打开快门，光线通过镜头被传递到摄像头感光元件上，光信号转换为电信号，摄像头感光元件将所述电信号传递给ISP处理，转化为肉眼可见的图像。ISP可以对图像的噪点、亮度和色彩进行算法优化，ISP还可以优化拍摄场景的曝光和色温等参数。在一些实施例中，ISP可以设置在摄像头193中。

摄像头193用于捕获静态图像或视频。物体通过镜头生成光学图像投射到感光元件。感光元件可以是电荷耦合器件(charge coupled device，CCD)或互补金属氧化物半导体(complementary metal-oxide-semiconductor，CMOS)光电晶体管。感光元件把光信号转换成电信号，之后将电信号传递给ISP转换成数字图像信号。ISP将数字图像信号输出到DSP加工处理。DSP将数字图像信号转换成标准的红绿蓝(red green blue，RGB)，YUV等格式的图像信号。在一些实施例中，电子设备100可以包括1个或N个摄像头193，N为大于1的正整数。

示例性地，在本申请的实施例中，摄像头193可以获取视频图像帧，视频图像帧可以是指采集的全尺寸的图像帧；摄像头193可以将获取的视频图像帧传输至ISP，ISP用于处理摄像头193获取的视频图像帧；比如，ISP可以从处理器110中获取目标变焦比例和裁剪处理的参数；ISP根据裁剪处理参数将全尺寸的视频图像帧进行裁剪，根据目标变焦比例对裁剪后的视频图像帧进行缩放，得到固定分辨率的目标视频图像帧，目标视频图像帧满足显示屏的194分辨率大小；将目标视频图像帧传输至应用程序，显示屏194对处理后的视频图像帧进行显示。

示例性地，在本申请的实施例中，可以在处理器110中执行检测和跟踪计算、裁剪与缩放参数计算。应理解，在本申请的视频处理方法中确定参数的相关步骤可以是在处理器110中执行的；ISP用于获取处理视频图像帧的相关参数，根据相关参数对视频图像帧进行处理得到适合电子设备的显示屏194的显示规格的目标视频图像帧。

数字信号处理器用于处理数字信号，除了可以处理数字图像信号，还可以处理其他数字信号。例如，当电子设备100在频点选择时，数字信号处理器用于对频点能量进行傅里叶变换等。

视频编解码器用于对数字视频压缩或解压缩。电子设备100可以支持一种或多种视频编解码器。这样，电子设备100可以播放或录制多种编码格式的视频，例如：动态图像专家组(moving picture experts group，MPEG)1、MPEG2、MPEG3和MPEG4。

外部存储器接口120可以用于连接外部存储卡，例如安全数码(secure digital，SD)卡，实现扩展电子设备100的存储能力。外部存储卡通过外部存储器接口120与处理器110通信，实现数据存储功能。例如将音乐，视频等文件保存在外部存储卡中。

内部存储器121可以用于存储计算机可执行程序代码，所述可执行程序代码包括指令。内部存储器121可以包括存储程序区和存储数据区。

电子设备100可以通过音频模块170、扬声器170A、受话器170B、麦克风170C、耳机接口170D以及应用处理器等实现音频功能，例如，音乐播放和录音。

音频模块170用于将数字音频信息转换成模拟音频信号输出，也可以用于将模拟音频输入转换为数字音频信号。音频模块170还可以用于对音频信号编码和解码。

扬声器170A，也称为喇叭，用于将音频电信号转换为声音信号。电子设备100可以通过扬声器170A收听音乐或免提通话。受话器170B，也称为听筒，用于将音频电信号转换成声音信号。

在一些实施例中，压力传感器180A可以设置于显示屏194。压力传感器180A的种类很多，例如可以是电阻式压力传感器、电感式压力传感器或电容式压力传感器。电容式压力传感器可以是包括至少两个具有导电材料的平行板，当力作用于压力传感器180A，电极之间的电容改变，电子设备100根据电容的变化确定压力的强度。当触摸操作作用于显示屏194时，电子设备100根据压力传感器180A检测所述触摸操作。电子设备100也可以根据压力传感器180A的检测信号计算触摸的位置。在一些实施例中，作用于相同触摸位置，但不同触摸操作强度的触摸操作，可以对应不同的操作指令。例如：当触摸操作强度小于第一压力阈值的触摸操作作用于短消息应用图标时，执行查看短消息的指令；当触摸操作强度大于或等于第一压力阈值的触摸操作作用于短消息应用图标时，执行新建短消息的指令。

陀螺仪传感器180B可以用于确定电子设备100的运动姿态。在一些实施例中，可以通过陀螺仪传感器180B确定电子设备100围绕三个轴(即，x轴、y轴和z轴)的角速度。陀螺仪传感器180B可以用于拍摄防抖。例如，当快门被按下时，陀螺仪传感器180B检测电子设备100抖动的角度，根据角度计算出镜头模组需要补偿的距离，让镜头通过反向运动抵消电子设备100的抖动，实现防抖。陀螺仪传感器180B还可以用于导航和体感游戏等场景。

气压传感器180C用于测量气压。磁传感器180D包括霍尔传感器。电子设备100可以利用磁传感器180D检测翻盖皮套的开合。

加速度传感器180E可检测电子设备100在各个方向上(一般为x轴、y轴和z轴)加速度的大小。当电子设备100静止时可检测出重力的大小及方向。加速度传感器180E还可以用于识别电子设备100的姿态，作为横竖屏切换和计步器等应用程序的输入参数。

距离传感器180F用于测量距离。电子设备100可以通过红外或激光测量距离。在一些实施例中，例如在拍摄场景中，电子设备100可以利用距离传感器180F测距以实现快速对焦。

接近光传感器180G可以包括例如发光二极管(light-emitting diode，LED)和光检测器，例如，光电二极管。LED可以是红外LED。电子设备100通过LED向外发射红外光。电子设备100使用光电二极管检测来自附近物体的红外反射光。当检测到反射光时，电子设备100可以确定附近存在物体。当检测不到反射光时，电子设备100可以确定附近没有物体。电子设备100可以利用接近光传感器180G检测用户是否手持电子设备100贴近耳朵通话，以便自动熄灭屏幕达到省电的目的。接近光传感器180G也可用于皮套模式或口袋模式的自动解锁与自动锁屏。

环境光传感器180L用于感知环境光亮度。电子设备100可以根据感知的环境光亮度自适应调节显示屏194亮度。环境光传感器180L也可用于拍照时自动调节白平衡。环境光传感器180L还可以与接近光传感器180G配合，检测电子设备100是否在口袋里，以防误触。

指纹传感器180H用于采集指纹。电子设备100可以利用采集的指纹特性实现解锁、访问应用锁、拍照和接听来电等功能。

温度传感器180J用于检测温度。在一些实施例中，电子设备100利用温度传感器180J检测的温度，执行温度处理策略。例如，当温度传感器180J上报的温度超过阈值，电子设备100执行降低位于温度传感器180J附近的处理器的性能，以便降低功耗实施热保护。在另一些实施例中，当温度低于另一阈值时，电子设备100对电池142加热，以避免低温导致电子设备100异常关机。在其他一些实施例中，当温度低于又一阈值时，电子设备100对电池142的输出电压执行升压，以避免低温导致的异常关机。

触摸传感器180K，也称为触控器件。触摸传感器180K可以设置于显示屏194，由触摸传感器180K与显示屏194组成触摸屏，触摸屏也称为触控屏。触摸传感器180K用于检测作用于其上或其附近的触摸操作。触摸传感器180K可以将检测到的触摸操作传递给应用处理器，以确定触摸事件类型。可以通过显示屏194提供与触摸操作相关的视觉输出。在另一些实施例中，触摸传感器180K也可以设置于电子设备100的表面，并且与显示屏194设置于不同的位置。

骨传导传感器180M可以获取振动信号。在一些实施例中，骨传导传感器180M可以获取人体声部振动骨块的振动信号。骨传导传感器180M也可以接触人体脉搏，接收血压跳动信号。

按键190包括开机键和音量键。按键190可以是机械按键，也可以是触摸式按键。电子设备100可以接收按键输入信号，实现于案件输入信号相关的功能。

马达191可以产生振动。马达191可以用于来电提示，也可以用于触摸反馈。马达191可以对作用于不同应用程序的触摸操作产生不同的振动反馈效果。对于作用于显示屏194的不同区域的触摸操作，马达191也可产生不同的振动反馈效果。不同的应用场景(例如，时间提醒、接收信息、闹钟和游戏)可以对应不同的振动反馈效果。触摸振动反馈效果还可以支持自定义。

指示器192可以是指示灯，可以用于指示充电状态和电量变化，也可以用于指示消息、未接来电和通知。

SIM卡接口195用于连接SIM卡。SIM卡可以***SIM卡接口195实现与电子设备100的接触，也可以从SIM卡接口195拔出实现与电子设备100的分离。

上文详细描述了电子设备100的硬件***，下面介绍电子设备100的软件***。软件***可以采用分层架构、事件驱动架构、微核架构、微服务架构或云架构，本申请实施例以分层架构为例，示例性地描述电子设备100的软件***。

如图2所示，采用分层架构的软件***分成若干个层，每一层都有清晰的角色和分工。层与层之间通过软件接口通信。在一些实施例中，软件***可以分为四层，从上至下分别为应用程序层、应用程序框架层、安卓运行时(Android Runtime)和***库、以及内核层。

应用程序层可以包括相机、图库、日历、通话、地图、导航、WLAN、蓝牙、音乐、视频、短信息等应用程序。

本申请实施例的视频处理方法可以应用于相机应用程序或者视频应用程序；例如，可以在电子设备中的设置开启“视频追踪”功能，电子设备检测到视频应用程序请求打开相机的指令后，可以开启“视频追踪”功能；或者，可以在相机应用程序中设置开启“视频追踪”功能，电子设备检测到相机应用程序请求打开相机的指令后，可以开启“视频追踪”功能；“视频追踪”功能可以参见图7中的描述。

应用程序框架层为应用程序层的应用程序提供应用程序编程接口(applicationprogramming interface，API)和编程框架。应用程序框架层可以包括一些预定义的函数。

例如，应用程序框架层包括窗口管理器、内容提供器、视图***、电话管理器、资源管理器和通知管理器。

窗口管理器用于管理窗口程序。窗口管理器可以获取显示屏大小，判断是否有状态栏、锁定屏幕和截取屏幕。

内容提供器用来存放和获取数据，并使这些数据可以被应用程序访问。所述数据可以包括视频、图像、音频、拨打和接听的电话、浏览历史和书签、以及电话簿。

视图***包括可视控件，例如显示文字的控件和显示图片的控件。视图***可用于构建应用程序。显示界面可以由一个或多个视图组成，例如，包括短信通知图标的显示界面，可以包括显示文字的视图以及显示图片的视图。

电话管理器用于提供电子设备100的通信功能，例如通话状态(接通或挂断)的管理。

资源管理器为应用程序提供各种资源，比如本地化字符串、图标、图片、布局文件和视频文件。

通知管理器使应用程序可以在状态栏中显示通知信息，可以用于传达告知类型的消息，可以短暂停留后自动消失，无需用户交互。

Android Runtime包括核心库和虚拟机。Android runtime负责安卓***的调度和管理。

核心库包含两部分：一部分是java语言需要调用的功能函数，另一部分是安卓的核心库。

应用程序层和应用程序框架层运行在虚拟机中。虚拟机将应用程序层和应用程序框架层的java文件执行为二进制文件。虚拟机用于执行对象生命周期的管理、堆栈管理、线程管理、安全和异常的管理、以及垃圾回收等功能。

***库可以包括多个功能模块，例如：表面管理器(surface manager)，媒体库(Media Libraries)，三维图形处理库(例如：针对嵌入式***的开放图形库(opengraphics library for embedded systems，OpenGL ES)和2D图形引擎(例如：skia图形库(skia graphics library，SGL))。

表面管理器用于对显示子***进行管理，并且为多个应用程序提供了2D图层和3D图层的融合。

媒体库支持多种音频格式的回放和录制、多种视频格式回放和录制以及静态图像文件。媒体库可以支持多种音视频编码格式，例如:MPEG4、H.264、动态图像专家组音频层面3(moving picture experts group audio layer III，MP3)、高级音频编码(advancedaudio coding，AAC)、自适应多码率(adaptive multi-rate，AMR)、联合图像专家组(jointphotographic experts group，JPG)和便携式网络图形(portable network graphics，PNG)。

三维图形处理库可以用于实现三维图形绘图、图像渲染、合成和图层处理。

二维图形引擎是2D绘图的绘图引擎。

内核层是硬件和软件之间的层。内核层可以包括显示驱动、摄像头驱动、音频驱动和传感器驱动等驱动模块。

下面结合显示拍照场景，示例性说明电子设备100的软件***和硬件***的工作流程。

当用户在触摸传感器180K上进行触摸操作时，相应的硬件中断被发送至内核层，内核层将触摸操作加工成原始输入事件，原始输入事件例如包括触摸坐标和触摸操作的时间戳等信息。原始输入事件被存储在内核层，应用程序框架层从内核层获取原始输入事件，识别出原始输入事件对应的控件，并通知该控件对应的应用程序(application，APP)。例如，上述触摸操作为单击操作，上述控件对应的APP为相机APP，相机APP被单击操作唤醒后，可以通过API调用内核层的摄像头驱动，通过摄像头驱动控制摄像头193进行拍摄。

图11是本申请实施例提供的视频处理装置的结构示意图。该视频处理装置200包括显示单元210和处理单元220。

显示单元210用于显示第一图像，第一图像为目标拍摄对象在第一位置的图像帧。

处理单元220用于在目标拍摄对象移动至第二位置的情况下，获取第二图像，第二位置与第一位置为不同位置，第二图像是指目标拍摄对象移动至第二位置时电子设备采集的图像帧；当电子设备包括深度器件时，利用深度器件确定目标拍摄对象移动至第二位置后对应的物距；根据物距，从预设的缩放表中确定对应的目标变焦比例，预设的缩放表包括多组具有一一映射关系的物距和目标变焦比例；根据目标变焦比例确定裁剪框，并根据裁剪框裁剪第二图像；根据目标变焦比例，对裁剪后的第二图像进行缩放，得到包括目标拍摄对象的第三图像，第一图像中目标拍摄对象的尺寸与第三图像中的目标拍摄对象的尺寸一致。

可选地，作为一个实施例，在显示第一图像与所述第三图像时，电子设备所处的位置相同。

可选地，作为一个实施例，在第二位置与第一位置为相同位置，显示第一图像和第三图像时，电子设备所处的位置不同。

可选地，作为一个实施例，处理单元220还用于当电子设备不包括深度器件时，获取AF马达霍尔参数；根据AF马达霍尔参数确定AF马达推动镜头移动的距离Δf；根据AF马达推动镜头移动的距离Δf，从预设的缩放表中确定对应的目标变焦比例，预设的缩放表还包括多组具有一一映射关系的AF马达推动镜头移动的距离Δf和目标变焦比例。

可选地，作为一个实施例，处理单元220还用于利用深度器件获取深度图像；根据深度图像确定目标拍摄对象的物距。

可选地，作为一个实施例，处理单元220还用于检测到指示运行相机应用程序的操作；或者，检测到指示运行视频通话应用程序的操作。

可选地，作为一个实施例，目标拍摄对象包括至少一个用户。

需要说明的是，上述视频处理装置200以功能单元的形式体现。这里的术语“单元”可以通过软件和/或硬件形式实现，对此不作具体限定。

例如，“单元”可以是实现上述功能的软件程序、硬件电路或二者结合。所述硬件电路可能包括应用特有集成电路(application specific integrated circuit，ASIC)、电子电路、用于执行一个或多个软件或固件程序的处理器(例如共享处理器、专有处理器或组处理器等)和存储器、合并逻辑电路和/或其它支持所描述的功能的合适组件。

因此，在本申请的实施例中描述的各示例的单元，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

图12示出了本申请提供的一种电子设备的结构示意图。图12中的虚线表示该单元或该模块为可选的，电子设备300可用于实现上述方法实施例中描述的视频处理方法。

电子设备300包括一个或多个处理器301，该一个或多个处理器302可支持电子设备300实现方法实施例中的方法。处理器301可以是通用处理器或者专用处理器。例如，处理器301可以是中央处理器(central processing unit，CPU)、数字信号处理器(digitalsignal processor，DSP)、专用集成电路(application specific integrated circuit，ASIC)、现场可编程门阵列(field programmable gate array，FPGA)或者其它可编程逻辑器件，如分立门、晶体管逻辑器件或分立硬件组件。

处理器301可以用于对电子设备300进行控制，执行软件程序，处理软件程序的数据。电子设备300还可以包括通信单元305，用以实现信号的输入(接收)和输出(发送)。

例如，电子设备300可以是芯片，通信单元305可以是该芯片的输入和/或输出电路，或者，通信单元305可以是该芯片的通信接口，该芯片可以作为终端设备或其它电子设备的组成部分。

又例如，电子设备300可以是终端设备，通信单元305可以是该终端设备的收发器，或者，通信单元305可以是该终端设备的收发电路。

电子设备300中可以包括一个或多个存储器302，其上存有程序304，程序304可被处理器301运行，生成指令303，使得处理器301根据指令303执行上述方法实施例中描述的视频处理方法。

可选地，存储器302中还可以存储有数据。可选地，处理器301还可以读取存储器302中存储的数据，该数据可以与程序304存储在相同的存储地址，该数据也可以与程序304存储在不同的存储地址。

处理器301和存储器302可以单独设置，也可以集成在一起；例如，集成在终端设备的***级芯片(system on chip，SOC)上。

示例性地，存储器302可以用于存储本申请实施例中提供的视频处理方法的相关程序304，处理器301可以用于在视频处理时调用存储器302中存储的视频处理方法的相关程序304，执行本申请实施例的视频处理方法；例如，

本申请还提供了一种计算机程序产品，该计算机程序产品被处理器301执行时实现本申请中任一方法实施例所述的视频处理方法。

该计算机程序产品可以存储在存储器302中，例如是程序304，程序304经过预处理、编译、汇编和链接等处理过程最终被转换为能够被处理器301执行的可执行目标文件。

本申请还提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被计算机执行时实现本申请中任一方法实施例所述的视频处理方法。该计算机程序可以是高级语言程序，也可以是可执行目标程序。

可选地，该计算机可读存储介质例如是存储器302。存储器302可以是易失性存储器或非易失性存储器，或者，存储器302可以同时包括易失性存储器和非易失性存储器。其中，非易失性存储器可以是只读存储器(read-only memory，ROM)、可编程只读存储器(programmable ROM，PROM)、可擦除可编程只读存储器(erasable PROM，EPROM)、电可擦除可编程只读存储器(electrically EPROM，EEPROM)或闪存。易失性存储器可以是随机存取存储器(random access memory，RAM)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的RAM可用，例如静态随机存取存储器(static RAM，SRAM)、动态随机存取存储器(dynamic RAM，DRAM)、同步动态随机存取存储器(synchronous DRAM，SDRAM)、双倍数据速率同步动态随机存取存储器(double data rate SDRAM，DDR SDRAM)、增强型同步动态随机存取存储器(enhanced SDRAM，ESDRAM)、同步连接动态随机存取存储器(synchlinkDRAM，SLDRAM)和直接内存总线随机存取存储器(direct rambus RAM，DR RAM)。

本领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的装置和设备的具体工作过程以及产生的技术效果，可以参考前述方法实施例中对应的过程和技术效果，在此不再赘述。

在本申请所提供的几个实施例中，所揭露的***、装置和方法，可以通过其它的方式实现。例如，以上所描述的方法实施例的一些特征可以忽略，或不执行。以上所描述的装置实施例仅仅是示意性的，单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，多个单元或组件可以结合或者可以集成到另一个***。另外，各单元之间的耦合或各个组件之间的耦合可以是直接耦合，也可以是间接耦合，上述耦合包括电的、机械的或其它形式的连接。

应理解，在本申请的各种实施例中，各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请的实施例的实施过程构成任何限定。

另外，本文中术语“***”和“网络”在本文中常被可互换使用。本文中的术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。

总之，以上所述仅为本申请技术方案的较佳实施例而已，并非用于限定本申请的保护范围。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims

1.一种视频处理方法，其特征在于，所述视频处理方法应用于电子设备，包括：

根据所述物距，从预设的缩放表中确定对应的目标变焦比例，所述预设的缩放表包括多组具有一一映射关系的物距和目标变焦比例；所述目标变焦比例为数字变焦比例与AF变焦比例的比值，所述AF变焦比例用于指示AF变焦过程中，镜头推动后所引起的成像尺寸的变化；

2.如权利要求1所述的视频处理方法，其特征在于，在显示所述第一图像与所述第三图像时，所述电子设备所处的位置相同。

3.如权利要求1或2所述的视频处理方法，其特征在于，在第二位置与所述第一位置为相同位置，显示所述第一图像和所述第三图像时，所述电子设备所处的位置不同。

4.如权利要求1至3中任一项所述的视频处理方法，其特征在于，还包括：

根据AF马达霍尔参数，确定AF马达推动镜头移动的距离Δf；

5.如权利要求1至4中任一项所述的视频处理方法，其特征在于，利用所述深度器件确定所述目标拍摄对象移动至所述第二位置后对应的物距，包括：

利用所述深度器件获取深度图像；

根据所述深度图像确定所述目标拍摄对象的物距。

6.如权利要求1至5中任一项所述的视频处理方法，其特征在于，还包括：

检测到指示运行相机应用程序的操作；或者，

检测到指示运行视频通话应用程序的操作。

7.如权利要求1至6中任一项所述的视频处理方法，其特征在于，所述目标拍摄对象包括至少一个用户。

8.一种电子设备，其特征在于，包括处理器和存储器；

所述存储器，用于存储可在所述处理器上运行的计算机程序；

所述处理器，用于执行如权利要求1至7中任一项所述的视频处理方法。

9.一种芯片，其特征在于，包括：处理器，用于从存储器中调用并运行计算机程序，使得安装有所述芯片的设备执行如权利要求1至7中任一项所述的视频处理方法。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被处理器执行时，使所述处理器执行如权利要求1至7中任一项所述的视频处理方法。