CN115278084A - 图像处理方法、装置、电子设备及存储介质 - Google Patents

Abstract

本申请公开了一种图像处理方法、装置、电子设备及存储介质，属于图像处理技术领域，该方法包括：显示拍摄预览图像，拍摄预览图像包括第一对象和第二对象，该第一对象为虚拟拍摄对象，该第二对象为拍摄预览图像对应的拍摄场景中的对象；以目标对象为对焦对象，更新拍摄预览图像；其中，目标对象包括以下其中之一：第一对象、第二对象。

Description

图像处理方法、装置、电子设备及存储介质

技术领域

本申请属于图像处理技术领域，具体涉及一种图像处理方法、装置、电子设备及存储介质。

背景技术

增强现实(Augmented Reality，AR)技术是一种将真实世界信息和虚拟世界信息相结合，即在实际场景中放入虚拟对象的技术，可以增加用户在工作、生活中的趣味性，提升用户体验。随着AR技术的不断发展，在电子设备的拍摄类应用程序中的使用越来越为常见。

通常，电子设备在使用相机应用程序的AR拍摄功能时，可以先采集现实对象的图像，并且，当采集的图像中加入了人物或动物等虚拟对象之后，电子设备可以将采集的现实对象的图像和虚拟对象进行图像合成，得到一张包含有现实对象的图像和虚拟对象的图片。

然而，上述方法中，由于在采集图像过程中加入虚拟对象之后，整个图像的场景构图发生了改变，而现有方法直接将采集的现实对象的图像和虚拟对象进行合成，导致电子设备在AR拍摄场景中，拍摄得到的图像的效果较差。

发明内容

本申请实施例的目的是提供一种图像处理方法、装置、电子设备及存储介质，能够解决电子设备在AR拍摄场景中，拍摄得到的图像效果较差的问题。

第一方面，本申请实施例提供了一种图像处理方法，该图像处理方法包括：显示拍摄预览图像，该拍摄预览图像包括第一对象和第二对象，第一对象为虚拟拍摄对象，第二对象为拍摄预览图像对应的拍摄场景中的对象；以目标对象为对焦对象，更新拍摄预览图像；其中，目标对象包括以下其中之一：第一对象、第二对象。

第二方面，本申请实施例提供了一种图像处理装置，该图像处理装置包括：显示模块和更新模块。显示模块，用于显示拍摄预览图像，该拍摄预览图像包括第一对象和第二对象，第一对象为虚拟拍摄对象，第二对象为拍摄预览图像对应的拍摄场景中的对象。更新模块，用于以上述显示模块显示的目标对象为对焦对象，更新拍摄预览图像；其中，目标对象包括以下其中之一：第一对象、第二对象。

第三方面，本申请实施例提供了一种电子设备，该电子设备包括处理器和存储器，所述存储器存储可在所述处理器上运行的程序或指令，所述程序或指令被所述处理器执行时实现如第一方面所述的方法的步骤。

第四方面，本申请实施例提供了一种可读存储介质，所述可读存储介质上存储程序或指令，所述程序或指令被处理器执行时实现如第一方面所述的方法的步骤。

第五方面，本申请实施例提供了一种芯片，所述芯片包括处理器和通信接口，所述通信接口和所述处理器耦合，所述处理器用于运行程序或指令，实现如第一方面所述的方法。

第六方面，本申请实施例提供一种计算机程序产品，该程序产品被存储在存储介质中，该程序产品被至少一个处理器执行以实现如第一方面所述的方法。

在本申请实施例中，电子设备从第一对象和第二对象中确定目标对象，以对目标对象执行对焦处理，并对其他图像区域执行虚化处理。本方案中，在拍摄场景中加入第一对象之后，电子设备可以根据第一对象和预设拍摄主体选择拍摄场景中的对焦主体，以重新触发对焦和虚化策略，生成更佳的拍照或视频效果，即在加入第一对象使得构图发生变化后，电子设备会根据当前的构图情况执行重新对焦和虚化操作，以保证重新对焦和虚化操作后的图像能够满足当前场景的拍摄需求，提升了整体图像的对焦或虚化效果，从而提升了电子设备在AR拍摄场景中拍摄图像的效果。

附图说明

图1是本申请实施例提供的一种图像处理方法的流程图之一；

图2是本申请实施例提供的一种图像处理方法的流程图之二；

图3是本申请实施例提供的一种在默认对焦模式下的预览界面和虚拟对象的实例示意图；

图4是本申请实施例提供的一种图像处理方法的流程图之三；

图5是本申请实施例提供的一种在室内拍摄场景中拍摄的实际对焦主体的界面实例示意图；

图6是本申请实施例提供的一种将虚拟对象确定为对焦主体的界面实例示意图；

图7是本申请实施例提供的一种将原实际对焦主体确定为对焦主体的界面实例示意图；

图8是本申请实施例提供的一种重对焦与虚化前后效果的界面实例示意图之一；

图9是本申请实施例提供的一种重对焦与虚化前后效果的界面实例示意图之二；

图10是本申请实施例提供的一种重对焦与虚化前后效果的界面实例示意图之三；

图11是本申请实施例提供的一种图像处理装置的结构示意图；

图12是本申请实施例提供的一种电子设备的硬件结构示意图之一；

图13是本申请实施例提供的一种电子设备的硬件结构示意图之二。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

本申请的说明书和权利要求书中的术语“第一”、“第二”等是用于区别类似的对象，而不用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施，且“第一”、“第二”等所区分的对象通常为一类，并不限定对象的个数，例如第一对象可以是一个，也可以是多个。此外，说明书以及权利要求中“和/或”表示所连接对象的至少其中之一，字符“/”，一般表示前后关联对象是一种“或”的关系。

下面结合附图，通过具体的实施例及其应用场景对本申请实施例提供的图像处理方法进行详细地说明。

在实际场景中放入虚拟对象，用以增加工作、生活的趣味性以及提升用户体验等方面的应用。相机AR功能工作时，在加入例如人物、动物等虚拟对象之后，会保持原有的策略，不对虚拟对象带来的场景构图变化做重对焦或虚化，由此形成的场景效果并不理想。

在拍摄场景中加入第一对象之后，电子设备可以根据第一对象和预设拍摄主体选择拍摄场景中的对焦主体，以重新触发对焦和虚化策略，生成更佳的拍照或视频效果，即在加入第一对象使得构图发生变化后，电子设备会根据当前的构图情况执行重新对焦和虚化操作，以保证重新对焦和虚化操作后的图像能够满足当前场景的拍摄需求，提升了整体图像的对焦或虚化效果，从而提升了电子设备在AR拍摄场景中拍摄图像的效果。

本申请实施例提供一种图像处理方法，图1示出了本申请实施例提供的一种图像处理方法的流程图，该方法可以应用于电子设备。如图1所示，本申请实施例提供的图形处理方法可以包括下述的步骤201和步骤202。

步骤201、电子设备显示拍摄预览图像。

本申请实施例中，上述拍摄预览图像包括第一对象和第二对象。第一对象为虚拟拍摄对象，第二对象为拍摄预览图像对应的拍摄场景中的对象。

本申请实施例中，电子设备开启摄像头功能后，可以显示拍摄预览界面，并通过摄像头开始采集拍摄预览图像，并在拍摄预览界面中显示拍摄预览图像，该拍摄预览图像包括第二对象；在用户加入第一对象之后，电子设备可以在拍摄预览界面中显示第一对象，此时拍摄预览图像包括第一对象和第二对象。

可选地，本申请实施例中，上述第一对象和第二对象可以包括但不限于以下至少一项：人物对象、动物对象、其他类别对象(例如建筑、花卉、树木等对象)等，具体的可以根据实际使用需求确定，本申请实施例不作限制。

需要说明的是，上述第二对象可以理解为：电子设备的摄像头采集实际拍摄场景中的对象。上述第一对象可以理解为：通过AR技术，在实际场景/现实场景中投射一个或多个虚拟对象。

步骤202、电子设备以目标对象为对焦对象，更新拍摄预览图像。

本申请实施例中，上述目标对象包括以下其中之一：第一对象、第二对象。

本申请实施例中，电子设备可以对该拍摄预览图像中的所有对象进行显著程度的对比，以从目标对象中选择显著程度最高的对象，即从第一对象和第二对象中选择显著程度最高的对象作为对焦对象，将该对焦对象作为待对焦的主体对象，从而对该主体对象进行对焦。

可选地，本申请实施例中，上述显著程度可以为以下任一项：各个对象在拍摄预览图像中的突出程度、各个对象的特征信息(例如类别、位置等)的权重大小。

本申请实施例中，在拍摄场景中加入第一对象之后，电子设备可以根据第一对象和预设拍摄主体选择拍摄场景中的对焦主体，以重新触发对焦和虚化策略，生成更佳的拍照或视频效果，即在加入第一对象使得构图发生变化后，电子设备会根据当前的构图情况执行重新对焦和虚化操作，以保证重新对焦和虚化操作后的图像能够满足当前场景的拍摄需求，提升了整体图像的对焦或虚化效果，从而提升了电子设备在AR拍摄场景中拍摄图像的效果。

可选地，本申请实施例中，结合图1，如图2所示，在上述步骤202中的“电子设备以目标对象为对焦对象”之前，本申请实施例提供的图像处理方法还包括下述的步骤203，并且上述步骤202具体可以通过下述的步骤202a或步骤202b实现。

步骤203、电子设备确定在第二对象中是否包含预设拍摄主体。

步骤202a、在第二对象中不包括预设拍摄主体的情况下，电子设备以第一对象为对焦对象，更新拍摄预览图像。

可以理解，当第二对象中不包括预设拍摄主体时，电子设备可以将第一对象确定为目标对象，即待对焦的主体对象。其中，在第二对象中的所有拍摄对象的突出程度均小于一个阈值，或者第二对象中的所有拍摄对象的差异小于一个阈值的情况下，电子设备确定第二对象中不存在对焦对象。

可选地，本申请实施例中，上述预设拍摄主体不限于以下至少一项：人物对象、动物对象、其他类别对象(例如建筑、花卉、树木等对象)等，具体的可以根据实际使用需求确定，本申请实施例不作限制。

可选地，本申请实施例中，在默认对焦模式下，在第二对象中不包括预设拍摄主体的情况下，电子设备可以以第一对象为对焦对象，更新拍摄预览图像。

需要说明的是，默认对焦模式可以理解为：电子设备开启摄像头功能之后，电子设备的***默认的拍摄模式，在该拍摄模式下电子设备可以根据拍摄对象进行自动对焦与虚化。

示例性地，在默认对焦模式下，如图3中的(A)所示，电子设备显示预览界面10，该预览界面10中包括电子设备摄像头采集的图像，该图像中包括第二对象；电子设备检测到该第二对象中不存在实际对焦对象，因此电子设备可以将如图3中的(B)所示的新增的第一对象，确定为目标对象，从而对该目标对象进行对焦处理。

步骤202b、在第二对象中包括至少一个预设拍摄主体的情况下，电子设备在至少一个预设拍摄主体和第一对象中确定目标对象，以目标对象为对焦对象，更新拍摄预览图像。

本申请实施例中，在第二对象中包括至少一个预设拍摄主体的情况下，电子设备可以将至少一个预设拍摄主体和第一对象中特征权重最大的对象确定为对焦对象，即待对焦的主体对象。

可选地，本申请实施例中，电子设备可以将至少一个预设拍摄主体和第一对象中突出程度大于一个阈值，或者与其他对象的突出程度的差异大于一个阈值对象，确定为目标对象。

示例性地，如图5所示，电子设备处于室内拍摄场景，该拍摄场景中预设拍摄主体为玩偶熊12；在加入第一对象之后，电子设备可以通过对比第一对象与玩偶熊12的类别、在拍摄场景中的位置、大小、与摄像头之间的距离等，确定出新的对焦对象。

本申请实施例中，在默认对焦模式下，电子设备可以判断第二对象中是否存在预设拍摄主体，来确定对焦对象，以在不存在预设拍摄主体时，将第一对象确定为对焦对象以进行对焦处理，在存在至少一个预设拍摄主体时，由预设拍摄主体和第一对象的特征权重决定对焦对象，因此提高了确定对焦对象的精确性，保证了确定的对焦对象更加符合当前拍摄场景。

可选地，本申请实施例中，结合图2，如图4所示，上述步骤202b具体可以通过下述的步骤202b1至步骤202b3实现。

步骤202b1、电子设备获取第一对象在预览图像中的第一特征权重和至少一个预设拍摄主体在预览图像中的至少一个第二特征权重。

本申请实施例中所述的特征权重(例如第一特征权重、第二特征权重、目标特征权重等)，用于指示拍摄对象在预览图像中的拍摄显著性。

可选地，本申请实施例中，在默认对焦模式下，电子设备可以根据当前拍摄场景信息，计算当前拍摄场景的预设拍摄主体，完成初始对焦；并且，电子设备可以记录此时的预设拍摄主体在拍摄场景中的第二特征信息。

可选地，本申请实施例中，上述第二特征信息包括以下至少一项：预设拍摄主体在拍摄场景中的位置信息、预设拍摄主体在拍摄场景中所占画面大小、预设拍摄主体与摄像头之间的距离、预设拍摄主体的类别信息。

可选地，本申请实施例中，在默认对焦模式下，电子设备可以采用虚拟对象生成算法、3D测量算法，例如即时定位与地图构建(Simultaneous Localization and Mapping，slam)、飞行时间技术(Time of Flight，TOF)等算法，也可以采用相位对焦(PhaseDetection Auto Focus，PDAF)或反差式对焦(Contrast Detection Auto Focus，CDAF)等方法，获取预设拍摄主体在当前拍摄场景中的第二特征信息。

可选地，本申请实施例中，上述第一对象的特征信息(以下称为第一特征信息)可以包括以下至少一项：第一对象在拍摄场景中所占画面大小、第一对象的类别信息、第一对象在拍摄场景中的位置信息、第一对象与摄像头之间的距离。其中，第一对象在拍摄场景中所占画面大小和第一对象的类别信息由电子设备采用虚拟对象生成算法获取得到；第一对象在拍摄场景中的位置信息和第一对象与摄像头之间的距离由电子设备采用3D测量算法获取得到。

本申请实施例中，电子设备可以根据第一特征信息，即根据第一对象的类别信息、在拍摄场景中的位置信息、在拍摄场景中所占画面大小、与摄像头之间距离中的至少一项，为第一对象赋予至少一个权重值，每个权重值分别对应第一特征信息中各项信息中的一项信息，从而获得第一的最终权重，即第一特征权重。同理，针对至少一个预设拍摄主体中每个预设拍摄主体的第二特征权重的确定方法与第一特征权重的确定方法类似，此处不予赘述。

可选地，本申请实施例中，电子设备可以对至少一个权重值进行方差计算，得到第一特征权重。或者，电子设备可以按照第一特征信息中各项信息的重要程度，将重要程度最高的信息的权重值作为第一特征权重。

可选地，本申请实施例中，在加入第一对象之后，电子设备可以按照如下原则计算至少一个预设拍摄主体与第一对象的特征权重，即分别获取至少一个预设拍摄主体和第一对象的最终权重，以将权重最大的对象作为目标对象：

1)类别权重：人物形象>动物形象>其他类别(建筑、花卉、树木等权重相等)。

2)在拍摄场景中的位置权重：根据距离场景中心判断，距离中心越近，权重越大；距离中心越远，权重越小。

3)占据拍摄场景画面大小权重：画面大小占比越大，权重越大；画面大小占比越小，权重越小。

4)与摄像头之间的距离权重：距离相机越近，权重越大；距离相机越远，权重越小。

步骤202b2、电子设备在第一特征权重和至少一个第二特征权重中确定目标特征权重。

本申请实施例中，上述目标权重不小于第一特征权重和至少一个第二特征权重。

可选地，本申请实施例中，上述目标权重为第一特征权重和至少一个第二特征权重中的最大权重值。

步骤202b3、电子设备将目标特征权重对应的拍摄对象确定为目标对象，以目标对象为对焦对象，更新拍摄预览图像。

示例性地，结合图5，如图6所示，在加入第一对象大象11之后，第一对象位于靠近画面中间位置的区域，电子设备可以通过对比第一对象和至少一个预设拍摄主体(例如玩偶熊12)的位置、大小、与摄像头之间的距离等，确定出新的对焦对象为靠近画面中间位置的对象，该对象为第一对象。

又示例性地，结合图5，如图7所示，在加入第一对象大象11之后，第一对象位于画面的左下角位置处，且在画面中的占比相对至少一个预设拍摄主体在画面中的占比较小，电子设备可以通过对比第一对象与至少一个预设拍摄主体的位置、大小、与摄像头之间的距离等，确定对焦对象保持原来的至少一个预设拍摄主体玩偶熊12不变。

本申请实施例中，电子设备可以根据至少一个预设拍摄主体和第一对象的特征信息，确定这些对象的特征权重，以决定继续保持原来的至少一个预设拍摄主体不变，还是将第一对象作为新的对焦对象，以保证确定的对焦对象的准确性，从而保证确定的对焦对象更加符合当前拍摄场景。

可选地，本申请实施例中，上述步骤202具体可以通过下述的步骤301实现。

步骤301、电子设备以目标对象为对焦对象，对拍摄预览图像执行图像处理，得到处理后的拍摄预览图像。

可选地，本申请实施例中，在默认对焦模式下，电子设备可以根据第一特征权重和第二特征权重的对比结果确定目标对象，并重新触发对焦算法和虚化算法：电子设备可以根据目标对象的位置坐标信息，进行对焦处理，再对前后景深进行虚化处理，从而达到突出对焦对象的效果，提高了画面效果。

示例性地，如图8中的(A)所示，电子设备显示默认对焦模式下的预览界面13，该预览界面13中包括第二对象，但该第二对象中不存在预设拍摄主体，在加入第一对象大象11之后，电子设备可以在预览界面13中显示第一对象和第二对象；如图8中的(B)所示，电子设备确定预览界面13中的拍摄对象中不存在预设拍摄主体，即预览界面13中的第二对象不是预设拍摄对象，此时电子设备可以将第一对象确定为目标对象，并重新触发对焦和虚化算法，以对目标对象执行对焦处理，然后对预览界面13中除目标对象之外的图像区域执行虚化处理。可以理解，图8中的(A)为重对焦与虚化之前的图像效果，图8中的(B)为重对焦与虚化之后的图像效果，重新对焦与虚化后，能够突出拍摄场景中的显著对象。

又示例性地，如图9中的(A)所示，电子设备显示默认对焦模式下的预览界面14，该预览界面14中包括第二对象，并且该第二对象中存在预设拍摄主体，在加入第一对象之后，电子设备可以在预览界面14中显示第一对象和第二对象；如图9中的(B)所示，电子设备确定预览界面14中的拍摄对象中存在预设拍摄主体，例如玩偶熊12，此时电子设备可以通过对比预设拍摄主体与第一对象的位置、所占画面的大小、与摄像头之间的距离，将摄像头之间的距离较近的对象确定为目标对象，即电子设备可以将预览界面14中的大象11确定为目标对象，并重新触发对焦和虚化算法，以对目标对象执行对焦处理，然后对预览界面14中除目标对象之外的图像区域执行虚化处理。可以理解，图9中的(A)为重对焦与虚化之前的图像效果，图9中的(B)为重对焦与虚化之后的图像效果，重新对焦与虚化后，能够明显突出拍摄场景中第一对象的显著性。

又示例性地，如图10中的(A)所示，电子设备显示默认对焦模式下的预览界面15，该预览界面15中包括第二对象，并且该第二对象中存在预设拍摄主体，在加入第一对象之后，电子设备可以在预览界面15中显示第一对象和第二对象；如图10中的(B)所示，电子设备确定预览界面15中的拍摄对象中存在预设拍摄主体，例如玩偶熊12，此时电子设备可以通过对比预设拍摄主体与第一对象的位置、所占画面的大小、与摄像头之间的距离，将所占画面较大、且所在位置与中间位置较近的对象确定为目标对象，即电子设备可以将预览界面15中的玩偶熊12确定为目标对象，并重新触发对焦和虚化算法，以对目标对象执行对焦处理，然后对预览界面15中除目标对象之外的图像区域执行虚化处理。可以理解，图10中的(A)为重对焦与虚化之前的图像效果，图10中的(B)为重对焦与虚化之后的图像效果，重新对焦与虚化后，能够保持对焦对象的显著性，从而明显突出拍摄场景的对焦对象。

可选地，本申请实施例中，在虚拟对象运动追焦模式下，电子设备可以根据第一对象的数量和特征信息，判断第一对象的显著性程度，以显著程度最高的第一对象作为对焦对象，通过实时跟踪第一对象的运动位置变化进行重对焦与虚化，突出了第一对象的在拍摄场景中的显著性，提升图像的对焦或虚化效果。

本申请实施例提供一种图像处理方法，在拍摄场景中加入第一对象之后，电子设备可以根据第一对象和预设拍摄主体选择拍摄场景中的对焦主体，以重新触发对焦和虚化策略，生成更佳的拍照或视频效果，即在加入第一对象使得构图发生变化后，电子设备会根据当前的构图情况执行重新对焦和虚化操作，以保证重新对焦和虚化操作后的图像能够满足当前场景的拍摄需求，提升了整体图像的对焦或虚化效果，从而提升了电子设备在AR拍摄场景中拍摄图像的效果。

可选地，本申请实施例中，上述步骤301具体可以通过下述的步骤301a实现。

步骤301a、电子设备根据目标对象的空间位置信息以目标对象为对焦对象，对拍摄预览图像进行第一图像处理，得到处理后的拍摄预览图像。

本申请实施例中，在虚拟对象运动追焦模式下，电子设备可以采用3D测量技术获取目标对象的空间位置信息，例如空间坐标等信息，并控制马达实现对目标对象的第一图像处理；并且，电子设备可以记录此时的目标对象在拍摄场景中的特征信息。

可选地，本申请实施例中，上述目标对象在拍摄场景中的特征信息包括以下至少一项：目标对象的大小、目标对象的颜色、目标对象的亮度等特征信息。

本申请实施例中，电子设备可以获取并记录目标对象在空间中的位置信息，以确定目标对象为对焦对象，以保证确定的对焦对象的准确性，从而对拍摄预览图像进行图像处理，以保证确定的对焦对象更加符合当前拍摄预览图像。

可选地，本申请实施例中，上述步骤301具体可以通过下述的步骤301b和步骤301c实现。

步骤301b、在目标对象移动的情况下，电子设备根据目标对象在拍摄场景中的特征信息和拍摄预览图像中拍摄对象的特征信息，确定目标对象的平面位置。

本申请实施例中，上述拍摄对象可以为第二对象。

本申请实施例中，在虚拟对象运动追焦模式下，电子设备可以根据目标对象在拍摄场景中的特征信息，即根据目标对象的大小、颜色、亮度中的至少一项，通过尺度不变特征变换(Scale-invariant Feature Transform，SIFT)匹配算法对检测出的所有对象进行匹配，确定目标对象的平面位置。其中，SIFT特征匹配算法可以使对象经过旋转、缩放、亮度变化等操作后保持不变。

步骤301c、电子设备根据目标对象的平面位置和第一距离信息，以目标对象为对焦对象，对拍摄预览图像进行第二图像处理，得到处理后的拍摄预览图像。

本申请实施例中，上述第一距离信息为目标对象对应的空间位置与摄像头之间的距离。

可选地，本申请实施例中，电子设备可以通过3D测量技术获取第一距离信息，并控制马达对拍摄预览图像进行第二图像处理。电子设备通过实时跟踪获得第一对象位置，对目标对象进行重新对焦处理，突出了拍摄场景中的显著性，提升电子设备在AR拍摄场景中的图像拍摄效果。

可选地，在本申请实施例的一种实现方式中，上述目标对象为第一对象。上述步骤202具体可以通过下述的步骤202c实现。

步骤202c、在第一对象移动的情况下，电子设备对第一对象进行运动追焦，并更新拍摄预览图像。

可选地，本申请实施例中，在虚拟对象运动追焦模式下，在第一对象移动的情况下，电子设备可以对第一对象进行运动追焦，并更新拍摄预览图像。

需要说明的是，虚拟对象运动追焦模式可以理解为：电子设备以虚拟对象作为对焦主体对象，并根据虚拟对象的运动位置变化进行追焦与虚化操作。

可选地，在本申请实施例的另一种实现方式中，上述目标对象为第一对象，该第一对象包括第一虚拟对象和第二虚拟对象。上述步骤202具体可以通过下述的步骤202d实现。

步骤202d、在第一虚拟对象的特征权重大于第二虚拟对象的特征权重的情况下，电子设备对第一虚拟对象进行运动追焦，并更新拍摄预览图像。

本申请实施例中，上述特征权重用于指示拍摄对象在预览图像中拍摄显著性。

可选地，本申请实施例中，若第一对象包括第一虚拟对象和第二虚拟对象，则电子设备可以通过目标/语义检测与3D测量(例如slam、TOF)技术，获取第一虚拟对象和第二虚拟对象的特征信息。并根据第一虚拟对象和第二虚拟对象的特征信息，选择出一个最为显著的虚拟对象，即特征权重最大的虚拟对象作为目标对象进行运动追焦。

可选地，本申请实施例中，上述特征信息包括类别信息、在拍摄场景中所占画面的大小、在拍摄场景中的位置信息、与摄像头之间的距离中的至少一项。

可选地，在本申请实施例中，在上述步骤202之后，本申请实施例提供的图像处理方法还包括下述的步骤401和步骤402。

步骤401、在目标对象移动至拍摄场景外的时间小于或等于预设时间的情况下，在目标对象再次运动至拍摄场景内时，电子设备以目标对象为对焦对象，更新拍摄预览图像。

步骤402、在目标对象移动至拍摄场景外的时间大于预设时间的情况下，电子设备以第三对象为对焦对象，更新拍摄预览图像，第三对象为拍摄预览图像中的拍摄对象。

需要说明的是，电子设备重新确定对焦对象并更新拍摄预览图像的方法，可以参见上述实施例中的步骤202及其相关方案，在此不再赘述。

本申请实施例中，电子设备可以判断目标对象移动至拍摄场景外的时间长度，以确定再次执行图像处理的对象，从而使得在运动模式下，电子设备能够根据目标对象的移动情况，更新拍摄预览图像，以实时适应拍摄场景中的构图的变化情况，从而提升电子设备在AR拍摄场景中的图像拍摄效果。

需要说明的是，本申请实施例提供的图像采集方法，执行主体可以为图像采集装置，或者电子设备，或者还可以为电子设备中的功能模块或实体。本申请实施例中以图像采集装置执行图像采集方法为例，说明本申请实施例提供的图像采集装置。

图11示出了本申请实施例中涉及的图像处理装置的一种可能的结构示意图。如图11所示，该图像处理装置70可以包括：显示模块71和更新模块72。

其中，显示模块71，用于显示拍摄预览图像，拍摄预览图像包括第一对象和第二对象，第一对象为虚拟拍摄对象，第二对象为拍摄预览图像对应的拍摄场景中的对象。更新模块72，用于以目标对象为对焦对象，更新拍摄预览图像。其中，目标对象包括以下其中之一：第一对象、第二对象。

在一种可能的实现方式中，上述更新模块72，具体用于在第二对象中不包括预设拍摄主体的情况下，以第一对象为对焦对象，更新拍摄预览图像；或者，在第二对象中包括至少一个预设拍摄主体的情况下，在至少一个预设拍摄主体和第一对象中确定目标对象，以目标对象为对焦对象，更新拍摄预览图像。

在一种可能的实现方式中，上述更新模块72，具体用于获取第一对象在预览图像中的第一特征权重和至少一个预设拍摄主体在预览图像中的至少一个第二特征权重；并在第一特征权重和至少一个第二特征权重中确定目标特征权重，目标权重不小于第一特征权重和至少一个第二特征权重；以及将目标特征权重对应的拍摄对象确定为目标对象；其中，特征权重用于指示拍摄对象在预览图像中拍摄显著性。

在一种可能的实现方式中，上述目标对象为第一对象；上述更新模块72，具体用于在第一对象移动的情况下，对第一对象进行运动追焦，并更新拍摄预览图像。

在一种可能的实现方式中，上述目标对象为第一对象，第一对象包括第一虚拟对象和第二虚拟对象；上述更新模块72，具体用于在第一虚拟对象的特征权重大于第二虚拟对象的特征权重的情况下，对第一虚拟对象进行运动追焦，并更新拍摄预览图像；其中，特征权重用于指示拍摄对象在预览图像中拍摄显著性。

在一种可能的实现方式中，上述更新模块72，具体用于以目标对象为对焦对象，对拍摄预览图像执行图像处理，得到处理后的拍摄预览图像。

在一种可能的实现方式中，上述更新模块72，具体用于根据目标对象的空间位置信息以目标对象为对焦对象，对拍摄预览图像进行第一图像处理，得到处理后的拍摄预览图像。

在一种可能的实现方式中，上述更新模块72，具体用于在目标对象移动的情况下，根据目标对象在拍摄场景中的特征信息和拍摄预览图像中拍摄对象的特征信息，确定目标对象的平面位置；并根据目标对象的平面位置和第一距离信息，以目标对象为对焦对象，对拍摄预览图像进行第二图像处理，得到处理后的拍摄预览图像，第一距离信息为目标对象对应的空间位置与摄像头之间的距离。

在一种可能的实现方式中，上述更新模块72，还用于在以目标对象为对焦对象，更新所述拍摄预览图像之后，在目标对象移动至拍摄场景外的时间小于或等于预设时间的情况下，在目标对象再次运动至拍摄场景内时，以目标对象为对焦对象，更新拍摄预览图像；或者，在目标对象移动至拍摄场景外的时间大于预设时间的情况下，以第三对象为对焦对象，更新拍摄预览图像，第三对象为拍摄预览图像中的拍摄对象。

本申请实施例提供一种图像处理装置，在拍摄场景中加入第一对象之后，图像处理装置可以根据第一对象和预设拍摄主体选择拍摄场景中的对焦主体，以重新触发对焦和虚化策略，生成更佳的拍照或视频效果，即在加入第一对象使得构图发生变化后，图像处理装置会根据当前的构图情况执行重新对焦和虚化操作，以保证重新对焦和虚化操作后的图像能够满足当前场景的拍摄需求，提升了整体图像的对焦或虚化效果，从而提升了图像处理装置在AR拍摄场景中拍摄得到的图像的效果。

本申请实施例中的图像处理装置可以是装置，也可以是电子设备中的部件、集成电路、或芯片。该装置可以是移动电子设备，也可以为非移动电子设备。示例性的，移动电子设备可以为手机、平板电脑、笔记本电脑、掌上电脑、车载电子设备、移动上网装置(MobileInternet Device，MID)、增强现实(augmented reality，AR)/虚拟现实(virtual reality，VR)设备、机器人、可穿戴设备、超级移动个人计算机(ultra-mobile personal computer，UMPC)、上网本或者个人数字助理(personal digital assistant，PDA)等，还可以为服务器、网络附属存储器(Network Attached Storage，NAS)、个人计算机(personal computer，PC)、电视机(television，TV)、柜员机或者自助机等，本申请实施例不作具体限定。

本申请实施例中的图像处理装置可以为具有操作***的装置。该操作***可以为安卓(Android)操作***，可以为ios操作***，还可以为其他可能的操作***，本申请实施例不作具体限定。

本申请实施例提供的图像处理装置能够实现上述方法实施例实现的各个过程，为避免重复，这里不再赘述。

可选地，如图12所示，本申请实施例还提供一种电子设备90，包括处理器91和存储器92，存储器92上存储有可在所述处理器91上运行的程序或指令，该程序或指令被处理器91执行时实现上述图像处理方法实施例的各个步骤，且能达到相同的技术效果，为避免重复，这里不再赘述。

需要说明的是，本申请实施例中的电子设备包括上述所述的移动电子设备和非移动电子设备。

图13为实现本申请实施例的一种电子设备的硬件结构示意图。

该电子设备100包括但不限于：射频单元101、网络模块102、音频输出单元103、输入单元104、传感器105、显示单元106、用户输入单元107、接口单元108、存储器109、以及处理器110等部件。

本领域技术人员可以理解，电子设备100还可以包括给各个部件供电的电源(比如电池)，电源可以通过电源管理***与处理器110逻辑相连，从而通过电源管理***实现管理充电、放电、以及功耗管理等功能。图13中示出的电子设备结构并不构成对电子设备的限定，电子设备可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置，在此不再赘述。

显示单元106，用于显示拍摄预览图像，拍摄预览图像包括第一对象和第二对象，第一对象为虚拟拍摄对象，第二对象为拍摄预览图像对应的拍摄场景中的对象。

处理器110，用于以目标对象为对焦对象，更新拍摄预览图像。

本申请实施例提供的一种电子设备，在拍摄场景中加入第一对象之后，电子设备可以根据第一对象和预设拍摄主体选择拍摄场景中的对焦主体，以重新触发对焦和虚化策略，生成更佳的拍照或视频效果，即在加入第一对象使得构图发生变化后，电子设备会根据当前的构图情况执行重新对焦和虚化操作，以保证重新对焦和虚化操作后的图像能够满足当前场景的拍摄需求，提升了整体图像的对焦或虚化效果，从而提升了电子设备在AR拍摄场景中拍摄得到的图像的效果。

可选地，处理器110，具体用于在第二对象中不包括预设拍摄主体的情况下，以第一对象为对焦对象，更新拍摄预览图像；或者，在第二对象中包括至少一个预设拍摄主体的情况下，在至少一个预设拍摄主体和第一对象中确定目标对象，以目标对象为对焦对象，更新拍摄预览图像。

可选地，处理器110，具体用于获取第一对象在预览图像中的第一特征权重和至少一个预设拍摄主体在预览图像中的至少一个第二特征权重；并在第一特征权重和至少一个第二特征权重中确定目标特征权重，目标权重不小于第一特征权重和至少一个第二特征权重；以及将目标特征权重对应的拍摄对象确定为目标对象；其中，特征权重用于指示拍摄对象在预览图像中拍摄显著性。

可选地，上述目标对象为第一对象。处理器110，具体用于在第一对象移动的情况下，对第一对象进行运动追焦，并更新拍摄预览图像。

可选地，上述目标对象为第一对象，第一对象包括第一虚拟对象和第二虚拟对象。处理器110，具体用于在第一虚拟对象的特征权重大于第二虚拟对象的特征权重的情况下，对第一虚拟对象进行运动追焦，并更新拍摄预览图像；其中，特征权重用于指示拍摄对象在预览图像中拍摄显著性。

可选地，处理器110，具体用于以目标对象为对焦对象，对拍摄预览图像执行图像处理，得到处理后的拍摄预览图像。

可选地，处理器110，具体用于根据目标对象的空间位置信息以目标对象为对焦对象，对拍摄预览图像进行第一图像处理，得到处理后的拍摄预览图像。

可选地，处理器110，具体用于在目标对象移动的情况下，根据目标对象在拍摄场景中的特征信息和拍摄预览图像中拍摄对象的特征信息，确定目标对象的平面位置；并根据目标对象的平面位置和第一距离信息，以目标对象为对焦对象，对拍摄预览图像进行第二图像处理，得到处理后的拍摄预览图像，第一距离信息为目标对象对应的空间位置与摄像头之间的距离。

可选地，处理器110，还用于在以目标对象为对焦对象，更新所述拍摄预览图像之后，在目标对象移动至拍摄场景外的时间小于或等于预设时间的情况下，在目标对象再次运动至拍摄场景内时，以目标对象为对焦对象，更新拍摄预览图像；或者，在目标对象移动至拍摄场景外的时间大于预设时间的情况下，以第三对象为对焦对象，更新拍摄预览图像，第三对象为拍摄预览图像中的拍摄对象。

本申请实施例提供的电子设备能够实现上述方法实施例实现的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。

本实施例中各种实现方式具有的有益效果具体可以参见上述方法实施例中相应实现方式所具有的有益效果，为避免重复，此处不再赘述。

应理解的是，本申请实施例中，输入单元104可以包括图形处理器(GraphicsProcessing Unit，GPU)1041和麦克风1042，图形处理器1041对在视频捕获模式或图像捕获模式中由图像捕获装置(如摄像头)获得的静态图片或视频的图像数据进行处理。显示单元106可包括显示面板1061，可以采用液晶显示器、有机发光二极管等形式来配置显示面板1061。用户输入单元107包括触控面板1071以及其他输入设备1072中的至少一种。触控面板1071，也称为触摸屏。触控面板1071可包括触摸检测装置和触摸控制器两个部分。其他输入设备1072可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆，在此不再赘述。

存储器109可用于存储软件程序以及各种数据。存储器109可主要包括存储程序或指令的第一存储区和存储数据的第二存储区，其中，第一存储区可存储操作***、至少一个功能所需的应用程序或指令(比如声音播放功能、图像播放功能等)等。此外，存储器109可以包括易失性存储器或非易失性存储器，或者，存储器109可以包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(Read-Only Memory，ROM)、可编程只读存储器(Programmable ROM，PROM)、可擦除可编程只读存储器(Erasable PROM，EPROM)、电可擦除可编程只读存储器(Electrically EPROM，EEPROM)或闪存。易失性存储器可以是随机存取存储器(Random Access Memory，RAM)，静态随机存取存储器(Static RAM，SRAM)、动态随机存取存储器(Dynamic RAM，DRAM)、同步动态随机存取存储器(Synchronous DRAM，SDRAM)、双倍数据速率同步动态随机存取存储器(Double Data Rate SDRAM，DDRSDRAM)、增强型同步动态随机存取存储器(Enhanced SDRAM，ESDRAM)、同步连接动态随机存取存储器(Synch link DRAM，SLDRAM)和直接内存总线随机存取存储器(Direct Rambus RAM，DRRAM)。本申请实施例中的存储器109包括但不限于这些和任意其它适合类型的存储器。

处理器110可包括一个或多个处理单元；可选的，处理器110集成应用处理器和调制解调处理器，其中，应用处理器主要处理涉及操作***、用户界面和应用程序等的操作，调制解调处理器主要处理无线通信信号，如基带处理器。可以理解的是，上述调制解调处理器也可以不集成到处理器110中。

本申请实施例还提供一种可读存储介质，所述可读存储介质上存储有程序或指令，该程序或指令被处理器执行时实现上述方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。

其中，所述处理器为上述实施例中所述的电子设备中的处理器。所述可读存储介质，包括计算机可读存储介质，如计算机只读存储器ROM、随机存取存储器RAM、磁碟或者光盘等。

本申请实施例另提供了一种芯片，所述芯片包括处理器和通信接口，所述通信接口和所述处理器耦合，所述处理器用于运行程序或指令，实现上述方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。

应理解，本申请实施例提到的芯片还可以称为***级芯片、***芯片、芯片***或片上***芯片等。

本申请实施例提供一种计算机程序产品，该程序产品被存储在存储介质中，该程序产品被至少一个处理器执行以实现如上述图像处理方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。此外，需要指出的是，本申请实施方式中的方法和装置的范围不限按示出或讨论的顺序来执行功能，还可包括根据所涉及的功能按基本同时的方式或按相反的顺序来执行功能，例如，可以按不同于所描述的次序来执行所描述的方法，并且还可以添加、省去、或组合各种步骤。另外，参照某些示例所描述的特征可在其他示例中被组合。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以计算机软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端(可以是手机，计算机，服务器，或者网络设备等)执行本申请各个实施例所述的方法。

上面结合附图对本申请的实施例进行了描述，但是本申请并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本申请的启示下，在不脱离本申请宗旨和权利要求所保护的范围情况下，还可做出很多形式，均属于本申请的保护之内。

Claims (12)

1.一种图像处理方法，其特征在于，所述方法包括：

显示拍摄预览图像，所述拍摄预览图像包括第一对象和第二对象，所述第一对象为虚拟拍摄对象，所述第二对象为所述拍摄预览图像对应的拍摄场景中的对象；

以目标对象为对焦对象，更新所述拍摄预览图像；

其中，所述目标对象包括以下其中之一：所述第一对象、所述第二对象。

2.根据权利要求1所述的方法，其特征在于，所述以目标对象为对焦对象，更新所述拍摄预览图像，包括：

在所述第二对象中不包括预设拍摄主体的情况下，以所述第一对象为对焦对象，更新所述拍摄预览图像；

在所述第二对象中包括至少一个预设拍摄主体的情况下，在所述至少一个预设拍摄主体和所述第一对象中确定目标对象，以所述目标对象为对焦对象，更新所述拍摄预览图像。

3.根据权利要求2所述的方法，其特征在于，所述在所述至少一个预设拍摄主体和所述第二对象中确定目标对象，包括：

获取所述第一对象在所述预览图像中的第一特征权重和所述至少一个预设拍摄主体在所述预览图像中的至少一个第二特征权重；

在所述第一特征权重和所述至少一个第二特征权重中确定目标特征权重，所述目标权重不小于所述第一特征权重和所述至少一个第二特征权重；

将所述目标特征权重对应的拍摄对象确定为目标对象；

其中，所述特征权重用于指示拍摄对象在预览图像中拍摄显著性。

4.根据权利要求1所述的方法，其特征在于，所述目标对象为所述第一对象，所述以目标对象为对焦对象，更新所述拍摄预览图像，包括：

在所述第一对象移动的情况下，对所述第一对象进行运动追焦，并更新所述拍摄预览图像。

5.根据权利要求1所述的方法，其特征在于，所述目标对象为所述第一对象，所述第一对象包括第一虚拟对象和第二虚拟对象，所述以目标对象为对焦对象，更新所述拍摄预览图像包括：

在所述第一虚拟对象的特征权重大于所述第二虚拟对象的特征权重的情况下，对所述第一虚拟对象进行运动追焦，并更新所述拍摄预览图像；

其中，所述特征权重用于指示拍摄对象在预览图像中拍摄显著性。

6.根据权利要求1至5中任一项所述的方法，其特征在于，所述以目标对象为对焦对象，更新所述拍摄预览图像，包括：

以所述目标对象为对焦对象，对所述拍摄预览图像执行图像处理，得到处理后的所述拍摄预览图像。

7.根据权利要求6所述的方法，其特征在于，所述以所述目标对象为对焦对象，对所述拍摄预览图像执行图像处理，得到处理后的所述拍摄预览图像，包括：

根据所述目标对象的空间位置信息以所述目标对象为对焦对象，对所述拍摄预览图像进行第一图像处理，得到处理后的所述拍摄预览图像。

8.根据权利要求6所述的方法，其特征在于，所述以所述目标对象为对焦对象，对所述拍摄预览图像执行图像处理，得到处理后的所述拍摄预览图像，包括：

在所述目标对象移动的情况下，根据所述目标对象在所述拍摄场景中的特征信息和所述拍摄预览图像中拍摄对象的特征信息，确定所述目标对象的平面位置；

根据所述目标对象的平面位置和第一距离信息，以所述目标对象为对焦对象，对所述拍摄预览图像进行第二图像处理，得到处理后的所述拍摄预览图像，所述第一距离信息为所述目标对象对应的空间位置与摄像头之间的距离。

9.根据权利要求1所述的方法，其特征在于，所述以目标对象为对焦对象，更新所述拍摄预览图像之后，所述方法还包括：

在所述目标对象移动至所述拍摄场景外的时间小于或等于预设时间的情况下，在所述目标对象再次运动至所述拍摄场景内时，以所述目标对象为对焦对象，更新所述拍摄预览图像；

在所述目标对象移动至所述拍摄场景外的时间大于预设时间的情况下，以第三对象为对焦对象，更新所述拍摄预览图像，所述第三对象为所述拍摄预览图像中的拍摄对象。

10.一种图像处理装置，其特征在于，所述装置包括：显示模块和更新模块；

所述显示模块，用于显示拍摄预览图像，所述拍摄预览图像包括第一对象和第二对象，所述第一对象为虚拟拍摄对象，所述第二对象为所述拍摄预览图像对应的拍摄场景中的对象；

所述更新模块，用于以目标对象为对焦对象，更新所述拍摄预览图像；

其中，所述目标对象包括以下其中之一：所述第一对象、所述第二对象。

11.一种电子设备，其特征在于，包括处理器，存储器及存储在所述存储器上并可在所述处理器上运行的程序或指令，所述程序或指令被所述处理器执行时实现如权利要求1至9中任一项所述的图像处理方法的步骤。

12.一种可读存储介质，其特征在于，所述可读存储介质上存储程序或指令，所述程序或指令被处理器执行时实现如权利要求1至9中任一项所述的图像处理方法的步骤。

Images