CN107274463A - 图像处理方法及装置、电子设备 - Google Patents

Abstract

本申请实施例提供的一种图像处理方法及装置，所述方法包括：识别摄像头捕捉到的第一图像中的目标物体；判断所述第一图像中是否需要添加虚拟物品；在所述第一图像中需要添加虚拟物品的情况下，从特征库中匹配该目标物体对应的虚拟物品；其中，所述特征库中存储有物体与虚拟物品之间的对应关系；基于增强现实技术，将所匹配到的虚拟物品添加到所述摄像头捕捉到的第一图像中。应用本实施例，可以实现自动添加符合当前图像的虚拟物品，丰富图像内容，提升趣味性。

Description

图像处理方法及装置、电子设备

技术领域

本申请实施例涉及图像处理技术领域，尤其涉及一种图像处理方法及装置、电子设备。

背景技术

随着图像处理技术的不断发展，特别是利用增强现实技术可以在动态图像中添加虚拟物品从而达到美化图像的目的。

例如，一些自拍APP中，支持用户选择一些可爱、有趣的水印图像添加到摄像头捕捉到的图像中。

然而，通常需要用户主动选择需要添加的虚拟物品，无法实现自动地添加适合当前图像的虚拟物品。

发明内容

本申请实施例通过提供的一种图像处理方法及装置、电子设备，以解决现有技术中无法实现自动添加适合当前图像的虚拟物品的问题。

根据本申请实施例的第一方面，提出一种图像处理方法，所述方法包括：

识别摄像头捕捉到的第一图像中的目标物体；

判断所述第一图像中是否需要添加虚拟物品；

在所述第一图像中需要添加虚拟物品的情况下，从特征库中匹配该目标物体对应的虚拟物品；其中，所述特征库中存储有物体与虚拟物品之间的对应关系；

基于增强现实技术，将所匹配到的虚拟物品添加到所述摄像头捕捉到的第一图像中。

优选地，所述判断所述第一图像中是否需要添加虚拟物品，具体包括：

计算得到所述第一图像的充盈度；

判断所述充盈度是否超过阈值；

在所述充盈度未超过阈值的情况下，确定所述第一图像中需要添加虚拟物品。

优选地，所述计算得到所述第一图像的充盈度，具体包括：

计算所述第一图像的第一面积；

计算所述第一图像中目标物体的第二面积；

计算所述第二面积与所述第一面积的比值；

将所述比值确定为所述第一图像的充盈度。

优选地，所述阈值通过如下方式确定：

获取所述特征库中目标物体和对应的标准虚拟物品的构图方式；

获取符合所述构图方式并且具有目标物体和对应的标准虚拟物品的第二图像；

计算所述第二图像的第三面积；

计算所述第二图像中目标物体的第四面积；

计算所述第四面积与所述第三面积的比值；

将所述第四面积与所述第三面积的比值确定为阈值。

优选地，所述基于增强现实技术，将所匹配到的虚拟物品添加到所述摄像头捕捉到的第一图像中，具体包括：

获取所述特征库中该目标物体和对应的虚拟物品的构图方式；

根据所述构图方式确定所述虚拟物品将要添加在所述摄像头捕捉到的第一图像中的位置；

基于增强现实技术，将所述虚拟物品添加到所述摄像头捕捉到的第一图像中的所述位置。

优选地，根据所述构图方式确定所述虚拟物品将要添加在所述摄像头捕捉到的第一图像中的位置，具体包括：

获取符合所述构图方式并且具有目标物体和对应的标准虚拟物品的第二图像；

根据所述第二图像中目标物体与标准虚拟物品的位置关系，确定所述虚拟物品将要添加在所述摄像头捕捉到的第一图像中的位置。

优选地，所添加的虚拟物品的数量通过如下方式确定：

计算得到所确定位置的空闲区域大小；

根据所述空闲区域大小以及所述虚拟物品的大小，确定所述虚拟物品的数量。

优选地，所述方法还包括：

计算所述摄像头拍摄角度变化程度；

从建立所述虚拟物品的增强现实模型中，获取该拍摄角度下的虚拟物品；

调整所添加的虚拟物品为该拍摄角度下的虚拟物品。

优选地，所述方法还包括：

计算所述摄像头捕捉到的第一图像中的目标物体大小的变化程度；

根据该变化程度调整所述虚拟物品的大小。

根据本申请实施例的第二方面，提出一种图像处理方法，所述方法包括：

识别客户端上传的第一图像中的目标物体；

判断所述第一图像中是否需要添加虚拟物品；

在所述第一图像中需要添加虚拟物品的情况下，从预先构建的特征库中匹配该目标物体对应的虚拟物品；其中，所述特征库中存储有物体与虚拟物品之间的对应关系；

将所匹配到的虚拟物品发送给所述客户端。

优选地，所述判断所述第一图像中是否需要添加虚拟物品，具体包括：

计算得到所述第一图像的充盈度；

判断所述充盈度是否超过阈值；

在所述充盈度超过未阈值的情况下，确定所述第一图像中需要添加虚拟物品。

优选地，所述计算得到所述图像的充盈度，具体包括：

计算所述第一图像的第一面积；

计算所述第一图像中物体的第二面积；

计算所述第二面积与所述第一面积的比值；

将所述比值确定为所述第一图像的充盈度。

优选地，所述阈值通过如下方式确定：

获取所述特征库中目标物体和对应的标准虚拟物品的构图方式；

获取符合所述构图方式并且具有目标物体和对应的标准虚拟物品的第二图像；

计算所述第二图像的第三面积；

计算所述第二图像中目标物体的第四面积；

计算所述第四面积与所述第三面积的比值；

将所述第四面积与所述第三面积的比值确定为阈值。

优选地，所述从预先构建的特征库中匹配该物体对应的虚拟物品之后，所述方法还包括：

获取所述特征库中该目标物体和对应的虚拟物品的构图方式；

根据所述构图方式确定所述虚拟物品将要添加在所述第一图像中的位置；

所述将所匹配到的虚拟物品发送给所述客户端，具体包括：

将所匹配到的虚拟物品以及所确定的所述虚拟物品将要添加在所述第一图像中的位置发送给所述客户端。

优选地，所述根据所述构图方式确定所述虚拟物品将要添加在所述第一图像中的位置，具体包括：

获取符合所述构图方式并且具有目标物体和对应的标准虚拟物品的第二图像；

根据所述第二图像中目标物体与标准虚拟物品的位置关系，确定所述虚拟物品将要添加在所述摄像头捕捉到的第一图像中的位置。

优选地，所添加的虚拟物品的数量通过如下方式确定：

计算得到所确定位置的空闲区域大小；

根据所述空闲区域大小以及所述虚拟物品的大小，确定所述虚拟物品的数量。

优选地，所述将所匹配到的虚拟物品发送给所述客户端，具体包括：

将所匹配到的虚拟物品的标识发送给所述客户端。

根据本申请实施例的第三方面，提出一种图像处理装置，所述装置包括：

识别单元，识别摄像头捕捉到的第一图像中的目标物体；

判断单元，判断所述第一图像中是否需要添加虚拟物品；

匹配单元，在所述第一图像中需要添加虚拟物品的情况下，从特征库中匹配该目标物体对应的虚拟物品；其中，所述特征库中存储有物体与虚拟物品之间的对应关系；

处理单元，基于增强现实技术，将所匹配到的虚拟物品添加到所述摄像头捕捉到的第一图像中。

根据本申请实施例的第四方面，提出一种图像处理装置，所述装置包括：

识别单元，识别客户端上传的第一图像中的目标物体；

判断单元，判断所述第一图像中是否需要添加虚拟物品；

匹配单元，在所述第一图像中需要添加虚拟物品的情况下，从预先构建的特征库中匹配该目标物体对应的虚拟物品；其中，所述特征库中存储有物体与虚拟物品之间的对应关系；

发送单元，将所匹配到的虚拟物品发送给所述客户端。

根据本申请实施例的第五方面，提出一种电子设备，包括：

处理器；

用于存储处理器可执行指令的存储器；

其中，所述处理器被配置为：

识别摄像头捕捉到的第一图像中的目标物体；

判断所述第一图像中是否需要添加虚拟物品；在所述第一图像中需要添加虚拟物品的情况下，从特征库中匹配该目标物体对应的虚拟物品；其中，所述特征库中存储有物体与虚拟物品之间的对应关系；

基于增强现实技术，将所匹配到的虚拟物品添加到所述摄像头捕捉到的第一图像中。

根据本申请实施例的第六方面，提出一种电子设备，包括：

处理器；

用于存储处理器可执行指令的存储器；

其中，所述处理器被配置为：

识别客户端上传的第一图像中的目标物体；

判断所述第一图像中是否需要添加虚拟物品；

在所述第一图像中需要添加虚拟物品的情况下，从预先构建的特征库中匹配该目标物体对应的虚拟物品；其中，所述特征库中存储有物体与虚拟物品之间的对应关系；

将所匹配到的虚拟物品发送给所述客户端。

本申请实施例中，利用图像识别技术识别摄像头捕捉到的第一图像中的目标物体，并根据该目标物体匹配到对应的虚拟物品，最后基于增强现实技术，将所匹配到的虚拟物品添加到所述摄像头捕捉到的第一图像中。如此，可以自动地在动态图像中添加适合当前图像的虚拟物品，从而丰富图像内容，提升趣味性。

附图说明

图1是本申请一实施例提供的一种图像处理方法的示意流程图；

图2是图1中步骤130具体流程图；

图3是本申请一实施例提供的一种图像处理前后的示意图；

图4是本申请一实施例提供的一种图像处理前后的示意图；

图5是本申请一实施例提供的一种以客户端为执行主体的图像处理方法的示意流程图；

图6是本申请一实施例提供的一种以服务端为执行主体的图像处理方法的示意流程图；

图7是本申请一实施例提供的一种图像处理方法的示意流程图。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。

在本申请实施例中使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请。在本申请和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。

应当理解，尽管在本申请可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本申请范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。

为了解决前述问题，请参见图1，为本申请一实施例提供的一种图像处理方法的示意流程图，所述方法包括以下步骤：

步骤110：客户端截取摄像头捕捉到的第一图像并将该第一图像上传至服务端。

步骤120：所述服务端识别所述客户端上传的第一图像中的目标物体。

本实施例中，识别第一图像中目标物体，可以是基于图像识别算法。

具体地，所述图像识别算法可以是尺度不变特征变换算法(Scale InvariantFeature Transform，SIFT)，当然所述图像识别算法还可以是其它例如SURF(Speeded UpRobust Features)、ORB(ORiented Brief)、LIOP(Local Intensity Order Pattern)等，本申请并不对其加以限定，只要是可以识别出第一图像中目标物体的算法即可。

步骤130：所述服务端判断所述第一图像中是否需要添加虚拟物品。

在实际应该过程中，还可能需要考虑是否需要在第一图像中添加虚拟物品的情况下，例如第一图像中内容已经非常丰富，无需添加多余的虚拟物品来丰富内容。

本实施例中，所述服务端判断所述第一图像中是否需要添加虚拟物品，如图2所示，具体可以包括：

步骤131：所述服务端计算得到所述第一图像的充盈度；

步骤132：所述服务端判断所述充盈度是否超过阈值；

步骤133：所述服务端在所述充盈度未超过阈值的情况下，确定所述第一图像中需要添加虚拟物品。

具体地，所述计算得到所述第一图像的充盈度，可以包括：

计算所述第一图像的第一面积；

计算所述第一图像中目标物体的第二面积；

计算所述第二面积与所述第一面积的比值；

将所述比值确定为所述第一图像的充盈度。

举例说明，假设第一图像的第一面积(可以通过第一图像的长、宽计算得到)为100；而第一图像中目标物体的第二面积(可以利用图像识别算法计算得到)为30；则可以确定所述第一图像的充盈度为30/100＝0.3。

所述阈值可以是人为预先设置的一个经验值。

在另种实现方式中，所述阈值还可以是自适应，具体可以通过如下方式确定：

获取所述特征库中目标物体和对应的标准虚拟物品的构图方式；

获取符合所述构图方式并且具有目标物体和对应的标准虚拟物品的第二图像；

计算所述第二图像的第三面积；

计算所述第二图像中目标物体的第四面积；

计算所述第四面积与所述第三面积的比值；

将所述第四面积与所述第三面积的比值确定为阈值。

该实施例中，通过参考与第一图像类似(具有相同目标物体、添加相同虚拟物品、相同构图方式)的第二图像，将计算得到的该第二图像的比值确定为阈值。

举例说明，假设第一图像的目标物体为“刀”，虚拟物品为“叉”，并且构图方式为左右构图；则，阈值的计算过程：

获取同样是左右构图，并且具有目标物体“刀”和标准虚拟物品“叉”的第二图像；所述标准虚拟物品与第一图像需要添加的虚拟物品可以不是同一个虚拟物品，例如同为“叉”时，但大小、角度、形状等可能不同。

计算得出第二图像的第三面积、第二图像中目标物体“刀”的第四面积；

将第四面积与第三面积的比值确定为阈值。

通过上述方式确定的阈值，对不同图像都可能是不同的，并且是最为合适的。

如果第一图像的充盈度超过阈值，则说明该第一图像内容较为丰富，不适合再添加虚拟物品。

如果第一图像的充盈度未超过阈值，则说明该第一图像内容比较少，可以添加虚拟物品，即可以执行后续步骤140。

步骤140：在所述第一图像中需要添加虚拟物品的情况下，所述服务端从预先构建的特征库中匹配该目标物体对应的虚拟物品；其中，所述特征库中存储有物体与虚拟物品之间的对应关系。

本实施例中，所述特征库中物体和虚拟物品之间的对应关系可以是预先通过机器学习构建的。例如通过采集大量图像，识别图像中不同物体，从而图像中物体与虚拟物品之间的对应关系；并通过机器学习技术不断提升算法的准确性，即不断提升物体与虚拟物品之间最佳的对应关系。

例如，当识别出图像中存在桌子以及杯子时，就可以获取桌子和杯子之间的对应关系，之后通过机器学习，随着桌子和杯子同时出现的图像越来越多，从而使得桌子和杯子之间的对应关系越来越强，最终形成最佳的对应关系。

步骤150：所述服务端将匹配到的虚拟物品发送给所述客户端。

步骤160：所述客户端基于增强现实技术，将所述服务端发送的虚拟物品添加到所述摄像头捕捉到的第一图像中。

如图3所示，在服务端识别出第一图像中存在桌子，进而根据特征库就可以匹配到桌子对应的是杯子后，可以将杯子发送给客户端；客户端最后基于AR技术，将杯子添加到摄像头捕捉到的动态图像中。

当然，在实际应用时，特征库中可能存在多种不同的虚拟物品，因此，桌子上会更为为丰富，例如盘子、刀叉、桌布、调料瓶等。

需要说明的是，本实施例中的虚拟物品可以是真实物体的三维图像，如此可以提高添加虚拟物品后图像的逼真程度。

通过本实施例，利用图像识别技术识别摄像头捕捉到的第一图像中的目标物体，并根据该目标物体匹配到对应的虚拟物品，最后基于增强现实技术AR，将所匹配到的虚拟物品添加到所述摄像头捕捉到的第一图像中。如此，可以自动地在动态图像中添加适合当前图像的虚拟物品，从而丰富图像内容，提升趣味性。

实施例二：

在实际应用中，还需要考虑所添加的虚拟物品应该添加到第一图像的什么位置的问题，为了解决该问题，在图1所示实施例的基础上，在所述步骤140之后，所述方法还可以包括：

所述服务端获取所述特征库中该目标物体和对应的虚拟物品的构图方式；

所述服务端根据所述构图方式确定所述虚拟物品将要添加在所述第一图像中的位置；

相应地，所述步骤150，具体包括：

所述服务端将所匹配到的虚拟物品以及所确定的位置发送给所述客户端。

所述步骤160，具体包括：

所述客户端接收所述服务端发送的虚拟物品以及该虚拟物品将要添加在所述第一图像中的位置；

所述客户端基于增强现实技术，将所述虚拟物品添加到所述摄像头捕捉到的第一图像中的所述位置。

本实施例中，所述构图方式包括如三分构图法、对称构图法、对角线构图法等。

所述特征库中物体和对应的虚拟物品的构图方式也是预先通过机器学习算法构建。

例如，机器学习过程中，识别出杯子和瓶子总是呈现对称的方式出现，符合对称构图法，因此，可以不仅可以得到杯子和瓶子之间的对应关系，而且还可以得到杯子和瓶子对应的构图方式为对称构图法。

如图4所示，客户端上传的图像中存在杯子，假设服务端识别出杯子，并且匹配到该杯子对应的虚拟物品为瓶子，而且构图方式为对称构图法；则根据对称构图法，可以确定瓶子将要添加在所述第一图像中与杯子对称的位置。

需要说明的是，由于不同的构图方式，所要表达的图像效果不尽相同；例如有的构图方式为了确保图像效果，需要留下较多空白的区域(以下称为留白)。同样为了解决是否需要在第一图像中添加虚拟物品的问题，在另一种显示方式中，可以结合构图方式，即在所述服务端获取所述特征库中该目标物体和对应的虚拟物品的构图方式之后，执行所述服务端判断所述第一图像中是否需要添加虚拟物品的步骤；

其中，步骤132中所述阈值是根据所获取的构图方式确定的。

也就是说，根据不同的构图方式，可以预先设置不同的阈值，在步骤132之前可以获取所述构图方式对应的阈值。

举例说明，假设某一图像计算得到的充盈度为50％，而所获取的构图方式对应的阈值为60％，则由于充盈度50％没有超过阈值60％，因此，可以在该图像中添加虚拟物品；

同样是该图像，如果所获取的是另一种构图方式，对应的阈值变为了40％，则由于充盈度50％超过了阈值40％，因此，无需在该图像中添加虚拟物品。

本实施例中，通过结合具体的构图方式来判断图像是否需要添加虚拟物品，从而使得判断更为准确，进而使得添加虚拟物品的图像效果更为真实、更为美观。而实施例二中所述的阈值是人为预先设置的经验值，是一个统一的值，每一次判断时都采用该值，缺乏灵活性。

在另一种实现方式中：

所述根据所述构图方式确定所述虚拟物品将要添加在所述第一图像中的位置，具体可以包括：

获取符合所述构图方式并且具有目标物体和对应的标准虚拟物品的第二图像；

根据所述第二图像中目标物体与标准虚拟物品的位置关系，确定所述虚拟物品将要添加在所述摄像头捕捉到的第一图像中的位置。

该实施例中，每一种构图方式都可以对应有一个图像库。在图像库中存储有若干的第二图像。

如此，在获取所述特征库中目标物体和对应的虚拟物品的构图方式之后，还可以从该构图方式对应的图像库中获取同样具有目标物体和对应的标准虚拟物品的第二图像。然后，可以根据所述第二图像中目标物体与标准虚拟物品的位置关系，确定所述虚拟物品将要添加在所述摄像头捕捉到的第一图像中的位置。值得一提的是，通过本申请实现在图像中添加虚拟物品后，还可以将添加了虚拟物品的第一图像存储到对应的图像库中，从而逐渐丰富、完善图像库，从而使得以后添加的虚拟物品越来越符合当前图像。

实施例三：

在实际应用中，还需要考虑所添加的虚拟物品的数量；因此，在所述实施例二的基础上，所添加的虚拟物品的数量通过如下方式确定：

所述服务端计算得到所确定位置的空闲区域大小；

所述服务端根据所述空闲区域大小以及所述虚拟物品的大小，确定所述虚拟物品的数量。

本实施例中，通过上一实施例已经确定了虚拟物品将要添加在图像中的位置；接着，可以根据图像识别算法，计算该位置处的空闲区域大小；进而，根据空闲区域大小以及虚拟物品的大小，参考预设规则来确定需要添加的虚拟物品的数量。

预设规则例如虚拟物品所占空闲区域比例在40％-60％合适。

举例说明，假设计算得到所确定的位置的空闲区域大小为100；而虚拟物品大小为30；由于2个虚拟物品所占空闲区域比例为60％，符合预设规则；因此可以确定需要添加的虚拟物品的数量为2个。

实施例四：

在图1所示实施例的基础上，所述步骤150，具体可以包括：

所述服务端将所匹配得的虚拟物品的标识发送给所述客户端；

所述步骤160，具体可以包括：

所述客户端接收所述服务端发送的标识；

所述客户端在本地缓存的虚拟物品库中获取所述标识对应的虚拟物品；

所述客户端基于增强现实技术，将所获取的虚拟物品添加到所述摄像头捕捉到的第一图像中。

本实施例与图1所示实施例不同之处在于，服务端发送给客户端的是虚拟物品的标识，而客户端根据该标识在本地缓存的虚拟物品库中获取对应的虚拟物品，进而添加到第一图像中。如此，由于服务端仅需要发送标识，相比发送虚拟物品来说，降低了传输数据量，避免了网络延迟造成客户端迟迟无法显示需要添加的虚拟物品。

实施例五：

在图1所示实施例的基础上，所述方法还包括：

所述客户端根据所述摄像头捕捉到的第一图像的变化，调整所述虚拟物品的效果。

例如，随着摄像头拍摄角度、拍摄距离和/或拍摄光线明亮的变化，虚拟物品也会适应性的变化；从而确保图像整体逼真的效果。当然，实际应用中还会有其它一些变化，此次不一一穷举。

以下以摄像头拍摄角度为例，加以说明：

所述方法还可以包括：

计算所述摄像头拍摄角度变化程度；

从建立所述虚拟物品的增强现实模型中，获取该拍摄角度下的虚拟物品；

调整所添加的虚拟物品为该拍摄角度下的虚拟物品。

通常，虚拟物品是一种预先构建的增强现实模型，与3D模型类似，增强现实模型可以全方位的展示不同角度下的虚拟物品。

一般的，客户端可以根据例如陀螺仪、重力传感器实时检测摄像头拍摄角度的变化。例如，最开始用户使用客户端的摄像头在物体的正面进行拍摄，因此客户端添加的虚拟物品的形态也是正面的；当用户控制客户端使得摄像头移动到该物体的背面的过程中，所述图像中添加的虚拟物品的形态也是逐渐调整到背面。

以下以摄像头拍摄距离为例，加以说明：

计算所述摄像头捕捉到的第一图像中的目标物体大小的变化程度；

根据该变化程度调整所述虚拟物品的大小。

举例说明，最开始用户使用客户端的摄像头距离物体5米进行拍摄；之后逐渐远离至10米处；假设从5米远离到10米，第一图像中的目标物体大小减少了50％，则相应地，第一图像中添加的虚拟物品的大小也会减少50％。

通过本实施，第一图像中添加的虚拟物品的大小可以参考目标物体大小的变化而变化，从而确保图像整体逼真的效果。

以下结合图5介绍本申请以客户端为主体的方法实施例，该实施例可以对应图1：

步骤210：截取摄像头捕捉到的第一图像并将该图像上传至服务端；

步骤220：基于增强现实技术，将所述服务端发送的虚拟物品添加到所述摄像头捕捉到的第一图像中。

对应图1所示实施例中的实施例二，所述步骤220，具体包括：

接收所述服务端发送的虚拟物品以及该虚拟物品将要添加在所述第一图像中的位置；

基于增强现实技术，将所述虚拟物品添加到所述摄像头捕捉到的第一图像中的所述位置。

对应图1所示实施例中的实施例四，所述步骤220，具体包括：

接收所述服务端发送的标识；

在本地缓存的虚拟物品库中获取所述标识对应的虚拟物品；

基于增强现实技术，将所获取的虚拟物品添加到所述摄像头捕捉到的第一图像中。

对应图1所示实施例中的实施例五，所述方法还包括：

计算所述摄像头拍摄角度变化程度；

从建立所述虚拟物品的增强现实模型中，获取该拍摄角度下的虚拟物品；

调整所添加的虚拟物品为该拍摄角度下的虚拟物品。

依然对应图1所示实施例中的实施例五，所述方法还包括：

计算所述摄像头捕捉到的第一图像中的目标物体大小的变化程度；

根据该变化程度调整所述虚拟物品的大小。

以下结合图6介绍本申请以服务端为主体的方法实施例，该实施例可以对应图1：

步骤310：识别客户端上传的第一图像中的目标物体；

步骤320：判断所述第一图像中是否需要添加虚拟物品；

所述判断所述第一图像中是否需要添加虚拟物品，具体包括：

计算得到所述第一图像的充盈度；判断所述充盈度是否超过阈值；

在所述充盈度超过阈值的情况下，确定所述第一图像中需要添加虚拟物品。

具体地，所述计算得到所述第一图像的充盈度，可以包括：

计算所述第一图像的第一面积；

计算所述第一图像中目标物体的第二面积；

计算所述第二面积与所述第一面积的比值；

将所述比值确定为所述第一图像的充盈度。

实现方式1：

所述阈值可以是预先设定的经验值。

实现方式2：

所述阈值通过如下方式确定：

获取所述特征库中目标物体和对应的标准虚拟物品的构图方式；

获取符合所述构图方式并且具有目标物体和对应的标准虚拟物品的第二图像；

计算所述第二图像的第三面积；

计算所述第二图像中目标物体的第四面积；

计算所述第四面积与所述第三面积的比值；

将所述第四面积与所述第三面积的比值确定为阈值。

实现方式3：

所述阈值是根据所获取的构图方式确定的。

步骤330：在所述第一图像中需要添加虚拟物品的情况下，从预先构建的特征库中匹配该目标物体对应的虚拟物品；其中，所述特征库中存储有物体与虚拟物品之间的对应关系；

步骤340：将所匹配到的虚拟物品发送给所述客户端。

本实施例中，所述特征库中物体和虚拟物品之间的对应关系是预先通过机器学习构建的。

对应图1所示实施例中的实施例二，在所述步骤330之后，所述方法还包括：

获取所述特征库中该目标物体和对应的虚拟物品的构图方式；

根据所述构图方式确定所述虚拟物品将要添加在所述第一图像中的位置；

所述步骤340，具体包括：

将所匹配到的虚拟物品以及所确定的所述虚拟物品将要添加在所述第一图像中的位置发送给所述客户端。

在一种实现方式中：

所述根据所述构图方式确定所述虚拟物品将要添加在所述第一图像中的位置，具体包括：

获取符合所述构图方式并且具有目标物体和对应的标准虚拟物品的第二图像；

根据所述第二图像中目标物体与标准虚拟物品的位置关系，确定所述虚拟物品将要添加在所述摄像头捕捉到的第一图像中的位置。

对应图1所示实施例中的实施例三，所添加的虚拟物品的数量通过如下方式确定：

计算得到所确定位置的空闲区域大小；

根据所述空闲区域大小以及所述虚拟物品的大小，确定所述虚拟物品的数量。

对应图1所示实施例中的实施例四，所述将所匹配到的虚拟物品发送给所述客户端，具体包括：

将所匹配到的虚拟物品的标识发送给所述客户端。

请参见图7，为本申请一实施例提供的一种图像处理方法的示意流程图，所述方法包括以下步骤：

步骤410：识别摄像头捕捉到的第一图像中的目标物体；

步骤420：判断所述第一图像中是否需要添加虚拟物品；

在一种实现方式中，所述判断所述第一图像中是否需要添加虚拟物品，具体包括：

计算得到所述第一图像的充盈度；

判断所述充盈度是否超过预设阈值；

在所述充盈度超过预设阈值的情况下，确定所述第一图像中需要添加虚拟物品。

值得一提的是，所述阈值是根据所获取的构图方式确定的。

具体地，所述计算得到所述第一图像的充盈度，具体包括：

计算所述第一图像的第一面积；

计算所述第一图像中目标物体的第二面积；

计算所述第二面积与所述第一面积的比值；

将所述比值确定为所述第一图像的充盈度。

实现方式1：

所述阈值可以是人为预先设置的经验值。

实现方式2:

所述阈值通过如下方式确定：

获取所述特征库中目标物体和对应的标准虚拟物品的构图方式；

获取符合所述构图方式并且具有目标物体和对应的标准虚拟物品的第二图像；

计算所述第二图像的第三面积；

计算所述第二图像中目标物体的第四面积；

计算所述第四面积与所述第三面积的比值；

将所述第四面积与所述第三面积的比值确定为阈值。

实现方式3：

所述阈值是根据所获取的构图方式确定的。

步骤430：在所述第一图像中需要添加虚拟物品的情况下，从特征库中匹配该目标物体对应的虚拟物品；其中，所述特征库中存储有物体与虚拟物品之间的对应关系；

步骤440：基于增强现实技术，将所匹配到的虚拟物品添加到所述摄像头捕捉到的第一图像中。

本实施例中，所述特征库可以是由服务端下发的，该特征库中物体和虚拟物品之间的对应关系是预先通过机器学习构建的。

在一个具体地实施例中，所述步骤440，具体包括：

获取所述特征库中该目标物体和对应的虚拟物品的构图方式；

根据所述构图方式确定所述虚拟物品将要添加在所述摄像头捕捉到的第一图像中的位置；

基于增强现实技术，将所述虚拟物品添加到所述摄像头捕捉到的第一图像中的所述位置。

在一个具体地实施例中，根据所述构图方式确定所述虚拟物品将要添加在所述摄像头捕捉到的第一图像中的位置，具体包括：

获取符合所述构图方式并且具有目标物体和对应的标准虚拟物品的第二图像；

根据所述第二图像中目标物体与标准虚拟物品的位置关系，确定所述虚拟物品将要添加在所述摄像头捕捉到的第一图像中的位置。

在一个具体地实施例中，所添加的虚拟物品的数量通过如下方式确定：

计算得到所确定位置的空闲区域大小；

根据所述空闲区域大小以及所述虚拟物品的大小，确定所述虚拟物品的数量。

本实施例与上述实施例不同之处在于，本实施例中均是由客户端执行的，并不需要服务端介入。

在一个具体地实施例中，

所述方法还包括：

计算所述摄像头拍摄角度变化程度；

从建立所述虚拟物品的增强现实模型中，获取该拍摄角度下的虚拟物品；

调整所添加的虚拟物品为该拍摄角度下的虚拟物品。

在一个具体地实施例中，

所述方法还包括：

计算所述摄像头捕捉到的第一图像中的目标物体大小的变化程度；

根据该变化程度调整所述虚拟物品的大小。

与前述图7所示图像处理方法实施例相对应，本申请还提供了一种图像处理装置的实施例。所述装置实施例可以通过软件实现，也可以通过硬件或者软硬件结合的方式实现。应用于客户端，所述装置可以包括：

识别单元，识别摄像头捕捉到的第一图像中的目标物体；

判断单元，判断所述第一图像中是否需要添加虚拟物品；

匹配单元，在所述第一图像中需要添加虚拟物品的情况下，从特征库中匹配该目标物体对应的虚拟物品；其中，所述特征库中存储有物体与虚拟物品之间的对应关系；

处理单元，基于增强现实技术，将所匹配到的虚拟物品添加到所述摄像头捕捉到的第一图像中。

在一个可选的实施例中：

所述判断单元，具体包括：

计算子单元，计算得到所述第一图像的充盈度；

判断子单元，判断所述充盈度是否超过预设阈值；

确定子单元，在所述充盈度超过预设阈值的情况下，确定所述第一图像中需要添加虚拟物品。

在一个可选的实施例中：

所述计算子单元，具体包括：

第一面积计算子单元，计算所述第一图像的第一面积；

第二面积计算子单元，计算所述第一图像中目标物体的第二面积；

第一比值计算子单元，计算所述第二面积与所述第一面积的比值；

充盈度确定子单元，将所述比值确定为所述第一图像的充盈度。

在一个可选的实施例中：

所述阈值通过如下子单元确定：

构图方式获取子单元，获取所述特征库中目标物体和对应的标准虚拟物品的构图方式；

第二图像获取子单元，获取符合所述构图方式并且具有目标物体和对应的标准虚拟物品的第二图像；

第三面积计算子单元，计算所述第二图像的第三面积；

第四面积计算子单元，计算所述第二图像中目标物体的第四面积；

第二比值计算子单元，计算所述第四面积与所述第三面积的比值；

阈值确定子单元，将所述第四面积与所述第三面积的比值确定为阈值。

在一个可选的实施例中：

所述处理单元，具体包括：

获取子单元，获取所述特征库中该目标物体和对应的虚拟物品的构图方式；

确定子单元，根据所述构图方式确定所述虚拟物品将要添加在所述摄像头捕捉到的第一图像中的位置；

处理子单元，基于增强现实技术，将所述虚拟物品添加到所述摄像头捕捉到的第一图像中的所述位置。

在一个可选的实施例中：

所确定子单元，具体包括：

第二图像获取子单元，获取符合所述构图方式并且具有目标物体和对应的标准虚拟物品的第二图像；

位置确定子单元，根据所述第二图像中目标物体与标准虚拟物品的位置关系，确定所述虚拟物品将要添加在所述摄像头捕捉到的第一图像中的位置。

在一个可选的实施例中：

所添加的虚拟物品的数量通过如下子单元确定：

第二计算子单元，计算得到所确定位置的空闲区域大小；

第二确定子单元，根据所述空闲区域大小以及所述虚拟物品的大小，确定所述虚拟物品的数量。

在一个可选的实施例中：

所述装置还包括：

变化计算子单元，计算所述摄像头拍摄角度变化程度；

获取子单元，从建立所述虚拟物品的增强现实模型中，获取该拍摄角度下的虚拟物品；

调整子单元，调整所添加的虚拟物品为该拍摄角度下的虚拟物品。

在一个可选的实施例中：

变化计算子单元，计算所述摄像头捕捉到的第一图像中的目标物体大小的变化程度；

调整子单元，根据该变化程度调整所述虚拟物品的大小。

以上描述了图像处理装置的内部功能模块和结构示意，其实质上的执行主体可以为一种计算机存储介质，包括：

处理器；

用于存储处理器可执行指令的存储器；

其中，所述处理器被配置为：

识别摄像头捕捉到的第一图像中的目标物体；

判断所述第一图像中是否需要添加虚拟物品；

在所述第一图像中需要添加虚拟物品的情况下，从特征库中匹配该目标物体对应的虚拟物品；其中，所述特征库中存储有物体与虚拟物品之间的对应关系；

基于增强现实技术，将所匹配到的虚拟物品添加到所述摄像头捕捉到的第一图像中。

与前述图6所示图像处理方法实施例相对应，本申请还提供了一种图像处理装置的实施例。所述装置实施例可以通过软件实现，也可以通过硬件或者软硬件结合的方式实现。所述装置可以包括：

识别单元，识别客户端上传第一图像中的目标物体；

判断单元，判断所述第一图像中是否需要添加虚拟物品；

匹配单元，在所述第一图像中需要添加虚拟物品的情况下，从预先构建的特征库中匹配该目标物体对应的虚拟物品；其中，所述特征库中存储有物体与虚拟物品之间的对应关系；

发送单元，将所匹配到的虚拟物品发送给所述客户端。

在一个可选的实施例中：

所述判断单元，具体包括：

计算子单元，计算得到所述第一图像的充盈度；

判断子单元，判断所述充盈度是否超过阈值；

确定子单元，在所述充盈度超过阈值的情况下，确定所述第一图像中需要添加虚拟物品。

在一个可选的实施例中：

所述计算子单元，具体包括：

第一面积计算子单元，计算所述第一图像的第一面积；

第二面积计算子单元，计算所述第一图像中目标物体的第二面积；

第一比值计算子单元，计算所述第二面积与所述第一面积的比值；

充盈度确定子单元，将所述比值确定为所述第一图像的充盈度。

在一个可选的实施例中：

所述阈值通过如下子单元确定：

构图方式获取子单元，获取所述特征库中目标物体和对应的标准虚拟物品的构图方式；

第二图像获取子单元，获取符合所述构图方式并且具有目标物体和对应的标准虚拟物品的第二图像；

第三面积计算子单元，计算所述第二图像的第三面积；

第四面积计算子单元，计算所述第二图像中目标物体的第四面积；

第二比值计算子单元，计算所述第四面积与所述第三面积的比值；

阈值确定子单元，将所述第四面积与所述第三面积的比值确定为阈值。

在一个可选的实施例中：

在所述匹配单元之后，所述装置还包括：

获取单元，获取所述特征库中该目标物体和对应的虚拟物品的构图方式；

确定单元，根据所述构图方式确定所述虚拟物品将要添加在所述第一图像中的位置；

所述发送单元，具体包括：

将所匹配到的虚拟物品以及所确定的所述虚拟物品将要添加在所述第一图像中的位置发送给所述客户端。

在一个可选的实施例中：

所确定子单元，具体包括：

第二图像获取子单元，获取符合所述构图方式并且具有目标物体和对应的标准虚拟物品的第二图像；

位置确定子单元，根据所述第二图像中目标物体与标准虚拟物品的位置关系，确定所述虚拟物品将要添加在所述摄像头捕捉到的第一图像中的位置。在一个可选的实施例中：

所添加的虚拟物品的数量通过如下子单元确定：

第二计算子单元，计算得到所确定位置的空闲区域大小；

第二确定子单元，根据所述空闲区域大小以及所述虚拟物品的大小，确定所述虚拟物品的数量。

在一个可选的实施例中：

所述发送单元，具体包括：

将所匹配到的虚拟物品的标识发送给所述客户端

以上描述了图像处理装置的内部功能模块和结构示意，其实质上的执行主体可以为一种电子设备，包括：

处理器；

用于存储处理器可执行指令的存储器；

其中，所述处理器被配置为：

识别客户端上传的第一图像中的目标物体；

判断所述第一图像中是否需要添加虚拟物品；

在所述第一图像中需要添加虚拟物品的情况下，从预先构建的特征库中匹配该目标物体对应的虚拟物品；其中，所述特征库中存储有物体与虚拟物品之间的对应关系；

将所匹配到的虚拟物品发送给所述客户端。

上述实施例阐明的***、装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机，计算机的具体形式可以是个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件收发设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任意几种设备的组合。

上述装置中各个单元的功能和作用的实现过程具体详见上述方法中对应步骤的实现过程，在此不再赘述。

对于装置实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本申请方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

在上述计算机存储介质的实施例中，应理解，该处理器可以是中央处理单元(英文：Central Processing Unit，简称：CPU)，还可以是其他通用处理器、数字信号处理器(英文：Digital Signal Processor，简称：DSP)、专用集成电路(英文：Application SpecificIntegrated Circuit，简称：ASIC)等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，而前述的存储器可以是只读存储器(英文：read-only memory，缩写：ROM)、随机存取存储器(英文：random access memory，简称：RAM)、快闪存储器、硬盘或者固态硬盘。结合本发明实施例所公开的方法的步骤可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。

上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。

本领域技术人员在考虑说明书及实践这里申请的发明后，将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未申请的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本申请的真正范围和精神由下面的权利要求指出。

应当理解的是，本申请并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本申请的范围仅由所附的权利要求来限制。

Claims (10)

1.一种图像处理方法，其特征在于，所述方法包括：

识别摄像头捕捉到的第一图像中的目标物体；

判断所述第一图像中是否需要添加虚拟物品；

在所述第一图像中需要添加虚拟物品的情况下，从特征库中匹配该目标物体对应的虚拟物品；其中，所述特征库中存储有物体与虚拟物品之间的对应关系；

基于增强现实技术，将所匹配到的虚拟物品添加到所述摄像头捕捉到的第一图像中。

2.根据权利要求1所述的方法，其特征在于，所述判断所述第一图像中是否需要添加虚拟物品，具体包括：

计算得到所述第一图像的充盈度；

判断所述充盈度是否超过阈值；

在所述充盈度未超过阈值的情况下，确定所述第一图像中需要添加虚拟物品。

3.根据权利要求2所述的方法，其特征在于，所述计算得到所述第一图像的充盈度，具体包括：

计算所述第一图像的第一面积；

计算所述第一图像中目标物体的第二面积；

计算所述第二面积与所述第一面积的比值；

将所述比值确定为所述第一图像的充盈度。

4.根据权利要求2所述的方法，其特征在于，所述阈值通过如下方式确定：

获取所述特征库中目标物体和对应的标准虚拟物品的构图方式；

获取符合所述构图方式并且具有目标物体和对应的标准虚拟物品的第二图像；

计算所述第二图像的第三面积；

计算所述第二图像中目标物体的第四面积；

计算所述第四面积与所述第三面积的比值；

将所述第四面积与所述第三面积的比值确定为阈值。

5.根据权利要求1所述的方法，其特征在于，所述基于增强现实技术，将所匹配到的虚拟物品添加到所述摄像头捕捉到的第一图像中，具体包括：

获取所述特征库中该目标物体和对应的虚拟物品的构图方式；

根据所述构图方式确定所述虚拟物品将要添加在所述摄像头捕捉到的第一图像中的位置；

基于增强现实技术，将所述虚拟物品添加到所述摄像头捕捉到的第一图像中的所述位置。

6.根据权利要求5所述的方法，其特征在于，根据所述构图方式确定所述虚拟物品将要添加在所述摄像头捕捉到的第一图像中的位置，具体包括：

获取符合所述构图方式并且具有目标物体和对应的标准虚拟物品的第二图像；

根据所述第二图像中目标物体与标准虚拟物品的位置关系，确定所述虚拟物品将要添加在所述摄像头捕捉到的第一图像中的位置。

7.根据权利要求1所述的方法，其特征在于，所述方法还包括：

计算所述摄像头拍摄角度变化程度；

从建立所述虚拟物品的增强现实模型中，获取该拍摄角度下的虚拟物品；

调整所添加的虚拟物品为该拍摄角度下的虚拟物品。

8.根据权利要求1所述的方法，其特征在于，所述方法还包括：

计算所述摄像头捕捉到的第一图像中的目标物体大小的变化程度；

根据该变化程度调整所述虚拟物品的大小。

9.一种图像处理装置，其特征在于，所述装置包括：

识别单元，识别摄像头捕捉到的第一图像中的目标物体；

判断单元，判断所述第一图像中是否需要添加虚拟物品；

匹配单元，在所述第一图像中需要添加虚拟物品的情况下，从特征库中匹配该目标物体对应的虚拟物品；其中，所述特征库中存储有物体与虚拟物品之间的对应关系；

处理单元，基于增强现实技术，将所匹配到的虚拟物品添加到所述摄像头捕捉到的第一图像中。

10.一种电子设备，包括：

处理器；

用于存储处理器可执行指令的存储器；

其中，所述处理器被配置为：

识别摄像头捕捉到的第一图像中的目标物体；

判断所述第一图像中是否需要添加虚拟物品；在所述第一图像中需要添加虚拟物品的情况下，从特征库中匹配该目标物体对应的虚拟物品；其中，所述特征库中存储有物体与虚拟物品之间的对应关系；

基于增强现实技术，将所匹配到的虚拟物品添加到所述摄像头捕捉到的第一图像中。