CN111091498A - 图像处理方法、装置、电子设备以及介质 - Google Patents

Abstract

本公开提供了一种图像处理方法，该方法包括：获得全景模式下的拍照指令；响应全景模式下的拍照指令，基于第一位置获得第一组图像以及基于第二位置获得第二组图像，其中，第一位置与第二位置的空间位置不同；第一位置和第二位置为满足指引条件的运动轨迹上的不同位置；以及处理第一组图像和第二组图像，生成并保存全景图片；其中，如果全景图片以动态方式展示，全景图片中第一区域和第二区域同时展示动态输出效果，第一区域以第一组图像展示第一动态输出效果，第二区域以第二组图像展示第二动态输出效果。本公开还提供了一种图像处理装置、一种电子设备以及一种计算机可读存储介质。

Description

图像处理方法、装置、电子设备以及介质

技术领域

本公开涉及一种图像处理方法、一种图像处理装置、一种电子设备以及一种计算机可读存储介质。

背景技术

随着电子技术的发展，越来越多的电子设备被人们使用。电子设备具有拍照功能，相关技术的电子设备的拍照功能无法满足用户的各种拍照需求。例如，相关技术的电子设备具有基于全景模式的拍照功能，但是，所拍摄的全景图片难以满足用户的需求，例如所拍摄的全景图片为静态图片，无法满足用户对动态图片的需求。

发明内容

本公开的一个方面提供了一种图像处理方法，所述方法包括：获得全景模式下的拍照指令。响应全景模式下的所述拍照指令，基于第一位置获得第一组图像以及基于第二位置获得第二组图像，其中，所述第一位置与所述第二位置的空间位置不同；所述第一位置和所述第二位置为满足指引条件的运动轨迹上的不同位置。处理所述第一组图像和所述第二组图像，生成并保存全景图片；其中，如果所述全景图片以动态方式展示，所述全景图片中第一区域和第二区域同时展示动态输出效果，所述第一区域以所述第一组图像展示第一动态输出效果，所述第二区域以所述第二组图像展示第二动态输出效果。

可选地，上述处理所述第一组图像和所述第二组图像，生成并保存全景图片包括：从所述第一组图像中确定第一拼接图像以及从所述第二组图像中确定第二拼接图像；所述第一拼接图像的边缘区域与所述第二拼接图像的边缘区域满足相似度条件，基于所述第一拼接图像的边缘区域与所述第二拼接图像的边缘区域将所述第一组图像和所述第二组图像融合成所述全景图片。

可选地，上述基于所述第一拼接图像的边缘区域与所述第二拼接图像的边缘区域将所述第一组图像和所述第二组图像融合成所述全景图片包括：基于所述第一拼接图像的边缘区域与所述第二拼接图像的边缘区域将所述第一拼接图像与所述第二拼接图像进行拼接以确定所述第一拼接图像的基准以及所述第二拼接图像的基准，基于所述第一拼接图像调整所述第一组图像中除所述第一拼接图像的多帧图像，以使得所述第一组图像中的每帧图像基准一致，基于所述第二拼接图像调整所述第二组图像中除所述第二拼接图像的多帧图像，以使得所述第二组图像中的每帧图像基准一致，关联存储调整后的第一组图像和调整后的第二组图像。

可选地，上述第一组图像中每一帧图像具有深度信息；所述第二组图像中每一帧图像具有深度信息。所述处理所述第一组图像和所述第二组图像，生成并保存全景图片包括：基于所述第一组图像的每帧图像的深度信息，获得所述第一组图像的每帧图像的前景图像和背景图像，基于所述第二组图像的每帧图像的深度信息，获得所述第一组图像的每帧图像的前景图像和背景图像，将所述第一组图像的每帧图像的背景图像融合为第一拼接图像以及将所述第二组图像的每帧图像的背景图像融合为第二拼接图像，基于所述第一拼接图像的边缘区域与所述第二拼接图像的边缘区域生成全景图片的背景，关联存储所述全景图片的背景、所述第一组图像的每帧图像的前景图像构成的第一前景图像组以及所述第二组图像的每帧图像的前景图像构成的第二前景图像组。

可选地，上述方法还包括：获得第三位置的采集图像，所述采集图像用于全景模式下的图像拼接，所述第三位置位于所述第一位置与所述第二位置之间；所述第一位置、所述第二位置以及所述第三位置为满足指引条件的运动轨迹上的不同位置。

可选地，上述方法还包括：在所述全景模式的预览状态下，基于指引条件的运动轨迹设置不同位置处标定运动采集；以使得响应全景模式下的所述拍照指令的拍照状态下在空间运动改变进行图像采集过程处于指引条件的运动轨迹的标定运动采集位置采集一组图像。

本公开的另一个方面提供了一种图像处理装置，所述装置包括：第一获得模块、第二获得模块以及处理模块。其中，第一获得模块，获得全景模式下的拍照指令。第二获得模块，响应全景模式下的所述拍照指令，基于第一位置获得第一组图像以及基于第二位置获得第二组图像，其中，所述第一位置与所述第二位置的空间位置不同；所述第一位置和所述第二位置为满足指引条件的运动轨迹上的不同位置。处理模块，处理所述第一组图像和所述第二组图像，生成并保存全景图片；其中，如果所述全景图片以动态方式展示，所述全景图片中第一区域和第二区域同时展示动态输出效果，所述第一区域以所述第一组图像展示第一动态输出效果，所述第二区域以所述第二组图像展示第二动态输出效果。

可选地，上述处理所述第一组图像和所述第二组图像，生成并保存全景图片包括：从所述第一组图像中确定第一拼接图像以及从所述第二组图像中确定第二拼接图像；所述第一拼接图像的边缘区域与所述第二拼接图像的边缘区域满足相似度条件，基于所述第一拼接图像的边缘区域与所述第二拼接图像的边缘区域将所述第一组图像和所述第二组图像融合成所述全景图片。

可选地，上述基于所述第一拼接图像的边缘区域与所述第二拼接图像的边缘区域将所述第一组图像和所述第二组图像融合成所述全景图片包括：基于所述第一拼接图像的边缘区域与所述第二拼接图像的边缘区域将所述第一拼接图像与所述第二拼接图像进行拼接以确定所述第一拼接图像的基准以及所述第二拼接图像的基准，基于所述第一拼接图像调整所述第一组图像中除所述第一拼接图像的多帧图像，以使得所述第一组图像中的每帧图像基准一致，基于所述第二拼接图像调整所述第二组图像中除所述第二拼接图像的多帧图像，以使得所述第二组图像中的每帧图像基准一致，关联存储调整后的第一组图像和调整后的第二组图像。

可选地，上述第一组图像中每一帧图像具有深度信息；所述第二组图像中每一帧图像具有深度信息。所述处理所述第一组图像和所述第二组图像，生成并保存全景图片包括：基于所述第一组图像的每帧图像的深度信息，获得所述第一组图像的每帧图像的前景图像和背景图像，基于所述第二组图像的每帧图像的深度信息，获得所述第一组图像的每帧图像的前景图像和背景图像，将所述第一组图像的每帧图像的背景图像融合为第一拼接图像以及将所述第二组图像的每帧图像的背景图像融合为第二拼接图像，基于所述第一拼接图像的边缘区域与所述第二拼接图像的边缘区域生成全景图片的背景，关联存储所述全景图片的背景、所述第一组图像的每帧图像的前景图像构成的第一前景图像组以及所述第二组图像的每帧图像的前景图像构成的第二前景图像组。

可选地，上述装置还包括：第三获得模块，获得第三位置的采集图像，所述采集图像用于全景模式下的图像拼接，所述第三位置位于所述第一位置与所述第二位置之间；所述第一位置、所述第二位置以及所述第三位置为满足指引条件的运动轨迹上的不同位置。

可选地，上述装置还包括：设置模块，在所述全景模式的预览状态下，基于指引条件的运动轨迹设置不同位置处标定运动采集；以使得响应全景模式下的所述拍照指令的拍照状态下在空间运动改变进行图像采集过程处于指引条件的运动轨迹的标定运动采集位置采集一组图像。

本公开的另一个方面提供了一种电子设备，包括：摄像头；以及处理器，所述处理器用于执行：获得全景模式下的拍照指令，响应全景模式下的所述拍照指令，基于第一位置获得第一组图像以及基于第二位置获得第二组图像，其中，所述第一位置与所述第二位置的空间位置不同；所述第一位置和所述第二位置为满足指引条件的运动轨迹上的不同位置，处理所述第一组图像和所述第二组图像，生成并保存全景图片；其中，如果所述全景图片以动态方式展示，所述全景图片中第一区域和第二区域同时展示动态输出效果，所述第一区域以所述第一组图像展示第一动态输出效果，所述第二区域以所述第二组图像展示第二动态输出效果。

本公开的另一方面提供了一种非易失性可读存储介质，存储有计算机可执行指令，指令在被执行时用于实现如上所述的方法。

本公开的另一方面提供了一种计算机程序，计算机程序包括计算机可执行指令，指令在被执行时用于实现如上所述的方法。

附图说明

为了更完整地理解本公开及其优势，现在将参考结合附图的以下描述，其中：

图1示意性示出了根据本公开实施例的图像处理方法的流程图；

图2示意性示出了根据本公开第一实施例的图像处理方法的示意图；

图3示意性示出了根据本公开第二实施例的图像处理方法的示意图；

图4示意性示出了根据本公开第三实施例的图像处理方法的示意图；

图5示意性示出了根据本公开第四实施例的图像处理方法的示意图；

图6示意性示出了根据本公开实施例的图像处理装置的框图；以及

图7示意性示出了根据本公开实施例的用于实现图像处理的计算机***的方框图。

具体实施方式

以下，将参照附图来描述本公开的实施例。但是应该理解，这些描述只是示例性的，而并非要限制本公开的范围。在下面的详细描述中，为便于解释，阐述了许多具体的细节以提供对本公开实施例的全面理解。然而，明显地，一个或多个实施例在没有这些具体细节的情况下也可以被实施。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本公开的概念。

在此使用的术语仅仅是为了描述具体实施例，而并非意在限制本公开。在此使用的术语“包括”、“包含”等表明了所述特征、步骤、操作和/或部件的存在，但是并不排除存在或添加一个或多个其他特征、步骤、操作或部件。

在此使用的所有术语(包括技术和科学术语)具有本领域技术人员通常所理解的含义，除非另外定义。应注意，这里使用的术语应解释为具有与本说明书的上下文相一致的含义，而不应以理想化或过于刻板的方式来解释。

在使用类似于“A、B和C等中至少一个”这样的表述的情况下，一般来说应该按照本领域技术人员通常理解该表述的含义来予以解释(例如，“具有A、B和C中至少一个的***”应包括但不限于单独具有A、单独具有B、单独具有C、具有A和B、具有A和C、具有B和C、和/或具有A、B、C的***等)。在使用类似于“A、B或C等中至少一个”这样的表述的情况下，一般来说应该按照本领域技术人员通常理解该表述的含义来予以解释(例如，“具有A、B或C中至少一个的***”应包括但不限于单独具有A、单独具有B、单独具有C、具有A和B、具有A和C、具有B和C、和/或具有A、B、C的***等)。

附图中示出了一些方框图和/或流程图。应理解，方框图和/或流程图中的一些方框或其组合可以由计算机程序指令来实现。这些计算机程序指令可以提供给通用计算机、专用计算机或其他可编程控制装置的处理器，从而这些指令在由该处理器执行时可以创建用于实现这些方框图和/或流程图中所说明的功能/操作的装置。

因此，本公开的技术可以硬件和/或软件(包括固件、微代码等)的形式来实现。另外，本公开的技术可以采取存储有指令的计算机可读介质上的计算机程序产品的形式，该计算机程序产品可供指令执行***使用或者结合指令执行***使用。在本公开的上下文中，计算机可读介质可以是能够包含、存储、传送、传播或传输指令的任意介质。例如，计算机可读介质可以包括但不限于电、磁、光、电磁、红外或半导体***、装置、器件或传播介质。计算机可读介质的具体示例包括：磁存储装置，如磁带或硬盘(HDD)；光存储装置，如光盘(CD-ROM)；存储器，如随机存取存储器(RAM)或闪存；和/或有线/无线通信链路。

本公开的实施例提供了一种图像处理方法，该方法包括：获得全景模式下的拍照指令。响应全景模式下的拍照指令，基于第一位置获得第一组图像以及基于第二位置获得第二组图像，其中，第一位置与第二位置的空间位置不同；第一位置和第二位置为满足指引条件的运动轨迹上的不同位置。然后，处理第一组图像和第二组图像，生成并保存全景图片；其中，如果全景图片以动态方式展示，全景图片中第一区域和第二区域同时展示动态输出效果，第一区域以第一组图像展示第一动态输出效果，第二区域以第二组图像展示第二动态输出效果。

图1示意性示出了根据本公开实施例的图像处理方法的流程图。图2示意性示出了根据本公开第一实施例的图像处理方法的示意图。

如图1所示，该图像处理方法例如包括操作S110～S130。

以下结合图1和图2来描述操作S110～S130。

在操作S110，获得全景模式下的拍照指令。

本公开实施例的图像处理方法例如可以用于电子设备，电子设备例如可以是手机、电脑等设备。为了便于理解，本公开以电子设备为手机举例。

在本公开实施例中，电子设备例如具有拍照功能。具体地，电子设备例如具有基于全景模式的拍照功能。全景模式例如为将拍摄的多帧图像组合成一张全景图片的模式。

本公开实施例的电子设备在全景模式下，当获得全景模式下的拍照指令后，电子设备可以基于该拍照指令获取图像。

在操作S120，响应全景模式下的拍照指令，基于第一位置获得第一组图像210以及基于第二位置获得第二组图像220，其中，第一位置与第二位置的空间位置不同。第一位置和第二位置为满足指引条件的运动轨迹上的不同位置。

根据本公开实施例，在全景模式下，电子设备会生成指引，以指引用户移动电子设备进行拍摄。然后，电子设备根据指引进行移动以拍摄不同位置的图像，电子设备移动后例如生成运动轨迹，不同位置例如至少包括第一位置和第二位置，第一位置和第二位置例如为运动轨迹上的位置。

根据本公开实施例，第一组图像210和第二组图像220例如均包括多帧图像，第一组图像210的图像帧数与第二组图像220的图像帧数可以相同也可以不同。

在操作S130，处理第一组图像210和第二组图像220，生成并保存全景图片230。其中，全景图片230例如以动态方式展示，全景图片230中第一区域231和第二区域232同时展示动态输出效果。第一区域231以第一组图像210展示第一动态输出效果，第二区域232以第二组图像220展示第二动态输出效果。

根据本公开实施例，所生成的全景图片230例如可以是动态图片。该全景图片230中例如包括多个区域，每个区域例如用于动态展示一组图像。具体地，例如第一区域231用于动态展示第一组图像210，第二区域232例如用于动态展示第二组图像220。

例如，第一组图像210例如包括三帧图像，该三帧图像例如以一定的顺序循环显示在第一区域231，即，第一区域231一次显示第一组图像210中的一帧图像，从而实现第一动态输出效果。类似地，第二组图像220例如包括两帧图像，该两帧图像例如以一定的顺序循环显示在第二区域232，即，第二区域232一次显示第二组图像220中的一帧图像，从而实现第二动态输出效果。

可以理解，本公开实施例的技术方案通过在全景模式下获取多组图像，并对多组图像进行处理以生成全景动图，该全景动图中的不同区域可以展示不同的动态效果。通过本公开实施例的技术方案，满足了用户的在拍摄场景下的不同需求，为用户提供了一种生成全景图片的功能。并且该全景图片可以在不同区域展示不同的动态效果，使得全景图片更加生动形象。

图3示意性示出了根据本公开第二实施例的图像处理方法的示意图。

结合图3，上述操作S130例如可以包括如下步骤(1)～(2)。

(1)从第一组图像中确定第一拼接图像以及从第二组图像中确定第二拼接图像。第一拼接图像的边缘区域与第二拼接图像的边缘区域满足相似度条件。

根据本公开实施例，第一组图像例如包括图像帧311、图像帧312、图像帧313。第二组图像例如包括图像帧321、图像帧322。例如，可以根据第一组图像的各个图像帧的边缘区域和第二组图像的各个图像帧的边缘区域确定出第一拼接图像和第二拼接图像。例如，第一拼接图像为图像帧311，第二拼接图像为图像帧321。图像帧311与图像帧321的边缘区域例如相似度较高。

(2)基于第一拼接图像的边缘区域与第二拼接图像的边缘区域将第一组图像和第二组图像融合成全景图片。具体过程如下描述。

首先，基于第一拼接图像的边缘区域与第二拼接图像的边缘区域将第一拼接图像与第二拼接图像进行拼接以确定第一拼接图像的基准以及第二拼接图像的基准。

例如，第一拼接图像与第二拼接图像进行拼接得到的拼接结果为图像330。该图像330例如包含了调整后的第一拼接图像和调整后的第二拼接图像。其中，调整后的第一拼接图像例如确定了第一组图像的基准，调整后的第二拼接图像例如确定了第二组图像的基准。

其次，基于第一拼接图像调整第一组图像中除第一拼接图像的多帧图像，以使得第一组图像中的每帧图像基准一致。

然后，基于第二拼接图像调整第二组图像中除第二拼接图像的多帧图像，以使得第二组图像中的每帧图像基准一致。

例如，将第一组图像中的图像帧312和图像帧313的基准调整为与调整后的第一拼接图像的基准一致。以及将第二组图像中的图像帧322的基准调整为与调整后的第二拼接图像的基准一致。

最后，关联存储调整后的第一组图像和调整后的第二组图像，得到全景图片340。其中，通过调整基准之后，提高了全景图片340中相同信息的重合度。例如，全景图片340中动态显示的第一组图像中各图像帧中相同信息高度重合，全景图片340中动态显示的第二组图像中各图像帧中相同信息高度重合。因此，实现了在全景图片340动态展示时，用户所观看到的动态部分为真实环境中的动态部分，而真实环境中的静态部分在全景图片340中接近静态，这是由于每组图像通过调整基准后使得其中的每帧图像的相同信息在全景图片340中重合显示而实现的效果。

图4示意性示出了根据本公开第三实施例的图像处理方法的示意图。

结合图4，上述操作S130例如还可以包括如下步骤(1)～(5)

(1)基于第一组图像的每帧图像的深度信息，获得第一组图像的每帧图像的前景图像和背景图像。

(2)基于第二组图像的每帧图像的深度信息，获得第一组图像的每帧图像的前景图像和背景图像。

根据本公开实施例，第一组图像中每一帧图像具有深度信息，第二组图像中每一帧图像也具有深度信息。其中，深度信息例如可以用于区别每一帧图像的前景图像和背景图像。因此，可以基于每一帧图像的深度信息获取每一帧图像的前景图像和背景图像。

(3)将第一组图像的每帧图像的背景图像融合为第一拼接图像431以及将第二组图像的每帧图像的背景图像融合为第二拼接图像432。

例如，如图4所示，第一组图像的每帧图像的背景图像例如包括背景图像411、412、413。例如将背景图像411、412、413融合为第一拼接图像431。融合过程例如可以是基于背景图像411、412、413的相似信息来融合的，尽量使得背景图像411、412、413中的相似信息在第一拼接图像431中实现重合。类似的，第二组图像的每帧图像的背景图像例如包括背景图像421、422。例如将背景图像421、422融合为第二拼接图像432。

(4)基于第一拼接图像431的边缘区域与第二拼接图像432的边缘区域生成全景图片的背景。

例如，将第一拼接图像431的边缘区域与第二拼接图像432的边缘区域的相似信息进行重合显示，以得到第一拼接图像431和第二拼接图像432生成的全景图片的背景，该全景图片的背景例如为图片440。

(5)关联存储全景图片的背景、第一组图像的每帧图像的前景图像构成的第一前景图像组以及第二组图像的每帧图像的前景图像构成的第二前景图像组，得到全景图片450。

其中，该全景图片450中例如包括第一前景图像组，该第一前景图像组在真实环境中例如是动态的。因此，该第一前景图像组例如在全景图片450中动态展示。类似的，该全景图片450中例如包括第二前景图像组，该第二前景图像组在真实环境中例如是动态的。因此，该第二前景图像组例如在全景图片450中动态展示。

可以理解，本公开实施例通过将每一组图像的前景和背景分离，并将每组图像的背景合成全景图片的背景，然后再处理每组图像的前景和所合成的全景图片的背景，最终形成动态显示的全景图片。在真实环境中，由于前景一般为动态的，背景一般为静态的，因此，通过将前景和背景分离，并将每组图像的背景合成全景图片的背景，实现合成全景图片的背景的过程不受动态信息(前景)的影响，使得所合成的全景图片的背景更加准确，效果更好。

图5示意性示出了根据本公开第四实施例的图像处理方法的示意图。

如图5所示，本公开实施例例如可以获得第三位置的采集图像530。其中，采集图像用于全景模式下的图像拼接。第三位置例如位于第一位置与第二位置之间，第一位置、第二位置以及第三位置为满足指引条件的运动轨迹上的不同位置。

在本公开实施例中，采集图像530例如可以是一帧图像，即，该采集图像530可以是静态图像。当需要在多个位置采集多组图像时，可以在相邻的两个位置之间采集一帧采集图像530，该一帧采集图像530例如用于和该相邻的两组图像进行拼接，因此，第三位置可以包括多个位置，每个第三位置例如均可以获得一帧采集图像530。例如，如果相邻的两组图像为第一组图像510和第二组图像520，则该采集图像530例如可以和第一组图像510以及第二组图像520进行拼接得到全景图片540。

在一种情况下，例如可以从第一组图像510中确定出一帧图像作为第一拼接图像，以及从第二组图像520中确定出一帧图像作为第二拼接图像。然后将第一拼接图像、第二拼接图像和采集图像530按照图像的边缘区域进行拼接得到拼接结果。拼接结果中例如确定了第一拼接图像的基准和第二拼接图像的基准。然后，将第一组图像510中除第一拼接图像之外的图像帧的基准调整为与拼接结果中第一拼接图像的基准一致，以及将第二组图像520中除第二拼接图像之外的图像帧的基准调整为与拼接结果中第二拼接图像的基准一致。最后，可以将调整基准后的各图像帧与拼接结果合成最终的全景图片540。

在另一种情况下，可以分离第一组图像510中每帧图像的背景和前景，以及分离第二组图像520中每帧图像的背景和前景，并将所有的背景和采集图像530进行拼接，得到全景图片的背景。然后，将第一组图像510前景、第二组图像520的前景以及全景图片的背景进行组合，得到最终的全景图片540。

本公开实施例通过在相邻两组图像组之间的位置获得采集图像，并将采集图像与多组图像组进行拼接。由于采集图像为一帧静态图像，因此，多组相邻图像组通过与采集图像进行拼接，可以提高拼接的效果。具体地，由于采集图像为静态图像，在拼接过程中，该采集图像能够提供较多的静态信息作为拼接过程中的静态参考信息。因此，拼接过程以较多的静态信息作为参考进行拼接能够保证拼接的效果。

根据本公开实施例，在全景模式的预览状态下，基于指引条件的运动轨迹设置不同位置处标定运动采集，以使得响应全景模式下的拍照指令的拍照状态下在空间运动改变进行图像采集过程处于指引条件的运动轨迹的标定运动采集位置采集一组图像。

例如，电子设备可以在运动轨迹的不同位置处标定运动采集。当电子设备移动到标定的位置，则电子设备可以自动触发采集，以在标定的位置采集一组图像。例如，可以在运动轨迹的第一位置和第二位置均标定运动采集。当电子设备沿着运动轨迹运动到第一位置时，自动触发采集第一组图像，当电子设备沿着运动轨迹运动到第二位置时，自动触发采集第二组图像。

可以理解，本公开实施例通过位置标定的方式，以触发电子设备在所标定的位置自动触发采集每一组图像，实现不需要用户手动采集每组图像的效果，提高了图像采集的灵活性，降低图像采集的繁琐性，从而提高了用户的使用体验。

或者，也可以根据用户的需求获取每组图像。例如，当电子设备沿着运动轨迹运动到第一位置时，用户可以触控或按压拍照按键，然后电子设备响应于用户的触控或按压在第一位置处获取第一组图像。类似的，电子设备可以响应用户在第二位置的触控或按压获取第二组图像。此种方式实现根据用户的需求获取每一组图像，保证所获取的每组图像均符合用户的意图，提高用户的满意度。

在一种应用场景中，例如目标用户为被拍摄对象。首先启动电子设备的全景模式，获取目标用户在书房里看书的第一组图像，第一组图像中例如包括多帧目标用户看书的图像。然后，保持全景模式，该目标用户可以走到茶几处喝茶，电子设备移动位置，并获取该目标用户的第二组图像，该第二组图像中例如包括多帧目标用户喝茶的图像。然后，将第一组图像和第二组图像合成全景图片。该全景图片中包括该目标用户的两种动态，一种是看书的动态，另一种是喝茶的动态。该两种动态例如动态显示在该全景图片的不同区域，即，在观看全景图片时，可以同时观看到该两种动态。可以理解，本公开实施例不限于两组图像，可以是多组图像。当获取多组图像后，所生成的全景图片中例如包括目标用户的多种动态，多种动态例如包括看书、喝茶、浇花等等。

本公开还提供了一种电子设备，包括：摄像头；以及处理器，处理器用于执行：获得全景模式下的拍照指令，响应全景模式下的拍照指令，基于第一位置获得第一组图像以及基于第二位置获得第二组图像，其中，第一位置与第二位置的空间位置不同；第一位置和第二位置为满足指引条件的运动轨迹上的不同位置，处理第一组图像和第二组图像，生成并保存全景图片；其中，如果全景图片以动态方式展示，全景图片中第一区域和第二区域同时展示动态输出效果，第一区域以第一组图像展示第一动态输出效果，第二区域以第二组图像展示第二动态输出效果。该处理器例如用于执行图1～5中描述的方法。

图6示意性示出了根据本公开实施例的图像处理装置的框图。

如图6所示，图像处理装置600例如包括第一获得模块610、第二获得模块620以及处理模块630。

第一获得模块610可以用于获得全景模式下的拍照指令。根据本公开实施例，第一获得模块610例如可以执行上文参考图1描述的操作S110，在此不再赘述。

第二获得模块620可以用于响应全景模式下的拍照指令，基于第一位置获得第一组图像以及基于第二位置获得第二组图像，其中，第一位置与第二位置的空间位置不同；第一位置和第二位置为满足指引条件的运动轨迹上的不同位置。根据本公开实施例，第二获得模块620例如可以执行上文参考图1描述的操作S120，在此不再赘述。

处理模块630可以用于处理第一组图像和第二组图像，生成并保存全景图片；其中，如果全景图片以动态方式展示，全景图片中第一区域和第二区域同时展示动态输出效果，第一区域以第一组图像展示第一动态输出效果，第二区域以第二组图像展示第二动态输出效果。根据本公开实施例，处理模块630例如可以执行上文参考图1描述的操作S130，在此不再赘述。

根据本公开实施例，处理第一组图像和第二组图像，生成并保存全景图片包括：从第一组图像中确定第一拼接图像以及从第二组图像中确定第二拼接图像；第一拼接图像的边缘区域与第二拼接图像的边缘区域满足相似度条件，基于第一拼接图像的边缘区域与第二拼接图像的边缘区域将第一组图像和第二组图像融合成全景图片。

根据本公开实施例，基于第一拼接图像的边缘区域与第二拼接图像的边缘区域将第一组图像和第二组图像融合成全景图片包括：基于第一拼接图像的边缘区域与第二拼接图像的边缘区域将第一拼接图像与第二拼接图像进行拼接以确定第一拼接图像的基准以及第二拼接图像的基准，基于第一拼接图像调整第一组图像中除第一拼接图像的多帧图像，以使得第一组图像中的每帧图像基准一致，基于第二拼接图像调整第二组图像中除第二拼接图像的多帧图像，以使得第二组图像中的每帧图像基准一致，关联存储调整后的第一组图像和调整后的第二组图像。

根据本公开实施例，第一组图像中每一帧图像具有深度信息；第二组图像中每一帧图像具有深度信息。处理第一组图像和第二组图像，生成并保存全景图片包括：基于第一组图像的每帧图像的深度信息，获得第一组图像的每帧图像的前景图像和背景图像，基于第二组图像的每帧图像的深度信息，获得第一组图像的每帧图像的前景图像和背景图像，将第一组图像的每帧图像的背景图像融合为第一拼接图像以及将第二组图像的每帧图像的背景图像融合为第二拼接图像，基于第一拼接图像的边缘区域与第二拼接图像的边缘区域生成全景图片的背景，关联存储全景图片的背景、第一组图像的每帧图像的前景图像构成的第一前景图像组以及第二组图像的每帧图像的前景图像构成的第二前景图像组。

根据本公开实施例，装置600例如还包括：第三获得模块，获得第三位置的采集图像，采集图像用于全景模式下的图像拼接，第三位置位于第一位置与第二位置之间；第一位置、第二位置以及第三位置为满足指引条件的运动轨迹上的不同位置。

根据本公开实施例，装置600例如还包括：设置模块，在全景模式的预览状态下，基于指引条件的运动轨迹设置不同位置处标定运动采集；以使得响应全景模式下的拍照指令的拍照状态下在空间运动改变进行图像采集过程处于指引条件的运动轨迹的标定运动采集位置采集一组图像。

根据本公开的实施例的模块、子模块、单元、子单元中的任意多个、或其中任意多个的至少部分功能可以在一个模块中实现。根据本公开实施例的模块、子模块、单元、子单元中的任意一个或多个可以被拆分成多个模块来实现。根据本公开实施例的模块、子模块、单元、子单元中的任意一个或多个可以至少被部分地实现为硬件电路，例如现场可编程门阵列(FPGA)、可编程逻辑阵列(PLA)、片上***、基板上的***、封装上的***、专用集成电路(ASIC)，或可以通过对电路进行集成或封装的任何其他的合理方式的硬件或固件来实现，或以软件、硬件以及固件三种实现方式中任意一种或以其中任意几种的适当组合来实现。或者，根据本公开实施例的模块、子模块、单元、子单元中的一个或多个可以至少被部分地实现为计算机程序模块，当该计算机程序模块被运行时，可以执行相应的功能。

例如，第一获得模块610、第二获得模块620以及处理模块630中的任意多个可以合并在一个模块中实现，或者其中的任意一个模块可以被拆分成多个模块。或者，这些模块中的一个或多个模块的至少部分功能可以与其他模块的至少部分功能相结合，并在一个模块中实现。根据本公开的实施例，第一获得模块610、第二获得模块620以及处理模块630中的至少一个可以至少被部分地实现为硬件电路，例如现场可编程门阵列(FPGA)、可编程逻辑阵列(PLA)、片上***、基板上的***、封装上的***、专用集成电路(ASIC)，或可以通过对电路进行集成或封装的任何其他的合理方式等硬件或固件来实现，或以软件、硬件以及固件三种实现方式中任意一种或以其中任意几种的适当组合来实现。或者，第一获得模块610、第二获得模块620以及处理模块630中的至少一个可以至少被部分地实现为计算机程序模块，当该计算机程序模块被运行时，可以执行相应的功能。

图7示意性示出了根据本公开实施例的用于实现图像处理的计算机***的方框图。图7示出的计算机***仅仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。

如图7所示，实现图像处理的计算机***700包括处理器701、计算机可读存储介质702。该***700可以执行根据本公开实施例的方法。

具体地，处理器701例如可以包括通用微处理器、指令集处理器和/或相关芯片组和/或专用微处理器(例如，专用集成电路(ASIC))，等等。处理器701还可以包括用于缓存用途的板载存储器。处理器701可以是用于执行根据本公开实施例的方法流程的不同动作的单一处理单元或者是多个处理单元。

计算机可读存储介质702，例如可以是能够包含、存储、传送、传播或传输指令的任意介质。例如，可读存储介质可以包括但不限于电、磁、光、电磁、红外或半导体***、装置、器件或传播介质。可读存储介质的具体示例包括：磁存储装置，如磁带或硬盘(HDD)；光存储装置，如光盘(CD-ROM)；存储器，如随机存取存储器(RAM)或闪存；和/或有线/无线通信链路。

计算机可读存储介质702可以包括计算机程序703，该计算机程序703可以包括代码/计算机可执行指令，其在由处理器701执行时使得处理器701执行根据本公开实施例的方法或其任何变形。

计算机程序703可被配置为具有例如包括计算机程序模块的计算机程序代码。例如，在示例实施例中，计算机程序703中的代码可以包括一个或多个程序模块，例如包括703A、模块703B、……。应当注意，模块的划分方式和个数并不是固定的，本领域技术人员可以根据实际情况使用合适的程序模块或程序模块组合，当这些程序模块组合被处理器701执行时，使得处理器701可以执行根据本公开实施例的方法或其任何变形。

根据本公开的实施例，上述模块、子模块、单元、子单元中的任意多个、或其中任意多个的至少部分功能可以实现为参考图7描述的计算机程序模块，其在被处理器701执行时，可以实现上面描述的相应操作。

本公开还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的设备/装置/***中所包含的；也可以是单独存在，而未装配入该设备/装置/***中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被执行时，实现以上图像处理方法。

根据本公开的实施例，计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的***、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行***、装置或者器件使用或者与其结合使用。而在本公开中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行***、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、有线、光缆、射频信号等等，或者上述的任意合适的组合。

附图中的流程图和框图，图示了按照本公开各种实施例的***、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的***来实现，或者可以用专用硬件与计算机指令的组合来实现。

本领域技术人员可以理解，本公开的各个实施例和/或权利要求中记载的特征可以进行多种组合和/或结合，即使这样的组合或结合没有明确记载于本公开中。特别地，在不脱离本公开精神和教导的情况下，本公开的各个实施例和/或权利要求中记载的特征可以进行多种组合和/或结合。所有这些组合和/或结合均落入本公开的范围。

尽管已经参照本公开的特定示例性实施例示出并描述了本公开，但是本领域技术人员应该理解，在不背离所附权利要求及其等同物限定的本公开的精神和范围的情况下，可以对本公开进行形式和细节上的多种改变。因此，本公开的范围不应该限于上述实施例，而是应该不仅由所附权利要求来进行确定，还由所附权利要求的等同物来进行限定。

Claims (10)

1.一种图像处理方法，所述方法包括：

获得全景模式下的拍照指令；

响应全景模式下的所述拍照指令，基于第一位置获得第一组图像以及基于第二位置获得第二组图像，其中，所述第一位置与所述第二位置的空间位置不同；所述第一位置和所述第二位置为满足指引条件的运动轨迹上的不同位置；以及

处理所述第一组图像和所述第二组图像，生成并保存全景图片；其中，如果所述全景图片以动态方式展示，所述全景图片中第一区域和第二区域同时展示动态输出效果，所述第一区域以所述第一组图像展示第一动态输出效果，所述第二区域以所述第二组图像展示第二动态输出效果。

2.根据权利要求1所述的方法，其中，所述处理所述第一组图像和所述第二组图像，生成并保存全景图片包括：

从所述第一组图像中确定第一拼接图像以及从所述第二组图像中确定第二拼接图像；所述第一拼接图像的边缘区域与所述第二拼接图像的边缘区域满足相似度条件；以及

基于所述第一拼接图像的边缘区域与所述第二拼接图像的边缘区域将所述第一组图像和所述第二组图像融合成所述全景图片。

3.根据权利要求2所述的方法，其中，所述基于所述第一拼接图像的边缘区域与所述第二拼接图像的边缘区域将所述第一组图像和所述第二组图像融合成所述全景图片包括：

基于所述第一拼接图像的边缘区域与所述第二拼接图像的边缘区域将所述第一拼接图像与所述第二拼接图像进行拼接以确定所述第一拼接图像的基准以及所述第二拼接图像的基准；

基于所述第一拼接图像调整所述第一组图像中除所述第一拼接图像的多帧图像，以使得所述第一组图像中的每帧图像基准一致；

基于所述第二拼接图像调整所述第二组图像中除所述第二拼接图像的多帧图像，以使得所述第二组图像中的每帧图像基准一致；以及

关联存储调整后的第一组图像和调整后的第二组图像。

4.根据权利要求1所述的方法，其中，所述第一组图像中每一帧图像具有深度信息；所述第二组图像中每一帧图像具有深度信息；

所述处理所述第一组图像和所述第二组图像，生成并保存全景图片包括：

基于所述第一组图像的每帧图像的深度信息，获得所述第一组图像的每帧图像的前景图像和背景图像；

基于所述第二组图像的每帧图像的深度信息，获得所述第一组图像的每帧图像的前景图像和背景图像；

将所述第一组图像的每帧图像的背景图像融合为第一拼接图像以及将所述第二组图像的每帧图像的背景图像融合为第二拼接图像；

基于所述第一拼接图像的边缘区域与所述第二拼接图像的边缘区域生成全景图片的背景；以及

关联存储所述全景图片的背景、所述第一组图像的每帧图像的前景图像构成的第一前景图像组以及所述第二组图像的每帧图像的前景图像构成的第二前景图像组。

5.根据权利要求2或4所述的方法，所述方法还包括：

获得第三位置的采集图像，所述采集图像用于全景模式下的图像拼接；以及

所述第三位置位于所述第一位置与所述第二位置之间；所述第一位置、所述第二位置以及所述第三位置为满足指引条件的运动轨迹上的不同位置。

6.根据权利要求5所述的方法，所述方法还包括：

在所述全景模式的预览状态下，基于指引条件的运动轨迹设置不同位置处标定运动采集；以使得响应全景模式下的所述拍照指令的拍照状态下在空间运动改变进行图像采集过程处于指引条件的运动轨迹的标定运动采集位置采集一组图像。

7.一种图像处理装置，所述装置包括：

第一获得模块，获得全景模式下的拍照指令；

第二获得模块，响应全景模式下的所述拍照指令，基于第一位置获得第一组图像以及基于第二位置获得第二组图像，其中，所述第一位置与所述第二位置的空间位置不同；所述第一位置和所述第二位置为满足指引条件的运动轨迹上的不同位置；以及

处理模块，处理所述第一组图像和所述第二组图像，生成并保存全景图片；其中，如果所述全景图片以动态方式展示，所述全景图片中第一区域和第二区域同时展示动态输出效果，所述第一区域以所述第一组图像展示第一动态输出效果，所述第二区域以所述第二组图像展示第二动态输出效果。

8.根据权利要求7所述的装置，其中，所述处理所述第一组图像和所述第二组图像，生成并保存全景图片包括：

从所述第一组图像中确定第一拼接图像以及从所述第二组图像中确定第二拼接图像；所述第一拼接图像的边缘区域与所述第二拼接图像的边缘区域满足相似度条件；以及

基于所述第一拼接图像的边缘区域与所述第二拼接图像的边缘区域将所述第一组图像和所述第二组图像融合成所述全景图片。

9.一种电子设备，包括：

摄像头；以及

处理器，所述处理器用于执行：

获得全景模式下的拍照指令；

响应全景模式下的所述拍照指令，基于第一位置获得第一组图像以及基于第二位置获得第二组图像，其中，所述第一位置与所述第二位置的空间位置不同；所述第一位置和所述第二位置为满足指引条件的运动轨迹上的不同位置；以及

处理所述第一组图像和所述第二组图像，生成并保存全景图片；其中，如果所述全景图片以动态方式展示，所述全景图片中第一区域和第二区域同时展示动态输出效果，所述第一区域以所述第一组图像展示第一动态输出效果，所述第二区域以所述第二组图像展示第二动态输出效果。

10.一种计算机可读存储介质，其上存储有可执行指令，该指令被处理器执行时使处理器执行根据权利要求1～6中任一项所述的方法。

Images