CN106899781B - 一种图像处理方法及电子设备 - Google Patents

Abstract

本发明公开了一种图像处理方法及电子设备，图像处理方法用于设置有第一摄像头和第二摄像头的电子设备，第一摄像头和第二摄像头用于拍摄同一场景，图像处理方法包括：控制第一摄像头拍摄第一图像，以及控制第二摄像头拍摄第二图像；将第一图像和第二图像合成为第三图像；计算第三图像上的像素的深度信息；根据像素的深度信息确定出第三图像上的前景图像和背景图像；利用预先设置的背景图像替换第三图像的背景图像，得到替换背景后的第三图像。本发明，前景图像与背景图像的提取更加准确，并且在拍摄得到图像后，直接利用预先设置的背景图像将拍摄的背景图像替换，无需进行后期处理，快速实现背景图像的替换。

Description

一种图像处理方法及电子设备

技术领域

本发明涉及图像处理技术领域，具体涉及一种图像处理方法及电子设备。

背景技术

拍照已经成为人们生活的一种习惯，各种具有拍照功能的电子设备逐渐受到越来越多的青睐，如：手机、摄像头、数码相机、摄像机等等。为了满足人们对于拍照效果的不同需求，目前市面上已经发售了很多具有双摄像头的电子设备，如带有前置双摄像头或者后置双摄像头的手机。

用户在是使用这类电子设备进行拍照时，通常希望突出图像中的重点内容，例如，自拍过程中突出人像，而弱化背景图像，甚至是替换背景图像。然而，现有的具有拍照功能的电子设备在对图像的处理过程中，往往需要先拍摄得到图像后，借助其它软件对拍摄得到的图像中的前景图像(如人像)进行抠图，才能实现背景图像的替换。而其主要是通过手动选择抠图区域或者根据前景图像的轮廓与背景图像的像素区别来自动抠图。由此可知，现有技术中存在以下缺陷：

1、无法在拍照的过程中实现背景图像的替换，需要借助其它软件来实现图像的后期处理；

2、对于前景图像与背景图像的提取存在误差，容易导致提取的前景图像中包含背景图像的内容或者出现毛边的现象。

发明内容

有鉴于此，本发明实施例提供了一种图像处理方法及电子设备，以解决现有技术中电子设备无法在拍照的过程中实现背景图像的替换，需要借助其它软件来实现图像的后期处理的问题。

本发明第一方面提供了一种图像处理方法，所述图像处理方法用于设置有第一摄像头和第二摄像头的电子设备，所述第一摄像头和所述第二摄像头用于拍摄同一场景，所述图像处理方法包括：控制所述第一摄像头拍摄第一图像，以及控制所述第二摄像头拍摄第二图像；将所述第一图像和所述第二图像合成为第三图像；计算所述第三图像上的像素的深度信息；根据所述像素的深度信息确定出所述第三图像上的前景图像和背景图像；利用预先设置的背景图像替换所述第三图像的背景图像，得到替换背景后的第三图像。

通过利用双摄像头拍摄图像，并进行图像的拼接，然后计算图像上像素的深度信息，利用图像上的像素的深度信息提取图像上的前景图像和背景图像，相对于现有技术中根据前景图像的轮廓与背景图像的像素区别来自动抠图的方式，本实施例的前景图像与背景图像的提取更加准确，并在拍摄得到图像后，直接利用预先设置的背景图像将拍摄的背景图像替换，无需进行后期处理，快速实现背景图像的替换。

结合本发明第一方面，本发明第一方面第一实施方式中，根据所述像素的深度信息确定出所述第三图像上的前景图像和背景图像包括：依次将所述第三图像上每个像素的深度与深度阈值进行比较；将深度大于所述深度阈值的像素组成的图像确定为所述背景图像；将深度小于所述深度阈值的像素组成的图像确定为所述前景图像。

通过采用深度阈值作为分割前景图像和背景图像的判断条件，能够实现前景图像和背景图像的快速准确的分割。

结合本发明第一方面，本发明第一方面第二实施方式中，采用以下步骤计算每个像素的深度：记录所述第一摄像头拍摄所述第一图像的第一焦距f1，记录所述第二摄像头拍摄所述第二图像的第二焦距f2；在所述第一图像上确定目标像素对应的成像点的位置，并在所述第二图像上确定所述目标像素对应的成像点的位置；确定在所述第一图像上所述目标像素对应的成像点与所述第一摄像头到所述第一图像的中心点的第一距离X1，以及在所述第二图像上所述目标像素对应的成像点与所述第二摄像头到所述第二图像的中心点的第二距离X2；根据以下公式计算目标像素的深度Z：

Z＝T*f1*f2/(X1*f2+X2*f1)

其中，T表示所述第一摄像头的中心点与所述第二摄像头的中心点的距离。

通过采用摄像头拍摄图像时的具体参数计算得到像素的深度信息，依次作为分割前景图像和背景图像的基础数据，能够准确定地表示出图像上各像素点在场景中的位置，进而实现前景图像和背景图像的准确分割。

结合本发明第一方面，本发明第一方面第三实施方式中，将所述第一图像和所述第二图像合成为第三图像包括：将所述第一图像与所述第二图像重叠，按照预设规则逐步移动第二图像；计算所述第一图像与所述第二图像之间的重合区域的相似度；判断所述相似度是否大于预设阈值；当所述相似度大于所述预设阈值时，将对应的重合区域作为所述第一图像和所述第二图像的共有区域，拼接得到所述第三图像。

通过计算重合区域的相似度来对图像的拼接位置，从而实现图像的准确拼接。

结合本发明第一方面的第三实施方式，本发明第一方面第四实施方式中，计算所述第一图像与所述第二图像之间的重合区域的相似度包括：获取所述第一图像在所述重合区域的灰度直方图和所述第二图像在所述重合区域的灰度直方图；计算所述第一图像在所述重合区域的灰度直方图和所述第二图像在所述重合区域的灰度直方图之间的欧式距离，将所述欧式距离作为所述相似度。

通过采用欧式距离作为相似度，能够提高图像相似度的判断的精度。

结合本发明第一方面，本发明第一方面第五实施方式中，利用预先设置的背景图像替换所述第三图像的背景图像，得到替换背景后的第三图像之前，还包括：对所述预先设置的背景图像上的像素点进行中值滤波处理，得到虚化后的背景图像。

本发明第二方面提供了一种电子设备，所述电子设备上设置有第一摄像头和第二摄像头，所述第一摄像头和所述第二摄像头用于拍摄同一场景，所述电子设备包括：控制单元，用于控制所述第一摄像头拍摄第一图像，以及控制所述第二摄像头拍摄第二图像；合成单元，用于将所述第一图像和所述第二图像合成为第三图像；计算单元，用于计算所述第三图像上的像素的深度信息；确定单元，用于根据所述像素的深度信息确定出所述第三图像上的前景图像和背景图像；替换单元，用于利用预先设置的背景图像替换所述第三图像的背景图像，得到替换背景后的第三图像。

通过利用双摄像头拍摄图像，并进行图像的拼接，然后计算图像上像素的深度信息，利用图像上的像素的深度信息提取图像上的前景图像和背景图像，相对于现有技术中根据前景图像的轮廓与背景图像的像素区别来自动抠图的方式，本实施例的前景图像与背景图像的提取更加准确，并在拍摄得到图像后，直接利用预先设置的背景图像将拍摄的背景图像替换，无需进行后期处理，快速实现背景图像的替换。

结合本发明第二方面，本发明第二方面第一实施方式中，所述确定单元包括：比较模块，用于依次将所述第三图像上每个像素的深度与深度阈值进行比较；第一确定模块，用于将深度大于所述深度阈值的像素组成的图像确定为所述背景图像；将深度小于所述深度阈值的像素组成的图像确定为所述前景图像。

通过采用深度阈值作为分割前景图像和背景图像的判断条件，能够实现前景图像和背景图像的快速准确的分割。

结合本发明第二方面，本发明第二方面第二实施方式中，所述计算单元包括：记录模块，用于记录所述第一摄像头拍摄所述第一图像的第一焦距f1，记录所述第二摄像头拍摄所述第二图像的第二焦距f2；第二确定模块，用于在所述第一图像上确定目标像素对应的成像点的位置，并在所述第二图像上确定所述目标像素对应的成像点的位置；第三确定模块，用于确定在所述第一图像上所述目标像素对应的成像点与所述第一摄像头到所述第一图像的中心点的第一距离X1，以及在所述第二图像上所述目标像素对应的成像点与所述第二摄像头到所述第二图像的中心点的第二距离X2；第一计算模块，用于根据以下公式计算目标像素的深度Z：

Z＝T*f1*f2/(X1*f2+X2*f1)

其中，T表示所述第一摄像头的中心点与所述第二摄像头的中心点的距离。

通过采用摄像头拍摄图像时的具体参数计算得到像素的深度信息，依次作为分割前景图像和背景图像的基础数据，能够准确定地表示出图像上各像素点在场景中的位置，进而实现前景图像和背景图像的准确分割。

结合本发明第二方面，本发明第二方面第三实施方式中，所述合成单元包括：移动模块，用于将所述第一图像与所述第二图像重叠，按照预设规则逐步移动第二图像；第二计算模块，用于计算所述第一图像与所述第二图像之间的重合区域的相似度；判断模块，用于判断所述相似度是否大于预设阈值；拼接模块，用于当所述相似度大于所述预设阈值时，将对应的重合区域作为所述第一图像和所述第二图像的共有区域，拼接得到所述第三图像。

通过计算重合区域的相似度来对图像的拼接位置，从而实现图像的准确拼接。

结合本发明第二方面的第三实施方式，本发明第二方面第四实施方式中，所述第二计算模块包括：获取子模块，用于获取所述第一图像在所述重合区域的灰度直方图和所述第二图像在所述重合区域的灰度直方图；计算子模块，用于计算所述第一图像在所述重合区域的灰度直方图和所述第二图像在所述重合区域的灰度直方图之间的欧式距离，将所述欧式距离作为所述相似度。

通过采用欧式距离作为相似度，能够提高图像相似度的判断的精度。

结合本发明第二方面，本发明第二方面第五实施方式中，还包括：虚化单元，用于在利用预先设置的背景图像替换所述第三图像的背景图像，得到替换背景后的第三图像之前，对所述预先设置的背景图像上的像素点进行中值滤波处理，得到虚化后的背景图像。

本发明第三方面提供了一种电子设备，包括：第一摄像头、第二摄像头、存储器和处理器，所述第一摄像头、所述第二摄像头、所述存储器和所述处理器之间通过总线互相连接，所述存储器中存储有计算机指令，所述处理器通过执行所述计算机指令，从而实现以下方法：控制所述第一摄像头拍摄第一图像，以及控制所述第二摄像头拍摄第二图像；将所述第一图像和所述第二图像合成为第三图像；计算所述第三图像上的像素的深度信息；根据所述像素的深度信息确定出所述第三图像上的前景图像和背景图像；利用预先设置的背景图像替换所述第三图像的背景图像，得到替换背景后的第三图像。

通过利用双摄像头拍摄图像，并进行图像的拼接，然后计算图像上像素的深度信息，利用图像上的像素的深度信息提取图像上的前景图像和背景图像，相对于现有技术中根据前景图像的轮廓与背景图像的像素区别来自动抠图的方式，本实施例的前景图像与背景图像的提取更加准确，并在拍摄得到图像后，直接利用预先设置的背景图像将拍摄的背景图像替换，无需进行后期处理，快速实现背景图像的替换。

附图说明

通过参考附图会更加清楚的理解本发明的特征和优点，附图是示意性的而不应理解为对本发明进行任何限制，在附图中：

图1是本发明实施例提供的图像处理方法的电子设备的硬件结构示意图；

图2是根据本发明实施例的图像处理方法的流程图；

图3是根据本发明实施例的一种示例的第一图像的示意图；

图4是与图3对应的第二图像的示意图；

图5是图3和图4合成后的第三图像的示意图；

图6是根据本发明实施例另一可选的图像处理方法的流程图；

图7是根据本发明实施例的像素深度计算过程的流程图；

图8示出了图7所示的深度计算的示意图；

图9是根据本发明实施例又一可选的图像处理方法的流程图；

图10是根据本发明实施例的电子设备的示意图；

图11是根据本发明实施例另一可选的电子设备的示意图；

图12是根据本发明实施例又一可选的电子设备的示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

图1是本发明实施例提供的图像处理方法的电子设备的硬件结构示意图，如图1所示，该电子设备包括一个或多个处理器101以及存储器102，还包括第一摄像头103、第二摄像头104和显示器105，以及与处理器连接的接口106。第一摄像头103和第二摄像头104用于拍摄同一场景，例如同为前置双摄像头或者后置双摄像头。

本发明实施例提供了一种图像处理方法，该图像处理方法可以用于本发明实施例上述中的电子设备。如图2所示，该图像处理方法包括：

步骤S201，控制第一摄像头拍摄第一图像，以及控制第二摄像头拍摄第二图像。

本实施例中，第一摄像头拍摄的第一图像和第二摄像头拍摄的第二图像均为初始图像，二者均为对同一场景所拍摄的图像。例如，用户自拍时，第一摄像头拍摄当前场景下包含用户人像的第一图像，第二摄像头拍摄同一场景下包含用户人像的第二图像。由于第一摄像头和第二摄像头的位置不同，其拍摄的角度不同，因此，第一图像和第二图像上的背景会存在一些区别。

步骤S202，将第一图像和第二图像合成为第三图像。

在两个摄像头分别拍摄得到相应的图像后，将二者合成为一张图像，也即是将第一图像与第二图像拼进行拼接，得到第三图像。

以水平放置的双摄像头为例，其中，左摄像头拍摄的图像如图3所示，称之为第一图像，右摄像头拍摄的图像如图4所示，称之为第二图像，由于单个摄像头(左摄像头或者右摄像头)拍摄的图像上的背景范围小，本实施例中，通过将两个摄像头拍摄的图像进行拼接，合成得到拼接后的第三图像，如图5所示，从而使得拍摄出的图像背景范围大，得到更大角度的视场。

步骤S203，计算第三图像上的像素的深度信息。

在合成得到第三图像后，可以计算该图像上每个像素的深度信息，其中，深度信息可以是指图像上的像素点在场景中的位置与摄像头之间的距离，本实施例中可以基于摄像头的拍摄图形时的相关参数进行计算。

步骤S204，根据像素的深度信息确定出第三图像上的前景图像和背景图像。

本实施例中，由于前景图像(如人像)所对应实物与背景图像所对应的实物与摄像头之间的距离不同，并且二者之间存在很大差值，基于该原理，本实施例通过利用像素的深度信息将第三图像上的前景图像和背景图像进行区分，从而可以准确定划清前景图像与背景图像之间的边界，实现前景图像和背景图像的准确提取。

步骤S205，利用预先设置的背景图像替换第三图像的背景图像，得到替换背景后的第三图像。

在确定出前景图像和背景图像之后，可以利用拍摄前预先设置的背景图像将确定出的背景图像替换掉，得到替换背景后的第三图像，将其输出。

根据本发明实施例，通过利用双摄像头拍摄图像，并进行图像的拼接，然后计算图像上像素的深度信息，利用图像上的像素的深度信息提取图像上的前景图像和背景图像，相对于现有技术中根据前景图像的轮廓与背景图像的像素区别来自动抠图的方式，本实施例的前景图像与背景图像的提取更加准确，并在拍摄得到图像后，直接利用预先设置的背景图像将拍摄的背景图像替换，无需进行后期处理，快速实现背景图像的替换。

图6是根据本发明实施例另一可选的图像处理方法的流程图。该实施例的图像处理方法可以用于本发明实施例上述中的电子设备。如图6所示，该图像处理方法包括：

步骤S601，控制第一摄像头拍摄第一图像，以及控制第二摄像头拍摄第二图像。

步骤S602，将第一图像和第二图像合成为第三图像。

步骤S603，计算第三图像上的像素的深度信息。

本实施例中，步骤S601-步骤S603与图2所示的步骤S201-步骤S203相同，具体参见上面描述，这里不再赘述。

步骤S604，依次将第三图像上每个像素的深度与深度阈值进行比较。

步骤S605，将深度大于深度阈值的像素组成的图像确定为背景图像；将深度小于深度阈值的像素组成的图像确定为前景图像。

本实施例中，对于第三图像上的前景图像和背景图像上的像素，可以通过设置的深度阈值进行确定。在拍照时，前景物体(如人物)一般距摄像头较近，而远处的背景离摄像头较远，两种深度信息差别很大。本实施例中，设置一个深度阈值，将距离大于该阈值的图像区域作为背景图像即背景景物图像，将小于该阈值的图像区域作为前景图像。具体地，可以依次判断每个像素的深度是否大于深度阈值，如果是，则作为背景图像的像素；如果否，则作为前景图像的像素；对所有像素执行完判断步骤之后，前景图像的像素组成前景图像，背景图像的像素组成背景图像，从而实现前景图像与背景图像的准确分割。

需要说明的是，本发明实施例中，深度阈值可以根据统计数据设置成一个固定值，也可以根据拍摄的场景自动进行调整，本发明并没有不当限定。

步骤S606，利用预先设置的背景图像替换第三图像的背景图像，得到替换背景后的第三图像。

根据本发明实施例，通过采用深度阈值作为分割前景图像和背景图像的判断条件，能够实现前景图像和背景图像的快速准确的分割。

图7是根据本发明实施例的像素深度计算过程的流程图。该实施例中所述的像素深度计算方法可以上述图2所示的步骤S203以及图6所示的步骤S603的一种可选实施方式，如图7和图8所示，采用以下步骤计算每个像素的深度：

步骤S701，记录第一摄像头拍摄第一图像的第一焦距f1，记录第二摄像头拍摄第二图像的第二焦距f2。

步骤S702，在第一图像上确定目标像素对应的成像点P的位置，并在第二图像上确定目标像素对应的成像点Q的位置。

步骤S703，确定在第一图像上目标像素对应的成像点P与第一摄像头到第一图像的中心点P’的第一距离X1，以及在第二图像上目标像素对应的成像点Q与第二摄像头到第二图像的中心点Q’的第二距离X2。

步骤S704，根据Z＝T*f1*f2/(X1*f2+X2*f1)计算目标像素的深度Z，其中，T表示第一摄像头的中心点与第二摄像头的中心点的距离。

利用该方法可以获得第三图形上的像素的深度信息。

根据本发明实施例，通过采用摄像头拍摄图像时的具体参数计算得到像素的深度信息，依次作为分割前景图像和背景图像的基础数据，能够准确定地表示出图像上各像素点在场景中的位置，进而实现前景图像和背景图像的准确分割。

需要说明的是，本实施例中所述的像素深度信息的计算方法仅适用于第三图像上关于第一图像和第二图像的重合区域，也即是包含前景图像的区域，对于重合区域以外的图像，可以直接认定为背景图像的一部分，无需进行像素深度的计算，从而能够降低计算量，实现图像的快速分割。

图9是根据本发明实施例又一可选的图像处理方法的流程图。该实施例的图像处理方法可以用于本发明实施例上述中的电子设备。如图9所示，该图像处理方法包括：

步骤S901，控制第一摄像头拍摄第一图像，以及控制第二摄像头拍摄第二图像。

该步骤与图2所示的步骤S201相同，具体参见上面描述，这里不再赘述。

步骤S902，将第一图像与第二图像重叠，按照预设规则逐步移动第二图像。

步骤S903，计算第一图像与第二图像之间的重合区域的相似度。

步骤S904，判断相似度是否大于预设阈值。

步骤S905，当相似度大于预设阈值时，将对应的重合区域作为第一图像和第二图像的共有区域，拼接得到第三图像。

具体地，第一摄像头拍摄的图像(如图3所示)，与第二摄像头拍摄的图像(如图4所示)进行全景拼接。两颗摄像头拍摄的图像会有重合区域。为了计算重合区域的大小，其中，一种规则的移动方式为：首先将图3与图4在图像3的最左处对齐，将图4从图3最左处开始，向右平移，平移时计算重合区域的相似度，判断其是否大于预设阈值，如果小于预设阈值，继续平移图4，直到重合区域相似度大于等于预设阈值，停止移动。在拼接过程中，可以将图4中重合区域以外的部分与图3进行拼接，得到最终的图像，如图5。

步骤S906，计算第三图像上的像素的深度信息。

步骤S907，根据像素的深度信息确定出第三图像上的前景图像和背景图像。

步骤S908，利用预先设置的背景图像替换第三图像的背景图像，得到替换背景后的第三图像。

步骤S906-步骤S908与图2所示的步骤S203-步骤S205相同，具体参见上面描述，这里不再赘述。

根据本发明实施例，通过计算重合区域的相似度来对图像的拼接位置，从而实现图像的准确拼接。

作为上述实施例的一种可选的实施方式，本实施例中，计算第一图像与第二图像之间的重合区域的相似度包括：获取第一图像在重合区域的灰度直方图和第二图像在重合区域的灰度直方图；计算第一图像在重合区域的灰度直方图和第二图像在重合区域的灰度直方图之间的欧式距离，将欧式距离作为相似度。

具体地，通过灰度直方图的相似度来计算重合区域的相似度：首先计算两幅重合区域图像的灰度直方图，获取从0-255灰度值的分布直方图，利用欧式距离公式计算两个灰度图像的欧式距离，将这个欧式距离作为上述中的相似度，与预设阈值进行对比，从而确定出重合区域。

根据本发明实施例，采用欧式距离作为相似度，能够提高图像相似度的判断的精度。

作为上述实施例的另一种可选的实施方式，由于拼接后图像容易出现明暗度不一致，本实施例中，可以采用直方图均衡或者对比度拉伸的方法进行图像处理，成为一幅色彩均衡，亮度均衡的第三图像。

作为另一种可选实施方式，本实施例中，在利用预先设置的背景图像替换第三图像的背景图像，得到替换背景后的第三图像之前，还包括：对预先设置的背景图像上的像素点进行中值滤波处理，得到虚化后的背景图像。

本实施例中值滤波处理可以是：对于一幅图像的像素矩阵，取以目标象素为中心的一个子矩阵窗口，这个窗口可以是3*3，5*5等根据需要选取，对窗口内的象素灰度排序，取中间一个值作为目标象素的新灰度值。

本实施例中只对属于背景图像的像素进行中值滤波，而不对前景图像进行中值滤波，由于背景与情景的交接区域会由于中值滤波导致边缘模糊，为了避免该问题，还可以对前景图像的边缘进行锐化。

本发明实施例提供了一种电子设备，如图10所示，该电子设备包括：控制单元100、合成单元200、计算单元300、确定单元400和替换单元500。

控制单元100用于控制第一摄像头拍摄第一图像，以及控制第二摄像头拍摄第二图像。

本实施例中，第一摄像头拍摄的第一图像和第二摄像头拍摄的第二图像均为初始图像，二者均为对同一场景所拍摄的图像。例如，用户自拍时，第一摄像头拍摄当前场景下包含用户人像的第一图像，第二摄像头拍摄同一场景下包含用户人像的第二图像。由于第一摄像头和第二摄像头的位置不同，其拍摄的角度不同，因此，第一图像和第二图像上的背景会存在一些区别。

合成单元200用于将第一图像和第二图像合成为第三图像。

在两个摄像头分别拍摄得到相应的图像后，将二者合成为一张图像，也即是将第一图像与第二图像拼进行拼接，得到第三图像。

以水平放置的双摄像头为例，其中，左摄像头拍摄的图像如图3所示，称之为第一图像，右摄像头拍摄的图像如图4所示，称之为第二图像，由于单个摄像头(左摄像头或者右摄像头)拍摄的图像上的背景范围小，本实施例中，通过将两个摄像头拍摄的图像进行拼接，合成得到拼接后的第三图像，如图5所示，从而使得拍摄出的图像背景范围大，得到更大角度的视场。

计算单元300用于计算第三图像上的像素的深度信息。

在合成得到第三图像后，可以计算该图像上每个像素的深度信息，其中，深度信息可以是指图像上的像素点在场景中的位置与摄像头之间的距离，本实施例中可以基于摄像头的拍摄图形时的相关参数进行计算。

确定单元400用于根据像素的深度信息确定出第三图像上的前景图像和背景图像。

本实施例中，由于前景图像(如人像)所对应实物与背景图像所对应的实物与摄像头之间的距离不同，并且二者之间存在很大差值，基于该原理，本实施例通过利用像素的深度信息将第三图像上的前景图像和背景图像进行区分，从而可以准确定划清前景图像与背景图像之间的边界，实现前景图像和背景图像的准确提取。

替换单元500用于利用预先设置的背景图像替换第三图像的背景图像，得到替换背景后的第三图像。

在确定出前景图像和背景图像之后，可以利用拍摄前预先设置的背景图像将确定出的背景图像替换掉，得到替换背景后的第三图像，将其输出。

根据本发明实施例，通过利用双摄像头拍摄图像，并进行图像的拼接，然后计算图像上像素的深度信息，利用图像上的像素的深度信息提取图像上的前景图像和背景图像，相对于现有技术中根据前景图像的轮廓与背景图像的像素区别来自动抠图的方式，本实施例的前景图像与背景图像的提取更加准确，并在拍摄得到图像后，直接利用预先设置的背景图像将拍摄的背景图像替换，无需进行后期处理，快速实现背景图像的替换。

图11是根据本发明实施例另一可选的电子设备的示意图。如图11所示，该电子设备包括：控制单元100、合成单元200、计算单元300、确定单元400和替换单元500。其中，确定单元400包括：比较模块401和第一确定模块402。控制单元100、合成单元200、计算单元300和替换单元500与图10所示的各单元相同，具体参见上面描述。

比较模块401用于依次将第三图像上每个像素的深度与深度阈值进行比较。

第一确定模块402用于将深度大于深度阈值的像素组成的图像确定为背景图像；将深度小于深度阈值的像素组成的图像确定为前景图像。

本实施例中，对于第三图像上的前景图像和背景图像上的像素，可以通过设置的深度阈值进行确定。在拍照时，前景物体(如人物)一般距摄像头较近，而远处的背景离摄像头较远，两种深度信息差别很大。本实施例中，设置一个深度阈值，将距离大于该阈值的图像区域作为背景图像即背景景物图像，将小于该阈值的图像区域作为前景图像。具体地，可以依次判断每个像素的深度是否大于深度阈值，如果是，则作为背景图像的像素；如果否，则作为前景图像的像素；对所有像素执行完判断步骤之后，前景图像的像素组成前景图像，背景图像的像素组成背景图像，从而实现前景图像与背景图像的准确分割。

需要说明的是，本发明实施例中，深度阈值可以根据统计数据设置成一个固定值，也可以根据拍摄的场景自动进行调整，本发明并没有不当限定。

根据本发明实施例，通过采用深度阈值作为分割前景图像和背景图像的判断条件，能够实现前景图像和背景图像的快速准确的分割。

图12是根据本发明实施例又一可选的电子设备的示意图。如图12所示，该电子设备包括：控制单元100、合成单元200、计算单元300、确定单元400和替换单元500。其中，计算单元300包括：记录模块301、第二确定模块302、第三确定模块303和第一计算模块304。控制单元100、合成单元200、确定单元400和替换单元500与图10所示的各单元相同，具体参见上面描述。

记录模块301用于记录第一摄像头拍摄第一图像的第一焦距f1，记录第二摄像头拍摄第二图像的第二焦距f2。

第二确定模块302用于在第一图像上确定目标像素对应的成像点的位置，并在第二图像上确定目标像素对应的成像点的位置。

第三确定模块303用于确定在第一图像上目标像素对应的成像点与第一摄像头到第一图像的中心点的第一距离X1，以及在第二图像上目标像素对应的成像点与第二摄像头到第二图像的中心点的第二距离X2。

第一计算模块304用于根据以下公式计算目标像素的深度Z：

Z＝T*f1*f2/(X1*f2+X2*f1)

其中，T表示第一摄像头的中心点与第二摄像头的中心点的距离。

利用该方法可以获得第三图形上的像素的深度信息。

根据本发明实施例，通过采用摄像头拍摄图像时的具体参数计算得到像素的深度信息，依次作为分割前景图像和背景图像的基础数据，能够准确定地表示出图像上各像素点在场景中的位置，进而实现前景图像和背景图像的准确分割。

需要说明的是，本实施例中所述的像素深度信息的计算方法仅适用于第三图像上关于第一图像和第二图像的重合区域，也即是包含前景图像的区域，对于重合区域以外的图像，可以直接认定为背景图像的一部分，无需进行像素深度的计算，从而能够降低计算量，实现图像的快速分割。

作为一种可选的实施方式，本实施例中的合成单元包括：移动模块，用于将第一图像与第二图像重叠，按照预设规则逐步移动第二图像；第二计算模块，用于计算第一图像与第二图像之间的重合区域的相似度；判断模块，用于判断相似度是否大于预设阈值；拼接模块，用于当相似度大于预设阈值时，将对应的重合区域作为第一图像和第二图像的共有区域，拼接得到第三图像。

具体地，第一摄像头拍摄的图像(如图3所示)，与第二摄像头拍摄的图像(如图4所示)进行全景拼接。两颗摄像头拍摄的图像会有重合区域。为了计算重合区域的大小，其中，一种规则的移动方式为：首先将图3与图4在图像3的最左处对齐，将图4从图3最左处开始，向右平移，平移时计算重合区域的相似度，判断其是否大于预设阈值，如果小于预设阈值，继续平移图4，直到重合区域相似度大于等于预设阈值，停止移动。在拼接过程中，可以将图4中重合区域以外的部分与图3进行拼接，得到最终的图像，如图5。

根据本发明实施例，通过计算重合区域的相似度来对图像的拼接位置，从而实现图像的准确拼接。

作为上述实施例的一种可选的实施方式，本实施例中的第二计算模块包括：获取子模块，用于获取第一图像在重合区域的灰度直方图和第二图像在重合区域的灰度直方图；计算子模块，用于计算第一图像在重合区域的灰度直方图和第二图像在重合区域的灰度直方图之间的欧式距离，将欧式距离作为相似度。

具体地，通过灰度直方图的相似度来计算重合区域的相似度：首先计算两幅重合区域图像的灰度直方图，获取从0-255灰度值的分布直方图，利用欧式距离公式计算两个灰度图像的欧式距离，将这个欧式距离作为上述中的相似度，与预设阈值进行对比，从而确定出重合区域。

根据本发明实施例，采用欧式距离作为相似度，能够提高图像相似度的判断的精度。

作为上述实施例的另一种可选的实施方式，由于拼接后图像容易出现明暗度不一致，本实施例中，可以采用直方图均衡或者对比度拉伸的方法进行图像处理，成为一幅色彩均衡，亮度均衡的第三图像。

作为另一种可选实施方式，本实施例中，电子设备还包括：虚化单元，用于在利用预先设置的背景图像替换第三图像的背景图像，得到替换背景后的第三图像之前，对预先设置的背景图像上的像素点进行中值滤波处理，得到虚化后的背景图像。

本实施例中值滤波处理可以是：对于一幅图像的像素矩阵，取以目标象素为中心的一个子矩阵窗口，这个窗口可以是3*3，5*5等根据需要选取，对窗口内的象素灰度排序，取中间一个值作为目标象素的新灰度值。

本实施例中只对属于背景图像的像素进行中值滤波，而不对前景图像进行中值滤波，由于背景与情景的交接区域会由于中值滤波导致边缘模糊，为了避免该问题，还可以对前景图像的边缘进行锐化。

本发明实施例还提供了一种电子设备，如图1所示，包括一个或多个处理器101以及存储器102，还包括第一摄像头103、第二摄像头104，第一摄像头103、第二摄像头104、存储器102和处理器101之间可以通过总线互相连接，第一摄像头103和第二摄像头104用于拍摄同一场景，例如同为前置双摄像头或者后置双摄像头，第一摄像头103可以用于在其角度上拍摄一场景的第一图像，第二摄像头104可以用于在其角度上拍摄同一场景的第二图像。

接口106可以实现第一摄像头103和第二摄像头104以及显示器105等元器件与处理器101的数据通信，例如，图像数据的传输，控制命令的传输等。存储器102可以用于存储上述图像处理方法中所用到的或者产生的数据，例如，拍摄的第一图像数据和第二图像数据、合成的第三图像数据、计算得到的深度信息、背景图像数据、前景图像数据等。显示器105则可以在处理器101的控制下显示合成或者替换背景后的图像。

所述存储器102中还存储有计算机指令，所述处理器101通过执行所述计算机指令，从而实现以下方法：

控制所述第一摄像头拍摄第一图像，以及控制所述第二摄像头拍摄第二图像；

将所述第一图像和所述第二图像合成为第三图像；

计算所述第三图像上的像素的深度信息；

根据所述像素的深度信息确定出所述第三图像上的前景图像和背景图像；

利用预先设置的背景图像替换所述第三图像的背景图像，得到替换背景后的第三图像。

通过利用双摄像头拍摄图像，并进行图像的拼接，然后计算图像上像素的深度信息，利用图像上的像素的深度信息提取图像上的前景图像和背景图像，相对于现有技术中根据前景图像的轮廓与背景图像的像素区别来自动抠图的方式，本实施例的前景图像与背景图像的提取更加准确，并在拍摄得到图像后，直接利用预先设置的背景图像将拍摄的背景图像替换，无需进行后期处理，快速实现背景图像的替换。

可选地，本发明的一些实施例中，处理器101通知执行计算命令还可以实现以下方法：

依次将所述第三图像上每个像素的深度与深度阈值进行比较；

将深度大于所述深度阈值的像素组成的图像确定为所述背景图像；将深度小于所述深度阈值的像素组成的图像确定为所述前景图像。

可选地，本发明的一些实施例中，处理器101通知执行计算命令还可以实现以下方法：

记录所述第一摄像头拍摄所述第一图像的第一焦距f1，记录所述第二摄像头拍摄所述第二图像的第二焦距f2；

在所述第一图像上确定目标像素对应的成像点的位置，并在所述第二图像上确定所述目标像素对应的成像点的位置；

确定在所述第一图像上所述目标像素对应的成像点与所述第一摄像头到所述第一图像的中心点的第一距离X1，以及在所述第二图像上所述目标像素对应的成像点与所述第二摄像头到所述第二图像的中心点的第二距离X2；

根据以下公式计算目标像素的深度Z：

Z＝T*f1*f2/(X1*f2+X2*f1)

其中，T表示所述第一摄像头的中心点与所述第二摄像头的中心点的距离。

可选地，本发明的一些实施例中，处理器101通知执行计算命令还可以实现以下方法：

将所述第一图像与所述第二图像重叠，按照预设规则逐步移动第二图像；

计算所述第一图像与所述第二图像之间的重合区域的相似度；

判断所述相似度是否大于预设阈值；

当所述相似度大于所述预设阈值时，将对应的重合区域作为所述第一图像和所述第二图像的共有区域，拼接得到所述第三图像。

可选地，本发明的一些实施例中，处理器101通知执行计算命令还可以实现以下方法：

获取所述第一图像在所述重合区域的灰度直方图和所述第二图像在所述重合区域的灰度直方图；

计算所述第一图像在所述重合区域的灰度直方图和所述第二图像在所述重合区域的灰度直方图之间的欧式距离，将所述欧式距离作为所述相似度。

可选地，本发明的一些实施例中，处理器101通知执行计算命令还可以实现以下方法：

对所述预先设置的背景图像上的像素点进行中值滤波处理，得到虚化后的背景图像。

上述方法具体参见上述本发明实施例中提供的图像处理方法的实施例，这里不做赘述。

本领域技术人员可以理解，实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(ROM)或随机存储记忆体(RAM)等。

虽然结合附图描述了本发明的实施例，但是本领域技术人员可以在不脱离本发明的精神和范围的情况下作出各种修改和变型，这样的修改和变型均落入由所附权利要求所限定的范围之内。

Claims (6)

1.一种图像处理方法，所述图像处理方法用于设置有第一摄像头和第二摄像头的电子设备，所述第一摄像头和所述第二摄像头用于拍摄同一场景，其特征在于，所述图像处理方法包括：

控制所述第一摄像头拍摄第一图像，以及控制所述第二摄像头拍摄第二图像；

将所述第一图像和所述第二图像合成为第三图像；

计算所述第三图像上的像素的深度信息；

根据所述像素的深度信息确定出所述第三图像上的前景图像和背景图像；

利用预先设置的背景图像替换所述第三图像的背景图像，得到替换背景后的第三图像；

采用以下步骤计算每个像素的深度：

记录所述第一摄像头拍摄所述第一图像的第一焦距f1，记录所述第二摄像头拍摄所述第二图像的第二焦距f2；

在所述第一图像上确定目标像素对应的成像点的位置，并在所述第二图像上确定所述目标像素对应的成像点的位置；

确定在所述第一图像上所述目标像素对应的成像点与所述第一摄像头到所述第一图像的中心点的第一距离X1，以及在所述第二图像上所述目标像素对应的成像点与所述第二摄像头到所述第二图像的中心点的第二距离X2；

根据以下公式计算目标像素的深度Z：

Z＝T*f1*f2/(X1*f2+X2*f1)

其中，T表示所述第一摄像头的中心点与所述第二摄像头的中心点的距离；

将所述第一图像和所述第二图像合成为第三图像包括：

将所述第一图像与所述第二图像重叠，按照预设规则逐步移动第二图像；

计算所述第一图像与所述第二图像之间的重合区域的相似度；

判断所述相似度是否大于预设阈值；

当所述相似度大于所述预设阈值时，将对应的重合区域作为所述第一图像和所述第二图像的共有区域，拼接得到所述第三图像；

计算所述第一图像与所述第二图像之间的重合区域的相似度包括：

获取所述第一图像在所述重合区域的灰度直方图和所述第二图像在所述重合区域的灰度直方图；

计算所述第一图像在所述重合区域的灰度直方图和所述第二图像在所述重合区域的灰度直方图之间的欧式距离，将所述欧式距离作为所述相似度。

2.根据权利要求1所述的图像处理方法，其特征在于，根据所述像素的深度信息确定出所述第三图像上的前景图像和背景图像包括：

依次将所述第三图像上每个像素的深度与深度阈值进行比较；

将深度大于所述深度阈值的像素组成的图像确定为所述背景图像；将深度小于所述深度阈值的像素组成的图像确定为所述前景图像。

3.根据权利要求1所述的图像处理方法，其特征在于，利用预先设置的背景图像替换所述第三图像的背景图像，得到替换背景后的第三图像之前，还包括：

对所述预先设置的背景图像上的像素点进行中值滤波处理，得到虚化后的背景图像。

4.一种电子设备，所述电子设备上设置有第一摄像头和第二摄像头，所述第一摄像头和所述第二摄像头用于拍摄同一场景，其特征在于，所述电子设备包括：

控制单元，用于控制所述第一摄像头拍摄第一图像，以及控制所述第二摄像头拍摄第二图像；

合成单元，用于将所述第一图像和所述第二图像合成为第三图像；

计算单元，用于计算所述第三图像上的像素的深度信息；

确定单元，用于根据所述像素的深度信息确定出所述第三图像上的前景图像和背景图像；

替换单元，用于利用预先设置的背景图像替换所述第三图像的背景图像，得到替换背景后的第三图像；

所述计算单元包括：

记录模块，用于记录所述第一摄像头拍摄所述第一图像的第一焦距f1，记录所述第二摄像头拍摄所述第二图像的第二焦距f2；

第二确定模块，用于在所述第一图像上确定目标像素对应的成像点的位置，并在所述第二图像上确定所述目标像素对应的成像点的位置；

第三确定模块，用于确定在所述第一图像上所述目标像素对应的成像点与所述第一摄像头到所述第一图像的中心点的第一距离X1，以及在所述第二图像上所述目标像素对应的成像点与所述第二摄像头到所述第二图像的中心点的第二距离X2；

第一计算模块，用于根据以下公式计算目标像素的深度Z：

Z＝T*f1*f2/(X1*f2+X2*f1)

其中，T表示所述第一摄像头的中心点与所述第二摄像头的中心点的距离；

所述合成单元包括：

移动模块，用于将所述第一图像与所述第二图像重叠，按照预设规则逐步移动第二图像；

第二计算模块，用于计算所述第一图像与所述第二图像之间的重合区域的相似度；

判断模块，用于判断所述相似度是否大于预设阈值；

拼接模块，用于当所述相似度大于所述预设阈值时，将对应的重合区域作为所述第一图像和所述第二图像的共有区域，拼接得到所述第三图像；

所述第二计算模块包括：

获取子模块，用于获取所述第一图像在所述重合区域的灰度直方图和所述第二图像在所述重合区域的灰度直方图；

计算子模块，用于计算所述第一图像在所述重合区域的灰度直方图和所述第二图像在所述重合区域的灰度直方图之间的欧式距离，将所述欧式距离作为所述相似度。

5.根据权利要求4所述的电子设备，其特征在于，所述确定单元包括：

比较模块，用于依次将所述第三图像上每个像素的深度与深度阈值进行比较；

第一确定模块，用于将深度大于所述深度阈值的像素组成的图像确定为所述背景图像；将深度小于所述深度阈值的像素组成的图像确定为所述前景图像。

6.根据权利要求4所述的电子设备，其特征在于，还包括：

虚化单元，用于在利用预先设置的背景图像替换所述第三图像的背景图像，得到替换背景后的第三图像之前，对所述预先设置的背景图像上的像素点进行中值滤波处理，得到虚化后的背景图像。

Images