CN104025151A - 用于创建组合图像的方法和电子装置 - Google Patents

Abstract

通过一种电子装置(800)中用于创建组合图像的方法来实现目的。所述方法包括获得(701)通过图像记录单元阵列记录的第一组的至少两个子图像。所述方法还包括获得(702)通过图像记录单元阵列记录的第二组的至少两个子图像。针对第一组子图像计算(703)第一深度图。第一深度图包括关于子图像的第一平面和子图像的第二平面的信息。第一平面在距子图像被记录的点的第一距离处，并且第二平面在距子图像被记录的点的第二距离处。针对第二组子图像计算(704)第二深度图。第二深度图包括关于第一平面和第二平面的信息。所述方法还包括在第一平面中将第一组子图像和第二组子图像拼接(705)，由此获得第一拼接图像。在第二平面中将第一组子图像和第二组子图像拼接(705)，由此获得第二拼接图像。最后，所述方法包括将第一拼接图像与第二拼接图像组合(706)，由此创建组合图像。

Description

用于创建组合图像的方法和电子装置

技术领域

本文的实施方式涉及电子装置及其方法。本文的实施方式通常涉及图像处理，具体地讲，本文的实施方式涉及创建至少两个子图像的组合图像。

背景技术

在摄影中，无法利用所有相机拍摄全景图像。拍摄全景图像通常需要广角镜头。从一系列图像创建全景图像的一种方式是通过所谓的拼接方法。在有一些重叠的情况下捕获各个图像，以允许恰当的配准。优选地从同一位置拍摄图像。

恰当的配准可包括用于校正光学失真以及由操作手持相机的用户引起的不当调平的变换。尽管通常在拼接软件中处理那些校正，但仍存在无法容易地校正的另一问题。

如果未精确地从同一位置拍摄图像，并且如果图像中存在前景和背景二者，则可能出现新的问题。即使可关于背景来拼接图像，但两个图像的前景可能没有正确对齐。这一问题称为内部视差。下面将更详细地描述这一问题。

图1示出相机中所包括的镜头100，镜头100具有第一节平面101、轴线102和焦平面103。第一节平面101与轴线102相交于第一主点104处。两个物体(物体A105和物体B106)位于距镜头100的不同距离处。物体在焦平面103处成像。图2示出焦平面103处的结果图像。可以看到物体A105在物体B106的后面。

在图3中，相机(因此，镜头100)绕第一主点104转动。两个物体105、106仍位于穿过第一主点104的直线300上。两个物体105、106在焦平面103处的像将看起来与图2的布置几乎相同，不同的是现在物体将更靠近图像的边缘出现，而在参照图1描述的示例中它们出现在中心。

在图4中，与图1中的第一主点104相反，相机现在绕点p400转动。注意的是，两个物体105、106未排列于穿过第一节点104的同一线上。标记物体的中心的两条线C₁401和C₂402现在略微分离地落在焦平面103上。在焦平面103处的像中，更靠近相机的物体b106将不与更远离相机的物体a105成一条线。这示出在图5中。

从参照图1至图5的描述可以理解，只有在相机绕镜头100的第一主点104旋转的情况下，我们才能生成完美的拼接图像。当用手持握相机时这当然是不可能做到的。即使当相机被安装在三脚架上时，也必须精确地对准和校准。

发明内容

因此，本文的实施方式的目的是提供一种改进拼接过程的方式。

依据实施方式的第一方面，提供一种电子装置中用于创建组合图像的方法。所述方法包括获得通过图像记录单元阵列记录的第一组的至少两个子图像。记录单元阵列可以是(例如)阵列相机。所述方法还包括获得通过图像记录单元阵列记录的第二组的至少两个子图像。针对第一组的子图像计算第一深度图，所述第一深度图包括关于子图像的第一平面和子图像的第二平面的信息，第一平面在距子图像被记录的点的第一距离处，第二平面在距子图像被记录的点的第二距离处。针对第二组的子图像计算第二深度图，所述第二深度图包括关于第一平面和第二平面的信息。所述方法还包括在第一平面中将第一组的子图像和第二组的子图像拼接，由此获得第一拼接图像。还在第二平面中将第一组的子图像和第二组的子图像拼接，由此获得第二拼接图像。最后，将第一拼接图像与第二拼接图像组合，由此创建组合图像。

依据实施方式的第二方面，提供一种用于创建组合图像的电子装置。所述电子装置包括第一获得单元，其适于获得通过图像记录单元阵列记录的第一组的至少两个子图像。第二获得单元适于获得通过图像记录单元阵列记录的第二组的至少两个子图像。所述电子装置包括第一计算单元，其适于针对第一组的子图像计算第一深度图，所述第一深度图包括关于子图像的第一平面和子图像的第二平面的信息，所述第一平面在距子图像被记录的点的第一距离处，所述第二平面在距子图像被记录的点的第二距离处。所述电子装置还包括第二计算单元，其适于针对第二组的子图像计算第二深度图；所述第二深度图包括关于第一平面和第二平面的信息。第一拼接单元适于在第一平面中将第一组的子图像和第二组的子图像拼接，由此获得第一拼接图像。第二拼接单元适于在第二平面中将第一组的子图像和第二组的子图像拼接，由此获得第二拼接图像。最后，组合单元适于将第一拼接图像与第二拼接图像组合，由此创建组合图像。

所述实施方式解决上述问题的原因在于计算了深度图，并且电子装置针对未从精确相同的位置记录的子图像进行补偿。

本文的实施方式的一个优点是提供改进的组合图像。

本文的实施方式的另一优点是对用户减少了从相同位置记录子图像的要求。

本文的实施方式的另一优点是即使未从相同位置记录子图像，组合图像中的前景和背景也将对齐。

附图说明

参照附图更详细地描述本文的实施方式的示例，其中：

图1是示出根据现有技术的相机中所包括的镜头的示意性框图；

图2是与图1有关的说明图；

图3是示出根据现有技术的相机中所包括的镜头的示意性框图；

图4是示出现有技术的问题的示意性框图；

图5是与图4有关的说明图；

图6是根据本文的实施方式的电子装置的说明图；

图7是描述电子装置中的方法的实施方式的流程图；

图8示出电子装置的实施方式；以及

图9是相机及其图示的物体的说明图。

具体实施方式

将以非限制性描述方式来举例说明实施方式。

为了创建诸如全景或三维的组合图像，至少两个子图像具有一些物理间隔地被记录。可利用一个相机来记录这些子图像，所述相机在记录之间略向一侧移动。还可利用任何阵列相机来记录组合图像。阵列相机由多个子相机组成。图6示出电子装置600的简化图，电子装置600包括由16个子相机602组成的阵列相机601。应该注意的是，阵列相机601可具有任何数量(两个或更多个)的子相机。假设子相机602或记录子图像的点之间的距离603通常远比子相机与子图像中的图示物体之间的距离小(小十倍)。电子装置600、800可以是(例如)相机、移动电话、平板计算机或任何类型的计算机。

校正两个图像(如，两个子图像)之间的内部视差时的问题是一个物体或多个物体的遮挡(occlusion)。不知道物体后面是什么，因此当通过移动物体来校正视差时，未知内容的点出现。由阵列相机创建的16个子图像将表现出不同量的内部视差。与仅两个的一组图像相反，那些子图像将包含大量冗余信息。16个子图像的内部视差保存有丰富的一组信息。

如果没有子相机绕或接近绕第一主点旋转，则我们仍比使用单镜头相机情况要好。子相机之间的内部视差可用于检测组合图像的什么区域受未对准的影响以及检测误差量。该信息然后可用于通过移动组合图像的受影响的区域的内容直至实现配准来校正一个物体或多个物体的遮挡的问题。当使用单镜头相机时这种动作导致遮挡效果(我们无法看到后面的物体)。另一方面，阵列相机生成一组子图像，其中内部视差使遮挡最小化或消除了遮挡。因此，可检测、测量并校正由第一节点与相机的实际旋转中心之间的未对准引起的内部视差。

图9示意性地示出相机900及其图示物体。相机在记录第一物体901和第二物体902。第一物体901及其相邻物体(未示出)位于第一平面中。第一平面位于距相机900第一距离903处。第二物体902及其相邻物体(未示出)位于第二平面中。第二平面位于距相机900第二距离904处。第一平面不同于第二平面。

现在将参照图7所描述的流程图描述用于创建组合图像的电子装置中的方法的实施方式。组合图像可以是(例如)全景图像或三维图像。所述方法包括以下动作，所述动作可按照除了下述顺序之外的另一合适顺序执行：

动作701

获得第一组的至少两个子图像。通过图像记录单元的阵列(如，电子装置800中所包括的阵列相机)来记录第一组子图像。

阵列相机可包括至少两个子相机，所述至少子相机适于各自生成所述至少两个子图像当中的一个子图像。在这种情况下，如参照图6所示，所述至少两个子相机可彼此相邻地安装。另选地，所述至少两个子相机可安装在电子装置800内的不同位置。例如，如果电子装置800是移动电话，则两个子相机可设置在移动相机的背面，但一个相机可设置在顶部，另一个相机设置在底部。当记录一组至少两个子图像时，记录子图像的至少两个子相机基本上指向相同的方向，但在空间中有一些间隔。理想的是所述至少两个子相机应该指向相同的方向，但几度的差异也是可以的。对于本领域技术人员显而易见的是，子相机之间间隔为多少是优选的。

阵列相机还可包括由一个相机至少在两个不同的位置处拍摄的至少两个子图像。在这种情况下，这两个子图像是利用同一相机记录的，但该相机在记录之间略微移动。对于本领域技术人员显而易见的是，相机应该移动多少。

动作702

通过图像记录单元的阵列记录第二组的至少两个子图像。至少两个子图像的记录可按照参照动作701所描述的相同方式来进行。

第一组子图像和第二组子图像是利用指向不同方向的阵列相机记录的，但优选的是，在第一组子图像和第二组子图像之间存在一些重叠。

动作703

针对第一组子图像计算第一深度图。第一深度图包括关于子图像中的图示物体与子图像被记录的点之间的距离的信息。可利用现有技术中已知的任何方法来创建第一深度图。第一深度图包括关于子图像的第一平面和子图像的第二平面的信息。第一平面在距子图像被记录的点的第一距离处，第二平面在距子图像被记录的点的第二距离处。这两个平面可(例如)表示图像中的前景和背景。这两个平面可利用深度图中的信息来限定。

第一平面与子图像被记录的点之间的距离可大于第二平面与子图像被记录的点之间的距离。

动作704

针对第二组子图像计算第二深度图。第二深度图包括关于第一平面和第二平面的信息。第二深度图可按照与第一深度图相同的方式创建。这一计算可按照动作703中所描述的相同方式来执行。

动作705

在第一平面中将第一组子图像和第二组子图像拼接，由此获得第一拼接图像。在现有技术中存在用于将两个图像拼接的许多不同技术。

如背景技术中所述，更远处的平面中的物体可能被前景中的物体隐藏。可通过第一组子图像和第二组子图像中的一方，利用来自第一组子图像和第二组子图像的信息(即，第一平面中的被第二平面中的物体隐藏的信息)再创建第一拼接图像中的信息。更远处的平面中的信息在一些子图像中可能被隐藏，但在其它子图像中没有被隐藏。在再创建更远处的平面中的信息时使用来自多个子图像的信息。

动作706

在第二平面中将第一组子图像和第二组子图像拼接，由此获得第二拼接图像。此拼接可按照与动作705中的拼接相同的方式来执行。

动作707

可在第三平面中将第一组子图像和第二组子图像拼接，由此获得第三拼接图像。此拼接可按照与动作705中的拼接相同的方式来执行。

动作708

将第一拼接图像与第二拼接图像组合，由此创建组合图像。现有技术中存在可将第一拼接图像与第二拼接图像组合的多种已知方法。

将第一拼接图像与第二拼接图像组合的一种方法可以是将第二拼接图像设置在第一拼接图像的前面。

根据另一实施方式，可利用深度图限定不止两个平面。第一深度图和第二深度图的计算还可基于关于第三平面的信息进行，所述第三平面在距子图像被记录的点的第三距离处。在第三平面中将第一组子图像和第二组子图像拼接，由此获得第三拼接图像。第一拼接图像和第二拼接图像进一步与第三拼接图像组合以生成组合图像。

这里所描述的实施方式不限于在两个或三个平面中执行拼接。第一深度图和第二深度图的计算还可基于关于n个平面的信息进行，其中n是自然数。这n个平面在距子图像被记录的点的n个距离处。在n个平面中的各个平面中将第一组子图像和第二组子图像拼接，由此获得n个拼接图像。第一拼接图像和第二拼接图像进一步与这n个拼接图像组合以生成组合图像。

本文参照图8描述根据实施方式的电子装置800。电子装置800可以是(例如)相机、移动电话、平板或任何类型的计算机。电子装置800适于创建组合图像。组合图像是多个图像的组合，如，全景图像。

电子装置800包括第一获得单元801，第一获得单元801适于获得通过阵列相机记录的第一组的至少两个子图像。第一获得单元801还可实现以上参照动作701所描述的所有动作。

电子装置800还包括第二获得单元802，第二获得单元802适于获得通过阵列相机记录的第一组的至少两个子图像。第二获得单元802还可实现以上参照动作702所描述的所有动作。

电子装置800包括第一计算单元803，第一计算单元803适于针对第一组子图像计算第一深度图。第一深度图包括关于子图像的第一平面和子图像的第二平面的信息。第一平面在距子图像被记录的点的第一距离处，第二平面在距子图像被记录的点的第二距离处。第一计算单元803还可实现以上参照动作703所描述的所有动作。

电子装置800还包括第二计算单元804，第二计算单元804适于针对第二组子图像计算第二深度图。第二深度图包括关于第一平面和第二平面的信息。第二计算单元804还可实现以上参照动作704所描述的所有动作。

电子装置800包括第一拼接单元805，第一拼接单元805适于在第一平面中将第一组子图像和第二组子图像拼接，由此获得第一拼接图像。第一拼接单元805还可实现以上参照动作705所描述的所有动作。

电子装置800还包括第二拼接单元806，第二拼接单元806适于在第二平面中将第一组子图像和第二组子图像拼接，由此获得第二拼接图像。第二拼接单元806还可实现以上参照动作706所描述的所有动作。

电子装置800还包括组合单元807，组合单元807适于将第一拼接图像与第二拼接图像组合，由此创建组合图像。组合单元807还可实现以上参照动作708所描述的所有动作。

本文用于创建组合图像的实施方式可通过一个或更多个处理器(例如，图8所示的电子装置800中的处理电路808)以及用于执行本文实施方式的功能和/或方法步骤的计算机程序代码来实现。所述程序代码还可作为计算机程序产品例如按在载入电子装置800中时携带用于执行本文实施方式的计算机程序代码的数据载体的形式提供。一种这样的载体可以是CD ROM盘的形式。然而，诸如记忆棒的其它数据载体也是可行的。另外，计算机程序代码可作为服务器上的纯程序代码提供并被下载到电子装置800。

本领域技术人员还将理解，上述第一获得单元801、第二获得单元802、第一计算单元803、第二计算单元804、第一拼接单元805、第二拼接单元806和组合单元807可表示模拟和数字电路的组合、和/或配置有(例如)存储在存储器中的软件和/或固件的一个或更多个处理器，所述软件和/或固件由所述一个或更多个处理器执行。这些处理器中的一个或更多个以及其它数字硬件可被包括在单个专用集成电路(ASIC)中，或者多个处理器和各种数字硬件可分布于多个单独的组件中(无论单独地封装还是组装成片上***(SoC))。

计算机程序产品能够被载入计算机的存储器中，并且包括在电子装置800中执行时适于实现电子装置800的一个或更多个特征和/或执行上述方法的一个或更多个动作的软件代码部分。

当使用词语“包括”或“包含”时，它应该被解释为非限制性的，即，表示“至少由……组成”。

本文的实施方式不限于上述优选实施方式。可使用各种替代形式、修改形式和等同形式。因此，所述实施方式不应被认为限制本发明的范围，本发明的范围由所附权利要求限定。

Claims (15)

1.一种在电子装置(800)中用于创建组合图像的方法，该方法包括以下步骤：

获得(701)通过图像记录单元阵列记录的第一组的至少两个子图像；

获得(702)通过所述图像记录单元阵列记录的第二组的至少两个子图像；

针对所述第一组的子图像计算(703)第一深度图，所述第一深度图包括关于所述子图像的第一平面和所述子图像的第二平面的信息，所述第一平面在距所述子图像被记录的点的第一距离处，并且所述第二平面在距所述子图像被记录的点的第二距离处；

针对所述第二组的子图像计算(704)第二深度图，所述第二深度图包括关于所述第一平面和所述第二平面的信息；

在所述第一平面中将所述第一组的子图像和所述第二组的子图像拼接(705)，由此获得第一拼接图像；

在所述第二平面中将所述第一组的子图像和所述第二组的子图像拼接(706)，由此获得第二拼接图像；以及

将所述第一拼接图像与所述第二拼接图像组合(708)，由此创建组合图像。

2.根据权利要求1所述的方法，其中，所述第一平面与所述子图像被记录的点之间的距离大于所述第二平面与所述子图像被记录的点之间的距离。

3.根据权利要求2所述的方法，其中，将所述第一拼接图像与所述第二拼接图像组合的步骤包括：将所述第二拼接图像设置在所述第一拼接图像的前面。

4.根据权利要求1-3中任一项所述的方法，其中，所述第一深度图和所述第二深度图的计算(703,704)还基于关于第三平面的信息，所述第三平面在距所述子图像被记录的点的第三距离处，所述方法还包括

在所述第三平面中将所述第一组的子图像和所述第二组的子图像拼接(707)，由此获得第三拼接图像，并且其中，将所述第一拼接图像与所述第二拼接图像组合(708)的步骤还包括与所述第三拼接图像组合。

5.根据权利要求1-4中任一项所述的方法，其中，

所述第一深度图和所述第二深度图的计算(703,704)还基于关于n个平面的信息，其中n是自然数，所述n个平面在距所述子图像被记录的点的n个不同的距离处，将所述第一组的子图像和所述第二组的子图像拼接(705,706)的步骤包括：在所述n个平面中的各个平面中拼接，由此获得n个拼接图像，并且其中，组合(708)的步骤包括

将所述第一拼接图像和所述第二拼接图像与所述n个拼接图像组合。

6.根据权利要求1-5中任一项所述的方法，其中，所述阵列相机包括适于各自生成一个子图像的至少两个子相机。

7.根据权利要求1-5中任一项所述的方法，其中，所述阵列相机包括由单个相机至少在两个不同的位置处拍摄的至少两个子图像。

8.根据权利要求1-7中任一项所述的方法，其中，组合(708)的步骤还包括通过所述第一组子图像和所述第二组子图像中的一方，利用来自所述第一组的子图像和所述第二组的子图像的信息，即所述第一平面中的被所述第二平面中的物体隐藏的信息，来再创建所述第一拼接图像中的信息。

9.一种用于创建组合图像的电子装置(800)，该电子装置(800)的特征在于：

第一获得单元(801)，其适于获得通过图像记录单元阵列记录的第一组的至少两个子图像，

第二获得单元(802)，其适于获得通过所述图像记录单元阵列记录的第二组的至少两个子图像，

第一计算单元(803)，其适于针对所述第一组的子图像计算第一深度图，所述第一深度图包括关于所述子图像的第一平面和所述子图像的第二平面的信息，所述第一平面在距所述子图像被记录的点的第一距离处，所述第二平面在距所述子图像被记录的点的第二距离处，

第二计算单元(804)，其适于针对所述第二组的子图像计算第二深度图，所述第二深度图包括关于所述第一平面和所述第二平面的信息，

第一拼接单元(805)，其适于在所述第一平面中将所述第一组的子图像和所述第二组的子图像拼接，由此获得第一拼接图像，

第二拼接单元(806)，其适于在所述第二平面中将所述第一组的子图像和所述第二组的子图像拼接，由此获得第二拼接图像，

组合单元(807)，其适于将所述第一拼接图像与所述第二拼接图像组合，由此创建组合图像。

10.根据权利要求9所述的电子装置(800)，其中，所述第一平面与所述子图像被记录的点之间的距离大于所述第二平面与所述子图像被记录的点之间的距离。

11.根据权利要求10所述的电子装置(800)，其中，所述组合单元适于将所述第一拼接图像与所述第二拼接图像组合还包括将所述第二拼接图像设置在所述第一拼接图像的前面。

12.根据权利要求9-11中的任一项所述的电子装置(800)，其中，

适于计算所述第一深度图和所述第二深度图的所述第一计算单元(803)和所述第二计算单元(804)还适于计算关于n个平面的信息，其中n是自然数，所述n个平面在距所述子图像被记录的点的n个距离处，其中，

适于将所述第一组的子图像和所述第二组的子图像拼接的所述第一拼接单元(805)和所述第二拼接单元(806)还适于在所述n个平面中的各个平面中拼接，由此获得n个拼接图像，并且其中，

适于将所述第一拼接图像和所述第二拼接图像组合的所述组合单元还适于与所述n个拼接图像组合。

13.根据权利要求9-12中的任一项所述的电子装置(800)，其中，所述阵列相机包括适于各自生成一个子图像的至少两个子相机。

14.根据权利要求10中任一项所述的电子装置(800)，所述第一拼接单元和所述第二拼接单元还适于

通过所述第一组的子图像和所述第二组的子图像中的一方，利用来自所述第一组的子图像和所述第二组的子图像的信息，即所述第一平面中的被所述第二平面中的物体隐藏的信息，来再创建所述第一拼接图像中的信息。

15.一种能够载入计算机的存储器中并且包括在被执行时适于执行权利要求1-8所述的一个或更多个动作的软件代码部分的计算机程序产品。