CN114241029B - 图像三维重建方法及装置 - Google Patents

Abstract

本公开实施例公开了一种图像三维重建方法及装置，其中，方法包括：对至少两个待重建图像进行特征提取和特征匹配，得到至少两个待重建图像的匹配点集合；根据匹配点集合中至少一对匹配点在对应相机坐标系中的坐标，以及两个相机坐标系中的无穷远单应矩阵，确定至少两个待重建图像之间的旋转矩阵；基于旋转矩阵、匹配点集合中至少一对匹配点在对应相机坐标系中的坐标，通过对极约束算法确定至少两个待重建图像之间的平移矩阵；基于旋转矩阵和平移矩阵，对至少两个待重建图像进行三维重建。本公开实施例可以根据待重建图像的近似无穷远单应矩阵的求解，计算出旋转矩阵，进而根据旋转矩阵计算平移矩阵，得到最终的位姿，实现三维重建。

Description

图像三维重建方法及装置

技术领域

本公开涉及计算机视觉和图像处理技术领域，尤其涉及一种图像三维重建方法及装置。

背景技术

基于运动的建模(Structure From Motion，简称为SFM)是一种传统的三维重建技术，其工作流程为：预先提取和匹配两幅图像中的特征点，根据对极几何约束，求解基础矩阵F以及本质矩阵E，从而计算两图像之间的位姿[R|T]；通过三角形法利用基础矩阵、两图像之间的位姿[R|T]，求得二维像素点映射到三维空间的投影矩阵，进而通过光束法平差利用特征匹配点对投影矩阵进行迭代优化，得到特征点的三维空间坐标，得到稀疏点云模型，实现三维重建。

采用现有SFM实现三维重建时，如果两幅图像中匹配的特征点共面，则可导致不能求解基础矩阵F以及本质矩阵E，需要求解单应矩阵H。在图像中存在大量特征点为远景特征的场景(比如在室内的阳台处拍摄的室外全景图片)中，由于远景特征点的数量远多于近景特征点的数量，导致求解基础矩阵F以及本质矩阵E时易陷入退化而失败，而这些远景特征点满足近似无穷远单应H_∞，但近景特征点不满足，因此基于H_∞只能确定旋转矩阵R，而不能计算平移矩阵T，进而不能得到最终位姿，导致三维重建效果比较差。在实际的应用场景中，当图像中包含较多远景信息，并且在多幅图像中远景信息包含有更多的匹配特征点时，进行全景图像拼接的操作就显得很困难，经常出现全景图像的拼接错位，给展示端带来很大的困扰。

发明内容

本公开实施例所要解决的一个技术问题是：提供一种图像三维重建方法及装置。

根据本公开实施例的一个方面，提供一种图像三维重建方法，应用于至少两个待重建图像满足远景图像条件的图像三维重建场景中，所述方法包括：

对所述至少两个待重建图像进行特征提取和特征匹配，得到所述至少两个待重建图像的匹配点集合；

根据所述匹配点集合中至少一对匹配点在对应相机坐标系中的坐标，以及两个相机坐标系中的无穷远单应矩阵，确定所述至少两个待重建图像之间的旋转矩阵；

基于所述旋转矩阵、所述匹配点集合中至少一对匹配点在对应相机坐标系中的坐标，通过对极约束算法确定所述至少两个待重建图像之间的平移矩阵；

基于所述旋转矩阵和所述平移矩阵，对所述至少两个待重建图像进行三维重建。

在本公开一实施例中，所述确定所述至少两个待重建图像之间的旋转矩阵之前，还包括：

基于单应矩阵的求解算法，计算两个相机坐标系中无穷远单应矩阵。

在本公开又一实施例中，所述基于单应矩阵的求解算法，计算两个相机坐标系中的无穷远单应矩阵，包括：

基于式(1)确定单应矩阵：

其中，H表示单应矩阵，K′和K分别表示所述至少两个待重建图像对应摄像装置的内参矩阵，R表示旋转矩阵，T表示平移矩阵，n表示两个摄像装置在采集目标平面的图像信息时，所述目标平面在第一相机坐标系中的单位法向量，n^τ表示对进行转置运算，表示所述目标平面到第一相机坐标系的坐标原点的距离；

基于式(2)和所述单应矩阵确定图像坐标系中的无穷远单应矩阵：

其中，H表示所述单应矩阵，K′和K分别表示所述至少两个待重建图像对应摄像装置的内参矩阵，R表示旋转矩阵，H_∞1表示图像坐标系中的无穷远单应矩阵；

基于所述图像坐标系中的无穷远单应矩阵H_∞1，确定所述两个相机坐标系中的无穷远单应矩阵H_∞2。

在本公开又一实施例中，所述确定所述至少两个待重建图像之间的旋转矩阵，包括：

基于式(3)确定所述旋转矩阵：

p₂＝H_∞2p₁＝Rp₁ 式(3)

其中，p₂和p₁分别表示所述匹配点集合中的匹配点在对应相机坐标系下的坐标，H_∞2表示所述两个相机坐标系中的无穷远单应矩阵，R表示旋转矩阵。

在本公开又一实施例中，所述基于所述旋转矩阵、所述匹配点集合中至少一对匹配点在对应相机坐标系中的坐标，通过对极约束算法确定所述至少两个待重建图像之间的平移矩阵，包括：

基于式(4)确定所述本质矩阵：

E＝T^R 式(4)

其中，R表示旋转矩阵，T表示平移矩阵，T^；表示对平移矩阵T进行反对称运算；

基于式(4)和所述对极约束算法，通过式(5)确定所述平移矩阵、所述匹配点集合中至少一对匹配点在对应相机坐标系中的坐标之间的约束关系：

基于所述约束关系，确定所述平移矩阵。

在本公开又一实施例中，所述基于式(4)和所述对极约束算法，确定所述平移矩阵、所述匹配点集合中至少一对匹配点在对应相机坐标系中的坐标之间的约束关系，包括：

根据对极约束算法，得到式(5)：

其中，E表示本质矩阵，p₂和p₁分别表示所述匹配点集合中的匹配点在对应相机坐标系下的坐标，

表示p₂的转置矩阵；

根据式(4)、式(5)，得到所述约束关系：

其中，p₂和p₁分别表示所述匹配点集合中的匹配点在对应相机坐标系下的坐标，

表示p₂的转置矩阵，R表示旋转矩阵，T表示平移矩阵，T^表示对平移矩阵T进行反对称运算。

在本公开又一实施例中，所述平移矩阵T的自由度为2。

根据本公开实施例的又一方面，提供一种图像三维重建装置，应用于至少两个待重建图像满足远景图像条件的图像三维重建场景中，所述装置包括：

匹配点确定模块，用于对所述至少两个待重建图像进行特征提取和特征匹配，得到所述至少两个待重建图像的匹配点集合；

旋转矩阵确定模块，用于根据所述匹配点集合中至少一对匹配点在对应相机坐标系中的坐标，以及两个相机坐标系中的无穷远单应矩阵，确定所述至少两个待重建图像之间的旋转矩阵；

平移矩阵确定模块，用于基于所述旋转矩阵、所述匹配点集合中至少一对匹配点在对应相机坐标系中的坐标，通过对极约束算法确定所述至少两个待重建图像之间的平移矩阵；

三维重建模块，用于基于所述旋转矩阵和所述平移矩阵，对所述至少两个待重建图像进行三维重建。

在本公开又一实施例中，所述装置还包括：

无穷单应矩阵确定模块，用于基于单应矩阵的求解算法，计算两个相机坐标系中无穷远单应矩阵。

在本公开又一实施例中，所述无穷单应矩阵确定模块包括：

第一确定子模块，用于基于式(1)确定单应矩阵：

其中，H表示单应矩阵，K′和K分别表示所述至少两个待重建图像对应摄像装置的内参矩阵，R表示旋转矩阵，T表示平移矩阵，n表示两个摄像装置在采集目标平面的图像信息时，所述目标平面在第一相机坐标系中的单位法向量，n^τ表示对进行转置运算，表示所述目标平面到第一相机坐标系的坐标原点的距离；

第二确定子模块，用于基于式(2)和所述单应矩阵确定图像坐标系中的无穷远单应矩阵：

其中，H表示所述单应矩阵，K′和K分别表示所述至少两个待重建图像对应摄像装置的内参矩阵，R表示旋转矩阵，H_∞1表示图像坐标系中的无穷远单应矩阵；

第三确定子模块，用于基于所述图像坐标系中的无穷远单应矩阵H_∞1，确定所述两个相机坐标系中的无穷远单应矩阵H_∞2。

在本公开又一实施例中，所述旋转矩阵确定模块，用于基于式(3)确定所述旋转矩阵：

p₂＝H_∞2p₁＝Rp₁ 式(3)

其中，p₂和p₁分别表示所述匹配点集合中的匹配点在对应相机坐标系下的坐标，H_∞2表示所述两个相机坐标系中的无穷远单应矩阵，R表示旋转矩阵。

在本公开又一实施例中，所述平移矩阵确定模块包括：

第四确定子模块，用于基于式(4)确定所述本质矩阵：

E＝T^R 式(4)

其中，R表示旋转矩阵，T表示平移矩阵，T^；表示对平移矩阵T进行反对称运算；

第五确定子模块，用于基于式(4)和所述对极约束算法，确定所述平移矩阵、所述匹配点集合中至少一对匹配点在对应相机坐标系中的坐标之间的约束关系；

第六确定子模块，用于基于所述约束关系，确定所述平移矩阵。

在本公开一实施例中，第五确定子模块，具体用于基于式(4)和所述对极约束算法，确定所述平移矩阵、所述匹配点集合中至少一对匹配点在对应相机坐标系中的坐标之间的约束关系，包括：

根据对极约束算法，得到式(5)：

其中，E表示本质矩阵，p₂和p₁分别表示所述匹配点集合中的匹配点在对应相机坐标系下的坐标，

表示p₂的转置矩阵；

根据式(4)、式(5)，得到所述约束关系：

其中，p₂和p₁分别表示所述匹配点集合中的匹配点在对应相机坐标系下的坐标，

表示p₂的转置矩阵，R表示旋转矩阵，T表示平移矩阵，T^表示对平移矩阵T进行反对称运算。

在本公开一实施例中，所述平移矩阵T的自由度为2。

根据本公开实施例的再一方面，提供一种电子设备，应用于至少两个待重建图像满足远景图像条件的图像三维重建场景中，该电子设备包括：

存储器，用于存储计算机程序；

处理器，用于执行所述存储器中存储的计算机程序，且所述计算机程序被执行时，实现上述图像三维重建方法。

根据本公开实施例的再一方面，提供一种计算机可读存储介质，应用于至少两个待重建图像满足远景图像条件的图像三维重建场景中，其上存储有计算机程序，该计算机程序被处理器执行时，实现上述图像三维重建方法。

根据本公开实施例的再一方面，提供一种计算机程序产品，应用于至少两个待重建图像满足远景图像条件的图像三维重建场景中，包括计算机程序/指令，该计算机程序/指令被处理器执行时实现上述图像三维重建方法。

基于本公开上述实施例提供的图像三维重建方法及装置，在进行三维重建的至少两个待重建图像满足远景图像条件时，可以先从至少两个待重建图像提取和匹配到匹配点集合；根据匹配点集合中至少一对匹配点在对应相机坐标系中的坐标，以及两个相机坐标系中的无穷远单应矩阵，可以确定出至少两个待重建图像之间的旋转矩阵，然后即可根据旋转矩阵，通过对极约束算法确定至少两个待重建图像之间的平移矩阵；基于所确定的旋转矩阵和平移矩阵，即可对至少两个待重建图像进行三维重建，解决至少两个待重建图像满足远景图像条件的图像三维重建场景中无法计算出平移矩阵T，不能得到最终位姿的问题。

下面通过附图和实施例，对本公开的技术方案做进一步的详细描述。

附图说明

构成说明书的一部分的附图描述了本公开的实施例，并且连同描述一起用于解释本公开的原理。

参照附图，根据下面的详细描述，可以更加清楚地理解本公开，其中：

图1为本公开的图像三维重建方法的一个实施例的流程图；

图2A为本公开的图像三维重建方法的又一个实施例的流程图；

图2B为本公开的图像三维重建方法的两个待重建图像的示意图；

图2C为采用现有技术得到的图2B所示的两个图像的配准效果图；

图2D为采用本公开的图像三维重建方法得到的图2B所示的两个图像的配准效果图；图2E为采用本公开的图像三维重建方法对图2B所示的两个图像进行特征匹配的效果图；

图3为本公开的图像三维重建方法中平移矩阵的确定方法流程图；

图4为本公开的图像三维重建装置的一个实施例的结构示意图；

图5为本公开的图像三维重建装置的又一个实施例的结构示意图；

图6为本公开一示意性实施例提供的电子设备的结构图。

具体实施方式

现在将参照附图来详细描述本公开的各种示例性实施例。应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本公开的范围。

同时，应当明白，为了便于描述，附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。

以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本公开及其应用或使用的任何限制。

对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为说明书的一部分。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。

本公开实施例可以应用于计算机***/服务器等电子设备，其可与众多其它通用或专用计算***环境或配置一起操作。适于与计算机***/服务器等电子设备一起使用的众所周知的计算***、环境和/或配置的例子包括但不限于：个人计算机***、服务器计算机***、瘦客户机、厚客户机、手持或膝上设备、基于微处理器的***、机顶盒、可编程消费电子产品、网络个人电脑、小型计算机***、大型计算机***和包括上述任何***的分布式云计算技术环境，等等。

计算机***/服务器等电子设备可以在由计算机***执行的计算机***可执行指令(诸如程序模块)的一般语境下描述。通常，程序模块可以包括例程、程序、目标程序、组件、逻辑、数据结构等等，它们执行特定的任务或者实现特定的抽象数据类型。计算机***/服务器可以在分布式云计算环境中实施，分布式云计算环境中，任务是由通过通信网络链接的远程处理设备执行的。在分布式云计算环境中，程序模块可以位于包括存储设备的本地或远程计算***存储介质上。

本公开概述

本公开实施例提供的技术方案应用于至少两个待重建图像满足远景图像条件的图像三维重建场景中(可通过确定基础矩阵和本质矩阵的方式确定两个图像之间的位姿，如果无法成功计算出位姿，则可确定待重建图像满足远景图像条件)。现有技术下，在该场景中，至少两个待重建图像中存在大量匹配的远景特征点和少量匹配的近景特征点(比如在室内的阳台处拍摄的全景图片)中，由于远景特征点的数量远多于近景特征点的数量，导致基础矩阵F以及本质矩阵E求解易陷入退化而失败，而远景特征点满足近似无穷远单应H_∞，但近景特征点不满足，因此基于H_∞只能确定旋转矩阵R，而不能计算平移矩阵，进而不能得到最终位姿，导致三维重建效果比较差。本公开实施例可以根据待重建图像的近似无穷远单应H_∞的求解方法，计算出旋转矩阵R，并进一步通过旋转矩阵R计算平移矩阵T。

示例性实施例

图1为本公开的图像三维重建方法的一个实施例的流程图；该图像三维重建方法可以应用在电子设备(如计算机***、服务器)上，如图1所示，该图像三维重建方法包括以下步骤：

在步骤101中，对至少两个待重建图像进行特征提取和特征匹配，得到至少两个待重建图像的匹配点集合。

在一实施例中，对于输入的待重建图像，可以通过现有的特征提取算法，如尺度不变特征变换(Scale Invariant Feature Transform，简称为SIFT)算法，进行图像的特征提取和匹配点的确定。例如，输入图像A和图像B，从中提取、匹配到匹配点集合{p1}、{p2}，其中匹配点集合{p1}、{p2}为相机坐标系中的坐标集合。

在一实施例中，从图像中提取的匹配点的坐标为图像坐标系下的坐标，也即二维坐标，可以根据图像球面坐标的计算算法，将图像坐标系下的二维坐标转换为相机坐标系下的坐标。

在步骤102中，根据匹配点集合中至少一对匹配点在对应相机坐标系中的坐标，以及两个相机坐标系中的无穷远单应矩阵，确定至少两个待重建图像之间的旋转矩阵。

在一实施例中，部分处于远景的匹配点对，应当满足式(3)的关系：

p₂＝H_∞2p₁＝Rp₁ 式(3)

其中，p₂和p₁分别表示匹配点集合中的匹配点在对应相机坐标系下的坐标，H_∞2表示两个相机坐标系中的无穷远单应矩阵，R表示旋转矩阵。

可以在随机抽样一致(Random Sample Consensus，简称为RANSAC)框架下，根据匹配点和式(3)求解旋转矩阵R，具体实现时，可以使用直接线性变换或者使用迭代最近点算法(Iterative Closest Point，简称为ICP)中的旋转求解来求解旋转矩阵R。

在一实施例中，求解两个相机坐标系中的无穷远单应矩阵的具体方式可参见图2所示实施例，这里先不详述。

在步骤103中，基于旋转矩阵、匹配点集合中至少一对匹配点在对应相机坐标系中的坐标，通过对极约束算法确定至少两个待重建图像之间的平移矩阵。

在一实施例中，可将步骤102计算得到的旋转矩阵R作为先验信息，重新求解本质矩阵，然后再根据对极约束，确定出平移矩阵T的一个约束关系，进而确定出平移矩阵T。

在一实施例中，计算平移矩阵T的具体方式可参见图3所示实施例，这里先不详述。

在步骤104中，基于旋转矩阵和平移矩阵，对至少两个待重建图像进行三维重建。

在一实施例中，基于旋转矩阵和平移矩阵，对至少两个待重建图像进行三维重建的方法可参见现有技术，这里不赘述。

上述步骤101～104在进行三维重建的至少两个待重建图像满足远景图像条件时，可以先从至少两个待重建图像提取和匹配到匹配点集合；根据匹配点集合中至少一对匹配点在对应相机坐标系中的坐标，以及两个相机坐标系中的无穷远单应矩阵，可以确定出至少两个待重建图像之间的旋转矩阵，然后即可根据旋转矩阵，通过对极约束算法确定至少两个待重建图像之间的平移矩阵；基于所确定的旋转矩阵和平移矩阵，即可对至少两个待重建图像进行三维重建，解决至少两个待重建图像满足远景图像条件的图像三维重建场景中无法计算出平移矩阵T，不能得到最终位姿的问题，确保三维重建的效果。

为了更好地说明本公开的图像三维重建的方案，下面用另一个实施例说明。

图2A为本公开的图像三维重建方法的又一个实施例的流程图，图2B为本公开的图像三维重建方法的两个待重建图像的示意图，图2C为采用现有技术得到的图2B所示的两个图像的配准效果图，图2D为采用本公开的图像三维重建方法得到的图2B所示的两个图像的配准效果图，图2E为采用本公开的图像三维重建方法对图2B所示的两个图像进行特征匹配的效果图；本实施例以无穷单应矩阵的求解为例进行示例性说明，如图2A所示，包括如下步骤：

在步骤201中，对至少两个待重建图像进行特征提取和特征匹配，得到至少两个待重建图像的匹配点集合。

在一实施例中，在两个待重建图像中包含较多远景信息，并且在多幅图像中远景信息包含有更多的匹配特征点时，如图2B所示，图2B中的两幅图像中包含较多远景信息，进行全景图像拼接的操作就显得很困难，通常出现全景图像的拼接错位的问题，参见图2C，为采用现有技术得到的图2B所示的两个图像的配准效果图。

在步骤202中，基于单应矩阵的求解算法，计算两个相机坐标系中无穷远单应矩阵。

在一实施例中，可以根据经典的针孔相机模型对于单应矩阵的计算公式，也即式(1)，计算单应矩阵：

其中，H表示单应矩阵，K′和K分别表示至少两个待重建图像对应摄像装置的内参矩阵，R表示旋转矩阵，T表示平移矩阵，n表示两个摄像装置在采集目标平面的图像信息时，目标平面在第一相机坐标系中的单位法向量，n^τ表示对进行转置运算，表示目标平面到第一相机坐标系的坐标原点的距离。

然后，再基于式(2)和单应矩阵确定图像坐标系中的无穷远单应矩阵：

其中，H表示单应矩阵，K′和K分别表示至少两个待重建图像对应摄像装置的内参矩阵，R表示旋转矩阵，H_∞1表示图像坐标系中的无穷远单应矩阵。

接下来，可基于图像坐标系中的无穷远单应矩阵，可以确定两个相机坐标系中的无穷远单应矩阵。

具体的，由于K′和K分别是两幅图像对应相机的内参矩阵，描述了特征点从图像坐标与相机坐标的转换关系，在转换到相机坐标系时，式(2)对应的K′和K都是单位矩阵，因此根据式(2)可以推导出两个相机坐标系中的无穷远单应矩阵：H_∞2＝。

在步骤203中，根据匹配点集合中至少一对匹配点在对应相机坐标系中的坐标，以及两个相机坐标系中的无穷远单应矩阵，确定至少两个待重建图像之间的旋转矩阵。

在步骤204中，基于旋转矩阵、匹配点集合中至少一对匹配点在对应相机坐标系中的坐标，通过对极约束算法确定至少两个待重建图像之间的平移矩阵。

在步骤205中，基于旋转矩阵和平移矩阵，对至少两个待重建图像进行三维重建。

在一实施例中，根据步骤205计算得到的旋转矩阵和平移矩阵对图2B所示的两幅图进行特征匹配的效果图可参见图2E，其中示意了大量的远景特征匹配及少量的近景匹配的匹配：配准的效果图可参见图2D，图2D中平移旋转的配准效果相对于图2C更好，更准确。

在一实施例中，步骤203～步骤205可参见图1所示实施例的步骤102～步骤104，这里不再赘述。

通过上述步骤201～步骤205，可以实现根据待重建图像的两个相机坐标系中的无穷远单应矩阵的求解方法，计算出旋转矩阵R，后续即可基于旋转矩阵R约束求解平移矩阵T，得到最终位姿，确保三维重建的效果。

图3为本公开的图像三维重建方法中平移矩阵的确定方法流程图；本实施例以平移矩阵的计算为例进行示例性说明，如图3所示，包括如下步骤：

在步骤301中，确定本质矩阵。

在一实施例中，可以基于式(4)确定本质矩阵：

E＝T^R 式(4)

其中，R表示旋转矩阵，T表示平移矩阵，T^表示对平移矩阵T进行反对称运算。

在步骤302中，基于所确定的本质矩阵和对极约束算法，确定平移矩阵、匹配点集合中至少一对匹配点在对应相机坐标系中的坐标之间的约束关系。

在一实施例中，具体实现时，可以先根据对极约束算法确定式(5)，然后再根据式(4)、式(5)，得到式(6)的约束关系。

先根据对极约束算法确定式(5)：

其中，E表示本质矩阵，p₂和p₁分别表示所述匹配点集合中的匹配点在对应相机坐标系下的坐标，

表示p₂的转置矩阵；

根据式(4)、式(5)，得到所述约束关系：

其中，p₂和p₁分别表示所述匹配点集合中的匹配点在对应相机坐标系下的坐标，

表示p₂的转置矩阵，R表示旋转矩阵，T表示平移矩阵，T^表示对平移矩阵T进行反对称运算。

在步骤303中，基于约束关系，确定平移矩阵。

在一实施例中，还可以进一步对式(6)的约束关系进行改写，通过令

可以将式(6)的约束关系改写为式(7)的形式：

等价于

在一实施例中，由于旋转矩阵R为先验信息，则基于式(7)的约束关系，可以通过一定数量的匹配点在对应相机坐标系下的坐标求解平移矩阵。

在一实施例中，平移矩阵T的尺度不固定，因此T的自由度为2，因此给定两对匹配点的坐标，就可以通过奇异值分解(Singular Value Decomposition，简称为SVD)方法求解平移矩阵T。具体求解时，可将整个求解放在RANSAC框架中，得到最终的平移矩阵T。

通过上述步骤301～步骤303，可以实现基于旋转矩阵R约束求解平移矩阵T，得到最终位姿，确保三维重建的效果。

与前述图像三维重建方法的实施例相对应，本公开还提供了图像三维重建装置对应的实施例。

图4为本公开的图像三维重建装置的一个实施例的结构示意图，该装置应用在电子设备(如计算机***、服务器、VR设备)上，应用于至少两个待重建图像满足远景图像条件的图像三维重建场景中，如图4所示，该装置包括：

匹配点确定模块41，用于对至少两个待重建图像进行特征提取和特征匹配，得到至少两个待重建图像的匹配点集合；

旋转矩阵确定模块42，用于根据匹配点集合中至少一对匹配点在对应相机坐标系中的坐标，以及两个相机坐标系中的无穷远单应矩阵，确定至少两个待重建图像之间的旋转矩阵；

平移矩阵确定模块43，用于基于旋转矩阵、匹配点集合中至少一对匹配点在对应相机坐标系中的坐标，通过对极约束算法确定至少两个待重建图像之间的平移矩阵；

三维重建模块44，用于基于旋转矩阵和平移矩阵，对至少两个待重建图像进行三维重建。

图5为本公开的图像三维重建装置的又一个实施例的结构示意图，如图5所示，在图4所示实施例的基础上，在一实施例中，装置还包括：

无穷单应矩阵确定模块45，用于基于单应矩阵的求解算法，计算两个相机坐标系中无穷远单应矩阵。

在一实施例中，无穷单应矩阵确定模块45包括：

第一确定子模块451，用于基于式(1)确定单应矩阵：

其中，H表示单应矩阵，K′和K分别表示至少两个待重建图像对应摄像装置的内参矩阵，R表示旋转矩阵，T表示平移矩阵，n表示两个摄像装置在采集目标平面的图像信息时，目标平面在第一相机坐标系中的单位法向量，n^τ表示对进行转置运算，表示目标平面到第一相机坐标系的坐标原点的距离；

第二确定子模块452，用于基于式(2)和单应矩阵确定图像坐标系中的无穷远单应矩阵：

其中，H表示单应矩阵，K′和K分别表示至少两个待重建图像对应摄像装置的内参矩阵，R表示旋转矩阵，H_∞1表示图像坐标系中的无穷远单应矩阵；

第三确定子模块453，用于基于图像坐标系中的无穷远单应矩阵H_∞1，确定两个相机坐标系中的无穷远单应矩阵H_∞2。

在一实施例中，旋转矩阵确定模块42，用于基于式(3)确定旋转矩阵：

p₂＝H_∞2p₁＝Rp₁ 式(3)

其中，p₂和p₁分别表示匹配点集合中的匹配点在对应相机坐标系下的坐标，H_∞2表示两个相机坐标系中的无穷远单应矩阵，R表示旋转矩阵。

在一实施例中，平移矩阵确定模块43包括：

第四确定子模块431，用于基于式(4)确定本质矩阵：

E＝T^R 式(4)

其中，R表示旋转矩阵，T表示平移矩阵，T^表示对平移矩阵T进行反对称运算；

第五确定子模块432，用于基于式(4)和对极约束算法，确定平移矩阵、匹配点集合中至少一对匹配点在对应相机坐标系中的坐标之间的约束关系；第六确定子模块433，用于基于约束关系，确定平移矩阵。

在一实施例中，第五确定子模块432，具体用于基于式(4)和所述对极约束算法，确定所述平移矩阵、所述匹配点集合中至少一对匹配点在对应相机坐标系中的坐标之间的约束关系，包括：

根据对极约束算法，得到式(5)：

其中，E表示本质矩阵，p₂和p₁分别表示所述匹配点集合中的匹配点在对应相机坐标系下的坐标，

表示p₂的转置矩阵；

根据式(4)、式(5)，得到所述约束关系：

其中，p₂和p₁分别表示所述匹配点集合中的匹配点在对应相机坐标系下的坐标，

表示p₂的转置矩阵，R表示旋转矩阵，T表示平移矩阵，T^表示对平移矩阵T进行反对称运算。

在一实施例中，所述平移矩阵T的自由度为2。

上述装置中各个单元的功能和作用的实现过程具体详见上述方法中对应步骤的实现过程，在此不再赘述。

对于装置实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本公开方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

下面，参考图6来描述根据本公开实施例的电子设备，其中可以集成本公开实施例实现方法的装置。图6为本公开一示意性实施例提供的电子设备的结构图，如图6所示，电子设备6包括一个或多个处理器61、一个或多个计算机可读存储介质的存储器62，以及存储在存储器上并可在处理器上运行的计算机程序。在执行存储器62的程序时，可以实现上述图像三维重建方法。

具体的，在实际应用中，该电子设备还可以包括输入装置63、输出装置64等部件，这些组件通过总线***和/或其他形式的连接机构(未示出)互连。本领域技术人员可以理解，图6中示出的电子设备的结构并不构成对该电子设备的限定，可以包括比图示更多或更少的部件，或者某些部件，或者不同的部件布置。其中：

处理器61可以是中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其他形式的处理单元，通过运行或执行存储在存储器62内的软件程序和/或模块，以及调用存储在存储器62内的数据，执行各种功能和处理数据，从而对该电子设备进行整体监控。

存储器62可以包括一个或多个计算机程序产品，计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器61可以运行程序指令，以实现上文的本公开的各个实施例的声源定位方法以及/或者其他期望的功能。在计算机可读存储介质中还可以存储诸如输入信号、信号分量、噪声分量等各种内容。

输入装置63可用于接收输入的数字或字符信息，以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆，光学或轨迹球信号输入。

输出装置64可以向外部输出各种信息，包括确定出的距离信息、方向信息等。该输出装置64可以包括例如显示器、扬声器、打印机、以及通信网络及其所连接的远程输出设备等等。

电子设备还可以包括给各个部件供电的电源，可以通过电源管理***与处理器61逻辑相连，从而通过电源管理***实现管理充电、放电，以及功耗管理等功能。电源还可以包括一个或一个以上的直流或交流电源、再充电***、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。

当然，为了简化，图6中仅示出了该电子设备6中与本公开有关的组件中的一些，省略了诸如总线、输入/输出接口等等的组件。除此之外，根据具体应用情况，电子设备6还可以包括任何其他适当的组件。

除了上述方法和设备以外，本公开的实施例还可以是计算机程序产品，其包括计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本公开各种实施例的声源定位方法中的步骤。

所述计算机程序产品可以以一种或多种程序设计语言的任意组合来编写用于执行本公开实施例操作的程序代码，所述程序设计语言包括面向对象的程序设计语言，诸如Java、C++等，还包括常规的过程式程序设计语言，诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。

此外，本公开的实施例还可以是计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本公开各种实施例的声源定位方法中的步骤。

所述计算机可读存储介质可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的***、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。

以上结合具体实施例描述了本公开的基本原理，但是，需要指出的是，在本公开中提及的优点、优势、效果等仅是示例而非限制，不能认为这些优点、优势、效果等是本公开的各个实施例必须具备的。另外，上述公开的具体细节仅是为了示例的作用和便于理解的作用，而非限制，上述细节并不限制本公开为必须采用上述具体的细节来实现。

本说明书中各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似的部分相互参见即可。对于***实施例而言，由于其与方法实施例基本对应，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。

可能以许多方式来实现本公开的方法和装置。例如，可通过软件、硬件、固件或者软件、硬件、固件的任何组合来实现本公开的方法和装置。用于所述方法的步骤的上述顺序仅是为了进行说明，本公开的方法的步骤不限于以上具体描述的顺序，除非以其它方式特别说明。此外，在一些实施例中，还可将本公开实施为记录在记录介质中的程序，这些程序包括用于实现根据本公开的方法的机器可读指令。因而，本公开还覆盖存储用于执行根据本公开的方法的程序的记录介质。

本公开的描述是为了示例和描述起见而给出的，而并不是无遗漏的或者将本公开限于所公开的形式。很多修改和变化对于本领域的普通技术人员而言是显然的。选择和描述实施例是为了更好说明本公开的原理和实际应用，并且使本领域的普通技术人员能够理解本公开从而设计适于特定用途的带有各种修改的各种实施例。

Claims (10)

1.一种图像三维重建方法，其特征在于，应用于至少两个待重建图像满足远景图像条件的图像三维重建场景中，所述方法包括：

对所述至少两个待重建图像进行特征提取和特征匹配，得到所述至少两个待重建图像的匹配点集合；

根据所述匹配点集合中至少一对匹配点在对应相机坐标系中的坐标，以及两个相机坐标系中的无穷远单应矩阵，确定所述至少两个待重建图像之间的旋转矩阵；

基于所述旋转矩阵、所述匹配点集合中至少一对匹配点在对应相机坐标系中的坐标，通过对极约束算法确定所述至少两个待重建图像之间的平移矩阵；

基于所述旋转矩阵和所述平移矩阵，对所述至少两个待重建图像进行三维重建；

所述至少两个待重建图像满足远景图像条件的图像三维重建场景，用于指示不能通过确定基础矩阵和本质矩阵的方式确定两个待重建图像之间的位姿的场景。

2.根据权利要求1所述的方法，其特征在于，所述确定所述至少两个待重建图像之间的旋转矩阵之前，还包括：

基于单应矩阵的求解算法，计算两个相机坐标系中无穷远单应矩阵。

3.根据权利要求2所述的方法，其特征在于，所述基于单应矩阵的求解算法，计算两个相机坐标系中的无穷远单应矩阵，包括：

基于式(1)确定单应矩阵H：

其中，H表示单应矩阵，K′和K分别表示所述至少两个待重建图像对应摄像装置的内参矩阵，R表示旋转矩阵，T表示平移矩阵，n表示两个摄像装置在采集目标平面的图像信息时，所述目标平面在第一相机坐标系中的单位法向量，n^τ表示对n进行转置运算，d表示所述目标平面到第一相机坐标系的坐标原点的距离；

基于式(2)和所述单应矩阵确定图像坐标系中的无穷远单应矩阵H_∞1：

其中，H表示所述单应矩阵，K′和K分别表示所述至少两个待重建图像对应摄像装置的内参矩阵，R表示旋转矩阵，H_∞1表示图像坐标系中的无穷远单应矩阵；

基于所述图像坐标系中的无穷远单应矩阵H_∞1，确定所述两个相机坐标系中的无穷远单应矩阵H_∞2。

4.根据权利要求1所述的方法，其特征在于，所述确定所述至少两个待重建图像之间的旋转矩阵，包括：

基于式(3)确定所述旋转矩阵R：

p₂＝H_∞2p₁＝Rp₁ 式(3)

其中，p₂和p₁分别表示所述匹配点集合中的匹配点在对应相机坐标系下的坐标，H_∞2表示所述两个相机坐标系中的无穷远单应矩阵，R表示旋转矩阵。

5.根据权利要求4所述的方法，其特征在于，所述基于所述旋转矩阵、所述匹配点集合中至少一对匹配点在对应相机坐标系中的坐标，通过对极约束算法确定所述至少两个待重建图像之间的平移矩阵，包括：

基于式(4)确定本质矩阵：

E＝T^R 式(4)

其中，R表示旋转矩阵，T表示平移矩阵，T^表示对平移矩阵T进行反对称运算；

基于式(4)和所述对极约束算法，确定所述平移矩阵、所述匹配点集合中至少一对匹配点在对应相机坐标系中的坐标之间的约束关系；

基于所述约束关系，确定所述平移矩阵。

6.根据权利要求5所述的方法，其特征在于，所述基于式(4)和所述对极约束算法，确定所述平移矩阵、所述匹配点集合中至少一对匹配点在对应相机坐标系中的坐标之间的约束关系，包括：

根据对极约束算法，得到式(5)：

p₂ ^τEp₁＝0 式(5)

其中，E表示本质矩阵，p₂和p₁分别表示所述匹配点集合中的匹配点在对应相机坐标系下的坐标，p₂ ^τ表示p₂的转置矩阵；

根据式(4)、式(5)，得到所述约束关系：

p₂ ^τT^Rp₁＝0 式(6)

其中，p₂和p₁分别表示所述匹配点集合中的匹配点在对应相机坐标系下的坐标，p₂ ^τ表示p₂的转置矩阵，R表示旋转矩阵，T表示平移矩阵，T^表示对平移矩阵T进行反对称运算。

7.根据权利要求6所述的方法，其特征在于，所述平移矩阵T的自由度为2。

8.一种图像三维重建装置，其特征在于，应用于至少两个待重建图像满足远景图像条件的图像三维重建场景中，所述装置包括：

匹配点确定模块，用于对所述至少两个待重建图像进行特征提取和特征匹配，得到所述至少两个待重建图像的匹配点集合；

旋转矩阵确定模块，用于根据所述匹配点集合中至少一对匹配点在对应相机坐标系中的坐标，以及两个相机坐标系中的无穷远单应矩阵，确定所述至少两个待重建图像之间的旋转矩阵；

平移矩阵确定模块，用于基于所述旋转矩阵、所述匹配点集合中至少一对匹配点在对应相机坐标系中的坐标，通过对极约束算法确定所述至少两个待重建图像之间的平移矩阵；

三维重建模块，用于基于所述旋转矩阵和所述平移矩阵，对所述至少两个待重建图像进行三维重建；

所述至少两个待重建图像满足远景图像条件的图像三维重建场景，用于指示不能通过确定基础矩阵和本质矩阵的方式确定两个待重建图像之间的位姿的场景。

9.一种电子设备，其特征在于，应用于至少两个待重建图像满足远景图像条件的图像三维重建场景中，包括：

存储器，用于存储计算机程序；

处理器，用于执行所述存储器中存储的计算机程序，且所述计算机程序被执行时，实现上述权利要求1-7任一所述的方法；

所述至少两个待重建图像满足远景图像条件的图像三维重建场景，用于指示不能通过确定基础矩阵和本质矩阵的方式确定两个待重建图像之间的位姿的场景。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，应用于至少两个待重建图像满足远景图像条件的图像三维重建场景中，所述计算机程序被处理器执行时实现权利要求1-7任一所述的方法；

所述至少两个待重建图像满足远景图像条件的图像三维重建场景，用于指示不能通过确定基础矩阵和本质矩阵的方式确定两个待重建图像之间的位姿的场景。

Images