CN110337674A - 三维重建方法、装置、设备及存储介质 - Google Patents

Abstract

本申请提供一种三维重建方法、装置、设备及存储介质，该方法包括：获取测量图像上每个结构光图形各自对应的第一位置坐标；根据测量图像、第一标定图和第二标定图，确定测量图像上每个结构光图形的标定区间，第一标定图是在第一标定面上标定的结构光标定图，第二标定图是在第二标定面上标定的结构光标定图，第一标定面、第二标定面与相机平面平行；根据测量图像上每个结构光图形的标定区间，计算每个第一位置坐标的深度值；根据每个第一位置坐标的深度值和标定重建参数，对测量图像进行三维重建，提高了三维重建的效率。

Description

三维重建方法、装置、设备及存储介质

技术领域

本发明涉及计算机视觉技术领域，尤其涉及一种三维重建方法、装置、设备及存储介质。

背景技术

三维重建是计算机视觉的一个重要研究领域，是指对三维物体建立适合计算机表示和处理的数学模型，用于恢复物体表面形状或者恢复场景中相机和物体之间的距离，快速恢复场景和物体的三维形态，提高测量和建模的效率，广泛应用于古建筑数字化、文物数字化、机器人定位导航、逆向工程等场景，三维重建也是在计算机中建立表达客观世界的虚拟现实的关键技术，在生物识别方面，相比于传统的二维模型，三维模型具有更大的区别空间，三维信息的获取技术有其发展的必要性。

现有技术中，三维重建的方法大致分为立体视觉方法(双目、三目和多目视觉)、结构光重建方法、从运动恢复结构(Structure from Motion，SFM)等。其中，结构光重建方法在应用上占据一定优势，结构光重建方法采用结构光投射器向物体或场景主动投射已知编码结构的可控制的光点、光条或光面，并由相机采集带有投射图案的物体或场景的图像，通过计算机视觉技术处理图像，解析编码图案，获取物体或场景的三维信息，构建物体或场景的三维模型。结构光重建技术的关键在于***标定和立体匹配。

然而现有技术中的结构光重建方法，重建流程复杂且立体矫正精度要求高，造成三维重建的效率较低。

发明内容

本发明提供一种三维重建方法、装置、设备及存储介质，以实现对三维重建方法的简化，提高了三维重建的效率。

第一方面，本发明实施例提供一种三维重建方法，包括：

获取测量图像上每个结构光图形各自对应的第一位置坐标。

根据测量图像、第一标定图和第二标定图，确定测量图像上每个结构光图形的标定区间，第一标定图是在第一标定面上标定的结构光标定图，第二标定图是在第二标定面上标定的结构光标定图，第一标定面、第二标定面与相机平面平行。

根据测量图像上每个结构光图形的标定区间，计算每个第一位置坐标的深度值。

根据每个第一位置坐标的深度值和标定重建参数，对测量图像进行三维重建。

本方案中，通过根据测量图像、第一标定图和第二标定图，确定测量图上每个结构光图形的标定区间，然后根据测量图像上每个结构光图形的标定区间，计算每个第一位置坐标的深度值，最后根据每个第一位置坐标的深度值和标定重建参数，对测量图像进行三维重建，不仅实现了对测量图像的三维重建，而且直接通过测量图像上每个结构光图形的标定区间，计算每个第一位置坐标的深度值，避免了立体矫正的步骤，提高了三维重建的效率。

可选的，在根据每个第一位置坐标的深度值和标定重建参数，对测量图像进行三维重建之前，还包括：

获取第三标定图和第四标定图，第三标定图是在第一标定面上标定的非结构光标定图，第四标定图是在第二标定面上标定的非结构光标定图；

根据第三标定图、第四标定图以及相机成像模型，确定标定重建参数。

本方案中，通过第一标定图和第二标定图实现了对深度值的标定，然后第三标定图和第四标定图以及相机成像模型确定标定重建参数，实现了深度值标定与标定重建参数的分离，降低了标定的精度要求，进而降低了标定难度。

可选的，根据第三标定图、第四标定图以及相机成像模型，确定标定重建参数，包括：

在第三标定图和第四标定图中，获取多组像素坐标以及多组像素坐标对应的标定板上的坐标。

针对多组像素坐标，分别将每组像素坐标以及每组像素坐标对应的标定板上的坐标，输入相机成像模型中，以确定预设空间内任意与相机平面平行的平面的单应矩阵。

相应的，根据每个第一位置坐标的深度值和标定重建参数，对测量图像进行三维重建，包括：

根据每个第一位置坐标的深度值、预设空间内任意与相机平面平行的平面的单应矩阵和相机成像模型，对测量图像进行三维重建。

本方案中，通过第三标定图和第四标定图中的像素坐标以及像素坐标对应的标定板上的坐标，确定预设空间内任意与相机平面平行的平面的单应矩阵，实现了对预设空间内任意与相机平面平行的平面的三维坐标的确定，进而实现了对测量图像的三维重建。

可选的，根据测量图像、第一标定图和第二标定图，确定测量图像上每个结构光图形的标定区间，包括：

匹配测量图像、第一标定图和第二标定图中的结构光图形。

确定每个结构光图形在测量图像中的第一位置坐标、在第一标定图中的第二位置坐标和在第二标定图中的第三位置坐标。

根据每个结构光图形的第一位置坐标、第二位置坐标和第三位置坐标，确定测量图像上每个结构光图形的标定区间。

可选的，根据测量图像、第一标定图和第二标定图，确定测量图像上每个结构光图形的标定区间，包括：

匹配第一标定图和第二标定图的结构光图形，确定第一标定图与第二标定图中每个结构光图形的坐标对应关系。

匹配测量图像和第一标定图的结构光图形，确定每个结构光图形在测量图像中的第一位置坐标和在第一标定图中的第二位置坐标。

根据第一位置坐标、第二位置坐标以及第一标定图与第二标定图中每个结构光图形的坐标对应关系，确定测量图像上每个结构光图形的标定区间。

本方案中，通过确定第一标定图与第二标定图中每个结构光图形的坐标对应关系，实现了对标定数据的压缩，节约了大量的存储空间。

可选的，根据测量图像的每个结构光图形的标定区间，计算每个第一位置坐标的深度值，包括：

确定每个结构光图形在测量图像与第一标定图的第一视差。

在每个结构光图形的标定区间内，确定除第一视差之外的区间为第二视差，第二视差为该结构光图形在测量图像与第二标定图的视差。

根据第一视差和第二视差，计算每个第一位置坐标的深度值。

下面介绍本申请实施例提供的装置、设备、存储介质以及计算机程序产品，其内容和效果可参考第一方面及第一方面可选方式提供的三维重建方法，不再赘述。

第二方面，本申请实施例提供一种三维重建装置，包括：

第一获取模块，用于获取测量图像上每个结构光图形各自对应的第一位置坐标。

第一确定模块，用于根据测量图像、第一标定图和第二标定图，确定测量图像上每个结构光图形的标定区间，第一标定图是在第一标定面上标定的结构光标定图，第二标定图是在第二标定面上标定的结构光标定图，第一标定面、第二标定面与相机平面平行。

第二确定模块，用于根据测量图像上每个结构光图形的标定区间，计算每个第一位置坐标的深度值。

重建模块，用于根据每个第一位置坐标的深度值和标定重建参数，对测量图像进行三维重建。

可选的，本申请实施例提供的三维重建装置，还包括：

第二获取模块，用于获取第三标定图和第四标定图，第三标定图是在第一标定面上标定的非结构光标定图，第四标定图是在第二标定面上标定的非结构光标定图。

第三确定模块，用于根据第三标定图、第四标定图以及相机成像模型，确定标定重建参数。

可选的，第三确定模块，具体用于：

在第三标定图和第四标定图中，获取多组像素坐标以及多组像素坐标对应的标定板上的坐标。

针对多组像素坐标，分别将每组像素坐标以及每组像素坐标对应的标定板上的坐标，输入相机成像模型中，以确定预设空间内任意与相机平面平行的平面的单应矩阵。

相应的，重建模块具体用于：

根据每个第一位置坐标的深度值、预设空间内任意与相机平面平行的平面的单应矩阵和相机成像模型，对测量图像进行三维重建。

可选的，第一确定模块，具体用于：

匹配测量图像、第一标定图和第二标定图中的结构光图形。

确定每个结构光图形在测量图像中的第一位置坐标、在第一标定图中的第二位置坐标和在第二标定图中的第三位置坐标。

根据每个结构光图形的第一位置坐标、第二位置坐标和第三位置坐标，确定测量图像上每个结构光图形的标定区间。

可选的，第一确定模块，具体用于：

匹配第一标定图和第二标定图的结构光图形，确定第一标定图与第二标定图中每个结构光图形的坐标对应关系。

匹配测量图像和第一标定图的结构光图形，确定每个结构光图形在测量图像中的第一位置坐标和在第一标定图中的第二位置坐标。

根据第一位置坐标、第二位置坐标以及第一标定图与第二标定图中每个结构光图形的坐标对应关系，确定测量图像上每个结构光图形的标定区间。

可选的，第二确定模块，具体用于：

确定每个结构光图形在测量图像与第一标定图的第一视差。

在每个结构光图形的标定区间内，确定除第一视差之外的区间为第二视差，第二视差为该结构光图形在测量图像与第二标定图的视差。

根据第一视差和第二视差，计算每个第一位置坐标的深度值。

第三方面，本申请实施例提供一种设备，包括：

处理器；存储器；以及计算机程序；其中，计算机程序被存储在存储器中，并且被配置为由处理器执行，计算机程序包括用于执行如第一方面及第一方面可选方式的三维重建方法。

第四方面，本申请实施例提供一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，计算机程序使得服务器执行如第一方面及第一方方面可选方式提供的三维重建方法。

第五方面，本发明实施例提供一种计算机程序产品，包括：可执行指令，可执行指令用于实现如第一方面或第一方面可选方式的三维重建方法。

本发明提供的三维重建方法、装置、设备及存储介质，通过获取测量图像上每个结构光图形各自对应的第一位置坐标，然后根据测量图像、第一标定图和第二标定图，确定测量图像上每个结构光图形的标定区间，第一标定图是在第一标定面上标定的结构光标定图，第二标定图是在第二标定面上标定的结构光标定图，第一标定面、第二标定面与相机平面平行，根据测量图像上每个结构光图形的标定区间，计算每个第一位置坐标的深度值，最后根据每个第一位置坐标的深度值和标定重建参数，对测量图像进行三维重建。不仅实现了对测量图像的三维重建，而且直接通过测量图像上每个结构光图形的标定区间，计算每个第一位置坐标的深度值，避免了立体矫正的步骤，提高了三维重建的效率。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是本申请一实施例提供的三维重建方法的流程示意图；

图2是本申请一实施例提供的深度值测量原理图；

图3是本申请另一实施例提供的三维重建方法的流程示意图；

图4是本申请又一实施例提供的三维重建方法的流程示意图；

图5是本申请再一实施例提供的三维重建方法的流程示意图；

图6是本申请一实施例提供的三维重建装置的结构示意图；

图7是本申请另一实施例提供的三维重建装置的结构示意图；

图8是本申请一实施例提供的终端设备的结构示意图。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例，例如能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、***、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

三维重建是计算机视觉的一个重要研究领域，也是在计算机中建立表达客观世界的虚拟现实的关键技术，在生物识别方面，相比于传统的二维模型，三维模型具有更大的区别空间，三维信息的获取技术有其发展的必要性。现有技术中，结构光重建方法在应用上占据一定优势，然而现有技术中的结构光重建方法，重建流程复杂且立体矫正精度要求高，造成三维重建的效率较低，为了解决上述问题，本申请实施例提供一种三维重建方法、装置、设备及存储介质。

以下，对本申请实施例的示例性应用场景进行介绍。

三维图像相比与二维图像具有更大的区别空间，三维重建技术用于将摄像机拍摄的二维图像，重建为三维图像，随着计算机视觉技术的发展，三维重建技术广泛应用于军用、民用等方面，例如：侦查监视、军事态势显示、环境监测、地质地貌测绘、道路监测交通疏导控制等等，基于此，本申请实施例提供一种三维重建方法、装置、设备及存储介质。

图1是本申请一实施例提供的三维重建方法的流程示意图，该方法可以由三维重建装置执行，该装置可以通过软件和/或硬件的方式实现，例如：该装置可以是终端设备的部分或全部，终端设备可以是个人电脑、智能手机、用户终端、平板电脑等，下面以终端设备为执行主体对三维重建方法进行说明，如图1所示，本发明实施例中的方法可以包括：

步骤S101：获取测量图像上每个结构光图形各自对应的第一位置坐标。

测量图像为待三维重建的结构光图像，结构光为经过投射器投射到被测物体表面的主动结构信息，本申请实施例对结构光图形不做限制，例如，结构光图形可以是激光条纹、格雷码、正弦条纹、光斑等。投射器投射结构光到被测物体表面后，通过单个或多个相机拍摄被测表面得到结构光图像，即测量图像。

测量图像上存在多个结构光图形，获取测量图像上每个结构光图形各自对应的第一位置坐标，其中，每个结构光图形各自对应的第一位置坐标，可以是结构光图形的某一固定位置在测量图像的像素坐标，本申请实施例对该固定位置不做限制，例如可以是结构光图形的中心点等。结构光图形可以是结构光中单个光斑经过人脸反射后投射到传感器的一个或者多个像素点后，由这一个或几个像素点输出信号形成的测量图像中的局部图像。

步骤S102：根据测量图像、第一标定图和第二标定图，确定测量图像上每个结构光图形的标定区间。

第一标定图是在第一标定面上标定的结构光标定图，第二标定图是在第二标定面上标定的结构光标定图，第一标定面、第二标定面与相机平面平行。第一标定面和第二标定面的位置，可以根据相机拍摄的图像的质量以及用户需求进行选取，本申请实施例对标定面的具***置以及选取方式不做限制，例如：针对人脸识别***，该***的工作距离为20-100厘米，则第一标定面和第二标定面可以选择距离相机平面20-100厘米的任意平面，比如，第一标定面在距离相机平面40厘米处，即第一标定距离为40厘米，第二标定面在距离相机平面80厘米处，即第二标定距离为80厘米等，以上仅为对标定面选取的示例性介绍，本申请实施例的标定面选取不限于此。

在确定第一标定面和第二标定面之后，在第一标定面处放置一块标定板，本申请实施例对标定板的类型、尺寸等不做限制，例如，标定板图案为棋盘格图；然后拍摄一张带结构光的标定图，得到第一标定图，本申请实施例对第一标定图的获取方式不做限制，类似的，可以通过沿相机光轴移动标定板至第二标定面，再次拍摄一张带结构光的标定图，得到第二标定图，本申请实施例对此不做限制。其中，测量图像、第一标定图和第二标定图所采用的结构光为相同的结构光，例如可以是同一个点阵投射器投射出的同一个结构光。

获取到第一标定图和第二标定图之后，根据测量图像、第一标定图和第二标定图确定测量图像上每个结构光图形的标定区间。本申请实施例对如何根据测量图像、第一标定图和第二标定图确定测量图像上每个结构光图形的标定区间的具体实施方式不做限制。

为了便于介绍每个结构光图像的标定区间，图2是本申请一实施例提供的深度值测量原理图，如图2所示，投射器投射结构光至相机拍摄空间，其中，Z表示物平面至相机平面的距离，Z1表示第一标定距离，Z2表示第二标定距离，由于第一标定图、第二标定图以及物平面距离相机平面的距离不同，，因此，结构光图形的位置会存在视差。且针对同一个结构光图形在测量图像、第一标定图以及第二标定图中存在相对应的结构光图形以及结构光图形的位置坐标。例如，在第一标定图中的F位置上的结构光图形、在物平面C位置上的结构光图形以及在第二标定图上的A位置上的结构光图形相互匹配，在测量图像中，位置F对应于测量图像中的F’，位置C对应于测量图像中的C’，位置A对应于测量图像中的A’，其中，F’与A’连接而成的线段为该结构光图形的标定区间，且该结构光图形的坐标位置在其对应的标定区间上，通过计算测量图像上每个结构光图形的标定区间，可以在每个结构光图形对应的标定区间内搜索该结构光图形，避免了现有技术中的立体矫正步骤，可以提高三维重建的效率。

步骤S103：根据测量图像上每个结构光图形的标定区间，计算每个第一位置坐标的深度值。

根据测量图像上每个结构光图形的标定区间，可以计算每个第一位置坐标的深度值，本申请实施例对如何根据测量图像上的标定区间，计算每个第一位置坐标的深度值的具体实施方式不做限制。

在一种可能的实施方式中，如图2所示，由于第一标定面、第二标定面与相机平面相互平行，为了计算每个位置坐标的深度值即物平面距离相机平面的距离Z，根据三角形相似原理，可知：

因此，可以得到：

(Z2-Z1)*(C′A′)*Z＝Z1*(F′A′)*(Z2-Z) (2)

最终得到深度值计算公式：

因此，可以通过上述计算公式(3)，计算每个第一位置坐标的深度值。

在一种可能的实施方式中，根据测量图像的每个结构光图形的标定区间，计算每个第一位置坐标的深度值，包括：

确定每个结构光图形在测量图像与第一标定图的第一视差。在每个结构光图形的标定区间内，确定除第一视差之外的区间为第二视差，第二视差为该结构光图形在测量图像与第二标定图的视差。根据第一视差和第二视差，计算每个第一位置坐标的深度值。

确定每个结构光图形在测量图像与第一标定图的第一视差，例如图2中的C’A’，由于已知结构光图像的标定区间F’A’，因此可以计算得到该结构光图形在测量图像与第二标定图的第二视差F’C’，由于第一标定距离Z1和第二标定距离Z2为已知，根据深度值计算公式，可以计算出结构光图形的第一位置坐标的深度值。

类似的，也可以通过确定每个结构光图形在测量图像与第二标定图的第二视差，然后根据每个结构光的标定区间，得到每个结构光图形在测量图像与第一标定图的第一视差，进而根据深度值计算公式，得到该结构光图形的第一位置坐标的深度值。

步骤S104：根据每个第一位置坐标的深度值和标定重建参数，对测量图像进行三维重建。

在确定每个第一位置坐标的深度值之后，根据标定重建参数，计算第一位置坐标的三维坐标，实现对测量图像的三维重建，本申请实施例对三维重建的具体实现方式不做限制，同时，对具体标定重建参数都不做限制。

本申请实施例提供的三维重建方法，通过根据测量图像、第一标定图和第二标定图，确定测量图上每个结构光图形的标定区间，然后根据测量图像上每个结构光图形的标定区间，计算每个第一位置坐标的深度值，最后根据每个第一位置坐标的深度值和标定重建参数，对测量图像进行三维重建，不仅实现了对测量图像的三维重建，而且直接通过测量图像上每个结构光图形的标定区间，计算每个第一位置坐标的深度值，避免了立体矫正的步骤，提高了三维重建的效率。

可选的，图3是本申请另一实施例提供的三维重建方法的流程示意图，该方法可以由三维重建装置执行，该装置可以通过软件和/或硬件的方式实现，例如：该装置可以是终端设备的部分或全部，终端设备可以是个人电脑、智能手机、用户终端、平板电脑等，下面以终端设备为执行主体对三维重建方法进行说明，如图3所示，在步骤S103之前，本申请实施例提供的三维重建方法，还可以包括：

步骤S201：获取第三标定图和第四标定图，第三标定图是在第一标定面上标定的非结构光标定图，第四标定图是在第二标定面上标定的非结构光标定图。

获取第三标定图，可以通过在第一标定面处放置标定板，本申请实施例对标定板的类型、尺寸等不做限制，例如，标定板图案为棋盘格图；然后拍摄一张标定图，得到第三标定图，本申请实施例对第三标定图的获取方式不做限制，类似的，可以通过沿相机光轴移动标定板至第二标定面，再次拍摄一张标定图，得到第四标定图，本申请实施例对此不做限制。

步骤S202：根据第三标定图、第四标定图以及相机成像模型，确定标定重建参数。

本申请对如何根据第三标定图、第四标定图以及相机成像模型，确定标定重建参数的具体实施方式不做限制。示例性的，下面对一种相机成像模型进行介绍，相机成像模型为：

其中，u表示像素平面坐标系下的横坐标，v表示像素平面坐标系下的纵坐标，K表示相机内参矩阵，R表示旋转矩阵，T表示平移向量，x_w表示在世界坐标系下的X轴坐标值，y_w表示在世界坐标系下的Y轴坐标值，z_w表示在世界坐标系下的Z轴坐标值。因此，在一种可能的实施方式中，可以通过计算K[R|T]，确定标定重建参数。

在另一种可能的实施方式中，可以对上述公式进一步推导，其中，得到：

其中，fx,fy是与相机焦距、像素的大小有关的参数，cx、cy是相机光心在像素平面上的坐标，r1～r9为旋转矩阵参数，Tx，Ty，Tz分别为X，Y，Z三个方向上的平移参数。单应矩阵H为Z＝0平面的单应矩阵，ΔH为Z＝z_w时单应矩阵的增量矩阵，(H+z_wΔH)表示Z＝z_w平面的单应矩阵。因此可以通过计算H和ΔH的值，确定标定重建参数。

在上述公式的基础上，在一种可能的实施方式中，为了实现确定标定重建参数，根据第三标定图、第四标定图以及相机成像模型，确定标定重建参数，包括：

在第三标定图和第四标定图中，获取多组像素坐标以及多组像素坐标对应的标定板上的坐标；针对多组像素坐标，分别将每组像素坐标以及每组像素坐标对应的标定板上的坐标，输入相机成像模型中，以确定预设空间内任意与相机平面平行的平面的单应矩阵。

在第三标定图和第四标定图中，分别获取多组像素坐标(ui,v_i)以及多组像素坐标各自对应的标定板上的坐标(xi,yi)，其中i为大于零的整数，(ui,v_i)表示第i组像素坐标，本申请实施例对i的数值不做限制，在一种可能的实施方式中，i为大于等于8的整数。分别将像素坐标(ui,v_i)与像素坐标各自对应的标定板上的坐标(xi,yi)，带入公式(5)中，确定单应矩阵H和单应矩阵ΔH。

相应的，根据每个第一位置坐标的深度值和标定重建参数，对测量图像进行三维重建，包括：

根据每个第一位置坐标的深度值、预设空间内任意与相机平面平行的平面的单应矩阵和相机成像模型，对测量图像进行三维重建。

根据第一位置坐标的深度值Z＝z_w、单应矩阵H、单应矩阵ΔH、第一位置坐标(u，v)以及公式(5)，计算(x_w，y_w)，最终确定每个第一位置坐标的(x_w，y_w，z_w)，实现对测量图像的三维重建。

由于通过第三标定图和第四标定图中的像素坐标以及像素坐标对应的标定板上的坐标，确定预设空间内任意与相机平面平行的平面的单应矩阵，实现了对预设空间内任意与相机平面平行的平面的三维坐标的确定，进而实现了对测量图像的三维重建。而且，通过第一标定图和第二标定图对深度值进行标定，然后通过第三标定图和第四标定图以及相机成像模型确定标定重建参数，实现了深度值标定与标定重建参数的分离，降低了标定的精度要求，进而降低了标定难度。

为了实现对测量图像上每个结构光图像的标定区间的确定，在一种可能的实施方式中，图4是本申请又一实施例提供的三维重建方法的流程示意图，该方法可以由三维重建装置执行，该装置可以通过软件和/或硬件的方式实现，例如：该装置可以是终端设备的部分或全部，终端设备可以是个人电脑、智能手机、用户终端、平板电脑等，下面以终端设备为执行主体对三维重建方法进行说明，如图4所示，步骤S102可以包括：

步骤S301：匹配测量图像、第一标定图和第二标定图中的结构光图形。

匹配测量图像、第一标定图和第二标定图中的结构光图形，确定测量图像、第一标定图和第二标定图中相应的结构光图形，本申请实施例对如何匹配测量图像、第一标定图和第二标定图中的结构光图形的具体实施方式不做限制。

步骤S302：确定每个结构光图形在测量图像中的第一位置坐标、在第一标定图中的第二位置坐标和在第二标定图中的第三位置坐标。

本申请对本步骤的具体实施方式不做限制，只要能够确定每个结构光图形在测量图像中的第一位置坐标、在第一标定图中的第二位置坐标和在第二标定图中的第三位置坐标即可。

步骤S303：根据每个结构光图形的第一位置坐标、第二位置坐标和第三位置坐标，确定测量图像上每个结构光图形的标定区间。

如图2所示，根据每个结构光的第一位置坐标、第二位置坐标和第三位置坐标，确定测量图像上每个结构光图形的标定区间，可以根据三角形相似原理，对F’A’进行计算，本申请实施例对此不做限制。

为了实现对测量图像上每个结构光图像的标定区间的确定，在另一种可能的实施方式中，图5是本申请再一实施例提供的三维重建方法的流程示意图，该方法可以由三维重建装置执行，该装置可以通过软件和/或硬件的方式实现，例如：该装置可以是终端设备的部分或全部，终端设备可以是个人电脑、智能手机、用户终端、平板电脑等，下面以终端设备为执行主体对三维重建方法进行说明，如图5所示，步骤S102可以包括：

步骤S401：匹配第一标定图和第二标定图的结构光图形，确定第一标定图与第二标定图中每个结构光图形的坐标对应关系。

匹配第一标定图和第二标定图的结构光图形，确定第一标定图与第二标定图中每个结构光图形的坐标对应关系，其中第一标定图与第二标定图中每个结构光图形的坐标对应关系可以采用单应矩阵的方式表示。

步骤S402：匹配测量图像和第一标定图的结构光图形，确定每个结构光图形在测量图像中的第一位置坐标和在第一标定图中的第二位置坐标。

匹配测量图像和第一标定图的结构光图形，确定每个结构光图形在测量图像中的第一位置坐标和在第一标定图中的第二位置坐标，本申请实施例对本步骤的具体匹配方式不做限制。

步骤S403：根据第一位置坐标、第二位置坐标以及第一标定图与第二标定图中每个结构光图形的坐标对应关系，确定测量图像上每个结构光图形的标定区间。

本步骤中，可以根据第二位置坐标与第一标定图与第二标定图中每个结构光图形的坐标对应关系，确定第三位置坐标，然后根据每个结构光图形的第一位置坐标、第二位置坐标和第三位置坐标，确定测量图像上每个结构光图形的标定区间，具体可参考步骤303，不再赘述。

需要说明的是，在本实施例中，对第一标定图和第二标定图所表示的标定图不做限制，步骤S402中的第一标定图也可以表示为第二标定图。由于通过确定第一标定图与第二标定图中每个结构光图形的坐标对应关系，只需要确定任一标定图中结构光图行的位置坐标，即可实现对另一标定图中对应结构光图形的位置坐标的确定，实现了对标定数据的压缩，节约了大量的存储空间。

下述为本申请实施例提供的装置、设备、存储介质以及计算机程序产品实施例，可以用于执行本发明方法实施例。对于本申请装置实施例中未披露的细节，请参照本申请方法实施例。

图6是本申请一实施例提供的三维重建装置的结构示意图，该装置可以通过软件和/或硬件的方式实现，例如：该装置可以是终端设备的部分或全部，终端设备可以是个人电脑、智能手机、用户终端、平板电脑等，如图6所示，本申请实施例提供的三维重建装置可以包括：

第一获取模块61，用于获取测量图像上每个结构光图形各自对应的第一位置坐标。

第一确定模块62，用于根据测量图像、第一标定图和第二标定图，确定测量图像上每个结构光图形的标定区间，第一标定图是在第一标定面上标定的结构光标定图，第二标定图是在第二标定面上标定的结构光标定图，第一标定面、第二标定面与相机平面平行。

可选的，第一确定模块62，具体用于：

匹配测量图像、第一标定图和第二标定图中的结构光图形。

确定每个结构光图形在测量图像中的第一位置坐标、在第一标定图中的第二位置坐标和在第二标定图中的第三位置坐标。

根据每个结构光图形的第一位置坐标、第二位置坐标和第三位置坐标，确定测量图像上每个结构光图形的标定区间。

可选的，第一确定模块62，具体用于：

匹配第一标定图和第二标定图的结构光图形，确定第一标定图与第二标定图中每个结构光图形的坐标对应关系。

匹配测量图像和第一标定图的结构光图形，确定每个结构光图形在测量图像中的第一位置坐标和在第一标定图中的第二位置坐标。

根据第一位置坐标、第二位置坐标以及第一标定图与第二标定图中每个结构光图形的坐标对应关系，确定测量图像上每个结构光图形的标定区间。

第二确定模块63，用于根据测量图像上每个结构光图形的标定区间，计算每个第一位置坐标的深度值。

可选的，第二确定模块63，具体用于：

确定每个结构光图形在测量图像与第一标定图的第一视差。

在每个结构光图形的标定区间内，确定除第一视差之外的区间为第二视差，第二视差为该结构光图形在测量图像与第二标定图的视差。

根据第一视差和第二视差，计算每个第一位置坐标的深度值。

重建模块64，用于根据每个第一位置坐标的深度值和标定重建参数，对测量图像进行三维重建。

可选的，图7是本申请另一实施例提供的三维重建装置的结构示意图，该装置可以通过软件和/或硬件的方式实现，例如：该装置可以是终端设备的部分或全部，终端设备可以是个人电脑、智能手机、用户终端、平板电脑等，如图7所示，本申请实施例提供的三维重建装置还可以包括：

第二获取模块71，用于获取第三标定图和第四标定图，第三标定图是在第一标定面上标定的非结构光标定图，第四标定图是在第二标定面上标定的非结构光标定图。

第三确定模块72，用于根据第三标定图、第四标定图以及相机成像模型，确定标定重建参数。

可选的，第三确定模块72，具体用于：

在第三标定图和第四标定图中，获取多组像素坐标以及多组像素坐标对应的标定板上的坐标。

针对多组像素坐标，分别将每组像素坐标以及每组像素坐标对应的标定板上的坐标，输入相机成像模型中，以确定预设空间内任意与相机平面平行的平面的单应矩阵。

相应的，重建模块64具体用于：

根据每个第一位置坐标的深度值、预设空间内任意与相机平面平行的平面的单应矩阵和相机成像模型，对测量图像进行三维重建。

本申请实施例提供一种终端设备，图8是本申请一实施例提供的终端设备的结构示意图，如图8所示，该终端设备包括：

处理器81、存储器82、收发器83以及计算机程序；其中，收发器83实现车载收音机与其他设备之间的数据传输，计算机程序被存储在存储器82中，并且被配置为由处理器81执行，计算机程序包括用于执行上述三维重建方法方法的指令，其内容及效果请参考方法实施例。

此外，本申请实施例还提供一种计算机可读存储介质，计算机可读存储介质中存储有计算机执行指令，当用户设备的至少一个处理器执行该计算机执行指令时，用户设备执行上述各种可能的方法。

其中，计算机可读介质包括计算机存储介质和通信介质，其中通信介质包括便于从一个地方向另一个地方传送计算机程序的任何介质。存储介质可以是通用或专用计算机能够存取的任何可用介质。一种示例性的存储介质耦合至处理器，从而使处理器能够从该存储介质读取信息，且可向该存储介质写入信息。当然，存储介质也可以是处理器的组成部分。处理器和存储介质可以位于ASIC中。另外，该ASIC可以位于用户设备中。当然，处理器和存储介质也可以作为分立组件存在于通信设备中。

本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (16)

1.一种三维重建方法，其特征在于，包括：

获取测量图像上每个结构光图形各自对应的第一位置坐标，所述测量图像为结构光图像，所述结构光图形为所述结构光图像中的任一结构光的光斑图形；

根据所述测量图像、第一标定图和第二标定图，确定所述测量图像上每个结构光图形的标定区间，所述第一标定图是通过在第一标定面上放置标定板拍摄的结构光标定图，所述第二标定图是通过在第二标定面上放置所述标定板拍摄的结构光标定图，所述第一标定面、所述第二标定面与相机平面平行，所述相机平面为与相机光轴垂直的平面；

根据所述测量图像上每个结构光图形的标定区间，计算每个所述第一位置坐标的深度值；

根据每个所述第一位置坐标的深度值和标定重建参数，对所述测量图像进行三维重建。

2.根据权利要求1所述的方法，其特征在于，在根据每个所述第一位置坐标的深度值和标定重建参数，对所述测量图像进行三维重建之前，还包括：

获取第三标定图和第四标定图，所述第三标定图是在所述第一标定面上标定的非结构光标定图，所述第四标定图是在所述第二标定面上标定的非结构光标定图；

根据所述第三标定图、所述第四标定图以及相机成像模型，确定所述标定重建参数。

3.根据权利要求2所述的方法，其特征在于，所述根据所述第三标定图、所述第四标定图以及相机成像模型，确定标定重建参数，包括：

在所述第三标定图和所述第四标定图中，获取多组像素坐标以及所述多组像素坐标对应的标定板上的坐标；

针对所述多组像素坐标，分别将每组像素坐标以及每组像素坐标对应的标定板上的坐标，输入所述相机成像模型中，以确定预设空间内任意与相机平面平行的平面的单应矩阵；

相应的，根据每个所述第一位置坐标的深度值和标定重建参数，对所述测量图像进行三维重建，包括：

根据每个所述第一位置坐标的深度值、所述预设空间内任意与相机平面平行的平面的单应矩阵和所述相机成像模型，对所述测量图像进行三维重建。

4.根据权利要求3所述的方法，其特征在于，根据所述测量图像、第一标定图和第二标定图，确定所述测量图像上每个结构光图形的标定区间，包括：

匹配所述测量图像、所述第一标定图和所述第二标定图中的结构光图形；

确定每个结构光图形在所述测量图像中的第一位置坐标、在所述第一标定图中的第二位置坐标和在所述第二标定图中的第三位置坐标；

根据每个结构光图形的第一位置坐标、第二位置坐标和第三位置坐标，确定所述测量图像上每个结构光图形的标定区间。

5.根据权利要求3所述的方法，其特征在于，所述根据所述测量图像、第一标定图和第二标定图，确定所述测量图像上每个结构光图形的标定区间，包括：

匹配所述第一标定图和所述第二标定图的结构光图形，确定所述第一标定图与所述第二标定图中每个结构光图形的坐标对应关系；

匹配所述测量图像和所述第一标定图的结构光图形，确定每个结构光图形在所述测量图像中的第一位置坐标和在所述第一标定图中的第二位置坐标；

根据所述第一位置坐标、第二位置坐标以及所述第一标定图与所述第二标定图中每个结构光图形的坐标对应关系，确定所述测量图像上每个结构光图形的标定区间。

6.根据权利要求1-5任一项所述的方法，其特征在于，所述根据所述测量图像的每个结构光图形的标定区间，计算每个所述第一位置坐标的深度值，包括：

确定每个结构光图形在所述测量图像与所述第一标定图的第一视差；

在每个结构光图形的标定区间内，确定除第一视差之外的区间为第二视差，所述第二视差为该结构光图形在所述测量图像与所述第二标定图的视差；

根据所述第一视差和所述第二视差，计算每个所述第一位置坐标的深度值。

7.根据权利要求1-5任一项所述的方法，其特征在于，

所述第一标定面和所述第二标定面分别位于物平面的两侧，或所述第一标定面和所述第二标定面位于所述物平面的同一侧。

8.一种三维重建装置，其特征在于，包括：

第一获取模块，用于获取测量图像上每个结构光图形各自对应的第一位置坐标，所述测量图像为结构光图像，所述结构光图形为所述结构光图像中的任一结构光的光斑图形；

第一确定模块，用于根据所述测量图像、第一标定图和第二标定图，确定所述测量图像上每个结构光图形的标定区间，所述第一标定图是通过在第一标定面上放置标定板拍摄的结构光标定图，所述第二标定图是通过在第二标定面上放置所述标定板拍摄的结构光标定图，所述第一标定面、所述第二标定面与相机平面平行，所述相机平面为与相机光轴垂直的平面；

第二确定模块，用于根据所述测量图像上每个结构光图形的标定区间，计算每个所述第一位置坐标的深度值；

重建模块，用于根据每个所述第一位置坐标的深度值和标定重建参数，对所述测量图像进行三维重建。

9.根据权利要求8所述的装置，其特征在于，还包括：

第二获取模块，用于获取第三标定图和第四标定图，所述第三标定图是在所述第一标定面上标定的非结构光标定图，所述第四标定图是在所述第二标定面上标定的非结构光标定图；

第三确定模块，用于根据所述第三标定图、所述第四标定图以及相机成像模型，确定所述标定重建参数。

10.根据权利要求9所述的装置，其特征在于，所述第三确定模块，具体用于：

在所述第三标定图和所述第四标定图中，获取多组像素坐标以及所述多组像素坐标对应的标定板上的坐标；

针对所述多组像素坐标，分别将每组像素坐标以及每组像素坐标对应的标定板上的坐标，输入所述相机成像模型中，以确定预设空间内任意与相机平面平行的平面的单应矩阵；

相应的，所述重建模块具体用于：

根据每个所述第一位置坐标的深度值、所述预设空间内任意与相机平面平行的平面的单应矩阵和所述相机成像模型，对所述测量图像进行三维重建。

11.根据权利要求10所述的装置，其特征在于，所述第一确定模块，具体用于：

匹配所述测量图像、所述第一标定图和所述第二标定图中的结构光图形；

确定每个结构光图形在所述测量图像中的第一位置坐标、在所述第一标定图中的第二位置坐标和在所述第二标定图中的第三位置坐标；

根据每个结构光图形的第一位置坐标、第二位置坐标和第三位置坐标，确定所述测量图像上每个结构光图形的标定区间。

12.根据权利要求10所述的装置，其特征在于，所述第一确定模块，具体用于：

匹配所述第一标定图和所述第二标定图的结构光图形，确定所述第一标定图与所述第二标定图中每个结构光图形的坐标对应关系；

匹配所述测量图像和所述第一标定图的结构光图形，确定每个结构光图形在所述测量图像中的第一位置坐标和在所述第一标定图中的第二位置坐标；

根据所述第一位置坐标、第二位置坐标以及所述第一标定图与所述第二标定图中每个结构光图形的坐标对应关系，确定所述测量图像上每个结构光图形的标定区间。

13.根据权利要求8-12任一项所述的装置，其特征在于，所述第二确定模块，具体用于：

确定每个结构光图形在所述测量图像与所述第一标定图的第一视差；

在每个结构光图形的标定区间内，确定除第一视差之外的区间为第二视差，所述第二视差为该结构光图形在所述测量图像与所述第二标定图的视差；

根据所述第一视差和所述第二视差，计算每个所述第一位置坐标的深度值。

14.根据权利要求8-12任一项所述的装置，其特征在于，

所述第一标定面和所述第二标定面位于物平面的两侧，或所述第一标定面和所述第二标定面位于所述物平面的一侧。

15.一种设备，其特征在于，包括：

处理器；

存储器；以及

计算机程序；

其中，所述计算机程序被存储在所述存储器中，并且被配置为由所述处理器执行，所述计算机程序包括用于执行如权利要求1-7任一项所述的方法的指令。

16.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序使得服务器执行权利要求1-7任一项所述的方法。