CN114067061A - 一种三维重建方法及*** - Google Patents

Abstract

本发明公开了一种三维重建方法，包括：获取有投影特征时的场景图像作为第一图像，其中，投影特征为光源发生器在场景中投影光形成的特征；获取无投影特征时的场景图像作为第二图像；采用第一图像构建三维网格模型；采用第二图像对三维网格模型进行纹理映射，完成三维重建。本发明还公开了实现上述三维重建方法的***。本发明通过光源发生器投影在场景中的光形成的投影特征提取特征点，操作便捷，并能保证难以提取特征点的场景能完成三维重建。

Description

一种三维重建方法及***

技术领域

本发明涉及计算机视觉技术，具体是一种三维重建方法及***。

背景技术

随着计算机技术和图像处理技术的不断发展，构建反映真实世界中某场景或物体的三维重建技术应用越来越广泛。目前的三维重建技术中，利用二维图像重建三维图像已经成为十分常用的手段，在整个过程中，二维图像特征点的提取与匹配是十分重要的一环。依据目前广泛应用的SIFT特征检测算法，该过程主要分为构建尺度空间、极值检测、特征点定位、特征方向赋值、特征点描述和特征点匹配等步骤。根据算法特性，二维图像上存在复杂纹理、轮廓、边界等形态时，将更容易对特征点进行定位和描述。

然而，在实际作业中，许多场景的二维图像很难找到特征点，如白墙、大玻璃、纯色瓷砖等纯色场景，或者图形大面积有规律重复出现的场景，就无法提取特征点，进而无法通过特征点完成三维重建。因上述难以提取二维图像特征点的场景在实际生活中十分常见，目前解决这些场景的三维重建不能采用基于二维图像特征点的方式，只能采用其它技术手段实现。

发明内容

本发明的目的在于解决难以提取二维图像特征点的场景不能采用基于特征点的方式进行三维重建的问题，提供了一种三维重建方法，其通过光源发生器投影在场景中的光形成的投影特征提取特征点，操作便捷，并能保证难以提取特征点的场景能完成三维重建。本发明还公开了实现上述三维重建方法的***。

本发明的目的主要通过以下技术方案实现：一种三维重建方法，包括：

获取有投影特征时的场景图像作为第一图像，所述投影特征为光源发生器在场景中投影光形成的特征；

获取无投影特征时的场景图像作为第二图像；

采用所述第一图像构建三维网格模型；

采用所述第二图像对三维网格模型进行纹理映射，完成三维重建。其中，纹理映射即纹理的自动提取和贴图，可以把纹理图像粘贴到模型表面上，并使纹理在变换时与所附着的平面保持适当的关系。其本质是建立二维纹理空间点到三维物空间物体表面点的对应关系，将二维空间点对应的颜色值或灰度值映射到三维物体表面，得到符合真实色彩视觉的三维模型。

本发明在具体实施时，对于缺少特征点的场景，也可采用人为添加图像替换光源发生器在场景中生成特征图像，即在场景中人为贴一些特殊图形，将特殊图形作为特征，以便后期从二维图像中通过添加图像提取特征点，但该种方式，场景越大，需要贴的图形越多，采用人为贴图方式，十分麻烦。本发明通过光源发生器在缺少特征点的场景投影的光形成投影特征提取特征点，光在场景中形成多个图像，获取第一图像时这些图像连同场景一起包括在内，通过这些图像提取特征点，操作便捷，解决了难以提取特征点的场景三维重建问题。

本发明采用第一图像构建三维网格模型、采用第二图像对三维网格模型进行纹理映射均可采用现有技术实现，因三维模型中需要得到场景的实际情况，因此要作为最终的产品输出，还需要在三维模型中把这些作为特征的图像去掉。特征点主要在白模构建阶段(即三维网格模型构建阶段)会用到，贴图阶段(即纹理映射阶段)不会用到，因此本发明采用有投影特征的场景图像构建白模，无投影特征的场景图像作为贴图数据，即可避免重建的三维模型带有特征图像。

作为本发明获取第一图像和第二图像的第一种实施方式，进一步的，所述投影光为可见光，所述第一图像为拍摄获得，所述第二图像通过去除第一图像中的投影特征获得。本实施方式将第一图像中的投影特征去除采用现有的图像处理软件实现，操作简单，第二图像由第一图像得到，位置及姿态相同，图像一一对应，在进行贴图处理时，便于处理。

作为本发明获取第一图像和第二图像的第二种实施方式，进一步的，所述投影光为可见光；所述第一图像和第二图像均为拍摄获得，获取所述第一图像时光源发生器为打开状态，获取所述第二图像时光源发生器为关闭状态。本实施方式操作简单，由于第二图像与第一图像是分开采集的，应尽量做到一一匹配，以避免贴图处理较慢，或贴图出现位置对应错误。

本发明的第一图像和第二图像均为拍摄获得时，采用同一摄像设备或不同摄像设备拍摄均可，无论第一图像和第二图像拍摄位置是否对应均能实施，当第一图像和第二图像拍摄位置不一一对应，基于现有技术也能实现模型构建。

作为本发明拍摄第一图像和第二图像的第一种实施方式，进一步的，所述第一图像和所述第二图像采用同一摄像设备或不同摄像设备拍摄获得；所述第一图像和所述第二图像拍摄位置不一一对应。

作为本发明拍摄第一图像和第二图像的第二种实施方式，进一步的，所述第一图像和所述第二图像采用同一摄像设备或不同摄像设备拍摄获得；所述第一图像和所述第二图像拍摄位置一一对应。本实施方式保证第二图像与第一图像一一对应，方便贴图时数据替换及处理，能提升处理效率和精度。

作为本发明获取第一图像和第二图像的第三种实施方式，进一步的，所述投影光为非可见光；

所述第一图像获取方式为：采用配置有第一滤光装置的摄像设备拍摄场景中有投影特征的投影图像，将每张投影图像与其拍摄位置对应的第二图像一一对应融合成所述第一图像；所述第一滤光装置用于滤除所述非可见光之外的光；

所述投影图像和所述第二图像采用同一摄像设备或不同摄像设备拍摄获得。其中，投影图像只有投影特征，相当于只有光斑，只有光斑不能构建出有效的三维网格模型，需要建立光斑与场景的位置关系，才能构建有效真实的三维网格模型，投影图像与第二图像融合后得到的第一图像建立了光斑与场景的位置关系，包含非可见光形成的特征图像及可见光形成的正常场景图像，拍摄第二图像时摄像设备未配置第一滤光装置。

本发明在投影光为非可见光时，进一步的，所述非可见光为近红外光、中红外光、远红外光、紫外光及红外光中的任意一种。其中，近红外光、中红外光、远红外光、紫外光及红外光均不能引起视觉，但可以通过摄像去拍摄投影产生的图形。

本发明在投影光为非可见光时，进一步的，所述第二图像获取方式为：采用配置有第二滤光装置的摄像设备拍摄所述第二图像；所述第二滤光装置用于滤除可见光之外的光。现有摄像设备通常带有滤光片或滤光膜来滤掉可见光之外的光，以减少非可见光对可见光的影响，如此，本发明在具体实施时，第二滤光装置取材便捷。

为了更有利于区分场景，进一步的，所述光源发生器在场景中投影光形成的投影特征形状和/或大小不同。

实现上述三维重建方法的***，包括：

光源发生器，用于在场景中投影光形成投影特征；

第一图像获取模块，用于获取有投影特征时的场景图像作为第一图像；

第二图像获取模块，用于获取无投影特征时的场景图像作为第二图像；

模型构建模块，用于采用所述第一图像构建三维网格模型，采用所述第二图像对三维网格模型进行纹理映射，完成三维模型重建。

综上所述，本发明与现有技术相比具有以下有益效果：本发明通过光源发生器在缺少特征点的场景中投影光形成投影特征，通过投影特征提取特征点，可获得最终匹配好的特征点云，再通过获得的特征点云构建白模，然后将无投影特征的场景图像贴图到白模上完成三维重建，操作便捷，并能保证难以提取特征点的场景三维重建能得到实施。

附图说明

此处所说明的附图用来提供对本发明实施例的进一步理解，构成本申请的一部分，并不构成对本发明实施例的限定。在附图中：

图1为本发明一个具体实施例的流程图；

图2为光源发生器在场景中形成投影特征的示意图；

图3为本发明一个具体实施例的***结构图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，下面结合实施例和附图，对本发明作进一步的详细说明，本发明的示意性实施方式及其说明仅用于解释本发明，并不作为对本发明的限定。

实施例1：

如图1所示，一种三维重建方法，包括：获取有投影特征时的场景图像作为第一图像，其中，投影特征为光源发生器在场景中投影光形成的特征；获取无投影特征时的场景图像作为第二图像；采用第一图像构建三维网格模型；采用第二图像对三维网格模型进行纹理映射，完成三维重建。其中，纹理映射是将预先定义的纹理或图像根据某种映射算法将其贴到三维空间物体的表面，建立纹理与空间物体的一一对应关系。本实施例的纹理映射分为三步，首先根据三维网格模型中的三角面将第二图像切割成与之对应的纹理三角面，然后建立三维网格模型与纹理三角面之间的对应关系。三维网格模型中每一个三角面有可能对应着多个纹理三角面，需要建立三维网格模型三角面与纹理三角面的一对多关系，从这些纹理三角面集中选择最优的纹理三角面，将一对多关系转为一对一关系。最后建立三维网格模型三角面与纹理三角面映射函数，将二维平面纹理三角面映射到三维网格模型，完成纹理映射。

本实施例获取的第一图像和第二图像的数量均为多幅，获取第一图像和第二图像在具体操作时无先后顺序要求，根据第一图像和第二图像进行场景三维模型重建时，采用第一图像构建白模，即三维网格模型，白模由无数三角网格构成，采用第二图像作为贴图数据，即纹理映射。图2为本实施例应用于墙面上的一个示例，光源发生器在墙上形成多个图像作为投影特征，拍照时将这些图像连同墙面一起拍进去，通过图像提取特征点，完成三维重建，构建整体的三维模型。本实施例的三维模型重建可采用现有的Pictometry***、Smart 3D Capture、Vision Map软件、Ultramap、DP Modeler、Super MapGIS7C、Pix4Dmapper、PhotoScan等三维建模软件实现，或编程实现。

本实施例在具体实施时，由于受图像获取的时间、外部光照条件、拍摄角度等多种因素的影响，导致获取的图像可能出现光照分布不均匀、色彩差异较大等现象，从而影响三维模型的制作和应用，所以可先对第一图像先进行匀光匀色的处理。常用的匀光匀色的算法有：基于MASK的匀光、基于频率域的匀光、基于自适应模板的匀光以及基于Wallis滤波的匀光匀色。其中，基于Wallis滤波的匀光匀色方式较前三种方式有较好的处理效果和较高的处理效率，本实施例优选采用基于Wallis滤波的匀光匀色方式。本实施例在进行匀光匀色的处理后，可再采用SIFT算法、BUNDLER算法、Harris算法、SUSAN算法、Foerstner算法、Moravec算法等方式对第一图像进行特征点提取，然后再构建白模。其中，SIFT算法是一种基于尺度空间的图像局部特征描述算子，具有尺度不变性和旋转不变性，对光线、噪声等有较好的抵抗性，对于部分物体遮挡区域有较好的特征描述效果，因此，本实施例优选采用SIFT算法提取特征点。

如图3所示，实现上述三维重建方法的***，包括：光源发生器，用于在场景中投影光形成投影特征；第一图像获取模块，用于获取有投影特征时的场景图像作为第一图像；第二图像获取模块，用于获取无投影特征时的场景图像作为第二图像；模型构建模块，用于采用所述第一图像构建三维网格模型，采用所述第二图像对三维网格模型进行纹理映射，完成三维模型重建。其中，光源发生器在需要获取有投影特征的图像时打开，在图像获取过程中，需要进行拍摄时，采用摄像设备进行拍摄。

实施例2：

本实施例在实施例1的基础上做出了如下进一步限定：本实施例的投影光为可见光，第一图像为拍摄获得，第二图像通过去除第一图像中的投影特征获得。本实施例的第二图像通过处理第一图像获得，可见本实施例获取第一图像和第二图像有先后顺序。本实施例将第一图像处理为第二图像时，采用photoshop等现有图像处理软件实现或编程实现，在使用软件去除投影特征时，为降低对后期贴图造成影响，应尽量避免投影特征处的其他图像出现扭曲、错位、变形等问题。

实施例3：

本实施例在实施例1的基础上做出了如下进一步限定：本实施例的投影光为可见光，第一图像和第二图像均为拍摄获得，获取所述第一图像时光源发生器为打开状态，获取所述第二图像时光源发生器为关闭状态，本实施例获取第一图像和第二图像无先后顺序。本实施例的第一图像和第二图像采用同一摄像设备拍摄获得或采用不同的摄像设备拍摄获得均可，拍摄第一图像和第二图像时拍摄位置是否一一对应，均不影响本实施例的实施。若第一图像和第二图像拍摄位置不对应，根据纹理映射的原理同样能完成纹理映射。在第一图像和第二图像拍摄位置不对应时，可以采用一个摄像设备或两个摄像设备，采用一个摄像设备可以先拍摄完所有的第一图像或第二图像，再拍摄第二图像或第一图像，采用两个摄像设备可以同时进行。

本实施例在具体实施时，为了提升处理精度和效率，优选使拍摄第一图像和第二图像时拍摄位置设置为一一对应。实现第一图像和第二图像拍摄位置一一对应的方式包括：一、采用一个摄像设备，在具体拍摄时，先拍摄一张第一图像或第二图像，再保持摄像设备姿态和位置不变，控制光源发生器启闭，然后再拍摄一张另一图像。二、采用两个摄像设备，镜头朝向相同，采集拍摄位置对应的第一图像和第二图像。本实施例应用时，需要配合拍摄反复关闭或开启光源发生器。

本实施例的第二图像并非采用图像处理软件获得，操作更加便捷，精度更高。

实施例4：

本实施例在实施例1的基础上对第一图像获取方式做出了如下进一步限定：本实施例采用配置有第一滤光装置的摄像设备拍摄场景中有投影特征的投影图像，将每张投影图像与其拍摄位置对应的第二图像一一对应融合成所述第一图像。其中，第一滤光装置用于滤除非可见光之外的光，本实施例在获取第二图像时，采用配置有第二滤光装置的摄像设备拍摄所述第二图像，第二滤光装置用于滤除可见光之外的光。需要说明的是，普通拍摄可见光的摄像装置通常都安装有滤光片或滤光膜，以减少非可见光对可见光的影响，本实施例在拍摄第二图像时，采用现有常规配备有滤光片或滤光膜的摄像装置即可实施，由于拍摄可见光的摄像装置自带滤光装置，正如实施例1-3所述，本实施例即使不强调拍摄可见光的摄像装置配置有滤光装置，基于本领域技术人员的公知常识，本实施例获取第二图像的方式也可实施。本实施例的第一图像由投影图像与第二图像融合得到，建模的图与贴图的图一一对应，可以提升贴图效率。

本实施例在获取图像时，需先获取投影图像和第二图像，再获取第一图像。本实施例的投影图像和第二图像采用同一摄像设备或不同摄像设备拍摄获得，在具体获取投影图像和第二图像时，无论先获取哪一图像均可。本实施例应用时，为了便于使投影图像与第二图像融合得到第一图像，当采用一个摄像设备拍摄时，先拍摄投影图像或第二图像，再保持摄像设备姿态和位置不变，切换滤光装置，然后再拍摄另一图像，其中，拍摄投影图像时摄像设备搭载第一滤光装置，拍摄第二图像时摄像设备搭载第二滤光装置；当采用两个摄像设备拍摄时，分别搭载第一滤光装置和第二滤光装置，采用搭载第一滤光装置的摄像设备拍摄投影图像，采用搭载第二滤光装置的摄像设备拍摄第二图像，此时两个摄像设备镜头朝向相同，采集拍摄位置对应的投影图像和第二图像。

本实施例的投影光为非可见光，其中，本实施例中采用的非可见光为近红外光、中红外光、远红外光、紫外光及红外光中的任意一种。在此，以投影光为近红外光为例，近红外光是介于可见光和中红外光之间，波长在780～2526nm范围内的电磁波。摄像设备采用CMOS相机，虽然CMOS相机对于近红外波段的响应能力普遍没有可见光波段强，但太阳光的光强在可见光至红外光这段区间也随波长增加而减弱，且大气对太阳光中940nm的光谱具有明显的吸收作用，因此太阳光对该波段的影响较小，进而能避免特征图像受太阳光影响而使得清晰度降低。在本实施例中，加大光源发生器的功率或者调整相机参数都是可行的，因为该光源发生器是产生非可见光，不会对场景事物的实际颜色造成影响，而拍摄的带有特征图像的二维图像都是只拍摄特征图像的照片，不会拍摄场景事物，由于CMOS相机对该波段的响应能力较弱，因此可以拉高相机的ISO，提升相机的感光度，使得拍摄的近红外光形成的特征图像清晰，从而能保证拍摄效果。

实施例5：

为了更便于区分场景，本实施例在实施例1～4中任意一个实施例的基础上做出了如下进一步限定：本实施例的光源发生器在场景中投影光形成的投影特征形状和/或大小不同。如此，能确保本实施例应用时投影在场景中的投影特征存在差异。在具体实施时，可以采用直接投影不同形状图案的光斑，也可以是光源发生器发出重复规则图形的光斑，由于光源与场景中不同的位置有不同的位置关系，进而使投影出的光斑出现不同的形状/或大小，如图2所示，光源发出的是正方形，左上角的投影特征为不规则方形。

以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种三维重建方法，其特征在于，包括：

获取有投影特征时的场景图像作为第一图像，所述投影特征为光源发生器在场景中投影光形成的特征；

获取无投影特征时的场景图像作为第二图像；

采用所述第一图像构建三维网格模型；

采用所述第二图像对三维网格模型进行纹理映射，完成三维重建。

2.根据权利要求1所述的一种三维重建方法，其特征在于，所述投影光为可见光，所述第一图像为拍摄获得，所述第二图像通过去除第一图像中的投影特征获得。

3.根据权利要求1所述的一种三维重建方法，其特征在于，所述投影光为可见光；所述第一图像和第二图像均为拍摄获得，获取所述第一图像时光源发生器为打开状态，获取所述第二图像时光源发生器为关闭状态。

4.根据权利要求3所述的一种三维重建方法，其特征在于，所述第一图像和所述第二图像采用同一摄像设备或不同摄像设备拍摄获得；所述第一图像和所述第二图像拍摄位置不一一对应。

5.根据权利要求3所述的一种三维重建方法，其特征在于，所述第一图像和所述第二图像采用同一摄像设备或不同摄像设备拍摄获得；所述第一图像和所述第二图像拍摄位置一一对应。

6.根据权利要求1所述的一种三维重建方法，其特征在于，所述投影光为非可见光；

所述第一图像获取方式为：采用配置有第一滤光装置的摄像设备拍摄场景中有投影特征的投影图像，将每张投影图像与其拍摄位置对应的第二图像一一对应融合成所述第一图像；所述第一滤光装置用于滤除所述非可见光之外的光；

所述投影图像和所述第二图像采用同一摄像设备或不同摄像设备拍摄获得。

7.根据权利要求6所述的一种三维重建方法，其特征在于，所述非可见光为近红外光、中红外光、远红外光、紫外光及红外光中的任意一种。

8.根据权利要求6所述的一种三维重建方法，其特征在于，所述第二图像获取方式为：采用配置有第二滤光装置的摄像设备拍摄所述第二图像；所述第二滤光装置用于滤除可见光之外的光。

9.根据权利要求1～8中任意一项所述的一种三维重建方法，其特征在于，所述光源发生器在场景中投影光形成的投影特征形状和/或大小不同。

10.实现权利要求1～9中任意一项所述的一种三维重建方法的***，其特征在于，包括：

光源发生器，用于在场景中投影光形成投影特征；

第一图像获取模块，用于获取有投影特征时的场景图像作为第一图像；

第二图像获取模块，用于获取无投影特征时的场景图像作为第二图像；

模型构建模块，用于采用所述第一图像构建三维网格模型，采用所述第二图像对三维网格模型进行纹理映射，完成三维模型重建。

Images