CN114004935A - 通过三维建模***进行三维建模的方法和装置 - Google Patents

Abstract

本申请公开了一种通过三维建模***进行用于三维建模的方法和装置。具体实现方案为：控制组件控制投影设备向目标物体的至少两个可见表面投影预设纹理，其中，目标物体相邻的可见表面被投射的预设纹理的图案不同；针对至少两个可见表面中的可见表面，控制组件控制摄像设备在不同位置对该可见表面进行图像采集，得到该可见表面第一图像和第二图像，其中，第一图像具有所投影的预设纹理，第二图像具有目标物体的真实纹理；控制组件获取第一图像，建立目标物体的三维网格；控制组件获取第二图像，并基于第一图像和第二图像之间的对齐关系，将第二图像贴图到所建立的三维网格，以生成目标物体的具有真实纹理的三维模型。

Description

通过三维建模***进行三维建模的方法和装置

技术领域

本公开涉及计算机视觉技术领域，尤其是一种通过三维建模***进行三维建模的方法和装置。

背景技术

在计算机视觉中，三维重建是指根据单视图或者多视图的图像重建三维信息的过程。由于单视频的信息不完全，因此三维重建需要利用经验知识。而多视图的三维重建相对比较容易，其方法是先对摄像机进行标定，即计算出摄像机的图象坐标系与世界坐标系的关系，然后利用多个二维图像中的信息重建出三维信息。

发明内容

本公开的实施例提供了一种通过三维建模***进行三维建模的方法和装置。

根据本公开实施例的一个方面，提供了一种通过三维建模***进行用于三维建模的方法，其中，三维建模***包括摄像设备、投影设备、控制组件，其中，投影设备与待三维建模的目标物体的可见表面对应设置；三维建模方法包括：控制组件控制投影设备向目标物体的至少两个可见表面投影预设纹理，其中，目标物体相邻的可见表面被投射的预设纹理的图案不同；针对至少两个可见表面中的可见表面，控制组件控制摄像设备在不同位置对该可见表面进行图像采集，得到该可见表面第一图像和第二图像，其中，第一图像具有所投影的预设纹理，第二图像具有目标物体的真实纹理；控制组件获取第一图像，建立目标物体的三维网格；控制组件获取第二图像，并基于第一图像和第二图像之间的对齐关系，将第二图像贴图到所建立的三维网格，以生成目标物体的具有真实纹理的三维模型。

根据本公开实施例的另一方面，提供了一种用于三维建模的装置，包括：纹理投影模块，用于控制投影设备向目标物体的至少两个可见表面投影预设纹理，其中，目标物体相邻的可见表面被投射的预设纹理的图案不同；图像采集模块，用于针对至少两个可见表面中的可见表面，控制组件控制摄像设备在不同位置对该可见表面进行图像采集，得到该可见表面第一图像和第二图像，其中，第一图像具有所投影的预设纹理，第二图像具有目标物体的真实纹理；网格建立模块，用于获取第一图像，建立目标物体的三维网格；纹理贴图模块，用于获取第二图像，并基于第一图像和第二图像之间的对齐关系，将第二图像贴图到所建立的三维网格，以生成目标物体的具有真实纹理的三维模型。

根据本公开实施例的又一方面，提供了一种电子设备，包括：存储器，用于存储计算机程序；处理器，用于执行存储器中存储的计算机程序，且计算机程序被执行时，实现上述任一实施例提供的通过三维建模***进行三维建模的方法。

根据本公开实施例的还一方面，提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时，实现上述任一实施例提供的通过三维建模***进行三维建模的方法。

根据本公开实施例的再一方面，提供了一种计算机程序产品，包括计算机程序/指令，该计算机程序/指令被处理器执行时实现上述任一实施例提供的通过三维建模***进行三维建模的方法。

下面通过附图和实施例，对本公开的技术方案做进一步的详细描述。

附图说明

通过结合附图对本公开实施例进行更详细的描述，本公开的上述以及其他目的、特征和优势将变得更加明显。附图用来提供对本公开实施例的进一步理解，并且构成说明书的一部分，与本公开实施例一起用于解释本公开，并不构成对本公开的限制。在附图中，相同的参考标号通常代表相同部件或步骤。

图1是适用于本申请提供的通过三维建模***进行三维建模的方法或通过三维建模***进行三维建模的装置的***框架图。

图2是本公开一示例性实施例提供的通过三维建模***进行三维建模的方法的流程示意图。

图3是本公开图2所示的实施例中步骤240的一个实现方式的流程示意图。

图4是本公开图2所示的实施例中步骤230的一个实现方式的流程示意图。

图5是本公开一示例性实施例提供的通过三维建模***进行三维建模的装置的结构示意图。

图6是本公开一示例性实施例提供的电子设备的结构图。

具体实施方式

下面，将参考附图详细地描述根据本公开的示例实施例。显然，所描述的实施例仅仅是本公开的一部分实施例，而不是本公开的全部实施例，应理解，本公开不受这里描述的示例实施例的限制。

应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本公开的范围。

本领域技术人员可以理解，本公开实施例中的“第一”、“第二”等术语仅用于区别不同步骤、设备或模块等，既不代表任何特定技术含义，也不表示它们之间的必然逻辑顺序。

还应理解，在本公开实施例中，“多个”可以指两个或两个以上，“至少一个”可以指一个、两个或两个以上。

还应理解，对于本公开实施例中提及的任一部件、数据或结构，在没有明确限定或者在前后文给出相反启示的情况下，一般可以理解为一个或多个。

另外，本公开中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本公开中字符“/”，一般表示前后关联对象是一种“或”的关系。

还应理解，本公开对各个实施例的描述着重强调各个实施例之间的不同之处，其相同或相似之处可以相互参考，为了简洁，不再一一赘述。

同时，应当明白，为了便于描述，附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。

以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本公开及其应用或使用的任何限制。

对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为说明书的一部分。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。

示例性***

请参考图1，其示出了适用于本申请提供的通过三维建模***进行三维建模的方法或通过三维建模***进行三维建模的装置的三维建模系的统结构图。该三维建模***可以用于为目标物体进行真实纹理的三维建模。在本实施例中，三维建模***可以包括：摄像设备1、投影设备2、控制组件3，如图1所示。上述控制组件3可以通过有线或无线的方式与摄影设备1和投影设备2连接，从而实现控制组件3与摄影设备1和投影设备2之间信息的传递。

在本实施例中，投影设备2可以与待三维建模的目标物体的可见表面对应设置，该投影设备2可以向目标物体的可见表面投影预设纹理，从而实现为目标物体弱纹理的可见表面制造人工纹理。上述摄像设备1可以在不同位置对于目标物体的各个可见表面进行图像采集。上述投影设备2可以是投影仪等可实现纹理投影的设备，摄像设备1可以是摄像机、照相机等图像采集设备，本实施例不限制具体设备。

这里，可以通过各种方式控制摄像设备1移动。例如，可以直接移动摄像设备1，从而改变摄像设备1与目标物体的相对位置。可选地，上述三维建模***可以包括相机支架，在拍摄的过程中，上述摄像设备1可以固定在相机支架上，从而使得摄像设备1与相机支架保持固定，移动相机支架即可以改变摄像设备1与目标物体的相对位置。

在本实施例中，上述控制组件3可以是硬件，也可以是软件。当控制组件3为硬件设备时，可以是与上述摄像设备1和投影设备2通信连接以实现目标物体真实纹理三维建模的各种电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等终端设备，或者上述控制组件3还可以是服务器。当控制组件3为软件时，可以安装在上述所列举的电子设备中。其可以实现成多个软件或软件模块(例如用来提供分布式服务)，也可以实现成单个软件或软件模块。在此不做具体限定。

上述控制组件3可以实现各种功能，例如，可以通过安装的投影控制软件控制投影设备2向目标物体的可见表面投影预设纹理，以及从摄像设备1获取图像并对所获取的图像进行处理，生成目标物体的具有真实纹理的三维模型。

在一些可选的实施例中，上述三维建模***还可以包括补光设备，该补光设备可以保证目标物体的可见表面为漫反射，不存在点光源。上述补光设备为图像采集提供均匀的光照环境，提高了摄像设备1采集到的图像的质量，使得最终得到的真实纹理的三维图像的效果更好。

在一些可选的实施例中，三维建模***中不限制包括的摄像设备1和投影设备2的数量，例如，投影设备2与目标物体的可见表面的数量相等，每台投影设备2对应一个可见表面。或者，还可以通过一台投影设备2移动到不同位置实现对应多个可见表面。上述摄像设备1同样可以包括多台或一台，图1仅示出一种示例结构，这里没有唯一的限定。

上述三维建模***可以用于为各种不同的目标物体真实纹理的三维建模。这里以目标物体为汽车为例，对三维建模***进行说明。三维建模***中可以包括5台投影设备，分别分布在汽车的前、后、左、右和上方(这5个方向的表面为汽车的可见表面)，每台投影设备2的投影范围要完整覆盖朝向该投影设备2的一侧车体的可见表面。可以理解的是，各投影设备2所投影的预设纹理可以不相同，或者，相邻可见表面对应的投影设备2所投影的预设纹理不同即可，这里没有唯一的限定。上述摄像设备1需要环绕汽车进行图像采集，同时还需要俯拍汽车的上方表面，因此上述摄像设备1需要可沿水平和竖直方向移动，从而实现环绕拍摄汽车和俯拍汽车的表面。上述控制组件3可以获取摄像设备1拍摄的图像，以便于其可以通过各种方式对所获取的图像进行处理，来得到汽车的真实纹理图像。上述投影设备2向汽车的可见表面投射预设纹理，可以实现在汽车表面纹理清晰，克服汽车表面弱纹理的问题。

示例性方法

图2是本公开一示例性实施例提供的通过三维建模***进行三维建模的方法的流程示意图。本实施例可应用如图1所示的三维建模***上，该三维建模***可以包括摄像设备、投影设备、控制组件，其中，投影设备与待三维建模的目标物体的可见表面对应设置；如图2所示，三维建模方法包括如下步骤：

步骤210，控制组件控制投影设备向目标物体的至少两个可见表面投影预设纹理。

在本实施例中，上述目标物体相邻的可见表面被投射的预设纹理的图案不同。

可选地，目标物体可以是车辆等表面真实纹理较少或真实纹理不明显的物体，例如，高反光、弱纹理的物体，基于真实纹理不易获得目标物体的几何结构。通过对目标物体相邻的可见表面投射图案不同的预设纹理，可较好的区分目标物体的相邻的可见表面，实现更好的获得目标物体的几何结构，避免了因相邻可见表面的纹理相同而被识别为同一可见表面，而丢失目标物体的几何结构的问题。

可以理解的是，上述投影设备可以从不同的方向对目标物体的可见表面投射预设纹理，投影设备从任一方向所投射出的预设纹理可以覆盖目标物体的至少部分表面，该被覆盖预设纹理的表面为目标物体的一可见表面。例如，若目标物体为汽车等各表面明显的物体时，投影设备可以从汽车的前、后、左、右和上对应的方向投射预设纹理，预设纹理可以覆盖汽车的前表面、后表面、左表面、右表面和上表面，则前表面、后表面、左表面、右表面和上表面均为汽车不同的可见表面。再例如，若目标物体为球体时，投影设备可以从相对的两个方向向该球体的表面投影预设纹理，这两个方向中的任一方向投射预设纹理时，该预设纹理所覆盖的表面可以为该球体的一可见表面，另一方向投射预设纹理所覆盖的表面可以为该球体的另一可见表面。

步骤220，针对至少两个可见表面中的可见表面，控制组件控制摄像设备在不同位置对该可见表面进行图像采集，得到该可见表面第一图像和第二图像。

在本实施例中，针对各可见表面中的任一可见表面，在投影设备向该可见表面投影预设纹理时，上述控制器可以控制摄像设备对该可见表面进行图像采集得到具有所投影的预设纹理的第一图像。进一步地，在该表面没有投影预设纹理时，上述控制器可以控制摄像设备对该可见表面进行图像采集得到具有真实纹理的第二图像。对于目标物体的所有可见表面均可以对应地采集第一图像和第二图像。

步骤230，控制组件获取第一图像，建立目标物体的三维网格。

在本实施例中，基于步骤220得到的第一图像，上述控制组件可以获取针对各可见表面采集得到的第一图像。而后，上述控制组件可以对采用各种方式处理所获取的第一图像，从而可以建立目标物体的三维网格，即得到目标物体的三维几何模型。这里，建立的三维网格可以由多个三角面片构成，可以较好的重建目标物体外观的几何结构。作为示例，上述控制组件可以基于第一图像的纹理建模，即通过分析单张第一图像中目标物体表面重复纹理单元的大小、形状、恢复出目标物体的法向、深度等信息，从而得到目标物体的三维网格。例如，上述控制组件还可以基于变焦建模，即通过分析摄像设备的焦距等与第一图像清晰度之间的关系，恢复出目标物体的深度，从而得到该目标物体的三维网格。可选地，上述控制组件还可以利用SFM和MVS技术处理第一图像，可得到体现目标物体的外观几何轮廓的三维网格。

其中，SFM全称structure from motion，是一种三维重建的方法，用于在运动(motion)中实现3D重建。也就是从时间系列的2D图像中推算3D信息。包括特征提取、特征匹配、三角化，求解一个优化问题，目的是得到估计摄像设备的内参和外参以及稀疏点云。

MVS全称multi-view stereo，是对于多视图三维重建一系列方法的总称，简而言之，就是利用多个相机拍摄的多张图像，来重建出图像中的场景。根据SFM的结果，估计每张图像每个像素的深度，最终融合得到稠密点云，通过网格生成，网格优化，纹理贴图得到逼真的三维网格。

步骤240，控制组件获取第二图像，并基于第一图像和第二图像之间的对齐关系，将第二图像贴图到所建立的三维网格，以生成目标物体的具有真实纹理的三维模型。

在本实施例中，基于步骤220得到的第二图像，上述控制组件可以获取针对各可见表面采集得到的第二图像。以及基于步骤230得到的三维网格，上述控制组件可以通过各种方式将第一图像和第二图像之间对齐，从而将第二图像贴图到所得到的三维网格。上述第二图像为具有目标物体真实纹理的图像，因此将第二图像贴到三维网格之后，可以生成目标物体具有真实纹理的三维模型。作为示例，上述控制组件可以通过特征提取算法对第一图像和第二图像进行特征匹配来将第一图像和第二图像对齐。

可选地，第一图像和第二图像可通过分别对应的位姿和相机内参，实现对第一图像和第二图像之间的对齐，将对齐后的第二图像通过纹理贴图技术贴图到三维网格即可生成目标物体的具有真实纹理的三维模型；其中，第一图像和第二图像对应的位姿为摄像设备采集第一图像和第二图像时的位姿；纹理贴图技术可采用现有技术中的纹理贴图技术。

现有技术中，采用深度相机采集到的深度图像中的深度信息来建立目标物体的三维模型和贴图，公开的方法一般是采集数据时，实时运行SLAM算法构建三维模型，容易出现轨迹漂移。因此，当深度相机回到起点采集深度图像时，与最开始在起点采集到深度图像相比，往往会发生特征点错位的问题，从而导致无法准确地建立真实纹理的三维模型。本实施例提供的方案，首先对目标物体的可见表面采集第一图像和第二图像，而后综合分析采集到的各第一图像建立三维网格，最后综合第一图像和第二图像贴图得到真实纹理的三维模型，本实施例公开的方案综合考虑第一图像和第二图像的各点，从而可以保证特征点的准确性，避免出现特征点漂移的问题，从而可以保证得到的真实纹理三维模型的准确性。

本公开实施例提供的通过三维建模***进行三维建模的方法，通过投影设备对目标物体的可见表面进行预设纹理的投影，并基于采集得到的具有预设纹理的第一图像进行三维网格的建立，由于增加了预设纹理，使得采集到的目标物体的可见表面的图像中的特征点增加，从而实现较好的重建目标物体外观的几何结构，建立的三维网格体现了目标物体的几何结构完整性；并且基于具有真实纹理的第二图像对三维网格进行贴图，实现了获得的三维模型在几何结构接近真实目标物体的基础上，还具有目标物体的真实纹理，使获得的三维模型更接近真实目标物体。

其中，几何结构完整性，可以指重建出的几何结构能充分反映目标物体的外观结构。例如，当目标物体为汽车时，车门、车顶、车前盖等大的曲面要完整平滑，没有鼓包，毛刺，孔洞等明显错误的结构，同时可以较好的还原车门缝隙，车头车位等细节的特征。

在一些可选的实施例中，三维建模***中，目标物体的各可见表面对应设置至少一个投影设备；

上述实施例中的步骤210可以包括：

控制组件控制各投影设备向对应的可见表面投影不同图案的预设纹理，以使各可见表面显示不同图案的预设纹理。

可选地，投影设备的数量可以对应可见表面的总量，例如，投影设备至少包括5个，分别位于目标物体的前后左右及顶部，每个投影设备的投射区域要完整覆盖目标物体朝向该投影设备的那一侧；由于采集到的第一图像需要构建三维网格，该过程中会涉及到特征匹配，纹理相同有可能导致匹配失败，无法恢复正确的目标物体几何结构，导致目标物体表面会凹凸不平，孔洞，毛刺等严重的问题，因此，本实施例通过在不同可见表面投影不同图案的预设纹理，提高了特征匹配的准确性，从而可以更好的恢复得到目标物体的几何结构。

在一些可选的实施例中，上述实施例中的步骤220可以包括：

针对至少两个可见表面中的可见表面，控制组件控制摄像设备从多个第一位置对该可见表面投影的预设纹理进行图像采集，得到多个具有预设纹理的第一图像；针对至少两个可见表面中的可见表面，控制组件控制摄像设备从多个第一位置对该可见表面的真实纹理进行图像采集，得到多个具有真实纹理的第二图像，其中，第二图像与第一图像具有对应关系。

可选地，三维建模***中，还包括：相机支架，可以用于改变摄像设备的位置。摄像设备可以固定在该相机支架上，控制组件可以通过控制相机支架的移动来控制摄像设备处于不同的位置。

控制组件控制摄像设备从多个第一位置对该可见表面投影的预设纹理进行图像采集，得到多个具有预设纹理的第一图像，可以包括：控制组件控制摄像设备在相机支架上在垂直方向和水平方向上移动，到达多个第一位置；从多个第一位置对该可见表面投影的预设纹理进行图像采集，得到多个具有预设纹理的第一图像。控制组件控制摄像设备从多个第一位置对该可见表面的真实纹理进行图像采集，得到多个具有真实纹理的第二图像，包括：控制组件控制摄像设备在相机支架上在垂直方向和水平方向上移动，到达多个第一位置；从多个第一位置对该可见表面的真实纹理进行图像采集，得到多个具有真实纹理的第二图像。

本实施例对于三维网格的建立，需要目标物体的所有可见表面的图像，当摄像设备数量有限，例如，只有一个摄像设备时，需要辅助其他设备实现摄像设备的多次拍摄，本实施例通过相机支架在垂直方向(垂直升降)和水平方向(水平伸展)上进行移动，以实现了仅依靠较少数量的摄像设备(例如，一个相机等)即可实现对目标物体由下到上环绕拍摄，同时还可以实现俯拍、仰拍等，实现覆盖目标物体的所有可见表面。

本实施例中，在相同的机位(同一第一位置)拍摄了两次，一次具有投影的预设纹理，一次没有投影的预设纹理(具有真实纹理)，这两次拍摄相机姿态，相机参数都保持不变，因此，第二图像与第一图像具有对应关系(例如，一一对应关系)；因此可以复用SFM中的相机姿态和参数作为不带人工纹理的图像对应的参数。该方案中，由于在相同的机位即拍摄了带预设纹理的第一图像，也拍摄了具有真实纹理的第二图像，因此，第二图像和第一图像对应的位姿和相机内参相同，在使用第二图像进行贴图时数据可以直接对齐，计算量较小；其中，第一图像和第二图像对应的位姿为摄像设备采集第一图像和第二图像时的位姿。

可选地，上述实施例中的步骤230可以包括：

针对多个第一图像中的第一图像，基于第一图像和第二图像的对应关系，从多个第二图像中确定与该第一图像对应的第二图像；在三维网格中确定该第一图像映射的目标位置，将所确定的第二图像贴图到目标位置。

本实施例中，由于在相同的第一位置分别采集了第一图像和第二图像，可实现每个第一图像都存在对应的第二图像，如第一图像与第二图像可以一一对应，由于两次拍摄时摄像设备的位姿完全相同，因此，不需要进行对齐操作，直接使用现有的纹理贴图技术，即可实现将第二图像贴图到三维网格中，该实施例的贴图过程不需要进行相机位姿对齐，减少了纹理贴图时的计算量，提高了三维建模的效率。

在另一些可选的实施例中，上述实施例中的步骤220还可以包括：针对至少两个可见表面中的可见表面，控制组件控制摄像设备从多个第一位置对该可见表面投影的预设纹理进行图像采集，得到多个具有预设纹理的第一图像；针对至少两个可见表面中的可见表面，控制组件控制摄像设备从多个第二位置对该可见表面的真实纹理进行图像采集，得到多个具有真实纹理的第二图像。

可选地，三维建模***中，还包括：相机支架，用于改变摄像设备的位置。摄像设备可以固定在该相机支架上，控制组件可以通过控制相机支架的移动来控制伸向设备处于不同的位置。

控制组件控制摄像设备从多个第一位置对该可见表面投影的预设纹理进行图像采集，得到多个具有预设纹理的第一图像，包括：控制组件控制摄像设备在相机支架上在垂直方向和水平方向上移动，到达多个第一位置；从多个第一位置对该可见表面投影的预设纹理进行图像采集，得到多个具有预设纹理的第一图像。控制组件控制摄像设备从多个第二位置对该可见表面的真实纹理进行图像采集，得到多个具有真实纹理的第二图像，包括：控制组件控制摄像设备在相机支架上在垂直方向和水平方向上移动，到达多个第二位置；从多个第二位置对该可见表面的真实纹理进行图像采集，得到多个具有真实纹理的第二图像。

本实施例对于三维网格的建立，需要目标物体的所有可见表面的图像，当摄像设备数量有限，例如，只有一个摄像设备时，需要辅助其他设备实现摄像设备的多次拍摄，本实施例通过相机支架在垂直方向(垂直升降)和水平方向(水平伸展)上进行移动，以实现了仅依靠较少数量的摄像设备(例如，一个相机等)即可实现对目标物体由下到上环绕拍摄，同时还可以实现俯拍、仰拍等，实现覆盖目标物体的所有可见表面。

本实施例中，在采集具有预设纹理和真实纹理的第一图像和第二图像时，不限制摄像设备的位置必须相同，即，采集第一图像时摄像设备位于第一位置，采集第二图像时摄像设备位于第二位置。因此，上述控制设备可以控制摄像设备在各个第一位置图像采集得到对应的第一图像，在对所有第一位置图像采集完毕后，再控制摄像设备在各个第二位置图像采集得到对应的第二图像。本实施例在图像采集过程中不要求摄像设备在同一位置采集第一图像和第二图像，降低了对摄像设备控制的要求，使图像的获取更方便，应用范围更广泛，适用于更多应用场景。

在一些可选的实施例中，虽然每个第二位置与第一位置摄像设备对应的位置不完全相同，但是，为了实现完整的纹理贴图，需要每个第二位置在一个第一位置附近，例如，每个第二位置位于以一个第一位置为中心的设定范围内，该设定范围可以是半径为设定值的球形范围，设定值可以根据实际场景进行设置。

如图3所示，在上述图2所示实施例的基础上，步骤240可包括如下步骤：

步骤2402，针对每个第一图像，将第一图像与第二图像进行特征匹配。

针对多个第一位置中的任一第一位置，多个第二位置中存在至少一个与该第一位置相邻或相近的第二位置。其中，第二图像可以为与第一图像对应第一位置相邻或相近的第二位置采集获得的。例如，第二图像可以为摄像设备在与第一图像对应的第一位置距离最近的第二位置处采集获取的。

通过将第一图像和第二图像中的特征点(例如，角点等)进行匹配，可得到第一图像与第二图像之间可以匹配的特征点对；特征点对中可以包括一个第一图像中的第一特征点和一个第二图像中的第二特征点，其中，第一图像中的每个第一特征点在进行构建三维网格时，确定了其对应的稀疏点云。

步骤2404，基于特征匹配结果、第一图像和第一图像对应的稀疏点云，确定第二图像对应的第二位姿和相机内参。

其中，第二图像对应的第二位姿为采集该第二图像时摄像设备的位姿；获得的每个第二图像的第二位姿是以第一图像对应的摄像设备的位姿为基准获得的，因此，在对第一图像和第二图像进行位姿对齐时，仅已知第二位姿即可实现位姿对齐。

步骤2406，基于多个第二图像对应的多个第二位姿和多个相机内参，将多个第二图像对三维网格进行贴图。

本实施例中，结合摄像设备采集每个第二图像时的相机内参和第二位姿，采用纹理贴图技术，实现以多个第二图像对三维网格进行贴图，该实施例中，对拍摄带预设纹理图像和不带预设纹理图像的过程中没有特殊要求，拍摄方法更加简单、效率更高。

可选地，步骤2404还可以包括：基于特征匹配结果、第一图像和第一图像对应的稀疏点云，确定第二图像对应的初始位姿；

本实施例中，可以利用PnP求解算法对匹配的特征点对进行求解，得到该第二图像对应的摄像设备的初始位姿；其中，PnP求解算法是指通过多对3D与2D匹配点，在已知或者未知相机内参的情况下，利用最小化重投影误差来求解相机外参的算法。

基于重投影误差对第二图像的初始位姿和相机内参进行优化，得到第二图像对应的第二位姿和相机内参。

可选地，本实施例的优化可基于以下公式(1)进行：

其中，K表示摄像设备的内参，T_c表示N个机位的姿态(其中，c＝1……N)。

表示M个稀疏的3D点(其中，i＝1……M)；x_j表示第j个特征点在第一图像中的坐标，*表示优化后的结果。π是根据小孔成像模型，将场景中的3D点投影到图像上的映射函数，ρ_j表示第j个特征点的权重(通过每个位置点的噪声确定该权重)。此次优化固定稀疏点云P_i，只对不带人工纹理的第二图像的相机姿态T_c以及相机内参K进行优化，以第二图像的初始位姿作为初值；最终获得了不带人工纹理的第二图像对应的相机姿态及相机内参。

如图4所示，在上述图2所示实施例的基础上，步骤230可包括如下步骤：

步骤2302，基于重投影误差对多个第一图像的位姿和深度信息进行优化，确定每个第一图像对应的第一位姿和稀疏点云。

本实施例可利用SFM实现三维重建，该三维重建过程可包括：首先对多个第一图像进行特征提取，特征匹配，三角测量恢复场景结构。然后通过求解如公式(2)所示的优化问题，得到场景的稀疏点云结构以及摄像设备(例如相机)的姿态：

其中，K表示摄像设备的内参，T_c，表示N个机位的姿态(其中，c＝1……N)。

表示M个稀疏的3D点(其中，i＝1……M)；x_j表示第j个特征点在第一图像中的坐标，*表示优化后的结果。π是根据小孔成像模型，将场景中的3D点投影到图像上的映射函数，ρ_j表示第j个特征点的权重(通过每个位置点的噪声确定该权重)。该小孔成像模型是SFM的通用模型。3D点可以指代物理空间中的点，特征点可以指代2D图像上的点，3D点可以通过2D点恢复得到的。该步骤的输出为N个相机姿态T_c，M个稀疏3D点P_i，以及相机的内参K。上述优化问题的物理意义是：通过优化内参、位姿，以及优化稀疏点云的位置，以使所有特征点的重投影误差总和最小；即，以重投影误差为参照对位姿和深度信息进行优化。

通过深度相机采集深度图像进行三维建模的方案，需要分别用采集到的每张深度图像的深度信息，并不会综合考虑所有特征点的深度信息，所以无法保证各特征点的准确性，往往容易出现特征点漂移的问题。但是本实施例中，通过上述公式(2)可以综合考虑摄像设备在N个不同位姿的情况下拍摄得到的第一图像来得到深度信息，而不是分别针对每张第一图像得到深度信息，再者利用重投影误差还可以通过将误差降到最小，进一步提高得到深度信息的准确性，避免出现因其中部分特征点出现偏移造成漂移的问题。

步骤2304，基于每个第一图像的第一位姿和稀疏点云，估计得到每个第一图像对应的深度图。

其中，第一图像对应的深度图(depth image)是指将从获取第一图像的摄像设备到第一图像对应的场景中各点的距离(深度)作为像素值的图像，该深度图直接反映了目标物体可见表面的几何形状。深度图经过坐标转换可以计算为点云数据。

步骤2306，基于多个深度图，得到目标物体的三维网格。

可选地，步骤2306可以包括：融合多个深度图，得到目标物体对应的稠密点云；

对稠密点云执行去噪处理，基于去噪处理后的稠密点云，确定目标物体的三维网格。

本实施例中通过MVS实现三维网格生成，可选地，根据估计得到的每个第一图像的深度图，融合得到场景的稠密点云。点云可能包括离群点和/或噪声点，可通过对点云去噪后，生成目标物体的三维网格，该三维网格可以由多个三角面片组成。其中，点云去噪可以通过现有技术中任一可实现的去噪技术实现。

本实施例中通过深度图确定第一图像中每个特征点对应的深度信息，可生成稠密点云(包括第一图像中所有点的三维信息)，以该稠密点云中的点相互连接，可得到多个三角面片，这些三角面片构成了恢复目标物体的三维网格，由于三维网格中每个点都具有三维信息，实现了更准确的恢复目标图像的几何结构。

在一些可选的实施例中，本实施例提供的方法还包括：对第一图像和第二图像执行去畸变处理。

其中，图像畸变通常是由于透镜制造精度以及组装工艺的偏差会引入畸变，导致原始图像失真；镜头的畸变分为径向畸变和切向畸变两类。本实施例中，可认为摄像设备获取的第一图像和第二图像中存在上述两种畸变，为了后续进行更好的图像操作；对每各第一图像和第二图像执行去畸变处理，可选地，可通过现有技术中任一可实现的去畸变方法对每个第一图像和第二图像执行去畸变，本实施例不限制具体去畸变技术手段；通过去畸变处理，从而使得利用处理后的第一图像生成的三维网格的几何形状更加完整，利用使处理后的第二图像在进行纹理贴图时，能更好的与三维网格的几何结构相贴合，得到具有真实纹理的目标物体的三维模型。

在一些可选的实施例中，三维建模***还包括：

至少一个补光灯和散射光板，用于在光照不足时进行补光，以使目标物体光照均匀，从而可以进一步提高三维建模的效果。

本实施例，可以通过补光灯和散光板对目标物体进行补光，从而使得目标物体的可见表面的光照均匀。补光灯可以均匀分布于目标物体的可见表面。这里对补光灯数目不做要求，一般亮度符合人类室内办公的标准即可，补光灯的分布(位置，距离，角度)也没有具体要求。该实施例提供的三维建模***，可以进一步提高摄像设备采集到的第一图像和第二图像的质量，从而提高生成的目标问题的真实纹理的三维模型的效果。

通常，待三维建模的目标物体所处环境的环境光会存在差异，上述补光灯和散光板可以弥补或降低这种差异，从而使得目标物体的环境光更加均匀，目标物体的可见表面可以进行漫反射。摄像设备在这种环境光下采集到的图像清晰度和一致性更好，不会出现不属于目标物体的光斑，从而可以进一步提高得到的真实纹理的三维模型几何结构的完整性和真实性。可以理解的是，若室内的天窗等使得室内环境光已经满足条件，则不需要额外补光，也可以实现光照均匀，没有点光源直射目标物体表面。此种情况下采集的第一图像和第二图像也可以得到高质量的目标物体的三维模型。

本公开实施例提供的任一种通过三维建模***进行三维建模的方法可以由任意适当的具有数据处理能力的设备执行，包括但不限于：终端设备和服务器等。或者，本公开实施例提供的任一种通过三维建模***进行三维建模的方法可以由处理器执行，如处理器通过调用存储器存储的相应指令来执行本公开实施例提及的任一种通过三维建模***进行三维建模的方法。下文不再赘述。

示例性装置

图5是本公开一示例性实施例提供的三维建模的装置的结构示意图。如图5所示，本实施例提供的装置包括：

纹理投影模块51，用于控制投影设备向目标物体的至少两个可见表面投影预设纹理，其中，目标物体相邻的可见表面被投射的预设纹理的图案不同；

图像采集模块52，用于针对至少两个可见表面中的可见表面，控制组件控制摄像设备在不同位置对该可见表面进行图像采集，得到该可见表面第一图像和第二图像，其中，第一图像具有所投影的预设纹理，第二图像具有目标物体的真实纹理；

网格建立模块53，用于获取第一图像，建立目标物体的三维网格；

纹理贴图模块54，用于获取第二图像，并基于第一图像和第二图像之间的对齐关系，将第二图像贴图到所建立的三维网格，以生成目标物体的具有真实纹理的三维模型。

本公开实施例提供的三维建模的装置，通过投影设备对目标物体的可见表面进行预设纹理的投影，并基于采集得到的具有预设纹理的第一图像进行三维网格的建立，由于增加了预设纹理，实现较好的重建目标物体外观的几何结构，建立的三维网格体现了目标物体的几何结构完整性，没有漂移引起的交叠错位等问题；并且基于具有真实纹理的第二图像对三维网格进行贴图，实现了获得的三维模型在几何结构接近真实目标物体的基础上，还具有目标物体的真实纹理，使获得的三维模型更接近真实目标物体。

可选地，纹理投影模块51，具体用于控制各投影设备向对应的可见表面投影不同图案的预设纹理，以使各可见表面显示不同图案的预设纹理。

可选地，图像采集模块52，包括：

第一采集单元，用于针对至少两个可见表面中的可见表面，控制组件控制摄像设备从多个第一位置对该可见表面投影的预设纹理进行图像采集，得到多个具有预设纹理的第一图像；

第二采集单元，用于针对至少两个可见表面中的可见表面，控制组件控制摄像设备从多个第一位置对该可见表面的真实纹理进行图像采集，得到多个具有真实纹理的第二图像，其中，第二图像与第一图像具有对应关系。

可选地，纹理贴图模块54，具体用于针对多个第一图像中的第一图像，基于第一图像和第二图像的对应关系，从多个第二图像中确定与该第一图像对应的第二图像；在三维网格中确定该第一图像映射的目标位置，将所确定的第二图像贴图到目标位置。

可选地，图像采集模块52，包括：

第一采集单元，用于针对至少两个可见表面中的可见表面，控制组件控制摄像设备从多个第一位置对该可见表面投影的预设纹理进行图像采集，得到多个具有预设纹理的第一图像；

第三采集单元，用于针对至少两个可见表面中的可见表面，控制组件控制摄像设备从多个第二位置对该可见表面的真实纹理进行图像采集，得到多个具有真实纹理的第二图像。

可选地，第一采集单元，具体用于控制组件控制摄像设备在相机支架上在垂直方向和水平方向上移动，到达多个第一位置；从多个第一位置对该可见表面投影的预设纹理进行图像采集，得到多个具有预设纹理的第一图像；

第二采集单元，具体用于控制组件控制摄像设备在相机支架上在垂直方向和水平方向上移动，到达多个第一位置；从多个第一位置对该可见表面的真实纹理进行图像采集，得到多个具有真实纹理的第二图像。

可选地，第三采集单元，具体用于控制组件控制摄像设备在相机支架上在垂直方向和水平方向上移动，到达多个第二位置；从多个第二位置对该可见表面的真实纹理进行图像采集，得到多个具有真实纹理的第二图像。

可选地，针对多个第一位置中的任一第一位置，多个第二位置中存在至少一个与该第一位置相邻或相近的第二位置；

纹理贴图模块44，包括：

特征匹配单元，用于针对每个第一图像，将第一图像与第二图像进行特征匹配；其中，第二图像为与第一图像对应第一位置相邻或相近的第二位置采集获得的；

位姿估计单元，用于基于特征匹配结果、第一图像和第一图像对应的稀疏点云，确定第二图像对应的第二位姿和相机内参；

网格贴图单元，用于基于多个第二图像对应的多个第二位姿和多个相机内参，以多个第二图像对三维网格进行贴图。

可选地，位姿估计单元，具体用于基于特征匹配结果、第一图像和第一图像对应的稀疏点云，确定第二图像对应的初始位姿；基于重投影误差对第二图像的初始位姿和相机内参进行优化，得到第二图像对应的第二位姿和相机内参。

可选地，网格建立模块53，包括：

优化单元，用于基于重投影误差对多个第一图像的位姿和深度信息进行优化，确定每个第一图像对应的第一位姿和稀疏点云；

深度图估计单元，用于基于每个第一图像的第一位姿和稀疏点云，估计得到每个第一图像对应的深度图；

网格确定单元，用于基于多个深度图，得到目标物体的三维网格。

可选地，网格确定单元，具体用于融合多个深度图，得到目标物体对应的稠密点云；对稠密点云执行去噪处理，基于去噪处理后的稠密点云，确定目标物体的三维网格。

可选地，本实施例提供的装置还包括：

去畸变模块，用于对第一图像和第二图像执行去畸变处理。

示例性电子设备

下面，参考图6来描述根据本公开实施例的电子设备。该电子设备可以是第一设备100和第二设备200中的任一个或两者、或与它们独立的单机设备，该单机设备可以与第一设备和第二设备进行通信，以从它们接收所采集到的输入信号。

图6图示了根据本公开实施例的电子设备的框图。

如图6所示，电子设备60包括一个或多个处理器61和存储器62。

处理器61可以是中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其他形式的处理单元，并且可以控制电子设备60中的其他组件以执行期望的功能。

存储器62可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器61可以运行所述程序指令，以实现上文所述的本公开的各个实施例的通过三维建模***进行三维建模的方法以及/或者其他期望的功能。在所述计算机可读存储介质中还可以存储诸如输入信号、信号分量、噪声分量等各种内容。

在一个示例中，电子设备60还可以包括：输入装置63和输出装置64，这些组件通过总线***和/或其他形式的连接机构(未示出)互连。

例如，在该电子设备是第一设备100或第二设备200时，该输入装置63可以是上述的麦克风或麦克风阵列，用于捕捉声源的输入信号。在该电子设备是单机设备时，该输入装置63可以是通信网络连接器，用于从第一设备100和第二设备200接收所采集的输入信号。

此外，该输入装置63还可以包括例如键盘、鼠标等等。

该输出装置64可以向外部输出各种信息，包括确定出的距离信息、方向信息等。该输出装置64可以包括例如显示器、扬声器、打印机、以及通信网络及其所连接的远程输出设备等等。

当然，为了简化，图6中仅示出了该电子设备60中与本公开有关的组件中的一些，省略了诸如总线、输入/输出接口等等的组件。除此之外，根据具体应用情况，电子设备60还可以包括任何其他适当的组件。

示例性计算机程序产品和计算机可读存储介质

除了上述方法和设备以外，本公开的实施例还可以是计算机程序产品，其包括计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本公开各种实施例的通过三维建模***进行三维建模的方法中的步骤。

所述计算机程序产品可以以一种或多种程序设计语言的任意组合来编写用于执行本公开实施例操作的程序代码，所述程序设计语言包括面向对象的程序设计语言，诸如Java、C++等，还包括常规的过程式程序设计语言，诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。

此外，本公开的实施例还可以是计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本公开各种实施例的通过三维建模***进行三维建模的方法中的步骤。

所述计算机可读存储介质可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的***、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。

以上结合具体实施例描述了本公开的基本原理，但是，需要指出的是，在本公开中提及的优点、优势、效果等仅是示例而非限制，不能认为这些优点、优势、效果等是本公开的各个实施例必须具备的。另外，上述公开的具体细节仅是为了示例的作用和便于理解的作用，而非限制，上述细节并不限制本公开为必须采用上述具体的细节来实现。

本说明书中各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似的部分相互参见即可。对于***实施例而言，由于其与方法实施例基本对应，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

本公开中涉及的器件、装置、设备、***的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的，可以按任意方式连接、布置、配置这些器件、装置、设备、***。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇，指“包括但不限于”，且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”，且可与其互换使用，除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”，且可与其互换使用。

可能以许多方式来实现本公开的方法和装置。例如，可通过软件、硬件、固件或者软件、硬件、固件的任何组合来实现本公开的方法和装置。用于所述方法的步骤的上述顺序仅是为了进行说明，本公开的方法的步骤不限于以上具体描述的顺序，除非以其它方式特别说明。此外，在一些实施例中，还可将本公开实施为记录在记录介质中的程序，这些程序包括用于实现根据本公开的方法的机器可读指令。因而，本公开还覆盖存储用于执行根据本公开的方法的程序的记录介质。

还需要指出的是，在本公开的装置、设备和方法中，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本公开的等效方案。

提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或者使用本公开。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的，并且在此定义的一般原理可以应用于其他方面而不脱离本公开的范围。因此，本公开不意图被限制到在此示出的方面，而是按照与在此公开的原理和新颖的特征一致的最宽范围。

为了例示和描述的目的已经给出了以上描述。此外，此描述不意图将本公开的实施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例，但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。

Claims (16)

1.一种通过三维建模***进行三维建模的方法，其中，所述三维建模***包括摄像设备、投影设备、控制组件，其中，所述投影设备与待三维建模的目标物体的可见表面对应设置；

所述三维建模方法包括：

所述控制组件控制所述投影设备向所述目标物体的至少两个可见表面投影预设纹理，其中，所述目标物体相邻的可见表面被投射的预设纹理的图案不同；

针对所述至少两个可见表面中的可见表面，所述控制组件控制所述摄像设备在不同位置对该可见表面进行图像采集，得到该可见表面第一图像和第二图像，其中，所述第一图像具有所投影的预设纹理，所述第二图像具有所述目标物体的真实纹理；

所述控制组件获取所述第一图像，建立所述目标物体的三维网格；

所述控制组件获取第二图像，并基于所述第一图像和第二图像之间的对齐关系，将所述第二图像贴图到所建立的三维网格，以生成所述目标物体的具有真实纹理的三维模型。

2.根据权利要求1所述的方法，其中，所述三维建模***中，所述目标物体的各可见表面对应设置至少一个投影设备；

所述控制组件控制所述投影设备向所述目标物体的至少两个可见表面投影预设纹理，包括：

所述控制组件控制各所述投影设备向对应的可见表面投影不同图案的预设纹理，以使各所述可见表面显示不同图案的预设纹理。

3.根据权利要求1或2所述的方法，其中，所述针对所述至少两个可见表面中的可见表面，所述控制组件控制所述摄像设备在不同位置对该可见表面进行图像采集，得到该可见表面第一图像和第二图像，包括：

针对所述至少两个可见表面中的可见表面，所述控制组件控制所述摄像设备从多个第一位置对该可见表面投影的预设纹理进行图像采集，得到所述多个具有预设纹理的第一图像；

针对所述至少两个可见表面中的可见表面，所述控制组件控制所述摄像设备从所述多个第一位置对该可见表面的真实纹理进行图像采集，得到所述多个具有真实纹理的第二图像，其中，所述第二图像与所述第一图像具有对应关系。

4.根据权利要求3所述的方法，其中，所述基于所述第一图像和第二图像之间的对齐关系，将所述第二图像贴图到所建立的三维网格，包括：

针对所述多个第一图像中的第一图像，基于所述第一图像和第二图像的对应关系，从所述多个第二图像中确定与该第一图像对应的第二图像；

在所述三维网格中确定该第一图像映射的目标位置，将所确定的第二图像贴图到所述目标位置。

5.根据权利要求1或2所述的方法，其中，所述针对所述至少两个可见表面中的可见表面，所述控制组件控制所述摄像设备在不同位置对该可见表面进行图像采集，得到该可见表面第一图像和第二图像，包括：

针对所述至少两个可见表面中的可见表面，所述控制组件控制所述摄像设备从多个第一位置对该可见表面投影的预设纹理进行图像采集，得到所述多个具有预设纹理的第一图像；

针对所述至少两个可见表面中的可见表面，所述控制组件控制所述摄像设备从多个第二位置对该可见表面的真实纹理进行图像采集，得到所述多个具有真实纹理的第二图像。

6.根据权利要求3或4所述的方法，其中，所述三维建模***中，还包括：相机支架，用于改变所述摄像设备的位置；

所述控制组件控制所述摄像设备从多个第一位置对该可见表面投影的预设纹理进行图像采集，得到所述多个具有预设纹理的第一图像，包括：

所述控制组件控制所述摄像设备在所述相机支架上在垂直方向和水平方向上移动，到达多个所述第一位置；

从多个所述第一位置对该可见表面投影的预设纹理进行图像采集，得到所述多个具有预设纹理的第一图像；

所述控制组件控制所述摄像设备从多个所述第一位置对该可见表面的真实纹理进行图像采集，得到所述多个具有真实纹理的第二图像，包括：

所述控制组件控制所述摄像设备在所述相机支架上在垂直方向和水平方向上移动，到达多个所述第一位置；

从多个所述第一位置对该可见表面的真实纹理进行图像采集，得到所述多个具有真实纹理的第二图像。

7.根据权利要求5所述的方法，其中，所述三维建模***中，还包括：相机支架，用于改变所述摄像设备的位置；

所述控制组件控制所述摄像设备从多个第一位置对该可见表面投影的预设纹理进行图像采集，得到所述多个具有预设纹理的第一图像，包括：

所述控制组件控制所述摄像设备在所述相机支架上在垂直方向和水平方向上移动，到达多个所述第一位置；

从多个所述第一位置对该可见表面投影的预设纹理进行图像采集，得到所述多个具有预设纹理的第一图像；

所述控制组件控制所述摄像设备从多个第二位置对该可见表面的真实纹理进行图像采集，得到所述多个具有真实纹理的第二图像，包括：

所述控制组件控制所述摄像设备在所述相机支架上在垂直方向和水平方向上移动，到达多个所述第二位置；

从多个所述第二位置对该可见表面的真实纹理进行图像采集，得到所述多个具有真实纹理的第二图像。

8.根据权利要求5所述的方法，其中，

所述基于所述第一图像和第二图像之间的对齐关系，将所述第二图像贴图到所建立的三维网格，包括：

针对每个所述第一图像，将所述第一图像与所述第二图像进行特征匹配；其中，所述第二图像为与所述第一图像对应第一位置相邻或相近的第二位置采集获得的；

基于特征匹配结果、所述第一图像和所述第一图像对应的稀疏点云，确定所述第二图像对应的第二位姿和相机内参；

基于所述多个第二图像对应的多个所述第二位姿和多个所述相机内参，将所述多个第二图像对所述三维网格进行贴图。

9.根据权利要求8所述的方法，其中，所述基于特征匹配结果、所述第一图像和所述第一图像对应的稀疏点云，确定所述第二图像对应的第二位姿和相机内参，包括：

基于所述特征匹配结果、所述第一图像和所述第一图像对应的稀疏点云，确定所述第二图像对应的初始位姿；

基于重投影误差对所述第二图像的初始位姿和相机内参进行优化，得到所述第二图像对应的第二位姿和相机内参。

10.根据权利要求1-9任一所述的方法，其中，所述获取所述第一图像，建立所述目标物体的三维网格，包括：

基于重投影误差对所述多个第一图像的位姿和深度信息进行优化，确定每个所述第一图像对应的第一位姿和稀疏点云；

基于每个所述第一图像的第一位姿和稀疏点云，估计得到每个所述第一图像对应的深度图；

基于所述多个深度图，得到所述目标物体的三维网格。

11.根据权利要求10所述的方法，其中，所述基于所述多个深度图，得到所述目标物体的三维网格，包括：

融合所述多个深度图，得到所述目标物体对应的稠密点云；

对所述稠密点云执行去噪处理，基于去噪处理后的稠密点云，确定所述目标物体的三维网格。

12.根据权利要求1-11任一所述的方法，其中，所述方法还包括：

对所述第一图像和所述第二图像执行去畸变处理。

13.一种用于三维建模的装置，包括：

纹理投影模块，用于控制所述投影设备向所述目标物体的至少两个可见表面投影预设纹理，其中，所述目标物体相邻的可见表面被投射的预设纹理的图案不同；

图像采集模块，用于针对所述至少两个可见表面中的可见表面，所述控制组件控制所述摄像设备在不同位置对该可见表面进行图像采集，得到该可见表面第一图像和第二图像，其中，所述第一图像具有所投影的预设纹理，所述第二图像具有所述目标物体的真实纹理；

网格建立模块，用于获取所述第一图像，建立所述目标物体的三维网格；

纹理贴图模块，用于获取第二图像，并基于所述第一图像和第二图像之间的对齐关系，将所述第二图像贴图到所建立的三维网格，以生成所述目标物体的具有真实纹理的三维模型。

14.一种电子设备，包括：

存储器，用于存储计算机程序；

处理器，用于执行所述存储器中存储的计算机程序，且所述计算机程序被执行时，实现上述权利要求1-12任一所述的通过三维建模***进行三维建模的方法。

15.一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时，实现上述权利要求1-12任一所述的通过三维建模***进行三维建模的方法。

16.一种计算机程序产品，包括计算机程序/指令，该计算机程序/指令被处理器执行时实现上述权利要求1-12任一所述的通过三维建模***进行三维建模的方法。

Images