CN107274483A - 一种物体三维模型构建方法 - Google Patents

Abstract

本发明公开了一种物体三维模型构建方法，包括：第一摄像装置和第二摄像装置以不同角度对物体同时拍摄，获得物体图像，分别描述为第一图像和第二图像；在图像中提取特征点；为特征点构建描述子；在第一图像和第二图像中，根据特征点的描述子寻找出相匹配的特征点，建立匹配关系得到视差图；利用视差图、第一摄像装置或第二摄像装置的内参数和外参数，获得特征点对应空间点的空间位置，以构建出物体三维模型。本发明物体三维模型构建方法，通过提取特征点并为特征点构建描述子，利用高效的特征点检测方法和特征点描述子计算方法对图像进行特征匹配，实现构建物体三维模型，与现有物体三维模型构建方法相比，计算更高效。

Description

一种物体三维模型构建方法

技术领域

本发明涉及图像处理应用领域，特别是涉及一种物体三维模型构建方法。

背景技术

双目立体视觉技术是一种被动式的三维测量技术，包括相机标定、图像对匹配、三维信息还原等主要过程。基于双目立体视觉的物体三维模型构建方法是通过两个已标定的、以不同角度摆放的单目相机同时拍摄两幅被测物图像，然后建立两幅图像的像素点之间的对应关系，获得被测物的三维点云坐标数据，从而构建被测物三维模型。

立体视觉技术可以获得稠密的被测物三维点云坐标，无需向被测物体投影光栅等辅助信息，人机交互友好，硬件配置要求低，成本便宜，自动化程度高，并且可以实现实时采集，当前是物体三维重建领域中比较流行的一种技术。

立体匹配方法是双目立体视觉技术的核心问题。然而，现有的基于特征点匹配的物体三维模型构建方法中，特征点的提取和计算效率低，越是鲁棒的特征点比如SIFT特征点或SURF特征点，其相应的计算时间就越长，导致计算效率低下。因此当需要提取较多的特征点用于三维重建时，利用这些特征点就不合适了。因为特征点的数量越多，物体重建***花费在特征点的提取和计算上的时间就越长，进而导致物体重建***总体性能降低，无法满足人们日益增长的对三维重建性能的需求。

发明内容

本发明的目的是提供一种物体三维模型构建方法，基于图像处理实现构建物体三维模型，对图像特征点的提取以及图像处理更高效。

为实现上述目的，本发明提供如下技术方案：

一种物体三维模型构建方法，包括：

第一摄像装置和第二摄像装置以不同角度对物体同时拍摄，获得物体图像，分别描述为第一图像和第二图像；

在图像中提取特征点，包括：对于图像中像素，若在该像素预设邻域内，像素值满足第一预设条件的像素的数量满足第二预设条件，则将该像素定义为特征点；

为所述特征点构建描述子，所述特征点的描述子为由所述特征点在各层卷积方向图中对应像素的值构成的向量；

在所述第一图像和所述第二图像中，根据所述特征点的描述子寻找出相匹配的特征点，建立匹配关系得到视差图；

利用所述视差图、所述第一摄像装置或所述第二摄像装置的内参数和外参数，获得所述特征点对应空间点的空间位置，以构建物体三维模型。

可选地，所述在图像中提取特征点还包括：

利用Harris响应函数计算各所述关键点对应的响应值，按照响应值大小从大到小对各所述关键点排序，取前N个关键点作为最终的关键点集合。

可选地，所述为所述特征点构建描述子包括：

对拍摄的图像分别沿x方向和y方向求梯度，得到梯度图；

将每对梯度图对平面内多个方向进行投影，对每对梯度图计算梯度方向图；

对得到的所述梯度方向图进行至少三种不同高斯核的卷积运算，得到卷积方向图；

根据得到的所述卷积方向图为所述特征点构建描述子。

可选地，所述将每对梯度图对平面内多个方向进行投影，对每对梯度图计算梯度方向图包括：

基于计算得到的梯度图dx和dy，根据计算式dx cosθ₁+dy sinθ₂计算梯度方向图，其中T表示计算T个方向梯度图，T为正整数，i＝0,1,…,T-1。

可选地，对每对梯度图计算平面内8个方向的梯度方向图；

对得到的所述梯度方向图进行三种不同高斯核的卷积运算，得到24个卷积方向图，表示为其中，高斯核表示为j＝0,1,2，Q＝3。

可选地，所述利用所述视差图、所述第一摄像装置或所述第二摄像装置的内参数和外参数，获得所述特征点对应空间点的空间位置包括：

利用相似三角形性质，由所述视差图计算所述特征点对应空间点的深度；

基于第一摄像装置的内参数、外参数以及计算得到的特征点深度，计算所述特征点对应空间点的空间位置。

可选地，所述在所述第一图像和所述第二图像中，根据所述特征点的描述子寻找出相匹配的特征点包括：

对于第一图像中每一特征点，在第二图像中搜索匹配特征点，计算两图像中搜索出的匹配特征点的描述子之间的欧式距离，当欧式距离小于第一阈值时匹配成功。

可选地，所述在所述第一图像和所述第二图像中，根据所述特征点的描述子寻找出相匹配的特征点还包括：利用约束条件对匹配成功的所述特征点进行筛选，剔除不满足约束条件的特征点。

可选地，所述约束条件包括：

唯一性约束条件，具体为：由所述第一图像匹配所述第二图像得到第一视差图，由所述第二图像匹配所述第一图像得到第二视差图，同一像素匹配后在两视差图中的误差不超过预设误差允许范围；

或/和顺序一致性约束条件，具体为：若所述第一图像中像素(u₀，v₀)匹配所述第二图像中像素(u，v)，当所述第一图像中像素(u₀+1，v₀)匹配所述第二图像时，匹配位置不能出现在像素(u，v)左边；

或/和视差连续性约束条件，具体为：在视差图中像素(u₀，v₀)的视差与其邻域内各像素视差的差值不能超过第二阈值。

可选地，在所述利用约束条件对匹配成功的所述特征点进行筛选，剔除不满足约束条件的特征点之后还包括：

在预设界定范围内，对不满足约束条件的特征点进行重匹配，若在所述预设界定范围内无法找到匹配点，则利用线性插值法在得到的所述视差图中构建其对应位置的视差。

由上述技术方案可知，本发明所提供的物体三维模型构建方法，首先，将第一摄像装置和第二摄像装置以不同角度对物体同时拍摄，获得物体图像，分别描述为第一图像和第二图像，其次在图像中提取特征点，并为特征点构建描述子，然后在第一图像和第二图像中，根据特征点的描述子寻找出相匹配的特征点，建立匹配关系得到视差图，进一步利用视差图、第一摄像装置或第二摄像装置的内参数和外参数，获得特征点对应空间点的空间位置，以构建出物体三维模型。

本发明物体三维模型构建方法，通过提取特征点并为特征点构建描述子，利用特征点的描述子进行特征匹配来构建物体三维模型，与现有物体三维模型构建方法相比，计算效率更高。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种物体三维模型构建方法的流程图；

图2为本发明实施例中对图像计算卷积方向图的计算方法示意图；

图3为本发明实施例中对图像像素构建描述子的示意图；

图4为本发明实施例中由视差图求图像深度的示意图；

图5为本发明实施例中对图像中特征点进行匹配的方法流程图。

具体实施方式

为了使本技术领域的人员更好地理解本发明中的技术方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

请参考图1，本发明实施例提供的一种物体三维模型构建方法，包括步骤：

S10：第一摄像装置和第二摄像装置以不同角度对物体同时拍摄，获得物体图像，分别描述为第一图像和第二图像。

比如，对于人脸三维模型构建，使用两台已完成标定的摄像装置，两台摄像装置以不同角度同时对人脸拍摄，各拍摄得到一幅图像，分别对应描述为第一图像和第二图像。

S11：在图像中提取特征点，包括：对于图像中像素，若在该像素预设邻域内，像素值满足第一预设条件的像素的数量满足第二预设条件，则将该像素定义为特征点。

本步骤中，对于图像中每一像素检测是否为特征点，检测方法为：对于图像中像素，若在该像素预设邻域内，像素值满足第一预设条件的像素的数量满足第二预设条件，则该像素确定为特征点。

其中，像素值指像素的灰度值。第一预设条件为像素值高于预设阈值或者低于预设阈值。

比如，在待检测像素周围16个像素区域内，像素值满足第一预设条件的像素数量占该区域像素总数量的3/4及以上，则将该像素定义为特征点。

通过上述方法提取出特征点，得到的特征点容易出现过分聚集的情况，提取出的特征点质量不高，鉴于此，在本方法的另一具体实施例中，在本步骤中通过上述方法提取得到特征点后，还包括：

利用Harris响应函数计算各所述特征点对应的响应值，对各所述特征点按照响应值大小从大到小排序，取前N个特征点作为最终的特征点集合。

其中，Harris响应函数表示为R＝Det(M)-kTr(M)²，k表示阈值，在具体实施时OpenCV中通常设为0.04，Det(M)表示Harris椭圆的长短轴之积ab，Tr(M)表示Harris椭圆的长短轴之和a+b。

S12：为所述特征点构建描述子，所述特征点的描述子为由所述特征点在各层卷积方向图中对应像素的值构成的向量。

在图像中为特征点构建描述子，本步骤具体包括以下过程：

S120：对拍摄的图像分别沿x方向和y方向求梯度，得到梯度图。具体得到与原始图像尺寸一致的梯度图像，分别表示为dx和dy。

S121：将每对梯度图对平面内多个方向进行投影，对每对梯度图计算梯度方向图。

根据上步骤得到的梯度图像dx和dy，由dx cosθ₁+dy sinθ₂计算得到梯度方向图，其中T表示计算T个方向梯度图，T为正整数，i＝0,1,…,T-1。

计算梯度方向图时在平面内选择的方向数量越多，计算精度越高，但随之会降低数据运算速率，因此在具体实施时，可根据情况选择投影方向的数量，以兼顾计算精度和运算效率。

优选的，本实施例中综合考虑计算精度和运算效率，计算平面内8个方向的梯度方向图，相应i＝0,1,…,7，T＝8。

S122：对得到的所述梯度方向图进行至少三种不同高斯核的卷积运算，得到卷积方向图。

对图像进行不同高斯核卷积运算的种数越多，对图像特征提取以及物体三维模型构建的精度越高，但会降低数据处理速率，增加计算量。因此在具体实施时，要根据实际情况，兼顾考虑计算精度和数据运算效率来选择高斯卷积运算的种数。

优选的，本实施例中对图像进行三种不同高斯核的卷积运算。以对平面内8个方向计算梯度方向图的情况为例，请参考图2和图3所示，对上步骤得到的8个梯度方向图分别进行三种不同高斯核的高斯卷积，可得到24个卷积方向图，表示为 其中，高斯核表示为j＝0,1,2，Q＝3。其中，Q＝3表示当前像素的描述子由周围三层固定距离的像素的卷积方向图决定，R表示当前像素到处于第三层的像素的距离。

S123：根据得到的所述卷积方向图为所述特征点构建描述子。

以上述实例中对梯度方向图进行三种不同高斯核的卷积运算的情况为例，会得到24个卷积梯度方向图。

每一层卷积方向图距离特征点像素的距离表示为(i＝0,1,2，Q＝3)。其中，到特征点像素距离为r₀的像素从高斯核为∑₀的卷积方向图中取其对应位置的像素值，到特征点像素距离为r₁的像素从高斯核为∑₁的卷积方向图中取其对应位置的像素值，到特征点像素距离为r₂的像素从高斯核为∑₂的卷积方向图中取其对应位置的像素值，则图像像素(u，v)的描述子表示为：

S13：在所述第一图像和所述第二图像中，根据所述特征点的描述子寻找出相匹配的特征点，建立匹配关系得到视差图。

本步骤中进行特征匹配，在第一图像和第二图像中利用特征点的描述子寻找相匹配的特征点。具体的，本步骤中具体包括以下步骤：

S130：对于第一图像中每一特征点，在第二图像中搜索匹配特征点，可利用快速最近邻算法在第二图像中寻找匹配特征点，然后计算两图像中搜索出的匹配特征点的描述子之间的欧式距离，当欧式距离小于第一阈值时匹配成功。则建立匹配关系，得到视差图。

S14：利用所述视差图、所述第一摄像装置或所述第二摄像装置的内参数和外参数，获得所述特征点对应空间点的空间位置数据，以构建物体三维模型。

本步骤中具体包括以下过程：

S140：利用相似三角形性质，由所述视差图计算所述特征点对应空间点的深度。

参考图4所示，P(X，Y，Z)表示特征点对应的空间点，X₁表示空间点P在第一摄像装置成像面上(即第一图像中)像点的X坐标值，X₂表示空间点P在第二摄像装置成像面上(即第二图像中)像点的X坐标值，f表示摄像装置焦距，T_X表示两幅图像之间光心的距离，即在同一空间坐标系中描述的两幅图像之间光心的距离。利用P点与其在两图像中像点构成的三角形，和P点与光心O₁、O₂构成的三角形之间的相似性质，计算P点深度，具体计算公式表示为：其中d表示匹配特征点的视差。

S141：基于第一摄像装置的内参数、外参数以及计算得到的特征点深度，计算所述特征点对应空间点的空间位置。

在具体实施时，计算公式表示为：其中，表示特征点像平面坐标，表示特征点对应空间点的位置，([R₁|t₁])^-1表示所述第一摄像装置外参数矩阵的逆矩阵，表示所述第一摄像装置内参数矩阵的逆矩阵。

需要说明的是，在本方法其它实施例中，也可采用第二摄像装置的内参数矩阵、外参数矩阵来计算。

根据计算获得的三维点云空间位置，构建出物体的三维模型，进一步可输出显示。

本实施例物体模型三维构建方法，利用高效的特征点检测方法和特征点描述子计算方法对图像进行特征匹配，与现有物体三维模型构建方法计算更高效。

请参考图5，本发明又一实施例提供的物体三维模型构建方法，在上述实施例内容的基础上，在所述步骤S13中还包括：

步骤S131：利用约束条件对匹配成功的所述特征点进行筛选，剔除不满足约束条件的特征点。

具体包括根据以下几种约束条件对特征点进行筛选：

第一种筛选方法：判断是否满足唯一性约束条件。唯一性约束条件具体为：由所述第一图像匹配所述第二图像得到第一视差图，由所述第二图像匹配所述第一图像得到第二视差图，同一像素匹配后在两视差图中的误差不超过预设误差允许范围。若不满足该约束条件则将该匹配特征点剔除。

第二种筛选方法：判断是否满足顺序一致性约束条件。顺序一致性约束条件具体为：若所述第一图像中像素(u₀，v₀)匹配所述第二图像中像素(u，v)，当所述第一图像中像素(u₀+1，v₀)匹配所述第二图像时，匹配位置不能出现在像素(u，v)左边。若不满足该约束条件，则将该匹配特征点剔除。

第三种筛选方法，判断是否满足视差连续性约束条件。视差连续性约束条件具体为：在视差图中像素(u₀，v₀)的视差与其邻域内各像素视差的差值不能超过第二阈值。若不满足该约束条件，则将该匹配特征点剔除。

对于上述三种约束性条件判断，在本方法中具体实施时，可以采用其中的任意一种、两种或者三种，在一种具体实施方式中，可以依次进行上述三种约束性判断。通过对匹配特征点进行约束性判断，删除其中误匹配点。

进一步的，在步骤S131之后还包括步骤S132：在预设界定范围内，对不满足约束条件的特征点进行重匹配，若在所述预设界定范围内无法找到匹配点，则利用线性插值法在得到的所述视差图中构建其对应位置的视差。

本实施例方法通过重匹配方法，进一步优化匹配结果。

因此，本实施例物体模型三维构建方法，首先利用标定好的两个摄像装置采集两幅被测物体图像，接着对图像提取关键特征点并计算描述子及初匹配，再用约束条件剔除误匹配，并进行重匹配，得到匹配结果，最后重建出被测物三维点云坐标并显示，得到精度高，效果好的被测物三维重建模型，因此实现了一种准确率高、效率快、易操作、低成本的物体三维模型构建方法。

本方法可应用于人脸三维重建，也可应用于其它被测物三维模型构建。

以上对本发明所提供的一种物体三维模型构建方法进行了详细介绍。本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进和修饰，这些改进和修饰也落入本发明权利要求的保护范围内。

Claims (10)

1.一种物体三维模型构建方法，其特征在于，包括：

第一摄像装置和第二摄像装置以不同角度对物体同时拍摄，获得物体图像，分别描述为第一图像和第二图像；

在图像中提取特征点，包括：对于图像中像素，若在该像素预设邻域内，像素值满足第一预设条件的像素的数量满足第二预设条件，则将该像素定义为特征点；

为所述特征点构建描述子，所述特征点的描述子为由所述特征点在各层卷积方向图中对应像素的值构成的向量；

在所述第一图像和所述第二图像中，根据所述特征点的描述子寻找出相匹配的特征点，建立匹配关系得到视差图；

利用所述视差图、所述第一摄像装置或所述第二摄像装置的内参数和外参数，获得所述特征点对应空间点的空间位置，以构建物体三维模型。

2.根据权利要求1所述的物体三维模型构建方法，其特征在于，所述在图像中提取特征点还包括：

利用Harris响应函数计算各所述关键点对应的响应值，按照响应值大小从大到小对各所述关键点排序，取前N个关键点作为最终的关键点集合。

3.根据权利要求1所述的物体三维模型构建方法，其特征在于，所述为所述特征点构建描述子包括：

对拍摄的图像分别沿x方向和y方向求梯度，得到梯度图；

将每对梯度图对平面内多个方向进行投影，对每对梯度图计算梯度方向图；

对得到的所述梯度方向图进行至少三种不同高斯核的卷积运算，得到卷积方向图；

根据得到的所述卷积方向图为所述特征点构建描述子。

4.根据权利要求3所述的物体三维模型构建方法，其特征在于，所述将每对梯度图对平面内多个方向进行投影，对每对梯度图计算梯度方向图包括：

基于计算得到的梯度图dx和dy，根据计算式dxcosθ₁+dysinθ₂计算梯度方向图，其中T表示计算T个方向梯度图，T为正整数，i＝0,1,…,T-1。

5.根据权利要求4所述的物体三维模型构建方法，其特征在于，对每对梯度图计算平面内8个方向的梯度方向图；

对得到的所述梯度方向图进行三种不同高斯核的卷积运算，得到24个卷积方向图，表示为其中，高斯核表示为j＝0,1,2，Q＝3。

6.根据权利要求1所述的物体三维模型构建方法，其特征在于，所述利用所述视差图、所述第一摄像装置或所述第二摄像装置的内参数和外参数，获得所述特征点对应空间点的空间位置包括：

利用相似三角形性质，由所述视差图计算所述特征点对应空间点的深度；

基于第一摄像装置的内参数、外参数以及计算得到的特征点深度，计算所述特征点对应空间点的空间位置。

7.根据权利要求1-6任一项所述的物体三维模型构建方法，其特征在于，所述在所述第一图像和所述第二图像中，根据所述特征点的描述子寻找出相匹配的特征点包括：

对于第一图像中每一特征点，在第二图像中搜索匹配特征点，计算两图像中搜索出的匹配特征点的描述子之间的欧式距离，当欧式距离小于第一阈值时匹配成功。

8.根据权利要求7所述的物体三维模型构建方法，其特征在于，所述在所述第一图像和所述第二图像中，根据所述特征点的描述子寻找出相匹配的特征点还包括：利用约束条件对匹配成功的所述特征点进行筛选，剔除不满足约束条件的特征点。

9.根据权利要求8所述的物体三维模型构建方法，其特征在于，所述约束条件包括：

唯一性约束条件，具体为：由所述第一图像匹配所述第二图像得到第一视差图，由所述第二图像匹配所述第一图像得到第二视差图，同一像素匹配后在两视差图中的误差不超过预设误差允许范围；

或/和顺序一致性约束条件，具体为：若所述第一图像中像素(u₀，v₀)匹配所述第二图像中像素(u，v)，当所述第一图像中像素(u₀+1，v₀)匹配所述第二图像时，匹配位置不能出现在像素(u，v)左边；

或/和视差连续性约束条件，具体为：在视差图中像素(u₀，v₀)的视差与其邻域内各像素视差的差值不能超过第二阈值。

10.根据权利要求8所述的物体三维模型构建方法，其特征在于，在所述利用约束条件对匹配成功的所述特征点进行筛选，剔除不满足约束条件的特征点之后还包括：

在预设界定范围内，对不满足约束条件的特征点进行重匹配，若在所述预设界定范围内无法找到匹配点，则利用线性插值法在得到的所述视差图中构建其对应位置的视差。