CN106981081A - 一种基于深度信息提取的墙面平整度检测方法 - Google Patents

Abstract

本发明公开了一种基于深度信息提取的墙面平整度检测方法，属于利用双目视觉的距离测量技术。本发明利用双目摄像机提取相机到墙面的深度信息，分别从不同的角度采集待检测区域的两组图像对并得到对应的深度信息，即得到两幅深度信息图，在获取深度信息图的过程中，通过对现有Hhartley矫正法的改进，以提升校正过程的实时性和准确率；并对其中一幅深度信息图进行旋转和平移，使得两幅深度信息图的成像空间坐标重叠，生成加强深度信息图，取加强深度信息图的深度值的众数作为待检测区域的距离值，基于距离值与预设阈值的大小关系来判决待检测区域的平整度。本发明可以用于智能抹灰作业，其操作简便、智能，且平整度检测的时效性、准确率高。

Description

一种基于深度信息提取的墙面平整度检测方法

技术领域

本发明属于双目视觉领域，具体涉及对墙面的深度信息提取技术。

背景技术

双目立体视觉(Binocular Stereo Vision)是机器视觉的一种重要形式，其基于视差原理并利用成像设备从不同的位置获取被测物体的两幅图像，通过计算图像对应点间的位置偏差，来获取物体三维几何信息的方法。

基于双目立体视觉获取物体的深度信息主要包括以下步骤：摄像机***标定(获取摄像机的内、外参数)、图像获取、图像校正(基于摄像机的内外参数对采集的图像对进行图像校正，以使得相对应的像素点位于同一水平线上)、双目立体匹配和视差计算、基于视差获取深度信息。在图像校正处理过程中，比较常见的Hhartley矫正算法(具体可参考文献具体可参考文献Hartley R,Zisserman A.Multiple view geometry in computer vision[J].Cambridge University Press,2003)，其基于特征点匹配来计算对极几何的基础矩阵F，完成图像校正。hartley矫正算法中，匹配用到的特征点一般采用SIFT(Scale InvariantFeature Transform)特征点提取法来获取，其主要包括以下四个步骤：检测尺度空间的极值点、筛选极值点(剔除不好的极值点)、基于当前极值点选取特征点的主方向和生成特征点描述子。虽然SIFT特征点的特征性较强，但是对于实时性要求较高的双目视觉来说，其存在以下不足：(1)特征点的计算时间较长；(2)生成的这特征点数量太多，在进行特征点匹配时，其计算度复杂，且容易出现误匹配；(3)SIFT特征点不是图像直观上的特征点，反映图像结构的直观性差。

随着建筑智能化的发展，智能抹灰机将逐步替代现有的人工、半自动抹灰作业，因此对墙面深度信息的智能化检测势在必行。当前，主要通过主动红外光设备获取深度信息，但是该方式容易受外界光线的影响，同时设备昂贵，操作复杂，算法复杂度高。

发明内容

本发明所要解决的技术问题是提供一种基于双目立体视觉来获取待检测区域的墙面每点到相机平面的深度信息，利用深度信息来判断墙面是否平整，并定位不平整区域，进而实现抹灰作业的智能化。

本发明的一种基于深度信息提取的墙面平整度检测方法，包括下列步骤：

步骤1：采用棋盘格标定法获取用于墙面检测的双目摄像机的内、外参数：

步骤2：采用双目摄像机分别从不同的角度采集待检测区域的两组图像对，并进行图像去噪处理；

步骤3：分别对两组图像对进行图像校正处理：

301：提取图像对各图像的特征点并进行特点匹配，计算基础矩阵F；

其中提取特征点的处理为：

对图像进行Harris角点检测(具体可参考文献Harris C,Stephens M.A combinedcorner and edge detector[C].Alvey vision conference.1988)得到角点；

在图像中以各角点为中心确定8*8的第一矩形区域，以第一矩形区域为单位分别计算位于第一矩形区域的中心的角点P¹的主方向：

计算第一矩形区域内每个角点的梯度模和方向(梯度模和方向一一对应)，并对各梯度模进行加权处理：距离第一矩形区域的中心点越近，则对应角点的梯度模的权重越大；

基于与梯度模对应的方向，对加权后的梯度模进行统计：按照8个角度区间(360°均分为8段得到)，将属于同一角度区间的加权后的梯度模进行叠加，取8个叠加结果中的最大者对应的角度区间作为角点P¹的主方向；

在图像中以每个角点为中心确定16*16的第二矩形区域，再将第二矩形区域均分为16个4*4的子块，以第二矩形区域为单位分别计算位于第二矩形区域的中心的角点P²的128维特征向量描述子：

分别计算各子块内的每个角点的梯度模和方向，按照8个角度区间(360°均分为8段得到)，基于每个梯度模对应的方向，将属于同一角度区间的梯度模进行叠加，得到8纬的子块特征向量，16个子块的子块特征向量构成当前角点的128维特征向量描述子；

将每个角点作为特征点，由每个角点的128维特征向量描述子和主方向得到各特征点的特征向量；

302：根据得到的基础矩阵F，采用Hartley矫正算法对图相对进行图像校正处理；

步骤4：分别对每组图像对进行双目立体匹配和视差计算；

步骤5：基于每组视差分别计算待检测区域每个像素点的深度值得到两幅深度信息图，其中b表示双目摄像机的摄像机间距，f表示焦距，c表示待检测区域每个像素点的视差；

步骤6：基于两组图像对的成像空间坐标，调整其中一幅深度信息图的成像空间坐标，使得两幅深度信息图的成像空间坐标重叠，生成加强深度信息图；

取加强深度信息图的深度值的众数作为待检测区域的距离值，基于距离值与预设阈值的大小关系来判决待检测区域的平整度。比如，大于预设阈值则可判定待检测区域的平整度为凹，小于，则待检测区域的平整度为凸。

本发明在图像校正处理时，对现有的Hhartley矫正算法进行了改进，基于Harris角点的检测结合SIFT特征向量描述子的特征点，能有效提高现有Hhartley矫正算法的处理实效以及提高特征点匹配效率。同时，为了克服单幅场景的深度信息获取时，由于摄像机的角度以及外界的光照原因，可能会出现遮挡区域或者弱纹理区域造成深度信息的空洞(即某个深度变化较大的区域容易出现视差值计算为无穷大)，使得最终得到的待检测区域的深度信息(三维点云)出现空洞无点的情况，本发明分别从不同的角度拍摄两组图像对，分别恢复出其深度信息图，然后根据两次拍摄之间的空间关系，进行平移和旋转恢复，使得两次拍摄的图片在空间上得以重合，从而使得深度信息在空间中的重合叠加，从而得到部分区域加强的深度信息图，恢复出更加稠密准确的深度信息，以保证平整度检测的准确率。

进一步的，为了提高获取双目摄像机的内、外参数的处理效率，本发明步骤1中，获取用于墙面检测的双目摄像机的内、外参数具体为：

101：双目摄像机采集多张棋盘格图像；

102：采用Harris角点检测算法检测出各棋盘格图像中所有的候选角点；

103：对棋盘格图像进行二值化处理后，对候选角点进行筛选处理：

在二值化后的棋盘格图像中，确定一个以候选角点为中心的矩形，判断矩形边所占的像素点的两类像素值的个数是否相同，若是，则保留当前角点，否则删除；

104：确定候选角点的坐标：

分别以步骤102筛选后的候选角点为中心，确定一个方形的检测窗口，并将检测窗口基于中轴线均分为四个区域，将非相邻的两个区域分别定义为第一子区域、第二子区域；

在预设的搜索范围内按预设步长移动检测窗口，并计算检测窗口在当前位置时的第一子区域、第二子区域的像素灰度值的差值平方和δ；

将搜索范围内最小的δ对应的位置的中心作为当前候选角点的坐标值；

105：基于步骤103得到的各候选角点的坐标，采用棋盘格标定法，计算双目摄像机的内、外参数。

由于采用了上述技术方案，本发明的有益效果是：操作简便、智能，且检测的时效性、准确率高。

附图说明

图1是棋盘格图像中的理想角点示意图；

图2是本发明改进的棋盘格标定法示意图；

图3是图像校正处理所涉及的特征点提取的示意图；

图4是用于比对本发明在图像校正处理时的特征点提取与现有方式的性能的测试图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面结合实施方式和附图，对本发明作进一步地详细描述。

本发明的一种基于深度信息提取的墙面平整度检测方法具体包括下列步骤：

步骤1：采用棋盘格标定法获取用于墙面检测的双目摄像机的内、外参数：

101：制作棋盘格：采用大小为20mm*20mm，20行26列，不对称的棋盘格。

102：采集图像：利用左右相机拍摄获取关于棋盘格的图片20张，每张图片里应包含全部棋盘格，且棋盘格的位置都不相同，有一定的倾角最好。

103：图像灰度化：因相机采集的图片通常为24位真彩图，故需要转化为灰度图，再进行棋盘格标定法，本具体实施方式中，采用改进的Zhang棋盘格标定法。

104：棋盘格标定法进行标定：通常Zhang的标定方法中采用的是Harris角点检测法来检测识别拍摄的图像上的特征点，虽然Harris角点检测法的计算速度快，然而在标定算法中，识别的角点往往不会是所需的“理想”角点(理想角点只是棋盘格上四个黑白交界处的，如图1所示)，因此，为了使得标定过程中，棋盘格上的角点检测更加准确，本发明对Zhang棋盘格标定法进行了改进。利用棋盘格角点对称且黑白相间的特点，可以对Harris角点检测法检测到的角点进行筛选。参见图2，对以角点为中心的矩形框来说，当沿着矩形框游走一圈时，所走过的黑色与白色的矩形边框长度和应该相等，即l_b1+l_b2+l_b3＝l_w1+l_w2，其中l_b1,l_b2,l_b3分别表示在游走过程中所经过的3段黑色矩形边框长度，l_w1,l_w2分别表示在游走过程中所经过的2段黑色矩形边框长度。由于图像的黑白并不一定会完全符合二值数值，因此首先对棋盘格图像进行二值化处理，比如用1表示黑色，用0表示白，然后只需要判定以角点为中心的矩形框(矩形框的大小为预设值)的两类像素值的个数是否相同，即在矩形框中，像素值为1的个数与像素值为0的个数是否相同，若是，则为理想角点，保留；否则，剔除。

即本发明改进的Zhang棋盘格标定法具体为：

采用Harris角点检测算法检测出各棋盘格图像中所有的候选角点；

对棋盘格图像进行二值化处理后，对候选角点进行筛选处理：

在二值化后的棋盘格图像中，确定一个以候选角点为中心的矩形，判断矩形边所占的像素点的两类像素值的个数是否相同，若是，则保留当前角点，否则删除；

确定候选角点的坐标：分别以筛选后的候选角点为中心，确定一个方形的检测窗口，并将检测窗口基于中轴线均分为四个区域，将非相邻的两个区域分别定义为第一子区域、第二子区域；在预设的搜索范围内按预设步长移动检测窗口，并计算检测窗口在当前位置时的第一子区域、第二子区域的像素灰度值的差值平方和δ；将搜索范围内最小的δ对应的位置的中心作为当前候选角点的坐标值；

基于得到的各候选角点的坐标，采用Zhang棋盘格标定法，计算双目摄像机的内、外参数。

步骤2：采用双目摄像机分别从不同的角度采集待检测区域的两组图像对，并进行图像去噪处理。在采集待检测区域的两组图像对时，需要记录采集每组图相对时的成像空间坐标，可借助于辅助相获取每组图相对的成像空间坐标，以便于生成加强深度信息图时用到。

步骤3：分别对两组图像对进行图像校正处理：

301：提取图像对各图像的特征点并进行特点匹配，计算基础矩阵F；

其中提取特征点的处理为：

首先，对每幅图像分别进行Harris角点检测得到角点；

接着，在每幅图像中以各角点为中心确定8*8的第一矩形区域，以第一矩形区域为单位分别计算位于第一矩形区域的中心的角点P¹的主方向：

计算第一矩形区域内每个角点的梯度模和方向，并对各梯度模进行加权处理：距离第一矩形区域的中心点越近，则对应角点的梯度模的权重越大；然后，基于与梯度模对应的方向，对加权后的梯度模进行统计：按照8个角度区间(360°均分为8段得到)，将属于同一角度区间的加权后的梯度模进行叠加，取8个叠加结果中的最大者对应的角度区间作为角点P¹的主方向；

然后，在图像中以每个角点为中心确定16*16的第二矩形区域，再将第二矩形区域均分为16个4*4的子块，以第二矩形区域为单位分别计算位于第二矩形区域的中心的角点P²的128维特征向量描述子：分别计算各子块内的每个角点的梯度模和方向，按照8个角度区间(360°均分为8段得到)，基于每个梯度模对应的方向，将属于同一角度区间的梯度模进行叠加，得到8纬的子块特征向量，16个子块的子块特征向量构成当前角点的128维特征向量描述子；

最后，将每个角点作为特征点，由每个角点的128维特征向量描述子和主方向得到各特征点的特征向量。

本实施例中，计算每个角点的梯度模和方向可以采用如下公式进行：

其中(x,y)表示角点的图像坐标，θ(x,y)表示位于(x,y)处的角点的方向，m(x,y)表示位于(x,y)处的角点的梯度模，函数L(·)表示当前图像坐标的灰度值。

在对梯度模进行统计时，优选直方图统计，如图3所示。

302：根据得到的基础矩阵F，采用Hartley矫正算法对图相对进行图像校正处理；

步骤4：分别对每组图像对进行双目立体匹配和视差计算；

步骤5：基于每组视差分别计算待检测区域每个像素点的深度值得到两幅深度信息图，其中b表示双目摄像机的摄像机间距，f表示焦距，c表示待检测区域每个像素点的视差；

步骤6：基于两组图像对的成像空间坐标，调整其中一幅深度信息图的成像空间坐标，使得两幅深度信息图的成像空间坐标重叠，生成加强深度信息图；然后，取加强深度信息图的深度值的众数作为待检测区域的距离值，基于距离值与预设阈值的大小关系来判决待检测区域的平整度。比如，大于预设阈值则可判定待检测区域的平整度为凹；小于，则待检测区域的平整度为凸。

在生成加强深度信息图时，通常将第二次拍摄的图像对所对应的深度信息图通过旋转平移到第一次拍摄的图像对所对应的成像空间坐标。用P、P′分别表示第一次、第二次拍摄的图像对对应的深度信息图的像素点坐标矩阵，且有P_a′＝[R T]P_a，因此只需要基于两次拍摄的空间位置关系[R T]，其中R表示旋转矩阵，T表示平移矩阵，将P′通过P_a′＝[R T]P_a旋转到P的成像空间坐标，生成加强深度信息图。在双目摄像机的设备上设定一个标定参照物，优选标定参照物为棋盘格标定板(例如双目摄像机手持设备上的黑色矩形)，则此时棋盘格标定板的坐标系与左相机的相机坐标系之间的空间关系固定，分别获取第一次、第二次拍摄时棋盘格标定板在辅助相机中的空间位置关系R₁,T₁和R₂,T₂，其中R₁、R₂分别表示两次拍摄时的旋转矩阵，T₁、T₂分别表示两次拍摄时的平移矩阵，然后根据公式R＝R₂R₁ ^-1，T＝T₂-R₂R₁ ^-1T₁计算R,T参数，根据P_a′＝[R T]P_a，将第二次拍摄得到的深度信息图的图像像素点平移旋转回到第一次拍摄的成像空间坐标中，从而增强了深度信息图的效果，可以通过不同角度的拍摄从而填补第一次位置上的点云空洞(即深度信息无法计算，或超过预先设定值的位置)。

为了更具体的描述本发明改进的Hhartley矫正算法与现有Hhartley矫正算法的性能，以图4作为测试图，对比两者在特征点提取及匹配的性能，具体如表1所示。由表1可知，能有效提高现有Hhartley矫正算法的处理实效以及提高特征点匹配效率。

表1阈值为0.95时的两种特征点的匹配结果

	SIFT特征点匹配	本发明的特征点匹配
			左图像特征点数量(个)	1250	787
右图像特征点数量(个)	1200	598
			算法消耗的时间(ms)	295.536	58.750
匹配点对的对数(对)	914	640
			正确匹配点对的对数(对)	720	600
正确匹配率	78.77％	93.75％

以上所述，仅为本发明的具体实施方式，本说明书中所公开的任一特征，除非特别叙述，均可被其他等效或具有类似目的的替代特征加以替换；所公开的所有特征、或所有方法或过程中的步骤，除了互相排斥的特征和/或步骤以外，均可以任何方式组合。

Claims (2)

1.一种基于深度信息提取的墙面平整度检测方法，其特征在于，包括下列步骤：

步骤1：采用棋盘格标定法获取用于墙面检测的双目摄像机的内、外参数：

步骤2：采用双目摄像机分别从不同的角度采集待检测区域的两组图像对，并进行图像去噪处理；

步骤3：分别对两组图像对进行图像校正处理：

301：提取图像对各图像的特征点并进行特点匹配，计算基础矩阵F；

其中提取特征点的处理为：

对图像进行Harris角点检测得到角点；

在图像中以各角点为中心确定8*8的第一矩形区域，以第一矩形区域为单位分别计算位于第一矩形区域的中心的角点P¹的主方向：

计算第一矩形区域内每个角点的梯度模和方向，并对各梯度模进行加权处理：距离第一矩形区域的中心点越近，则对应角点的梯度模的权重越大；

基于与梯度模对应的方向，对加权后的梯度模进行统计：按照8个角度区间，将属于同一角度区间的加权后的梯度模进行叠加，取8个叠加结果中的最大者对应的角度区间作为角点P¹的主方向；

在图像中以每个角点为中心确定16*16的第二矩形区域，再将第二矩形区域均分为16个4*4的子块，以第二矩形区域为单位分别计算位于第二矩形区域的中心的角点P²的128维特征向量描述子：

分别计算各子块内的每个角点的梯度模和方向，按照8个角度区间，基于每个梯度模对应的方向，将属于同一角度区间的梯度模进行叠加，得到8纬的子块特征向量，16个子块的子块特征向量构成当前角点的128维特征向量描述子；

将每个角点作为特征点，由每个角点的128维特征向量描述子和主方向得到各特征点的特征向量；

其中，所述8个角度区间为360°均分为8段得到；

302：根据得到的基础矩阵F，采用Hartley矫正算法对图相对进行图像校正处理；

步骤4：分别对每组图像对进行双目立体匹配和视差计算；

步骤5：基于每组视差分别计算待检测区域每个像素点的深度值得到两幅深度信息图，其中b表示双目摄像机的摄像机间距，f表示焦距，c表示待检测区域每个像素点的视差；

步骤6：基于两组图像对的成像空间坐标，调整其中一幅深度信息图的成像空间坐标，使得两幅深度信息图的成像空间坐标重叠，生成加强深度信息图；

取加强深度信息图的深度值的众数作为待检测区域的距离值，基于距离值与预设阈值的大小关系来判决待检测区域的平整度。

2.如权利要求1所述的方法，其特征在于，步骤1中，获取用于墙面检测的双目摄像机的内、外参数具体为：

101：双目摄像机采集多张棋盘格图像；

102：采用Harris角点检测算法检测出各棋盘格图像中所有的候选角点；

103：对棋盘格图像进行二值化处理后，对候选角点进行筛选处理：

在二值化后的棋盘格图像中，确定一个以候选角点为中心的矩形，判断矩形边所占的像素点的两类像素值的个数是否相同，若是，则保留当前角点，否则删除；

104：确定候选角点的坐标：

分别以步骤102筛选后的候选角点为中心，确定一个方形的检测窗口，并将检测窗口基于中轴线均分为四个区域，将非相邻的两个区域分别定义为第一子区域、第二子区域；

在预设的搜索范围内按预设步长移动检测窗口，并计算检测窗口在当前位置时的第一子区域、第二子区域的像素灰度值的差值平方和δ；

将搜索范围内最小的δ对应的位置的中心作为当前候选角点的坐标值；

105：基于步骤103得到的各候选角点的坐标，采用棋盘格标定法，计算双目摄像机的内、外参数。