CN109919856B - 基于双目视觉的沥青路面构造深度检测方法 - Google Patents
基于双目视觉的沥青路面构造深度检测方法 Download PDFInfo
- Publication number
- CN109919856B CN109919856B CN201910053244.9A CN201910053244A CN109919856B CN 109919856 B CN109919856 B CN 109919856B CN 201910053244 A CN201910053244 A CN 201910053244A CN 109919856 B CN109919856 B CN 109919856B
- Authority
- CN
- China
- Prior art keywords
- image
- camera
- pixel
- gray image
- value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 239000010426 asphalt Substances 0.000 title claims abstract description 49
- 238000001514 detection method Methods 0.000 title claims abstract description 34
- 238000012937 correction Methods 0.000 claims abstract description 47
- 238000010276 construction Methods 0.000 claims abstract description 9
- 238000012545 processing Methods 0.000 claims abstract description 7
- 239000011159 matrix material Substances 0.000 claims description 58
- 238000000034 method Methods 0.000 claims description 43
- 239000013598 vector Substances 0.000 claims description 10
- 238000001914 filtration Methods 0.000 claims description 9
- 238000013519 translation Methods 0.000 claims description 9
- 239000002131 composite material Substances 0.000 claims description 4
- 230000003287 optical effect Effects 0.000 claims description 4
- 238000012986 modification Methods 0.000 description 7
- 230000004048 modification Effects 0.000 description 7
- 239000004576 sand Substances 0.000 description 7
- 230000007547 defect Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 238000003384 imaging method Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 238000005286 illumination Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 241000226585 Antennaria plantaginifolia Species 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000011900 installation process Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 239000011148 porous material Substances 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
- G06F17/10—Complex mathematical operations
- G06F17/16—Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/80—Geometric correction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20024—Filtering details
- G06T2207/20032—Median filtering
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Mathematical Physics (AREA)
- Mathematical Optimization (AREA)
- Mathematical Analysis (AREA)
- Computational Mathematics (AREA)
- Pure & Applied Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Computing Systems (AREA)
- Algebra (AREA)
- Databases & Information Systems (AREA)
- Software Systems (AREA)
- General Engineering & Computer Science (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Measurement Of Optical Distance (AREA)
Abstract
本发明提供一种基于双目视觉的沥青路面构造深度检测方法,包括如下步骤:100.获取左右两台摄像机的内参和外参;200.使用左右两台摄像机分别采集沥青路面的左彩色图像和右彩色图像;300.将左彩色图像和右彩色图像分别处理成左灰度图像和右灰度图像;400.分别对左灰度图像和右灰度图像进行畸变校正,得到第一校正左灰度图像和第一校正右灰度图像;500.分别对第一校正左灰度图像和第一校正右灰度图像进行立体校正,得到第二校正左灰度图像和第二校正右灰度图像;600.对第二校正左灰度图像和第二校正右灰度图像进行立体匹配;700.消除立体匹配错误的值;800.修正拍摄角度误差;900.计算沥青路面的构造深度。本发明具有快速高效、不易受干扰、价格经济和检测结果更加准确等优点。
Description
技术领域
本发明涉及到道路工程建设中沥青路面构造深度的检测技术,尤其是涉及一种基于双目视觉的沥青路面构造深度检测方法。
背景技术
沥青路面的抗滑性能对行车安全影响显著,构造深度是评价沥青路面抗滑性能的重要指标。沥青路面的构造深度是指道路表面凹凸不平的开口孔隙的平均深度,反映了路面的粗糙程度。路面构造深度过小将会降低沥青路面的抗滑性能,不仅会导致汽车出现打滑的现象,并且会增大汽车的刹车距离,严重影响行车安全。
目前,沥青路面构造深度的检测方法主要有铺沙法、激光构造深度仪法和数字图像法三种。铺沙法原理简单,测量方便,但是极其耗时;激光构造深度仪法虽然精度较高,但是需要专门设备,价格昂贵;数字图像法检测快速高效,但是容易受到外界光照和路面自身颜色的干扰。显然,现有的沥青路面构造深度检测方法存在着耗时较长,或者价格昂贵和易受干扰等问题。
因此,研究一种快速高效、不易受干扰、价格经济的沥青构造深度检测方法具有必要性。
发明内容
为了克服上述问题,本发明提供一种快速高效、不易受干扰和价格经济的沥青路面构造深度检测方法。
本发明的技术方案是:提供一种基于双目视觉的沥青路面构造深度检测方法,包括如下步骤:
100.获取左右两台摄像机的内参和外参;
200.使用左右两台摄像机分别采集沥青路面的左彩色图像和右彩色图像;
300.将左彩色图像和右彩色图像分别处理成左灰度图像和右灰度图像;
400.根据左右两台摄像机的内参,分别对左灰度图像和右灰度图像进行畸变校正,得到第一校正左灰度图像和第一校正右灰度图像;
500.根据左右两台摄像机的内参和外参,分别对第一校正左灰度图像和第一校正右灰度图像进行立体校正,得到第二校正左灰度图像和第二校正右灰度图像;
600.对第二校正左灰度图像和第二校正右灰度图像进行立体匹配,识别出第二校正左灰度图像和第二校正右灰度图像上对应的像素点,计算视差值d,根据视差值d计算图像上每个像素点在摄像机坐标系下距离摄像机平面的高度值,生成一个包含图像上每个像素点的像素坐标及其对应的高度值信息的模型矩阵M,恢复出路面的三维模型;
700.对模型矩阵中相邻两个像素点高度值的差商值设置一个阈值,确定出立体匹配错误值的位置,利用中值滤波窗口对立体匹配错误的值进行修正,消除立体匹配错误的值;
800.对模型矩阵M进行平面拟合,将模型矩阵M和拟合平面相减,修正采集图像时由于摄像机光轴与路面不垂直带来的拍摄角度误差;
900.计算沥青路面的构造深度。
作为对本发明的改进,在上述步骤300中,还包括如下步骤:301.将左彩色图像和右彩色图像分别由红色(R)、绿色(G)、蓝色(B)三个通道按下式计算后,转换为的左单通道灰度图像和右单通道灰度图像;
f(x,y)=R(x,y)×0.299+G(x,y)×0.587+B(x,y)×0.114;
其中,f(x,y)为像素点的灰度值,R(x,y)、G(x,y)、B(x,y)分别为像素点的红色、绿色、蓝色三个通道的值。
作为对本发明的改进,在上述步骤300中,还包括如下步骤:
302.利用中值滤波对左单通道灰度图像和右单通道灰度图像进行去噪处理,得到左灰度图像和右灰度图像。
作为对本发明的改进,在上述步骤400中,还包括如下步骤:
401.根据摄像机的内参按照下式确定出畸变系数k1、k2:
402.利用所得的摄像机畸变系数k1、k2按下式,分别对左灰度图像和右灰度图像进行畸变校正:
作为对本发明的改进,在上述步骤500中,还包括如下步骤:
501.确定出左右两台摄像机之间的相对位置关系:
502.利用罗德里格斯变换,将相对旋转矩阵分解成为左图像和右图像各自的合成旋转矩阵rl、rr;
503.计算左右两幅图像各自的旋转矩阵Rlt、Rrt,将左图像根据旋转矩阵Rlt旋转,将右图像根据旋转矩阵Rrt进行旋转,使两幅图像的极线水平,且极点在无穷远处,完成立体校正。
作为对本发明的改进,在上述步骤600中,还包括如下步骤:
601.利用半全局匹配算法(SGBM)遍历图像上每一个像素点后,识别出第二校正左灰度图像和第二校正右灰度图像上的同一个像素点,并计算像素点的视差值d;
其中,xl、xr分别为同一个像素点在第二校正左灰度图像和第二校正右灰度图像上的像素横轴坐标,zc为比例因子;
602.用下式计算每一个像素点距离摄像机平面的高度值z;
其中,Tx为相对平移向量T在横轴方向上的分量,单位为mm,表示左右两台摄像机之间的水平距离,f为摄像机焦距,单位为mm,d为视差值,单位为mm;
603.将所有像素点的高度值组成一个模型矩阵M,恢复出路面的三维模型,其中模型矩阵M是一个包含了图像上每一个像素点的像素坐标及其对应的像素点高度值的矩阵。
作为对本发明的改进,在上述步骤700中,还包括如下步骤:
701.按下式计算像素点对应的高度值的一阶差商,确定立体匹配错误像素点的位置;
k=(zi+1-zi)/(xi+1-xi);
其中,k为像素点的一阶差商,xi,xi+1为第i和第i+1个像素点的像素横坐标,zi,zi+1为第i和第i+1个像素点的高度值,单位为mm。
702.将一阶差商大于1的点定义为匹配错误的点,利用7×7的滤波窗口,把匹配错误的点放在窗口中心,将窗口内所有像素点的高度值从小到大进行排列,计算出窗口内像素点高度值的中值,用中值替换匹配错误的值,输出替换后的像素点高度值。
作为对本发明的改进,在上述步骤800中,还包括如下步骤:
801.对模型矩阵M的像素点高度值做平面拟合,按下式计算出拟合平面的参数a1,a2,a3;
其中,xi,yi为第i个像素点的像素坐标,zi为第i个像素点的高度值,n为矩阵中总的像素点个数。
作为对本发明的改进,在上述步骤800中,还包括如下步骤:
802.利用下式计算修正后的各像素点的高度值,完成拍摄角度误差修正;
hi=zi-a1xi-a2yi-a3;
其中,zi、hi分别为拍摄角度修正前和修正后的第i个像素点的高度值,单位为mm。
作为对本发明的改进,在上述步骤900中,按下式进行计算沥青路面的构造深度Hp,单位为mm;
其中,hmax为像素点高度值的最大值,单位为mm,hi为第i个像素点的高度值,单位为mm,m和n为模型矩阵M的行数和列数。
本发明由于采用了左右两台摄像机,通过左右两台摄像机分别采集沥青路面的左彩色图像和右彩色图像,依次进行灰度处理、畸变校正、立体校正、恢复出路面的三维模型、消除立体匹配错误的值、修正摄像机的拍摄角度误差,最后计算沥青路面的构造深度;在检测过程中所受光照和路面自身颜色的影响较小,不仅能测量沥青路面构造深度,同时还能恢复出路面的三维模型,能够更直观地反映出沥青路面的技术状况信息,供检测人员参考;克服了激光构造深度仪法需要使用专门设备且价格昂贵的缺点,利用一对普通的摄像机镜头即可完成检测;克服了传统手工铺沙法和电动铺沙法检测速度较慢且受人为主观影响较大的缺点,具有快速高效、不易受干扰、价格经济和检测结果更加准确等优点。
附图说明
图1是本发明的流程方框示意图。
图2是本发明标定所用棋盘格。
图3是本发明中左右两台摄像机工作时的平面结构示意图。
图4是本发明中经过灰度处理后的左灰度图像和右灰度图像。
图5是本发明中完成畸变校正和立体校正后的第二校正左灰度图像和第二校正右灰度图像。
图6是本发明中立体匹配完成后恢复的被测区域路面模型图。
图7是本发明中消除立体匹配错误的值后的被测区域路面模型图。
图8是本发明中修正摄像机拍摄角度误差后的被测区域路面模型图。
具体实施方式
在本发明的描述中,需要理解的是,术语中“中心”、“上”、“下”、“前”、“后”、“左”、“右”等指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述本发明和简化描述,而不是指示或暗示所指的装置或组件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本发明的限制。此外,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性。
在本发明的描述中,需要说明的是,除非另有明确的规定和限定,术语“安装”、“连接”、“相连”应做广义理解,例如,可以是固定连接,也可以是拆卸连接,或一体地连接;可以是机械连接,也可以是电连接;可以是直接相连,也可以是通过中间媒介间接相连,可以是两个组件内部的连通。对于本领域的普通技术人员而言,可以具体情况理解上述术语在本发明的具体含义。
请参见图1,图1所揭示的是一种基于双目视觉的沥青路面构造深度检测方法的流程图,基于双目视觉的沥青路面构造深度检测方法包括如下步骤:
100.获取左右两台摄像机的内参和外参;
200.使用左右两台摄像机分别采集沥青路面的左彩色图像和右彩色图像;
300.将左彩色图像和右彩色图像分别处理成左灰度图像和右灰度图像(请参见图4);
400.根据左右两台摄像机的内参,分别对左灰度图像和右灰度图像进行畸变校正,得到第一校正左灰度图像和第一校正右灰度图像;
500.根据左右两台摄像机的内参和外参,分别对第一校正左灰度图像和第一校正右灰度图像进行立体校正,得到第二校正左灰度图像和第二校正右灰度图像(请参见图5);
600.对第二校正左灰度图像和第二校正右灰度图像进行立体匹配(请参见图6),识别出第二校正左灰度图像和第二校正右灰度图像上对应的像素点,计算像素点的视差值d,根据视差值d计算图像上每个像素点在摄像机坐标系下距离摄像机平面的高度值,生成一个包含图像上每个像素点的像素坐标及其对应的高度值信息的模型矩阵M,恢复出路面的三维模型;
700.对模型矩阵中相邻两个像素点高度值的差商值设置一个阈值,确定出立体匹配错误点的位置,利用中值滤波窗口对立体匹配错误的值进行修正,消除立体匹配错误的值(请参见图7);
800.对模型矩阵M进行平面拟合,将模型矩阵M和拟合平面相减,修正采集图像时由于摄像机光轴与路面不垂直带来的拍摄角度误差(请参见图8);
900.计算沥青路面的构造深度。
在本方法的上述步骤100中,选取左右两台摄像机的规格相同,成像面平行共面且行对准,左右之间相隔一段距离的摄像机作为双目摄像机,以测量平台为原点构建世界坐标系,采用张正友标定法对双目摄像机进行标定,求解两台摄像机的内参和外参。需要说明的是,摄像机的内参只与摄像机的规格有关,在摄像机出厂以后就唯一确定,摄像机外参只与左右两台摄像机之间的相对位置关系有关。摄像机内参包含了摄像机焦距f,比例因子zc,摄像机主点位置u0、v0,反应了摄像机的内部结构情况。摄像机外参包含了摄像机相对于棋盘格的旋转矩阵R和摄像机相对于棋盘格的平移向量T,反应了摄像机之间的相对位置关系。
进一步,对摄像机进行标定,采用张正友标定法,利用摄像机拍摄一组棋盘格图像,棋盘格图像如图2所示,然后利用图像识别技术识别出数字图像上的棋盘格角点,建立数字图像中的棋盘格角点与和现实世界中的棋盘格角点之间的对应关系,求解摄像机的内参和外参。包括如下步骤:
101.设世界坐标系下一个点的坐标为P(X,Y,Z),其对应的图像上一点的像素坐标为p(u,v),则世界坐标到像素坐标的转换过程按下式进行:
ax=zcf;
ay=zcf;
其中,K为摄像机的内参矩阵,u0、v0为摄像机主点的像素坐标,ax、ay为摄像机焦距参数,R为摄像机相对于棋盘格的3×3旋转矩阵,T为摄像机相对于棋盘格的3×1平移向量,zc为比例因子,f为摄像机焦距。
102.假定摄像机坐标系和世界坐标系相互重合,则世界坐标系位于Z=0的平面上,可令Z=0,上式转化为:
H=K[r1 r2 T];
式中,H为3×3的单应性矩阵,r1,r2分别为摄像机旋转矩阵R的第一列和第二列。
单应性矩阵中包含了全部的摄像机内参和外参,将单应性矩阵H写做三个列向量的形式[h1 h2 h3],利用坐标转换中的约束条件,根据下式求解单应性矩阵;
103.利用双目摄像机拍摄一组棋盘格图像,然后利用图像识别技术识别出棋盘格的角点,将像素坐标系下的角点p(u,v)与世界坐标系下的角点P(X,Y,Z)作为已知值,计算单应性矩阵,求解出全部的摄像机内参和外参。
在本方法的上述步骤200中,如图3所示,由于将左右两台摄像机1的规格相同,成像面平行共面且行对准,左右之间相隔一段距离的摄像机1作为一组双目摄像机。也就是说,本发明中的左右两台摄像机1构成一组双目摄像机,将双目摄像机以一定高度垂直安装于沥青路面2上,通过计算机控制左右两台摄像机1同时拍照,利用所获得的左右两幅数字图像对沥青路面2构造深度进行检测,左右两台摄像机1拍摄区域相互重合的部分即为被测区域3。双目摄像机必须选择焦距固定的摄像机,不能选择带有自动变焦功能的摄像机镜头。需要说明的是,将左右两台摄像机1按一定高度安装在沥青路面2上方,摄像机1的光轴与沥青路面2互相垂直,左右两台摄像机1的拍摄区域相互重合(请参见图3)。
在本方法的上述步骤300中,还包括如下步骤:
301.将左彩色图像和右彩色图像分别由红色(R)、绿色(G)、蓝色(B)三个通道按下式计算后,转换为的左单通道灰度图像和右单通道灰度图像;
f(x,y)=R(x,y)×0.299+G(x,y)×0.587+B(x,y)×0.114;
其中,f(x,y)为像素点的灰度值,R(x,y)、G(x,y)、B(x,y)分别为像素点的红色、绿色、蓝色三个通道的值。
302.利用中值滤波对左单通道灰度图像和右单通道灰度图像进行去噪处理,得到左灰度图像和右灰度图像(请参见图4)。
所述中值滤波去噪是指利用3×3的正方形二维滑动模板在图像上进行滑动,将待处理的灰度值放在窗口的中间,将窗口内所有的灰度值从小到大进行排列,计算出窗口内灰度值的中值,当待处理的灰度值等于灰度值的最大值或最小值时,则判定这个灰度值异常,用灰度值的中值替换待处理灰度值,输出替换后的灰度值;反之则判定为正常值,输出原本的灰度值。
在本方法的上述步骤400中,还包括如下步骤:
401.根据摄像机的内参按照下式确定出畸变系数k1、k2:
其中,k1、k2为摄像机的畸变系数,(u、v)为无畸变的像素坐标,(x、y)为无畸变的连续像素坐标,(u0、v0)为摄像机主点的像素坐标,为畸变后的像素坐标。需要说明的是,畸变校正是指对图像中可能产生的桶形畸变或枕形畸变进行校正,校正的依据是摄像机的内参。
402.利用所得的摄像机畸变系数k1、k2按下式,分别对左灰度图像和右灰度图像进行畸变校正:
在本方法的上述步骤500中,立体校正是指对左右两个摄像机的相对位置进行校正,左右两个摄像机在安装过程中会存在误差,两个成像平面不可能完全平行共面且行对准,因此需要将两幅图像进行立体校正。利用标定得到的摄像机外参用Bouguet算法对图像进行校正。还包括如下步骤:
501.确定出左右两台摄像机之间的相对位置关系,公式如下:
R=RrRlT;
T=Tr-RTl;
其中,R为左右两台摄像机之间的3×3相对旋转矩阵,T为左右两个摄像机之间的3×1相对平移向量,Rl、Rf分别为左右两台摄像机相对于棋盘格的3×3旋转矩阵,Tl、Tr分别为左右两台摄像机相对于棋盘格的3×1平移向量;
502.利用罗德里格斯变换,将相对旋转矩阵分解成为左图像和右图像各自的合成旋转矩阵rl、rr;
503.计算左右两幅图像各自的旋转矩阵Rlt、Rrt,将左图像根据旋转矩阵Rlt旋转,将右图像根据旋转矩阵Rrt进行旋转,使两幅图像的极线水平,且极点在无穷远处,完成立体校正。公式如下:
Rlt=Rrectrl;
Rrt=Rrectrr;
Rrect=[e1 e2 e3];
e3=e1×e2;
式中,Rlt、Rrt为分别左右图像各自的3×3旋转矩阵,R为左右两个摄像机之间的3×3相对旋转矩阵,T为左右两个摄像机之间的3×1相对平移向量,
rl、rr分别为左右图像的合成旋转矩阵,Tx、Ty分别为相对平移向量T在横轴和纵轴方向上的分量。需要说明的是,矫正后的图像请参见图5。
在本方法的上述步骤600中,还包括如下步骤:
601.利用半全局匹配算法(SGBM)遍历图像上每一个像素点后,识别出第二校正左灰度图像和第二校正右灰度图像上的同一个像素点,并计算像素点的视差值d,单位为mm;
其中,xl、xr分别为同一个像素点在第二校正左灰度图像和第二校正右灰度图像上的像素横轴坐标,zc为比例因子;
602.用下式计算每一个像素点距离摄像机平面的高度值z;
其中,Tx为相对平移向量T在横轴方向上的分量,单位为mm,表示左右两台摄像机之间的距离,f为摄像机焦距,单位为mm,d为视差值,单位为mm;可见,视差值d越大,则像素点距离摄像机越近,视差值d越小,则像素点距离摄像机越远。
603.将所有像素点的高度值组成一个模型矩阵M,恢复出路面的三维模型(请参见图6)。其中模型矩阵M是一个包含了图像上每一个像素点的像素坐标及其对应的像素点高度值的矩阵。
在本方法的上述步骤700中,还包括如下步骤:
701.按下式计算像素点对应的高度值的一阶差商,确定立体匹配错误像素点的位置;
k=(zi+1-zi)/(xi+1-xi);
其中,k为像素点的一阶差商,xi,xi+1为第i和第i+1个像素点的像素横坐标,zi,zi+1为第i和第i+1个像素点的高度值,单位为mm。
702.将一阶差商大于1的点定义为匹配错误的点,利用7×7的滤波窗口,把匹配错误的点放在窗口中心,将窗口内所有的像素点高度值从小到大进行排列,计算出窗口内像素点高度值的中值,用中值替换匹配错误的值,输出替换后的像素点高度值,得到消除立体匹配错误的值后的路面模型图,请参见图7所示。
在本方法的上述步骤800中,还包括如下步骤:
801.对模型矩阵M的像素点高度值做平面拟合,按下式计算出拟合平面的参数a1,a2,a3;
其中,xi,yi为第i个像素点的像素坐标,zi为第i个像素点的高度值,单位为mm,n为矩阵中总的像素点个数。
802.利用下式计算修正后的各像素点的高度值,完成拍摄角度误差修正;
hi=zi-a1xi-a2yi-a3;
其中,zi、hi分别为拍摄角度修正前和修正后的第i个像素点的高度值,单位为mm,得到修正后的路面模型图,请参见图8所示。
在本方法的上述步骤900中,按下式进行计算沥青路面的构造深度Hp,单位为mm;
其中,hmax为像素点高度值的最大值,单位为mm,hi为第i个像素点的高度值,单位为mm,m和n为模型矩阵M的行数和列数。
为验证本发明的有效性,利用本发明进行沥青路面构造深度检测并对采集的30个测点图像信息进行分析计算,将计算结果与手工铺沙法的检测结果进行对比,结果如表1所示。
从表1中可以看出,30个测点的测试结果最大相对误差为-8.45%,平均相对误差为3.04%,相关系数为0.933,本发明的检测方法相比手工铺沙法的检测结果误差较小,相关程度较高,具有良好的检测效果。
本发明由于采用了左右两台摄像机,通过对左右两台摄像机分别采集沥青路面的左彩色图像和右彩色图像,依次进行灰度处理、畸变校正、立体校正、恢复出路面的三维模型、消除立体匹配错误的值、修正摄像机的拍摄角度误差,最后计算沥青路面的构造深度;在检测过程中所受光照和路面自身颜色的影响较小,不仅能测量沥青路面构造深度,同时还能恢复出路面的三维模型,能够更直观地反映出沥青路面的技术状况信息,供检测人员参考;克服了激光构造深度仪法需要使用专门设备且价格昂贵的缺点,利用一对普通的摄像机镜头即可完成检测;克服了传统手工铺沙法和电动铺沙法检测速度较慢且受人为主观影响较大的缺点,具有快速高效、不易受干扰、价格经济和检测结果更加准确等优点。
需要说明的是,针对上述各实施方式的详细解释,其目的仅在于对本发明进行解释,以便于能够更好地解释本发明,但是,这些描述不能以任何理由解释成是对本发明的限制,特别是,在不同的实施方式中描述的各个特征也可以相互任意组合,从而组成其他实施方式,除了有明确相反的描述,这些特征应被理解为能够应用于任何一个实施方式中,而并不仅局限于所描述的实施方式。
Claims (10)
1.一种基于双目视觉的沥青路面构造深度检测方法,其特征在于,包括如下步骤:
100.获取左右两台摄像机的内参和外参;
200.使用左右两台摄像机分别采集沥青路面的左彩色图像和右彩色图像;
300.将左彩色图像和右彩色图像分别处理成左灰度图像和右灰度图像;
400.根据左右两台摄像机的内参,分别对左灰度图像和右灰度图像进行畸变校正,得到第一校正左灰度图像和第一校正右灰度图像;
500.根据左右两台摄像机的内参和外参,分别对第一校正左灰度图像和第一校正右灰度图像进行立体校正,得到第二校正左灰度图像和第二校正右灰度图像;
600.对第二校正左灰度图像和第二校正右灰度图像进行立体匹配,识别出第二校正左灰度图像和第二校正右灰度图像上对应的像素点,计算视差值d,根据视差值d计算图像上每个像素点在摄像机坐标系下距离摄像机平面的高度值,生成一个包含图像上每个像素点的像素坐标及其对应的高度值信息的模型矩阵M,恢复出路面的三维模型;
700.对模型矩阵中相邻两个像素点之间高度值的差商值设置阈值,确定出立体匹配错误值的位置,利用中值滤波窗口对立体匹配错误的值进行修正,消除立体匹配错误的值;
800.对模型矩阵M进行平面拟合,将模型矩阵M和拟合平面相减,修正采集图像时由于摄像机光轴与路面不完全垂直带来的拍摄角度误差;
900.计算沥青路面的构造深度。
2.根据权利要求1所述的基于双目视觉的沥青路面构造深度检测方法,其特征在于,在上述步骤300中,还包括如下步骤:
301.将左彩色图像和右彩色图像分别由红色(R)、绿色(G)、蓝色(B)三个通道按下式计算后,转换为左单通道灰度图像和右单通道灰度图像;
f(x,y)=R(x,y)×0.299+G(x,y)×0.587+B(x,y)×0.114;
其中,f(x,y)为像素点的灰度值,R(x,y)、G(x,y)、B(x,y)分别为像素点的红色、绿色、蓝色三个通道的值。
3.根据权利要求2所述的基于双目视觉的沥青路面构造深度检测方法,其特征在于,在上述步骤300中,还包括如下步骤:
302.利用中值滤波对左单通道灰度图像和右单通道灰度图像进行去噪处理,得到左灰度图像和右灰度图像。
5.根据权利要求1所述的基于双目视觉的沥青路面构造深度检测方法,其特征在于,在上述步骤500中,还包括如下步骤:
501.确定出左右两台摄像机之间的相对位置关系:
502.利用罗德里格斯变换,将相对旋转矩阵分解成为左图像和右图像各自的合成旋转矩阵rl、rr;
503.计算左右两幅图像各自的旋转矩阵Rlt、Rrt,将左图像根据旋转矩阵Rlt旋转,将右图像根据旋转矩阵Rrt进行旋转,使两幅图像的极线水平,且极点在无穷远处,完成立体校正。
6.根据权利要求1所述的基于双目视觉的沥青路面构造深度检测方法,其特征在于,在上述步骤600中,还包括如下步骤:
601.利用半全局匹配算法(SGBM)遍历图像上每一个像素点后,识别出第二校正左灰度图像和第二校正右灰度图像上的同一个像素点,并计算像素点的视差值d;
其中,xl、xr分别为同一个像素点在第二校正左灰度图像和第二校正右灰度图像上的像素横轴坐标,zc为比例因子;
602.用下式计算每一个像素点距离摄像机平面的高度值z;
其中,Tx为相对平移向量T在横轴方向上的分量,单位为mm,表示左右两台摄像机之间的水平距离,f为摄像机焦距,单位为mm,d为视差值,单位为mm;
603.将所有像素点的高度值组成一个模型矩阵M,恢复出路面的三维模型,其中模型矩阵M是一个包含了图像上每一个像素点的像素坐标及其对应的像素点高度值的矩阵。
7.根据权利要求1所述的基于双目视觉的沥青路面构造深度检测方法,其特征在于,在上述步骤700中,还包括如下步骤:
701.按下式计算相邻像素点对应的高度值的一阶差商,确定立体匹配错误像素点的位置;
k=(zi+1-zi)/(xi+1-xi);
其中,k为像素点的一阶差商,xi,xi+1为第i和第i+1个像素点的像素横坐标,zi,zi+1为第i和第i+1个像素点的高度值,单位为mm;
702.将一阶差商大于1的点定义为匹配错误的点,利用7×7的滤波窗口,把匹配错误的点放在窗口中心,将窗口内所有点的高度值从小到大进行排列,计算出窗口内高度值的中值,用中值替换匹配错误的值,输出替换后的像素点高度值。
9.根据权利要求8所述的基于双目视觉的沥青路面构造深度检测方法,其特征在于,在上述步骤800中,还包括如下步骤:
802.利用下式计算修正后的各像素点的高度值,完成拍摄角度误差修正;
hi=zi-a1xi-a2yi-a3;
其中,zi、hi分别为拍摄角度修正前和修正后的第i个像素点的高度值,单位为mm。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310309976.6A CN116342674A (zh) | 2019-01-21 | 2019-01-21 | 一种三维模型计算沥青路面构造深度方法 |
CN201910053244.9A CN109919856B (zh) | 2019-01-21 | 2019-01-21 | 基于双目视觉的沥青路面构造深度检测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910053244.9A CN109919856B (zh) | 2019-01-21 | 2019-01-21 | 基于双目视觉的沥青路面构造深度检测方法 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310309976.6A Division CN116342674A (zh) | 2019-01-21 | 2019-01-21 | 一种三维模型计算沥青路面构造深度方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109919856A CN109919856A (zh) | 2019-06-21 |
CN109919856B true CN109919856B (zh) | 2023-02-28 |
Family
ID=66960505
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910053244.9A Active CN109919856B (zh) | 2019-01-21 | 2019-01-21 | 基于双目视觉的沥青路面构造深度检测方法 |
CN202310309976.6A Pending CN116342674A (zh) | 2019-01-21 | 2019-01-21 | 一种三维模型计算沥青路面构造深度方法 |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310309976.6A Pending CN116342674A (zh) | 2019-01-21 | 2019-01-21 | 一种三维模型计算沥青路面构造深度方法 |
Country Status (1)
Country | Link |
---|---|
CN (2) | CN109919856B (zh) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111091063B (zh) * | 2019-11-20 | 2023-12-29 | 北京迈格威科技有限公司 | 活体检测方法、装置及*** |
CN111553878A (zh) * | 2020-03-23 | 2020-08-18 | 四川公路工程咨询监理有限公司 | 基于双目视觉的沥青路面混合料摊铺均匀性的检测方法 |
CN111862234B (zh) * | 2020-07-22 | 2023-10-20 | 中国科学院上海微***与信息技术研究所 | 双目相机自标定方法及*** |
CN112819820B (zh) * | 2021-02-26 | 2023-06-16 | 大连海事大学 | 一种基于机器视觉的路面沥青修补检测方法 |
CN117649454B (zh) * | 2024-01-29 | 2024-05-31 | 北京友友天宇***技术有限公司 | 双目相机外参自动校正方法、装置、电子设备及存储介质 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102635056A (zh) * | 2012-04-01 | 2012-08-15 | 长安大学 | 一种沥青路面构造深度的测量方法 |
CN104775349A (zh) * | 2015-02-15 | 2015-07-15 | 云南省交通规划设计研究院 | 一种大空隙排水沥青路面构造深度测试仪及测量方法 |
CN105205822A (zh) * | 2015-09-21 | 2015-12-30 | 重庆交通大学 | 沥青压实路面离析程度的实时检测方法 |
CN105225482A (zh) * | 2015-09-02 | 2016-01-06 | 上海大学 | 基于双目立体视觉的车辆检测***和方法 |
CN106845424A (zh) * | 2017-01-24 | 2017-06-13 | 南京大学 | 基于深度卷积网络的路面遗留物检测方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8070628B2 (en) * | 2007-09-18 | 2011-12-06 | Callaway Golf Company | Golf GPS device |
-
2019
- 2019-01-21 CN CN201910053244.9A patent/CN109919856B/zh active Active
- 2019-01-21 CN CN202310309976.6A patent/CN116342674A/zh active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102635056A (zh) * | 2012-04-01 | 2012-08-15 | 长安大学 | 一种沥青路面构造深度的测量方法 |
CN104775349A (zh) * | 2015-02-15 | 2015-07-15 | 云南省交通规划设计研究院 | 一种大空隙排水沥青路面构造深度测试仪及测量方法 |
CN105225482A (zh) * | 2015-09-02 | 2016-01-06 | 上海大学 | 基于双目立体视觉的车辆检测***和方法 |
CN105205822A (zh) * | 2015-09-21 | 2015-12-30 | 重庆交通大学 | 沥青压实路面离析程度的实时检测方法 |
CN106845424A (zh) * | 2017-01-24 | 2017-06-13 | 南京大学 | 基于深度卷积网络的路面遗留物检测方法 |
Non-Patent Citations (2)
Title |
---|
"Inflight helicopter blade track measurement using computer vision";Akhtar Hanif等;《2014 IEEE REGION 10 SYMPOSIUM》;20141231;56-61 * |
"基于数字图像技术的沥青混凝土构造深度检测研究";何力;《北方交通》;20180630;78-81 * |
Also Published As
Publication number | Publication date |
---|---|
CN109919856A (zh) | 2019-06-21 |
CN116342674A (zh) | 2023-06-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109919856B (zh) | 基于双目视觉的沥青路面构造深度检测方法 | |
CN102376089B (zh) | 一种标靶校正方法及*** | |
CN109443245B (zh) | 一种基于单应性矩阵的多线结构光视觉测量方法 | |
CN108613628B (zh) | 一种基于双目视觉的架空输电线路弧垂测量方法 | |
CN108876749A (zh) | 一种鲁棒的镜头畸变校正方法 | |
CN106978774B (zh) | 一种路面坑槽自动检测方法 | |
CN110031829B (zh) | 一种基于单目视觉的目标精准测距方法 | |
CN107179322A (zh) | 一种基于双目视觉的桥梁底面裂缝检测方法 | |
CN106709955B (zh) | 基于双目立体视觉的空间坐标系标定***和方法 | |
CN103234475B (zh) | 一种基于激光三角测量法的亚像素表面形态检测方法 | |
CN112902874B (zh) | 图像采集装置及方法、图像处理方法及装置、图像处理*** | |
CN110966956A (zh) | 一种基于双目视觉的三维检测装置和方法 | |
CN109191560B (zh) | 基于散射信息校正的单目偏振三维重建方法 | |
WO2011125937A1 (ja) | キャリブレーションデータ選択装置、選択方法、及び選択プログラム、並びに三次元位置測定装置 | |
CN111091076B (zh) | 基于立体视觉的隧道限界数据测量方法 | |
CN109410264A (zh) | 一种基于激光点云与图像融合的前方车辆距离测量方法 | |
CN111121643B (zh) | 一种道路宽度的测量方法及*** | |
CN110889874B (zh) | 一种双目相机标定结果的误差评估方法 | |
CN112308926A (zh) | 一种无公共视场的相机外参标定方法 | |
CN115330684A (zh) | 基于双目视觉与线结构光的水下构筑物表观缺陷检测方法 | |
CN103234483B (zh) | 一种相机芯片平行度的检测方法及装置 | |
CN111968182B (zh) | 一种双目相机非线性模型参数的标定方法 | |
CN110487254B (zh) | 一种用于rov的水下目标尺寸快速测量方法 | |
CN115018924A (zh) | 一种水下相机的关键参数标定方法 | |
CN114549653A (zh) | 一种相机标定方法、***、计算机设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |