CN101845787A - 基于双目视觉的水泥混凝土路面错台检测装置及方法 - Google Patents

Abstract

一种基于双目视觉的水泥混凝土路面错台检测装置及方法，该装置包括计算处理***、双目视觉检测组件，计算处理***中的图像采集卡与计算机相连传送采集的图像，里程编码器安装于检测车的车轮外侧，其触发信号线与图像采集卡相连；双目视觉检测组件安装于车体外，包括2台采样区域相叠的CCD和覆盖采样区域的光源，CCD与图像采集卡相连供图像采集卡采集图像及触发。该方法包括以下步骤：1)里程编码器产生脉冲信号，图像采集卡触发CCD对路面同一目标采集图像；2)根据CCD采集的图像对路面接缝进行定位；3)对采集的图像中的接缝附近的两块水泥板上选取多个测点，找到该测点的两对应图像，求得错台量。本发明可对错台进行精确定位。

Description

基于双目视觉的水泥混凝土路面错台检测装置及方法

技术领域

本发明属于道路工程领域，涉及一种水泥混凝土路面错台检测装置及检测方法。

背景技术

水泥混凝土路面错台是指水泥混凝土路面中横向接缝处相邻两块水泥板的高程差。它是由行车荷载，温度翘曲以及基层冲刷等多种原因造成的。错台是影响水泥混凝土路面平整度、寿命以及加铺后反射裂缝的重要因素，也是水泥混凝土路面技术状况评定，养护、加铺设计时必须考虑的一个重要指标。因此，如何对错台进行准确、高效的检测和评价，成为公路管理养护部门十分关注的问题。

错台检测包含两个步骤：一是接缝定位，即找到错台位置；二是检测该接缝处相邻水泥混凝土板面板的高程差。目前国内对错台的检测主要通过人工利用直尺或游标卡尺实现，费时费力且不安全。有的地区采用激光断面仪(澳大利亚的ARRB***，美国PAVEDEX公司的PASI***，美国南达科它州运输部研制的South Dakota DOT***，美国ICC公司的道路自动检测车，澳大利亚NSW公路局与CRISO公司共同开发的自动检测车RoadCrack，加拿大的RoadWare公司的ARAN，英国WDW公司的检测车)或超声波断面仪(新西兰DCL公司的ROMDAS超声波路面横断面车辙测试***)实现对错台的测量，断面仪需要多个距离传感器，通常有7～13个，有的多达30个，价格昂贵；使用断面仪对水泥混凝土路面检测时，不能准确的对错台准确定位。

发明内容

本发明针对现有水泥混凝土路面错台检测技术不能对错台精确定位，且横断面测点数目偏少，提出了一种基于双目视觉的水泥混凝土路面错台检测装置及其检测方法。

为达到上述目的，本发明的解决方案是：本发明基于双目视觉测量原理设计而成，可对水泥混凝土路面全车道检测，得到整个车道的接缝及错台图像，并由后处理对每个接缝进行识别、定位，在此基础上计算每条接缝的错台量。

一种基于双目视觉的水泥混凝土路面错台检测装置，其包括计算处理***、双目视觉检测组件，所述双目视觉检测组件采集路面信息，发送给计算处理***计算确认路面错台量。

进一步，所述计算处理***安装于检测车车体内，包括计算机、图像采集卡和里程编码器，图像采集卡与计算机相连传送其采集的图像；里程编码器安装于检测车的车轮外侧，其触发信号线与图像采集卡的外触发接口相连。

所述双目视觉检测组件安装于检测车车体外，包括2台CCD图像传感器和光源，CCD图像传感器的镜头朝向路面，两者的采样区域相重叠，光源则覆盖该采样区域；CCD图像传感器与图像采集卡相连，以供图像采集卡采集图像及触发。

所述CCD图像传感器和光源为面阵CCD图像传感器和面光源，或者为线扫描相机和线光源。

一种基于双目视觉的水泥混凝土路面错台检测方法，其包括以下步骤：

1)里程编码器产生脉冲信号，图像采集卡触发两台CCD图像传感器对路面同一目标采集图像，同一目标的图像以同名定义；

2)根据CCD图像传感器采集的图像对路面接缝进行定位；

3)在CCD图像传感器采集的图像中的接缝附近的第一水泥板和第二水泥板上选取多个测点，分别在采集的图像中找到该测点的同名图像，由双目视觉原理计算这些测点的三维坐标求得错台量。

进一步，所述定位利用灰度投影进行粗定位，找到接缝的大致位置，提取粗定位图像，检测接缝的倾角，利用该倾角做旋转校正，使接缝垂直于图像边界；再在校正的图像中利用灰度投影和边缘投影进行进行精确定位，找到接缝的两条边界，完成接缝定位。

所述定位利用灰度投影、接缝的几何特征及尺寸特征进行粗定位，找到接缝的大致位置，提取粗定位图像，检测接缝的倾角，利用该倾角做旋转校正，使接缝垂直于图像边界；再在校正的图像中，利用灰度投影和边缘投影以及接缝的图像特征进行精确定位，找到接缝的两条边界，完成接缝定位。

所述测点是在第一水泥板和第二水泥板上分别至少选取3个不共线的点。

所述错台量的计算方法是根据第一水泥板上选取的测点的三维坐标回归出一个基准平面，计算第二水泥板上各测点到该基准平面的平均距离，该平均值即为错台量；或者根据第一水泥板上各测点的z坐标计算第一水泥板的平均高程，根据第二水泥板上各测点的z坐标计算第二水泥板的平均高程，第一水泥板和第二水泥板之间的平均高程差即为错台量。

由于采用上述方案，本发明的有益效果是：

1)本发明克服了激光断面仪和超声波断面仪不能对接缝定位的缺点。这两种断面仪仅能够得到路面纵断面上连续的高程差。由于水泥混凝土路面存在刻槽、裂缝，并且接缝附近存在大量的啃边，很难从这些高程差曲线中判断出错台的位置，因而断面仪很难得到准确的错台量。而本发明能够利用图像进行精确定位，优于断面仪。

2)本发明横断面上的测点数量远大于断面仪，因而更能反应水泥混凝土路面接缝处错台的形貌，提高检测的可靠度。

3)本发明基于双目视觉，可以采集整个车道的图像，因此可用于平面类检测，如裂缝检测，这样平面检测和三维检测融合到一起。对于路面上那些三维变形和平面变形类叠加的情况有较好的效果，如沉陷上伴随着疲劳裂缝和横向裂缝，现有技术只能检测疲劳裂缝和横向裂缝，无法检测沉陷，而利用本发明，疲劳裂缝、横向裂缝和沉陷均能检测。对于车辙和裂缝同时存在的路段，现有的检测技术利用图像采集***检测裂缝，利用断面仪或结构光等方式检测车辙，两个***是分离的，融合的代价较大，而利用本发明，车辙和裂缝同时检测，为道路管理者进行病害评价分析提供更多，更准确的信息。

附图说明

图1为本发明的组成结构图；

图2为本发明图像采集正视图；

图3为本发明图像采集侧视图；

图4为本发明由两板测点计算错台的原理图。

附图中各标号分别为：车体1，计算处理***2，双目视觉检测组件3，路面4，接缝一侧的水泥板5，接缝另一侧水泥板6，存在错台的接缝7，由水泥板6上的测点三维坐标回归出的基准平面8；图像采集卡21，里程编码器22，计算机24，左侧CCD31，右侧CCD32，光源33，水泥板5上的测点51，水泥板5上的测点52，水泥板5上的测点53，水泥板6上的测点61，水泥板6上的测点62，水泥板6上的测点63。

具体实施方式

以下结合附图所示实施例对本发明作进一步的说明。

实施例一：结合图1-图4说明本实施例，其由计算处理***2和双目视觉检测组件3构成；计算机***由计算机24、图像采集卡21和里程编码器22构成；图像采集卡21安装在计算机的PCI接口上，里程编码器22的壳体安装、固定在检测车车轮外侧，编码器22的旋转轴与车轮连接，与车轮保持相同的角速度；编码器22的触发信号线与图像采集卡21的外触发接口相连；双目视觉检测组件3由2台面阵CCD图像传感器31、32和面光源33组成，2台面阵CCD的镜头朝向路面，它们的采样区域相互重叠，面光源33覆盖CCD的采样区域；面阵CCD图像传感器31、32的数据线与图像采集卡21的数据接口相连接，面阵CCD图像传感器31、32的外触发接口与图像采集卡21的外触发接口相连；计算机***2安装在车体1内，双目视觉检测组件3安装在车体1外的前端顶部或后端顶部，***安装完毕，在路面检测前对两面阵相机进行标定。其中，面光源可采用高强闪光照明***，如杭州思源科技有限公司脉冲闪光灯SY301S，面阵相机可采用Dalsa面阵相机DS-24-02M30，分辨率为1920*1080，每秒最高可拍摄30帧，图像采集卡可采用Dalsa的X64-CL Dual。编码器可采用无锡瑞普科技生产的zsm6215型旋转编码器。

本发明的方法由以下步骤实现：

步骤一：当检测车辆在行驶过程中，由里程编码器22产生脉冲信号，通过图像采集卡21同时触发两台CCD图像传感器31、32，对路面的同一目标同时采集图像，图像数据通过图像采集卡存储于计算机磁盘中，在存储时，同一目标的两幅图像可以采用同一编号，并加以“左”和“右”字样进行区别，便于后续处理时读取。扫描整个检测路段，完成图像采集。

步骤二：由CCD图像传感器31采集的图像对水泥混凝土路面接缝7进行定位。定位时，首先利用灰度投影、接缝的几何特征及尺寸特征进行粗定位，找到接缝的大致位置，并提取粗定位图像，在此图像中，检测接缝的倾角，并利用该倾角做旋转校正，使接缝垂直于图像边界；最后在校正的图像中，利用灰度投影和边缘投影以及接缝的图像特征进行精确定位，找到接缝的两条边界，完成接缝定位。粗定位和精定位都是由计算机处理实现的，单纯的灰度投影，接缝几何特征提取、尺寸计算都属标准的方法，

步骤三：在CCD图像传感器31采集的图像中的接缝7附近的两块水泥板5和6上分别选取多个测点(最少要选取3个不共线的点)，通过图像匹配技术分别在CCD图像传感器32采集的图像中找到这些点的同名像点，由双目视觉原理计算这些测点的三维坐标，具体如下：

世界坐标系由X_w＝[X_w，Y_w，Z_w]^T组成，设(u，v)为以像素为单位的图像坐标，世界坐标系表示的P点坐标与其投影点p的图像坐标(u，v)的关系：

s[u，v，1]^T＝M₁M₂X_w＝MX_w

$M_1=\left[\begin{array}{cccc}{a}_x& 0& u_0& 0\\ 0& a_y& v_0& 0\\ 0& 0& 1& 0\end{array}\right]$ $M_2=\left[\begin{array}{cc}R& t\\ 0& 1\end{array}\right]$ $X_w=\left[\begin{array}{c}{X}_w\\ Y_w\\ Z_w\\ 1\end{array}\right]$

其中，s为比例因子；

M₁只与摄像机内部结构有关，称摄像机内参，由a_x，a_y，u₀，v₀确定；

M₂描述了摄像机的位姿，称为摄像机外参，由R，t确定；

M称为摄像机的基本矩阵，在摄像机标定时确定；

(u₀，v₀，)为镜头中心投影在u，v坐标系中的坐标；

a_x，a_y与摄像机像元物理尺寸及焦距有关的内部参数；

R为摄像机于世界坐标系的旋转矩阵；

t为摄像机于世界坐标系的平移矩阵；

设Mⁱ＝M₁ ⁱM₂ ⁱ，，i为两个摄像机的代号；由摄像机标定可知M₁ ⁱ和M₂ ⁱ，继而可求Mⁱ，则有下列关系成立：

$s_i\left[\begin{array}{c}{u}_i\\ v_i\\ 1\end{array}\right]=\left[\begin{array}{cccc}{m}_{11}^i& m_{12}^i& m_{13}^i& m_{14}^i\\ m_{21}^i& m_{22}^i& m_{23}^i& m_{24}^i\\ m_{31}^i& m_{32}^i& m_{33}^i& m_{34}^i\end{array}\right]\left[\begin{array}{c}{X}_w\\ Y_w\\ Z_w\\ 1\end{array}\right]$

消去s₁和s₂，得到关于X_w，Y_w，Z_w的方程组：

$\left\{\begin{array}{c}(u_i{m}_{31}^i-m_{11}^i)X_w+(u_i{m}_{32}^i-m_{12}^i)Y_w+(u_i{m}_{33}^i-m_{13}^i)Z_w=m_{14}^i-u_i{m}_{34}^i\\ (v_i{m}_{31}^i-m_{21}^i)X_w+(v_i{m}_{32}^i-m_{22}^i)Y_w+(v_i{m}_{33}^i-m_{23}^i)Z_w=m_{24}^i-v_i{m}_{34}^i\end{array}\right.$

将上述方程写成矩阵的形式A_iP＝b_i；合并两个CCD后得到AP＝b；其中A＝(A₁，A₂)^T，b＝(b₁，b₂)^T；假设A^TA可逆，由最小二乘法可得P点的三维坐标P＝(A^TA)^-1b。

步骤四：由水泥板6上的测点61、62、63等的三维坐标回归出一个基准平面8，计算水泥板5上的测点51、52、53等到平面8的平均距离，该平均值即为错台量。

实施例二：本实施例与实施例一不同点在于，CCD图像传感器31、32为2台线扫描相机，光源33为线光源，CCD图像传感器31、32和线光源33朝向路面，CCD图像传感器31与CCD图像传感器32的扫描线大体在同一直线上，线光源33的照射线也处于这条直线上，为两台线扫描相机同时提供照明。检测前，对两线阵相机进行标定，在双目视觉检测组件3中安装有加速度传感器和陀螺仪，记录线扫描相机每一扫描时刻，两台相机的振动位移，并在计算测点坐标时，将振动位移扣除。其他组成和连接方式及计算方法与实施例一相同。其中，线光源可采用美国Stocker Yale大功率半导体激光器MAGNUM 2，线阵相机可采用Dalsa线阵相机P2-2X-04K40，行分辨率为4096，行频为18kHz。

另外，在接缝定位时，单独利用灰度投影或边缘投影进行接缝定位，但相对实施例一中的方式精确度略低，但其方法简单，减少了定位的步骤，加速了处理过程。

优选的，选取的水泥板5或6上的测点数量，用于回归基准平面的水泥板上测点大于3，且这三点不共线，测点数量多时，有利于减少随机误差。

或者，得到测点的三维坐标后，由板5上测点的z坐标计算板5的平均高程，由板6上测点的z坐标计算板6的平均高程，两板的平均高程差即为错台量。

上述的对实施例的描述是为便于该技术领域的普通技术人员能理解和应用本发明。熟悉本领域技术的人员显然可以容易地对这些实施例做出各种修改，并把在此说明的一般原理应用到其他实施例中而不必经过创造性的劳动。因此，本发明不限于这里的实施例，本领域技术人员根据本发明的揭示，对于本发明做出的改进和修改都应该在本发明的保护范围之内。

Claims (9)

1.一种基于双目视觉的水泥混凝土路面错台检测装置，其特征在于：其包括计算处理***、双目视觉检测组件，所述双目视觉检测组件采集路面信息，发送给计算处理***计算确认路面错台量。

2.如权利要求1所述的基于双目视觉的水泥混凝土路面错台检测装置，其特征在于：所述计算处理***安装于检测车车体内，包括计算机、图像采集卡和里程编码器，图像采集卡与计算机相连传送其采集的图像；里程编码器安装于检测车的车轮外侧，其触发信号线与图像采集卡的外触发接口相连。

3.如权利要求1所述的基于双目视觉的水泥混凝土路面错台检测装置，其特征在于：所述双目视觉检测组件安装于检测车车体外，包括2台CCD图像传感器和光源，CCD图像传感器的镜头朝向路面，两者的采样区域相重叠，光源则覆盖该采样区域；CCD图像传感器与图像采集卡相连，以供图像采集卡采集图像及触发。

4.如权利要求3所述的基于双目视觉的水泥混凝土路面错台检测装置，其特征在于：所述CCD图像传感器和光源为面阵CCD图像传感器和面光源，或者为线扫描相机和线光源。

5.一种基于双目视觉的水泥混凝土路面错台检测方法，其特征在于：其包括以下步骤：

1)里程编码器产生脉冲信号，图像采集卡触发两台CCD图像传感器对路面同一目标采集图像，同一目标的图像以同名定义；

2)根据CCD图像传感器采集的图像对路面接缝进行定位；

3)在CCD图像传感器采集的图像中的接缝附近的第一水泥板和第二水泥板上选取多个测点，分别在采集的图像中找到该测点的同名图像，由双目视觉原理计算这些测点的三维坐标求得错台量。

6.如权利要求5所述的基于双目视觉的水泥混凝土路面错台检测方法，其特征在于：所述定位利用灰度投影进行粗定位，找到接缝的大致位置，提取粗定位图像，检测接缝的倾角，利用该倾角做旋转校正，使接缝垂直于图像边界；再在校正的图像中利用灰度投影和边缘投影进行进行精确定位，找到接缝的两条边界，完成接缝定位。

7.如权利要求5所述的基于双目视觉的水泥混凝土路面错台检测方法，其特征在于：所述定位利用灰度投影、接缝的几何特征及尺寸特征进行粗定位，找到接缝的大致位置，提取粗定位图像，检测接缝的倾角，利用该倾角做旋转校正，使接缝垂直于图像边界；再在校正的图像中，利用灰度投影和边缘投影以及接缝的图像特征进行精确定位，找到接缝的两条边界，完成接缝定位。

8.如权利要求5所述的基于双目视觉的水泥混凝土路面错台检测方法，其特征在于：所述测点是在第一水泥板和第二水泥板上分别至少选取3个不共线的点。

9.如权利要求5所述的基于双目视觉的水泥混凝土路面错台检测方法，其特征在于：所述错台量的计算方法是根据第一水泥板上选取的测点的三维坐标回归出一个基准平面，计算第二水泥板上各测点到该基准平面的平均距离，该平均值即为错台量；或者根据第一水泥板上各测点的z坐标计算第一水泥板的平均高程，根据第二水泥板上各测点的z坐标计算第二水泥板的平均高程，第一水泥板和第二水泥板之间的平均高程差即为错台量。

Images