CN110969103B - 一种基于ptz相机的高速公路路面病害长度测量方法 - Google Patents

Abstract

本发明涉及一种基于PTZ相机的高速公路路面病害长度测量方法，具体包括以下步骤：步骤S1：获取不同视距下包含车道线的彩色的高速公路的路面图像；步骤S2：对获取的路面图像进行Harris角点特征提取，并对完成角点提取的路面图像进行直线段提取，获得对应的直线段图像；步骤S3：根据高速公路路面的直线段图像，计算不同视距下路面图像对应的像素精度；步骤S4：根据步骤S3中求出的像素精度，计算相应高速公路的路面图像中病害区域的图像病害长度，根据所述图像病害长度计算得到病害区域的物理长度，实现高速公路路面的病害长度测量。与现有技术相比，本发明具有高效测量路面病害长度、降低高速公路路面养护成本、提高路面病害维修时效性等优点。

Description

一种基于PTZ相机的高速公路路面病害长度测量方法

技术领域

本发明涉及路面病害检测领域，尤其是涉及一种基于PTZ相机的高速公路路面病害长度测量方法。

背景技术

我国国民经济的不断发展提升了交通运输在国民经济和社会中的显著地位，而作为交通运输主动脉的高速公路，更得到了快速的发展。随着高速公路修建量的增加，高速公路养护成为交通管理部门日渐关注的重点。路面病害检测可以很好地保障高速公路养护的实效性。目前，高速公路路面病害的严重程度主要由病害区域的长度评估。自动高效的路面病害检测技术在高速公路养护***中起到重要作用，能够辅助高速公路养护人员实施正确的养护措施。而当小尺寸的检测病害得到及时修护，高速公路才能持续保持最佳的服务性能，同时提高路面的使用寿命，减少高速公路路面维护成本。因此，如何自动高效地对高速公路路面病害进行长度测量，成为目前路面病害检测领域具有重要现实意义的亟待解决问题之一。

过去的30年间，已经提出不少高速公路路面病害检测方法，促进了路面病害长度测量方法的发展。现有路面病害长度测量方法主要可分为人工方法与自动方法。其中，人工测量方法基于有经验的专家，通过步行或检测车方式，采用先进的路面探测装置对路面病害进行评估并量化其尺寸；典型的方法包括罗盘测量方法、平面测量方法以及离线数据分析方法。这种基于人工测量方式的路面病害长度测量方法不仅耗时较多、精度低，更难于满足现有高速公路养护工作的高时效性需求。因此，近年来不少研究人员都提出了路面病害长度测量的自动化测量方法，例如基于高速公路巡检测车对采集到在多源路面病害数据融合，进行病害检测与长度测量，同时有研究提出了一种基于深度学习的高速公路路面病害检测技术，采用少量的标注样本实现了高精度的路面病害检测与尺寸测量。然而，目前已实现的高速公路路面病害自动检测技术均是基于移动式装置，如巡检测车、移动手机等，无法直接测量出病害与路面的距离信息，同时采集的图像缺乏完整性信息，进而无法满足路网级高速公路路面养护工作量需求。

发明内容

本发明的目的就是为了克服上述现有技术存在的检测工具种类单一、无法满足路网级高速公路路面养护工作量需求的缺陷而提供一种基于PTZ相机的高速公路路面病害长度测量方法。

本发明的目的可以通过以下技术方案来实现：

一种基于PTZ相机的高速公路路面病害长度测量方法，具体包括以下步骤：

步骤S1：获取不同视距下包含车道线的彩色的高速公路的路面图像；

步骤S2：对步骤S1中获取的路面图像进行Harris角点特征提取，并对完成角点提取的路面图像进行直线段提取，获得高速公路路面的直线段图像；

步骤S3：根据步骤S2中的高速公路路面的直线段图像，计算不同视距下高速公路的路面图像对应的像素精度；

步骤S4：根据不同视距下高速公路的路面图像对应的像素精度，计算相应高速公路的路面图像中病害区域的图像病害长度，根据所述图像病害长度计算得到病害区域的物理长度，实现高速公路路面的病害长度测量。

所述直线段的类型包括竖直线型、水平线型、左对角线型和右对角线型。

所述竖直线型和水平线型的直线段为路面图像的角点确定的直线段的侯选区域中的中位线，所述左对角线型和右对角线型的直线段为路面图像的角点确定的直线段的侯选区域中的对角线。

所述步骤S2具体包括：

步骤S201：选择所述角点确定的直线段的侯选区域内，对角线或中位线上一点P作为中心点；

步骤S202：以步骤S201中选择的点P为中心，在半径为r的邻域边缘上，按逆时针方向依次确定四个边缘像素点C₁、C₂、C₃和C₄，其中C₁、C₃的连线与C₂、C₄的连线互相垂直，对所述四个像素点进行二值转换，具体转换公式如下：

其中，C_i为边缘像素点，I(x_i,y_i)为边缘像素点对应的图像像素值，I(x_imod4+1,y_imod4+1)表示将边缘像素点循环右移时相邻位对应的图像像素值，T为设定的减少图像噪声干扰的边缘阈值；

重复执行上述计算步骤，直至完成路面图像内所有直线段侯选区域内的像素二值转换，得到路面图像对应的二值图像；

步骤S203：统计路面图像的二值图像中1值像素的数量，以单个1值像素为中心1值像素点建立大小为k×k的窗口，统计窗口内所有与中心1值像素点相连的1值像素点，得到单个1值像素点对应的1值像素集合，根据所述1值像素集合计算出单个1值像素点对应的特征值，特征值计算公式具体如下：

其中，λ为单个1值像素点对应的特征值，c_x为窗口内所有1值像素点横坐标的平均值，c_y为窗口内所有1值像素点纵坐标的平均值，c₁₁、c₂₂、c₁₂和c₁₂为过程变量；

同时生成小特征值图像，具体生成公式为：

其中，T[g_e(x,y)]为单个1值像素点对应的小特征值图像，g_e(x,y)为窗口内的1值像素点，F_j为所有单个1值像素点对应的窗口1值像素点集合；

步骤S204：路面图像的二值图像中所有1值像素点执行步骤S203，生成最终的小特征值图像，并根据阈值化公式对所述小特征值图像进行阈值化，得到高速公路路面直线段图像。

所述阈值化公式具体为：

其中，

为阈值化后的最终的小特征值图像，

为未进行阈值化的最终的小特征值图像上所有单个1值像素点对应的小特征值图像，t为设定阈值。

所述步骤S3具体为：

步骤S301：建立相机倾斜角、相机视距、图像上物体像素长度以及对应实际物体长度间的对应关系，具体对应关系如下所示：

其中，f为PTZ相机的焦距，α为PTZ相机中摄像机的倾斜角，l_i为路面图像中距离图像底部边界最近的直线段对应的像素长度，ol_i为l_i对应线段到图像中心像素的像素长度，s_i为与感光板平行平面的中心位置距离路面的物理距离，d_i为PTZ相机的视距；

步骤S302：根据步骤S204获取的高速公路路面直线段图像，提取距离图像底部边界最近的直线段并细化，得到直线段集，同时计算每条直线段距离图像中心像素的像素距离，结合步骤S301中的对应关系计算出路面图像的像素精度及其对应的PTZ相机的视距；

步骤S303：设定需要采集的路面图像的视距间隔，在不同视距下执行步骤S302，获得在不同视距下路面图像的像素精度。

所述路面图像的像素精度及其对应的PTZ相机的视距的计算公式具体如下：

其中，ap_i为路面图像的像素精度，w为车道线规范标准宽度，m为直线段的数量。

所述病害区域的物理长度的计算公式具体如下：

cs＝{ls·ap_i|d_i-1≤d_s＜d_i,i＝1,k，2k,…,l/2

其中，cs为病害区域的物理长度，ls为图像病害长度，k为视距间隔，l为路侧PTZ相机的安装间隔，d_s为PTZ相机的当前视距。

与现有技术相比，本发明具有以下有益效果：

1.本发明采用路侧监控***配备的PTZ相机，基于相机成像原理，采用图像处理方法对高速公路路面图像上病害进行实际长度测量，减少动态环境对图像处理算法干扰，且可快速应用于国内高速公路的路侧监控***，实现高效稳定的路面病害长度测量。

2.本发明借助高速公路路侧现有的高清摄像机设备即PTZ相机，无需额外的硬件成本投入，可节省高速公路路面养护成本。

3.本发明通过获取高速公路路面的彩色图像，计算不同相机视下图像的像素精度，通过计算不同视距下检测的病害图像区域的像素长度，测量病害的物理长度，实现了高速公路不同路段、不同视距下病害长度的统计，为高速公路路面养护人员提供科学参照，对超出养护需求范围的病害及时进行修补，及时获取高速公路最佳养护时期，保障了高速公路服务质量与使用性能。

附图说明

图1为本发明的流程示意图；

图2为本发明原理及应用场景的示意图；

图3为本发明角点确定的直线段类型的示意图；

图4为本发明直线段检测结果的示意图；

图5为本发明病害长度测量结果的示意图。

具体实施方式

下面结合附图和具体实施例对本发明进行详细说明。本实施例以本发明技术方案为前提进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。

如图1所示，一种基于PTZ相机的高速公路路面病害长度测量方法，具体包括以下步骤：

步骤S1：获取不同视距下包含车道线的彩色的高速公路的路面图像；

步骤S2：对步骤S1中获取的路面图像进行Harris角点特征提取，并对完成角点提取的路面图像进行直线段提取，获得高速公路路面的直线段图像；

步骤S3：根据步骤S2中的高速公路路面的直线段图像，计算不同视距下高速公路的路面图像对应的像素精度；

步骤S4：根据不同视距下高速公路的路面图像对应的像素精度，计算相应高速公路的路面图像中病害区域的图像病害长度，根据所述图像病害长度计算得到病害区域的物理长度，实现高速公路路面的病害长度测量。

如图3所示，直线段的类型包括竖直线型、水平线型、左对角线型和右对角线型，竖直线型和水平线型的直线段为路面图像的角点确定的直线段的侯选区域中的中位线，所述左对角线型和右对角线型的直线段为路面图像的角点确定的直线段的侯选区域中的对角线。

步骤S2具体包括：

步骤S201：根据角点的定义，确定图像角点间存在图像中的直线段信息，即每确定图像中的一个角点，该角点附近至少存在两条方向不同的线段或边缘，基于高速公路路面图像提取的角点序列，进行直线段侯选区域确定，并选择侯选区域内对角线或中位线上一点P作为中心点；

步骤S202：以步骤S201中选择的点P为中心，在半径为r的邻域边缘上，按逆时针方向依次确定四个边缘像素点C₁、C₂、C₃和C₄，其中C₁、C₃的连线与C₂、C₄的连线互相垂直，对四个像素点进行二值转换，具体转换公式如下：

其中，C_i为边缘像素点，I(x_i,y_i)为边缘像素点对应的图像像素值，I(x_imod4+1,y_imod4+1)表示将边缘像素点循环右移时相邻位对应的图像像素值，T为设定的减少图像噪声干扰的边缘阈值；

重复执行上述计算步骤，直至完成路面图像内所有直线段侯选区域内的像素二值转换，得到路面图像对应的二值图像；

步骤S203：统计路面图像的二值图像中1值像素的数量，对于1值像素pi(i＝1,2,…,J)，以单个1值像素为中心1值像素点建立大小为k×k的窗口，统计窗口内所有与中心1值像素点相连的1值像素点，得到单个1值像素点对应的1值像素集合F_i＝{p_i(x_i,y_i)|i＝1,2,…,n}，根据1值像素集合计算出单个1值像素点对应的特征值，特征值计算公式具体如下：

其中，λ为单个1值像素点对应的特征值，c_x为窗口内所有1值像素点横坐标的平均值，c_y为窗口内所有1值像素点纵坐标的平均值，c₁₁、c₂₂、c₁₂和c₁₂为过程变量；

同时生成小特征值图像，具体生成公式为：

其中，T[g_e(x,y)]为单个1值像素点对应的小特征值图像，g_e(x,y)为窗口内的1值像素点，F_j为所有单个1值像素点对应的窗口1值像素点集合；

步骤S204：路面图像的二值图像中所有1值像素点执行步骤S203，生成最终的小特征值图像，并根据阈值化公式对小特征值图像进行阈值化，得到高速公路路面直线段图像，如图4所示为采用本发明提出的直线段检测方法对京石高速公路路面图像进行直线段检测的结果，图4(a)对应的相机视距为157m，图4(b)对应的相机视距为227m。

阈值化公式具体为：

其中，

为阈值化后的最终的小特征值图像，

为未进行阈值化的最终的小特征值图像上所有单个1值像素点对应的小特征值图像，t为设定阈值。

步骤S3具体为：

步骤S301：建立相机倾斜角、相机视距、图像上物体像素长度以及对应实际物体长度间的对应关系，具体对应关系如下所示：

其中，f为PTZ相机的焦距，α为PTZ相机中摄像机的倾斜角，即成像感光板(CCD/CMOS)与路面垂线的夹角，l_i为路面图像中距离图像底部边界最近的直线段对应的像素长度，ol_i为l_i对应线段到图像中心像素的像素长度，s_i为与感光板平行平面的中心位置距离路面的物理距离，d_i为PTZ相机的视距；

如图2所示，与感光板平行平面为虚拟平面，真实情况下难以直接计算得到，因此无法直接获取该虚拟平面与路面的切线位置，根据路面在图像上投影由图像底部至顶部呈非线性拉伸，因此选择高速公路路面图像上距离图像底部最近的直线段，即图2中获取图像区域内竖直虚线段对应的像素长度l_i近似作为与感光板平行平面与路面切线在图像上投影时与车道线在水平方向上的交集线段对应的像素长度；

步骤S302：根据步骤S204获取的高速公路路面直线段图像，提取距离图像底部边界最近的直线段，如图2所示的直线段l₁，l₂，l₃并细化，得到直线段集l_i(i＝1,2,…m)，同时计算每条直线段距离图像中心像素的像素距离ol_i(i＝1,2,…m)，结合步骤S301中的对应关系计算出路面图像的像素精度及其对应的PTZ相机的视距，路面图像的像素精度及其对应的PTZ相机的视距的计算公式具体如下：

其中，ap_i为路面图像的像素精度，w为车道线规范标准宽度，m为直线段的数量；

步骤S303：以k作为相机视距间隔，依次采集不同相机视距d_i(i＝k,i＝2k,…,l/2)对应的高速公路路面图像，在不同视距下执行步骤S302，统计d_i(i＝k,i＝2k,…,l/2)对应的路面图像的像素精度，得到不同相机视距下的像素精度AP＝{ap_i|i＝1,k,2k,…,l/2}，如表1所示为京石高速公路某路段采集到的路面图像计算得到的路侧PTZ相机视距对应路面图像像素精度统计结果，表1具体内容如下所示：

表1京石高速公路某路段相机视距与路面图像像素精度对照表

步骤S4具体为对给定视距d_s下采集的包含病害的高速公路路面图像进行病害检测，得到病害区域，并计算病害区域对应的图像病害长度，根据图像病害长度计算得到病害区域的物理长度，病害区域的物理长度的计算公式具体如下：

cs＝{ls·ap_i|d_i-1≤d_s＜d_i,i＝1,k,2k,…,l/2

其中，cs为病害区域的物理长度，ls为图像病害长度，k为视距间隔，l为路侧PTZ相机的安装间隔，d_s为PTZ相机的当前视距；

如图5所示为15米与40米的相机视距下采集的京石高速公路路面图像，其中图5(a)中病害区域的物理长度为148.59mm，图5(b)中病害区域的物理长度为476.95mm。

此外，需要说明的是，本说明书中所描述的具体实施例，所取名称可以不同，本说明书中所描述的以上内容仅仅是对本发明结构所做的举例说明。凡依据本发明构思的构造、特征及原理所做的等小变化或者简单变化，均包括于本发明的保护范围内。本发明所属技术领域的技术人员可以对所描述的具体实例做各种各样的修改或补充或采用类似的方法，只要不偏离本发明的结构或者超越本权利要求书所定义的范围，均应属于本发明的保护范围。

Claims (5)

1.一种基于PTZ相机的高速公路路面病害长度测量方法，其特征在于，具体包括以下步骤：

步骤S1：获取不同视距下包含车道线的彩色的高速公路的路面图像；

步骤S2：对步骤S1中获取的路面图像进行Harris角点特征提取，并对完成角点提取的路面图像进行直线段提取，获得高速公路路面的直线段图像；

步骤S3：根据步骤S2中的高速公路路面的直线段图像，计算不同视距下高速公路的路面图像对应的像素精度；

步骤S4：根据不同视距下高速公路的路面图像对应的像素精度，计算相应高速公路的路面图像中病害区域的图像病害长度，根据所述图像病害长度计算得到病害区域的物理长度，实现高速公路路面的病害长度测量；

所述步骤S3具体为：

步骤S301：建立相机倾斜角、相机视距、图像上物体像素长度以及对应实际物体长度间的对应关系，具体对应关系如下所示：

其中，f为PTZ相机的焦距，α为PTZ相机中摄像机的倾斜角，l_i为路面图像中距离图像底部边界最近的直线段对应的像素长度，ol_i为l_i对应线段到图像中心像素的像素长度，s_i为与感光板平行平面的中心位置距离路面的物理距离，d_i为PTZ相机的视距，w为车道线规范标准宽度；

步骤S302：根据步骤S204获取的高速公路路面直线段图像，提取距离图像底部边界最近的直线段并细化，得到直线段集，同时计算每条直线段距离图像中心像素的像素距离，结合步骤S301中的对应关系计算出路面图像的像素精度及其对应的PTZ相机的视距；

步骤S303：设定需要采集的路面图像的视距间隔，在不同视距下执行步骤S302，获得在不同视距下路面图像的像素精度；

所述路面图像的像素精度及其对应的PTZ相机的视距的计算公式具体如下：

其中，ap_i为路面图像的像素精度，w为车道线规范标准宽度，m为直线段的数量；

所述步骤S4具体为对给定视距d_s下采集的包含病害的高速公路路面图像进行病害检测，得到病害区域，并计算病害区域对应的图像病害长度，根据图像病害长度计算得到病害区域的物理长度，病害区域的物理长度的计算公式具体如下：

cs＝{ls·ap_i|d_i-1≤d_s＜d_i,i＝1,k,2k,…,l/2}

其中，cs为病害区域的物理长度，ls为图像病害长度，k为视距间隔，l为路侧PTZ相机的安装间隔，d_s为PTZ相机的当前视距。

2.根据权利要求1所述的一种基于PTZ相机的高速公路路面病害长度测量方法，其特征在于，所述直线段的类型包括竖直线型、水平线型、左对角线型和右对角线型。

3.根据权利要求2所述的一种基于PTZ相机的高速公路路面病害长度测量方法，其特征在于，所述竖直线型和水平线型的直线段为路面图像的角点确定的直线段的侯选区域中的中位线，所述左对角线型和右对角线型的直线段为路面图像的角点确定的直线段的侯选区域中的对角线。

4.根据权利要求3所述的一种基于PTZ相机的高速公路路面病害长度测量方法，其特征在于，所述步骤S2具体包括：

步骤S201：选择角点确定的直线段的侯选区域内，对角线或中位线上一点P作为中心点；

步骤S202：以步骤S201中选择的点P为中心，在半径为r的邻域边缘上，按逆时针方向依次确定四个边缘像素点C₁、C₂、C₃和C₄，其中C₁、C₃的连线与C₂、C₄的连线互相垂直，对所述四个像素点进行二值转换，具体转换公式如下：

其中，C_i为边缘像素点，I(x_i,y_i)为边缘像素点对应的图像像素值，I(x_imod4+1,y_imod4+1)表示将边缘像素点循环右移时相邻位对应的图像像素值，T为设定的减少图像噪声干扰的边缘阈值；

重复执行上述计算步骤，直至完成路面图像内所有直线段侯选区域内的像素二值转换，得到路面图像对应的二值图像；

步骤S203：统计路面图像的二值图像中1值像素的数量，以单个1值像素为中心1值像素点建立大小为k×k的窗口，统计窗口内所有与中心1值像素点相连的1值像素点，得到单个1值像素点对应的1值像素集合，根据所述1值像素集合计算出单个1值像素点对应的特征值，特征值计算公式具体如下：

其中，λ为单个1值像素点对应的特征值，c_x为窗口内所有1值像素点横坐标的平均值，c_y为窗口内所有1值像素点纵坐标的平均值，c₁₁、c₂₂、c₁₂和c₂₁为过程变量；

同时生成小特征值图像，具体生成公式为：

其中，T[g_e(x,y)]为单个1值像素点对应的小特征值图像，g_e(x,y)为窗口内的1值像素点，F_j为所有单个1值像素点对应的窗口1值像素点集合；

步骤S204：路面图像的二值图像中所有1值像素点执行步骤S203，生成最终的小特征值图像，并根据阈值化公式对所述小特征值图像进行阈值化，得到高速公路路面直线段图像。

5.根据权利要求4所述的一种基于PTZ相机的高速公路路面病害长度测量方法，其特征在于，所述阈值化公式具体为：

其中，

为阈值化后的最终的小特征值图像，

为未进行阈值化的最终的小特征值图像上所有单个1值像素点对应的小特征值图像，t为设定阈值。

Images