CN113516127A - 基于人工智能的智慧城市公路养护方法及*** - Google Patents

基于人工智能的智慧城市公路养护方法及*** Download PDF

Info

Publication number
CN113516127A
CN113516127A CN202111076201.6A CN202111076201A CN113516127A CN 113516127 A CN113516127 A CN 113516127A CN 202111076201 A CN202111076201 A CN 202111076201A CN 113516127 A CN113516127 A CN 113516127A
Authority
CN
China
Prior art keywords
bumping
vehicle
area
degree
projection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111076201.6A
Other languages
English (en)
Other versions
CN113516127B (zh
Inventor
邹小梅
卓健鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nantong Jixing Fastener Technology Co ltd
Original Assignee
Nantong Jixing Fastener Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nantong Jixing Fastener Technology Co ltd filed Critical Nantong Jixing Fastener Technology Co ltd
Priority to CN202111076201.6A priority Critical patent/CN113516127B/zh
Publication of CN113516127A publication Critical patent/CN113516127A/zh
Application granted granted Critical
Publication of CN113516127B publication Critical patent/CN113516127B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/26—Government or public services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Tourism & Hospitality (AREA)
  • Software Systems (AREA)
  • Development Economics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Educational Administration (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Economics (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Geometry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及人工智能技术领域，具体涉及基于人工智能的智慧城市公路养护方法及***。该方法包括：获取公路灰度图像、车辆灰度图像以及坑槽区域灰度图像；通过有效投影点组成绕行轨迹并获取每辆车对于目标坑槽的绕行程度；获取每辆车的绕行轨迹在目标坑槽中的颠簸轨迹，计算颠簸轨迹中各个有效关键点的颠簸夹角，获取第一颠簸指标；以颠簸轨迹与平整路面形成的颠簸区域的面积作为第二颠簸指标，根据第一颠簸指标和第二颠簸指标获取每辆车在目标坑槽的颠簸程度；根据目标坑槽区域的面积、绕行程度以及颠簸程度获取目标坑槽的缺陷程度；按照缺陷程度的大小对公路养护紧急程度进行排序。本发明实施例能够更加合理地规划公路养护过程。

Description

基于人工智能的智慧城市公路养护方法及***
技术领域
本发明涉及人工智能技术领域，具体涉及基于人工智能的智慧城市公路养护方法及***。
背景技术
在城市公路养护中，公路坑槽是最为常见的路面病害之一，其形成原因是路面施工质量较差或违规车辆过度碾压。公路坑槽不仅影响城市美观，同时影响了车辆行驶，甚至增加了交通事故的发生概率。
发明人在实践中，发现上述现有技术存在以下缺陷：
针对于公路坑槽缺陷的识别和养护，主要依靠市民的热心反映或是相关部门的公路巡视，不能做到对坑槽路面短期内响应修补，同时对于坑槽公路养护紧急程度的识别，没有合理的方法。
发明内容
为了解决上述技术问题，本发明的目的在于提供一种基于人工智能的智慧城市公路养护方法及***，所采用的技术方案具体如下：
第一方面，本发明一个实施例提供了一种基于人工智能的智慧城市公路养护方法，该方法包括以下步骤：
采集城市公路图像，对所述城市公路图像进行分割处理，获取公路灰度图像、车辆灰度图像以及坑槽区域灰度图像；
检测所述公路灰度图像的车道线；以所述车辆灰度图像中车辆轮胎与地面的交点作为关键点，以所述车道线作为投影线，将所述关键点投影到所述投影线上获取投影点，通过所述预设感兴趣区域内的有效投影点组成绕行轨迹，根据所述有效投影点之间的距离获取每辆车对于目标坑槽的绕行程度；
获取每辆车的所述绕行轨迹在所述目标坑槽中的颠簸轨迹，计算所述颠簸轨迹中，各个所述有效关键点和轨迹起始点的连线与平整路面形成的颠簸夹角，根据相邻有效关键点对应的所述颠簸夹角的差值获取第一颠簸指标；以所述颠簸轨迹与所述平整路面形成的颠簸区域的面积作为第二颠簸指标，根据所述第一颠簸指标和所述第二颠簸指标获取每辆车在所述目标坑槽的颠簸程度；
计算所述坑槽区域灰度图像中的所述目标坑槽区域的面积；根据所述目标坑槽区域的面积、每辆车对于目标坑槽的绕行程度以及每辆车在所述目标坑槽的颠簸程度获取所述目标坑槽的缺陷程度；
按照所有所述目标坑槽的缺陷程度的大小对公路养护紧急程度进行排序。
优选的，所述对所述城市公路图像进行分割处理的方法为：
对所述城市公路图像进行灰度化处理获取灰度图像，对所述灰度图像进行语义分割，得到公路灰度图像、车辆灰度图像以及坑槽区域灰度图像。
优选的，所述绕行程度的获取步骤包括：
以所述目标坑槽的预设感兴趣区域内的所述投影点作为有效投影点；
获取相邻的所述有效投影点之间的投影距离，根据所述投影距离获取投影距离突变序列，计算所述投影距离突变序列中的相邻投影距离的距离差值，根据所有所述距离差值和所述投影距离突变序列中的有效投影点的数量获取所述绕行程度。
优选的，所述预设感兴趣区域的获取方法为：
获取所述目标坑槽的最小外接矩形，根据所述最小外接矩形的宽和高的预设倍数获取所述预设感兴趣区域。
优选的，所述第一颠簸指标的获取方法为：
计算所有相邻的所述颠簸夹角的差值的方差，以所述方差作为所述第一颠簸指标。
优选的，所述目标坑槽区域的面积的计算方法为：
统计所述坑槽区域灰度图像中所述目标坑槽区域的像素点数量，以所述像素点数量作为所述目标坑槽区域的面积。
优选的，所述目标坑槽的缺陷程度的获取步骤包括：
获取预设时间段内所述城市公路图像中的所有车辆，计算每辆车对于所述目标坑槽的所述绕行程度和所述颠簸程度，得到每辆车反映的所述目标坑槽的初步缺陷程度；
对所有所述初步缺陷程度进行均值聚类，获得所述缺陷程度。
第二方面，本发明另一个实施例提供了一种基于人工智能的智慧城市公路养护***，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述基于人工智能的智慧城市公路养护方法的步骤。
本发明实施例至少具有如下有益效果：
本发明实施例根据坑槽区域的面积、车辆在坑槽区域的绕行程度和车辆在坑槽区域的颠簸程度三个指标共同确定坑槽的缺陷程度，进而确定养护紧急程度，可以更加准确评估公路坑槽的程度，更加合理地规划公路养护过程，避免了由于发现和处理不及时造成的交通事故。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案和优点，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。
图1为本发明一个实施例所提供的一种基于人工智能的智慧城市公路养护方法的步骤流程图；
图2为CIM模型中的绕行轨迹投影俯视图的示意图；
图3为CIM模型中颠簸轨迹的侧视图的示意图；
图4为本发明一个实施例所提供的一种基于人工智能的智慧城市公路养护***的***结构图。
具体实施方式
为了更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效，以下结合附图及较佳实施例，对依据本发明提出的一种基于人工智能的智慧城市公路养护方法及***，其具体实施方式、结构、特征及其功效，详细说明如下。在下述说明中，不同的“一个实施例”或“另一个实施例”指的不一定是同一实施例。此外，一或多个实施例中的特定特征、结构、或特点可由任何合适形式组合。
除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。
下面结合附图具体的说明本发明所提供的一种基于人工智能的智慧城市公路养护方法及***的具体方案。
请参阅图1，其示出了本发明一个实施例提供的基于人工智能的智慧城市公路养护方法的步骤流程图，该方法包括以下步骤：
步骤S001，采集城市公路图像，对城市公路图像进行分割处理，获取公路灰度图像、车辆灰度图像以及坑槽区域灰度图像，坑槽区域灰度图像包括多个目标坑槽。
目前，智慧城市中公路两侧的路灯上已装备RGB相机。通过路灯相机采集城市公路图像，在图像采集过程中相机位置保持固定。
由于公路图像是基于各个摄像头对其监控区域采集的，因此需要对各个摄像头所采集的同一时刻的各子区域公路图像进行投影变换，使图像位于同一个全景平面；然后对投影变换后的图像进行图像拼接操作；最终将拼接后的图像投影到CIM模型中，监管人员可在web上进行检索、查询和分析。
需要说明的是，由于每幅图像是相机在不同角度下拍摄得到的，所以他们并不在同一投影平面上，如果对重叠的图像直接进行无缝拼接，会破坏实际景物的视觉一致性，所以需要先对图像进行投影变换，再进行拼接。
投影的方法有很多，作为一个示例，在本发明实施例中采用平面投影的方法，在其他实施例中还可以采用柱面投影、球面投影、立方体投影等能够达到相同效果的投影方法。
进一步的，对城市公路图像进行灰度化处理获取灰度图像，对灰度图像进行语义分割，得到公路灰度图像、车辆灰度图像以及坑槽区域灰度图像，该坑槽区域灰度图像包括多个目标坑槽。
将拍摄到的城市公路RGB图像进行灰度化处理，得到城市公路灰度图像
Figure DEST_PATH_IMAGE002
，本发明实施例使用加权平均法进行灰度化操作。将城市公路灰度图像
Figure 300778DEST_PATH_IMAGE002
送入训练好的语义分割网络中，得到不同区域的像素级分类，语义分割网络为端到端的Encoder-Decoder结构，通过编码器进行卷积操作提取特征，编码器输出结果为特征图，特征图通过解码器操作，得到语义分割图。该网络的训练内容如下：
选择公路图像中包含公路、车辆、目标坑槽和其他类的图像作为训练数据集，其中随机选择数据集的80%作为训练集，剩余的20%作为验证集；对数据集进行标注，标注公路区域为1，车辆区域为2，目标坑槽区域为3，其他类为0；损失函数使用交叉熵损失函数进行训练。
最终得到各个区域的像素级分类，将公路区域、车辆区域以及目标坑槽区域的像素值置为1，其余区域像素置为0，得到各个区域的二值分割图像，将二值分割图像作为遮罩Mask与灰度图像
Figure 483497DEST_PATH_IMAGE002
逐像素相乘，得到只包含各个区域的灰度图像，其中只包含公路区域的公路灰度图像为
Figure DEST_PATH_IMAGE004
，只包含车辆区域的车辆灰度图像为
Figure DEST_PATH_IMAGE006
，只包含目标坑槽区域的坑槽区域灰度图像为
Figure DEST_PATH_IMAGE008
。
步骤S002，检测公路灰度图像的车道线；以车辆灰度图像中车辆轮胎与地面的交点作为关键点，以车道线作为投影线，将关键点投影到投影线上获取投影点，通过预设感兴趣区域内的有效投影点组成绕行轨迹，根据有效投影点之间的距离获取每辆车对于目标坑槽的绕行程度。
具体的步骤包括：
1）获取在目标坑槽的预设感兴趣区域内的投影点作为有效投影点。
具体的，首先根据车辆灰度图像
Figure 184606DEST_PATH_IMAGE006
，对车辆进行关键点检测。
车辆关键点提取网络采用基于Encoder-Decoder的CNN网络。车辆关键点提取网络训练过程如下：
以路灯相机采集的多帧车辆图像作为训练数据集，数据集所包含图像经过归一化方法进行预处理，便于模型更好的收敛，标签通过相同的预处理；标签为车辆的关键点，以车辆的轮胎与路面的接触点作为关键点，共有四类。标注过程为：每类关键点应对应一个单通道，在该通道中，标记关键点像素位置，而后采用高斯模糊，使标记点处形成关键点热斑。本发明实施例使用了四类关键点，故标签图像共包含四个通道。对于车辆被遮挡时的关键点同样标记出来；损失函数采用均方差损失函数。
对于车辆行驶轨迹的获取，以时序上0.1s一帧的方式进行车辆关键点Heatmap的叠加，叠加操作基于遗忘算法，其具体方法为：
Figure DEST_PATH_IMAGE010
其中，
Figure DEST_PATH_IMAGE012
表示当前帧关键点的热力值，
Figure DEST_PATH_IMAGE014
表示当前帧之前所有帧的叠加热力值，
Figure DEST_PATH_IMAGE016
表示包含当前帧的叠加热力值，
Figure DEST_PATH_IMAGE018
表示遗忘系数。
作为一个示例，在本发明实施例中
Figure DEST_PATH_IMAGE020
的取值为0.95。
需要说明的是，对四类关键点进行叠加后的热图中包含车辆四个轮胎的运动轨迹。
进一步的，获取目标坑槽的最小外接矩形，根据最小外接矩形的宽和高的预设倍数获取预设感兴趣区域。
对坑槽区域灰度图像的二值图像进行连通域分析，获取最小外接矩形，获得最小外接矩形的宽w和高h，同时获得最小外接矩形的中心点
Figure DEST_PATH_IMAGE022
，以该点作为预设感兴趣区域的中心点，5w和5h作为宽和高形成新的矩形，作为坑槽的取预设感兴趣区域。
对获得的四个轮胎的车辆运动轨迹进行截取，得到预设感兴趣区域内的车辆行驶轨迹
Figure DEST_PATH_IMAGE024
、
Figure DEST_PATH_IMAGE026
、
Figure DEST_PATH_IMAGE028
、
Figure DEST_PATH_IMAGE030
作为绕行轨迹。
对公路灰度图像
Figure 812771DEST_PATH_IMAGE004
进行车道线检测，获得公路灰度图像中的车道线。
作为一个示例，本发明实施例通过霍夫检测获取车道线。
以任意一条车道线为投影线，将绕行轨迹
Figure 158302DEST_PATH_IMAGE024
、
Figure 511923DEST_PATH_IMAGE026
、
Figure 310114DEST_PATH_IMAGE028
、
Figure 86178DEST_PATH_IMAGE030
投影到投影线上，在CIM模型中获得投影俯视图，如图2所示，本发明实施例以绕行轨迹
Figure 286215DEST_PATH_IMAGE024
为例进行分析，其他轨迹以相同的方法获取有效投影点。
需要说明的是，司机在发现坑槽区域后，会调整车辆方向与速度，坑槽区域越大，车辆方向变化越剧烈，速度越小，相邻有效关键点之间的距离越小，在投影方向上反映为越短的投影距离。
以车道线为
Figure 545159DEST_PATH_IMAGE012
轴，预设感兴趣区域中与车道线垂直的边界为
Figure DEST_PATH_IMAGE032
轴，建立坐标系。获得绕行轨迹
Figure 909275DEST_PATH_IMAGE024
上所有的关键点201，坐标为
Figure DEST_PATH_IMAGE034
，
Figure DEST_PATH_IMAGE036
为绕行轨迹
Figure 31907DEST_PATH_IMAGE024
中的关键点数量，在车道线202上进行投影，获得有效投影点203，记为
Figure DEST_PATH_IMAGE038
。
2）获取相邻的有效投影点之间的投影距离，根据投影距离获取投影距离突变序列，计算投影距离突变序列中的相邻投影距离的距离差值，根据所有距离差值和投影距离突变序列中的有效投影点的数量获取绕行程度。
具体的步骤包括：
1）根据有效投影点的坐标计算相邻投影点之间的投影距离：
Figure DEST_PATH_IMAGE040
其中，
Figure DEST_PATH_IMAGE042
表示第
Figure DEST_PATH_IMAGE044
个有效投影点
Figure DEST_PATH_IMAGE046
和第
Figure DEST_PATH_IMAGE048
个有效投影点
Figure DEST_PATH_IMAGE050
之间的距离，
Figure DEST_PATH_IMAGE052
表示第
Figure 679926DEST_PATH_IMAGE044
个有效投影点
Figure 640929DEST_PATH_IMAGE046
的横坐标，
Figure DEST_PATH_IMAGE054
表示第
Figure 725297DEST_PATH_IMAGE048
个有效投影点
Figure 531579DEST_PATH_IMAGE050
的横坐标。
2）按照轨迹
Figure 191362DEST_PATH_IMAGE024
的方向依次计算相邻有效投影点之间的投影距离，获得投影距离值序列
Figure DEST_PATH_IMAGE056
。将该序列送入到TCN网络中，获得投影距离突变序列
Figure DEST_PATH_IMAGE058
，该序列对应车辆行驶进入坑槽区域的部分，对应的关键点轨迹即为坑槽区域对车辆行驶的影响轨迹。
3）根据投影距离突变序列
Figure DEST_PATH_IMAGE060
计算所有相邻投影距离的差值和：
Figure DEST_PATH_IMAGE062
其中，
Figure DEST_PATH_IMAGE064
为投影突变序列中相邻投影距离的差值之和，通过该值可以反映车辆的绕行程度，
Figure 493905DEST_PATH_IMAGE064
越大，车辆绕行程度越大；
Figure DEST_PATH_IMAGE066
表示突变序列中的第
Figure DEST_PATH_IMAGE068
个投影距离，
Figure DEST_PATH_IMAGE070
表示突变序列中的第
Figure DEST_PATH_IMAGE072
个投影距离，
Figure DEST_PATH_IMAGE074
为突变序列的长度，即该序列中有效关键点的数量。
4）根据四条车轮轨迹的投影距离突变序列的长度
Figure DEST_PATH_IMAGE076
和计算出的四条车轮轨迹的相邻投影距离的差值之和
Figure DEST_PATH_IMAGE078
，获得特征向量
Figure DEST_PATH_IMAGE080
，将其送入分类器中进行分类，分类器输出的值即为车辆绕行程度
Figure DEST_PATH_IMAGE082
。
步骤S003，获取由每辆车的绕行轨迹在目标坑槽中的颠簸轨迹，计算颠簸轨迹中，各个关键点和轨迹起始点的连线与平整路面形成的颠簸夹角，根据相邻关键点对应的颠簸夹角的差值获取第一颠簸指标；以颠簸轨迹与平整路面形成的颠簸区域的面积作为第二颠簸指标，根据第一颠簸指标和第二颠簸指标获取每辆车在目标坑槽的颠簸程度。
具体的步骤包括：
1）根据四个车轮的投影距离突变子序列
Figure DEST_PATH_IMAGE084
，获得对应的车辆绕行轨迹
Figure DEST_PATH_IMAGE086
、
Figure DEST_PATH_IMAGE088
、
Figure DEST_PATH_IMAGE090
、
Figure DEST_PATH_IMAGE092
，同样的，本发明实施例以绕行轨迹
Figure 534411DEST_PATH_IMAGE086
为例进行分析。
2）根据坑槽区域灰度图像
Figure 144384DEST_PATH_IMAGE008
，确定车辆绕行轨迹
Figure 219525DEST_PATH_IMAGE086
在坑槽区域的颠簸轨迹
Figure DEST_PATH_IMAGE094
。
3）在CIM模型中获得颠簸轨迹的侧视图，如图3所示。以颠簸轨迹起始关键点O为原点，平整路面所在的直线为
Figure DEST_PATH_IMAGE096
轴，平整路面的垂线为
Figure DEST_PATH_IMAGE098
轴，建立坐标系。记轨迹
Figure 397696DEST_PATH_IMAGE094
上第
Figure DEST_PATH_IMAGE100
个关键点的坐标为
Figure DEST_PATH_IMAGE102
，根据坐标计算各个关键点与原点的连线和
Figure 925499DEST_PATH_IMAGE096
轴之间的夹角
Figure DEST_PATH_IMAGE104
：
Figure DEST_PATH_IMAGE106
其中，
Figure DEST_PATH_IMAGE108
表示颠簸轨迹中第
Figure 745687DEST_PATH_IMAGE100
个关键点与原点的连线和
Figure 629329DEST_PATH_IMAGE096
轴之间的颠簸夹角。
4）计算所有相邻的颠簸夹角的差值的方差，以方差作为第一颠簸指标。
计算颠簸轨迹中相邻关键点之间的夹角差值，计算公式为：
Figure DEST_PATH_IMAGE110
其中，
Figure DEST_PATH_IMAGE112
为颠簸轨迹中第
Figure 239389DEST_PATH_IMAGE100
个关键点的颠簸夹角
Figure 5219DEST_PATH_IMAGE108
与第
Figure DEST_PATH_IMAGE114
个关键点的颠簸夹角
Figure DEST_PATH_IMAGE116
之间的夹角差值。
通过计算所有相邻颠簸夹角之间的夹角差值，获得颠簸轨迹的夹角差值序列，计算夹角差值序列中所有值的方差
Figure DEST_PATH_IMAGE118
，方差值
Figure 799738DEST_PATH_IMAGE118
越大，表示颠簸轨迹的波动程度越大，作为第一颠簸指标。
5）以颠簸轨迹与平整路面形成的颠簸区域的面积作为第二颠簸指标。
根据颠簸轨迹
Figure 537887DEST_PATH_IMAGE094
与
Figure 933227DEST_PATH_IMAGE096
轴位置，围成闭合区域，记为颠簸区域，计算颠簸区域的面积
Figure DEST_PATH_IMAGE120
，作为颠簸程度的第二指标。
具体的，统计侧视图中颠簸区域的像素点数量，以像素点数量作为颠簸区域的面积
Figure 717512DEST_PATH_IMAGE120
。
6）根据四条车轮轨迹获得车辆颠簸程度的特征向量
Figure DEST_PATH_IMAGE122
，将其送入分类器中进行分类，分类器输出的值即为车辆颠簸程度
Figure DEST_PATH_IMAGE124
。
步骤S004，计算坑槽区域灰度图像中的目标坑槽区域的面积；根据目标坑槽区域的面积、每辆车对于目标坑槽的绕行程度以及每辆车在目标坑槽的颠簸程度获取目标坑槽的缺陷程度。
具体的步骤包括：
1）统计坑槽区域灰度图像中目标坑槽区域的像素点数量，以像素点数量作为目标坑槽区域的面积
Figure DEST_PATH_IMAGE126
。
2）获取预设时间段内城市公路图像中的所有车辆，计算每辆车对于目标坑槽的绕行程度和颠簸程度，得到每辆车反映的目标坑槽的初步缺陷程度。
为了避免不同特征指标之间尺度范围的影响，对所检测的指标
Figure DEST_PATH_IMAGE128
进行归一化，获取归一化之后的特征指标：
Figure DEST_PATH_IMAGE130
、
Figure DEST_PATH_IMAGE132
、
Figure DEST_PATH_IMAGE134
。计算目标坑槽的初步缺陷程度
Figure DEST_PATH_IMAGE136
：
Figure DEST_PATH_IMAGE138
其中，
Figure DEST_PATH_IMAGE140
分别为特征指标的权重值。
作为一个示例，本发明实施例中
Figure DEST_PATH_IMAGE142
、
Figure DEST_PATH_IMAGE144
。
当
Figure 751940DEST_PATH_IMAGE136
越大时，目标坑槽区域的初步缺陷程度越大。
3）对所有初步缺陷程度进行均值聚类，获得所述缺陷程度。
分析单个车辆的运动状态获得初步缺陷程度，对于每一辆车辆，由于其对坑槽区域的反映程度不同，只考虑单辆车的轨迹可能会造成很大误差，因此本发明实施例统计一段时间内多个车辆的运动状态从而更准确地分析坑槽缺陷程度。具体过程为：
a. 对于存在坑槽缺陷的公路，根据城市交通大数据库获得该公路中车辆通行间隔较为分散的时段
Figure DEST_PATH_IMAGE146
，统计该时段内的车辆数量
Figure 157644DEST_PATH_IMAGE036
。
b. 对于每一辆车，通过上述方式都能够获得对应的初步缺陷程度，得到初步缺陷程度序列
Figure DEST_PATH_IMAGE148
。
c. 根据初步缺陷程度序列，对序列中的值进行K均值聚类，
最终获得K簇初步缺陷程度，计算每一簇内的初步缺陷程度均值
Figure DEST_PATH_IMAGE150
和簇内样本点的个数
Figure DEST_PATH_IMAGE152
，其中簇内坑槽缺陷程度样本点个数最大
Figure DEST_PATH_IMAGE154
的一簇
Figure DEST_PATH_IMAGE156
即为最终的缺陷程度簇，对应的均值
Figure DEST_PATH_IMAGE158
即为目标坑槽的缺陷程度。
作为一个示例，本发明实施例中K取5。
步骤S005，按照所有目标坑槽的缺陷程度的大小对公路养护紧急程度进行排序。
利用城市CIM模型，根据上述步骤获得不同公路的坑槽缺陷程度，据此对养护紧急程度进行分级，优选的，本发明实施例采用SVM分类器进行，输入为不同公路的坑槽缺陷程度，输出为养护紧急程度从大到小的排序，工作人员可以根据此顺序对公路进行不同程度的养护。
综上所述，本发明实施例采集城市公路图像，对城市公路图像进行分割处理，获取公路灰度图像、车辆灰度图像以及坑槽区域灰度图像；检测公路灰度图像的车道线；以车辆灰度图像中车辆轮胎与地面的交点作为关键点，以车道线作为投影线，将关键点投影到投影线上获取投影点，通过预设感兴趣区域内的有效投影点组成绕行轨迹，根据有效投影点之间的距离获取每辆车对于目标坑槽的绕行程度；获取每辆车的绕行轨迹在目标坑槽中的颠簸轨迹，计算颠簸轨迹中，各个有效关键点和轨迹起始点的连线与平整路面形成的颠簸夹角，根据相邻有效关键点对应的颠簸夹角的差值获取第一颠簸指标；以颠簸轨迹与平整路面形成的颠簸区域的面积作为第二颠簸指标，根据第一颠簸指标和第二颠簸指标获取每辆车在目标坑槽的颠簸程度；计算坑槽区域灰度图像中的目标坑槽区域的面积；根据目标坑槽区域的面积、每辆车对于目标坑槽的绕行程度以及每辆车在目标坑槽的颠簸程度获取目标坑槽的缺陷程度；按照所有目标坑槽的缺陷程度的大小对公路养护紧急程度进行排序。本发明实施例能够通过人工智能进行公路坑槽缺陷程度判断，进而确定公路养护的紧急程度，可以更加合理地规划公路养护过程。
基于与上述方法相同的发明构思，本发明另一个实施例提供了一种基于人工智能的智慧城市公路养护***。
请参阅图4，其示出了本发明实施例提供的一种基于人工智能的智慧城市公路养护***的***结构图。该实施例的***包括：处理器、存储器以及存储在所述存储器中并可在处理器上运行的计算机程序。处理器执行所述计算机程序时实现上述基于人工智能的智慧城市公路养护方法实施例中的步骤，例如图1所示的步骤。
示例性的，计算机程序可以被分割成一个或多个模块，其中一个或者多个模块被存储在所述存储器中，并由所述处理器执行，以完成本发明。其中一个或多个模块可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序在所述基于人工智能的智慧城市公路养护***中的执行过程。
所称处理器可以是中央处理单元(Central Processing Unit，CPU），还可以是其他通用处理器、数字信号处理器( Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列 (FieldProgrammable Gate Array，FPGA）或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，该处理器是该实施例中***的控制中心，利用各种接口和线路连接整个***的各个部分。
需要说明的是：上述本发明实施例先后顺序仅仅为了描述，不代表实施例的优劣。且上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (7)

1.基于人工智能的智慧城市公路养护方法，其特征在于，该方法包括以下步骤：
采集城市公路图像，对所述城市公路图像进行分割处理，获取公路灰度图像、车辆灰度图像以及坑槽区域灰度图像；所述坑槽区域灰度图像包括多个目标坑槽；
检测所述公路灰度图像的车道线；以所述车辆灰度图像中车辆轮胎与地面的交点作为关键点，以所述车道线作为投影线，将所述关键点投影到所述投影线上获取投影点，以所述目标坑槽的预设感兴趣区域内的投影点作为有效投影点组成绕行轨迹，获取相邻的所述有效投影点之间的投影距离，根据所述投影距离获取投影距离突变序列，计算所述投影距离突变序列中的相邻投影距离的距离差值，根据所有所述距离差值和所述投影距离突变序列中的有效投影点的数量获取每辆车对于所述目标坑槽的绕行程度；
获取每辆车的所述绕行轨迹在所述目标坑槽中的颠簸轨迹，计算所述颠簸轨迹中，各个所述有效关键点和轨迹起始点的连线与平整路面形成的颠簸夹角，根据相邻有效关键点对应的所述颠簸夹角的差值获取第一颠簸指标；以所述颠簸轨迹与所述平整路面形成的颠簸区域的面积作为第二颠簸指标，根据所述第一颠簸指标和所述第二颠簸指标获取每辆车在所述目标坑槽的颠簸程度；
计算所述坑槽区域灰度图像中的所述目标坑槽区域的面积；根据所述目标坑槽区域的面积、每辆车对于目标坑槽的绕行程度以及每辆车在所述目标坑槽的颠簸程度获取所述目标坑槽的缺陷程度；
按照所有所述目标坑槽的缺陷程度的大小对公路养护紧急程度进行排序。
2.根据权利要求1所述的方法，其特征在于，所述对所述城市公路图像进行分割处理的方法为：
对所述城市公路图像进行灰度化处理获取灰度图像，对所述灰度图像进行语义分割，得到公路灰度图像、车辆灰度图像以及坑槽区域灰度图像。
3.根据权利要求1所述的方法，其特征在于，所述预设感兴趣区域的获取方法为：
获取所述目标坑槽的最小外接矩形，根据所述最小外接矩形的宽和高的预设倍数获取所述预设感兴趣区域。
4.根据权利要求1所述的方法，其特征在于，所述第一颠簸指标的获取方法为：
计算所有相邻的所述颠簸夹角的差值的方差，以所述方差作为所述第一颠簸指标。
5.根据权利要求1所述的方法，其特征在于，所述目标坑槽区域的面积的计算方法为：
统计所述坑槽区域灰度图像中所述目标坑槽区域的像素点数量，以所述像素点数量作为所述目标坑槽区域的面积。
6.根据权利要求1所述的方法，其特征在于，所述目标坑槽的缺陷程度的获取步骤包括：
获取预设时间段内所述城市公路图像中的所有车辆，计算每辆车对于所述目标坑槽的所述绕行程度和所述颠簸程度，得到每辆车反映的所述目标坑槽的初步缺陷程度；
对所有所述初步缺陷程度进行均值聚类，获得所述缺陷程度。
7.基于人工智能的智慧城市公路养护***，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1~6任意一项所述方法的步骤。
CN202111076201.6A 2021-09-14 2021-09-14 基于人工智能的智慧城市公路养护方法及*** Active CN113516127B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111076201.6A CN113516127B (zh) 2021-09-14 2021-09-14 基于人工智能的智慧城市公路养护方法及***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111076201.6A CN113516127B (zh) 2021-09-14 2021-09-14 基于人工智能的智慧城市公路养护方法及***

Publications (2)

Publication Number Publication Date
CN113516127A true CN113516127A (zh) 2021-10-19
CN113516127B CN113516127B (zh) 2021-12-07

Family

ID=78063113

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111076201.6A Active CN113516127B (zh) 2021-09-14 2021-09-14 基于人工智能的智慧城市公路养护方法及***

Country Status (1)

Country Link
CN (1) CN113516127B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117474870A (zh) * 2023-11-03 2024-01-30 中国公路工程咨询集团有限公司 一种基于大数据筛选的公路路面裂缝识别决策方法及***

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106919915A (zh) * 2017-02-22 2017-07-04 武汉极目智能技术有限公司 基于adas***的地图道路标记及道路质量采集装置及方法
CN108221603A (zh) * 2018-01-08 2018-06-29 重庆大学 一种道路的路面三维信息检测装置、方法及***
CN109801282A (zh) * 2019-01-24 2019-05-24 湖北大学 路面状况检测方法、处理方法、装置及***
CN111485475A (zh) * 2020-04-23 2020-08-04 陕西国防工业职业技术学院 一种路面坑槽识别方法及其装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106919915A (zh) * 2017-02-22 2017-07-04 武汉极目智能技术有限公司 基于adas***的地图道路标记及道路质量采集装置及方法
CN108221603A (zh) * 2018-01-08 2018-06-29 重庆大学 一种道路的路面三维信息检测装置、方法及***
CN109801282A (zh) * 2019-01-24 2019-05-24 湖北大学 路面状况检测方法、处理方法、装置及***
CN111485475A (zh) * 2020-04-23 2020-08-04 陕西国防工业职业技术学院 一种路面坑槽识别方法及其装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117474870A (zh) * 2023-11-03 2024-01-30 中国公路工程咨询集团有限公司 一种基于大数据筛选的公路路面裂缝识别决策方法及***
CN117474870B (zh) * 2023-11-03 2024-05-07 中国公路工程咨询集团有限公司 一种基于大数据筛选的公路路面裂缝识别决策方法及***

Also Published As

Publication number Publication date
CN113516127B (zh) 2021-12-07

Similar Documents

Publication Publication Date Title
CN111368687B (zh) 一种基于目标检测和语义分割的人行道车辆违停检测方法
Bojarski et al. End to end learning for self-driving cars
Fang et al. Road-sign detection and tracking
CN111563469A (zh) 一种不规范停车行为识别方法及装置
CN111310583A (zh) 一种基于改进的长短期记忆网络的车辆异常行为识别方法
Zhang et al. Monocular visual traffic surveillance: A review
Li et al. Parking slot detection on around-view images using DCNN
Chao et al. Multi-lane detection based on deep convolutional neural network
Liu et al. A large-scale simulation dataset: Boost the detection accuracy for special weather conditions
He et al. A feature fusion method to improve the driving obstacle detection under foggy weather
CN110796230A (zh) 卷积神经网络的训练及使用方法、设备及存储介质
Mulyanto et al. A New Indonesian Traffic Obstacle Dataset and Performance Evaluation of YOLOv4 for ADAS
CN113903008A (zh) 基于深度学习和轨迹跟踪的匝道出口车辆违法识别方法
CN113516127B (zh) 基于人工智能的智慧城市公路养护方法及***
Appiah et al. Object detection in adverse weather condition for autonomous vehicles
CN117115412A (zh) 一种基于加权得分标签分配的小目标检测方法
CN117456482B (zh) 一种面向交通监控场景的异常事件识别方法及***
Abbas V-ITS: Video-based intelligent transportation system for monitoring vehicle illegal activities
CN113468911B (zh) 一种车载闯红灯检测方法、装置、电子设备及存储介质
Soni et al. Contextual road lane and symbol generation for autonomous driving
Singh et al. Improved YOLOv5l for vehicle detection: an application to estimating traffic density and identifying over speeding vehicles on highway scenes
Namazi et al. Identifying and counting vehicles in multiple lanes by using a low-cost vehicle-mounted sensor for intelligent traffic management systems
Prawinsankar et al. Traffic Congession Detection through Modified Resnet50 and Prediction of Traffic using Clustering
Maghsoumi et al. RoaDSaVe: A robust lane detection method based on validity borrowing from reliable lines
Jiang et al. Application of Neural Network in Image Detection of Illegal Billboards

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant