CN116434151B - 路面异物识别方法、装置、计算机设备及存储介质 - Google Patents

路面异物识别方法、装置、计算机设备及存储介质 Download PDF

Info

Publication number
CN116434151B
CN116434151B CN202310705096.0A CN202310705096A CN116434151B CN 116434151 B CN116434151 B CN 116434151B CN 202310705096 A CN202310705096 A CN 202310705096A CN 116434151 B CN116434151 B CN 116434151B
Authority
CN
China
Prior art keywords
foreign matter
road surface
pavement
feature
map
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310705096.0A
Other languages
English (en)
Other versions
CN116434151A (zh
Inventor
储翔
周家伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yuntu Information Technology Hangzhou Co ltd
Original Assignee
Yuntu Information Technology Hangzhou Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yuntu Information Technology Hangzhou Co ltd filed Critical Yuntu Information Technology Hangzhou Co ltd
Priority to CN202310705096.0A priority Critical patent/CN116434151B/zh
Publication of CN116434151A publication Critical patent/CN116434151A/zh
Application granted granted Critical
Publication of CN116434151B publication Critical patent/CN116434151B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/766—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using regression, e.g. by projecting features on hyperplanes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)

Abstract

本发明实施例公开了路面异物识别方法、装置、计算机设备及存储介质。所述方法包括：获取监控道路图像；提取所述监控道路图像中的路面特征图以及异物特征图；对路面特征图以及异物特征图中的特征张量进行特征概率化；若路面特征概率高于第一预设值，则判断为真实路面，并进一步判断异物特征的概率是否高于第二预设值；若异物特征概率高于第二预设值，则判断所述路面特征图中是否包含所述异物特征图；若所述路面特征图中包含所述异物特征图，则确定监控路面存在异物；确定异物的信息。通过实施本发明实施例的方法可实现低成本地识别路面异物，提升识别准确率。

Description

路面异物识别方法、装置、计算机设备及存储介质
技术领域
本发明涉及目标识别方法，更具体地说是指路面异物识别方法、装置、计算机设备及存储介质。
背景技术
在城市建设施工项目中，需要通过渣土车对施工过程中产生的渣土进行运输作业。在车辆清运渣土作业过程中，车轮、车身携带的泥水和渣土车转弯、变速过程中的洒落渣土会污染路面，带来扬尘污染，影响市容市貌，严重的甚至会阻碍正常交通出行，带来交通隐患。
因此，需要对路面的异物进行识别，以便于后续准确地清除该异物，现有的路面异物识别方法主要依靠无人机获得垂直俯视图像，但是无人机部署成本高昂，且滞空时间有限，无法实现连续的自动化监控；而且现有的路面异物识别方法还依靠车辆绕行辅助判断，无法识别扬尘严重但无需绕行的情况。
因此，有必要设计一种新的方法，实现低成本地识别路面异物，提升识别准确率。
发明内容
本发明的目的在于克服现有技术的缺陷，提供路面异物识别方法、装置、计算机设备及存储介质。
为实现上述目的，本发明采用以下技术方案：路面异物识别方法，包括：
获取监控道路图像；
提取所述监控道路图像中的路面特征图以及异物特征图；
对路面特征图以及异物特征图中的特征张量进行特征概率化；
若路面特征概率高于第一预设值，则判断为真实路面，并进一步判断异物特征的概率是否高于第二预设值；
若异物特征概率高于第二预设值，则进一步判断所述路面特征图中是否包含所述异物特征图；
若所述路面特征图中包含所述异物特征图，则确定监控路面存在异物；
确定异物的信息。
其进一步技术方案为：所述提取所述监控道路图像中的路面特征图以及异物特征图，包括：
采用深度卷积神经网络结合膨胀卷积，依据贝叶斯公式将路面异物识别任务分割为路面识别任务和异物识别任务，分别提取所述监控道路图像中的路面特征图以及异物特征图。
其进一步技术方案为：所述采用深度卷积神经网络结合膨胀卷积，包括：
在深度卷积神经网络的深层网络层中设置不同膨胀率的卷积层；在深度卷积神经网络的浅层网络层中减少卷积核个数，并将浅层网络层中的图像池化层改为普通卷积。
其进一步技术方案为：所述路面特征图以及所述异物特征图集成在所述深度卷积神经网络输出的特征张量中，所述特征张量包括至少三个维度，所述特征张量的维度分别表征两个不同的分割任务的输出特征张量、每个分割任务的类别以及每个分割任务的特征张量的特征图的尺寸。
其进一步技术方案为：所述判断所述路面特征图中是否包含所述异物特征图，包括：
对所述路面特征图的特征张量进行特征尺寸匹配，以得到匹配结果；
根据所述匹配生成确定路面异物遮罩；
根据所述路面异物遮罩确定所述路面特征图中是否包含所述异物特征图。
其进一步技术方案为：所述根据所述匹配结果生成路面异物遮罩，包括：
对所述匹配结果进行argmax操作后，再进行逻辑与操作，以得到路面异物遮罩。
其进一步技术方案为：所述确定异物的信息，包括：
根据所述路面异物遮罩获取连通域；
根据连通域计算对应异物的置信度；
根据连通域的尺寸以及对应异物的置信度确定目标连通域，以得到异物的信息。
本发明还提供了路面异物识别装置，包括：
获取单元，用于获取监控道路图像；
提取单元，用于提取所述监控道路图像中的路面特征图以及异物特征图；
概率化单元，用于对路面特征图以及异物特征图中的特征张量进行特征概率化；
异物概率判断单元，用于若路面特征概率高于第一预设值，则判断异物特征的概率是否高于第二预设值；
包含关系判断单元，用于若异物特征概率高于第二预设值，则判断所述路面特征图中是否包含所述异物特征图；
第一确定单元，用于若所述路面特征图中包含所述异物特征图，则确定监控路面存在异物；
第二确定单元，用于确定异物的信息。
本发明还提供了一种计算机设备，所述计算机设备包括存储器及处理器，所述存储器上存储有计算机程序，所述处理器执行所述计算机程序时实现上述的方法。
本发明还提供了一种存储介质，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时可实现上述的方法。
本发明与现有技术相比的有益效果是：本发明通过利用摄像头拍摄监控道路图像，降低识别成本，采用深度学习技术识别路面特征图以及异物特征图，并依据这两个特征图确定路面与异物的包含关系，提升识别准确性，抑制非路面情况下的识别误报。
下面结合附图和具体实施例对本发明作进一步描述。
附图说明
为了更清楚地说明本发明实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的路面异物识别方法的应用场景示意图；
图2为本发明实施例提供的路面异物识别方法的流程示意图；
图3为本发明实施例提供的特征图链接示意图；
图4为本发明实施例提供的一种监控道路原图；
图5为本发明实施例提供的一种监控道路原图的路面异物识别结果图；
图6为本发明实施例提供的路面异物识别装置的示意性框图；
图7为本发明实施例提供的路面异物识别装置的包含关系判断单元的示意性框图；
图8为本发明实施例提供的计算机设备的示意性框图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”和 “包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解，在此本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
还应当进一步理解，在本发明说明书和所附权利要求书中使用的术语“和/ 或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
请参阅图1和图2，图1为本发明实施例提供的路面异物识别方法的应用场景示意图。图2为本发明实施例提供的路面异物识别方法的示意性流程图。该路面异物识别方法应用于服务器中。该服务器与摄像头进行数据交互，摄像头拍摄监控道路图像，并输入至服务器，服务器识别路面和异物，并确定路面与异物的包含关系，以确定监控路面是否存在异物，以提升识别准确性，抑制非路面情况下的识别误报。
图2是本发明实施例提供的路面异物识别方法的流程示意图。如图2所示，该方法包括以下步骤S110至S180。
S110、获取监控道路图像。
在本实施例中，监控道路图像是指摄像头拍摄的监控道路路面的图像；该图像包括行人、路面以及车辆等内容，可能还包括异物。
具体地，通过固定摄像头或移动摄像头实现对路面异物进行低成本的实时连续监控。
S120、提取所述监控道路图像中的路面特征图以及异物特征图。
在本实施例中，路面特征图是指仅包括路面特征的图像，可以认为是路面遮罩；异物特征图是指仅包含异物特征的图像，可以认为是异物遮罩。
在一实施例中，采用深度卷积神经网络结合膨胀卷积，依据贝叶斯公式将路面异物识别任务分割为路面识别任务和异物识别任务，分别提取所述监控道路图像中的路面特征图以及异物特征图。优选地，在采用深度卷积神经网络进行路面特征图以及异物特征图的提取之前，需要对监控道路图像进行预处理，以提升DCNN（深度卷积神经网络，DeepConvolution Neural Network）网络提取特征的准确率。
具体地，预处理过程包括：对于监控道路图像依次进行尺寸调整、填充、标准化操作，经由上述操作后，任意尺寸的监控道路图像将被处理为长宽均为640的正方形标准化图像，记录尺寸调整操作前的图像大小和填充操作在监控道路图像的长宽两个方向上的填充量。
具体地，在深度卷积神经网络的深层网络层中设置不同膨胀率的卷积层，以提高网络感受视野和图片中整体特征的抓取能力；在深度卷积神经网络的浅层网络层中减少卷积核个数，并将浅层网络层中的图像池化层改为普通卷积，以进行浅层的特征融合，提升图片中整体特征的读取能力，保留浅层网络普通卷积带来的分割细节特征的作用。
在采用深度卷积神经网络结合膨胀卷积搭建的网络模型中，采用贝叶斯公式将路面异物识别任务分割为路面识别任务和异物识别任务。具体地，依据贝叶斯公式，根据其条件概率和任务判断，将路面异物识别任务分割为路面识别任务和异物识别任务，并将两个任务分开同时放入网络模型中，即将网络模型中任务点维度修改为2，这使得图片的特征提取更为细致，对网络模型的特征处理能力要求也更高。
在上述网络模型中，提取路面特征图和异物特征图时，需要对多层特征层进行特征融合，如图3所示，在得到一定公共特征的特征层M1后开始按照两个任务点进行分支，确定两个特征层。具体过程如下：
在第一个分支中，特征层M1经过一个卷积网络扩展通道，得到融合特征层M2，保留浅层的网络层与后续的深层网络做特征融合。
在第二个分支中，特征层M1并行经过一个卷积核增加通道数，得到特征层A1；特征层M1经过一个膨胀率为6的3x3空洞卷积核，得到特征层A2；特征层M1经过另一个膨胀率不同空洞卷积核，得到特征层A3；特征层M1经过一个不同的空洞卷积核，得到特征层A4；根据网络层的不断加深，改变膨胀率，使其逐渐增大，不断提升网络层深层卷积的感受视野；最后特征层M1并行经过一个图像池化层，得到特征层A5；将特征层A1至特征层A5拼接后，再经过一个卷积核，将这几个不同深度的特征层放在同一个网络层上，对每一层实施残差连接方式让特征在通道上叠加融合，实现了深度监督。在网络学习图片特征时，在不同深度的网络下，都在进行对特征的反馈学习，让整个网络层通道保留了浅层和深层等不同深度的特征层，然后利用一个1x1的卷积核，修改其输出通道的个数，让网络层放在通道上的特征进行融合，得到新的融合特征层M3；将新的融合特征层M3经过多次上采样之后，得到特征层M4，上采样均采用最邻近插值法，保留最多的特征；
将特征层M2与M4进行拼接后得到新的融合特征层M5，新的融合特征层M5在经过一个3x3的卷积核之后，形成特征层M6，再对特征层M6进行多次上采样，得到所述深度卷积神经网络输出的特征张量，对输出的特征张量进行语义分割之后即可得到路面特征图和异物特征图。
S130、对路面特征图以及异物特征图中的特征张量进行特征概率化。
所述深度卷积神经网络输出的特征张量为一个四维特征张量，该特征张量的结构为：该特征张量0维上的2表征该特征张量为两个不同的分割任务的输出特征张量，保证两个任务分开进行，人为指定索引0表征路面分割任务，索引1表征异物分割任务；在图像分割任务中，一般会分为前景和背景两部分，因此该特征张量1维上的2表征每一个分割任务有两个类别：索引0表征背景，索引1表征前景。在路面识别任务中前景为柏油路像素，背景为除柏油路外所有像素；在异物识别任务中，前景为异物像素，背景为除异物外所有像素；该特征张量2、3维上的数值表示每个任务特征图的大小，即w和h的值；该特征图上每一个像素值在归一化后对应预处理后图像对应像素的回归概率。对特征张量1维进行softmax操作，将两个任务中对应的各个像素的特征值概率化。
S140、若路面特征概率高于第一预设值，则判断异物特征的概率是否高于第二预设值。
在本实施例中，只有确定路面特征概率高于第一设定的数值，确定监控道路图像是真实的路面图像后，再确定所提取的异物特征图是否是异物，同时，只有确保异物特征图是异物之后，才会判断路面特征图中是否包含所述异物特征图。
具体地，由于运用了贝叶斯公式对任务进行分割，因此，预先将图片和所定义的标签放入网络模型中训练，通过优化器去优化网络模型中的参数，根据网络模型训练结果得到图片中每个像素点关于路面分割和异物分割的先验概率；在获取先验概率前提下，将图片放入网络，通过路面蒙版分析得到关于路面分割的每一个像素的概率值。
然后将路面分割的每一个像素的概率值与第一预设值进行对比，若高于该第一预设值，则判断为是真实的路面图像；反之则结束判断。在判断为真实路面图像的前提下，再根据异物蒙版分析得到异物分割每个像素的后验概率，判断该后验概率是否高于第二预设值，若高于，则得到0和1分布成像，最终获得路面异物识别效果。
本实施例中提到的第一预设值和第二预设值是通过大量历史数据验证出来的，由本发明所述路面异物识别方法的识别准确率而定。若准确率不高，则会根据历史图片的识别结果对第一预设值和第二预设值进行相应调整。
S150、若异物特征概率高于第二预设值，判断所述路面特征图中是否包含所述异物特征图。
在本实施例中，采用异物蒙版分析方式确定路面特征图中是否包含所述异物特征图，也就是确定路面特征图与异物特征图的交集，并对该交集进行分析，以确定路面特征图中是否包含所述异物特征图。
在一实施例中，上述的步骤S150可包括步骤S151~ S152。
S151、根据所述路面特征图的特征张量确定路面异物遮罩。
在本实施例中，路面异物遮罩是指既属于异物特征图又属于路面特征图的像素。
在一实施例中，上述的步骤S151可包括步骤S1511~ S1512。
S1511、对所述路面特征图的特征张量进行特征尺寸匹配，以得到匹配结果。
在本实施例中，匹配结果是指根据预处理过程所记录的内容对深度卷积神经网络输出的特征张量进行尺寸处理后形成的结果。
具体地，根据预处理操作中记录的长宽两个方向上填充量对异物特征图以及路面特征图进行裁剪、再将异物特征图以及路面特征图的尺寸调整至预处理中尺寸调整前的监控道路图像的大小。保证路面异物识别的结果和监控道路图像的像素坐标一一对应，经处理后特征张量变化为(2, 2, h, w)，其中，w为原图像像素宽度，h为原图像像素高度。
S1512、根据所述匹配结果生成路面异物遮罩。
具体地，对所述匹配结果进行argmax操作后，再进行逻辑与操作，以得到路面异物遮罩。
在本实施例中，argmax的作用是返回向量最大值的坐标，在路面异物场识别的景中，某像素前景概率大于背景概率，则会返回1，反之返回0，因此该操作获取的是前景的遮罩。此时，特征张量大小已经转换成(2, h, w)，0维的2表示该张量是两个分割任务的遮罩图，也就是路面特征图和异物特征图，也可以认为是路面遮罩以及异物遮罩，下一步要在0维上进行逻辑与操作，当前像素同时属于异物和路面时，认为当前像素是路面的异物，最终得到的特征张量为(h, w)，即为所求的路面异物遮罩。
S152、根据所述路面异物遮罩确定所述路面特征图中是否包含所述异物特征图。
当路面异物遮罩存在，即路面异物遮罩不是空集时，则表明所述路面特征图中包含所述异物特征图，当路面异物遮罩不存在，即路面异物遮罩是空集时，则表明所述路面特征图中不包含所述异物特征图。
S160、若所述路面特征图中包含所述异物特征图，则确定监控路面存在异物；
S170、确定异物的信息；
在一实施例中，上述的步骤S170可包括步骤S171~ S173。
S171、根据所述路面异物遮罩获取连通域。
在本实施例中，连通域是指路面异物遮罩中的连通区域。
在获取路面异物遮罩后，需要得到图像中异物的数量和大小，本实施例采用connected Components方法从路面异物遮罩中获取连通域。
S172、根据连通域计算对应异物的置信度。
在本实施例中，设定一个路面异物连通域指代一个异物，将获取到的连通域，带入概率化的特征张量(2, 2, h, w), 计算前景的平均概率，以作为该异物的置信度。
S173、根据连通域的尺寸以及对应异物的置信度确定目标连通域。
在本实施例中，目标连通域是指去除连通域的尺寸小于0.5%图像面积或置信度小于70%的连通域之后剩余的连通域。
S180、若所述路面特征图中不包含所述异物特征图，则确定监控路面不存在异物。
若异物特征的概率不高于第二预设值，则进入结束步骤。
图4示出了某个时刻下的某路段的监控道路图像，可以看出路面上有施工车轮压过的污痕，该车轮污痕即为路面异物中的一种。
图5示出了采用本发明所述路面异物识别方法生成的识别结果图，图中深灰色区域即为车轮污痕区域，浅灰色区域为干净道路区域。
因此，本发明所述路面异物识别方法，通过利用摄像头拍摄监控道路图像，降低识别成本，采用深度学习技术将路面识别认为分割为两个任务，提取识别路面特征图以及异物特征图，并依据这两个特征图确定路面与异物的包含关系，提升识别准确性，抑制非路面情况下的识别误报。在应用场景中，在道路上对黄沙等异物的分割效果相较于传统的仅识别异物更加规范专业，该模型有更具体的应用环境，因此准确性也相应更高。
图6是本发明实施例提供的一种路面异物识别装置300的示意性框图。如图6所示，对应于以上路面异物识别方法，本发明还提供一种路面异物识别装置300。该路面异物识别装置300包括用于执行上述路面异物识别方法的单元，该装置可以被配置于服务器中。具体地，请参阅图6，该路面异物识别装置300包括获取单元301、提取单元302、概率化单元303、异物概率判断单元304、包含关系判断单元305、第一确定单元306、第二确定单元307以及第三确定单元308。
获取单元301，用于获取监控道路图像；提取单元302，用于提取所述监控道路图像中的路面特征图以及异物特征图；概率化单元303，用于对路面特征图以及异物特征图中的特征张量进行特征概率化；异物概率判断单元304，用于若路面特征概率高于第一预设值，则判断异物特征的概率是否高于第二预设值；包含关系判断单元305，用于若异物特征概率高于第二预设值，则判断所述路面特征图中是否包含所述异物特征图；第一确定单元306，用于若所述路面特征图中包含所述异物特征图，则确定监控路面存在异物；第二确定单元307，用于确定异物的信息；第三确定单元308，用于若所述路面特征图中不包含所述异物特征图，则确定监控路面不存在异物。
在一实施例中，所述提取单元302，用于采用深度卷积神经网络结合膨胀卷积，依据贝叶斯公式将路面异物识别任务分割为路面识别任务和异物识别任务，分别提取所述监控道路图像中的路面特征图以及异物特征图。
在一实施例中，如图7所示，所述包含关系判断单元305包括遮罩确定子单元3051以及包含关系确定子单元3052。
遮罩确定子单元3051，用于根据所述路面特征图的特征张量确定路面异物遮罩；包含关系确定子单元3052，用于根据所述路面异物遮罩确定所述路面特征图中是否包含所述异物特征图。
在一实施例中，所述遮罩确定子单元3051包括匹配模块30511以及蒙版确定模块30512。
匹配模块30511，用于对所述路面特征图的特征张量进行特征尺寸匹配，以得到匹配结果；蒙版确定模块30512，用于根据所述匹配结果确定路面异物遮罩。
在一实施例中，版确定模块30512，用于对所述匹配结果进行argmax操作后，再进行逻辑与操作，以得到路面异物遮罩。
在一实施例中，所述第二确定单元307包括连通域获取子单元3071、置信度计算子单元3072以及信息确定子单元3073。
连通域获取子单元3071，用于根据所述路面异物遮罩获取连通域；置信度计算子单元3072，用于根据连通域计算对应异物的置信度；信息确定子单元3073，用于根据连通域的尺寸以及对应异物的置信度确定目标连通域，以得到异物的信息。
需要说明的是，所属领域的技术人员可以清楚地了解到，上述路面异物识别装置300和各单元的具体实现过程，可以参考前述方法实施例中的相应描述，为了描述的方便和简洁，在此不再赘述。
上述路面异物识别装置300可以实现为一种计算机程序的形式，该计算机程序可以在如图6所示的计算机设备上运行。
请参阅图8，图8是本申请实施例提供的一种计算机设备的示意性框图。该计算机设备500可以是服务器，其中，服务器可以是独立的服务器，也可以是多个服务器组成的服务器集群。
参阅图8，该计算机设备500包括通过***总线501连接的处理器502、存储器和网络接口505，其中，存储器可以包括非易失性存储介质503和内存储器504。
该非易失性存储介质503可存储操作***5031和计算机程序5032。该计算机程序5032包括程序指令，该程序指令被执行时，可使得处理器502执行一种路面异物识别方法。
该处理器502用于提供计算和控制能力，以支撑整个计算机设备500的运行。
该内存储器504为非易失性存储介质503中的计算机程序5032的运行提供环境，该计算机程序5032被处理器502执行时，可使得处理器502执行一种路面异物识别方法。
该网络接口505用于与其它设备进行网络通信。本领域技术人员可以理解，图8中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备500的限定，具体的计算机设备500可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
其中，所述处理器502用于运行存储在存储器中的计算机程序5032，以实现如下步骤：
获取监控道路图像；提取所述监控道路图像中的路面特征图以及异物特征图；对路面特征图以及异物特征图中的特征张量进行特征概率化；若路面特征概率高于第一预设值，则判断异物特征的概率是否高于第二预设值；若异物特征概率高于第二预设值，则判断所述路面特征图中是否包含所述异物特征图；若所述路面特征图中包含所述异物特征图，则确定监控路面存在异物；确定异物的信息。
在一实施例中，处理器502在实现所述提取所述监控道路图像中的路面特征图以及异物特征图步骤时，具体实现如下步骤：
采用深度卷积神经网络结合膨胀卷积，依据贝叶斯公式将路面异物识别任务分割为路面识别任务和异物识别任务，分别提取所述监控道路图像中的路面特征图以及异物特征图。
其中，所述路面特征图以及所述异物特征图集成在所述深度卷积神经网络输出的特征张量中，所述特征张量包括至少三个维度，所述特征张量的维度分别表征两个不同的分割任务的输出特征张量、每个分割任务的类别以及每个分割任务的特征张量的特征图的尺寸。
在一实施例中，处理器502在实现所述判断所述路面特征图中是否包含所述异物特征图步骤时，具体实现如下步骤：
根据所述路面特征图的特征张量确定路面异物遮罩；根据所述路面异物遮罩确定所述路面特征图中是否包含所述异物特征图。
在一实施例中，处理器502在实现所述根据所述路面特征图的特征张量确定路面异物遮罩步骤时，具体实现如下步骤：
对所述路面特征图的特征张量进行特征尺寸匹配，以得到匹配结果；根据所述匹配结果确定路面异物遮罩。
在一实施例中，处理器502在实现所述根据所述匹配结果生成路面异物遮罩步骤时，具体实现如下步骤：
对所述匹配结果进行argmax操作后，再进行逻辑与操作，以得到路面异物遮罩。
在一实施例中，处理器502在实现所述确定异物的信息步骤时，具体实现如下步骤：
根据所述路面异物遮罩获取连通域；根据连通域计算对应异物的置信度；根据连通域的尺寸以及对应异物的置信度确定目标连通域，以得到异物的信息。
应当理解，在本申请实施例中，处理器502可以是中央处理单元 (CentralProcessing Unit，CPU)，该处理器502还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路 (Application Specific IntegratedCircuit，ASIC)、现成可编程门阵列 (Field-Programmable Gate Array，FPGA) 或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。其中，通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
本领域普通技术人员可以理解的是实现上述实施例的方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成。该计算机程序包括程序指令，计算机程序可存储于一存储介质中，该存储介质为计算机可读存储介质。该程序指令被该计算机***中的至少一个处理器执行，以实现上述方法的实施例的流程步骤。
因此，本发明还提供一种存储介质。该存储介质可以为计算机可读存储介质。该存储介质存储有计算机程序，其中该计算机程序被处理器执行时使处理器执行如下步骤：
获取监控道路图像；提取所述监控道路图像中的路面特征图以及异物特征图；对路面特征图以及异物特征图中的特征张量进行特征概率化；若路面特征概率高于第一预设值，则判断异物特征的概率是否高于第二预设值；若异物特征概率高于第二预设值，则判断所述路面特征图中是否包含所述异物特征图；若所述路面特征图中包含所述异物特征图，则确定监控路面存在异物；确定异物的信息。
在一实施例中，所述处理器在执行所述计算机程序而实现所述提取所述监控道路图像中的路面特征图以及异物特征图步骤时，具体实现如下步骤：
采用深度卷积神经网络结合膨胀卷积，依据贝叶斯公式将路面异物识别任务分割为路面识别任务和异物识别任务，分别提取所述监控道路图像中的路面特征图以及异物特征图。
其中，所述路面特征图以及所述异物特征图集成在所述深度卷积神经网络输出的特征张量中，所述特征张量包括至少三个维度，所述特征张量的维度分别表征两个不同的分割任务的输出特征张量、每个分割任务的类别以及每个分割任务的特征张量的特征图的尺寸。
在一实施例中，所述处理器在执行所述计算机程序而实现所述判断所述路面特征图中是否包含所述异物特征图步骤时，具体实现如下步骤：
根据所述路面特征图的特征张量确定路面异物遮罩；根据所述路面异物遮罩确定所述路面特征图中是否包含所述异物特征图。
在一实施例中，所述处理器在执行所述计算机程序而实现所述根据所述路面特征图的特征张量确定路面异物遮罩步骤时，具体实现如下步骤：
对所述路面特征图的特征张量进行特征尺寸匹配，以得到匹配结果；根据所述匹配结果确定路面异物遮罩。
在一实施例中，所述处理器在执行所述计算机程序而实现所述根据所述匹配结果生成路面异物遮罩步骤时，具体实现如下步骤：
对所述匹配结果进行argmax操作后，再进行逻辑与操作，以得到路面异物遮罩。
在一实施例中，所述处理器在执行所述计算机程序而实现所述确定异物的信息步骤时，具体实现如下步骤：
根据所述路面异物遮罩获取连通域；根据连通域计算对应异物的置信度；根据连通域的尺寸以及对应异物的置信度确定目标连通域，以得到异物的信息。
所述存储介质可以是U盘、移动硬盘、只读存储器（Read-Only Memory，ROM）、磁碟或者光盘等各种可以存储程序代码的计算机可读存储介质。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
在本发明所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的。例如，各个单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。例如多个单元或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。
本发明实施例方法中的步骤可以根据实际需要进行顺序调整、合并和删减。本发明实施例装置中的单元可以根据实际需要进行合并、划分和删减。另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以是两个或两个以上单元集成在一个单元中。
该集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分，或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，终端，或者网络设备等）执行本发明各个实施例所述方法的全部或部分步骤。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (8)

1.路面异物识别方法，其特征在于，包括：
获取监控道路图像；
提取所述监控道路图像中的路面特征图以及异物特征图；
对路面特征图以及异物特征图中的特征张量进行特征概率化；
若路面特征概率高于第一预设值，则判断为真实路面，并进一步判断异物特征的概率是否高于第二预设值；
若异物特征概率高于第二预设值，则进一步判断所述路面特征图中是否包含所述异物特征图；
若所述路面特征图中包含所述异物特征图，则确定监控路面存在异物；
确定异物的信息；
所述判断所述路面特征图中是否包含所述异物特征图，包括：
对所述路面特征图的特征张量进行特征尺寸匹配，以得到匹配结果；
根据所述匹配生成确定路面异物遮罩；
根据所述路面异物遮罩确定所述路面特征图中是否包含所述异物特征图；
所述根据所述匹配结果生成路面异物遮罩，包括：
对所述匹配结果进行argmax操作后，再进行逻辑与操作，以得到路面异物遮罩。
2.根据权利要求1所述的路面异物识别方法，其特征在于，所述提取所述监控道路图像中的路面特征图以及异物特征图，包括：
采用深度卷积神经网络结合膨胀卷积，依据贝叶斯公式将路面异物识别任务分割为路面识别任务和异物识别任务，分别提取所述监控道路图像中的路面特征图以及异物特征图。
3.根据权利要求2所述的路面异物识别方法，其特征在于，所述采用深度卷积神经网络结合膨胀卷积，包括：
在深度卷积神经网络的深层网络层中设置不同膨胀率的卷积层；在深度卷积神经网络的浅层网络层中减少卷积核个数，并将浅层网络层中的图像池化层改为普通卷积。
4.根据权利要求3所述的路面异物识别方法，其特征在于，所述路面特征图以及所述异物特征图集成在所述深度卷积神经网络输出的特征张量中，所述特征张量包括至少三个维度，所述特征张量的维度分别表征两个不同的分割任务的输出特征张量、每个分割任务的类别以及每个分割任务的特征张量的特征图的尺寸。
5.根据权利要求1所述的路面异物识别方法，其特征在于，所述确定异物的信息，包括：
根据所述路面异物遮罩获取连通域；
根据连通域计算对应异物的置信度；
根据连通域的尺寸以及对应异物的置信度确定目标连通域，以得到异物的信息。
6.路面异物识别装置，其特征在于，包括：
获取单元，用于获取监控道路图像；
提取单元，用于提取所述监控道路图像中的路面特征图以及异物特征图；
概率化单元，用于对路面特征图以及异物特征图中的特征张量进行特征概率化；
异物概率判断单元，用于若路面特征概率高于第一预设值，则判断为真实路面，并进一步判断异物特征的概率是否高于第二预设值；
包含关系判断单元，用于若异物特征概率高于第二预设值，则判断所述路面特征图中是否包含所述异物特征图；
第一确定单元，用于若所述路面特征图中包含所述异物特征图，则确定监控路面存在异物；
第二确定单元，用于确定异物的信息；
所述判断所述路面特征图中是否包含所述异物特征图，包括：
对所述路面特征图的特征张量进行特征尺寸匹配，以得到匹配结果；
根据所述匹配生成确定路面异物遮罩；
根据所述路面异物遮罩确定所述路面特征图中是否包含所述异物特征图；
所述根据所述匹配结果生成路面异物遮罩，包括：
对所述匹配结果进行argmax操作后，再进行逻辑与操作，以得到路面异物遮罩。
7.一种计算机设备，其特征在于，所述计算机设备包括存储器及处理器，所述存储器上存储有计算机程序，所述处理器执行所述计算机程序时实现如权利要求1至5中任一项所述的方法。
8.一种存储介质，其特征在于，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时可实现如权利要求1至5中任一项所述的方法。
CN202310705096.0A 2023-06-14 2023-06-14 路面异物识别方法、装置、计算机设备及存储介质 Active CN116434151B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310705096.0A CN116434151B (zh) 2023-06-14 2023-06-14 路面异物识别方法、装置、计算机设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310705096.0A CN116434151B (zh) 2023-06-14 2023-06-14 路面异物识别方法、装置、计算机设备及存储介质

Publications (2)

Publication Number Publication Date
CN116434151A CN116434151A (zh) 2023-07-14
CN116434151B true CN116434151B (zh) 2023-08-29

Family

ID=87089446

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310705096.0A Active CN116434151B (zh) 2023-06-14 2023-06-14 路面异物识别方法、装置、计算机设备及存储介质

Country Status (1)

Country Link
CN (1) CN116434151B (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113128386A (zh) * 2021-04-13 2021-07-16 深圳市锐明技术股份有限公司 一种障碍物识别方法、障碍物识别装置及电子设备
WO2022083402A1 (zh) * 2020-10-22 2022-04-28 腾讯科技（深圳）有限公司 障碍物检测方法、装置、计算机设备和存储介质
CN116030074A (zh) * 2022-12-30 2023-04-28 深圳云天励飞技术股份有限公司 一种道路病害的识别方法、重识别方法及相关设备

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022083402A1 (zh) * 2020-10-22 2022-04-28 腾讯科技（深圳）有限公司 障碍物检测方法、装置、计算机设备和存储介质
CN113128386A (zh) * 2021-04-13 2021-07-16 深圳市锐明技术股份有限公司 一种障碍物识别方法、障碍物识别装置及电子设备
CN116030074A (zh) * 2022-12-30 2023-04-28 深圳云天励飞技术股份有限公司 一种道路病害的识别方法、重识别方法及相关设备

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于深度卷积神经网络融合模型的路面裂缝识别方法;孙朝云;马志丹;李伟;郝雪丽;申浩;;长安大学学报(自然科学版)(04);全文 *

Also Published As

Publication number Publication date
CN116434151A (zh) 2023-07-14

Similar Documents

Publication Publication Date Title
CN111666921B (zh) 车辆控制方法、装置、计算机设备和计算机可读存储介质
CN111047551B (zh) 一种基于U-net改进算法的遥感影像变化检测方法及***
CN112528878B (zh) 检测车道线的方法、装置、终端设备及可读存储介质
CN112132156B (zh) 多深度特征融合的图像显著性目标检测方法及***
CN110781836A (zh) 人体识别方法、装置、计算机设备及存储介质
Mu et al. Lane detection based on object segmentation and piecewise fitting
CN111178245A (zh) 车道线检测方法、装置、计算机设备和存储介质
WO2022134996A1 (en) Lane line detection method based on deep learning, and apparatus
CN108805016B (zh) 一种头肩区域检测方法及装置
CN111209780A (zh) 车道线属性检测方法、装置、电子设备及可读存储介质
CN108305260B (zh) 一种图像中角点的检测方法、装置及设备
CN110956081B (zh) 车辆与交通标线位置关系的识别方法、装置及存储介质
CN107909012B (zh) 一种基于视差图的实时车辆跟踪检测方法与装置
CN111627057A (zh) 一种距离测量方法、装置及服务器
CN112001378A (zh) 基于特征空间的车道线处理方法、装置、车载终端和介质
Ghahremannezhad et al. Automatic road detection in traffic videos
Komati et al. Kss: Using region and edge maps to detect image boundaries
CN111178181B (zh) 交通场景分割方法及相关装置
CN110853000B (zh) 一种车辙的检测方法
CN116434151B (zh) 路面异物识别方法、装置、计算机设备及存储介质
CN110008838B (zh) 基于改进拟合算法的车道线检测方法和***
Ballinas-Hernández et al. Marked and unmarked speed bump detection for autonomous vehicles using stereo vision
CN115311522A (zh) 用于自动驾驶的目标检测方法及装置、电子设备及介质
CN112465835B (zh) 用于翡翠图像分割的方法及模型训练方法
CN114299300A (zh) 一种车道线检测方法、装置、计算机设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant