CN115527059A - 一种基于ai识别技术的涉路施工元素检测***及方法 - Google Patents
一种基于ai识别技术的涉路施工元素检测***及方法 Download PDFInfo
- Publication number
- CN115527059A CN115527059A CN202210983751.4A CN202210983751A CN115527059A CN 115527059 A CN115527059 A CN 115527059A CN 202210983751 A CN202210983751 A CN 202210983751A CN 115527059 A CN115527059 A CN 115527059A
- Authority
- CN
- China
- Prior art keywords
- network
- road
- module
- detection
- sde
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 69
- 238000000034 method Methods 0.000 title claims abstract description 40
- 238000010276 construction Methods 0.000 title claims abstract description 18
- 238000005516 engineering process Methods 0.000 title claims abstract description 15
- 238000013473 artificial intelligence Methods 0.000 title description 9
- 230000005653 Brownian motion process Effects 0.000 claims abstract description 24
- 238000005537 brownian motion Methods 0.000 claims abstract description 24
- 230000004927 fusion Effects 0.000 claims abstract description 11
- 238000012549 training Methods 0.000 claims description 18
- 230000001537 neural effect Effects 0.000 claims description 13
- 238000010586 diagram Methods 0.000 claims description 11
- 238000000605 extraction Methods 0.000 claims description 11
- 230000006870 function Effects 0.000 claims description 9
- 230000001149 cognitive effect Effects 0.000 claims description 8
- 230000002159 abnormal effect Effects 0.000 claims description 7
- 230000008569 process Effects 0.000 claims description 7
- 238000005070 sampling Methods 0.000 claims description 6
- 238000004088 simulation Methods 0.000 claims description 6
- 238000013528 artificial neural network Methods 0.000 claims description 5
- 238000004364 calculation method Methods 0.000 claims description 5
- 238000004590 computer program Methods 0.000 claims description 5
- 238000011176 pooling Methods 0.000 claims description 4
- 238000012216 screening Methods 0.000 claims description 4
- 230000001419 dependent effect Effects 0.000 claims description 3
- 230000005856 abnormality Effects 0.000 claims description 2
- 238000013527 convolutional neural network Methods 0.000 description 5
- 238000004422 calculation algorithm Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 238000005183 dynamical system Methods 0.000 description 2
- 230000002349 favourable effect Effects 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 241001465754 Metazoa Species 0.000 description 1
- 238000009825 accumulation Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000000739 chaotic effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000012804 iterative process Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 230000008092 positive effect Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000011897 real-time detection Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
- G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/07—Target detection
Abstract
本发明属于图像识别技术领域，更具体地说，涉及一种基于AI识别技术的涉路施工元素检测***及方法。以Faster RCNN网络为基础网络结构，将采集后的道路图像输入网络并形成特征图，在Faster RCNN网络上设置特征金字塔网络并采用金字塔特征融合的方式精确特征图，使用网络级联串联多个Faster RCNN网络，设置基于动力***模块的检测网络并采用布朗运动模拟道路不确定因素，建立SDE‑Net模型并设置检测器，完成道路检测。本发明的有益效果是可在不受周围环境的影响下提取高精度道路图像，在保证极低的延时性的情况下提取高精度道路图像，在快速处理道路图像并提高精确度与特征的同时减少内存消耗。
Description
技术领域
本发明属于图像识别技术领域，更具体地说，涉及一种基于AI识别技术的涉路施工元素检测***及方法。
背景技术
在2012年，卷积神经网络(convolutional neural networks,CNN)第一次出现在世人眼前。由于深度网路具有提取图像中高级特征的能力，人们很自然的想到将其迁移到目标检测任务中来。R.Girshick等人于2014年率先打破了僵局，提出了基于卷积神经网络特征的区域方法(Regions with CNN features,RCNN)用于目标检测任务。自此，目标检测任务的发展便一日千里。
目前，目标检测可以大致分为两类：“两阶段目标检测算法”和“一阶段目标检测算法”。其中，两阶段目标检测算法将回归目标由粗糙到精细进行两阶段的回归，而一阶段目标算法则仅用一步回归来定位回归框。
现存的涉路施工元素检测方法主要缺点在于提取精度不高，检测结果受周围环境影响大，且探测障碍物具有延时性，处理速度慢无法满足及时检测的条件，在占用大量GPU内存的情况下无法实现多场景路面图像的目标检测。
发明内容
为解决上述技术问题，本发明属于图像识别技术领域，更具体地说，涉及一种基于AI识别技术的涉路施工元素检测***及方法
本发明采用的技术方案是：一种基于AI识别技术的涉路施工元素检测方法，其特征在于，所述方法的步骤包括：
采集道路图像并将Faster RCNN网络设置为基础网络结构，通过所述Faster RCNN网络可提取所述道路图像的特征形成特征图；
在所述Faster RCNN网络的基础结构上设置特征金字塔网络，所述特征金字塔网络可精确所述特征图网络检测的关键点定位，通过金字塔特征融合的方式可增强所述特征图特征；
使用网络级联串联多个所述Faster RCNN网络进行训练；
设置基于动力***模块的检测网络，通过所述基于动力***模块的检测网络筛选异常目标并应用布朗运动模拟道路产生的不确定因素；
建立SDE-Net模型配合所述动力***模块检测道路不确定因素；
基于所述SDE-Net模型设置检测器，通过所述检测器完成道路检测。
进一步地，所述Faster RCNN网络包括底部特征提取层、区域建议网络(RPN)与基于目标区域(ROI)的分类器；
所述区域建议网络可基于所述特征图建立检测候选框；
经过ROI池化层的候选框内的特征被传输至所述ROI分类器内；
进一步地，所述特征金字塔网络包括自底向上模块、自顶向下模块和上采样模块；
所述自底向上模块是卷积网络在图像最小尺度上的前向计算；
所述自顶向下模块可对高层特征图进行上采样，并通过横向连接将上采样结果和所述自底向上模块每层金字塔输出的相同大小特征图进行融合；
横向连接通过双线性插值上采样方法将低分辨率的特征图放大若干倍，之后与所述自底向上模块输出的特征图按元素相加，最终生成融合后的特征图。
进一步地，所述金字塔特征融合是所述特征金字塔网络的改进方法，通过对所述特征金字塔网络操作输出的所有特征层进行累加，可融合各距离的特征层。
进一步地，所述设置基于动力***模块的检测网络，通过所述基于动力***模块的检测网络筛选异常目标并应用布朗运动模拟道路产生的不确定因素的步骤包括：
设置异常检测网络；
通过所述异常检测网络建立Neural SDE模型用于描述一个随机动力***；
将所述布朗运动加入所述Neural SDE模型得到Neural SDE动力***，所述NeuralSDE动力***公式为：
dxt＝f(xt,t)dt+g(xt,t)dWt
其中，g(xt,t)是布朗运动的幅度，表示动力***的认知不确定性，Wt是布朗运动，是由动力***所在的空间决定的。
进一步地，所述建立SDE-Net模型配合所述动力***模块检测道路不确定因素的步骤包括：
建立SDE-Net模型，使用两个独立的神经网络来表示***的主流和发散；
在所述SDE-Net模型中的主流网络f控制***的预测精度；
在所述SDE-Net模型中的发散网络g表示***的发散程度；
设置所述SDE-Net的目标函数：
s.t.dxt＝fxt,t,fdt+gx0,gdWt
其中，L(·)是依赖于任务的损失函数，例如分类的交叉熵损失；T是随机过程的结束时间；PID是训练数据的分布,POOD是分布外数据。
进一步地，一种基于AI识别技术的涉路施工元素检测***，包括：
图像提取模块，所述图像提取模块以Faster RCNN网络为基础网络结构，通过所述Faster RCNN网络可提取道路图像形成特征图；
图像增强模块，所述图像增强模块在所述Faster RCNN网络上设置特征金字塔网络，通过所述金字塔特征融合的方式可增强图像特征；
训练模块，所述训练模块可使若干所述Faster RCNN网络通过网络级联串联并训练；
模拟模块，所述模拟模块设置基于动力***模块的检测网络，结合布朗运动可模拟道路不确定因素；
检测模块，所述检测模块建立SDE-Net模型并基于所述SDE-Net模型设置检测器，可结合所述基于动力***模块的检测网络进行道路检测。
进一步地，一种电子设备，其特征在于：包括处理器和存储器，所述存储器上存储有计算机程序，所述计算机程序被所述处理器执行时，实现权利要求1-6中任一项所述的方法。
进一步地，一种可读存储介质，其特征在于，所述可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时，实现权利要求1-6中任一项所述的方法。
本发明具有的优点和积极效果是：由于采用上述方法，可在不受周围环境的影响下提取高精度道路图像，在保证极低的延时性的情况下提取高精度道路图像，在快速处理道路图像并提高精确度与特征的同时减少内存消耗。
附图说明
图1是本发明实施例的流程示意图；
图2是本发明实施例的Faster RCNN网络的结构示意图；
图3是本发明实施例的特征金字塔网络的结构示意图；
图4是本发明实施例的金字塔特征融合技术的流程示意图；
图5是本发明实施例的网络级联策略流程图；
图6是本发明实施例的基于SDE-Net模型的网络结构流程示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明了，下面结合具体实施方式并参照附图，对本发明进一步详细说明。应该理解，这些描述只是示例性的，而并非要限制本发明的范围。此外，在以下说明中，省略了对公知结构的技术的描述，以避免不必要地混淆本发明的概念。
下面结合附图对本发明的实施例做出说明。
一种基于AI识别技术的涉路施工元素检测***及方法，本实施例以Faster RCNN的网络结构作为基线网络，Faster RCNN是两阶段检测器，具有实时检测速度的的深度学习检测器，主要由三个组件组成：权重共享的底部特征提取层、区域建议网络(RPN)以及基于目标区域(ROI)的分类器。
如图2所示，首先在本实施例中通过无人机的图像采集器收集图像，输入图像通过Faster RCNN的骨干网络来提取特征图；RPN基于该特征图给出大量检测候选框；随后经过ROI池化层的候选框内的特征被传输至ROI分类器内，分别预测候选框的区别和位置。
在此过程中的训练损失包括：RPN训练损失与ROI分类器的回归损失；
Ldet＝Lrpn+Lroi
目标检测任务的大多数组件，例如候选框提取组件、特征提取组件、边界回归组件已经逐渐融为一体，形成了统一的端到端的机器学习框架，虽然Faster RCNN网络突破了计算瓶颈，但是在最后的检测阶段依然存在着一定的计算冗余，需要注意的是RPN分类器与ROI分类器都包含分类损失与回归损失，常采用交叉熵损失作为分类损失的损失函数，采用Smooth L1范数作为边界回归的损失函数。
通过以Faster RCNN网络为基线网络获取的道路图像的特征图，需对特征图进行进一步的特征提取与细化，因此在Faster RCNN网络上设置特征金字塔网络，在特征金字塔网络被提出之前，大多数检测器只是在网络的最顶层检测，虽然深层网络特征有利于对目标的分类，但是这些特征却不利于检测边界的回归，因此，在本实施例中通过自顶向下的横向连接用于提高特征金字塔网络对于不同尺度目标提取特征的能力，在Faster RCNN的基础结构上增加特征金字塔网络便可使网络的检测能力获得飞跃式提升。
特征金字塔网络主要由自底向上模块、自顶向下模块和上采样模块三个模块构成。如图3所示，自底向上模块主要是卷积网络在图像最小尺度上的前向计算，其不同的特征层级影射图像的不同尺度，缩放步长为2.自顶向下模块则对更抽象、语义更强的高层特征图进行上采样，并通过横向连接将上采样结果和自底向上模块每层金字塔输出的相同大小的特征图进行融合。横向连接通过双线性插值上采用方法将低分辨率的特征图放大两倍，之后和自底向上模块输出的特征图按元素相加，生成最终的融合后的特征图。通过特征金字塔网络能够将图像低层次的定位信息丰富的特征与高层次语义强的特征融合，使网络检测的关键点定位更加精确。
金字塔特征融合是特征金字塔网络的改进，考虑到道路图像数据中存在不同分辨率的涉路目标实例，存在个别极端尺度实例影响训练，因此采用金字塔特征融合的方式对特征金字塔网络操作输出的所有特征层进行累加，通过这种方式可以融合各个距离的特征层；为了消除混叠效应，因此对累加结果求平均值，得出融合后的平均特征图；该过程考虑了各层的信息，保证了特征损失尽可能小。
金字塔特征融合的总体架构如图4所示，在特征金字塔网络结构后，输出了多个不同尺度的特征层，由于大小不同，这些特征图无法直接累加，因此所有图层首先都要转换为相同的大小，转换过程中要选择一个特征图层作为基准，通过插值和池化将其他图层缩放到其大小，使所有图层大小相同。之后便可进行上述的累加和求平均值的方法；为了消除噪声，捕获长距离相关性，还需通过对求得的平均特征进行提炼；最后，将融合后的特征图恢复到各特征层的原始尺寸，将特征金字塔网络输出的修改后的特征图与其相同尺寸的特征图再次进行累加，达到特征增强的效果。
在通过特征金字塔网络与金字塔特征融合的方式增强特征图效果后，为了进一步提高检测精度，采用网络级联策略串联多个Faster RCNN网络进行训练。
如图5所示，Cascade R-CNN网络在Faster RCNN的检测网络后增加若干个IOU阈值更高的检测网络，并且将这些检测网络进行级联；检测网络以固定的IOU阈值训练后获得的边界框比输入建议框更准确，即边界框的IOU高于原始输入区域建议框；同时，若输入区域建议框的IOU接近检测网络训练时设置的阈值，则模型对于目标的检测精度会更高。
Cascade R-CNN通过特征提取网络提取到的特征图，之后有RPN网络生成区域建议框，将这些区域建议框与特征图结合送入IOU阈值为0.5的分类回归网络，得到经过修正的边界框，之后将这些边界框送入IOU阈值更高的分类回归网络，得到更精确的边界框；本实施例中使用三层级联网络，IOU阈值分贝设置0.5、0.6、0.7，使本实施例的检测精度取得了进一步的提升。
根据上述模型所获得的的图像结果仍存在一定问题，异常类的检测精度式中提升不大。原因在于该类中包含难以分辨的涉路目标类，同时也包含易与涉路目标混淆的其他异常目标，网络无法学习到该类别的特征信息。
因此本实施例中提出异常检测网络，用以辅助分类器进行分类。当神经网络通过一系列隐藏层将输入x映射到输出y时，隐藏表示可以看作是动力******的状态，因此，可以对其常微分方程进行参数化，可定义一个动力学***，层间的传播可视为：
Xt+1＝Xt+f(Xt,t)
其中，t是层数，Xt是t层的隐藏状态。方程可重写为：
其中δt＝1。令δt→0，我们可以得到
因此，在传播的过程中可看做由f(xt,t)生成的一种连续动力***的离散化。这种方程能精确地评估隐含层状态，而且参数量小。
建立一个Neural Stochastic Differential Equation(Neural SDE)模型来描述一个随机动力***，而不是一个确定的***。在物理学中，布朗运动被广泛用于模拟运动原子或分子的随机性；类似的，Neural SDE模型的核心就是用布朗运动捕捉认知不确定性。将布朗运动加入公式就得到了Neural SDE动力***：
dxt＝f(xt,t)dt+g(xt,t)dWt
其中，g(xt,t)是布朗运动的幅度，表示动力***的认知不确定性，Wt是布朗运动，是由动力***所在的空间决定的。如果***处于训练数据丰富、认知不确定性低的空间内，布朗运动的方差会很小；如果***处于训练数据稀缺、认知不确定性高的区域内，布朗运动的方法就会很大；因此我们可以从最终的解XT的方差中得到认知不确定性估计。
如上所述，可以采用布朗运动来量化不确定性。为了使模型能够取得良好的预测精度，同时提供可靠的不确定性估计，采用SDE-Net模型，使用两个独立的神经网络来表示***的主流和发散。在SDE-Net模型中的主流网络f控制了***的预测精度，主流网络的另一个重要作用是捕获随机不确定性，通过将模型输出表示为概率分布来反应出不确定性，例如，分类问题中用多项分布，回归问题中用高斯分布。在SDE-Net模型中的发散网络g表示***的发散程度，***的发散程度应满足以下条件：1、对于原域数据(ID)，布朗运动的方差较小(低发散程度)，***状态被主流网络控制，输出方差应尽可能小；2、对于分布外的数据(OOD)，布朗运动的方法应该很大，***是混沌的(高发散程度)，在这种情况下，网络多出的输出的差异很大。基于以上需求，SDE-Net的目标函数定义为：
s.t.dxt＝fxt,t,fdt+gx0,gdWt
其中，L(·)是依赖于任务的损失函数，例如分类的交叉熵损失；T是随机过程的结束时间；PID是训练数据的分布,POOD是分布外数据。为了获得OOD数据，可对原域数据加上高斯噪声来获得噪声输入
另一种选择是使用不同的、真实的数据集作为OOD的一组样本，需要仔细地构建一个数据集以避免过度拟合。
与传统的神经网络不同，SDE-Net中每层的参数在层间都是共享的，可减少参数量并显著地减少内存。在目标函数中，发散网络的方差被简化为仅由起点X0而不是瞬时值Xt决定，这可以使优化过程更容易并且对结果没有影响。当SDE-Net模型训练完成，即可获得多个随机实现的SDE-Net模型，以获得样本
利用它们计算两种不确定性。
在分类问题中，随机不确定性通过分类的熵的期望得出：
在预测问题中，随机不确定性通过预测结果的方差的期望给出：
认知不确定性由最终解的方差νar(xT)给出，SDE-Net只训练一个神经SDE模型，并使用布朗运动来编码不确定性，因此需要更少的训练时间和GPU内存。
在涉路目标检测任务中，涉路目标可看做ID数据，在此检测任务中的异常目标(如行人、动物等)可看做OOD数据，使用SDE-Net模型来将涉路目标以外的目标分离出来。考虑到Faster RCNN网络的分段结构，因此仅需对网络最后的分类器进行调整，而不必改动网络的主体。
如图6所示，SDE-Net是一种特殊的动力***结构，在此次检测任务中可将它还原成普通网络结构，即取消迭代过程，而是向前不断延伸。
在训练师，如果检测框中的物体是涉路目标，那么同时优化网络的主体和发散模块，其中，网络主体按普通训练方法训练，发散模块将输出结果与0算交叉熵进行优化，若检测框中的物体不是涉路目标，则只优化发散模块，优化方式为将输出结果与1算交叉熵进行优化。
通过上述方法的配合，实现对涉路施工元素的检测任务，区分道路主体与障碍物，障碍物的分辨分为可移动与不可移动障碍物，以极低的时延性在分别道路主体与障碍物的同时减少内存消耗，实现对多场景路面图像的高性能目标检测。
以上对本发明的实施例进行了详细说明，但所述内容仅为本发明的较佳实施例，不能被认为用于限定本发明的实施范围。凡依本发明申请范围所作的均等变化与改进等，均应仍归属于本发明的专利涵盖范围之内。
Claims (9)
1.一种基于AI识别技术的涉路施工元素检测方法，其特征在于，所述方法的步骤包括：
采集道路图像并将Faster RCNN网络设置为基础网络结构，通过所述Faster RCNN网络可提取所述道路图像的特征形成特征图；
在所述Faster RCNN网络的基础结构上设置特征金字塔网络，所述特征金字塔网络可融合网络多尺度信息，增强所述特征图的表达能力；
使用网络级联RPN网络进行训练；
设置基于随机动力***模块的检测网络，通过所述基于动力***模块的检测网络筛选异常目标并应用布朗运动模拟道路产生的不确定因素；
建立SDE-Net模型配合所述动力***模块检测道路不确定因素；
基于所述SDE-Net模型设置检测器，通过所述检测器完成涉路目标的检测。
2.根据权利要求1所述的一种基于AI识别技术的涉路施工元素检测方法，其特征在于：所述Faster RCNN网络包括底部特征提取层、区域建议网络(RPN)与基于目标区域(ROI)的分类器；
所述区域建议网络可基于所述特征图建立检测候选框；
经过ROI池化层的候选框内的特征被传输至所述ROI分类器内。
3.根据权利要求1所述的一种基于AI识别技术的涉路施工元素检测方法，其特征在于：所述特征金字塔网络包括自底向上模块、自顶向下模块和上采样模块；
所述自底向上模块是卷积网络在图像最小尺度上的前向计算；
所述自顶向下模块可对高层特征图进行上采样，并通过横向连接将上采样结果和所述自底向上模块每层金字塔输出的相同大小特征图进行融合；
横向连接通过双线性插值上采样方法将低分辨率的特征图放大若干倍，之后与所述自底向上模块输出的特征图按元素相加，最终生成融合后的特征图。
4.根据权利要求1所述的一种基于AI识别技术的涉路施工元素检测方法，其特征在于：特征融合金字塔网络是所述特征金字塔网络的改进方法，通过对所述特征金字塔网络操作输出的所有特征层进行累加，可融合各尺度的特征层。
5.根据权利要求1所述的一种基于AI识别技术的涉路施工元素检测方法，其特征在于：所述设置基于动力***模块的检测网络，通过所述基于动力***模块的检测网络筛选异常目标并应用布朗运动模拟道路产生的不确定因素的步骤包括：
设置异常检测网络；
通过所述异常检测网络建立Neural SDE模型用于描述一个随机动力***；
将所述布朗运动加入所述Neural SDE模型得到Neural SDE动力***，所述Neural SDE动力***公式为：
dxt＝f(xt,t)dt+g(xt,t)dWt
其中，g(xt,t)是布朗运动的幅度，表示动力***的认知不确定性，Wt是布朗运动，是由动力***所在的空间决定的。
6.根据权利要求1所述的一种基于AI识别技术的涉路施工元素检测方法，其特征在于：所述建立SDE-Net模型配合所述动力***模块检测道路不确定因素的步骤包括：
建立SDE-Net模型，使用两个独立的神经网络来表示***的主流和发散；
在所述SDE-Net模型中的主流网络f控制***的预测精度；
在所述SDE-Net模型中的发散网络g表示***的发散程度；
设置所述SDE-Net的目标函数：
s.t.dxt＝fxt,t,fdt+gx0,gdWt
其中，L(·)是依赖于任务的损失函数，例如分类的交叉熵损失；T是随机过程的结束时间；PID是训练数据的分布,POOD是分布外数据。
7.一种基于AI识别技术的涉路施工元素检测***，包括：
图像提取模块，所述图像提取模块以Faster RCNN网络为基础网络结构，通过Faster的特征提取层可提取道路图像形成特征图；
图像增强模块，所述图像增强模块在所述Faster RCNN网络上设置Faster RCNN的特征提取器，通过所述金字塔特征融合的方式可增强图像特征；
训练模块，所述训练模块可使若干所述Faster RCNN网络通过网络级联串联并训练；
模拟模块，所述模拟模块设置基于动力***模块的检测网络，结合布朗运动可模拟道路不确定因素；
检测模块，所述检测模块建立SDE-Net模型并基于所述SDE-Net模型设置检测器，可结合所述基于动力***模块的检测网络进行道路检测。
8.一种电子设备，其特征在于：包括处理器和存储器，所述存储器上存储有计算机程序，所述计算机程序被所述处理器执行时，实现权利要求1-6中任一项所述的方法。
9.一种可读存储介质，其特征在于，所述可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时，实现权利要求1-6中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210983751.4A CN115527059B (zh) | 2022-08-16 | 2022-08-16 | 一种基于ai识别技术的涉路施工元素检测***及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210983751.4A CN115527059B (zh) | 2022-08-16 | 2022-08-16 | 一种基于ai识别技术的涉路施工元素检测***及方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115527059A true CN115527059A (zh) | 2022-12-27 |
| CN115527059B CN115527059B (zh) | 2024-04-09 |
Family
ID=84695621
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210983751.4A Active CN115527059B (zh) | 2022-08-16 | 2022-08-16 | 一种基于ai识别技术的涉路施工元素检测***及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115527059B (zh) |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112215128A (zh) * | 2020-10-09 | 2021-01-12 | 武汉理工大学 | 融合fcos的r-cnn城市道路环境识别方法及装置 |
| CN112365497A (zh) * | 2020-12-02 | 2021-02-12 | 上海卓繁信息技术股份有限公司 | 基于TridentNet和Cascade-RCNN结构的高速目标检测方法和*** |
| CN112927217A (zh) * | 2021-03-23 | 2021-06-08 | 内蒙古大学 | 一种基于目标检测的甲状腺结节侵袭性预测方法 |
| CN113435587A (zh) * | 2021-03-25 | 2021-09-24 | 北京瑞莱智慧科技有限公司 | 基于时间序列的任务量预测方法、装置、电子设备及介质 |
| US20220051053A1 (en) * | 2020-02-13 | 2022-02-17 | The United States Government As Represented By The Secretary Of The Navy | Noise-Driven Coupled Dynamic Pattern Recognition Device for Low Power Applications |
| CN114078106A (zh) * | 2020-08-06 | 2022-02-22 | 沈阳中科数控技术股份有限公司 | 基于改进Faster R-CNN的疵点检测方法 |
| CN114553721A (zh) * | 2022-01-25 | 2022-05-27 | 徐州工业职业技术学院 | 基于Mamdani模型的MISO模糊***预测重复网络行为的方法 |
| US11348269B1 (en) * | 2017-07-27 | 2022-05-31 | AI Incorporated | Method and apparatus for combining data to construct a floor plan |
| CN114627360A (zh) * | 2020-12-14 | 2022-06-14 | 国电南瑞科技股份有限公司 | 基于级联检测模型的变电站设备缺陷识别方法 |
-
2022
- 2022-08-16 CN CN202210983751.4A patent/CN115527059B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11348269B1 (en) * | 2017-07-27 | 2022-05-31 | AI Incorporated | Method and apparatus for combining data to construct a floor plan |
| US20220051053A1 (en) * | 2020-02-13 | 2022-02-17 | The United States Government As Represented By The Secretary Of The Navy | Noise-Driven Coupled Dynamic Pattern Recognition Device for Low Power Applications |
| CN114078106A (zh) * | 2020-08-06 | 2022-02-22 | 沈阳中科数控技术股份有限公司 | 基于改进Faster R-CNN的疵点检测方法 |
| CN112215128A (zh) * | 2020-10-09 | 2021-01-12 | 武汉理工大学 | 融合fcos的r-cnn城市道路环境识别方法及装置 |
| CN112365497A (zh) * | 2020-12-02 | 2021-02-12 | 上海卓繁信息技术股份有限公司 | 基于TridentNet和Cascade-RCNN结构的高速目标检测方法和*** |
| CN114627360A (zh) * | 2020-12-14 | 2022-06-14 | 国电南瑞科技股份有限公司 | 基于级联检测模型的变电站设备缺陷识别方法 |
| CN112927217A (zh) * | 2021-03-23 | 2021-06-08 | 内蒙古大学 | 一种基于目标检测的甲状腺结节侵袭性预测方法 |
| CN113435587A (zh) * | 2021-03-25 | 2021-09-24 | 北京瑞莱智慧科技有限公司 | 基于时间序列的任务量预测方法、装置、电子设备及介质 |
| CN114553721A (zh) * | 2022-01-25 | 2022-05-27 | 徐州工业职业技术学院 | 基于Mamdani模型的MISO模糊***预测重复网络行为的方法 |
Non-Patent Citations (1)
| Title |
|---|
| LINGKAI KONG 等: "SDE-Net: Equipping Deep Neural Networks with Uncertainty Estimates", 《2020 IEEE SIXTH INTERNATIONAL CONFERENCE ON BIG DATA COMPUTING SERVICE AND APPLICATIONS (BIGDATASERVICE)》, pages 3 - 7 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115527059B (zh) | 2024-04-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Li et al. | Real-time crash risk prediction on arterials based on LSTM-CNN | |
| CN109145939B (zh) | 一种小目标敏感的双通道卷积神经网络语义分割方法 | |
| CN108509978B (zh) | 基于cnn的多级特征融合的多类目标检测方法及模型 | |
| CN105550701B (zh) | 实时图像提取识别方法及装置 | |
| CN107609525B (zh) | 基于剪枝策略构建卷积神经网络的遥感图像目标检测方法 | |
| Chen et al. | Fast vehicle detection algorithm in traffic scene based on improved SSD | |
| US20220215227A1 (en) | Neural Architecture Search Method, Image Processing Method And Apparatus, And Storage Medium | |
| KR20180051335A (ko) | 신경망 학습에 기반한 입력 처리 방법 및 이를 위한 장치 | |
| CN111242071A (zh) | 一种基于锚框的注意力遥感图像目标检测方法 | |
| CN112434723B (zh) | 一种基于注意力网络的日/夜间图像分类及物体检测方法 | |
| CN113591617B (zh) | 基于深度学习的水面小目标检测与分类方法 | |
| Raparthi et al. | Machine Learning Based Deep Cloud Model to Enhance Robustness and Noise Interference | |
| CN111695447B (zh) | 一种基于孪生特征增强网络的道路可行驶区域检测方法 | |
| CN115424223A (zh) | 图神经网络训练方法、点云特征提取方法、设备及介质 | |
| Rajeswari et al. | Automatic road extraction based on level set, normalized cuts and mean shift methods | |
| Hao et al. | A road extraction method for remote sensing image based on encoder-decoder network | |
| Kapoor et al. | An intelligent railway surveillance framework based on recognition of object and railway track using deep learning | |
| Lee et al. | An edge detection–based eGAN model for connectivity in ambient intelligence environments | |
| CN115527059B (zh) | 一种基于ai识别技术的涉路施工元素检测***及方法 | |
| Yi et al. | End-to-end neural network for autonomous steering using lidar point cloud data | |
| Kajabad et al. | YOLOv4 for urban object detection: Case of electronic inventory in St. Petersburg | |
| CN116311387A (zh) | 一种基于特征交集的跨模态行人重识别方法 | |
| CN115810106A (zh) | 一种复杂环境下茶叶嫩梢品级精准识别方法 | |
| CN114495050A (zh) | 一种面向自动驾驶前向视觉检测的多任务集成检测方法 | |
| CN113269171B (zh) | 车道线检测方法、电子设备及车辆 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |