CN106874863A - 基于深度卷积神经网络的车辆违停逆行检测方法 - Google Patents
基于深度卷积神经网络的车辆违停逆行检测方法 Download PDFInfo
- Publication number
- CN106874863A CN106874863A CN201710059676.1A CN201710059676A CN106874863A CN 106874863 A CN106874863 A CN 106874863A CN 201710059676 A CN201710059676 A CN 201710059676A CN 106874863 A CN106874863 A CN 106874863A
- Authority
- CN
- China
- Prior art keywords
- road surface
- detection
- road
- vehicle
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 78
- 238000013527 convolutional neural network Methods 0.000 title claims abstract description 57
- 238000012549 training Methods 0.000 claims description 30
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 claims description 9
- 230000033001 locomotion Effects 0.000 claims description 7
- 239000000284 extract Substances 0.000 claims description 6
- 238000004458 analytical method Methods 0.000 claims description 5
- 238000006073 displacement reaction Methods 0.000 claims description 5
- 238000013459 approach Methods 0.000 claims description 4
- 230000003542 behavioural effect Effects 0.000 claims description 4
- 238000000605 extraction Methods 0.000 claims description 3
- 239000000203 mixture Substances 0.000 claims description 3
- 230000009471 action Effects 0.000 claims description 2
- 238000001914 filtration Methods 0.000 claims description 2
- 238000012360 testing method Methods 0.000 abstract description 7
- 230000008901 benefit Effects 0.000 abstract description 4
- 238000013135 deep learning Methods 0.000 abstract description 2
- 238000000034 method Methods 0.000 description 9
- 230000004913 activation Effects 0.000 description 8
- 239000011159 matrix material Substances 0.000 description 7
- 210000002569 neuron Anatomy 0.000 description 6
- 230000006870 function Effects 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 230000003068 static effect Effects 0.000 description 5
- 239000010426 asphalt Substances 0.000 description 3
- 230000006399 behavior Effects 0.000 description 3
- 210000004556 brain Anatomy 0.000 description 3
- 238000009795 derivation Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000012544 monitoring process Methods 0.000 description 3
- 230000001537 neural effect Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 230000007935 neutral effect Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 206010039203 Road traffic accident Diseases 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 239000012491 analyte Substances 0.000 description 1
- 230000002547 anomalous effect Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000004888 barrier function Effects 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000007418 data mining Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000003912 environmental pollution Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000006698 induction Effects 0.000 description 1
- 238000012886 linear function Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 210000004218 nerve net Anatomy 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000011897 real-time detection Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 239000010865 sewage Substances 0.000 description 1
- 230000000638 stimulation Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 210000000225 synapse Anatomy 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
- G06V20/54—Surveillance or monitoring of activities, e.g. for recognising suspicious objects of traffic, e.g. cars on the road, trains or boats
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Multimedia (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Software Systems (AREA)
- Computational Linguistics (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Evolutionary Biology (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Image Analysis (AREA)
- Traffic Control Systems (AREA)
Abstract
基于深度卷积神经网络的车辆违停逆行检测方法，用移动终端检测点作为道路摄像头，移动终端检测点通过摄像头获取图像信息，将深度学习引入路面事件识别并加以改进，以显著提高道路事件识别准确率。本发明利用卷积神经网络对获取的图像进行分析，将路面ROI区域划分为多个网络，构建路面—非路面识别模型，通过非路面网格反向识别高速公路非法停车、车辆逆向行驶等目标。本发明应用于路面违停检测、车辆逆行检测等非实时性任务，充分利用移动互联网的特点与优势，以低成本实现区域高覆盖率车辆违停和车辆逆行等路面事件检测。
Description
技术领域
本发明属于深度特征的视频检测技术领域，涉及路面事件的检测，基于Deep-CNN路面反向识别模型进行车辆违停或逆行检测，以及对检测结果的数据分析与数据挖掘，为一种基于深度卷积神经网络(Deep-CNN)的车辆违停逆行检测方法。
背景技术
道路事故，交通拥堵，环境污染是当今公路交通发展面临的普遍性难题。道路交通安全状况令人堪忧，道路信息化与智能交通***(Intelligent Transportation System，ITS)是提升道路设施利用效率，缓解交通堵塞，降低交通事故发生率的有效手段。通过计算机视觉技术实时感知道路车速、流量等交通流参数，提供实时路况，并结合历史数据对路网通行状态和出行时间进行预测，以自动视频分析代替人工监看，从海量视频中检测道路异常事件，包括路面遗留物检测、高速公路违法停检测等高危事件，对提高公路信息化水平和公众服务能力都具有非常重要的意义。
发明内容
本发明要解决的问题是：随着道路监控视频数量大幅攀升，仅依靠人工无法实现既有视频资源有效管理。通过计算机视频分析自动分析交通监控视频，提取交通参数，自动发现并主动上报异常事件，可大幅减少交通管理的人力成本，提高管理水平与事件应急响应能力。
本发明的技术方案为：基于深度卷积神经网络的车辆违停逆行检测方法，基于深度卷积神经网络Deep-CNN网络模型，Deep-CNN网络模型将路面感兴趣区域划分为多个网络，构建路面—非路面识别模型，通过非路面网格反向识别高速公路路面非法停车、逆行等目标，包括以下步骤：
Step1：路面模型训练，采集道路摄像头的视频图像，将视频窗口中路面的感兴趣区域ROI路面网格化分割成多个小块，标准化后作为Deep-CNN网络模型的训练集，训练时首先采用无监督方法训练获取图像特征，聚类后再设置标签，人工方式标记路面类型，区分路面与非路面，得到路面—非路面识别模型；
Step2：非路面前景模型训练，将被分为非路面的网格图片按连通区域组合成候选目标加入训练库，再次采用Deep-CNN网络模型进行训练，分级训练路面目标，所述路面目标包括车辆、路面遗留物和行人，得到前景识别模型；
Step3：前景目标检测，在step1及step2的识别模型基础上，对实时视频图像使用Deep-CNN网络模型和SVM分类器实现前景目标的检测与分类，先识别路面非路面，再识别出前景目标的类型；
Step4：行为分析，在前景目标分类识别基础上，根据前景目标在视频图像序列中的上下文信息，进行道路事件车辆违停逆行检测识别，设与分别为T0与T0+t时刻的第k个前景候选目标的位置，计算前景候选目标在图像区域位移的欧氏距离 获取第k个前景候选目标运动状态与方向，进一步确定目标是否存在停止或逆行状态。
所述的车辆违停或逆行检测具体为：
Step1.1：对实时视频图像中的路面设置禁止区域ROI禁，视频窗口图像网格化后，根据路面—非路面识别模型进行分类；
Step1.2：连通ROI禁区域内非路面网格图片Ii,j，生成候选目标Ok；
Step1.3：对候选目标Ok分类识别，如果为车，则锁定为车辆目标；
Step1.4：计算初始时刻T0与t时刻后T0+t之间车辆目标位移距离与方向，和正常道路车辆方向进行对比；
Step1.5：判定车辆违停或逆行行为。
进一步的，Step1和Step2具体为：
1)设置感兴趣区域ROI路面：采集道路或街景监控器的视频图像，获得道路或街景视频帧图像，根据实际的道路或街景状况，在当前帧图像上提取关注区域的边界对角4个点，对所提取的点进行直线拟合计算，形成叉形结构，叉形结构内作为检测的兴趣域ROI路面，也就是有效检测区域；
2)非检测区域漫水填充：非ROI路面为非监测区域，进行漫水填充处理，填充后，落在ROI路面区域外的网格图片像素均值为0，直接滤除不再进行后续处理；
3)检测区域ROI路面网格化分块，网格图片经Deep-CNN分类结果为路面或非路面，将ROI路面的分块中非路面的网格图片连起来，记为Ip,q，即路面，Ip,q组成候选目标，送入分类器，分类为车辆、行人或路面遗留物。
本发明充分利用现有视频监控设施和海量视频数据，可最大限度节省硬件投入，获得更丰富直观的交通数据，满***通管理与公众服务的数据/信息需求。
本发明建立了基于Deep-CNN的反向路面识别模型，利用Deep-CNN路面模型解决移动摄像机与图像目标检测，应用于车辆违停检测、逆行检测等任务。与地感线圈、雷达等传统技术相比，监控视频含有路面、车辆、路面遗留物等图像信息，通过CNN神经网络提取上述特征并基于Deep-CNN检测路面车辆违停、逆行等异常事件信息，识别道路事故并及时发送图文报警，提供比传统车检设备更丰富的道路事件信息。
本发明在监测区域大范围部署移动终端，形成移动终端检测点，通过移动通信设备或道路监控进行交互式标定，确定摄像头参数后，使用摄像头采集图像，利用CNN神经网络对采集的图像作进一步分析，获得当前每个图像的ROI数据，将路面ROI区域划分为多个网络，构建路面—非路面识别模型，通过非路面网格反向识别非法停车、逆向行驶等目标。
本发明移动终端检测点为道路摄像头，自身价格低廉，充分利用移动互联网优势，不需要昂贵的监测仪器设备，只需道路上现成的摄像头，可大范围部署，现场检测路面信息通过移动互联网传输至服务器。充分利用移动互联网的特点与优势，以低成本实现区域高覆盖率路面事件检测。
附图说明
图1为本发明基于Deep-CNN反向识别路面事件检测流程图
图2为本发明使用的Deep-CNN模型原理。(a)Softplus与ReLU激活函数(b)Deep-CNN网络结构。
图3为本发明Deep-CNN路面识别模型检测图。(a)ROI检测区域划分(b)漫水法填充清除非ROI区域像素(c)网格化Deep-CNN输入及目标检测。
图4为本发明移动终端单帧照片路面检测训练图。(a)手持移动终端照片(b)车道ROI区域路面检测效果。
图5为本发明实施的选取江苏省宁连高速公路场景进行基于Deep-CNN路面反向识别模型禁区违停、逆行检测效果图(a)路面ROI(b)违停检测(c)逆行检测(d)逆行检测。
具体实施方式
本发明将深度学习引入路面事件识别并加以改进，可显著提高道路事件识别准确度。考虑到车辆为静态目标，而传统背景建模方法不适用于静态目标检测，以及路面遗留物难以使用先验模型构造训练集，使得同样作为静态目标的路面遗留物会与违停车辆混淆的情况。本发明建立了基于深度卷积神经网络Deep-CNN的路面反向识别模型，移动终端检测点为道路摄像头，移动终端检测点通过摄像头获取图像信息，利用CNN神经网络对获取的图像进行分析，将路面ROI区域划分为多个网络，构建路面—非路面识别模型，通过非路面网格反向识别非法停车和逆向行驶。
本发明构建了基于Deep-CNN网络的分层道路事件识别框架：
其基本思想是分层识别，通过路面—非路面识别，进而反向识别路面目标物，路面反向识别过程为：
首先进行路面模型训练，将视频窗口的感兴趣区域(Region of Interest,ROI)网格化分割成多个小块，标准化后作为Deep-CNN网络的训练集，考虑到路面模型由路面沥青、路面车道、护栏等组成，图像外观差异较大，强制标注为单独一类容易引起过拟合，故而采用无监督方法训练获取图像特征，聚类后再以多类标签人工方式标记路面，保证准确区分路面与非路面。
然后进行非路面前景模型训练，将被分为非路面的网格图片块按连通区域组合成候选目标加入训练库，再次Deep-CNN网络训练，分级训练路面目标，包括车辆、路面遗留物、行人等。
对道路进行实时检测时，首先进行前景目标检测，在之前的路面识别模型基础上实现运动与静态前景目标检测与分类。
最后进行行为分析，在前景目标检测基础上，根据目标在视频图像序列中的上下文信息，进行车辆违停检测、车辆逆行检测。
所述的车辆违停检测和逆行检测具体实现于以下步骤：
Step1.1：对实时视频图像中的路面设置禁止区域ROI禁，视频窗口图像网格化后，根据路面—非路面识别模型进行分类；
Step1.2：连通ROI禁区域内非路面网格图片Ii,j，生成候选目标Ok；
Step1.3：对候选目标Ok分类识别，如果为车，则锁定为车辆目标；
Step1.4：计算初始时刻T0与t时刻后T0+t之间车辆目标位移距离与方向，和正常道路车辆方向进行对比；
Step1.5：判定车辆违停或逆行行为。
下面通过具体实施例进一步说明本发明的实施。
本发明的流程示意图如图1所示，通过移动终端道路摄像机获取视频图片，进行CNN处理训练分类进行路面事件检测：
Step1：路面模型训练，将视频窗口的感兴趣区域(Region of Interest,ROI)分割成多个小块，标准化后作为Deep-CNN网络的训练集，考虑到路面模型由路面沥青、路面车道、护栏等组成，图像外观差异较大，强制标注为单独一类容易引起过拟合，故而采用无监督方法训练获取图像特征，聚类后再以多类标签人工方式标记路面，保证准确区分路面与非路面；
Step2：非路面前景模型训练，将被分为非路面的分割小块按连通区域组合成候选目标加入训练库，再次Deep-CNN网络训练，分级训练路面目标，包括车辆、路面遗留物、行人等；
Step3：前景目标检测，在step1、step2路面识别模型基础上实现运动与静态前景目标检测与分类；
Step4：行为分析，在前景目标分类识别基础上，根据上下文信息，进行道路事件识别，包括车辆违停检测、车辆逆行检测。
深度卷积神经网络Deep-CNN的网络模型原理如图2所示，包括：
1)类生物神经激活函数：
神经科学家认为人脑信号接收过程实质上是神经触突对外界输入信号的激活响应，神经元结点兴奋可以看作一次函数激活，对外界刺激做出反映结点值为1，否则为0。对脑电波受输入刺激的能量测量实验发现，外界刺激与神经元结点响应的模式是稀疏的，即大量刺激信号下只有一部分神经元结点是激活的，接收到外界信息同一时间只有约1％～4％的神经元处于活跃状态。2001年，神经科学家Dayan和Abott从生物学角度，提出模拟出了脑神经元信号接受与激活响应模型。为了便于计算，Glorot等人提出了适应于机器学习多层神经网络的校正非线性激活函数Softplus，近似替代神经元模型。
Softplus函数定义为：
SortPlus(x)＝log(1+exp(x)) (1)
校正线性激活函数(Rectified Linear Units，ReLU)是Softplus的线性简化版本，定义为：
ReLU(x)＝max(0，x) (2)
ReLU函数求导非常简单，当x>0时导数为1，否则为0，求导公式为可表示为：
Softplus与ReLU激活函数的曲线分布如图2(a)
2)网络结构
图2(b)为多层CNN网络结构包含输入层、隐含层和输出层等基本层次，隐含层由多个卷积—池化子层叠加而成，上一层的输出作为下一层的输入。每次卷积计算后使用ReLU函数激活结点，由于ReLU函数的求导特征，初始值经过ReLU梯度计算后部分结点的权值被置为0，这被分0值权重的部分结点不被激活，使得网络结构具有稀疏性。稀疏性网络结构符合生物神经的本质，在数学计算中也具有实际优势，如减少参数复杂度，提高运算效率，并可以有效防止过拟合现象发生。
整个过程包括以下具体操作：
基于Caffe实现提出的Deep-CNN路面识别模型，以路面模型反向提取候选目标，分类后实现违停检测和逆行检测等功能。
假设输入图像尺寸为w×h，使用步长s将图像网格化为(w/s)×(h/s)个小块，表示成矩阵序列Aij(i＝1,2,3…w/s；j＝1,2,3…h/s)，步长s的像素宽度约为车道的1/4宽度。
检测兴趣区域ROI路面为点{x1，y1；x2，y2；x3，y3；x4.y4；x1，y1}围成的封闭检测区域，则AROI∈ROI路面为检测区域内矩阵网格。
将路面模型的AROI图像块送入Deep-CNN训练，使用无监督方法，提取路面模块特征后进行聚类，将路面聚类为沥青表面、车道线标记、护栏等子类型，标记为“路面1”～“路面n”(n<4)。为提高路面模型样本覆盖，网格化图像过程采用向下、向右偏移部分像素采样方法，共得到3×(w/s)×(h/s)个路面样本。
输入图像网格化后，构造对应分类矩阵，位于路面非检测区域的网格图片直接使用漫水法将像素置为0，非覆没区网格矩阵初始化为-1，检测区域网格图像块由Deep-CNN路面模型分类后，输出分类结果矩阵
由于难以使用先验知识构建路面遗留物经验模型，本发明采用路面—非路识别，反向实现前景检测与分类。提取前景由CROI＝1的连通矩阵子块构成候选目标，使用Deep-CNN目标网络将前景聚类为车辆、行人、其他目标(可能为路面遗留物)。
图3演示了Deep-CNN路面模型实现过程，图3(a)中标注了兴趣域，即检测区域，使用4个顶点生成封闭的ROI检测区，图3(b)为非检测区漫水填充，漫水法填充后，网格图片块Ii,j落在ROI区域外的网格图片像素均值为0，可在送入Deep-CNN前直接过滤。检测区ROI图片块经Deep-CNN分类结果为路面或非路面。将ROI路面的分块中非路面的网格图片连起来，记为Ip,q，即路面，如图3(c)加粗标记区域所示，Ip,q组成候选目标，送入分类器，分类为车辆、行人或其他不明确目标(即路面遗留物)。
设与分别为T0与T0+t时刻的第k个前景候选目标的位置，计算前景候选目标在图像区域位移的欧氏距离获取第k个前景候选目标运动状态与方向，进一步确定目标是否存在停止或逆行状态。
图4演示了手持终端移动照片路面检测情况，图4(a)为原始照片，使用车道线直线检测提取ROI检测区域，并将非ROI区域使用漫水法填充为黑色，以减轻分类器负担，如图4(b)所示，路面下水井盖，立锥路障，减速带都被检测成非路面。对常规路面设施，如井盖、路障等，可提取前景图像至训练样本集中直接训练检测模型。
基于上述模型，图5(b)、(c)、(d)分别实现了禁区违停检测、车辆逆行检测、车辆逆行检测。
高速公路匝道出口停车或逆行、应急车道停车等行为易造成安全隐患，图5演示了Deep-CNN禁区停车检测模型实现。在路面中划出禁区ROI禁，如出口匝道分道口前端鱼骨斑马线与应急车道等区域，将检测区域图像网格AROI送入Deep-CNN路面模型训练，生成禁区路面模板，如图5(a)所示。将检出的前景目标区域再次由Deep-CNN前景分类器识别出车辆。以车辆目标跨越网格矩阵行数Mrow为位移阈值，假设目标在间隔时间t内运动跟踪小于设定阈值，则判定为停车，否则计算车移动距离与方向，如运动方向dirctv与行车方向dirctflow相反，则判定为逆行，图5(b)～(d)分别为停车与逆行检测。其中违停阈值为t>20S(500帧)，Mrow<3，逆行阈值Mrow>＝3，运动方向为dirctv＝-dirctflow。
Claims (3)
1.基于深度卷积神经网络的车辆违停逆行检测方法，其特征是基于深度卷积神经网络Deep-CNN网络模型，Deep-CNN网络模型将路面感兴趣区域划分为多个网络，构建路面—非路面识别模型，通过非路面网格反向识别非法停车或逆行等目标，包括以下步骤：
Step1：路面模型训练，采集道路摄像头的视频图像，将视频窗口中路面的感兴趣区域ROI路面网格化分割成多个小块，标准化后作为Deep-CNN网络模型的训练集，训练时首先采用无监督方法训练获取图像特征，聚类后再设置标签，人工方式标记路面类型，区分路面与非路面，得到路面—非路面识别模型；
Step2：非路面前景模型训练，将被分为非路面的网格图片按连通区域组合成候选目标加入训练库，再次采用Deep-CNN网络模型进行训练，分级训练路面目标，所述路面目标包括车辆、路面遗留物和行人，得到前景识别模型；
Step3：前景目标检测，在step1及step2的识别模型基础上，对实时视频图像使用Deep-CNN网络模型和SVM分类器实现前景目标的检测与分类，先识别路面非路面，再识别出前景目标的类型；
Step4：行为分析，在前景目标分类识别基础上，根据前景目标在视频图像序列中的上下文信息，进行道路事件车辆违停逆行检测识别，设与分别为T0与T0+t时刻的第k个前景候选目标的位置，计算前景候选目标在图像区域位移的欧氏距离 获取第k个前景候选目标运动状态与方向，进一步确定目标是否存在停止或逆行状态。
2.根据权利要求1所述的基于深度卷积神经网络的车辆违停逆行检测方法，其特征是所述的车辆违停或逆行检测具体为：
Step1.1：对实时视频图像中的路面设置禁止区域ROI禁，视频窗口图像网格化后，根据路面—非路面识别模型进行分类；
Step1.2：连通ROI禁区域内非路面网格图片Ii,j，生成候选目标Ok；
Step1.3：对候选目标Ok分类识别，如果为车，则锁定为车辆目标；
Step1.4：计算初始时刻T0与t时刻后T0+t之间车辆目标位移距离与方向，和正常道路车辆方向进行对比；
Step1.5：判定车辆违停或逆行行为。
3.根据权利要求1所述的基于深度卷积神经网络的车辆违停逆行检测方法，其特征是Step1和Step2具体为：
1)设置感兴趣区域ROI路面：采集道路或街景监控器的视频图像，获得道路或街景视频帧图像，根据实际的道路或街景状况，在当前帧图像上提取关注区域的边界对角4个点，对所提取的点进行直线拟合计算，形成叉形结构，叉形结构内作为检测的兴趣域ROI路面，也就是有效检测区域；
2)非检测区域漫水填充：非ROI路面为非监测区域，进行漫水填充处理，填充后，落在ROI路面区域外的网格图片像素均值为0，直接滤除不再进行后续处理；
3)检测区域ROI路面网格化分块，网格图片经Deep-CNN分类结果为路面或非路面，将ROI路面的分块中非路面的网格图片连起来，记为Ip,q，即Ip,q组成候选目标，送入分类器，分类为车辆、行人或路面遗留物。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710059676.1A CN106874863B (zh) | 2017-01-24 | 2017-01-24 | 基于深度卷积神经网络的车辆违停逆行检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710059676.1A CN106874863B (zh) | 2017-01-24 | 2017-01-24 | 基于深度卷积神经网络的车辆违停逆行检测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN106874863A true CN106874863A (zh) | 2017-06-20 |
| CN106874863B CN106874863B (zh) | 2020-02-07 |
Family
ID=59159242
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710059676.1A Active CN106874863B (zh) | 2017-01-24 | 2017-01-24 | 基于深度卷积神经网络的车辆违停逆行检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN106874863B (zh) |
Cited By (26)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107491765A (zh) * | 2017-08-29 | 2017-12-19 | 张羽 | 一种共享单车及其停车识别装置和*** |
| CN108256554A (zh) * | 2017-12-20 | 2018-07-06 | 深圳市金溢科技股份有限公司 | 基于深度学习的车辆逆向停车判断方法、服务器及*** |
| CN109063612A (zh) * | 2018-07-19 | 2018-12-21 | 中智城信息技术有限公司 | 城市智能红线管理方法及机器可读存储介质 |
| CN109493606A (zh) * | 2017-09-11 | 2019-03-19 | ***通信集团浙江有限公司 | 一种高速公路上违停车辆的识别方法及*** |
| CN109523570A (zh) * | 2017-09-20 | 2019-03-26 | 杭州海康威视数字技术股份有限公司 | 运动参数计算方法及装置 |
| CN109670404A (zh) * | 2018-11-23 | 2019-04-23 | 江苏理工学院 | 一种基于混合模型的道路积水图像检测预警方法 |
| CN109815831A (zh) * | 2018-12-28 | 2019-05-28 | 东软睿驰汽车技术（沈阳）有限公司 | 一种车辆朝向获取方法及相关装置 |
| CN109887281A (zh) * | 2019-03-01 | 2019-06-14 | 北京云星宇交通科技股份有限公司 | 一种监控交通事件的方法及*** |
| CN109919053A (zh) * | 2019-02-24 | 2019-06-21 | 太原理工大学 | 一种基于监控视频的深度学习车辆停车检测方法 |
| CN109949578A (zh) * | 2018-12-31 | 2019-06-28 | 上海眼控科技股份有限公司 | 一种基于深度学习的车辆压线违法自动审核方法 |
| WO2019175686A1 (en) * | 2018-03-12 | 2019-09-19 | Ratti Jayant | On-demand artificial intelligence and roadway stewardship system |
| CN110399803A (zh) * | 2019-07-01 | 2019-11-01 | 北京邮电大学 | 一种车辆检测方法及装置 |
| CN110555347A (zh) * | 2018-06-01 | 2019-12-10 | 杭州海康威视数字技术股份有限公司 | 具有危险载货行为的车辆目标识别方法、装置及电子设备 |
| CN110619750A (zh) * | 2019-08-15 | 2019-12-27 | 重庆特斯联智慧科技股份有限公司 | 面向违停车辆的智能航拍识别方法及*** |
| CN110929676A (zh) * | 2019-12-04 | 2020-03-27 | 浙江工业大学 | 一种基于深度学习的违章掉头实时检测方法 |
| CN111126171A (zh) * | 2019-12-04 | 2020-05-08 | 江西洪都航空工业集团有限责任公司 | 一种车辆逆行检测方法及*** |
| CN111178215A (zh) * | 2019-12-23 | 2020-05-19 | 深圳成谷科技有限公司 | 一种传感器数据融合处理的方法和装置 |
| CN111209880A (zh) * | 2020-01-13 | 2020-05-29 | 南京新一代人工智能研究院有限公司 | 车辆行为识别方法、装置 |
| CN111368687A (zh) * | 2020-02-28 | 2020-07-03 | 成都市微泊科技有限公司 | 一种基于目标检测和语义分割的人行道车辆违停检测方法 |
| CN112085952A (zh) * | 2020-09-07 | 2020-12-15 | 平安科技（深圳）有限公司 | 监控车辆数据方法、装置、计算机设备及存储介质 |
| CN112270668A (zh) * | 2020-11-06 | 2021-01-26 | 南京斌之志网络科技有限公司 | 垂吊线缆检测方法、***和电子设备 |
| WO2021027569A1 (zh) * | 2019-08-14 | 2021-02-18 | 平安国际智慧城市科技股份有限公司 | 执法分析方法、装置、电子设备及存储介质 |
| CN113327414A (zh) * | 2020-02-28 | 2021-08-31 | 深圳市丰驰顺行信息技术有限公司 | 车辆逆行检测方法、装置、计算机设备和存储介质 |
| CN113378642A (zh) * | 2021-05-12 | 2021-09-10 | 三峡大学 | 一种对农村违法占地建筑物进行检测的方法 |
| CN114360209A (zh) * | 2022-01-17 | 2022-04-15 | 常州信息职业技术学院 | 基于深度学习的视频行为识别安防*** |
| CN115984221A (zh) * | 2023-01-03 | 2023-04-18 | 广州新粤交通技术有限公司 | 一种道路标线修复识别方法、装置、设备及其存储介质 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101937614A (zh) * | 2010-06-12 | 2011-01-05 | 北京中科卓视科技有限责任公司 | 一种即插即用的交通综合检测*** |
| CN102184547A (zh) * | 2011-03-28 | 2011-09-14 | 长安大学 | 一种基于视频的车辆逆行事件检测方法 |
| US20120148092A1 (en) * | 2010-12-09 | 2012-06-14 | Gorilla Technology Inc. | Automatic traffic violation detection system and method of the same |
| CN104809443A (zh) * | 2015-05-05 | 2015-07-29 | 上海交通大学 | 基于卷积神经网络的车牌检测方法及*** |
| CN104809470A (zh) * | 2015-04-23 | 2015-07-29 | 杭州中威电子股份有限公司 | 一种基于svm的车辆逆行检测装置和检测方法 |
| CN105185108A (zh) * | 2015-08-06 | 2015-12-23 | 苏州市世跃智能科技有限公司 | 一种黄网格线违法停车自动抓拍*** |
| US20160307071A1 (en) * | 2015-04-20 | 2016-10-20 | Xerox Corporation | Fisher vectors meet neural networks: a hybrid visual classification architecture |
-
2017
- 2017-01-24 CN CN201710059676.1A patent/CN106874863B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101937614A (zh) * | 2010-06-12 | 2011-01-05 | 北京中科卓视科技有限责任公司 | 一种即插即用的交通综合检测*** |
| US20120148092A1 (en) * | 2010-12-09 | 2012-06-14 | Gorilla Technology Inc. | Automatic traffic violation detection system and method of the same |
| CN102184547A (zh) * | 2011-03-28 | 2011-09-14 | 长安大学 | 一种基于视频的车辆逆行事件检测方法 |
| US20160307071A1 (en) * | 2015-04-20 | 2016-10-20 | Xerox Corporation | Fisher vectors meet neural networks: a hybrid visual classification architecture |
| CN104809470A (zh) * | 2015-04-23 | 2015-07-29 | 杭州中威电子股份有限公司 | 一种基于svm的车辆逆行检测装置和检测方法 |
| CN104809443A (zh) * | 2015-05-05 | 2015-07-29 | 上海交通大学 | 基于卷积神经网络的车牌检测方法及*** |
| CN105185108A (zh) * | 2015-08-06 | 2015-12-23 | 苏州市世跃智能科技有限公司 | 一种黄网格线违法停车自动抓拍*** |
Non-Patent Citations (2)
| Title |
|---|
| CHRISTOPHER J.HOLDER ET AL.: "From On-Road to Off:Transfer Learning Within a Deep Convolutional Neural Network for Segmentation and Classification of Off-Road Scenes", 《EUROPEAN CONFERENCE ON COMPUTER VISION》 * |
| 刘占文 等: "基于图模型与卷积神经网络的交通标志识别方法", 《交通运输工程学报》 * |
Cited By (35)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107491765A (zh) * | 2017-08-29 | 2017-12-19 | 张羽 | 一种共享单车及其停车识别装置和*** |
| CN109493606A (zh) * | 2017-09-11 | 2019-03-19 | ***通信集团浙江有限公司 | 一种高速公路上违停车辆的识别方法及*** |
| CN109523570A (zh) * | 2017-09-20 | 2019-03-26 | 杭州海康威视数字技术股份有限公司 | 运动参数计算方法及装置 |
| CN109523570B (zh) * | 2017-09-20 | 2021-01-22 | 杭州海康威视数字技术股份有限公司 | 运动参数计算方法及装置 |
| CN108256554A (zh) * | 2017-12-20 | 2018-07-06 | 深圳市金溢科技股份有限公司 | 基于深度学习的车辆逆向停车判断方法、服务器及*** |
| WO2019175686A1 (en) * | 2018-03-12 | 2019-09-19 | Ratti Jayant | On-demand artificial intelligence and roadway stewardship system |
| CN110555347A (zh) * | 2018-06-01 | 2019-12-10 | 杭州海康威视数字技术股份有限公司 | 具有危险载货行为的车辆目标识别方法、装置及电子设备 |
| CN109063612A (zh) * | 2018-07-19 | 2018-12-21 | 中智城信息技术有限公司 | 城市智能红线管理方法及机器可读存储介质 |
| CN109670404A (zh) * | 2018-11-23 | 2019-04-23 | 江苏理工学院 | 一种基于混合模型的道路积水图像检测预警方法 |
| CN109670404B (zh) * | 2018-11-23 | 2023-07-11 | 江苏理工学院 | 一种基于混合模型的道路积水图像检测预警方法 |
| CN109815831A (zh) * | 2018-12-28 | 2019-05-28 | 东软睿驰汽车技术（沈阳）有限公司 | 一种车辆朝向获取方法及相关装置 |
| CN109815831B (zh) * | 2018-12-28 | 2021-03-23 | 东软睿驰汽车技术（沈阳）有限公司 | 一种车辆朝向获取方法及相关装置 |
| CN109949578A (zh) * | 2018-12-31 | 2019-06-28 | 上海眼控科技股份有限公司 | 一种基于深度学习的车辆压线违法自动审核方法 |
| CN109919053A (zh) * | 2019-02-24 | 2019-06-21 | 太原理工大学 | 一种基于监控视频的深度学习车辆停车检测方法 |
| CN109887281A (zh) * | 2019-03-01 | 2019-06-14 | 北京云星宇交通科技股份有限公司 | 一种监控交通事件的方法及*** |
| CN110399803A (zh) * | 2019-07-01 | 2019-11-01 | 北京邮电大学 | 一种车辆检测方法及装置 |
| WO2021027569A1 (zh) * | 2019-08-14 | 2021-02-18 | 平安国际智慧城市科技股份有限公司 | 执法分析方法、装置、电子设备及存储介质 |
| CN110619750B (zh) * | 2019-08-15 | 2020-09-11 | 重庆特斯联智慧科技股份有限公司 | 面向违停车辆的智能航拍识别方法及*** |
| CN110619750A (zh) * | 2019-08-15 | 2019-12-27 | 重庆特斯联智慧科技股份有限公司 | 面向违停车辆的智能航拍识别方法及*** |
| CN111126171A (zh) * | 2019-12-04 | 2020-05-08 | 江西洪都航空工业集团有限责任公司 | 一种车辆逆行检测方法及*** |
| CN110929676A (zh) * | 2019-12-04 | 2020-03-27 | 浙江工业大学 | 一种基于深度学习的违章掉头实时检测方法 |
| CN111178215A (zh) * | 2019-12-23 | 2020-05-19 | 深圳成谷科技有限公司 | 一种传感器数据融合处理的方法和装置 |
| CN111178215B (zh) * | 2019-12-23 | 2024-03-08 | 深圳成谷科技有限公司 | 一种传感器数据融合处理的方法和装置 |
| CN111209880A (zh) * | 2020-01-13 | 2020-05-29 | 南京新一代人工智能研究院有限公司 | 车辆行为识别方法、装置 |
| CN113327414A (zh) * | 2020-02-28 | 2021-08-31 | 深圳市丰驰顺行信息技术有限公司 | 车辆逆行检测方法、装置、计算机设备和存储介质 |
| CN111368687A (zh) * | 2020-02-28 | 2020-07-03 | 成都市微泊科技有限公司 | 一种基于目标检测和语义分割的人行道车辆违停检测方法 |
| CN112085952A (zh) * | 2020-09-07 | 2020-12-15 | 平安科技（深圳）有限公司 | 监控车辆数据方法、装置、计算机设备及存储介质 |
| CN112085952B (zh) * | 2020-09-07 | 2022-06-03 | 平安科技（深圳）有限公司 | 监控车辆数据方法、装置、计算机设备及存储介质 |
| CN112270668A (zh) * | 2020-11-06 | 2021-01-26 | 南京斌之志网络科技有限公司 | 垂吊线缆检测方法、***和电子设备 |
| CN112270668B (zh) * | 2020-11-06 | 2021-09-21 | 威海世一电子有限公司 | 垂吊线缆检测方法、***和电子设备 |
| CN113378642A (zh) * | 2021-05-12 | 2021-09-10 | 三峡大学 | 一种对农村违法占地建筑物进行检测的方法 |
| CN114360209B (zh) * | 2022-01-17 | 2023-06-23 | 常州信息职业技术学院 | 基于深度学习的视频行为识别安防*** |
| CN114360209A (zh) * | 2022-01-17 | 2022-04-15 | 常州信息职业技术学院 | 基于深度学习的视频行为识别安防*** |
| CN115984221A (zh) * | 2023-01-03 | 2023-04-18 | 广州新粤交通技术有限公司 | 一种道路标线修复识别方法、装置、设备及其存储介质 |
| CN115984221B (zh) * | 2023-01-03 | 2023-08-04 | 广州新粤交通技术有限公司 | 一种道路标线修复识别方法、装置、设备及其存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN106874863B (zh) | 2020-02-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106874863A (zh) | 基于深度卷积神经网络的车辆违停逆行检测方法 | |
| CN106845424A (zh) | 基于深度卷积网络的路面遗留物检测方法 | |
| KR102197946B1 (ko) | 딥러닝 인공지능 기술을 이용한 객체인식 및 카운팅 방법 | |
| WO2022126669A1 (zh) | 一种基于视频行人识别的地铁人流网络融合方法及人流预测方法 | |
| CN106023605B (zh) | 一种基于深度卷积神经网络的交通信号灯控制方法 | |
| CN101577812B (zh) | 一种岗位监测的方法和*** | |
| CN109326124A (zh) | 一种基于机器视觉的城市环境停放车辆行为识别*** | |
| Ren et al. | Detecting and positioning of traffic incidents via video‐based analysis of traffic states in a road segment | |
| CN109670404A (zh) | 一种基于混合模型的道路积水图像检测预警方法 | |
| CN103985182B (zh) | 一种公交客流自动计数方法及自动计数*** | |
| CN106373426A (zh) | 基于计算机视觉的停车位及违规占道停车监控方法 | |
| CN103986910A (zh) | 一种基于智能分析摄像机的客流统计方法和*** | |
| CN109637151A (zh) | 一种高速公路应急车道违章行驶的识别方法 | |
| CN103914688A (zh) | 一种城市道路障碍物识别*** | |
| CN105070053A (zh) | 一种识别车辆违规运动模式的智能交通监控摄像机 | |
| CN105930800A (zh) | 一种车道线检测方法及装置 | |
| CN103208190B (zh) | 基于对象检测的交通流量检测方法 | |
| CN105608889B (zh) | 一种车辆停留分析方法 | |
| CN109191830A (zh) | 一种基于视频图像处理的道路拥堵检测方法 | |
| CN104320617A (zh) | 一种基于深度学习的全天候视频监控方法 | |
| CN114267082B (zh) | 基于深度理解的桥侧坠落行为识别方法 | |
| CN104134067A (zh) | 基于智能视觉物联网的道路车辆监控*** | |
| CN109410583A (zh) | 基于行车记录仪的交通信息采集及分析***及运行方法 | |
| Bharadwaj et al. | Traffic data analysis using image processing technique on Delhi–Gurgaon expressway | |
| CN113450573A (zh) | 基于无人机图像识别的交通监测方法和交通监测*** |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |