CN109492552A - 一种道路遗撒物体检测方法、装置、设备及可读存储介质 - Google Patents

一种道路遗撒物体检测方法、装置、设备及可读存储介质 Download PDF

Info

Publication number
CN109492552A
CN109492552A CN201811253027.6A CN201811253027A CN109492552A CN 109492552 A CN109492552 A CN 109492552A CN 201811253027 A CN201811253027 A CN 201811253027A CN 109492552 A CN109492552 A CN 109492552A
Authority
CN
China
Prior art keywords
image
binaryzation
delay
instant
convolutional neural
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811253027.6A
Other languages
English (en)
Inventor
宋彬
孙峰瑶
康煦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xidian University
Original Assignee
Xidian University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xidian University filed Critical Xidian University
Priority to CN201811253027.6A priority Critical patent/CN109492552A/zh
Publication of CN109492552A publication Critical patent/CN109492552A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24147—Distances to closest patterns, e.g. nearest neighbour classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

本发明适用于图像处理技术领域，提供了一种道路遗撒物体检测方法、装置、设备及可读存储介质，其中，所述方法包括：根据K近邻方法对监控视频进行自适应背景建模，获得即时背景模型和延时背景模型；训练并构建深度卷积神经网络模型；将待检测视频分别送入所述即时背景模型和延时背景模型中，获取与视频帧对应的二值化即时掩膜图像和二值化延时掩膜图像，进而确定遗撒物体的位置；将所述遗撒物体图像输入所述深度卷积神经网络模型中，确定所述遗撒物体的类别；解决了现有技术难以在高精度定位的情况下保证即时性以及无法对遗撒物体进行类别判断的问题，克服了背景建模计算复杂度高、遗撒物体训练样本少、遗撒物体类别判断难等不足。

Description

一种道路遗撒物体检测方法、装置、设备及可读存储介质
技术领域
本发明属于图像处理技术领域，尤其涉及一种道路遗撒物体检测方法、装置、设备及可读存储介质。
背景技术
道路遗撒物体识别是交通部门所需求的。近年来，由于道路遗撒物体而导致交通事故的报道屡见不鲜，遗撒物体就像隐藏在交通动脉中的肿块，这些“隐形杀手”不仅影响到运送的能力和速度，而且还随时有可能爆发危险，危急到行车人员的生命与财产安全。
现有的传统遗撒物体检测方法主要是通过高斯混合模型对道路进行背景建模，通过背景模型比对来判断是否存在遗撒物体及遗撒物体的存在位置。高斯混合模型是经典的背景建模方法，在前景提取与背景分离上具有较好的性能；但存在计算复杂，耗费内存较大，计算时间长的固有缺陷。此外，传统遗撒物体检测方法仅通过背景差异对遗撒物体进行模糊判断，识别精度低，无法满足智能交通***的要求。
发明内容
本发明实施例提供一种道路遗撒物体检测方法，旨在解决上述技术问题。
本发明实施例是这样实现的，一种道路遗撒物体检测方法，所述方法包括：
根据K近邻方法对监控视频进行自适应背景建模，获得即时背景模型和延时背景模型；
根据预获取的预训练图像与标签文件，结合已有的监控视频训练数据，训练并构建深度卷积神经网络模型；
将待检测视频分别送入所述即时背景模型和延时背景模型中，获取与视频帧对应的二值化即时掩膜图像和二值化延时掩膜图像；
对所述二值化即时掩膜图像和二值化延时掩膜图像进行比对，确定遗撒物体的位置；
将所述遗撒物体图像输入所述深度卷积神经网络模型中，确定所述遗撒物体的类别。
本发明实施例还提供一种道路遗撒物体检测装置，所述装置包括：
背景建模单元，用于根据K近邻方法对监控视频进行自适应背景建模，获得即时背景模型和延时背景模型；
构建单元，用于根据预获取的预训练图像与标签文件，结合已有的监控视频训练数据，训练并构建深度卷积神经网络模型；
获取单元，用于将待检测视频分别送入所述即时背景模型和延时背景模型中，获取与视频帧对应的二值化即时掩膜图像和二值化延时掩膜图像；
第一确定单元，用于对所述二值化即时掩膜图像和二值化延时掩膜图像进行比对，确定遗撒物体的位置；以及
第二确定单元，用于将所述遗撒物体图像输入所述深度卷积神经网络模型中，确定所述遗撒物体的类别。
本发明实施例还提供一种计算机设备，所述计算机设备包括：处理器，用于执行存储器中存储的计算机程序时实现上述道路遗撒物体检测方法的步骤。
本发明实施例还提供一种计算机可读存储介质，其上存储有计算机程序/指令，所述计算机程序/指令被所述处理器执行时实现上述道路遗撒物体检测方法的步骤。
本发明实施例中，根据K近邻方法对监控视频进行自适应背景建模，获得即时背景模型和延时背景模型；根据预获取的预训练图像与标签文件，结合已有的监控视频训练数据，训练并构建深度卷积神经网络模型；将待检测视频分别送入所述即时背景模型和延时背景模型中，获取与视频帧对应的二值化即时掩膜图像和二值化延时掩膜图像，进而确定遗撒物体的位置；将所述遗撒物体图像输入所述深度卷积神经网络模型中，确定所述遗撒物体的类别；解决了现有技术难以在高精度定位的情况下保证即时性以及无法对遗撒物体进行类别判断的问题，克服了背景建模计算复杂度高、遗撒物体训练样本少、遗撒物体类别判断难等不足。
附图说明
图1是本发明实施例提供的一种道路遗撒物体检测方法的实现流程图；
图2是本发明实施例提供的另一种道路遗撒物体检测方法的实现流程图；
图3是本发明实施例提供的一种深度卷积神经网络的结构示意图；
图4是本发明实施例提供的再一种道路遗撒物体检测方法的实现流程图；
图5是本发明实施例提供的又一种道路遗撒物体检测方法的实现流程图；
图6是本发明实施例提供的一种优化的道路遗撒物体检测方法的实现流程图；
图7是本发明实施例提供的另一种优化的道路遗撒物体检测方法的实现流程图；
图8是本发明仿真实验输入的一种监控视频截图的示意图；
图9是本发明仿真实验识别输出的一种监控视频截图的示意图；
图10是本发明仿真实验输入的另一种监控视频截图的示意图；
图11是本发明仿真实验识别输出的另一种监控视频截图的示意图；
图12是本发明实施例提供的一种道路遗撒物体检测装置的结构示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
在本发明实施例中使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本发明。在本发明实施例和所附权利要求书中所使用的单数形式的“一种”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
为了进一步阐述本发明为实现预定发明目的所采取的技术手段及功效，以下结合附图及较佳实施例，对依据本发明的具体实施方式、结构、特征及其功效，详细说明如下。
本发明实施例提供的道路遗撒物体检测方法，通过K近邻方法对监控视频进行自适应背景建模，以及构建并训练深度卷积神经网络，对输入视频进行遗撒物***置检测以及遗撒物体类别判断，解决了现有技术难以在高精度定位的情况下保证即时性以及无法对遗撒物体进行类别判断的问题，克服了背景建模计算复杂度高、遗撒物体训练样本少、遗撒物体类别判断难等不足。
第一方面，采用K近邻方法进行背景建模，K近邻方法的计算量相较传统的高斯混合模型更小，计算时间更短且精度高，完全能够满足遗撒物***置提取的需要，更适用于对时延要求较高的智能交通***；第二方面，采用基于深度卷积神经网络的方式对遗撒物体进行处理，完成了常规遗撒物体检测***不具备的类别检测功能，为智能交通***进行后续的遗撒物体危险性判断、车辆违章智能判断等功能提供了前置模块；第三方面，采用K近邻方法进行背景建模，在进行遗撒物体类别判断时已经获取了物***置，替换掉了常规卷积神经网络中耗时较大的物体定位模块，深度卷积神经网络模型参数较少，计算量小；第四方面，引入迁移学习的概念，使用了大规模数据集对模型进行了预训练，并在后续的二次训练过程中设定了瓶颈层，只针对高层参数进行训练，使得只需要提供较少的遗撒物体样本便能完成训练，解决了遗撒物体样本获取难、数量少的不利影响。
图1示出了本发明实施例提供的一种道路遗撒物体检测方法的实现流程，为了便于说明，仅示出与本发明实施例相关的部分，详述如下：
在步骤S101中，根据K近邻方法对监控视频进行自适应背景建模，获得即时背景模型和延时背景模型。
在本发明实施例中，K近邻方法(K-Nearest Neighbour，KNN)，即是给定一个训练数据集，对新的输入实例，在训练数据集中找到与该实例最邻近的K个实例，这K个实例的多数属于某个类，就把该输入实例分类到这个类中。
在本发明实施例中，所述根据K近邻方法对监控视频进行自适应背景建模，获得即时背景模型和延时背景模型，具体为：KNN背景建模在RGB空间中寻找一个以某样本点为核心的、体积为V、直径为D的超球体，满足在共计T个样本中有超过K(一般取0.1*T)个样本存在于该球体内，并通过相应计算公式计算样本点是否为背景点，其详细步骤如下：对所需考虑样本集XT内的每个样本的值进行比较、计数以确定该样本是否为背景，两个像素点的比较方式为计算两者间的欧氏距离，初始化概率计算公式如下：
其中，T为设定的所需参考历史帧数，t为当前视频帧数，K为高斯核函数。当上述概率大于背景概率cthr(一般根据场景自主设定)时，认定该点为背景点。通过设定不同的T，可获得参考历史帧数较少的即时背景Ins_Bg和参考历史帧数较少的延时背景Del_Bg。
在步骤S102中，根据预获取的预训练图像与标签文件，结合已有的监控视频训练数据，训练并构建深度卷积神经网络模型。
在本发明实施例中，如图2所示，步骤S102还包括：
在步骤S201中，基于开放的大型图像数据库，获取带有文件标签的预训练图像以及标签文件。
在本发明实施例中，所述基于开放的大型图像数据库，获取带有文件标签的预训练图像以及标签文件，具体为：从开放的大型图像数据库ImageNet下载带有xml文件标签的图片，将标签内的图像截取下来作为预训练图像，数据集共包括图片-标签对178167个，涵盖数据类别1000个。
在步骤S202中，将所述带有文件标签的预训练图像以及标签文件输入深度卷积神经网络进行一次训练。
在本发明实施例中，所述将所述带有文件标签的预训练图像以及标签文件输入深度卷积神经网络进行一次训练，具体为：将准备好的预训练图片与标签文件结合起来，将图像及xml文件送入深度卷积神经网络进行训练，采用随机梯度下降法对损失函数进行优化，调整神经网络的各个参数，经过4万轮训练，得到训练好的深度卷积神经网络。参见图3，该卷积神经网络的结构依次是，卷积层conv1，池化层pool1，卷积层conv2，池化层pool2，卷积层conv3，池化层pool3，卷积层conv4，池化层pool4，卷积层conv5，池化层conv5，全连接层fc6，全连接层fc7，全连接层fc8，分类层cls_prob。该网络训练的详细步骤如下：
(a1)将准备好的预训练图像尺寸重置为224*224像素值，输入到卷积层conv1，用64个卷积核，对其进行卷积尺寸为3*3像素，步长为1的卷积操作，获64通道特征图；
(a2)将卷积层conv1输出的64通道特征图输入到池化层pool1，得到64通道特征图；
(a3)将池化层pool1输出的64通道特征图输入到卷积层conv2，用128个卷积核，对其进行卷积尺寸为3*3像素，步长为1的卷积操作，获128通道特征图；
(a4)将卷积层conv2输出的128通道特征图输入到池化层pool2，得到128通道特征图；
(a5)将池化层pool2输出的128通道特征图输入到卷积层conv3，用256个卷积核，对其进行卷积尺寸为3*3像素，步长为1的卷积操作，获256通道特征图；
(a6)将卷积层conv3输出的256通道特征图输入到池化层pool3，得到256通道特征图；
(a7)将池化层pool3输出的256通道特征图输入到卷积层conv4，用512个卷积核，对其进行卷积尺寸为3*3像素，步长为1的卷积操作，获512通道特征图；
(a8)将卷积层conv4输出的512通道特征图输入到池化层pool4，得到512通道特征图；
(a9)将池化层pool4输出的256通道特征图输入到卷积层conv5，用512个卷积核，对其进行卷积尺寸为3*3像素，步长为1的卷积操作，获512通道特征图；
(a10)将卷积层conv5输出的256通道特征图输入到池化层pool5，得到512通道特征图；
(a11)将池化层pool5输出的512通道特征图输入到全连接层fc6，进行全连接操作，得维度为4096的特征向量；
(a12)将全连接层fc6输出的4096维特征向量输入到全连接层fc7，进行全连接操作，得维度为4096的特征向量；
(a13)将全连接层fc7输出的4096维特征向量输入到全连接层fc8，进行全连接操作，得维度为1000的特征向量；
(a14)将全连接层fc8输出的1000维特征向量输入到分类层cls_prob，分类层输出公式为：
其中xi为输出的1000维向量中每一维度的输出值，xmax为这1000维向量输出的最大值，得到的f(xi)值即为每一类的分类概率；
(a15)根据cls_prob层输出的分类概率得到深度卷积神经网络的损失函数L(pi)：
其中，i代表图像类别序号，N为类别数目，pi为预测出该物体是否属于第i类的可能性，为实际该物体属于第i类的标签，为1表示该物体属于第i类，为0表示该物体不属于第i类，为二分类交叉熵，定义为：
利用梯度下降法不断优化总损失函数，一共重复迭代4万次。
在步骤S203中，从已有监控视频中，获取含遗撒物体的视频帧中所述遗撒物体的位置与类别信息，作为训练数据。
在本发明实施例中，从已有监控视频中，获取含遗撒物体的视频帧中所述遗撒物体的位置与类别信息，作为训练数据，具体包括：使用FFMPEG软件将监控视频解为连续的帧图像，从中提取包含遗撒物体的帧，并对其中的遗撒物体使用软件Label Image进行标签标注，记录每幅图片中每个遗撒物体的位置与类别，位置为目标框的四个，类别以1*n(n为预设的遗撒物体类别)的向量，表明遗撒物体的所属类别(1代表属于该类，0代表不属于该类)，将位置与类别信息存于xml文件中。
在步骤S204中，根据所述训练数据，对一次训练后的深度卷积神经网络进行二次训练，构建深度卷积神经网络模型。
在本发明实施例中，所述根据所述训练数据，对一次训练后的深度卷积神经网络进行二次训练，构建深度卷积神经网络模型，具体为：固定已有预训练深度卷积神经网络中前4个卷积-池化特征提取层的参数，对后续的1个卷积-池化特征提取层、3个全连接层和1个分类层进行二次训练，获得完备的深度卷积神经网络，由于上述步骤S203中已经对全局进行了训练，该步骤只调整高层特征，因此训练耗时将大大降低，其详细步骤如下：
(b1)-(b12)与(a1)-(a12)基本相同，不同之处在于进行反向传播时不调整conv1至pool4之间各层的参数，只对conv5-cls_prob的参数进行调整；
(b13)将全连接层fc7输出的4096维特征向量输入到全连接层fc8，进行全连接操作，得维度为n的特征向量，其中n为已知遗撒物体种类数目；
(b14)将全连接层fc8输出的n维特征向量输入到分类层cls_prob，分类层输出公式为：
其中xi为输出的n维向量中每一维度的输出值，xmax为这n维向量输出的最大值，得到的f(xi)值即为每一类的分类概率；
(b15)与(a15)相同。
在步骤S103中，将待检测视频分别送入所述即时背景模型和延时背景模型中，获取与视频帧对应的二值化即时掩膜图像和二值化延时掩膜图像。
在本发明实施例中，如图4所示，所述步骤S103，具体包括以下步骤：
在步骤S401中，将待检测视频的每一视频帧分别送入即时背景模型和延时背景模型中。
在步骤S402中，对所述即时背景模型和延时背景模型进行更新，并获取前景提取图。
在步骤S403中，对所述前景提取图进行形态学开运算操作处理，以获取所述视频帧对应的二值化即时掩膜图像和二值化延时掩膜图像。
在本发明实施例中，所述步骤S401-S403，具体为：将后续的每一帧分别送入即时背景模型Ins_Bg和延时背景模型Del_Bg中，对两个背景模型进行更新的同时获得前景提取图，对前景提取图进行形态学开运算操作，获取到视频帧对应的二值化即时掩膜图像Ins_Mask和二值化延时掩膜图像Del_Mask，背景点判断公式如下：
其中，b(m)为背景点指示器函数，当第m个样本为背景点时，b(m)为1，否则为0，其余参数同
背景模型更新方式如下：将新样本点加入XT中并将XT中存在时间最久的样本点移除。
在步骤S104中，对所述二值化即时掩膜图像和二值化延时掩膜图像进行比对，确定遗撒物体的位置。
在本发明实施例中，如图5所示，所述步骤S104，具体包括以下步骤：
在步骤S501中，对二值化即时掩膜图像和二值化延时掩膜图像进行比较，获取所述二值化即时掩膜图像和二值化延时掩膜图像中交叠率低于预设值的前景物体框。
在本发明实施例中，预设值设定为0.1，通过对两张掩膜图像进行比对，获取在Ins_Mask中出现却未在Del_Mask中出现的前景物体框，即在两个掩膜图像中交叠率低于0.1的物体框。其中，交叠率公式如下:
其中IOU为图像中两个候选框的交叠率，定义为两个区域交叠部分面积与合并部分面积的比值。
在步骤S502中，根据所述前景物体框，获取潜在遗撒物体的位置。
在本发明实施例中，结合上述，获取在Ins_Mask中出现却未在Del_Mask中出现的前景物体框，即在两个掩膜图像中交叠率低于0.1的物体框，获取潜在遗撒物***置。
在步骤S503中，当所述前景物体框在视频帧中出现的次数大于预设阈值时，则确定所述潜在遗撒物体为遗撒物体，并确定所述遗撒物体的位置。
在本发明实施例中，预设阈值设定为[0.9*N]，即连续记录N帧图像中符合步骤S202中条件的物体框，当该物体框在N帧中出现的次数大于[0.9*N]时，认定该物体为遗撒物体，即遗撒物体为在连续N帧中出现0.9N次以上的物体，其中N需要依所给视频及要求自主设定，[·]为向下取整符号。
同时，将遗撒物体图像从原图中截取出来，存储到本地硬盘中，便于进行后续的分类识别等处理。
在步骤S105中，将所述遗撒物体图像输入所述深度卷积神经网络模型中，确定所述遗撒物体的类别。
在本发明实施例中，如图6所示，所述步骤S105，具体包括以下步骤：
在步骤S601中，接收从视频帧原图中提取出来的遗撒物体图像，并对所述遗撒物体图像的分辨率进行重置处理。
在本发明实施例中，接收从视频帧原图中提取出来的遗撒物体图像，并对所述遗撒物体图像的分辨率进行重置处理，为遗撒物体图像预处理，即将遗撒物体图像从原图中截取出来的图像的分辨率重置为224*224像素大小。
在步骤S602中，将所述处理后的遗撒物体图像输入所述深度卷积神经网络模型中。
在步骤S603中，判断所述深度卷积神经网络模型输出的最大概率是否大于预设分类阈值，若是，则进入步骤S604；若否，则进入步骤S605。
在步骤S604中，确认所述遗撒物体类别为相应类别。
在步骤S605中，确认所述遗撒物体的类别为未知分类遗撒物体。
在本发明实施例中，将处理后的图像送入到上述构建好的深度卷积神经网络之中，对物体类别进行判断，类别判断流程同上述步骤中(a1)-(a14)，自主设定分类阈值clsthr，若(a14)中输出的最大概率大于clsthr，则认定该遗撒物体类别为相应类别，否则认定为未知分类遗撒物体。
本发明实施例提供的道路遗撒物体检测方法，通过K近邻方法对监控视频进行自适应背景建模，以及构建并训练深度卷积神经网络，对输入视频进行遗撒物***置检测以及遗撒物体类别判断，解决了现有技术难以在高精度定位的情况下保证即时性以及无法对遗撒物体进行类别判断的问题，克服了背景建模计算复杂度高、遗撒物体训练样本少、遗撒物体类别判断难等不足。第一方面，采用K近邻方法进行背景建模，K近邻方法的计算量相较传统的高斯混合模型更小，计算时间更短且精度高，完全能够满足遗撒物***置提取的需要，更适用于对时延要求较高的智能交通***；第二方面，采用基于深度卷积神经网络的方式对遗撒物体进行处理，完成了常规遗撒物体检测***不具备的类别检测功能，为智能交通***进行后续的遗撒物体危险性判断、车辆违章智能判断等功能提供了前置模块；第三方面，采用K近邻方法进行背景建模，在进行遗撒物体类别判断时已经获取了物***置，替换掉了常规卷积神经网络中耗时较大的物体定位模块，深度卷积神经网络模型参数较少，计算量小；第四方面，引入迁移学习的概念，使用了大规模数据集对模型进行了预训练，并在后续的二次训练过程中设定了瓶颈层，只针对高层参数进行训练，使得只需要提供较少的遗撒物体样本便能完成训练，解决了遗撒物体样本获取难、数量少的不利影响。
图7示出了本发明实施例提供的另一种道路遗撒物体检测方法的实现流程，为了便于说明，仅示出与本发明实施例相关的部分，其与图1的区别在于，还包括以下步骤：
在步骤S701中，当遗撒物体的类别无法从深度卷积神经网络模型中识别，则将所述遗撒物体图像进行存储，并归类为未知分类遗撒物体图像。
在步骤S702中，对所述未知分类遗撒物体图像进行标签标注，并记录所述未知分类遗撒物体的位置与类别信息。
在步骤S703中，根据所述标签标注后的未知分类遗撒物体图像，对深度卷积神经网络模型进行更新。
在本发明实施例中，针对已有类别，根据步骤S105中的流程所给出具体的类别结果，若该类别在已有类别中不存在，将该图像存储在本地当中并归为未知分类遗撒物体；针对未知分类物体，定期进行人工进行标注，并按步骤S102中的流程进行模型更新，保证类别可扩展性。
本发明实施例提供的道路遗撒物体检测方法，对所检测出的未知分类遗撒物体图像进行标签标注，并记录所述未知分类遗撒物体的位置与类别信息；根据所述标签标注后的未知分类遗撒物体图像，对深度卷积神经网络模型进行更新，实时对模型的更新，保证类别可扩展性。
下面以具体仿真实验对上述实施例做进一步说明，详述如下：
仿真实验条件：
本发明的实验仿真环境为：
软件：ubuntu 16.04，Python3.6
处理器：Intel Xeon(R)CPU E5-2609 [email protected]×8
内存：125.9GB
本发明的仿真实验所用到的图像如附图8-11所示，图像来源于监控视频截图。
仿真实验内容：
以图8、10作为输入，利用本发明对其进行遗撒物体识别，结果如图9、11所示。
仿真实验结果分析：
对比图8、10及9、11，分别对应的是两段监控视频的原始图像和处理结果图像，同一视频中的两张图像除标定框外完全一致，可以发现在有其他移动物体(如车辆等)存在的情况下，能够完成对遗撒物体的定位及分类且未出现明显错误，表明本发明完全可以满足短时间内完成道路遗撒物体检测的任务。
对比图8、9可以发现，该发明完成了对两个路障的定位和类别判断，未出现明显错误，且判别时间仅为毫秒级，满足时间特性要求，说明本发明能够成功对多个物体进行类别判断，且准确度、实时性等性能较好，可以满足基本使用需求。
对比图10、11可以发现，该发明完成了对训练集中不存在的类别“纸片”进行定位的结果，可以发现定位结果准确性优秀，由于没有对应的类别信息，该发明将这一物体标定为“未知”，表明本发明对训练集中不存在的物体也能够进行定位并给出一定识别信息。
综上所述，本发明公开的一种基于卷积神经网络与背景建模的交通道路车辆抛落物体检测方法，解决了现有技术难以在高精度定位的情况下保证即时性的问题以及无法对遗撒物体进行类别判断的问题，克服了背景建模计算复杂度高、遗撒物体训练样本少、遗撒物体类别判断难等不足。实现步骤为：利用K近邻方法对监控视频进行自适应背景建模；构建并训练深度卷积神经网络；对输入视频进行遗撒物***置检测：遗撒物体类别判断；深度卷积神经网络模型更新，完成交通道路车辆抛落物体检测任务。第一方面，采用K近邻的方式替代传统的高斯混合模型进行背景建模，计算时间更短；第二方面，采用基于深度卷积神经网络的方式对遗撒物体进行处理，实现了常规遗撒物体检测***不具备的类别检测功能；第三方面，采用K近邻背景建模进行遗撒物***置判断，替换掉了常规卷积神经网络中耗时较大的物体定位模块，深度卷积神经网络模型参数较少，计算量小；第四方面，引入迁移学习的概念，使用了大规模数据集对模型进行了预训练，并在后续的二次训练过程中设定了瓶颈层，解决了遗撒物体样本获取难、数量少的不利影响。
图12示出了本发明实施例提供的一种道路遗撒物体检测装置的结构，为了便于说明，仅示出与本发明实施例相关的部分，详述如下：
道路遗撒物体检测装置1200，包括背景建模单元1201、构建单元1202、获取单元1203、第一确定单元1204以及第二确定单元1205。
背景建模单元1201，用于根据K近邻方法对监控视频进行自适应背景建模，获得即时背景模型和延时背景模型。
在本发明实施例中，背景建模单元1201用于根据K近邻方法对监控视频进行自适应背景建模，获得即时背景模型和延时背景模型；其中，K近邻方法(k-Nearest Neighbour，KNN)，即是给定一个训练数据集，对新的输入实例，在训练数据集中找到与该实例最邻近的K个实例，这K个实例的多数属于某个类，就把该输入实例分类到这个类中。
构建单元1202，用于根据预获取的预训练图像与标签文件，结合已有的监控视频训练数据，训练并构建深度卷积神经网络模型。
在本发明实施例中，构建单元1202用于根据预获取的预训练图像与标签文件，结合已有的监控视频训练数据，训练并构建深度卷积神经网络模型；所述根据预获取的预训练图像与标签文件，结合已有的监控视频训练数据，训练并构建深度卷积神经网络模型，具体包括：基于开放的大型图像数据库，获取带有文件标签的预训练图像以及标签文件；将所述带有文件标签的预训练图像以及标签文件输入深度卷积神经网络进行一次训练；从已有监控视频中，获取含遗撒物体的视频帧中所述遗撒物体的位置与类别信息，作为训练数据；根据所述训练数据，对一次训练后的深度卷积神经网络进行二次训练，构建深度卷积神经网络模型。
获取单元1203，用于将待检测视频分别送入所述即时背景模型和延时背景模型中，获取与视频帧对应的二值化即时掩膜图像和二值化延时掩膜图像。
在本发明实施例中，获取单元1203用于将待检测视频分别送入所述即时背景模型和延时背景模型中，获取与视频帧对应的二值化即时掩膜图像和二值化延时掩膜图像；其中，将待检测视频分别送入所述即时背景模型和延时背景模型中，获取与视频帧对应的二值化即时掩膜图像和二值化延时掩膜图像，具体包括：将待检测视频的每一视频帧分别送入即时背景模型和延时背景模型中；对所述即时背景模型和延时背景模型进行更新，并获取前景提取图；对所述前景提取图进行形态学开运算操作处理，以获取所述视频帧对应的二值化即时掩膜图像和二值化延时掩膜图像。
第一确定单元1204，用于对所述二值化即时掩膜图像和二值化延时掩膜图像进行比对，确定遗撒物体的位置。
在本发明实施例中，第一确定单元1204用于对所述二值化即时掩膜图像和二值化延时掩膜图像进行比对，确定遗撒物体的位置；其中，对所述二值化即时掩膜图像和二值化延时掩膜图像进行比对，确定遗撒物体的位置，具体包括：对二值化即时掩膜图像和二值化延时掩膜图像进行比较，获取所述二值化即时掩膜图像和二值化延时掩膜图像中交叠率低于预设值的前景物体框；根据所述前景物体框，获取潜在遗撒物体的位置；当所述前景物体框在视频帧中出现的次数大于预设阈值时，则确定所述潜在遗撒物体为遗撒物体，并确定所述遗撒物体的位置。
第二确定单元1205，用于将所述遗撒物体图像输入所述深度卷积神经网络模型中，确定所述遗撒物体的类别。
在本发明实施例中，第二确定单元1205用于将所述遗撒物体图像输入所述深度卷积神经网络模型中，确定所述遗撒物体的类别；其中，将所述遗撒物体图像输入所述深度卷积神经网络模型中，确定所述遗撒物体的类别，具体包括：接收从视频帧原图中提取出来的遗撒物体图像，并对所述遗撒物体图像的分辨率进行重置处理；将所述处理后的遗撒物体图像输入所述深度卷积神经网络模型中；判断所述深度卷积神经网络模型输出的最大概率是否大于预设分类阈值，若是，则确认所述遗撒物体类别为相应类别；若否，则确认所述遗撒物体的类别为未知分类遗撒物体。
本发明实施例提供的道路遗撒物体检测装置，通过K近邻方法对监控视频进行自适应背景建模，以及构建并训练深度卷积神经网络，对输入视频进行遗撒物***置检测以及遗撒物体类别判断，解决了现有技术难以在高精度定位的情况下保证即时性以及无法对遗撒物体进行类别判断的问题，克服了背景建模计算复杂度高、遗撒物体训练样本少、遗撒物体类别判断难等不足。
本发明实施例还提供了一种计算机设备，该计算机设备包括处理器，处理器用于执行存储器中存储的计算机程序时实现上述各个方法实施例提供的道路遗撒物体检测方法的步骤。
本发明的实施例还提供了一种计算机可读存储介质，其上存储有计算机程序/指令，该计算机程序/指令被上述处理器执行时实现上述各个方法实施例提供的道路遗撒物体检测方法的步骤。
示例性的，计算机程序可以被分割成一个或多个模块，一个或者多个模块被存储在存储器中，并由处理器执行，以完成本发明。一个或多个模块可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述计算机程序在计算机设备中的执行过程。例如，所述计算机程序可以被分割成上述各个方法实施例提供的道路遗撒物体检测方法的步骤。
本领域技术人员可以理解，上述计算机设备的描述仅仅是示例，并不构成对计算机设备的限定，可以包括比上述描述更多或更少的部件，或者组合某些部件，或者不同的部件，例如可以包括输入输出设备、网络接入设备、总线等。
所称处理器可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，所述处理器是所述计算机设备的控制中心，利用各种接口和线路连接整个用户终端的各个部分。
所述存储器可用于存储所述计算机程序和/或模块，所述处理器通过运行或执行存储在所述存储器内的计算机程序和/或模块，以及调用存储在存储器内的数据，实现所述计算机设备的各种功能。所述存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作***、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
所述计算机设备集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质等。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种道路遗撒物体检测方法，其特征在于，所述方法包括：
根据K近邻方法对监控视频进行自适应背景建模，获得即时背景模型和延时背景模型；
根据预获取的预训练图像与标签文件，结合已有的监控视频训练数据，训练并构建深度卷积神经网络模型；
将待检测视频分别送入所述即时背景模型和延时背景模型中，获取与视频帧对应的二值化即时掩膜图像和二值化延时掩膜图像；
对所述二值化即时掩膜图像和二值化延时掩膜图像进行比对，确定遗撒物体的位置；
将所述遗撒物体图像输入所述深度卷积神经网络模型中，确定所述遗撒物体的类别。
2.如权利要求1所述的道路遗撒物体检测方法，其特征在于，还包括：
当遗撒物体的类别无法从深度卷积神经网络模型中识别，则将所述遗撒物体图像进行存储，并归类为未知分类遗撒物体图像；
对所述未知分类遗撒物体图像进行标签标注，并记录所述未知分类遗撒物体的位置与类别信息；
根据所述标签标注后的未知分类遗撒物体图像，对深度卷积神经网络模型进行更新。
3.如权利要求1所述的道路遗撒物体检测方法，其特征在于，所述根据预获取的预训练图像与标签文件，结合已有的监控视频训练数据，构建并训练深度卷积神经网络模型，具体包括：
基于开放的大型图像数据库，获取带有文件标签的预训练图像以及标签文件；
将所述带有文件标签的预训练图像以及标签文件输入深度卷积神经网络进行一次训练；
从已有监控视频中，获取含遗撒物体的视频帧中所述遗撒物体的位置与类别信息，作为训练数据；
根据所述训练数据，对一次训练后的深度卷积神经网络进行二次训练，构建深度卷积神经网络模型。
4.如权利要求1所述的道路遗撒物体检测方法，其特征在于，所述将待检测视频分别送入所述即时背景模型和延时背景模型中，获取与视频帧对应的二值化即时掩膜图像和二值化延时掩膜图像，具体包括：
将待检测视频的每一视频帧分别送入即时背景模型和延时背景模型中；
对所述即时背景模型和延时背景模型进行更新，并获取前景提取图；
对所述前景提取图进行形态学开运算操作处理，以获取所述视频帧对应的二值化即时掩膜图像和二值化延时掩膜图像。
5.如权利要求1所述的道路遗撒物体检测方法，其特征在于，所述对所述二值化即时掩膜图像和二值化延时掩膜图像进行比对，确定遗撒物体的位置，具体包括：
对二值化即时掩膜图像和二值化延时掩膜图像进行比较，获取所述二值化即时掩膜图像和二值化延时掩膜图像中交叠率低于预设值的前景物体框；
根据所述前景物体框，获取潜在遗撒物体的位置；
当所述前景物体框在视频帧中出现的次数大于预设阈值时，则确定所述潜在遗撒物体为遗撒物体，并确定所述遗撒物体的位置。
6.如权利要求1所述的道路遗撒物体检测方法，其特征在于，所述将所述遗撒物体图像输入所述深度卷积神经网络模型中，确定所述遗撒物体的类别，具体包括：
接收从视频帧原图中提取出来的遗撒物体图像，并对所述遗撒物体图像的分辨率进行重置处理；
将所述处理后的遗撒物体图像输入所述深度卷积神经网络模型中；
判断所述深度卷积神经网络模型输出的最大概率是否大于预设分类阈值，若是，则确认所述遗撒物体类别为相应类别；若否，则确认所述遗撒物体的类别为未知分类遗撒物体。
7.如权利要求3所述的道路遗撒物体检测方法，其特征在于，所述深度卷积神经网络的结构为5个卷积-池化特征提取层、3个全连接层以及1个分类层。
8.一种道路遗撒物体检测装置，其特征在于，所述装置包括：
背景建模单元，用于根据K近邻方法对监控视频进行自适应背景建模，获得即时背景模型和延时背景模型；
构建单元，用于根据预获取的预训练图像与标签文件，结合已有的监控视频训练数据，训练并构建深度卷积神经网络模型；
获取单元，用于将待检测视频分别送入所述即时背景模型和延时背景模型中，获取与视频帧对应的二值化即时掩膜图像和二值化延时掩膜图像；
第一确定单元，用于对所述二值化即时掩膜图像和二值化延时掩膜图像进行比对，确定遗撒物体的位置；以及
第二确定单元，用于将所述遗撒物体图像输入所述深度卷积神经网络模型中，确定所述遗撒物体的类别。
9.一种计算机设备，其特征在于，所述计算机设备包括：处理器，用于执行存储器中存储的计算机程序时实现如权利要求1～7任一项所述方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序/指令，其特征在于，所述计算机程序/指令被所述处理器执行时实现如权利要求1～7中任意一项所述方法的步骤。
CN201811253027.6A 2018-10-25 2018-10-25 一种道路遗撒物体检测方法、装置、设备及可读存储介质 Pending CN109492552A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811253027.6A CN109492552A (zh) 2018-10-25 2018-10-25 一种道路遗撒物体检测方法、装置、设备及可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811253027.6A CN109492552A (zh) 2018-10-25 2018-10-25 一种道路遗撒物体检测方法、装置、设备及可读存储介质

Publications (1)

Publication Number Publication Date
CN109492552A true CN109492552A (zh) 2019-03-19

Family

ID=65692669

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811253027.6A Pending CN109492552A (zh) 2018-10-25 2018-10-25 一种道路遗撒物体检测方法、装置、设备及可读存储介质

Country Status (1)

Country Link
CN (1) CN109492552A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111539456A (zh) * 2020-04-02 2020-08-14 浙江华睿科技有限公司 一种目标识别方法及设备
CN111915579A (zh) * 2020-07-24 2020-11-10 天津大学 基于高斯混合模型和卷积神经网络的液体泄漏检测方法
CN117593890A (zh) * 2024-01-18 2024-02-23 交通运输部公路科学研究所 一种道路遗撒物体的检测方法、装置、电子设备及存储介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090316990A1 (en) * 2008-06-20 2009-12-24 Akira Nakamura Object recognition device, object recognition method, program for object recognition method, and recording medium having recorded thereon program for object recognition method
CN103049751A (zh) * 2013-01-24 2013-04-17 苏州大学 一种改进的加权区域匹配高空视频行人识别方法
CN103914698A (zh) * 2014-03-27 2014-07-09 北京科技大学 一种基于视频的道路障碍物识别分类方法
CN106096531A (zh) * 2016-05-31 2016-11-09 安徽省云力信息技术有限公司 一种基于深度学习的交通图像多类型车辆检测方法
US20170019312A1 (en) * 2015-07-17 2017-01-19 Brocade Communications Systems, Inc. Network analysis and management system
CN108289203A (zh) * 2018-02-02 2018-07-17 常州高清信息技术有限公司 一种用于轨道交通的视频监控***
CN109033947A (zh) * 2018-06-11 2018-12-18 北京航空航天大学 基于深度学习的路面遗撒识别方法
CN111507235A (zh) * 2020-04-13 2020-08-07 北京交通大学 基于视频的铁路周界异物入侵检测方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090316990A1 (en) * 2008-06-20 2009-12-24 Akira Nakamura Object recognition device, object recognition method, program for object recognition method, and recording medium having recorded thereon program for object recognition method
CN103049751A (zh) * 2013-01-24 2013-04-17 苏州大学 一种改进的加权区域匹配高空视频行人识别方法
CN103914698A (zh) * 2014-03-27 2014-07-09 北京科技大学 一种基于视频的道路障碍物识别分类方法
US20170019312A1 (en) * 2015-07-17 2017-01-19 Brocade Communications Systems, Inc. Network analysis and management system
CN106096531A (zh) * 2016-05-31 2016-11-09 安徽省云力信息技术有限公司 一种基于深度学习的交通图像多类型车辆检测方法
CN108289203A (zh) * 2018-02-02 2018-07-17 常州高清信息技术有限公司 一种用于轨道交通的视频监控***
CN109033947A (zh) * 2018-06-11 2018-12-18 北京航空航天大学 基于深度学习的路面遗撒识别方法
CN111507235A (zh) * 2020-04-13 2020-08-07 北京交通大学 基于视频的铁路周界异物入侵检测方法

Non-Patent Citations (8)

* Cited by examiner, † Cited by third party
Title
BIN SONG等: "A Deep Similarity Metric Method Based on Incomplete Data for Traffic Anomaly Detection in IoT", 《APPLIED SCIENCES》 *
LIYAN YANG等: "Griffin: An Ensemble of AutoEncoders for Anomaly Traffic Detection in SDN", 《GLOBECOM 2020 - 2020 IEEE GLOBAL COMMUNICATIONS CONFERENCE》 *
NANI_XIAO: "背景建模或前景检测(Background Generation And Foreground Detection) 二", 《HTTPS://BLOG.CSDN.NET/XIAO_LXL/ARTICLE/DETAILS/62039133》 *
侯涛等: "基于双背景建模与差分图像的轨道异物识别", 《兰州交通大学学报》 *
孙峰瑶: "基于深度学习的道路异常物体识别算法研究", 《中国优秀博硕士学位论文全文数据库(硕士)工程科技Ⅱ辑》 *
张慧泽: "城市交通场景中的背景建模方法研究", 《中国优秀博硕士学位论文全文数据库(硕士)信息科技辑》 *
张敏: "基于移动机器人视觉的道路异物检测方法研究", 《中国优秀博硕士学位论文全文数据库(硕士)信息科技辑》 *
韩明等: "一种自适应调整K-r的混合高斯背景建模和目标检测算法", 《电子与信息学报》 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111539456A (zh) * 2020-04-02 2020-08-14 浙江华睿科技有限公司 一种目标识别方法及设备
CN111539456B (zh) * 2020-04-02 2024-03-01 浙江华睿科技股份有限公司 一种目标识别方法及设备
CN111915579A (zh) * 2020-07-24 2020-11-10 天津大学 基于高斯混合模型和卷积神经网络的液体泄漏检测方法
CN111915579B (zh) * 2020-07-24 2022-05-13 天津大学 基于高斯混合模型和卷积神经网络的液体泄漏检测方法
CN117593890A (zh) * 2024-01-18 2024-02-23 交通运输部公路科学研究所 一种道路遗撒物体的检测方法、装置、电子设备及存储介质
CN117593890B (zh) * 2024-01-18 2024-03-29 交通运输部公路科学研究所 一种道路遗撒物体的检测方法、装置、电子设备及存储介质

Similar Documents

Publication Publication Date Title
CN109902732B (zh) 车辆自动分类方法及相关装置
Zhang et al. Importance weighted adversarial nets for partial domain adaptation
US10169683B2 (en) Method and device for classifying an object of an image and corresponding computer program product and computer-readable medium
Ruta et al. Robust class similarity measure for traffic sign recognition
US10853943B2 (en) Counting objects in images based on approximate locations
CN109492552A (zh) 一种道路遗撒物体检测方法、装置、设备及可读存储介质
CN107430705A (zh) 用于重新训练分类器的样本选择
Grcic et al. Dense anomaly detection by robust learning on synthetic negative data
EP3136295A1 (en) Method and device for processing an image of pixels, corresponding computer program product and computer-readable medium
EP3596655B1 (en) Method and apparatus for analysing an image
CN111295689A (zh) 深度感知对象计数
CN109492093A (zh) 基于高斯混合模型和em算法的文本分类方法及电子装置
Minary et al. Face pixel detection using evidential calibration and fusion
CN112101114B (zh) 一种视频目标检测方法、装置、设备以及存储介质
CN108154183A (zh) 一种基于局部和深度特征集合的目标分类方法
CN114783021A (zh) 一种口罩佩戴智能检测方法、装置、设备及介质
CN114648680A (zh) 图像识别模型的训练方法、装置、设备、介质及程序产品
CN111652327A (zh) 一种模型迭代方法、***及计算机设备
CN116543261A (zh) 用于图像识别的模型训练方法、图像识别方法设备及介质
CN109661671A (zh) 使用边界位图对图像分类的改善
CN112270671B (zh) 图像检测方法、装置、电子设备及存储介质
Viitaniemi et al. Techniques for still image scene classification and object detection
Ciuntu et al. Real-time traffic sign detection and classification using machine learning and optical character recognition
Fikioris et al. Fine-tuned compressed representations of vessel trajectories
CN113838076A (zh) 目标图像中的对象轮廓的标注方法及装置、存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
AD01 Patent right deemed abandoned
AD01 Patent right deemed abandoned

Effective date of abandoning: 20220701