CN109376736A - 一种基于深度卷积神经网络的视频小目标检测方法 - Google Patents
一种基于深度卷积神经网络的视频小目标检测方法 Download PDFInfo
- Publication number
- CN109376736A CN109376736A CN201811017919.6A CN201811017919A CN109376736A CN 109376736 A CN109376736 A CN 109376736A CN 201811017919 A CN201811017919 A CN 201811017919A CN 109376736 A CN109376736 A CN 109376736A
- Authority
- CN
- China
- Prior art keywords
- neural networks
- network
- convolutional neural
- video
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/255—Detecting or recognising potential candidate objects based on visual cues, e.g. shapes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本发明提供一种基于深度卷积神经网络的视频小目标检测方法,利用深度卷积神经网络多层非线性结构的特性对视频目标特征进行整体建模,结合Faster RCNN对于普通视频目标检测快速准确的特点以及ResNet在深度网络特征提取层加入的effective path(多人投票***),再加上后期对网络结构的精简,提出了一种可以对视频目标进行快速检测,同时兼顾小目标检测的基于深度网络结构ERF‑Net(Efficient Residual Faster rcnn)的视频目标检测方法。本发明的优点如下:对视频中不同远近、不同尺度大小的目标进行准确、快速检测,提高了小目标检测的效果和效率,为后续的目标跟踪、目标再识别等提供了较好的基础。
Description
技术领域
本发明涉及计算机视觉和大数据处理中智能视频监控的技术领域,具体涉及一种基于深度卷积神经网络、能从海量视频数据中快速并准确地检测出感兴趣的小尺度目标的检测方法。
背景技术
如何将视频监控***获取的海量视频数据利用人工智能的方法进行高效的分析,是近年来计算机视觉和大数据领域备受关注的一个前沿课题。
随着计算机科学技术以及视频监控硬件的快速发展,业界对智能视频监控技术的要求越来越高。所谓的智能视频监控处理技术,主要是指在无需人力干预的情况下,利用计算机视觉的视频分析方法,将视频解析为一个视频序列并自动分析,从而实现对实际监控场景中目标的检测、分类、识别与跟踪,再通过既定算法完成对当前视频目标行为的分析等。这种技术在完美替代传统监控所有功能的同时,还可以对突发的各种异常情况做出迅速反应。
视频目标检测在智能视频监控分析***中起着关键性的作用,不仅是整个智能视频处理***的基础部分,更是后续如目标跟踪、目标再识别等各种高级应用的基础。然而,视频中的小目标因尺度较小,极易受到噪声干扰,从而导致误检和漏检,现有技术中的小目标检测,效果不佳,效率也不高,影响后续的目标跟踪、目标再识别的准确性。
发明内容
本发明的目的是提供一种针对不同远近、不同尺寸大小的目标进行快速、准确检测的基于深度卷积神经网络的视频小目标检测方法。
为了达到上述目的,本发明通过以下技术方案来实现:
一种基于深度卷积神经网络的视频小目标检测方法,包括如下步骤:
步骤(1)模型预训练:基于预训练的VGG模型开始网络的迭代训练,在大小为51×39的256通道图像的每一个位置取9个候选窗口,即三种面积{1282,2562,5122}×三种比例{1:1,1:2,2:1},候选窗口作为anchors,即锚点;
步骤(2)基于深度卷积神经网络的特征提取:加入残差结构的卷积层用于提取特征图,
网络使用的损失函数为;
其中,i表示锚点索引值,pi表示前景的softmax预测概率,表示对应的Ground
Truth预测概率,t表示预测的bounding box,t*表示前景锚点对应的Ground Truth box,且,,为参数;
步骤(3)获取候选区域及其对应的Softmax概率:依据步骤(1)、(2)中训练得到的网络E-RPN,获取候选ROI区域,获取检测目标的Softmax概率;
步骤(4)读取候选区域及其对应的Softmax概率:将获取的候选ROI区域信息传入网络,
将其对应的Softmax概率作为bbox_inside_weights传入网络,通过caffe blob大小对比,
计算得出bbox_outside_weights作为参数;
步骤(5)循环迭代训练E-RPN网络:将获取得到的候选ROI区域循环迭代训练网络E-RPN,直至Softmax概率与检测框回归,得到最终模型。
进一步地,步骤(2)中,的取值为:
当第i个anchor与Ground Truth间IoU(intersection-of-union)>0.7,则;当
IoU < 0.3时,则;对于0.3 < IoU < 0.7的锚点则不参与训练。
本发明与现有技术相比,具有以下优点:
本发明一种基于深度卷积神经网络的视频小目标检测方法,利用深度卷积神经网络多层非线性结构的特性对视频目标特征进行整体建模,结合Faster RCNN对于普通视频目标检测快速准确的特点以及ResNet在深度网络特征提取层加入的effective path(多人投票***),再加上后期对网络结构的精简,提出了一种可以对视频目标进行快速检测,同时兼顾小目标检测的基于深度网络结构ERF-Net(Efficient Residual Faster rcnn)的视频目标检测方法。
本发明的视频检测方法,可以对视频中不同远近、不同尺度大小的目标进行准确、快速检测,提高了小目标检测的效果和效率,为后续的目标跟踪、目标再识别等提供了较好的基础。
附图说明
图1是本发明一种基于深度卷积神经网络的视频小目标检测方法的流程示意图。
具体实施方式
下面结合附图,对本发明的实施例作进一步详细的描述。
如图1所示,一种基于深度卷积神经网络的视频小目标检测方法,包括如下步骤:
步骤(1)模型预训练:基于预训练的VGG模型开始网络的迭代训练,在大小为51×39的256通道图像的每一个位置取9个候选窗口,即三种面积{1282,2562,5122}×三种比例{1:1,1:2,2:1},候选窗口作为anchors,即锚点;
步骤(2)基于深度卷积神经网络的特征提取:加入残差结构的卷积层用于提取特征图,
网络使用的损失函数为;
其中,i表示锚点索引值,pi表示前景的softmax预测概率,表示对应的Ground
Truth预测概率,t表示预测的bounding box,t*表示前景锚点对应的Ground Truth box,且,,为参数;其中,的取值为:当第i个anchor与
Ground Truth间IoU(intersection-of-union)>0.7,则;当IoU < 0.3时,则;对于0.3 < IoU < 0.7的锚点则不参与训练;
步骤(3)获取候选区域及其对应的Softmax概率:依据步骤(1)、(2)中训练得到的网络E-RPN,获取候选ROI区域,获取检测目标的Softmax概率;
步骤(4)读取候选区域及其对应的Softmax概率:将获取的候选ROI区域信息传入网络,
将其对应的Softmax概率作为bbox_inside_weights传入网络,通过caffe blob大小对比,
计算得出bbox_outside_weights作为参数;
步骤(5)循环迭代训练E-RPN网络:将获取得到的候选ROI区域循环迭代训练网络E-RPN,直至Softmax概率与检测框回归,得到最终模型。
本方法采用的损失函数分为两部分:cls_loss和reg_loss。cls_loss即E-rpn_
cls_loss层计算的softmax loss,用于做前景、背景分类的网络训练;reg_loss即E-rpn_
loss_bbox层计算的soomth L1 loss,用于bounding box回归网络的训练。在该损失函数中
乘了,即只关心前景锚点的回归。
由于在实际过程中,和差距过大,用参数平衡二者。如,时,设置,使总的网络Loss计算过程中能够均匀考虑
两种Loss。这里比较重要是回归Loss使用的soomth L1 loss,即Lreg(ti,ti *)。
生成和存储锚点的顺序在训练和检测阶段需要完全一致。
以上所述仅是本发明优选实施方式,应当指出,对于本技术领域的普通技术人员,在不脱离本发明构思的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本发明保护范围内。
Claims (2)
1.一种基于深度卷积神经网络的视频小目标检测方法,其特征在于包括如下步骤:
步骤(1)模型预训练:基于预训练的VGG模型开始网络的迭代训练,在大小为51×39的256通道图像的每一个位置取9个候选窗口,即三种面积{1282,2562,5122}×三种比例{1:1,1:2,2:1},候选窗口作为anchors,即锚点;
步骤(2)基于深度卷积神经网络的特征提取:加入残差结构的卷积层用于提取特征图,
网络使用的损失函数为;
其中,i表示锚点索引值,pi表示前景的softmax预测概率,表示对应的Ground
Truth预测概率,t表示预测的bounding box,t*表示前景锚点对应的Ground Truth box,且,,为参数;
步骤(3)获取候选区域及其对应的Softmax概率:依据步骤(1)、(2)中训练得到的网络E-RPN,获取候选ROI区域,获取检测目标的Softmax概率;
步骤(4)读取候选区域及其对应的Softmax概率:将获取的候选ROI区域信息传入网络,
将其对应的Softmax概率作为bbox_inside_weights传入网络,通过caffe blob大小对比,
计算得出bbox_outside_weights作为参数;
步骤(5)循环迭代训练E-RPN网络:将获取得到的候选ROI区域循环迭代训练网络E-RPN,直至Softmax概率与检测框回归,得到最终模型。
2.根据权利要求1所述的一种基于深度卷积神经网络的视频小目标检测方法,其特征
在于:步骤(2)中,的取值为:
当第i个anchor与Ground Truth间IoU(intersection-of-union)>0.7,则;当
IoU < 0.3时,则;对于0.3 < IoU < 0.7的锚点则不参与训练。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811017919.6A CN109376736A (zh) | 2018-09-03 | 2018-09-03 | 一种基于深度卷积神经网络的视频小目标检测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811017919.6A CN109376736A (zh) | 2018-09-03 | 2018-09-03 | 一种基于深度卷积神经网络的视频小目标检测方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN109376736A true CN109376736A (zh) | 2019-02-22 |
Family
ID=65404758
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201811017919.6A Pending CN109376736A (zh) | 2018-09-03 | 2018-09-03 | 一种基于深度卷积神经网络的视频小目标检测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109376736A (zh) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110443280A (zh) * | 2019-07-05 | 2019-11-12 | 北京达佳互联信息技术有限公司 | 图像检测模型的训练方法、装置及存储介质 |
CN110517285A (zh) * | 2019-08-05 | 2019-11-29 | 西安电子科技大学 | 基于运动估计me-cnn网络的大场景极小目标跟踪 |
CN111931581A (zh) * | 2020-07-10 | 2020-11-13 | 威海精讯畅通电子科技有限公司 | 一种基于卷积神经网络农业害虫识别方法、终端及可读存储介质 |
CN112686340A (zh) * | 2021-03-12 | 2021-04-20 | 成都点泽智能科技有限公司 | 一种基于深度神经网络的密集小目标检测方法 |
CN113392917A (zh) * | 2021-06-23 | 2021-09-14 | 山东科技大学 | 一种基于改进EfficientDet网络的海面军事目标检测与分类方法 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20150117760A1 (en) * | 2013-10-30 | 2015-04-30 | Nec Laboratories America, Inc. | Regionlets with Shift Invariant Neural Patterns for Object Detection |
CN107451602A (zh) * | 2017-07-06 | 2017-12-08 | 浙江工业大学 | 一种基于深度学习的果蔬检测方法 |
CN108345911A (zh) * | 2018-04-16 | 2018-07-31 | 东北大学 | 基于卷积神经网络多级特征的钢板表面缺陷检测方法 |
CN108460328A (zh) * | 2018-01-15 | 2018-08-28 | 浙江工业大学 | 一种基于多任务卷积神经网络的***检测方法 |
-
2018
- 2018-09-03 CN CN201811017919.6A patent/CN109376736A/zh active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20150117760A1 (en) * | 2013-10-30 | 2015-04-30 | Nec Laboratories America, Inc. | Regionlets with Shift Invariant Neural Patterns for Object Detection |
CN107451602A (zh) * | 2017-07-06 | 2017-12-08 | 浙江工业大学 | 一种基于深度学习的果蔬检测方法 |
CN108460328A (zh) * | 2018-01-15 | 2018-08-28 | 浙江工业大学 | 一种基于多任务卷积神经网络的***检测方法 |
CN108345911A (zh) * | 2018-04-16 | 2018-07-31 | 东北大学 | 基于卷积神经网络多级特征的钢板表面缺陷检测方法 |
Non-Patent Citations (2)
Title |
---|
LAXEHR: "Faster R-CNN论文详解", 《HTTPS://BLOG.CSDN.NET/WEIXIN_39970417/ARTICLE/DETAILS/79976146》 * |
SHAOQING REN 等: "Faster R-CNN: Towards Real-Time Object Detection with Region Proposal Networks", 《HTTPS://ARXIV.ORG/ABS/1506.01497》 * |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110443280A (zh) * | 2019-07-05 | 2019-11-12 | 北京达佳互联信息技术有限公司 | 图像检测模型的训练方法、装置及存储介质 |
CN110443280B (zh) * | 2019-07-05 | 2022-06-03 | 北京达佳互联信息技术有限公司 | 图像检测模型的训练方法、装置及存储介质 |
CN110517285A (zh) * | 2019-08-05 | 2019-11-29 | 西安电子科技大学 | 基于运动估计me-cnn网络的大场景极小目标跟踪 |
CN110517285B (zh) * | 2019-08-05 | 2021-09-10 | 西安电子科技大学 | 基于运动估计me-cnn网络的大场景极小目标跟踪 |
CN111931581A (zh) * | 2020-07-10 | 2020-11-13 | 威海精讯畅通电子科技有限公司 | 一种基于卷积神经网络农业害虫识别方法、终端及可读存储介质 |
CN112686340A (zh) * | 2021-03-12 | 2021-04-20 | 成都点泽智能科技有限公司 | 一种基于深度神经网络的密集小目标检测方法 |
CN113392917A (zh) * | 2021-06-23 | 2021-09-14 | 山东科技大学 | 一种基于改进EfficientDet网络的海面军事目标检测与分类方法 |
CN113392917B (zh) * | 2021-06-23 | 2022-06-07 | 山东科技大学 | 一种基于改进EfficientDet网络的海面军事目标检测与分类方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Li et al. | Adaptively constrained dynamic time warping for time series classification and clustering | |
US10706285B2 (en) | Automatic ship tracking method and system based on deep learning network and mean shift | |
Li et al. | Automatic pavement crack detection by multi-scale image fusion | |
Kim et al. | Deep-hurricane-tracker: Tracking and forecasting extreme climate events | |
CN109376736A (zh) | 一种基于深度卷积神经网络的视频小目标检测方法 | |
CN108470332B (zh) | 一种多目标跟踪方法及装置 | |
CN108549846B (zh) | 一种结合运动特征和头肩结构的行人检测与统计方法 | |
Huang et al. | Development and validation of a deep learning algorithm for the recognition of plant disease | |
CN111161315B (zh) | 一种基于图神经网络的多目标跟踪方法和*** | |
CN110084165A (zh) | 基于边缘计算的电力领域开放场景下异常事件的智能识别与预警方法 | |
CN101986348A (zh) | 一种视觉目标识别与跟踪方法 | |
CN107301376B (zh) | 一种基于深度学习多层刺激的行人检测方法 | |
CN108986143B (zh) | 一种视频中目标检测跟踪方法 | |
CN110991397B (zh) | 一种行进方向确定方法及相关设备 | |
Fan et al. | Real time power equipment meter recognition based on deep learning | |
Peng et al. | CNGAT: A graph neural network model for radar quantitative precipitation estimation | |
CN113111727A (zh) | 一种基于特征对齐的遥感场景下旋转目标检测方法 | |
CN112541403B (zh) | 一种利用红外摄像头的室内人员跌倒检测方法 | |
CN116229052B (zh) | 一种基于孪生网络的变电站设备状态变化检测方法 | |
Liu et al. | Slippage fault diagnosis of dampers for transmission lines based on faster R-CNN and distance constraint | |
Liu et al. | AFDet: Toward more accurate and faster object detection in remote sensing images | |
Fernández et al. | Robust Real‐Time Traffic Surveillance with Deep Learning | |
Wang et al. | Automatic identification and location of tunnel lining cracks | |
Li et al. | STADE-CDNet: Spatial–temporal attention with difference enhancement-based network for remote sensing image change detection | |
Liu et al. | Defect detection of the surface of wind turbine blades combining attention mechanism |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190222 |
|
RJ01 | Rejection of invention patent application after publication |