CN109711326A - 一种基于浅层残差网络的视频目标检测方法 - Google Patents
一种基于浅层残差网络的视频目标检测方法 Download PDFInfo
- Publication number
- CN109711326A CN109711326A CN201811588278.XA CN201811588278A CN109711326A CN 109711326 A CN109711326 A CN 109711326A CN 201811588278 A CN201811588278 A CN 201811588278A CN 109711326 A CN109711326 A CN 109711326A
- Authority
- CN
- China
- Prior art keywords
- layer
- target
- residual error
- feature
- network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Image Analysis (AREA)
Abstract
一种基于浅层残差网络的视频目标检测方法，首先，通过低层卷积层与高层卷积层的跳跃连接提高对图像特征的利用；然后，通过对第一层预测层进行上采样操作，得到尺寸更大的特征层。最后，将得到的上采样特征层与低层网络进行通道连接，增加第二层预测，使得算法对目标的检测更为精确。本方法在目标分类准确性、目标位置预测、检测速度方面优于YOLO‑Tiny方法，在实时的视频监控、交通情况检测等领域中有很大的应用前景。
Description
技术领域
本发明是实时的视频目标检测方法，适用于机器学习、模式识别和视频监控领域。
背景技术
目标检测的目的是确定目标所属的类别并对目标的位置进行精确定位，这在实时的视频监控、交通情况检测等领域中起着非常重要的作用，因此，目标检测一直是计算机视觉领域要解决的问题。目标检测任务可分为两个关键的子任务：目标分类和目标定位。目标分类任务负责判断输入图像中是否有感兴趣类别的物体出现，输出一系列带分数的标签表明感兴趣类别的物体出现在输入图像的可能性。目标定位任务负责确定输入图像中感兴趣类别的物体的位置和范围。随着深度学习的发展，引入了卷积神经网络对图像特征进行提取，使算法检测精度及速度有所提升。但是高精度的算法往往需要高计算消耗，检测速度并不能满足实时检测的要求，且深度学习算法对硬件的要求也远高于传统的方法。现有的检测算法对于遮挡物体及小目标的识别效果并不好。设计一种能达到实时要求，拥有高精度，对不同场景都有良好检测效果的的算法是计算机视觉领域的一个研究热点。
发明内容
本发明的目的就是针对实时视频目标检测存在检测精度低、检测速度慢等缺点，现有的检测方法无法达到高精度的同时满足实时要求，提出一种基于浅层残差网络的视频目标检测方法。
本发明采用的技术方案是：
一种基于浅层残差网络的视频目标检测方法，本发明特征在于：通过低层卷积层与高层卷积层的跳跃连接提高对图像特征的利用；然后，通过对第一层预测层进行上采样操作，得到尺寸更大的特征层。最后，将得到的上采样特征层与低层网络进行通道连接，增加第二层预测，使得算法对实时的视频目标的检测更为精确；其方法为：
1)数据集来源于PASCAL VOC公共数据库，该数据库为图像识别和分类提供了一整套标准化的数据集；
2)用残差神经网络替代Tiny网络，通过对特征的多次处理，使训练的模型对物体的分类以及位置的预测更为精确；
3)通过残差网络进行特征提取，再通过上采样操作增加预测层得到目标的分类及位置；
4)单纯进行上采样得到的分割结果比较粗糙，连接上采样层和低层卷积层的特征得到了更为精确的目标分类和定位结果。
本发明将实时的视频目标检测视为一个模式的转化问题，即目标的分类为第一模式，目标的定位为第二模式；采用一个改进的卷积神经网络模拟第一模式和第二模式之间的映射关系。
本发明用残差卷积神经网络替代Tiny网络是：采用一个改进的卷积神经网络模拟第一模式和第二模式之间的映射关系；用损失函数表示当前神经网络分类及定位结果图与标准图之间的误差；在训练过程中反复迭代误差损失函数，当损失函数尽可能小时，训练得到模型已能够有效提取对视频目标的分类与定位的映射规律，通过所学到的规律准确检测视频中的目标；整个目标检测过程包括目标分类和目标定位两部分组成。
本发明基于跳跃连接的所述卷积神经网络架构设计了一个能够有效提取图像特征的神经网络；该网络包含特征的提取和特征连接两部分；该网络的思想是接收前一块卷积块的输出，提高对特征的重复利用，并在第一层预测层之后增加上采样操作，连接低层特征，提高对特征的利用，在大尺度上进行目标的分类及定位使目标的检测更为精确。
本发明采用的所述卷积神经网络是一种跳跃连接架构，每一块卷积块都接收来自前面一块卷积块的输出，每一块中都有两层卷积层，其卷积核大小分别为1x1、3x3，且每个卷积层后都有一个激活函数leaky-ReLU；在连续几个块之后是一个大小为3x3,步长为2的卷积层，作用是降低图像分辨率，得到图像的深度特征；特征的深度提取就是进行更多的卷积处理，使低层特征一直在卷积块中传递，提高特征利用率，在上采样后将对于大小相同的低层特征进行通道合并，提升第二次预测的结果；神经网络的输入使需检测的图像，输出则是对图像中目标的分类及定位。
本文发明是基于深度学***台：处理器为Intel i7-8700 CPU，内存为16GB，显卡NVIDIA GeForce GTX 1070。由于GPU显存不大，所以规模较大的神经网络无法在现有的机器中运行，这也是本实验使用浅层跳跃连接型神经网络的原因。为了与现有的方法进行一个定量的比较，本文使用公开的PASCAL VOC数据集对提出的方法进行评估。
目前有很多的检测方法用于实时的视频目标检测，但是检测速度和检测精度始终是目标检测任务中面临的重要挑战之一。从PASCAL VOC数据集中选出部分图像进行实验，对比Tiny 网络和本文网络的检测效果图，可以看出本文方法对图像中的物体有更好的分类和位置预测。本发明的效果是：提出了一种新的采用跳跃连接方式的神经网络对图像中的目标进行检测。首先，使每一块卷积块的输入都来自于前面一块卷积块的输出，使低层特征始终可以被使用。其次，对上采样的特征层进行跨层连接，增加预测层，提升对小目标的预测以及目标的定位。通过对特征的深度提取以及增加预测层，从而获得更为精确的检测结果。本文方法在准确性、检测速度、目标定位方面优于原Tiny结构，且对遮挡目标及小目标也有良好的检测结果，该方法精度高、检测速度快、鲁棒性好，在视频监控***中具有广阔的应用前景。
附图说明
图1a-图1c为原Tiny结构的检测效果图；
图2a-图2c为本文方法的检测效果图；
表1为本发明采用的残差卷积神经网络结构。
具体实施方法
见图1a-图1c，图2a-图2c，表1，一种基于浅层残差网络的视频目标检测方法，本发明特征在于：通过低层卷积层与高层卷积层的跳跃连接提高对图像特征的利用；然后，通过对第一层预测层进行上采样操作，得到尺寸更大的特征层。最后，将得到的上采样特征层与低层网络进行通道连接，增加第二层预测，使得算法对实时的视频目标的检测更为精确；其方法为：
1)数据集来源于PASCAL VOC公共数据库，该数据库为图像识别和分类提供了一整套标准化的数据集；
2)用残差神经网络替代Tiny网络，通过对特征的多次处理，使训练的模型对物体的分类以及位置的预测更为精确；
3)通过残差网络进行特征提取，再通过上采样操作增加预测层得到目标的分类及位置；
4)单纯进行上采样得到的分割结果比较粗糙，连接上采样层和低层卷积层的特征得到了更为精确的目标分类和定位结果。
本发明将实时的视频目标检测视为一个模式的转化问题，即目标的分类为第一模式，目标的定位为第二模式；采用一个改进的卷积神经网络模拟第一模式和第二模式之间的映射关系。
本发明用残差卷积神经网络替代Tiny网络是：采用一个改进的卷积神经网络模拟第一模式和第二模式之间的映射关系；用损失函数表示当前神经网络分类及定位结果图与标准图之间的误差；在训练过程中反复迭代误差损失函数，当损失函数尽可能小时，训练得到模型已能够有效提取对视频目标的分类与定位的映射规律，通过所学到的规律准确检测视频中的目标；整个目标检测过程包括目标分类和目标定位两部分组成。
本发明基于跳跃连接的所述卷积神经网络架构设计了一个能够有效提取图像特征的神经网络；该网络包含特征的提取和特征连接两部分；该网络的思想是接收前一块卷积块的输出，提高对特征的重复利用，并在第一层预测层之后增加上采样操作，连接低层特征，提高对特征的利用，在大尺度上进行目标的分类及定位使目标的检测更为精确。
本发明采用的所述卷积神经网络是一种块跳跃连接架构，每一块卷积块都接收来自前面一块卷积块的输出，每一块中都有两层卷积层，其卷积核大小分别为1x1、3x3，且每个卷积层后都有一个激活函数leaky-ReLU；在连续几个块之后是一个大小为3x3,步长为2的卷积层，作用是降低图像分辨率，得到图像的深度特征；特征的深度提取就是进行更多的卷积处理，使低层特征一直在卷积块中传递，提高特征利用率，在上采样后将对于大小相同的低层特征进行通道合并，提升第二次预测的结果；神经网络的输入使需检测的图像，输出则是对图像中目标的分类及定位。
表1
Claims (5)
1.一种基于浅层残差网络的视频目标检测方法，其特征在于，通过低层卷积层与高层卷积层的跳跃连接提高对图像特征的利用；然后，通过对第一层预测层进行上采样操作，得到尺寸更大的特征层。最后，将得到的上采样特征层与低层网络进行通道连接，增加第二层预测，使得算法对实时的视频目标的检测更为精确；其方法为：
1)数据集来源于PASCAL VOC公共数据库，该数据库为图像识别和分类提供了一整套标准化的数据集；
2)用残差神经网络替代Tiny网络，通过对特征的多次处理，使训练的模型对物体的分类以及位置的预测更为精确；
3)通过残差网络进行特征提取，再通过上采样操作增加预测层得到目标的分类及位置；
4)单纯进行上采样得到的分割结果比较粗糙，连接上采样层和低层卷积层的特征得到了更为精确的目标分类和定位结果。
2.根据权利要求1所述的一种基于浅层残差网络的视频目标检测方法，其特征在于，将实时的视频目标检测视为一个模式的转化问题，即目标的分类为第一模式，目标的定位为第二模式；采用一个改进的卷积神经网络模拟第一模式和第二模式之间的映射关系。
3.根据权利要求1所述的一种基于浅层残差网络的视频目标检测方法，其特征在于，用残差卷积神经网络替代tiny网络是：采用一个改进的卷积神经网络模拟第一模式和第二模式之间的映射关系；用损失函数表示当前神经网络分类及定位结果图与标准图之间的误差；在训练过程中反复迭代误差损失函数，当损失函数尽可能小时，训练得到模型已能够有效提取对视频目标的分类与定位的映射规律，通过所学到的规律准确检测视频中的目标；整个目标检测过程包括目标分类和目标定位两部分组成。
4.根据权利要求1或2或3所述的一种基于浅层残差网络的视频目标检测方法，其特征在于，基于残差卷积神经网络架构设计了一个能够有效提取图像特征的神经网络；该网络包含特征的提取和在多个特征图上进行预测两部分；该网络的思想是对图像进行更多的处理，提高对特征的利用，并在第一层预测层之后增加上采样操作，连接低层特征，提高对特征的利用，在大尺度上进行目标的分类及定位使目标的检测更为精确。
5.根据权利要求1或2或3所述的一种基于浅层残差网络的视频目标检测方法，其特征在于，采用的所述残差卷积神经网络是一种跳跃连接架构，每一块卷积块都接收来自前面一块卷积块的输出，每一块中都有两层卷积层，其卷积核大小分别为1x1、3x3，且每个卷积层后都有一个激活函数leaky-ReLU；在连续几个块之后是一个大小为3x3,步长为2的卷积层，作用是降低图像分辨率，得到图像的深度特征；特征的深度提取就是进行更多的卷积处理，使低层特征一直在卷积块中传递，提高特征利用率，在上采样后将对于大小相同的低层特征进行通道合并，提升第二次预测的结果；神经网络的输入使需检测的图像，输出则是对图像中目标的分类及定位。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811588278.XA CN109711326A (zh) | 2018-12-25 | 2018-12-25 | 一种基于浅层残差网络的视频目标检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811588278.XA CN109711326A (zh) | 2018-12-25 | 2018-12-25 | 一种基于浅层残差网络的视频目标检测方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN109711326A true CN109711326A (zh) | 2019-05-03 |
Family
ID=66257331
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811588278.XA Pending CN109711326A (zh) | 2018-12-25 | 2018-12-25 | 一种基于浅层残差网络的视频目标检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109711326A (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110135503A (zh) * | 2019-05-19 | 2019-08-16 | 重庆理工大学 | 一种装配机器人零件深度学习识别方法 |
| CN110243828A (zh) * | 2019-07-18 | 2019-09-17 | 华中科技大学 | 基于卷积神经网络的生物组织三维成像方法 |
| CN110895697A (zh) * | 2019-11-13 | 2020-03-20 | 三峡大学 | 变压器铭牌信息采集方法及智能采集*** |
| CN112950638A (zh) * | 2019-12-10 | 2021-06-11 | 深圳华大生命科学研究院 | 图像分割方法、装置、电子设备及计算机可读存储介质 |
| CN113408321A (zh) * | 2020-03-16 | 2021-09-17 | 中国人民解放军战略支援部队信息工程大学 | 一种轻量级图像、视频数据的实时目标检测方法及装置 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106599939A (zh) * | 2016-12-30 | 2017-04-26 | 深圳市唯特视科技有限公司 | 一种基于区域卷积神经网络的实时目标检测方法 |
| CN107316058A (zh) * | 2017-06-15 | 2017-11-03 | 国家新闻出版广电总局广播科学研究院 | 通过提高目标分类和定位准确度改善目标检测性能的方法 |
| CN107423760A (zh) * | 2017-07-21 | 2017-12-01 | 西安电子科技大学 | 基于预分割和回归的深度学习目标检测方法 |
| CN107563405A (zh) * | 2017-07-19 | 2018-01-09 | 同济大学 | 基于多分辨率神经网络的车库自动驾驶语义目标识别方法 |
| CN107563381A (zh) * | 2017-09-12 | 2018-01-09 | 国家新闻出版广电总局广播科学研究院 | 基于全卷积网络的多特征融合的目标检测方法 |
| CN107886117A (zh) * | 2017-10-30 | 2018-04-06 | 国家新闻出版广电总局广播科学研究院 | 基于多特征提取和多任务融合的目标检测算法 |
| CN108182456A (zh) * | 2018-01-23 | 2018-06-19 | 哈工大机器人（合肥）国际创新研究院 | 一种基于深度学习的目标检测模型及其训练方法 |
| CN108921225A (zh) * | 2018-07-10 | 2018-11-30 | 深圳市商汤科技有限公司 | 一种图像处理方法及装置、计算机设备和存储介质 |
-
2018
- 2018-12-25 CN CN201811588278.XA patent/CN109711326A/zh active Pending
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106599939A (zh) * | 2016-12-30 | 2017-04-26 | 深圳市唯特视科技有限公司 | 一种基于区域卷积神经网络的实时目标检测方法 |
| CN107316058A (zh) * | 2017-06-15 | 2017-11-03 | 国家新闻出版广电总局广播科学研究院 | 通过提高目标分类和定位准确度改善目标检测性能的方法 |
| CN107563405A (zh) * | 2017-07-19 | 2018-01-09 | 同济大学 | 基于多分辨率神经网络的车库自动驾驶语义目标识别方法 |
| CN107423760A (zh) * | 2017-07-21 | 2017-12-01 | 西安电子科技大学 | 基于预分割和回归的深度学习目标检测方法 |
| CN107563381A (zh) * | 2017-09-12 | 2018-01-09 | 国家新闻出版广电总局广播科学研究院 | 基于全卷积网络的多特征融合的目标检测方法 |
| CN107886117A (zh) * | 2017-10-30 | 2018-04-06 | 国家新闻出版广电总局广播科学研究院 | 基于多特征提取和多任务融合的目标检测算法 |
| CN108182456A (zh) * | 2018-01-23 | 2018-06-19 | 哈工大机器人（合肥）国际创新研究院 | 一种基于深度学习的目标检测模型及其训练方法 |
| CN108921225A (zh) * | 2018-07-10 | 2018-11-30 | 深圳市商汤科技有限公司 | 一种图像处理方法及装置、计算机设备和存储介质 |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110135503A (zh) * | 2019-05-19 | 2019-08-16 | 重庆理工大学 | 一种装配机器人零件深度学习识别方法 |
| CN110135503B (zh) * | 2019-05-19 | 2022-07-12 | 重庆理工大学 | 一种装配机器人零件深度学习识别方法 |
| CN110243828A (zh) * | 2019-07-18 | 2019-09-17 | 华中科技大学 | 基于卷积神经网络的生物组织三维成像方法 |
| CN110243828B (zh) * | 2019-07-18 | 2021-07-30 | 华中科技大学 | 基于卷积神经网络的生物组织三维成像方法 |
| CN110895697A (zh) * | 2019-11-13 | 2020-03-20 | 三峡大学 | 变压器铭牌信息采集方法及智能采集*** |
| CN110895697B (zh) * | 2019-11-13 | 2023-05-05 | 三峡大学 | 变压器铭牌信息采集方法及智能采集*** |
| CN112950638A (zh) * | 2019-12-10 | 2021-06-11 | 深圳华大生命科学研究院 | 图像分割方法、装置、电子设备及计算机可读存储介质 |
| CN112950638B (zh) * | 2019-12-10 | 2023-12-29 | 深圳华大生命科学研究院 | 图像分割方法、装置、电子设备及计算机可读存储介质 |
| CN113408321A (zh) * | 2020-03-16 | 2021-09-17 | 中国人民解放军战略支援部队信息工程大学 | 一种轻量级图像、视频数据的实时目标检测方法及装置 |
| CN113408321B (zh) * | 2020-03-16 | 2023-08-22 | 中国人民解放军战略支援部队信息工程大学 | 一种轻量级图像、视频数据的实时目标检测方法及装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109711326A (zh) | 一种基于浅层残差网络的视频目标检测方法 | |
| Hu et al. | Detection of PCB surface defects with improved faster-RCNN and feature pyramid network | |
| CN106952250B (zh) | 一种基于Faster R-CNN网络的金属板带表面缺陷检测方法及装置 | |
| Yuan et al. | Vision-based defect detection for mobile phone cover glass using deep neural networks | |
| US10706332B2 (en) | Analog circuit fault mode classification method | |
| CN106934800B (zh) | 一种基于yolo9000网络的金属板带表面缺陷检测方法及装置 | |
| CN106778705B (zh) | 一种行人个体分割方法及装置 | |
| CN107247947A (zh) | 人脸属性识别方法及装置 | |
| CN109598249B (zh) | 服饰检测方法和装置、电子设备、存储介质 | |
| Fernandes et al. | Pavement pathologies classification using graph-based features | |
| CN103278511B (zh) | 基于多尺度角点特征提取的晶片缺陷检测方法 | |
| CN109509170A (zh) | 一种压铸件缺陷检测方法及装置 | |
| CN114155244B (zh) | 缺陷检测方法、装置、设备及存储介质 | |
| WO2021043090A1 (zh) | 顾客数量的统计方法及装置、电子设备及可读存储介质 | |
| CN110490842A (zh) | 一种基于深度学习的带钢表面缺陷检测方法 | |
| CN106874913A (zh) | 一种菜品检测方法 | |
| Li et al. | A method of defect detection for focal hard samples PCB based on extended FPN model | |
| CN104200478A (zh) | 一种基于稀疏表示的低分辨率触摸屏图像缺陷检测方法 | |
| CN112926621B (zh) | 数据标注方法、装置、电子设备及存储介质 | |
| CN109800755A (zh) | 一种基于多尺度特征的遥感影像小目标检测方法 | |
| CN110097091A (zh) | 训练与推理数据分布不一致条件下的图像细粒度识别方法 | |
| WO2024002187A1 (zh) | 缺陷检测方法、缺陷检测设备及存储介质 | |
| CN109145846A (zh) | 材料微观结构智能识别分析***及分析方法 | |
| CN103886332A (zh) | 一种检测与识别金属网栅缺陷的方法 | |
| CN108305242A (zh) | 一种用于工业生产线的智能视觉检测方法、***及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20190503 |
|
| WD01 | Invention patent application deemed withdrawn after publication |