CN110348357A - 一种基于深度卷积神经网络的快速目标检测方法 - Google Patents
一种基于深度卷积神经网络的快速目标检测方法 Download PDFInfo
- Publication number
- CN110348357A CN110348357A CN201910594388.5A CN201910594388A CN110348357A CN 110348357 A CN110348357 A CN 110348357A CN 201910594388 A CN201910594388 A CN 201910594388A CN 110348357 A CN110348357 A CN 110348357A
- Authority
- CN
- China
- Prior art keywords
- layer
- model
- convolution kernel
- frame
- training
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 62
- 238000013527 convolutional neural network Methods 0.000 title claims abstract description 20
- 238000012549 training Methods 0.000 claims abstract description 47
- 238000013138 pruning Methods 0.000 claims abstract description 21
- 238000000605 extraction Methods 0.000 claims abstract description 17
- 230000006835 compression Effects 0.000 claims abstract description 8
- 238000007906 compression Methods 0.000 claims abstract description 8
- 238000000034 method Methods 0.000 claims description 28
- 230000008569 process Effects 0.000 claims description 18
- 238000005457 optimization Methods 0.000 claims description 9
- 238000005070 sampling Methods 0.000 claims description 8
- 230000003416 augmentation Effects 0.000 claims description 7
- 230000004044 response Effects 0.000 claims description 6
- 230000008859 change Effects 0.000 claims description 5
- 238000007781 pre-processing Methods 0.000 claims description 4
- 239000000284 extract Substances 0.000 claims description 3
- 238000006243 chemical reaction Methods 0.000 claims description 2
- 235000013399 edible fruits Nutrition 0.000 claims 1
- 238000005259 measurement Methods 0.000 abstract description 2
- 230000001737 promoting effect Effects 0.000 abstract 1
- 238000007689 inspection Methods 0.000 description 7
- 230000004438 eyesight Effects 0.000 description 6
- 238000004519 manufacturing process Methods 0.000 description 4
- 230000008901 benefit Effects 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000011897 real-time detection Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000004888 barrier function Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000010224 classification analysis Methods 0.000 description 1
- 238000011840 criminal investigation Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000012372 quality testing Methods 0.000 description 1
- 238000000611 regression analysis Methods 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
- 230000016776 visual perception Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于深度卷积神经网络的快速目标检测方法。首先通过构造基本的SSD检测模型,将预处理的数据进行训练,得到一个原始训练模型。然后,通过卷积核重要性的度量,采取卷积核剪枝策略,去除不重要的卷积核,精简检测模型中的特征提取网络,并得到压缩模型。具体来讲,通过使得对第i+1层的通道子集构成的输入与第i+1层的输出尽可能相近,从而可以去除第i+1层输入的其他通道,并进而去除第i层中相应的卷积核,从而实现对模型卷积核的剪枝。每去除一个卷积层,然后对压缩模型进行微调,以恢复检测模型精度。当所有卷积层剪枝完毕后,得到最终的压缩检测模型。本发明通过模型压缩,使得模型可以在移动端部署,同时提升检测速度,并保持检测精度。
Description
技术领域
本发明涉及计算机视觉领域,特别是涉及一种基于深度卷积神经网络的快速目标检测方法。
技术背景
人类获取信息的途径,最直观的就是听觉和视觉。研究表明,人类获取信息中的百分之八九十,都是通过人眼观察到的。也正是基于此,视觉机制一直是人类研究的重要领域,尤其是计算机视觉,近年来,伴随着深度学习的发展,计算机视觉取得了许多重大的突破。而目标检测,就是人们实现视觉感知和理解的重要一环,其检测物体的速度和精度,直接决定了我们获取信息的质量,其重要性可见一斑。此外,目标检测有着广阔的应用前景,诸如在无人驾驶中,通过3D目标检测可以实现快速的定位,从而汽车可以避开障碍物并顺利行驶;在制造业领业,通过人工智能的质量检测,自动识别出生产品中的斑点,可以迅速找出不合格的产品,不但可以提高质检的精度和速度,还可以节省大量的劳动力;在交通***中,通过对视频的实时检测,可以快速识别出车牌号。总而言之,目标检测,尤其是快速的目标检测,在我们生活中扮演着越来越重要的角色。
目标检测主要包括两个过程,即定位和识别。相比于一般的图像识别任务,虽然只多出了定位这一过程,但其模型实现上却要复杂得多。在传统的目标检测实现中,其难点在于特征提取以及特征分类。其旨在采用Haar小波、LBP、SIFT、HOG(histogram of orientedgradient)等方法对目标进行人工特征提取,再通过级联分类器AdaBoost、支持向量机SVM、DMP等方法进行分类。但是,由于特征提取主要是基于底层的信息,对拥有比较丰富语义信息的高层特征提取不足,同时特征提取具有特定性,故而存在识别中精度不高和识别物体种类单一的问题。
因此,尽管研究了许多年,在基于传统的检测方法下,一直未能得到广泛的应用。直到2012年,Alexnet模型的横空出世,计算机视觉的研究实现了历史性的突破。其在大规模图像识别的应用中取得了瞩目的成就,并在ImageNet比赛中取得第一名的成绩。其发展,一方面是计算机硬件性能的提升,在大数据存储以及计算速度上有了明显的提高;另一方面得益于机器学习算法的进步,尤其是深度神经网络的提出,使其在特征提取,尤其是高层特征提取上,有了极大的提高。此后,基于卷积神经网络的目标检测方法,如雨后春笋一般,得到了蓬勃发展。
目前,基于卷积神经网络模型的目标检测方法,主要有两类,即二阶段检测与一阶段检测。在二阶段检测中最著名的,当属R-CNN系列。其旨在通过区域检测的方法,将目标检测分为两个过程,一个是边界提议框的选取,主要通过回归来实现;另一个就是对物体进行分类。其后,又陆续提出了fast R-CNN,faster R-CNN以及Mask R-CNN等模型,尽管检测的速度以及精度上都有所提高,但是离实际应用中的实时检测,仍相去甚远。另外一个思路是,对输入的图片通过卷积神经网络后提取特征,直接进行回归处理,将定位与识别作为一个过程来实现,其典型代表就是yolo、SSD等。尽管检测速度大幅提高,但在实际生产应用中,却仍无法满足检测的实时性要求。
发明内容
本发明主要解决的技术问题是提供一种基于深度卷积神经网络的快速目标检测方法,通过对原始检测模型进行卷积核剪枝操作,减小了模型大小,有利于模型的部署。同时,在保证检测精度的情况下提高了检测速度,能够解决智能交通***中视频监控、行人检测等问题。
本发明提出了一种基于深度卷积神经网络的快速目标检测方法,包括以下步骤:训练原始模型、模型压缩、压缩模型上进行微调,具体而言,主要包括以下四个步骤:
Step1:对训练集的图像数据进行预处理,具体为:采用随机裁剪固定区域、随机裁剪随机大小、颜色变化和亮度扭曲方法,对图像数据进行増广,然后再随机做水平翻转,最后对増广后的图片做归一化处理,使其为固定大小,其尺寸为w×h。
将预处理后的训练集输入SSD模型进行训练得到初始模型;
(1)构建SSD模型,以去掉全连接层的VGG16为基本的特征提取网络,然后再加入Conv6、Conv7、Conv8、Conv9、Conv10和Conv11六个卷积层,并抽取Conv4_3、Conv7、Conv8_2、Conv9_2、Conv10_2和Conv11_2层的特征图作为预测层;
(2)将预处理的训练集输入SSD模型进行特征提取,在每个预测层上生成固定数目的不同尺寸与不同长宽比的先验候选框,然后将先验候选框与训练集的图片数据中标注的真实边框进行匹配,得到训练过程中的正样本与负样本,并分别进行分类与回归预测,首先,将真实边框与其交并比最大的先验后选框进行匹配;然后,对于交并比大于0.5的真实边框与剩余的候选框进行匹配,将与真实边框匹配的候选先验框作为正样本,其他的则作为负样本,将负样本按照预测置信度降序排列,选取前面的负样本,并保证正负样本比例为1:3。
在此训练过程中,使用SGD梯度下降优化算法,通过反向传播训练网络,得到初始的训练模型,训练过程中的损失函数为:
其中,N为与真实边框相匹配的先验候选框的个数,Lloc为定位损失函数,Lconf为分类置信度的损失量,α为正则化参数,z为输入图像,p为目标类别,l为模型预测边框,g为标注边框。
Step2:对Step1中得到的初始模型采取卷积核剪枝的策略,对初始模型进行压缩得到压缩模型;在上述的基础卷积神经网络VGG16(Conv1_1-Conv4_3)中,设置一种基于卷积核通道和大小的剪枝策略,对卷积特征提取贡献率高的卷积核通道就予以保留,特征提取影响小的则舍弃。具体来说,对图像进行特征提取,设第i层卷积特征层通道数为Ci,宽和高分别为Hi和Di,将第i层卷积层记为Ii,并且有对应的,卷积核大小为ni×Ci×Ki×Ki,即共有ni个卷积核,通道数为Ci,宽和高分别为Ki和Ki,第i层卷积核记为Wi,并且有我们的目的是去除Wi中不重要的卷积核,以缩减模型参数。基于卷积核剪枝的主要思想在于:对于第i+1层,其输入为第i层的输出,其输出为第i+2层的输入,如果第i层通道子集构成的第i+1层输入与第i+1层输出近似,则第i+1层输入对应的第i层中的其他通道可以移除,同时,第i层中相应的卷积核也可以去除。
具体过程为:
设y为第i+2层输入特征层中的随机采样点,也即第i+1层的输出特征层中的随机采样点
其中,和分别为第i+1层响应的卷积核与滑动窗口,c表示卷积核通道,C为最大的通道数,k1表示宽度,k2表示高度,两者最大值均为K,b为相应的偏置;
第i+1层响应的卷积核与滑动窗口卷积操作的每一个通道输出为
则第i+1层的输出特征层中的随机采样点表示为:
其中,
如果第i层通道子集构成的第i+1层输入与第i+1层输出近似,则第i+1层输入对应的第i层中的其他通道可以移除,具体为其中S为特征层通道子集,且有如果上式成立,则任何对应的通道特征可以移除,与此同时,第i+1的输入为第i层的输出,则第i层中相应的卷积核也会被移除,从而实现第i层卷积核剪枝;
在训练过程中,设有训练集其中M为图片数量与卷积特征空间位置数量的乘积,为第m个输入卷积特征,由公式(3)得到,为相应的卷积核与滑动窗口卷积操作得到的第j通道输出;由公式(4)得到,为输出特征层中第m个随机采样点,则将原通道选择问题转变为以下优化问题:
其中,|S|为通道子集S中元素的数量,r为压缩率,令T表示特征层被移除的通道子集,则集合T与S的交集为空集,其并集为通道集合{1,2,...,C},上式转换为:
一般而言,|T|<|S|,因此在实际训练过程中,通过优化式子(6)来实现卷积核通道的剪枝。通过上述优化,得到了第i层要去除的卷积核,同时,为了确保卷积核移除后的模型性能,最小化其重构误差。
式子(7)根据普通最小二乘求解,可以得到
根据以上步骤,对检测模型的基础模型VGG16中前10个卷积层(Conv1_1-Conv4_3)的卷积核进行剪枝操作,并得到压缩模型。
Step3:对step(2)中模型的每一特征层进行减枝后,紧接着对模型进行微调训练,即使用预处理后的训练集对压缩模型进行训练并将模型保存。在微调过程中,使用step(1)中的训练步骤,得到卷积核剪枝后的检测模型,以提升剪枝后的模型检测精度。一般而言,重复训练一到两个周期,并将最终得到的模型保存。
Step4:重复进行步骤Step2-Step3若干次,将Step(3)中微调后的模型再次采取Step(2)的卷积核剪枝策略,以进一步压缩模型,直到所有对检测性能影响较小的卷积核全部去除,并将最后微调得到的模型保存,作为最后的压缩检测模型。
本发明的有益效果:
本发明在缩小模型大小、保证检测精度的情况下尽可能提高检测速度。
在Step1中,通过对数据进行増广,可以使得模型对目标尺寸、大小更具鲁棒性。并同时尽量提升原始检测模型的精度,以提高压缩模型的检测精度上限。
在Step2中,通过度量原始模型中卷积核的重要性,去除对检测性能没有影响的卷积核,从而实现模型压缩,并同时保持检测精度。
在Step3中,在压缩的网络上进行微调,以使得压缩后的模型检测性能重新达到最优。
在Step4中,重复step(3)与step(4)若干次,以实现所有卷积层的卷积核剪枝,并保持检测精度,从而得到最终的检测模型。
附图说明
图1是本发明的一种较佳实施例的流程示意图;
图2是本发明实施例的基本检测器网络结构模型SSD,其中基础网络为VGG-16。
具体实施方式
下面结合附图对本发明的较佳实施例进行详细阐述,以使本发明的优点和特征能更易于被本领域技术人员理解,从而对本发明的保护范围做出更为清楚明确的界定。
实施例1:本发明可以应用在诸多领域,例如在交通***中,通过检测监控视频来实时定位目标;也可以应用于刑侦领域,通过快速检测来定位犯罪嫌疑人;在自动驾驶中,对道路场景的快速定位,以避开行人与障碍物。为了表现本方法的通用性,下面主要以在公开数据集Pascal VOC上的实验为例,共检测20个类别,来说明本发明的具体使用情况。本发明的实验过程中,使用***Ubuntu18.04,采用硬件CPU为i78700k 3.7GHz×6,编程语言为python3.6,显卡为英伟达GeForce RTX 2070,深度学习框架为Pytorch1.0。
Step1:对训练集的图像数据进行预处理,将预处理后的训练集输入SSD模型进行训练得到初始模型;首先,构建SSD网络模型,并以去掉全连接层的VGG16为基本的特征提取网络,整体网络结构如图2所示。使用VOC2007和VOC2012训练集和验证集作为训练数据集,共有16551张训练图片;测试集为VOC2007 test数据集,共有4952张图片。然后,对数据进行预处理,采用随机裁剪固定区域、随机裁剪随机大小、颜色变化、亮度扭曲等方法,对图像数据进行増广,然后再随机做水平翻转。最后对増广后的图片做归一化处理,使其为固定大小300x300。将预处理的数据输入SSD检测模型进行特征提取,并在六个不同尺度的预测层上分别作分类与回归分析。在训练过程中,批次为32,共迭代120000次,并使用SGD梯度下降优化算法,通过反向传播训练网络,得到初始的训练模型。
Step2:对Step1中得到的初始模型采取卷积核剪枝的策略,对初始模型进行压缩得到压缩模型,使用初始模型对训练数据进行特征提取,得到VGG16中前10个卷积层(Conv1_1-Conv4_3)的特征层。设y为第i+2层的输入,也即第i+1特征层的输出,其由卷积操作式得到:
其中,和分别为第i+1层响应的卷积核与滑动窗口,c表示卷积核通道,C为最大的通道数,k1表示宽度,k2表示高度,两者最大值均为K,b为相应的偏置;
进一步地,第i+1层响应的卷积核与滑动窗口卷积操作的每一个通道输出为
则第i+1层的输出特征层中的随机采样点可以表示为:
其中,
通过上式,得到训练集我们的目的是优化下式,以去除不重要的卷积特征通道:
其中,T为除出去的卷积通道集合,C为卷积层通道集合,r为压缩率。
为了解决以上优化问题,首先设定T=φ,即|T|=0,同时设定压缩率r=0.5,式子(7)的初始解设为min_val→+∞。则当|T|<C×(1-r)时,执行以下操作:对于任意的m∈C,设定T′=T∪{m},并用T′来得到式子(7)的解,使得每增加一个通道时式子(7)取值最小,设为val,如果val<min_val,则更新min_val=val,同时更新T=T′,否则,继续以上操作。
通过上述方法,使得每次增加一个通道时上式的取值最小,可以得到要去除的卷积核集合T,从而实现网络模型压缩。
同时,为了确保卷积核移除后的模型性能,我们最小化下式所示的重构误差:
根据普通最小二乘求解对上式求解,可以得到
根据以上步骤,对检测模型的基础模型VGG16中前10个卷积层(Conv1_1-Conv4_3)的卷积核进行剪枝操作,并得到压缩模型。
Step3:对step(2)中模型的每一特征层进行减枝后,紧接着对模型进行微调训练,并将模型保存。在微调过程中,使用step(1)中的训练步骤,得到卷积核剪枝后的检测模型,以提升剪枝后的模型检测精度。一般而言,重复训练一到两个周期,并将最终得到的模型保存。
Step4:重复Step(3)与Step(4)若干次,本次操作采取3次重复,得到最终的检测模型。
通过以上步骤,最后可以得到原始模型与卷积核剪枝后的模型检测效果,同时下表1给出了剪枝前后的模型大小、检测速度与检测精度。从表中可知,相比原来模型,尽管检测精度略有下降,由77.3%减为75.2%,但模型大小由105.2M减小到13.8M,模型检测速度由46FPS(帧每秒)提升到200FPS(帧每秒),这样可以在略微牺牲检测精度的情况下,满足实际生产应用中移动端的模型部署以及检测的实时性要求。
表1原始模型与压缩模型性能对比
模型 | 模型大小(M) | 检测速度(FPS) | 检测精度(mAP) |
原始模型 | 105.2 | 46 | 77.3 |
压缩模型 | 13.8 | 200 | 75.2 |
与现有的其他方法相比,本例的实施通过使用训练数据训练得到一个初始的检测模型,然后通过对检测器特征提取网络的卷积核进行重要性评估,去除不要重要的卷积核,以此精简模型。不同于以往使用第i层特征层的统计量来评估卷积核的重要性,我们通过第i+1的特征层来引导对第i层特征层的卷积核评估。在整个卷积核剪枝过程中,我们并没有改变原来模型的结构,这样可以更好的保持模型的精度。在完成卷积核剪枝后,再对模型进行微调,以使得压缩模型性能达到最优。通过我们的算法,实现了模型的压缩,使得可以部署在移动端,同时提升了检测速度,而基本保持了检测的精度。
以上所述仅为本发明的实施例,并非因此限制本发明的专利范围,凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本发明的专利保护范围内。
Claims (6)
1.一种基于深度卷积神经网络的快速目标检测方法,其特征在于,包括以下步骤:
Step1:对训练集的图像数据进行预处理,将预处理后的训练集输入SSD模型进行训练得到初始模型;
Step2:对Step1中得到的初始模型采取卷积核剪枝的策略,对初始模型进行压缩得到压缩模型;
Step3:使用预处理后的训练集对压缩模型进行训练,即对压缩模型进行微调;
Step4:重复进行步骤Step2-Step3若干次,得到最终的检测模型。
2.根据权利要求1所述的基于深度卷积神经网络的快速目标检测方法,其特征在于,所述Step1中训练集的图像数据预处理具体为:采用随机裁剪固定区域、随机裁剪随机大小、颜色变化和亮度扭曲方法,对图像数据进行増广,然后再随机做水平翻转,最后对増广后的图片做归一化处理,使其为固定大小,其尺寸为w×h。
3.根据权利要求1所述的基于深度卷积神经网络的快速目标检测方法,其特征在于,所述Step1中SSD模型进行训练得到初始的训练模型的具体过程为:
(1)构建SSD模型,以去掉全连接层的VGG16为基本的特征提取网络,然后再加入Conv6、Conv7、Conv8、Conv9、Conv10和Conv11六个卷积层,并抽取Conv4_3、Conv7、Conv8_2、Conv9_2、Conv10_2和Conv11_2层的特征图作为预测层;
(2)将预处理的训练集输入SSD模型进行特征提取,在每个预测层上生成固定数目的不同尺寸与不同长宽比的先验候选框,然后将先验候选框与训练集的图片数据中标注的真实边框进行匹配,得到训练过程中的正样本与负样本,并分别进行分类与回归预测,在此训练过程中,使用SGD梯度下降优化算法,通过反向传播训练网络,得到初始的训练模型。
4.根据权利要求3所述的基于深度卷积神经网络的快速目标检测方法,其特征在于,所述先验候选框与训练集的图片数据中标注的真实边框进行匹配策略为:首先,将真实边框与其交并比最大的先验后选框进行匹配;然后,对于交并比大于0.5的真实边框与剩余的候选框进行匹配,将与真实边框匹配的候选先验框作为正样本,其他的则作为负样本,将负样本按照预测置信度降序排列,选取前面的负样本,并保证正负样本比例为1:3。
5.根据权利要求3所述的基于深度卷积神经网络的快速目标检测方法,其特征在于,所述训练过程中的损失函数为:
其中,N为与真实边框相匹配的先验候选框的个数,Lloc为定位损失函数,Lconf为分类置信度的损失量,α为正则化参数,z为输入图像,p为目标类别,l为模型预测边框,g为标注边框。
6.根据权利要求1所述的基于深度卷积神经网络的快速目标检测方法,其特征在于,所述卷积核剪枝的策略为:使用初始模型对Step1中得到的预处理的训练集进行特征提取,得到VGG16中前10个卷积层的特征层并对卷积核进行剪枝操作,具体过程为:
设y为第i+2层输入特征层中的随机采样点,也即第i+1层的输出特征层中的随机采样点:
其中,和分别为第i+1层响应的卷积核与滑动窗口,c表示卷积核通道,C为最大的通道数,k1表示宽度,k2表示高度,两者最大值均为K,b为相应的偏置;
第i+1层响应的卷积核与滑动窗口卷积操作的每一个通道输出为
则第i+1层的输出特征层中的随机采样点表示为:
其中,
如果第i层通道子集构成的第i+1层输入与第i+1层输出近似,则第i+1层输入对应的第i层中的其他通道可以移除,具体为其中S为特征层通道子集,且有如果上式成立,则任何对应的通道特征可以移除,与此同时,第i+1的输入为第i层的输出,则第i层中相应的卷积核也会被移除,从而实现第i层卷积核剪枝;
在训练过程中,设有训练集其中M为图片数量与卷积特征空间位置数量的乘积,为第m个输入卷积特征,为相应的卷积核与滑动窗口卷积操作得到的第j通道输出;为输出特征层中第m个随机采样点,则将原通道选择问题转变为以下优化问题:
其中,|S|为通道子集S中元素的数量,r为压缩率,令T表示特征层被移除的通道子集,则集合T与S的交集为空集,其并集为通道集合{1,2,...,C},上式转换为:
通过上述优化,得到了第i层要去除的卷积核,同时,为了确保卷积核移除后的模型性能,最小化其重构误差。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910594388.5A CN110348357B (zh) | 2019-07-03 | 2019-07-03 | 一种基于深度卷积神经网络的快速目标检测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910594388.5A CN110348357B (zh) | 2019-07-03 | 2019-07-03 | 一种基于深度卷积神经网络的快速目标检测方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110348357A true CN110348357A (zh) | 2019-10-18 |
CN110348357B CN110348357B (zh) | 2022-10-11 |
Family
ID=68177705
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910594388.5A Active CN110348357B (zh) | 2019-07-03 | 2019-07-03 | 一种基于深度卷积神经网络的快速目标检测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110348357B (zh) |
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111080598A (zh) * | 2019-12-12 | 2020-04-28 | 哈尔滨市科佳通用机电股份有限公司 | 一种钩尾销安全吊的螺栓、螺母缺失检测方法 |
CN111291887A (zh) * | 2020-03-06 | 2020-06-16 | 北京迈格威科技有限公司 | 神经网络的训练方法、图像识别方法、装置及电子设备 |
CN112580558A (zh) * | 2020-12-25 | 2021-03-30 | 烟台艾睿光电科技有限公司 | 红外图像目标检测模型构建方法、检测方法、装置及*** |
WO2021077947A1 (zh) * | 2019-10-22 | 2021-04-29 | 北京市商汤科技开发有限公司 | 图像处理方法、装置、设备及存储介质 |
CN113051961A (zh) * | 2019-12-26 | 2021-06-29 | 深圳市光鉴科技有限公司 | 深度图人脸检测模型训练方法、***、设备及存储介质 |
CN114248819A (zh) * | 2020-09-25 | 2022-03-29 | 中车株洲电力机车研究所有限公司 | 基于深度学习的铁路侵限异物无人机检测方法、装置及*** |
CN114429618A (zh) * | 2022-01-06 | 2022-05-03 | 电子科技大学 | 一种基于改进AlexNet网络模型的拥堵识别方法 |
CN115019146A (zh) * | 2022-06-17 | 2022-09-06 | 集美大学 | 目标检测方法、***及存内计算芯片 |
CN115272980A (zh) * | 2022-09-22 | 2022-11-01 | 常州海图信息科技股份有限公司 | 一种基于机器视觉的运输皮带表面检测方法及*** |
CN116091824A (zh) * | 2022-12-30 | 2023-05-09 | 北京百度网讯科技有限公司 | 车辆分类模型的微调方法、车辆分类方法、装置及设备 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20150022069A1 (en) * | 2013-07-22 | 2015-01-22 | Cooler Master Development Corporation | Storage device carrier |
CN105469100A (zh) * | 2015-11-30 | 2016-04-06 | 广东工业大学 | 基于深度学习的皮肤活检图像病理特性识别方法 |
US20180114114A1 (en) * | 2016-10-21 | 2018-04-26 | Nvidia Corporation | Systems and methods for pruning neural networks for resource efficient inference |
CN109002807A (zh) * | 2018-07-27 | 2018-12-14 | 重庆大学 | 一种基于ssd神经网络的驾驶场景车辆检测方法 |
CN109271946A (zh) * | 2018-09-28 | 2019-01-25 | 清华大学深圳研究生院 | 一种在手机端实现感兴趣物体实时检测的方法 |
CN109344731A (zh) * | 2018-09-10 | 2019-02-15 | 电子科技大学 | 基于神经网络的轻量级的人脸识别方法 |
CN109389102A (zh) * | 2018-11-23 | 2019-02-26 | 合肥工业大学 | 基于深度学习的车道线检测方法及其应用的*** |
CN109508634A (zh) * | 2018-09-30 | 2019-03-22 | 上海鹰觉科技有限公司 | 基于迁移学习的船舶类型识别方法及*** |
-
2019
- 2019-07-03 CN CN201910594388.5A patent/CN110348357B/zh active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20150022069A1 (en) * | 2013-07-22 | 2015-01-22 | Cooler Master Development Corporation | Storage device carrier |
CN105469100A (zh) * | 2015-11-30 | 2016-04-06 | 广东工业大学 | 基于深度学习的皮肤活检图像病理特性识别方法 |
US20180114114A1 (en) * | 2016-10-21 | 2018-04-26 | Nvidia Corporation | Systems and methods for pruning neural networks for resource efficient inference |
CN109002807A (zh) * | 2018-07-27 | 2018-12-14 | 重庆大学 | 一种基于ssd神经网络的驾驶场景车辆检测方法 |
CN109344731A (zh) * | 2018-09-10 | 2019-02-15 | 电子科技大学 | 基于神经网络的轻量级的人脸识别方法 |
CN109271946A (zh) * | 2018-09-28 | 2019-01-25 | 清华大学深圳研究生院 | 一种在手机端实现感兴趣物体实时检测的方法 |
CN109508634A (zh) * | 2018-09-30 | 2019-03-22 | 上海鹰觉科技有限公司 | 基于迁移学习的船舶类型识别方法及*** |
CN109389102A (zh) * | 2018-11-23 | 2019-02-26 | 合肥工业大学 | 基于深度学习的车道线检测方法及其应用的*** |
Non-Patent Citations (3)
Title |
---|
6小贱: ""卷积的滑动窗口实现"", 《HTTPS://WWW.CNBLOGS.COM/XIAOJIANLIU/ARTICLE/9931499.HTML》, 8 November 2018 (2018-11-08), pages 1 - 7 * |
SHULI CHENG: ""A novel deep hashing method for fast image retrieval"", 《THE VISUAL COMPUTER》, vol. 35, no. 9, 13 August 2018 (2018-08-13), pages 1255 - 1266, XP036855953, DOI: 10.1007/s00371-018-1583-x * |
靳丽蕾: ""一种用于卷积神经网络压缩的混合剪枝方法"", 《小型微型计算机***》, vol. 39, no. 12, 11 December 2018 (2018-12-11), pages 2596 - 2601 * |
Cited By (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2021077947A1 (zh) * | 2019-10-22 | 2021-04-29 | 北京市商汤科技开发有限公司 | 图像处理方法、装置、设备及存储介质 |
CN111080598A (zh) * | 2019-12-12 | 2020-04-28 | 哈尔滨市科佳通用机电股份有限公司 | 一种钩尾销安全吊的螺栓、螺母缺失检测方法 |
CN113051961A (zh) * | 2019-12-26 | 2021-06-29 | 深圳市光鉴科技有限公司 | 深度图人脸检测模型训练方法、***、设备及存储介质 |
CN111291887A (zh) * | 2020-03-06 | 2020-06-16 | 北京迈格威科技有限公司 | 神经网络的训练方法、图像识别方法、装置及电子设备 |
CN111291887B (zh) * | 2020-03-06 | 2023-11-10 | 北京迈格威科技有限公司 | 神经网络的训练方法、图像识别方法、装置及电子设备 |
CN114248819A (zh) * | 2020-09-25 | 2022-03-29 | 中车株洲电力机车研究所有限公司 | 基于深度学习的铁路侵限异物无人机检测方法、装置及*** |
CN114248819B (zh) * | 2020-09-25 | 2023-12-29 | 中车株洲电力机车研究所有限公司 | 基于深度学习的铁路侵限异物无人机检测方法、装置及*** |
CN112580558A (zh) * | 2020-12-25 | 2021-03-30 | 烟台艾睿光电科技有限公司 | 红外图像目标检测模型构建方法、检测方法、装置及*** |
CN114429618A (zh) * | 2022-01-06 | 2022-05-03 | 电子科技大学 | 一种基于改进AlexNet网络模型的拥堵识别方法 |
CN115019146A (zh) * | 2022-06-17 | 2022-09-06 | 集美大学 | 目标检测方法、***及存内计算芯片 |
CN115272980A (zh) * | 2022-09-22 | 2022-11-01 | 常州海图信息科技股份有限公司 | 一种基于机器视觉的运输皮带表面检测方法及*** |
CN116091824A (zh) * | 2022-12-30 | 2023-05-09 | 北京百度网讯科技有限公司 | 车辆分类模型的微调方法、车辆分类方法、装置及设备 |
Also Published As
Publication number | Publication date |
---|---|
CN110348357B (zh) | 2022-10-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110348357A (zh) | 一种基于深度卷积神经网络的快速目标检测方法 | |
CN112418117B (zh) | 一种基于无人机图像的小目标检测方法 | |
Zhang et al. | Pedestrian detection method based on Faster R-CNN | |
CN110097053B (zh) | 一种基于改进Faster-RCNN的电力设备外观缺陷检测方法 | |
CN109902806A (zh) | 基于卷积神经网络的噪声图像目标边界框确定方法 | |
CN114022432B (zh) | 基于改进的yolov5的绝缘子缺陷检测方法 | |
CN111898432B (zh) | 一种基于改进YOLOv3算法的行人检测***及方法 | |
CN111401293B (zh) | 一种基于Head轻量化Mask Scoring R-CNN的手势识别方法 | |
CN111860587B (zh) | 一种用于图片小目标的检测方法 | |
Lv et al. | A visual identification method for the apple growth forms in the orchard | |
CN103971106A (zh) | 多视角人脸图像性别识别方法及装置 | |
CN104484890A (zh) | 基于复合稀疏模型的视频目标跟踪方法 | |
CN114170511B (zh) | 基于Cascade RCNN的路面裂缝病害识别方法 | |
CN110969121A (zh) | 一种基于深度学习的高分辨率雷达目标识别算法 | |
CN112749663B (zh) | 基于物联网和ccnn模型的农业果实成熟度检测*** | |
CN111814726B (zh) | 一种探测机器人视觉目标检测方法 | |
CN117496384B (zh) | 一种无人机图像物体检测方法 | |
CN116721414A (zh) | 一种医学图像细胞分割与跟踪方法 | |
CN110533100A (zh) | 一种基于机器学习进行cme检测和跟踪的方法 | |
CN111540203B (zh) | 基于Faster-RCNN调节绿灯通行时间的方法 | |
Guo et al. | Grape leaf disease detection based on attention mechanisms | |
CN115035381A (zh) | 一种SN-YOLOv5的轻量化目标检测网络及农作物采摘检测方法 | |
Sun et al. | Deep learning based pedestrian detection | |
CN110852255B (zh) | 一种基于u型特征金字塔的交通目标检测方法 | |
CN109784291B (zh) | 基于多尺度的卷积特征的行人检测方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |