CN111160481A - 基于深度学习的adas目标检测方法及*** - Google Patents
基于深度学习的adas目标检测方法及*** Download PDFInfo
- Publication number
- CN111160481A CN111160481A CN201911412209.8A CN201911412209A CN111160481A CN 111160481 A CN111160481 A CN 111160481A CN 201911412209 A CN201911412209 A CN 201911412209A CN 111160481 A CN111160481 A CN 111160481A
- Authority
- CN
- China
- Prior art keywords
- data set
- data
- model
- adas
- training
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 80
- 238000012549 training Methods 0.000 claims abstract description 128
- 238000000034 method Methods 0.000 claims abstract description 55
- 238000013434 data augmentation Methods 0.000 claims abstract description 38
- 238000013135 deep learning Methods 0.000 claims abstract description 27
- 238000012545 processing Methods 0.000 claims abstract description 23
- 230000004927 fusion Effects 0.000 claims description 25
- 238000012795 verification Methods 0.000 claims description 23
- 238000004422 calculation algorithm Methods 0.000 claims description 20
- 238000007689 inspection Methods 0.000 claims description 20
- 238000013139 quantization Methods 0.000 claims description 20
- 230000008569 process Effects 0.000 claims description 14
- 238000012360 testing method Methods 0.000 claims description 13
- 238000010586 diagram Methods 0.000 claims description 12
- 230000006835 compression Effects 0.000 claims description 11
- 238000007906 compression Methods 0.000 claims description 11
- 238000012216 screening Methods 0.000 claims description 9
- 238000012163 sequencing technique Methods 0.000 claims description 9
- 230000003044 adaptive effect Effects 0.000 claims description 5
- 239000000284 extract Substances 0.000 claims description 3
- 230000000694 effects Effects 0.000 description 6
- 230000003416 augmentation Effects 0.000 description 5
- 238000013138 pruning Methods 0.000 description 4
- 238000005070 sampling Methods 0.000 description 4
- 230000009466 transformation Effects 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 3
- 238000013461 design Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000005457 optimization Methods 0.000 description 3
- 238000007781 pre-processing Methods 0.000 description 3
- 238000000844 transformation Methods 0.000 description 3
- 239000013598 vector Substances 0.000 description 3
- 230000003321 amplification Effects 0.000 description 2
- 230000003190 augmentative effect Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000004821 distillation Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000002372 labelling Methods 0.000 description 2
- 238000013508 migration Methods 0.000 description 2
- 230000005012 migration Effects 0.000 description 2
- 238000003199 nucleic acid amplification method Methods 0.000 description 2
- 238000003672 processing method Methods 0.000 description 2
- 102100034112 Alkyldihydroxyacetonephosphate synthase, peroxisomal Human genes 0.000 description 1
- 238000012935 Averaging Methods 0.000 description 1
- 101000799143 Homo sapiens Alkyldihydroxyacetonephosphate synthase, peroxisomal Proteins 0.000 description 1
- 238000000848 angular dependent Auger electron spectroscopy Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000011423 initialization method Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 238000011002 quantification Methods 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000011426 transformation method Methods 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
- 230000016776 visual perception Effects 0.000 description 1
- 230000002087 whitening effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/07—Target detection
Landscapes
- Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及一种基于深度学习的adas目标检测方法及***，该方法包括如下步骤：采集道路图像数据以形成初始数据集；建立数据增广策略，依据所述数据增广策略对所述初始数据集进行扩展处理形成扩展数据集；提供adas数据集，将所述adas数据集、所述扩展数据集以及所述初始数据集组合形成训练数据集；利用所述训练数据集进行模型训练以获得目标检测模型；以及对所述目标检测模型进行压缩量化形成适配于adas的可植入模型。本发明从adas数据集出发，将公开的数据集与采集的数据集进行结合，使得adas数据涵盖到国内的各种路况，避免了数据针对性强的问题。
Description
技术领域
本发明涉及目标检测技术领域，特指一种基于深度学习的adas目标检测方法及***。
背景技术
深度学习技术越来越多的应用在车辆感知算法上，在视觉感知领域，基于目标检测、路面分割的技术有很多，深度学习的训练过程通常包括：数据增强与预处理，下面对该数据增强与预处理做一个简单的介绍。
因为ADAS应用场景的特殊性，数据采集和标注需要考虑到道路路况、天气、时间、光照等因素。目前流行的adas数据处理方法，基本上都是采集特定的数据，然后针对数据进行色彩变化、亮度调整、尺寸缩放、裁剪、数据偏转或者添加噪声等技术来实现扩展数据集，然后再对扩展后的数据集预处理，比如归一化，白化等。目前流行的一种方法是wordTree，它可以在多种数据集中进行融合，以达到涵盖不同场景的效果。但该wordTree方法数据集的针对性比较强，样本的类别分布不均衡，比如有些数据集是针对物流园的，更多的偏重于卡车的检测，有些数据集是针对道路的，更多的是针对小汽车，强行的合并会容易使模型训练过拟合，或者出现的物体不能很好的被检测出来。
发明内容
本发明的目的在于克服现有技术的缺陷，提供一种基于深度学习的adas目标检测方法及***，解决现有的数据增强处理中数据集针对性较强容易使得模型训练过拟合的问题。
实现上述目的的技术方案是：
本发明提供了一种基于深度学习的adas目标检测方法，包括如下步骤：
采集道路图像数据以形成初始数据集；
建立数据增广策略，依据所述数据增广策略对所述初始数据集进行扩展处理形成扩展数据集；
提供adas数据集，将所述adas数据集、所述扩展数据集以及所述初始数据集组合形成训练数据集；
利用所述训练数据集进行模型训练以获得目标检测模型；以及
对所述目标检测模型进行压缩量化形成适配于adas的可植入模型。
本发明从adas数据集出发，将公开的数据集与采集的数据集进行结合，使得adas数据涵盖到国内的各种路况，避免了数据针对性强的问题。本发明还采用了数据扩展处理，利用数据增广策略进行数据扩展，实现了采集少量的国内的道路图像数据，即可将公开的adas数据集很好的适用在国内的道路上。
本发明基于深度学习的adas目标检测方法的进一步改进在于，还包括：
建立多种数据增广策略；
利用所建立的多种数据增广策略对所述初始数据集中选定个数的数据集进行扩展处理形成检验集；
利用所述检验集进行模型训练以获得对应的检验模型；
提供验证集，利用所述验证集对所述检验模型进行验证以得到验证结果，依据所得到的验证结果进行从小到大的排序；
选取排序靠前的数据增广策略对所述初始数据集进行扩展处理形成扩展数据集。
本发明基于深度学习的adas目标检测方法的进一步改进在于，在对初始数据集进行扩展处理之前，还包括：
对每个初始数据集内的图像数据进行样本类别分布统计，并绘出样本类别分布曲线图；
选取样本类别分布曲线图中相似的数据集或数据集部分进行融合，或者曲线走势相一致的所属类别数据集部分进行融合。
本发明基于深度学习的adas目标检测方法的进一步改进在于，利用所述训练数据集进行模型训练以获得目标检测模型的步骤，包括：
采用基于特征点的训练算法进行模型训练，提取所述训练数据集中的每一图像样本；
将所述图像样本转换为热点图；
取所述热点图中的每一个热点的峰值点作为模型训练的输入数据，取每一个热点的宽度信息、高度信息以及类别信息作为输出数据，进行模型训练得到对应的目标检测模型。
本发明基于深度学习的adas目标检测方法的进一步改进在于，还包括：
建立轻量化的网络前向传播框架；
将经压缩量化形成的适配于adas的可植入模型输入所述轻量化的网络前向传播框架，利用所述轻量化的网络前向传播框架获得轻量化框架的可植入模型。
本发明还提供了一种基于深度学习的adas目标检测***，包括：
采集模块，用于采集道路图像数据形成初始数据集；
与所述采集模块连接的数据扩展模块，用于依据建立的数据增广策略对所述初始数据集进行扩展处理形成扩展数据集；
获取模块，用于获取adas数据集；
与所述采集模块、所述数据扩展模块以及所述获取模块连接的模型训练模块，用于利用所述adas数据集、所述扩展数据集以及所述初始数据集作为训练数据集，并进行模型训练得到目标检测模型；以及
与所述模型训练模块连接的模型量化模块，用于对所述目标检测模型进行压缩量化形成适配于adas的可植入模型。
本发明基于深度学习的adas目标检测***的进一步改进在于，还包括与所述数据扩展模块和所述采集模块连接的策略筛选模块；
所述策略筛选模块内存储有建立的多种数据增广策略，所述策略筛选模块利用多种数据增广策略对所述初始数据集中选定个数的数据集进行扩展处理形成检验集，并利用所述检验集进行模型训练获得对应的检验模型，通过验证集对所述检验模型进行验证得到验证结果，依据所得到的验证结果进行从小到大的排序，并选取排序靠前的数据增广策略发送给所述数据扩展模块。
本发明基于深度学习的adas目标检测***的进一步改进在于，还包括与所述采集模块连接的数据融合模块；
所述数据融合模块用于对每个初始数据集内的图像数据进行样本类别分布统计并绘出样本类别分布曲线图；选取样本类别分布曲线图中相似的数据集或数据集部分进行融合，或者曲线走势相一致的所属类别数据集部分进行融合。
本发明基于深度学习的adas目标检测***的进一步改进在于，所述模型训练模块采用基于特征点的训练算法进行模型训练，提取所述训练数据集中每一图像样本，将所述图像样本转换为热点图，取所述热点图中的每一个热点的峰值点作为模型训练的输入数据，取每一个热点的宽度信息、高度信息以及类别信息作为输出数据，进行模型训练得到对应的目标检测模型。
本发明基于深度学习的adas目标检测***的进一步改进在于，还包括与所述模型量化模块连接的轻量化的网络前向传播框架，用于将经压缩量化形成的适配于adas的可植入模型转换为轻量化框架的可植入模型。
附图说明
图1为本发明基于深度学习的adas目标检测方法的流程图。
图2为本发明基于深度学习的adas目标检测***的***图。
具体实施方式
下面结合附图和具体实施例对本发明作进一步说明。
参阅图1，本发明提供了基于深度学***不同，强行合并会导致很多噪声被当做特征进行学习，导致模型训练的难度进一步加大。以及解决对图像进行尺寸缩放或裁剪时，会导致很多图像语义信息的丢失或者出现不需要的噪声，大大降低了图像数据的扩展性的问题。本发明设计了10种数据增广的策略，将数据增广策略与模型训练相结合，减少了专门进行数据增广的时间，同时，采用多尺度训练的方式，使得模型框架更好的适应不同尺度的数据集。本发明采用基于特征点的训练算法，没有采用基于候选框的训练算法，将目标像素的位置点看作是目标的关键点，将样本直接送到卷积网络中区，对像素进行操作，从而极大的降低了算法的运算量，同时还能够减少资源消耗和内存消耗。下面结合附图对本发明基于深度学习的adas目标检测方法及***进行说明。
参阅图2，显示了本发明基于深度学习的adas目标检测***的***图。下面结合图2，对本发明基于深度学习的adas目标检测***进行说明。
如图2所示，本发明的基于深度学习的adas目标检测***包括采集模块21、数据扩展模块22、获取模块23、模型训练模块24以及模型量化模块25，其中的采集模块21用于采集道路图像数据形成初始数据集；数据扩展模块22与采集模块21连接，用于接收采集模块21采集的初始数据集，并对该初始数据集依据建立的数据增广策略进行扩展处理形成扩展数据集；获取模块23用于获取adas数据集，其中的adas数据集为公开的已有的数据集，但其很多路况不能满足国内道路的实际场景。模型训练模块24与采集模块21、数据扩展模块22以及获取模块23连接，用于获取adas数据集、扩展数据集以及初始数据集，并将adas书籍、扩展数据集以及初始数据集作为训练数据集，并进行模型训练得到目标检测模型；模型量化模块25与模型训练模块24连接，用于对目标检测模型进行压缩量化处理形成适配于adas的可植入模型。
在本发明的一具体实施方式中，采集模块21为车载摄像头，用于拍摄车辆行驶的道路视频形成道路图像数据，较佳的该道路图像数据为国内道路的实际场景，利用采集的道路图像数据与adas数据集进行融合，可使得模型训练的数据能够涵盖国内的各种路况。实现了对已有的adas数据进行扩充。
在本发明的一具体实施方式中，本发明的adas目标检测***还包括与采集模块21连接的数据融合模块；该数据融合模块用于对每个初始数据集内的图像数据进行样本类别分布统计并绘出样本类别分布曲线图；选取样本类别分布曲线图中相似的数据集或数据集部分进行融合，或者曲线走势相一致的所属类别数据集部分进行融合。利用数据融合模块实现同类别的数据集的融合以及数据集部分的融合，以解决采集的初始数据集中的样本严重失衡的问题。具体来说，每个数据集中都有其侧重点，有些数据集中仅仅包含车辆、行人，而没有标注标识牌，而另外的数据集中恰好标注了标识牌，若不加处理进行强行融合的话，会导致标识牌的识别度不强，导致样本严重失衡，为解决这一问题，本发明利用数据融合模块，对每个数据集进行样本类别的分布统计，画出样本分布的曲线图，选择分布曲线图相似的数据集或者数据集部分进行融合，以避免样本的失衡。由于后续模型训练采用基于特征点的训练算法(也即采用像素点的方法进行训练)，可以不用太考虑标注误差。对于分布曲线不相似的数据集，将曲线走势一致的所属类别数据集部分进行融合，这样可以有针对性的扩充数据。
在判断样本类别分布曲线图是否相似时，将样本分布曲线图依据设定间距进行分割得到多个分割线段，比对对应的分割线段是否相同，计算出相同的分割线段的占比，若该占比在85％以上，就判断两个样本类别分布曲线图相似，否则就不相似。同样地，在判断曲线走势是否一致时，将两个曲线对应的叠放，若两者相重合或者有部分相重合，就将重合的部分判断为曲线走势相一致，而将该部分进行融合。
在本发明的一具体实施方式中，本发明的adas目标检测***还包括与数据扩展模块22和采集模块21连接的策略筛选模块；该策略筛选模块内存储有建立的多种数据增广策略，策略筛选模块利用多种数据增广策略对初始数据集中选定个数的数据集进行扩展处理形成检验集，并利用检验集进行模型训练获得对应的检验模型，通过验证集对检验模型进行验证得到验证结果，依据所得到的验证结果进行从小到大的排序，并选取排序靠前的数据增广策略发送给数据扩展模块。
较佳地，建立10种数据增广策略，分别利用10种数据增广策略对从初始数据集中选定个数的数据集进行扩展处理形成检验集，利用检验集进行模型训练获得对应的检验模型，利用验证集对该检验模型进行验证，得到各检验模型的loss，也即验证结果，对得出的loss进行从小到大的排序，而后选择前5个loss较小的所对应的数据增广策略，并利用该5个选出的数据增广策略对舒适数据集进行扩展处理形成扩展数据集，在扩展处理时，对每一个初始数据集随机的从5个数据增广策略中选出一个进行扩展处理，以完成所有初始数据集的扩展。
具体地，10种数据增广策略包括：色彩增广方法、变换增广方法、cutout(删除部分)增广方法、bbox内变换方法、填鸭式方法、Samplepairing(样本配对)、MixMatch(超强半监督学***衡调整、对比度调整以及图像模糊的方式对图像数据进行处理，获得扩展处理的新图像，这种方法是在原图像数据中人为的增加一些噪声。变化增广方法是采用镜像、旋转、翻转、缩放以及裁剪的方法对图像数据进行物理操作，使其有不同的变换，获得扩展处理的新图像。Cutout是在样本图像(也即图像数据)中加入一块或多块黑点。Bbox内变换方法是在bbox框内，对目标进行1或2的操作。填鸭式方法是把一些目标抠出来，然后放在没有目标的图上，增加图像的鲁棒性，因为属于将目标进行移植，所以有一定的随机性，而且移植过来的目标，不能随意放在图像的任何位置，也不能进行目标的一系列操作。Samplepairing是将两幅图片直接像素相加求平均，label不变，但在训练过程中，先用bdd100k数据集普通数据增广方式，完成多个epoch后间歇性禁止Samplepairing，在训练损失函数和精度稳定后，禁止Samplepairing进行微调。相当于在训练样本中随机引入噪声，在训练样本中人为引入引导性训练样本。
MixMatch主要是为了防止过拟合，使之能够在更大的数据集上有好的表现，该方法主要是在训练中，隐式的进行数据增广的方法，1)从数据集中随机挑选一个Batch记为A，并且对这个Batch的数据做常规增广，但是不改变label；2)取出一个同A一样大小的Batch记为B，此时不考虑该Batch的label，然后做k次的随机增广，较佳地k为2，将这些增广后的数据送入预先训练的一个简单的分类器，这样会计算得到一个平均分类概率，然后使用温度Sharpen算法进行处理，此时可于得到Batch B样本的一个猜测label，Sharpen算法如下：
这里的T是一个超参(温度)，p是样本从属于某label的概率，Sharpen算法有助于修正模型，使之给出低熵的判断。3)此时Batch A数据增广后有确定的label，而经过第二步处理后，可于获得k个Batch，并且这种Batch的label是预测出来的，到这一步就可以看出数据进行了增广，然后将A和k个Batch进行随机重排，对随机重排的数据挑出一个Batch记为C，将C和原先的A进行Mixup处理，Mixup方法可参见后续描述。4)然后将重排后数据挑选非A的再进行Mixup，可以获得新的Batch D，在下面的公式中，将D和A与C mixup的结果记为u＇和x＇。对上述数据集分别计算loss：
Mixup领域分布，假设模型在处理样本和样本之间的区域时表现为线性，这种线性建模减少了在预测训练以外的数据时的不适应性，Mixup的公式如下：
其中λBeta(α，α)，α∈(0，∞)
Mixup超参α控制了在特征-目标向量之间插值的强度，当α→0时恢复为ERM原则。
基于搜索空间的策略，将图像增强策略定义为K个子策略的无序集合，在训练时从中随机选取策略对图像进行数据增强。而其中每一个策略则包含了N个图先变换，这些图像变换将依次作用于被增强的数据，研究的目的在于从中搜索出最有效的策略。这些变量共同定义了一个离散优化问题的搜索空间，针对目标检测任务的数据增强，设置K＝5，N＝2。其中搜索空间总共包含了五个子策略，每个子策略包含了2种图像操作，而每个操作同时包含了这个操作对应的概率p和操作的具体数值m两个参数。这里的概率定义的增强策略在数据样本上进行的随机性，而m则定义了增强的幅度。
生成图像与真实图像进行融合，生成的图像增加了遮挡、环境等。还可能包含了上述策略中的某几种。
进一步地，在进行扩展处理过程中，加入多尺度训练来动态调整图像的大小，也即图像样本的尺寸是不固定的，在扩展处理后，会随机的选择新的图片尺寸进行训练，得到不同分别率的各个目标特征(也即样本中的目标)。较佳地，考虑到不同层次的特征语义信息不同，即浅层特征的语义信息比较弱，但小目标特征比较明显，适合在浅层进行小目标的检测，但对于大目标而言，由于语义特征比较弱，不太适合在浅层进行检测；深层特征的语义信息不较强，对于小目标来说，其特征基本消失，所以适合在深层进行大目标检测，设定有效候选框的范围，在浅层特征中，认定小目标的候选框为有效候选框，只对小目标进行loss计算，忽略其他尺度的目标；在深层特征中，认为大目标的候选框为有效候选框，只对大目标进行loss计算，忽略小目标的尺寸，这样既可以保证在对应尺度特征层中提取最佳的特征，也增加了检测的准确率。
在本发明的一具体实施方式中，模型训练模块24采用基于特征点的训练算法进行模型训练，提取训练数据集中每一图像样本，将图像样本转换为热点图，取热点图中的每一个热点的峰值点作为模型训练的输入数据，取每一个热点的宽度信息、高度信息以及类别信息作为输出数据，进行模型训练得到对应的目标检测模型。
本发明的模型训练模块24没有采用基于候选框的yolov3或者ssd等算法，而是采用了基于特征点的训练算法，将训练样本直接送入卷积网络中，得到训练样本的heatmap，然后取heatmap的峰值点作为中心点，每个heatmap的峰值点位置预测目标的宽度和高度信息，令
是目标K(其类别为Ck)的bbox，其中心点位置为
另外每个目标K回归出目标的尺寸
为了减少计算的负载，对每种目标种类使用单一的尺寸来进行预测
另外在中心点位置处添加了L1loss。这里没有对图像大小进行归一化，而是直接使用原始像素坐标，所以需要对损失函数进行调整，如下：Ldet＝Lk+λsizeLsize+λoffLoff，这里取λsize＝0.1，λoff＝1，整个目标检测模型就会在每个位置输出类别和目标的宽度信息和高度信息。
较佳地，模型训练模块24进行模型训练时，针对每一个训练数据集进行训练的过程中，每个epoch(迭代次数)训练后，对该训练模型进行保存，而后针对保存的模型进行效果图测试和热力图测试，这样就可以知道训练的情况，以随时调整训练策略。本发明的adas目标检测***实现了实时观测每个epoch选了的效果图，以及时做出调整。
模型训练的过程也是初始数据集、扩展数据集、adas数据集相融合的过程。在数据融合完之后，等比例选择少量数据，先在这些少量数据上进行试训练，主要是为了验证模型的初始化参数选择是否合适；模型收敛的情况，以调整学习率策略；根据模型收敛的情况，选择合适的优化算法；验证训练流程是否正确。这种试训练，可以看作是debug模式，通过debug来调试代码，判断网络结构的好坏。为了能够及时有效的评估训练模型的效果，在每个epoch训练后，都要对训练模型进行保存，然后针对保存的模型进行效果图测试和热力图测试。这样就可以知道训练的情况，以随时调整训练策略。
在本发明的一具体实施方式中，本发明的adas目标检测***还包括与模型量化模块连接的轻量化的网络前向传播框架，用于将经压缩量化形成的适配于adas的可植入模型转换为轻量化框架的可植入模型。具体地，由于模型训练框架的不同，之间将可植入模型进行移植会有一定的困难，且在训练框架中有很多嵌入式计算中不要的框架，所以针对这一情况，利用轻量化的网络前向传播框架，只考虑训练好的模型在前向传播过程汇总的实现，由于去除了反向传播的训练过程，因此可以去除大量的依赖文件，针对前向传播实现，包括预选了模型文件得到加载，输入预处理，前向传播个网络层具体实现，以及最后的输出实现。其中，预训练模型文件需要在不同框架上首先进行训练得到，然后得到开发的转换工具将不同深度学习框架的模型转换成为统一的轻量化框架所支持的模型。
模型量化模块25对目标检测模型进行压缩量化，该模型量化模块25采用通道剪枝、量化与蒸馏算法相结合的方式来实现模型的瘦身，首先在通道剪枝阶段，采取两种不同方法相结合判断通道的重要性，第一种是LASSO regression来做的，即添加一个L1范数来约束权重，使权重稀疏化；第二种是基于熵值来判定filter的重要性，将每一层的输出通过一个Global average Pooling将feature map转换为一个长度为c(filter数量)的向量，对于n张图像可以得到一个n*c的矩阵，对于每一个filter，将它分为m个bin，统计每个bin的概率，然后计算它的熵值利用熵值来判定filter的重要性，再对不重要的filter进行裁剪，在计算出每一个通道熵值后，可以设定阈值进行剪枝，也可以设定一恒定的压缩率，将熵值从大到小排列，仅保留前k个。其中n张图像是训练集的子集或者验证集。两种方法相互独立。取两种方法得到的相同的通道(交集或者并集)进行裁剪。(如果交集得到的相同通道过少没有达到预定裁剪率)，这样保证了裁剪通道的质量。
然后在得到剪枝模型的基础上进行量化。将每个层的所有权重分为多个cluster，并找到每个cluster的中心点，然后用更小的bit信息表示中心点的编号，然后每个中心点的位置和值就能表示出来。假设有n个连接，每个连接的用b bits来表示，并假设有k个cluster,只需要log2(k)bits去表示索引，可以计算出压缩率：
其中nb即为没有聚类前总共需要的bits，nlog2(k)+kb就是聚类索引的bits加上聚类后连接需要的bits。
其中聚类方法采用K-means方法，确定每一层共享权重，在每个cluster中的权重共享，注意不能跨层共享，只能在层内。共享权重的初始化方法(初始化聚类的中心)选择线性初始化，即将原始数据的最小值到最大值之间的线性划分作为初始聚类中心。然后在最后一轮训练中，把各个簇中点的梯度累加，乘以学习率后从各簇中心点中减去，微调更新聚类中心。
最后在恢复性能方面采用网络蒸馏方法，基于教师-学生网络方法，属于迁移学习的一种。教师网络往往是一个更加复杂的网络，具有非常好的性能和泛化能力，可以用这个网络来作为一个soft target来指导另外一个更加简单的学生网络来学习，使得更加简单、参数运算量更少的学生模型也能够具有和教师网络相近的性能。这样代替了原来fine-tune过程，能使第一步压缩的模型进一步压缩，并保证模型性能基本不变。
本发明的adas目标检测***具有以下的有益效果：
本发明经过数据扩展，配合采集少量国内数据集，将公开的adas数据集很好的适用在国内的道路上，采用关键点检测的模型训练框架，可以极大的减少资源的消耗和内存消耗，未压缩量化之前，检测速率可以达到每帧23ms，大中小目标的检测精度可以达到map＝0.577。在经过模型压缩后，检测精度几乎不损失，每帧检测速度可以达到在20ms之内。
通过前向推理框架，可以不受训练框架的限制，支持所有框架训练的模型转换，方便部署实现；因为框架主要实现网络的前向传播。使用更少的内存消耗，而且针对硬件设备进行特别的优化，可以根据实际的部署设备来专门进行性能优化。
本发明从adas数据集出发，将公开的数据集与采集的数据集进行融合，使得adas数据涵盖到从国内的各种路况，然后在训练过程中采用多种数据扩展策略，并结合像素关键点检测算法，设计出新的检测方法。训练过程中，使用了调参技巧和训练技巧，并可以实时观测每个epoch训练的效果图，以及时做出调整。最后根据训练出的检测特点，设计了多种压缩策略结合的压缩量化方法，这种方法可以有效地去除不必要的权重，使得模型速度提升，模型参数变小的同时，精度没有太多的损失。最后，将压缩后的模型转换为适合嵌入式移植的前向传播框架。
本发明还提供了一种基于深度学习的adas目标检测方法，下面对该adas目标检测方法进行说明。
本发明的基于深度学习的adas目标检测方法，包括如下步骤：
如图1所示，执行步骤S11，采集道路图像数据以形成初始数据集；接着执行步骤S12；
执行步骤S12，建立数据增广策略，依据数据增广策略对初始数据集进行扩展处理形成扩展数据集；接着执行步骤S13；
执行步骤S13，提供adas数据集，将adas数据集、扩展数据集以及初始数据集组合形成训练数据集；接着执行步骤S14；
执行步骤S14，利用训练数据集进行模型训练以获得目标检测模型；接着执行步骤S15；
执行步骤S15，对目标检测模型进行压缩量化形成适配于adas的可植入模型。
本发明从adas数据集出发，将公开的数据集与采集的数据集进行结合，使得adas数据涵盖到国内的各种路况，避免了数据针对性强的问题。本发明还采用了数据扩展处理，利用数据增广策略进行数据扩展，实现了采集少量的国内的道路图像数据，即可将公开的adas数据集很好的适用在国内的道路上。
在本发明的一种具体实施方式中，该adas目标检测方法还包括：
建立多种数据增广策略；
利用所建立的多种数据增广策略对初始数据集中选定个数的数据集进行扩展处理形成检验集；
利用检验集进行模型训练以获得对应的检验模型；
提供验证集，利用验证集对检验模型进行验证以得到验证结果，依据所得到的验证结果进行从小到大的排序；
选取排序靠前的数据增广策略对初始数据集进行扩展处理形成扩展数据集。
在本发明的一种具体实施方式中，在对初始数据集进行扩展处理之前，还包括：
对每个初始数据集内的图像数据进行样本类别分布统计，并绘出样本类别分布曲线图；
选取样本类别分布曲线图中相似的数据集或数据集部分进行融合，或者曲线走势相一致的所属类别数据集部分进行融合。
在本发明的一种具体实施方式中，利用训练数据集进行模型训练以获得目标检测模型的步骤，包括：
采用基于特征点的训练算法进行模型训练，提取训练数据集中的每一图像样本；
将图像样本转换为热点图；
取热点图中的每一个热点的峰值点作为模型训练的输入数据，取每一个热点的宽度信息、高度信息以及类别信息作为输出数据，进行模型训练得到对应的目标检测模型。
在本发明的一种具体实施方式中，该adas目标检测方法还包括：
建立轻量化的网络前向传播框架；
将经压缩量化形成的适配于adas的可植入模型输入轻量化的网络前向传播框架，利用轻量化的网络前向传播框架获得轻量化框架的可植入模型。
以上结合附图实施例对本发明进行了详细说明，本领域中普通技术人员可根据上述说明对本发明做出种种变化例。因而，实施例中的某些细节不应构成对本发明的限定，本发明将以所附权利要求书界定的范围作为本发明的保护范围。
Claims (10)
1.一种基于深度学习的adas目标检测方法，其特征在于，包括如下步骤：
采集道路图像数据以形成初始数据集；
建立数据增广策略，依据所述数据增广策略对所述初始数据集进行扩展处理形成扩展数据集；
提供adas数据集，将所述adas数据集、所述扩展数据集以及所述初始数据集组合形成训练数据集；
利用所述训练数据集进行模型训练以获得目标检测模型；以及
对所述目标检测模型进行压缩量化形成适配于adas的可植入模型。
2.如权利要求1所述的基于深度学习的adas目标检测方法，其特征在于，还包括：
建立多种数据增广策略；
利用所建立的多种数据增广策略对所述初始数据集中选定个数的数据集进行扩展处理形成检验集；
利用所述检验集进行模型训练以获得对应的检验模型；
提供验证集，利用所述验证集对所述检验模型进行验证以得到验证结果，依据所得到的验证结果进行从小到大的排序；
选取排序靠前的数据增广策略对所述初始数据集进行扩展处理形成扩展数据集。
3.如权利要求2所述的基于深度学习的adas目标检测方法，其特征在于，在对初始数据集进行扩展处理之前，还包括：
对每个初始数据集内的图像数据进行样本类别分布统计，并绘出样本类别分布曲线图；
选取样本类别分布曲线图中相似的数据集或数据集部分进行融合，或者曲线走势相一致的所属类别数据集部分进行融合。
4.如权利要求1所述的基于深度学习的adas目标检测方法，其特征在于，利用所述训练数据集进行模型训练以获得目标检测模型的步骤，包括：
采用基于特征点的训练算法进行模型训练，提取所述训练数据集中的每一图像样本；
将所述图像样本转换为热点图；
取所述热点图中的每一个热点的峰值点作为模型训练的输入数据，取每一个热点的宽度信息、高度信息以及类别信息作为输出数据，进行模型训练得到对应的目标检测模型。
5.如权利要求1所述的基于深度学习的adas目标检测方法，其特征在于，还包括：
建立轻量化的网络前向传播框架；
将经压缩量化形成的适配于adas的可植入模型输入所述轻量化的网络前向传播框架，利用所述轻量化的网络前向传播框架获得轻量化框架的可植入模型。
6.一种基于深度学习的adas目标检测***，其特征在于，包括：
采集模块，用于采集道路图像数据形成初始数据集；
与所述采集模块连接的数据扩展模块，用于依据建立的数据增广策略对所述初始数据集进行扩展处理形成扩展数据集；
获取模块，用于获取adas数据集；
与所述采集模块、所述数据扩展模块以及所述获取模块连接的模型训练模块，用于利用所述adas数据集、所述扩展数据集以及所述初始数据集作为训练数据集，并进行模型训练得到目标检测模型；以及
与所述模型训练模块连接的模型量化模块，用于对所述目标检测模型进行压缩量化形成适配于adas的可植入模型。
7.如权利要求6所述的基于深度学习的adas目标检测***，其特征在于，还包括与所述数据扩展模块和所述采集模块连接的策略筛选模块；
所述策略筛选模块内存储有建立的多种数据增广策略，所述策略筛选模块利用多种数据增广策略对所述初始数据集中选定个数的数据集进行扩展处理形成检验集，并利用所述检验集进行模型训练获得对应的检验模型，通过验证集对所述检验模型进行验证得到验证结果，依据所得到的验证结果进行从小到大的排序，并选取排序靠前的数据增广策略发送给所述数据扩展模块。
8.如权利要求7所述的基于深度学习的adas目标检测***，其特征在于，还包括与所述采集模块连接的数据融合模块；
所述数据融合模块用于对每个初始数据集内的图像数据进行样本类别分布统计并绘出样本类别分布曲线图；选取样本类别分布曲线图中相似的数据集或数据集部分进行融合，或者曲线走势相一致的所属类别数据集部分进行融合。
9.如权利要求6所述的基于深度学习的adas目标检测***，其特征在于，所述模型训练模块采用基于特征点的训练算法进行模型训练，提取所述训练数据集中每一图像样本，将所述图像样本转换为热点图，取所述热点图中的每一个热点的峰值点作为模型训练的输入数据，取每一个热点的宽度信息、高度信息以及类别信息作为输出数据，进行模型训练得到对应的目标检测模型。
10.如权利要求6所述的基于深度学习的adas目标检测***，其特征在于，还包括与所述模型量化模块连接的轻量化的网络前向传播框架，用于将经压缩量化形成的适配于adas的可植入模型转换为轻量化框架的可植入模型。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911412209.8A CN111160481B (zh) | 2019-12-31 | 2019-12-31 | 基于深度学习的adas目标检测方法及*** |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911412209.8A CN111160481B (zh) | 2019-12-31 | 2019-12-31 | 基于深度学习的adas目标检测方法及*** |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111160481A true CN111160481A (zh) | 2020-05-15 |
| CN111160481B CN111160481B (zh) | 2024-05-10 |
Family
ID=70560287
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911412209.8A Active CN111160481B (zh) | 2019-12-31 | 2019-12-31 | 基于深度学习的adas目标检测方法及*** |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111160481B (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112163450A (zh) * | 2020-08-24 | 2021-01-01 | 中国海洋大学 | 基于s3d学习算法的高频地波雷达船只目标检测方法 |
| CN112163238A (zh) * | 2020-09-09 | 2021-01-01 | 中国科学院信息工程研究所 | 一种多方参与数据不共享的网络模型训练方法 |
| CN112598020A (zh) * | 2020-11-24 | 2021-04-02 | 深兰人工智能(深圳)有限公司 | 目标识别方法及*** |
| CN113111587A (zh) * | 2021-04-20 | 2021-07-13 | 北京理工雷科电子信息技术有限公司 | 一种基于插件式模型的可重用、可扩展机器学习方法 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105761306A (zh) * | 2016-01-29 | 2016-07-13 | 珠海汇迪科技有限公司 | 一种基于景深图像或者点云的路面模型及其建立方法 |
| CN206383949U (zh) * | 2017-01-04 | 2017-08-08 | 江西沃可视发展有限公司 | 基于adas纯图像处理的驾驶安全*** |
| CN107316004A (zh) * | 2017-06-06 | 2017-11-03 | 西北工业大学 | 基于深度学习的空间目标识别方法 |
| WO2019196130A1 (zh) * | 2018-04-12 | 2019-10-17 | 广州飒特红外股份有限公司 | 面向车载热成像行人检测的分类器训练方法和装置 |
| CN110414480A (zh) * | 2019-08-09 | 2019-11-05 | 威盛电子股份有限公司 | 训练图像产生方法与电子装置 |
-
2019
- 2019-12-31 CN CN201911412209.8A patent/CN111160481B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105761306A (zh) * | 2016-01-29 | 2016-07-13 | 珠海汇迪科技有限公司 | 一种基于景深图像或者点云的路面模型及其建立方法 |
| CN206383949U (zh) * | 2017-01-04 | 2017-08-08 | 江西沃可视发展有限公司 | 基于adas纯图像处理的驾驶安全*** |
| CN107316004A (zh) * | 2017-06-06 | 2017-11-03 | 西北工业大学 | 基于深度学习的空间目标识别方法 |
| WO2019196130A1 (zh) * | 2018-04-12 | 2019-10-17 | 广州飒特红外股份有限公司 | 面向车载热成像行人检测的分类器训练方法和装置 |
| CN110414480A (zh) * | 2019-08-09 | 2019-11-05 | 威盛电子股份有限公司 | 训练图像产生方法与电子装置 |
Non-Patent Citations (2)
| Title |
|---|
| AI研习社: "多任务深度学习框架在ADAS中的应用 | 分享总结", pages 1 - 8 * |
| AI研习社: "多任务深度学习框架在ADAS中的应用|分享总结", HTTPS://ZHUANLAN.ZHIHU.COM/P/29816608, pages 1 - 8 * |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112163450A (zh) * | 2020-08-24 | 2021-01-01 | 中国海洋大学 | 基于s3d学习算法的高频地波雷达船只目标检测方法 |
| CN112163238A (zh) * | 2020-09-09 | 2021-01-01 | 中国科学院信息工程研究所 | 一种多方参与数据不共享的网络模型训练方法 |
| CN112598020A (zh) * | 2020-11-24 | 2021-04-02 | 深兰人工智能(深圳)有限公司 | 目标识别方法及*** |
| CN113111587A (zh) * | 2021-04-20 | 2021-07-13 | 北京理工雷科电子信息技术有限公司 | 一种基于插件式模型的可重用、可扩展机器学习方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111160481B (zh) | 2024-05-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113688723B (zh) | 一种基于改进YOLOv5的红外图像行人目标检测方法 | |
| CN111008562B (zh) | 一种特征图深度融合的人车目标检测方法 | |
| CN111160481B (zh) | 基于深度学习的adas目标检测方法及*** | |
| CN109684922B (zh) | 一种基于卷积神经网络的多模型对成品菜的识别方法 | |
| CN110852288B (zh) | 一种基于两阶段卷积神经网络的细胞图像分类方法 | |
| CN110807757B (zh) | 基于人工智能的图像质量评估方法、装置及计算机设备 | |
| CN111914797B (zh) | 基于多尺度轻量级卷积神经网络的交通标志识别方法 | |
| CN110322445B (zh) | 基于最大化预测和标签间相关性损失函数的语义分割方法 | |
| CN111833322B (zh) | 一种基于改进YOLOv3的垃圾多目标检测方法 | |
| CN104598924A (zh) | 一种目标匹配检测方法 | |
| CN111428556A (zh) | 一种基于胶囊神经网络的交通标志识别方法 | |
| CN110705412A (zh) | 一种基于运动历史图像的视频目标检测方法 | |
| CN112163508A (zh) | 一种基于真实场景的文字识别方法、***及ocr终端 | |
| CN112149526B (zh) | 一种基于长距离信息融合的车道线检测方法及*** | |
| CN117011563B (zh) | 基于半监督联邦学习的道路损害巡检跨域检测方法及*** | |
| CN116342894A (zh) | 基于改进YOLOv5的GIS红外特征识别***及方法 | |
| CN117876383B (zh) | 一种基于yolov5l的公路表面条状裂缝检测方法 | |
| CN112132839B (zh) | 一种基于深度卷积级联网络的多尺度快速人脸分割方法 | |
| CN110503157B (zh) | 基于细粒度图像的多任务卷积神经网络的图像隐写分析方法 | |
| CN112132207A (zh) | 基于多分支特征映射目标检测神经网络构建方法 | |
| CN116563683A (zh) | 一种基于卷积神经网络和多层感知机的遥感影像场景分类方法 | |
| CN107341456B (zh) | 一种基于单幅户外彩色图像的天气晴阴分类方法 | |
| CN116091918A (zh) | 一种基于数据增强的土地利用分类方法及*** | |
| CN113239865B (zh) | 基于深度学习的车道线检测方法 | |
| CN114821098A (zh) | 一种基于灰度梯度融合特征及cnn的高速路面破损检测算法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |