CN111523526A - 一种目标检测方法、计算机设备及可读存储介质 - Google Patents
一种目标检测方法、计算机设备及可读存储介质 Download PDFInfo
- Publication number
- CN111523526A CN111523526A CN202010627991.1A CN202010627991A CN111523526A CN 111523526 A CN111523526 A CN 111523526A CN 202010627991 A CN202010627991 A CN 202010627991A CN 111523526 A CN111523526 A CN 111523526A
- Authority
- CN
- China
- Prior art keywords
- quantized
- convolution
- function
- weights
- target detection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 43
- 238000012549 training Methods 0.000 claims abstract description 55
- 230000004913 activation Effects 0.000 claims abstract description 46
- 238000000034 method Methods 0.000 claims abstract description 37
- 230000008569 process Effects 0.000 claims abstract description 17
- 230000006870 function Effects 0.000 claims description 64
- 238000013139 quantization Methods 0.000 claims description 23
- 238000013507 mapping Methods 0.000 claims description 14
- 238000004590 computer program Methods 0.000 claims description 10
- 238000007781 pre-processing Methods 0.000 claims description 5
- 238000004364 calculation method Methods 0.000 abstract description 9
- 238000013135 deep learning Methods 0.000 description 4
- 238000005286 illumination Methods 0.000 description 4
- 241000282414 Homo sapiens Species 0.000 description 2
- 238000013136 deep learning model Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 238000009825 accumulation Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000036544 posture Effects 0.000 description 1
- 238000011002 quantification Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Biomedical Technology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种目标检测方法、计算机设备及可读存储介质,涉及目标检测技术领域。本发明所提供的技术方案,在利用训练样本对目标检测模型进行训练时,分别对卷积权重和激活函数的输入值分别进行量化,并以此构建损失函数,对量化后的卷积权重和量化后的输入值进行调整迭代。本发明所提供的方法在训练过程调整权重值,可以保证精度,并满足各个场景条件下的需求,简化计算过程。
Description
技术领域
本发明涉及目标检测技术领域,具体涉及一种目标检测方法、计算机设备及可读存储介质。
背景技术
目前,深度学***。基于深度学习的各种应用功能层出不穷,并下沉到各行各业中。基于深度学习训练得到的模型,具有较好的效果,但也存在着计算量大的缺点,限制了在嵌入式等低功耗、低计算能力设备上的应用。
现有技术中,通过将权重和激活值量化到预设大小,利用硬件定点运算速度比浮点运算速度快的特性,来解决训练深度学习模型计算量大、功耗高的问题,有利于在嵌入式等低功耗设备上运行。但是,现有技术存在如下缺陷:第一,在实际应用中,场景复杂多变,光照条件不可控,激活的取值范围变化多样,难以统计出一个满足各个场景条件下的量化值;第二,使用非对称量化提升量化后数值的表达精度,但是量化后计算过程变得复杂。
发明内容
为解决前述问题,本发明提供了一种目标检测方法,在训练过程调整权重值,可以保证精度,并满足各个场景条件下的需求,简化计算过程。
为了达到上述目的,本发明采用如下技术方案:
一种目标检测方法,包括如下步骤:
收集训练样本,对收集的训练样本进行预处理;
构建目标检测模型,所述目标检测模型包括若干卷积层,所述卷积层具有激活函数和卷积权重;
利用训练样本对目标检测模型进行训练;
利用训练好的目标检测模型进行目标检测识别;
利用训练样本对目标检测模型进行训练时,对所述卷积权重和所述激活函数的输入值分别进行量化,所述目标检测模型的损失函数为:
其中,minimize Q(w),Q(x)为目标函数最小值,y为目标,w表示卷积权重,Q(w)表示量化后的卷积权重,x表示输入值,Q(x)表示量化后的输入值;
对量化后的卷积权重Q(w)和量化后的输入值Q(x)进行调整迭代。
可选的,所述卷积层包括Bn层,对所述卷积权重进行量化包括如下步骤:
预设卷积权重需要被量化到的大小;
将Bn层的参数合入到卷积层的参数;
根据公式1添加被训练参数v 1、v 2、v 3
根据公式1对卷积权重进行归一映射,把卷积权重映射到[-1,1],再根据公式2对卷积权重进行量化,用量化后的卷积权重执行卷积操作:
可选的,在卷积的反向处理中,在对卷积权重进行量化的过程中使用透传操作。
可选的,所述激活函数具有激活权重,利用训练样本对目标检测模型进行训练时,预设激活权重需要被量化到的大小,然后根据公式3对激活权重进行归一映射,把激活权重映射到[-1,1]:
可选的,对所述激活函数的输入值进行量化包括如下步骤:
预设输入值需要被量化到的大小;
根据公式4添加被训练参数d 1、d 2,并将输入值映射到[-1,1]
可选的,在输入值量化的反向处理中,在对输入值进行量化的过程中使用透传操作。
可选的,利用训练样本对目标检测模型进行训练时,学习率为0.01,且学习率下降至少10倍,批量大小为128,训练样本至少遍历5次,卷积权重的衰退为0.0005。
可选的,训练样本中的目标包括子目标,对收集的训练样本进行预处理包括:
将子目标的对应位置映射到指定位置,将训练样本缩放到112*112的分辨率;
归一化训练样本的图片亮度,把训练样本的图片亮度归一到100,再根据如下公式进行归一化形成数据:
本发明具有如下有益效果:
发明了所提供的技术方案,通过对卷积权重、激活权重以及激活函数的输入值分别进行量化,缩小量化的范围,使得量化精度更高,有利于在较低功耗、较低计算能力的设备上应用,更加方便移植到移动设备上;结合训练任务的损失函数,通过训练的损失函数的梯度来更新量化参数,提供端到端的量化训练方法,在场景复杂多变、光照条件不可控的情况下,依然做到满足各个场景、条件的应用,并且,在保证量化后数值的表达精度的前提下,减少可训练参数,减少量化损失,简化计算过程。
此外,本发明还提供了一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现上述任一项所述的方法。
同时,本发明还提供了一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现上述任一项所述的方法。
本发明的这些特点和优点将会在下面的具体实施方式以及附图中进行详细的揭露。本发明最佳的实施方式或手段将结合附图来详尽表现,但并非是对本发明技术方案的限制。另外,在每个下文和附图中出现的这些特征、要素和组件是具有多个,并且为了表示方便而标记了不同的符号或数字,但均表示相同或相似构造或功能的部件。
附图说明
下面结合附图对本发明作进一步说明:
图1为本发明实施例一的流程图。
具体实施方式
下面结合本发明实施例的附图对本发明实施例的技术方案进行解释和说明,但下述实施例仅为本发明的优选实施例,并非全部。基于实施方式中的实施例,本领域技术人员在没有做出创造性劳动的前提下所获得其他实施例,都属于本发明的保护范围。
在本说明书中引用的“一个实施例”或“实例”或“例子”意指结合实施例本身描述的特定特征、结构或特性可被包括在本专利公开的至少一个实施例中。短语“在一个实施例中”在说明书中的各位置的出现不必都是指同一个实施例。
实施例一:
如图1所示,本实施例提供了一种目标检测方法,具体而言,是用于人脸识别的目标检测方法,包括如下步骤:
收集训练样本,所收集的训练样本包括各种姿态、角度、不同光照下的人脸训练样本;对收集的训练样本进行预处理。训练样本中的目标包括子目标,具体到本实施例中,子目标则是指人脸的左眼、右眼、鼻子、左嘴角、右嘴角。对收集的训练样本进行预处理包括:
将子目标的对应位置映射到指定位置,即根据左眼、右眼、鼻子、左嘴角、右嘴角的位置,映射到如下标准位置:
左眼: [30.29459953, 51.69630051];
右眼: [65.53179932, 51.50139999];
鼻子: [48.02519989, 71.73660278];
左嘴角:[33.54930115, 92.3655014];
右嘴角:[62.72990036, 92.20410156]。
然后将训练样本缩放到112*112的分辨率;
归一化训练样本的图片亮度,把训练样本的图片亮度归一到100,再根据如下公式进行归一化形成数据:
构建目标检测模型如下表所示:
其中k为卷积核大小,n为输出卷积特征图个数,s为卷积滑动步长,Bn为BatchNormalization层,PReLU6为使用的激活函数。
目标检测模型包括若干卷积层,卷积层包括Bn层,卷积层具有卷积权重和激活函数,激活函数具有激活权重。
利用训练样本对目标检测模型进行训练。在这一步骤中,需要对目标检测模型的激活函数的输入值、卷积权重以及激活权重分别进行量化。
对卷积权重进行量化包括如下步骤:
预设卷积权重需要被量化到的大小;
将Bn层的参数合入到卷积层的参数,合入的计算方式为本领域技术人员所公知的标准计算公式,在此不再赘述;
根据公式1添加被训练参数v 1、v 2、v 3
根据公式1对卷积权重进行归一映射,把卷积权重映射到[-1,1],以便于后续的量化操作。再根据公式2对卷积权重进行量化,用量化后的卷积权重执行卷积操作:
在卷积的反向处理中,在对卷积权重进行量化的过程中使用透传操作。
对于激活权重的量化,包括如下步骤:
预设激活权重需要被量化到的大小,然后根据公式3对激活权重进行归一映射,把激活权重映射到[-1,1]:
对激活函数的输入值进行量化包括如下步骤:
预设输入值需要被量化到的大小;
根据公式4添加被训练参数d 1、d 2,并将输入值映射到[-1,1]
在输入值量化的反向处理中,在对输入值进行量化的过程中使用透传操作。
对每一层的卷积权重,激活权重以及激活函数的输入值都添加前述的量化操作,累加层和分类层不需要添加量化操作。
通过对卷积权重、激活权重以及激活函数的输入值分别进行量化,缩小量化的范围,使得量化精度更高,有利于在较低功耗、较低计算能力的设备上应用,更加方便移植到移动设备上。
完成对于目标检测模型的激活函数的输入值、卷积权重以及激活权重分的量化以后,构建损失函数。本实施例中,目标检测模型的损失函数为:
其中,minimize Q(w),Q(x)为目标函数最小值,y为目标,Q(w)表示量化后的卷积权重,Q(x)表示量化后的输入值;同时,使用sgd优化方法,设置学习率为0.01,且学习率下降至少10倍,批量大小为128,训练样本至少遍历5次,因此总共至少遍历40次,卷积权重的衰退为0.0005,对量化后的卷积权重Q(w)、量化后的输入值Q(x)以及量化后的激活权重进行调整迭代,在保证卷积权重、激活权重以及激活函数的输入值量化的同时,使整体损失最小,得到最优的量化结果。结合训练任务的损失函数,通过训练的损失函数的梯度来更新量化参数,提供端到端的量化训练方法,在场景复杂多变、光照条件不可控的情况下,依然做到满足各个场景、条件的应用,并且,在保证量化后数值的表达精度的前提下,减少可训练参数,减少量化损失,简化计算过程。
最后,利用训练好的目标检测模型进行目标检测识别。
实施例二
本实施例提供了一种计算机设备,包括存储器和处理器,存储器中存储有计算机程序,该处理器执行计算机程序时实现如上的任意实施例中的方法。本领域普通技术人员可以理解,实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成。据此,的计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可实现上述任意一项实施例的方法。其中,本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM (PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限,RAM以多种形式可得,诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)以及存储器总线动态RAM(RDRAM)等。
以上,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,熟悉该本领域的技术人员应该明白本发明包括但不限于附图和上面具体实施方式中描述的内容。任何不偏离本发明的功能和结构原理的修改都将包括在权利要求书的范围中。
Claims (10)
1.一种目标检测方法,包括如下步骤:
收集训练样本,对收集的训练样本进行预处理;
构建目标检测模型,所述目标检测模型包括若干卷积层,所述卷积层具有激活函数和卷积权重;
利用训练样本对目标检测模型进行训练;
利用训练好的目标检测模型进行目标检测识别;
其特征在于,利用训练样本对目标检测模型进行训练时,对所述卷积权重和所述激活函数的输入值分别进行量化,所述目标检测模型的损失函数为:
其中,minimize Q(w),Q(x)为目标函数最小值,y为目标,w表示卷积权重,Q(w)表示量化后的卷积权重,x表示输入值,Q(x)表示量化后的输入值;
对量化后的卷积权重Q(w)和量化后的输入值Q(x)进行调整迭代。
3.根据权利要求2所述的目标检测方法,其特征在于,在卷积的反向处理中,在对卷积权重进行量化的过程中使用透传操作。
6.根据权利要求5所述的目标检测方法,其特征在于,在输入值量化的反向处理中,在对输入值进行量化的过程中使用透传操作。
7.根据权利要求1至6之一所述的目标检测方法,其特征在于,利用训练样本对目标检测模型进行训练时,学习率为0.01,且学习率下降至少10倍,批量大小为128,训练样本至少遍历5次,卷积权重的衰退为0.0005。
9.一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至8中任一项所述的方法。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至8中任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010627991.1A CN111523526A (zh) | 2020-07-02 | 2020-07-02 | 一种目标检测方法、计算机设备及可读存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010627991.1A CN111523526A (zh) | 2020-07-02 | 2020-07-02 | 一种目标检测方法、计算机设备及可读存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN111523526A true CN111523526A (zh) | 2020-08-11 |
Family
ID=71911944
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010627991.1A Pending CN111523526A (zh) | 2020-07-02 | 2020-07-02 | 一种目标检测方法、计算机设备及可读存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111523526A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114707650A (zh) * | 2021-12-31 | 2022-07-05 | 杭州雄迈集成电路技术股份有限公司 | 一种提高仿真效率的仿真实现方法 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107644254A (zh) * | 2017-09-09 | 2018-01-30 | 复旦大学 | 一种卷积神经网络权重参数量化训练方法及*** |
CN109754063A (zh) * | 2017-11-07 | 2019-05-14 | 三星电子株式会社 | 用于学习低精度神经网络的方法及装置 |
CN110929865A (zh) * | 2018-09-19 | 2020-03-27 | 深圳云天励飞技术有限公司 | 网络量化方法、业务处理方法及相关产品 |
-
2020
- 2020-07-02 CN CN202010627991.1A patent/CN111523526A/zh active Pending
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107644254A (zh) * | 2017-09-09 | 2018-01-30 | 复旦大学 | 一种卷积神经网络权重参数量化训练方法及*** |
CN109754063A (zh) * | 2017-11-07 | 2019-05-14 | 三星电子株式会社 | 用于学习低精度神经网络的方法及装置 |
CN110929865A (zh) * | 2018-09-19 | 2020-03-27 | 深圳云天励飞技术有限公司 | 网络量化方法、业务处理方法及相关产品 |
Non-Patent Citations (1)
Title |
---|
SANGIL JUNG等: "Learning to Quantize Deep Networks by Optimizing Quantization Intervals with Task Loss", 《CVPR2019》 * |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114707650A (zh) * | 2021-12-31 | 2022-07-05 | 杭州雄迈集成电路技术股份有限公司 | 一种提高仿真效率的仿真实现方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107679525B (zh) | 图像分类方法、装置及计算机可读存储介质 | |
CN110399929B (zh) | 眼底图像分类方法、装置以及计算机可读存储介质 | |
CN109558832B (zh) | 一种人体姿态检测方法、装置、设备及存储介质 | |
CN110675328B (zh) | 基于条件生成对抗网络的低照度图像增强方法及装置 | |
CN111460968B (zh) | 基于视频的无人机识别与跟踪方法及装置 | |
WO2020252917A1 (zh) | 一种模糊人脸图像识别方法、装置、终端设备及介质 | |
WO2021238262A1 (zh) | 一种车辆识别方法、装置、设备及存储介质 | |
CN101452575B (zh) | 一种基于神经网络的图像自适应增强方法 | |
CN111931641A (zh) | 基于权重多样性正则化的行人重识别方法及其应用 | |
CN104143081A (zh) | 基于嘴部特征的笑脸识别***及方法 | |
CN111079764A (zh) | 一种基于深度学习的低照度车牌图像识别方法及装置 | |
CN113420794B (zh) | 一种基于深度学习的二值化Faster R-CNN柑橘病虫害识别方法 | |
CN111340077A (zh) | 基于注意力机制的视差图获取方法和装置 | |
CN112861602A (zh) | 基于深度可分离卷积的人脸活体识别模型压缩和移植方法 | |
CN113066089B (zh) | 一种基于注意力引导机制的实时图像语义分割方法 | |
Yue et al. | Face recognition based on histogram equalization and convolution neural network | |
CN111127360A (zh) | 一种基于自动编码器的灰度图像迁移学习方法 | |
CN112308825A (zh) | 一种基于SqueezeNet的农作物叶片病害识别方法 | |
CN116740439A (zh) | 一种基于跨尺度金字塔Transformer的人群计数方法 | |
CN105046202A (zh) | 自适应的人脸识别光照处理方法 | |
CN115019173A (zh) | 基于ResNet50的垃圾识别与分类方法 | |
CN111523526A (zh) | 一种目标检测方法、计算机设备及可读存储介质 | |
CN113919479B (zh) | 一种提取数据特征的方法和相关装置 | |
CN107564013B (zh) | 融合局部信息的场景分割修正方法与*** | |
CN117475150A (zh) | 一种基于SAC-UNet的高效语义分割方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20200811 |