CN113762495A - 一种提高卷积神经网络模型低比特量化模型精度的方法 - Google Patents

一种提高卷积神经网络模型低比特量化模型精度的方法 Download PDF

Info

Publication number
CN113762495A
CN113762495A CN202010497770.7A CN202010497770A CN113762495A CN 113762495 A CN113762495 A CN 113762495A CN 202010497770 A CN202010497770 A CN 202010497770A CN 113762495 A CN113762495 A CN 113762495A
Authority
CN
China
Prior art keywords
model
quantization
neural network
convolutional neural
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010497770.7A
Other languages
English (en)
Inventor
张东
于康龙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hefei Ingenic Technology Co ltd
Original Assignee
Hefei Ingenic Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hefei Ingenic Technology Co ltd filed Critical Hefei Ingenic Technology Co ltd
Priority to CN202010497770.7A priority Critical patent/CN113762495A/zh
Publication of CN113762495A publication Critical patent/CN113762495A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/18—Complex mathematical operations for evaluating statistical data, e.g. average values, frequency distributions, probability functions, regression analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Pure & Applied Mathematics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Operations Research (AREA)
  • Probability & Statistics with Applications (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Algebra (AREA)
  • Databases & Information Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种提高卷积神经网络模型低比特量化模型精度的方法，包括以下步骤：S1，卷积神经网络训练：用全精度算法训练模型，得到一个可以用于目标分类的网络，即获得模型推理过程中的相关参数；S2,量化权重：对于已经获得权重参数按照公式1所示的公式进行量化，得到低比特的权重；公式1：
Figure DDA0002523507810000011
变量说明：Wf为全精度数据，Wq为量化后的数据，maxw全精度数据的最大值，minw全精度数据的最小值,b为量化后的位宽；S3，feature map的量化：对于量化feature map的scale采用线下统计的方法获得数据的最大值最小值，再利用公式1完成量化；S4，进行卷积运算输出结果。

Description

一种提高卷积神经网络模型低比特量化模型精度的方法
技术领域
本发明涉及神经网络加速技术领域，特别涉及一种提高卷积神经网络模型低比特量化模型精度的方法。
背景技术
近年来，随着科技的飞速发展，大数据时代已经到来。深度学习以深度神经网络(DNN)作为模型，在许多人工智能的关键领域取得了十分显著的成果，如图像识别、增强学习、语义分析等。卷积神经网络(CNN)作为一种典型的DNN结构，能有效提取出图像的隐层特征，并对图像进行准确分类，在近几年的图像识别和检测领域得到了广泛的应用。
特别地，实时量化feature map：将卷积运算出来的结果反量化为全精度数，然后根据实时统计获得的最大最小值完成对feature map的量化。
然而，现有技术中对卷积神经网络进行量化时，由于feature map的数值是实时计算出来的，所以对feature map进行量化时可能会受到异常值的影响，无法有效的量化从而降低最终量化后模型的精度。
此外，现有技术中的常用术语如下：
卷积神经网络(Convolutional Neural Networks,CNN)：是一类包含卷积计算且具有深度结构的前馈神经网络。
量化：量化指将信号的连续取值(或者大量可能的离散取值)近似为有限多个(或较少的)离散值的过程。
低比特：将数据量化为位宽为8bit，4bit或者2bit的数据。
推理：神经网络训练结束后，利用保存的数据进行运算的过程。
发明内容
本申请提出了一种卷积神经网络模型低比特量化提高精度的方法，旨在克服上述现有技术中存在的缺陷，提出一种提高量化模型精度的方法，解决现有低比特模型推理过程精度损失严重的问题。
本方法在量化feature map的时候会考虑到其中异常值对量化的影响，对于量化feature map的scale采用线下统计的方法从而提高最终量化模型的精度。
具体地，本发明提供一种提高卷积神经网络模型低比特量化模型精度的方法，所述方法包括以下步骤：
S1，卷积神经网络训练：用全精度算法训练模型，得到一个用于目标分类的网络，即获得模型推理过程中的相关参数；
S2,量化权重：对于已经获得权重参数按照公式1所示的公式进行量化，得到低比特的权重；
公式1：
Figure BDA0002523507790000021
变量说明：Wf为全精度数据，Wq为量化后的数据，maxw全精度数据的最大值，minw全精度数据的最小值,b为量化后的位宽；
S3，feature map的量化：对于量化feature map的scale采用线下统计的方法获得数据的最大值最小值，再利用公式1完成量化；
S4，进行卷积运算输出结果。
所述步骤S1中所述的全精度算法是以Resnet-50为神经网络结构的图像分类算法。
所述步骤S1中所述的相关参数包括，卷积的权重，BiasAdd算子的偏置，BatchNormal算子的gamma，beta，均值和方差。
所述步骤S3进一步包括：
S3.1，在模型的训练时使用滑动平均的方法按照公式2统计每一层feature map的最大值最小值然后保存下来，
公式2：vt＝β·vt-1+(1-β)·(θt)，
变量说明：vt为变量v在t时刻的值，β为加权系数，θt为变量v在t时刻的值，vt-1为变量v在t-1时刻的值；
S3.2，利用该最大值最小值和公式1完成对feature map的量化。
所述的统计的数据集来源训练集，所述的数据集为统计5000张和2万张的数据集，优选统计5000张数据集的模型在测试集。
对于加权系数可以采用0.992、0.994、0.996。
加权系数优选为0.994。
由此，本申请的优势在于：
(1)由于是预先采用滑动平均统计的方法来获取feature map的最大值最小值，从而避免了异常值对量化的影响，提高了量化后模型的精度；
(2)由于统计的数据集来源于训练集，所以统计后的参数更符合目标任务的数据分布特征，可以提高模型的泛化能力。
附图说明
此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，并不构成对本发明的限定。
图1是本发明方法的流程示意图。
图2是本发明方法步骤S3的具体流程示意图。
具体实施方式
为了能够更清楚地理解本发明的技术内容及优点，现结合附图对本发明进行进一步的详细说明。
如图1所示，本发明是一种提高卷积神经网络模型低比特量化模型精度的方法，所述方法包括以下步骤：
S1，卷积神经网络训练：用全精度算法训练模型，得到一个用于目标分类的网络，即获得模型推理过程中的相关参数；
S2,量化权重：对于已经获得权重参数按照公式1所示的公式进行量化，得到低比特的权重；
公式1：
Figure BDA0002523507790000041
变量说明：Wf为全精度数据，Wq为量化后的数据，maxw全精度数据的最大值，minw全精度数据的最小值,b为量化后的位宽；
S3，feature map的量化：对于量化feature map的scale采用线下统计的方法获得数据的最大值最小值，再利用公式1完成量化；
S4，进行卷积运算输出结果。
其中，S1中所述相关参数包括，卷积的权重，BiasAdd算子的偏置，BatchNormal算子的gamma，beta，均值和方差；所述的全精度算法是以Resnet-50为神经网络结构的图像分类算法；
如图2所示，所述步骤S3的feature map的量化：进一步包括：S3.1，在模型的训练时使用滑动平均的方法按照公式2统计每一层feature map的最大值最小值然后保存下来,
公式2：vt＝β·vt-1+(1-β)·(θt)，
变量说明：vt为变量v在t时刻的值，β为加权系数，θt为变量v在t时刻的值，vt-1为变量v在t-1时刻的值；
S3.2，利用该最大值最小值和公式1完成对feature map的量化。
由于feature map时模型推理过程中实时计算出来的，所以无法预先知道他的最大值和最小值，按照公式1的公式得知要想对数据进行量化就必须预先知道该数据的最大值最小值，所以对于feature map的最大值最小值采用的方法是，在模型的训练时使用滑动平均的方法(公式2所示)统计每一层feature map的最大值最小值然后保存下来，利用该最大值最小值和公式1完成对feature map的量化。通过测试发现，统计的数据集来源训练集的话，最终模型的泛化能力会更好，并且分别尝试了统计5000张和2万张数据集，发现统计5000张数据集的模型在测试集的表现会更好。对于加权系数分别采用了0.992,0.994,0.996，发现但加权系数为0.994的时候模型的精度最高。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明实施例可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种提高卷积神经网络模型低比特量化模型精度的方法，其特征在于，所述方法包括以下步骤：
S1，卷积神经网络训练：用全精度算法训练模型，得到一个用于目标分类的网络，即获得模型推理过程中的相关参数；
S2,量化权重：对于已经获得权重参数按照公式1所示的公式进行量化，得到低比特的权重；
公式1：
Figure FDA0002523507780000011
变量说明：Wf为全精度数据，Wq为量化后的数据，maxw全精度数据的最大值，minw全精度数据的最小值,b为量化后的位宽；
S3，feature map的量化：对于量化feature map的scale采用线下统计的方法获得数据的最大值最小值，再利用公式1完成量化；
S4，进行卷积运算输出结果。
2.根据权利要求1所述的一种提高卷积神经网络模型低比特量化模型精度的方法，其特征在于，所述步骤S1中所述的全精度算法是以Resnet-50为神经网络结构的图像分类算法。
3.根据权利要求1所述的一种提高卷积神经网络模型低比特量化模型精度的方法，其特征在于，所述步骤S1中所述的相关参数包括，卷积的权重，BiasAdd算子的偏置，BatchNormal算子的gamma，beta，均值和方差。
4.根据权利要求1所述的一种提高卷积神经网络模型低比特量化模型精度的方法，其特征在于，所述步骤S3进一步包括：
S3.1，在模型的训练时使用滑动平均的方法按照公式2统计每一层feature map的最大值最小值然后保存下来，
公式2：vt＝β·vt-1+(1-β)·(θt)，
变量说明：vt为变量v在t时刻的值，β为加权系数，θt为变量v在t时刻的值，vt-1为变量v在t-1时刻的值；
S3.2，利用该最大值最小值和公式1完成对feature map的量化。
5.根据权利要求4所述的一种提高卷积神经网络模型低比特量化模型精度的方法，其特征在于，所述的统计的数据集来源训练集。
6.根据权利要求5所述的一种提高卷积神经网络模型低比特量化模型精度的方法，其特征在于，所述的数据集为统计5000张和2万张的数据集，优选统计5000张数据集的模型在测试集。
7.根据权利要求4所述的一种提高卷积神经网络模型低比特量化模型精度的方法，其特征在于，对于加权系数可以采用0.992、0.994、0.996。
8.根据权利要求7所述的一种提高卷积神经网络模型低比特量化模型精度的方法，其特征在于，加权系数优选为0.994。
CN202010497770.7A 2020-06-04 2020-06-04 一种提高卷积神经网络模型低比特量化模型精度的方法 Pending CN113762495A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010497770.7A CN113762495A (zh) 2020-06-04 2020-06-04 一种提高卷积神经网络模型低比特量化模型精度的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010497770.7A CN113762495A (zh) 2020-06-04 2020-06-04 一种提高卷积神经网络模型低比特量化模型精度的方法

Publications (1)

Publication Number Publication Date
CN113762495A true CN113762495A (zh) 2021-12-07

Family

ID=78783419

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010497770.7A Pending CN113762495A (zh) 2020-06-04 2020-06-04 一种提高卷积神经网络模型低比特量化模型精度的方法

Country Status (1)

Country Link
CN (1) CN113762495A (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110135580A (zh) * 2019-04-26 2019-08-16 华中科技大学 一种卷积网络全整型量化方法及其应用方法
CN110503600A (zh) * 2019-08-26 2019-11-26 厦门美图之家科技有限公司 特征点检测方法、装置、电子设备和可读存储介质
CN110659734A (zh) * 2019-09-27 2020-01-07 中国科学院半导体研究所 深度可分离卷积结构的低比特量化方法
CN111008694A (zh) * 2019-12-02 2020-04-14 许昌北邮万联网络技术有限公司 基于深度卷积对抗生成网络的无数据模型量化压缩方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110135580A (zh) * 2019-04-26 2019-08-16 华中科技大学 一种卷积网络全整型量化方法及其应用方法
CN110503600A (zh) * 2019-08-26 2019-11-26 厦门美图之家科技有限公司 特征点检测方法、装置、电子设备和可读存储介质
CN110659734A (zh) * 2019-09-27 2020-01-07 中国科学院半导体研究所 深度可分离卷积结构的低比特量化方法
CN111008694A (zh) * 2019-12-02 2020-04-14 许昌北邮万联网络技术有限公司 基于深度卷积对抗生成网络的无数据模型量化压缩方法

Similar Documents

Publication Publication Date Title
CN108062561B (zh) 一种基于长短时记忆网络模型的短时数据流预测方法
CN110650153B (zh) 一种基于聚焦损失深度神经网络的工控网络入侵检测方法
CN112557034B (zh) 一种基于pca_cnns的轴承故障诊断方法
CN111353373A (zh) 一种相关对齐域适应故障诊断方法
CN115580445B (zh) 一种未知攻击入侵检测方法、装置和计算机可读存储介质
CN111144552A (zh) 一种粮食品质多指标预测方法及装置
CN111985825A (zh) 一种用于滚磨机定向仪的晶面质量评估方法
CN112305379A (zh) 一种用于gis绝缘缺陷的模式识别方法及***
CN115963420A (zh) 一种电池soh影响因素分析方法
CN111652264A (zh) 基于最大均值差异的负迁移样本筛选方法
CN108873706B (zh) 基于深度神经网络的圈闭评价智能专家推荐方法
CN113762495A (zh) 一种提高卷积神经网络模型低比特量化模型精度的方法
CN112766537A (zh) 一种短期电负荷预测方法
CN109741733B (zh) 基于一致性路由网络的语音音素识别方法
CN116415505A (zh) 一种基于sbr-dbn模型的***故障诊断与状态预测方法
CN113762499B (zh) 一种分通道量化权重的方法
CN115343573A (zh) 一种面向电网监控的声纹模型演化设备故障融合判决方法
CN112800813B (zh) 一种目标识别方法及装置
CN114004144A (zh) 一种航空发动机剩余使用寿命预测方法
CN113762500B (zh) 一种卷积神经网络在量化时提高模型精度的训练方法
CN113762496B (zh) 一种降低低比特卷积神经网络推理运算复杂度的方法
CN113762497B (zh) 一种卷积神经网络模型低比特推理优化的方法
CN113762452B (zh) 一种量化prelu激活函数的方法
CN113688774B (zh) 基于深度学习的高层建筑风致响应预测、训练方法及装置
CN114692814A (zh) 一种优化神经网络模型激活的量化方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination