CN107292382A - 一种神经网络声学模型激活函数定点量化方法 - Google Patents
一种神经网络声学模型激活函数定点量化方法 Download PDFInfo
- Publication number
- CN107292382A CN107292382A CN201610191900.8A CN201610191900A CN107292382A CN 107292382 A CN107292382 A CN 107292382A CN 201610191900 A CN201610191900 A CN 201610191900A CN 107292382 A CN107292382 A CN 107292382A
- Authority
- CN
- China
- Prior art keywords
- mrow
- layers
- activation
- fixed point
- msup
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000004913 activation Effects 0.000 title claims abstract description 74
- 238000013139 quantization Methods 0.000 title claims abstract description 22
- 238000000034 method Methods 0.000 title claims abstract description 16
- 230000007935 neutral effect Effects 0.000 title claims abstract description 10
- 239000013598 vector Substances 0.000 claims abstract description 55
- 239000011159 matrix material Substances 0.000 claims abstract description 33
- 230000006870 function Effects 0.000 description 7
- 238000004364 calculation method Methods 0.000 description 4
- 210000002569 neuron Anatomy 0.000 description 3
- 241001269238 Data Species 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000008901 benefit Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000000205 computational method Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/08—Speech classification or search
- G10L15/16—Speech classification or search using artificial neural networks
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Abstract
本发明提供一种神经网络声学模型激活函数定点量化方法，该方法具体包括：步骤(1)在DNN模型的第l层，将所述第l‑1层的浮点激活向量中x(l‑1)＝[x1,…,xN]T的每个浮点激活值线性地量化为0～2K的整数，得到所述第l‑1层的线性定点量化的激活向量x*(l‑1)；步骤(2)对步骤(1)中得到的所述第l‑1层的线性定点量化的激活向量x*(l‑1)中的每个激活值进一步分级，即将所述每个激活值近似为最为邻近的2的整次幂，最终得到所述第l‑1层的分级定点量化激活向量x**(l‑1)；步骤(3)对第l层进行线性定点量化，即将该层浮点型权值矩阵W(l)的权值wM,N线性地量化为‑127到127间的整数；步骤(4)进行DNN第l层的前馈计算，最终得到第l层的浮点型激活向量x(l)。
Description
技术领域
本发明涉及语音识别技术领域，特别涉及一种神经网络声学模型激活函数定点量化方法。
背景技术
在语音识别领域，利用深层神经网络(Deep Neural Network，DNN)进行声学建模取得了很好的效果。DNN的深层结构使得模型具有很强的学习能力，同时需要大量的浮点数乘加运算，DNN的主要运算用如下公式：
x(l)＝σ(W(l)·x(l-1))
其中，l为层数，x(l)为第l层的激活向量，W(l)为第l层的权值矩阵，x(l-1)为第l-1层的激活向量，σ(·)为激活函数；其一般采用的是sigmoid函数，如下：
其中，e-x为指数运算。
对DNN模型进行定点量化的方法被用来降低浮点运算量，其原理如下：
由于sigmoid函数σ(x)∈(0,1)，可以将浮点型激活值使用无符号8位定点整数表示，即将激活值线性地量化为0～256的整数(为了简洁，以下公式中不含表示层数的上标)：
x*＝round(x·256)
其中，x*为经过线性定点量化后的激活向量，round(·)为四舍五入取整操作。
同时，将权值矩阵使用有符号8位定点整数表示，即将权值线性地量化为-127～127的整数，用如下两个公式(为了简洁，以下公式中不含表示层数的上标)：
wmax＝max(|W|)
其中，W为权值矩阵，max(|W|)为取出矩阵W中的绝对值最大的元素值，wmax为权值矩阵W中所有元素中的绝对值最大值，W*为线性定点量化后的权值矩阵。
对模型的定点量化以后，原本的浮点运算就可以转变为定点运算，从而节省计算成本。模型从浮点转为定点之后，由于数据精度的降低，模型的性能也会略有降低，另一方面，即使经过定点量化把浮点运算转化为定点运算，乘法的数量没有减少，DNN模型依然需要大量的定点乘加运算。因此，要在计算资源有限，尤其是乘法器数量有限的嵌入式设备上应用DNN进行语音识别的声学建模十分困难。
发明内容
本发明的目的在于，为解决现有的定点量化方法不能降低乘法运算数量的缺陷，本发明提供了一种神经网络声学模型激活函数定点量化方法，该方法具体包括：
步骤(1)在DNN模型的第l层，将所述第l-1层的浮点激活向量中x(l-1)＝[x1,…,xN]T的每个浮点激活值线性地量化为0～2K的整数，K为量化的级数，得到所述第l-1层的线性定点量化的激活向量
其中，
其中，xi为第l-1层的浮点激活向量x(l-1)的第i维元素，为第l-1层的线性定点量化的激活向量x*(l-1)的第i维元素；
步骤(2)对步骤(1)中得到的所述第l-1层的线性定点量化的激活向量x*(l-1)中的每个激活值进一步分级，即将所述每个激活值近似为最为邻近的2的整次幂，最终得到所述第l-1层的分级定点量化激活向量
所述第l-1层的分级定点量化激活向量中的任意一个元素的取值需满足：
具体对应关系如下：
其中，x*(l-1)为第l-1层的线性定点化的激活向量中的元素，x**(l-1)为第l-1层分级定点量化的激活向量中的元素，和分别表示向上取整和向下取整。
步骤(3)根据如下公式对第l层进行线性定点量化，即将该层浮点型权值矩阵W(l)的权值wi,j线性地量化为-127到127间的整数：
其中，W(l)为包含第l层的权值wi,j(其中i＝1,…,M，j＝1,…,N)的浮点型权值矩阵，即
max(|W(l)|)为取出矩阵W(l)的绝对值最大的元素值，为第l层权值矩阵W(l)中所有元素中的绝对值最大值，W*(l)为线性定点量化后的浮点型权值矩阵，round(·)为四舍五入取整操作。
步骤(4)根据如下公式，进行DNN第l层的前馈计算：
a(l)＝W*(l)·x**(l-1)
其中，x**(l-1)为第l-1层的分级定点量化的激活向量；W*(l)为线性定点量化后的浮点型权值矩阵；a(l)为临时变量；
a(l)先与解量化因子相乘，再通过sigmoid函数σ(·)，最终得到第l层的浮点型激活向量x(l)。
本发明的优点在于：本发明可以将DNN前馈计算中的大量乘法运算用整数移位操作替代，大大降低了DNN计算对于计算资源，尤其是乘法器的需求；简化DNN前馈计算中的权值矩阵与激活向量的乘法。
附图说明
图1是本发明的神经网络激活函数定点量化方法的流程图
图2是实施例中采用的DNN结构示意图
具体实施方式
以下结合附图对本发明作进一步的详细说明。
本发明提供了一种神经网络声学模型激活函数定点量化方法，将DNN的激活值量化为2的整次幂，通过这种方式，DNN运算中，权值矩阵和激活向量相乘中的定点乘法运算都可以替换成定点数的移位操作。
在本实施例中，进行试验的实验环境为：输入特征向量包含572维，具体来讲，输入特征为52维感知线性预测(PLP)特征，并做了前后各5帧的上下文扩展，最终得到52*11＝572维的输入向量，输入层的权值矩阵规模为2048*572。另外，DNN的2个隐层各自包含2048*2048规模的权值矩阵，输出层的权值矩阵规模为19508*2048，输出向量共有19508维，对应于绑定后的上下文相关音素状态。语音识别任务使用的是中文测试集，共有3000小时语音数据作为训练集，2小时数据作为测试集。
在本实施例中，如图2所示，所述DNN模型共有4层，以第2层为例，现给出具体的实施方案，如图1所示：
步骤(1)在DNN模型的第2层，将所述第1层的浮点激活向量中x(1)＝[x1,…,xN]T的每个浮点激活值线性地量化为0～2K的整数，K为量化的级数，得到所述第1层的线性定点量化的激活向量
其中，
其中，xi为第1层的浮点激活向量x(1)的第i维元素，为第1层的线性定点量化的激活向量x*(1)的第i维元素；
步骤(2)对步骤(1)中得到的所述第1层的线性定点量化的激活向量x*(1)中的每个激活值进一步分级，即将所述每个激活值近似为最为邻近的2的整次幂，最终得到所述第1层的分级定点量化激活向量
所述第1层的分级定点量化激活向量中的任意一个元素的取值需满足：
具体对应关系如下：
其中，x*(1)为第1层的线性定点化的激活向量中的元素，x**(1)为第1层分级定点量化的激活向量中的元素，和分别表示向上取整和向下取整。
步骤(3)根据公式(2)和(3)，对第2层进行线性定点量化，即将该层浮点型权值矩阵W(2)的权值wM,N线性地量化为-127到127间的整数：
其中，W(2)为包含第2层的权值wi,j(其中i＝1,…,M，j＝1,…,N)的浮点型权值矩阵，规模为M×N即
max(|W(2)|)为取出矩阵W(2)的绝对值最大的元素值，为第2层权值矩阵W(2)中所有元素中的绝对值最大值，W*(2)为线性定点量化后的浮点型权值矩阵，round(·)为四舍五入取整操作。
步骤(4)根据公式(4)和(5)，进行DNN第2层的前馈计算：
a(2)＝W*(2)·x**(1) (4)
其中，x**(1)为第1层的分级定点量化的激活向量；W*(2)为线性定点量化后的浮点型权值矩阵；a(2)为临时变量；
如图1所示，根据计算机语言，如果判断第2层是输出层，则为DNN输出层，即本实施例中第2层的激活函数，通常使用softmax函数，具体如公式(6-1)和(6-2)所示：
其中，e为自然常数，yi为向量y的第i维元素，xi和xk分别为向量x的第i维和第k维元素，和均为指数运算，N为向量x和y的维数。
在公式(5)中，a(2)先与解量化因子相乘，再通过所述sigmoid函数σ(·)，最终得到第2层的浮点型激活向量x(2)，即整个DNN的输出向量。
如果判断第2层不是输出层，则得到第2层的浮点型激活向量x(2)，用于第3层的计算。
基于上述的定点量化方法，DNN前馈计算中当前层的权值矩阵与上一层的激活向量相乘可以进一步简化，以整个网络的第2层的前馈计算为例：
a(2)＝W*(2)·x**(1)
其中M＝N＝2048，具体的计算方法为：
其中，为临时向量a(2)的第i维元素，为第二层线性量化后的权值矩阵的第i行第j列的元素，即连接第2层第j个神经元和第1层第i个神经元的权值，为第一层分级量化后的激活向量的第j维元素，N为向量x**(1)的维数，即第1层神经元的个数；
假设其中，
在计算机或者其他嵌入式***中，对于整数y和x，有y·2x＝y<<x，其中“<<”为左移操作，因此上面计算可以变为：
即原本矩阵乘向量中的乘法运算，全部被移位操作替代，这大大降低了DNN计算对于计算资源，尤其是乘法器的需求。
下面对本实施例的性能进行分析。
利用测试集测试各个模型的字错误率(word error rate，WER)，模型分别为原始的浮点模型，线性定点量化模型(权值和激活值经过线性定点量化)和不同K值的分级定点量化模型(权值为线性定点量化，激活值为分级定点量化)；
字错误率的计算公式如下：
实验结果见表1：
表1
由实验结果可以看出，对定点量化模型进行进一步的分级量化，性能并没有明显的下降，值得注意的是K＝5时，分级量化模型的性能甚至优于定点量化模型，与原始的浮点模型性能接近。新引入的对于激活值的分级量化，在没有带来明显性能损失的前提下，将DNN前馈计算中的绝大多数乘法运算替换成了移位操作，大大降低了将DNN应用于嵌入式***的计算资源需求，尤其是对于乘法器数量的要求。
最后需要说明的是，具体实施方式中所述的实验用图仅用来说明本发明的技术方案软件算法的可行性而非局限于此例，算法已经经过大量实验数据验证，是真实可靠的，搭配硬件便可实现本发明的技术方案。尽管参照实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，对本发明的技术方案进行修改或者等同替换，都不脱离本发明技术方案的精神和范围，其均应涵盖在本发明的权利要求范围当中。
Claims (3)
1.一种神经网络声学模型激活函数定点量化方法，其特征在于，该方法具体包括：
步骤(1)在DNN模型的第l层，将所述第l-1层的浮点激活向量中x(l-1)＝[x1,…,xN]T的每个浮点激活值线性地量化为0～2K的整数，K为量化的级数，得到所述第l-1层的线性定点量化的激活向量
其中，
其中，xi为第l-1层的浮点激活向量x(l-1)的第i维元素，为第l-1层的线性定点量化的激活向量x*(l-1)的第i维元素；
步骤(2)对步骤(1)中得到的所述第l-1层的线性定点量化的激活向量x*(l-1)中的每个激活值进一步分级，即将所述每个激活值近似为最为邻近的2的整次幂，最终得到所述第l-1层的分级定点量化激活向量
步骤(3)对第l层进行线性定点量化，即将该层浮点型权值矩阵W(l)的权值wM,N线性地量化为-127到127间的整数；
步骤(4)进行DNN第l层的前馈计算，最终得到第l层的浮点型激活向量x(l)：
a(l)＝W*(l)·x**(l-1)
<mrow>
<msup>
<mi>x</mi>
<mrow>
<mo>(</mo>
<mi>l</mi>
<mo>)</mo>
</mrow>
</msup>
<mo>=</mo>
<mi>&sigma;</mi>
<mrow>
<mo>(</mo>
<mrow>
<msup>
<mi>a</mi>
<mrow>
<mo>(</mo>
<mi>l</mi>
<mo>)</mo>
</mrow>
</msup>
<mo>&CenterDot;</mo>
<mfrac>
<msubsup>
<mi>w</mi>
<mi>max</mi>
<mrow>
<mo>(</mo>
<mi>l</mi>
<mo>)</mo>
</mrow>
</msubsup>
<mrow>
<mn>127</mn>
<mo>&times;</mo>
<msup>
<mn>2</mn>
<mi>K</mi>
</msup>
</mrow>
</mfrac>
</mrow>
<mo>)</mo>
</mrow>
</mrow>
其中，x**(l-1)为第l-1层的分级定点量化的激活向量；W*(l)为线性定点量化后的浮点型权值矩阵；为第l层权值矩阵W(l)中所有元素中的绝对值最大值，a(l)为临时变量。
2.根据权利要求1所述的一种神经网络声学模型激活函数定点量化方法，其特征在于，在所述步骤(2)中，所述第l-1层的分级定点量化激活向量 中的任意一个元素的取值需满足：
具体对应关系如下：
其中，x*(l-1)为第l-1层的线性定点化的激活向量中的元素，x**(l-1)为第l-1层分级定点量化的激活向量中的元素，和分别表示向上取整和向下取整。
3.根据权利要求1所述的一种神经网络声学模型激活函数定点量化方法，其特征在于，所述步骤(3)中，对第l层进行线性定点量化进一步包括：
<mrow>
<msubsup>
<mi>w</mi>
<mrow>
<mi>m</mi>
<mi>a</mi>
<mi>x</mi>
</mrow>
<mrow>
<mo>(</mo>
<mi>l</mi>
<mo>)</mo>
</mrow>
</msubsup>
<mo>=</mo>
<mi>m</mi>
<mi>a</mi>
<mi>x</mi>
<mrow>
<mo>(</mo>
<mrow>
<mo>|</mo>
<msup>
<mi>W</mi>
<mrow>
<mo>(</mo>
<mi>l</mi>
<mo>)</mo>
</mrow>
</msup>
<mo>|</mo>
</mrow>
<mo>)</mo>
</mrow>
</mrow>
<mrow>
<msup>
<mi>W</mi>
<mrow>
<mo>*</mo>
<mrow>
<mo>(</mo>
<mi>l</mi>
<mo>)</mo>
</mrow>
</mrow>
</msup>
<mo>=</mo>
<mi>r</mi>
<mi>o</mi>
<mi>u</mi>
<mi>n</mi>
<mi>d</mi>
<mrow>
<mo>(</mo>
<mrow>
<mfrac>
<msup>
<mi>W</mi>
<mrow>
<mo>(</mo>
<mi>l</mi>
<mo>)</mo>
</mrow>
</msup>
<msubsup>
<mi>W</mi>
<mi>max</mi>
<mrow>
<mo>(</mo>
<mi>l</mi>
<mo>)</mo>
</mrow>
</msubsup>
</mfrac>
<mo>&CenterDot;</mo>
<mn>127</mn>
</mrow>
<mo>)</mo>
</mrow>
</mrow>
其中，W(l)为包含第l层的权值wi,j(其中i＝1,…,M，j＝1,…,N)的浮点型权值矩阵，即
max(|W(l)|)为取出矩阵W(l)的绝对值最大的元素值，W*(l)为线性定点量化后的浮点型权值矩阵，round(·)为四舍五入取整操作。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610191900.8A CN107292382A (zh) | 2016-03-30 | 2016-03-30 | 一种神经网络声学模型激活函数定点量化方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610191900.8A CN107292382A (zh) | 2016-03-30 | 2016-03-30 | 一种神经网络声学模型激活函数定点量化方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN107292382A true CN107292382A (zh) | 2017-10-24 |
Family
ID=60087576
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201610191900.8A Pending CN107292382A (zh) | 2016-03-30 | 2016-03-30 | 一种神经网络声学模型激活函数定点量化方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107292382A (zh) |
Cited By (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107909583A (zh) * | 2017-11-08 | 2018-04-13 | 维沃移动通信有限公司 | 一种图像处理方法、装置及终端 |
| CN109165736A (zh) * | 2018-08-08 | 2019-01-08 | 北京字节跳动网络技术有限公司 | 应用于卷积神经网络的信息处理方法和装置 |
| CN109409514A (zh) * | 2018-11-02 | 2019-03-01 | 广州市百果园信息技术有限公司 | 卷积神经网络的定点运算方法、装置、设备和存储介质 |
| CN109754074A (zh) * | 2018-12-29 | 2019-05-14 | 北京中科寒武纪科技有限公司 | 一种神经网络量化方法、装置以及相关产品 |
| CN111126557A (zh) * | 2018-10-31 | 2020-05-08 | 阿里巴巴集团控股有限公司 | 神经网络量化、应用方法、装置和计算设备 |
| CN111951823A (zh) * | 2020-08-07 | 2020-11-17 | 腾讯科技（深圳）有限公司 | 一种音频处理方法、装置、设备及介质 |
| CN112101518A (zh) * | 2020-08-05 | 2020-12-18 | 华南理工大学 | 一种能模拟任意非线性激活函数的量子*** |
| CN112149797A (zh) * | 2020-08-18 | 2020-12-29 | Oppo（重庆）智能科技有限公司 | 神经网络结构优化方法和装置、电子设备 |
| WO2021017546A1 (zh) * | 2019-07-31 | 2021-02-04 | 中科寒武纪科技股份有限公司 | 神经网络量化方法、装置、芯片、电子设备及板卡 |
| CN112702600A (zh) * | 2020-12-29 | 2021-04-23 | 南京大学 | 一种图像编解码神经网络分层定点化方法 |
| WO2021179587A1 (zh) * | 2020-03-10 | 2021-09-16 | 北京迈格威科技有限公司 | 神经网络模型量化方法、装置、电子设备及计算机可读存储介质 |
| WO2021179281A1 (en) * | 2020-03-13 | 2021-09-16 | Intel Corporation | Optimizing low precision inference models for deployment of deep neural networks |
| CN113593538A (zh) * | 2021-09-02 | 2021-11-02 | 北京声智科技有限公司 | 语音特征的分类方法、相关设备及可读存储介质 |
| US11699073B2 (en) | 2018-12-29 | 2023-07-11 | Cambricon Technologies Corporation Limited | Network off-line model processing method, artificial intelligence processing device and related products |
-
2016
- 2016-03-30 CN CN201610191900.8A patent/CN107292382A/zh active Pending
Cited By (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107909583A (zh) * | 2017-11-08 | 2018-04-13 | 维沃移动通信有限公司 | 一种图像处理方法、装置及终端 |
| CN109165736A (zh) * | 2018-08-08 | 2019-01-08 | 北京字节跳动网络技术有限公司 | 应用于卷积神经网络的信息处理方法和装置 |
| CN109165736B (zh) * | 2018-08-08 | 2023-12-12 | 北京字节跳动网络技术有限公司 | 应用于卷积神经网络的信息处理方法和装置 |
| CN111126557A (zh) * | 2018-10-31 | 2020-05-08 | 阿里巴巴集团控股有限公司 | 神经网络量化、应用方法、装置和计算设备 |
| CN111126557B (zh) * | 2018-10-31 | 2024-03-29 | 阿里巴巴集团控股有限公司 | 神经网络量化、应用方法、装置和计算设备 |
| CN109409514A (zh) * | 2018-11-02 | 2019-03-01 | 广州市百果园信息技术有限公司 | 卷积神经网络的定点运算方法、装置、设备和存储介质 |
| US11669732B2 (en) | 2018-12-29 | 2023-06-06 | Cambricon Technologies Corporation Limited | Neural network quantization method, device and related products |
| CN109754074A (zh) * | 2018-12-29 | 2019-05-14 | 北京中科寒武纪科技有限公司 | 一种神经网络量化方法、装置以及相关产品 |
| US11699073B2 (en) | 2018-12-29 | 2023-07-11 | Cambricon Technologies Corporation Limited | Network off-line model processing method, artificial intelligence processing device and related products |
| WO2021017546A1 (zh) * | 2019-07-31 | 2021-02-04 | 中科寒武纪科技股份有限公司 | 神经网络量化方法、装置、芯片、电子设备及板卡 |
| WO2021179587A1 (zh) * | 2020-03-10 | 2021-09-16 | 北京迈格威科技有限公司 | 神经网络模型量化方法、装置、电子设备及计算机可读存储介质 |
| WO2021179281A1 (en) * | 2020-03-13 | 2021-09-16 | Intel Corporation | Optimizing low precision inference models for deployment of deep neural networks |
| CN112101518A (zh) * | 2020-08-05 | 2020-12-18 | 华南理工大学 | 一种能模拟任意非线性激活函数的量子*** |
| CN111951823A (zh) * | 2020-08-07 | 2020-11-17 | 腾讯科技（深圳）有限公司 | 一种音频处理方法、装置、设备及介质 |
| CN112149797B (zh) * | 2020-08-18 | 2023-01-03 | Oppo（重庆）智能科技有限公司 | 神经网络结构优化方法和装置、电子设备 |
| CN112149797A (zh) * | 2020-08-18 | 2020-12-29 | Oppo（重庆）智能科技有限公司 | 神经网络结构优化方法和装置、电子设备 |
| CN112702600A (zh) * | 2020-12-29 | 2021-04-23 | 南京大学 | 一种图像编解码神经网络分层定点化方法 |
| CN113593538A (zh) * | 2021-09-02 | 2021-11-02 | 北京声智科技有限公司 | 语音特征的分类方法、相关设备及可读存储介质 |
| CN113593538B (zh) * | 2021-09-02 | 2024-05-03 | 北京声智科技有限公司 | 语音特征的分类方法、相关设备及可读存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107292382A (zh) | 一种神经网络声学模型激活函数定点量化方法 | |
| US11928600B2 (en) | Sequence-to-sequence prediction using a neural network model | |
| CN106650813B (zh) | 一种基于深度残差网络和lstm的图像理解方法 | |
| KR102602195B1 (ko) | 트레이닝된 장단기 메모리 신경망 양자화 | |
| CN107679618A (zh) | 一种静态策略定点化训练方法及装置 | |
| CN113196304A (zh) | 用于训练dnn的缩放学习 | |
| Huang et al. | SNDCNN: Self-normalizing deep CNNs with scaled exponential linear units for speech recognition | |
| CN107665248A (zh) | 基于深度学习混合模型的文本分类方法和装置 | |
| Krause et al. | Dynamic evaluation of transformer language models | |
| CN106910497A (zh) | 一种中文词语发音预测方法及装置 | |
| CN115238893B (zh) | 面向自然语言处理的神经网络模型量化方法和装置 | |
| CN110019822B (zh) | 一种少样本关系分类方法及*** | |
| CN110427608A (zh) | 一种引入分层形声特征的中文词向量表示学习方法 | |
| CA3232610A1 (en) | Convolution attention network for multi-label clinical document classification | |
| CN113128206A (zh) | 基于单词重要性加权的问题生成方法 | |
| Dong et al. | Heatvit: Hardware-efficient adaptive token pruning for vision transformers | |
| CN111986730A (zh) | 一种预测siRNA沉默效率的方法 | |
| CN108021544B (zh) | 对实体词的语义关系进行分类的方法、装置和电子设备 | |
| CN102778555B (zh) | 预测变压器油中溶解气体浓度的方法 | |
| CN110569355B (zh) | 一种基于词块的观点目标抽取和目标情感分类联合方法及*** | |
| EP3362951B1 (en) | Neural random access machine | |
| CN111259147A (zh) | 基于自适应注意力机制的句子级情感预测方法及*** | |
| Huai et al. | Latency-constrained DNN architecture learning for edge systems using zerorized batch normalization | |
| CN106503726A (zh) | 一种带标签信息子字典级联学习的电能质量扰动识别方法 | |
| CN114692529B (zh) | 一种cfd高维响应的不确定度量化方法、装置、计算机设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20171024 |
|
| RJ01 | Rejection of invention patent application after publication |