CN107145940B - 压缩的递归神经网络模型 - Google Patents
压缩的递归神经网络模型 Download PDFInfo
- Publication number
- CN107145940B CN107145940B CN201611226122.8A CN201611226122A CN107145940B CN 107145940 B CN107145940 B CN 107145940B CN 201611226122 A CN201611226122 A CN 201611226122A CN 107145940 B CN107145940 B CN 107145940B
- Authority
- CN
- China
- Prior art keywords
- neural network
- data
- gate
- layer
- output
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000000306 recurrent effect Effects 0.000 title claims abstract description 57
- 238000003062 neural network model Methods 0.000 title abstract description 4
- 238000013528 artificial neural network Methods 0.000 claims abstract description 158
- 239000011159 matrix material Substances 0.000 claims abstract description 124
- 239000013598 vector Substances 0.000 claims abstract description 59
- 230000006870 function Effects 0.000 claims abstract description 19
- 238000004590 computer program Methods 0.000 claims abstract description 17
- 230000006403 short-term memory Effects 0.000 claims abstract description 8
- 238000013518 transcription Methods 0.000 claims description 5
- 230000035897 transcription Effects 0.000 claims description 5
- 238000013519 translation Methods 0.000 claims description 5
- 238000000034 method Methods 0.000 abstract description 30
- 230000008569 process Effects 0.000 abstract description 22
- 238000013500 data storage Methods 0.000 abstract description 2
- 230000007787 long-term memory Effects 0.000 abstract 1
- 239000010410 layer Substances 0.000 description 154
- 238000012549 training Methods 0.000 description 19
- 238000012545 processing Methods 0.000 description 15
- 230000006835 compression Effects 0.000 description 12
- 238000007906 compression Methods 0.000 description 12
- 239000011229 interlayer Substances 0.000 description 9
- 230000015654 memory Effects 0.000 description 7
- 230000009471 action Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 6
- 238000004891 communication Methods 0.000 description 5
- 238000006073 displacement reaction Methods 0.000 description 5
- 229920006395 saturated elastomer Polymers 0.000 description 5
- 238000010801 machine learning Methods 0.000 description 3
- 230000003993 interaction Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 238000013515 script Methods 0.000 description 2
- 238000000926 separation method Methods 0.000 description 2
- 230000004913 activation Effects 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 229940050561 matrix product Drugs 0.000 description 1
- 230000002688 persistence Effects 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
- G06N3/0442—Recurrent networks, e.g. Hopfield networks characterised by memory or gating, e.g. long short-term memory [LSTM] or gated recurrent units [GRU]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0495—Quantised networks; Sparse networks; Compressed networks
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/06—Creation of reference templates; Training of speech recognition systems, e.g. adaptation to the characteristics of the speaker's voice
- G10L15/063—Training
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computational Linguistics (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Biophysics (AREA)
- Mathematical Physics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Machine Translation (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了压缩的递归神经网络模型。本发明提供用于利用压缩选通函数来实施长短期记忆层的方法、***、和装置,包括在计算机存储介质上编码的计算机程序。***之一包括第一LSTM层,该第一LSTM层具有门,门被配置成针对多个时间步长中的每个时间步长,通过使门输入矢量乘以门参数矩阵来生成相应的中间门输出矢量。门中的至少一个门的门参数矩阵是结构化矩阵或者由压缩的参数矩阵和投影矩阵定义。通过将压缩的LSTM层包括在递归神经网络中,递归神经网络被配置成能够更有效地处理数据并且使用更少的数据存储。具有压缩的LSTM层的递归神经网络可以被有效地训练以实现可比得上全尺寸的(例如,未压缩的)递归神经网络的误字率。
Description
技术领域
本申请涉及压缩的递归神经网络模型。
背景技术
本说明书涉及神经网络架构和压缩的神经网络。
神经网络是采用一个或多个层的非线性单元来针对所接收的输入预测输出的机器学习模型。除了输出层之外,一些神经网络还包括一个或多个隐藏层(hidden layer)。每个隐藏层的输出用作对网络中的下一层的输入,即,下一隐藏层或者输出层。网络的每一层根据相应的参数集合的当前值来从所接收的输入生成输出。例如针对时间序列问题或者序列到序列学习而设计的那些神经网络(递归神经网络(RNN))的一些神经网络包含递归环路,该递归环路允许存储器以隐藏状态变量的形式保留在数据输入之间的层内。RNN的变型,长短期记忆(LSTM)神经网络,包括用于控制在数据输入之间的数据持久性的每个层内多个门(gate)。一些神经网络(例如,针对时间序列问题或者序列到序列学习而设计的那些神经网络)包含递归环路,该递归环路允许存储器以隐藏状态变量的形式保留在数据输入之间的层内。
发明内容
本说明书描述了涉及递归神经网络架构的技术。一般而言,递归神经网络包括被压缩的至少一个长短期记忆(LSTM)层。LSTM层具有至少一个门,该至少一个门具有压缩的参数矩阵。可以通过用类托普利兹结构化矩阵代替在LSTM层中的门参数矩阵中的一个或多个,或者通过用压缩的参数矩阵和投影矩阵重新定义门参数矩阵,来对LSTM层进行压缩。可选地,可以通过用类托普利兹结构化矩阵代替在LSTM层中的门参数矩阵中的一个来对一个LSTM层进行压缩,并且可以通过用压缩的参数矩阵和投影矩阵,重新定义门参数矩阵,来代替在另一LSTM层中的门参数矩阵中的一个,来对另一LSTM层进行压缩。
对于待配置为执行特定操作或者动作的一个或多个计算机的***,意味着该***在其上安装有在运行时使该***执行该操作或者动作的软件、固件、硬件、或者其组合。对于待配置为执行特定操作或者动作的一个或多个计算机程序,意味着该一个或多个程序包括指令,该指令在由数据处理装置执行时使该装置执行该操作或者动作。
可以将本说明书中描述的主题实现为具体实施例,从而实现以下优点中的一个或多个。可以通过将压缩的LSTM层包括在递归神经网络中来提高递归神经网络的性能。具体地,通过将压缩的LSTM层包括在递归神经网络中,递归神经网络被配置为能够更有效地处理数据并且使用更少的数据存储。具有压缩的LSTM层的递归神经网络可以被有效地训练为实现可比得上全尺寸的(例如,未压缩的)递归神经网络的误字率。
在附图和以下描述中陈述了本说明书中描述的主题的一个或多个实施例的细节。本主题的其它特征、方面和优点通过说明书、附图和权利要求书将变得显而易见。
附图说明
图1示出了示例神经网络***。
图2A和图2B示出了示例性结构化矩阵。
图3是用于对当前层输入进行处理以生成下一层输出的示例性过程的流程图。
图4是用于将门应用于门输入矢量以生成门输出矢量的示例性过程的流程图。
图5是用于对包括饱和LSTM层的递归神经网络进行训练的示例性过程的流程图。
在各个附图中,相同的附图标记和标志指示相同的元件。
具体实施方式
图1示出了示例性神经网络***100。该神经网络***100是实现为在一个或多个位置中的一个或多个计算机上的计算机程序的***的示例,其中实现下面描述的***、组件和技术。
神经网络***100是一种机器学习***,该机器学习***在多个时间步长中的每个时间步长处接收相应的神经网络输入,并且生成在时间步长中的每个时间步长处的相应的神经网络输出。即,在多个时间步长中的每个时间步长处,神经网络***100接收神经网络输入,并且对神经网络输入进行处理以生成神经网络输出。例如,在给定时间步长处,神经网络***100可以接收神经网络输入102,并且生成神经网络输出132。
神经网络***100可以将所生成的神经网络输出存储在输出数据存储库中,或者提供神经网络输出以用于一些其它直接目的。
神经网络***100可以被配置为接收任何种类的数字数据输入,并且基于该输入来生成任何种类的分数或者分类输出。
例如,如果对神经网络***100的输入是图像或者已经从图像提取到的特征,则由神经网络***100针对给定图像生成的输出可以是对象类别集合中的每一个的分数,其中,每个分数表示图像包含属于该类别的对象的图像的估计的可能性。
作为另一示例,如果对神经网络***100的输入是互联网资源(例如,web页面)、文档、或者文档的一部分、或者从互联网资源、文档、或者文档的一部分提取到的特征,则由神经网络***100针对给定互联网资源、文档、或者文档的一部分所生成的输出可以是话题集合中的每一个的分数,其中,每个分数表示互联网资源、文档、或者文档的一部分与该话题有关的估计的可能性。
作为另一示例,如果对神经网络***100的输入是对用户的个性化推荐的特征,例如,表征推荐的上下文的特征,例如,表征用户所采取的先前动作的特征,则由神经网络***100生成的输出可以是内容项集合中的每一个的分数,其中,每个分数表示用户将积极响应被推荐内容项的估计的可能性。在这些示例中的一些中,神经网络***100是将内容推荐提供给用户的增强式学习***的一部分。
作为另一示例,如果对神经网络***100的输入是一种语言的文本,则由神经网络***100生成的输出可以是另一语言的文本段集合中的每个文本段的分数,其中,每个分数表示该另一语言的文本段是输入文本成为该另一语言的适当翻译的估计的可能性。
作为另一示例,如果对神经网络***100的输入是说出的语句的特征,则由神经网络***100生成的输出可以是文本段集合中的每个文本段的分数,每个分数表示该文本段是对语句的正确转录的估计的可能性。
作为另一示例,如果对神经网络***100的输入是图像,则由神经网络***100生成的输出可以是文本段集合中的每个文本段的分数,每个分数表示该文本段是存在于输入图像中的文本的估计的可能性。
具体地,神经网络***100包括递归神经网络110,该递归神经网络110进而包括压缩的长短期记忆(LSTM)层120。递归神经网络110被配置成,在时间步长中的每个时间步长处接收神经网络输入,并且对该神经网络输入进行处理以生成在该时间步长处的神经网络输出。
除了压缩的LSTM层120之外,递归神经网络110还可以包括一个或多个其它组件,例如,其它压缩的LSTM层、传统LSTM层、其它递归神经网络层、其它非递归神经网络层等。
例如,递归神经网络100可以是深度LSTM网络,该深度LSTM网络包括输入层、彼此上下布置在有序堆叠中的包括压缩的LSTM层120的多个LSTM层、以及输出层,该输出层在每个时间步长处接收来自在该堆叠中的最高LSTM层的层输出,并且可选地接收来自在该堆叠中的其它LSTM层的层输出,并且对该层输出进行处理以生成在该时间步长处的神经网络输出132。
压缩的LSTM层120被配置成,在时间步长中的每个时间步长处接收当前层输入122,并且对当前层输入122、当前层状态和当前层输出进行处理,以生成新的层输出126并且对当前层状态进行更新以生成新的层状态124。
根据递归神经网络110的配置,当前层输入122可以是神经网络输入102或者由递归神经网络110的不同组件生成的输出。
另外,针对在第一步长之后的每个时间步长,当前层状态是在前一个时间步长处生成的新的层状态,并且当前层输出是来自前一个时间步长的新的层输出。针对第一时间步长,当前层状态可以是预定初始层状态,并且当前层输出可以是预定初始层输出。
根据递归神经网络110的配置,新的层输出126可以被提供作为对在递归神经网络110中的另一LSTM层的输入,作为对不同类型的神经网络组件(例如,对输出层或者不同类型的神经网络层)的输入,或者可以被提供作为递归神经网络110的神经网络输出132。
具体地,压缩的LSTM层120将多个门应用于当前层输入122、当前层状态和当前层输出,以生成新的层输出126并且对当前层状态进行更新以生成新的层状态124,其中,门中的至少一个包括压缩的权重矩阵。例如,可以通过用结构化矩阵(“结构化矩阵压缩”)代替在层中的门参数矩阵中的一个或多个,或者通过用压缩的参数矩阵和投影矩阵(“投影压缩”)重新定义门参数矩阵,来对层堆叠中的至少一个层进行压缩。门可以包括但不限于,例如,输入门、遗忘门(forget gate)、元胞状态门(cell state gate)、或者输出门。另外,每个门可以包括层间参数矩阵和递归参数矩阵两者。
结构化矩阵是可以用少于mn个参数来描述的m×n矩阵。图2A示出了结构化矩阵的示例。例如,结构化矩阵包括以下一般类别:托普利兹(Toeplitz)矩阵200、范蒙德(Vandermonde)矩阵202和柯西(Cauchy)矩阵204。具体地,托普利兹矩阵200是参数沿对角线关联的矩阵。即,托普利兹矩阵200沿其对角线中的每个对角线具有常数值。当相同的属性适用于反对角线时,矩阵200被称为汉克尔矩阵。范蒙德矩阵202是通过对在矩阵的第二列中的条目的元素求幂来定义第3列到第n列中的矩阵条目的矩阵。类似地,柯西矩阵204是可以完全由两个矢量(U和V)定义的矩阵。柯西矩阵204的每个元素aij由表示。
使用这种结构化矩阵来表示在压缩的LSTM层中的门矩阵可以降低对LSTM网络的记忆要求,因为这种结构化矩阵可以用少于mn个参数来完全描述。另外,结构化矩阵可以加快对LSTM网络的训练和处理,因为该结构化矩阵允许更快地执行矩阵矢积和梯度计算。
可以将上述一般类别的结构化矩阵修改为用于在压缩的LSTM层120中使用的类结构化矩阵。例如,类托普利兹矩阵是对托普利兹矩阵的推广(generalization),该推广包括托普利兹矩阵的乘积矩阵和逆矩阵、及其线性组合。如图2B所示,可以将类托普利兹矩阵参数化,作为r循环(circulant)矩阵和反循环(skew-circulant)矩阵的乘积之和。
再次参照图1,为了方便起见,将使用类托普利兹矩阵为例来讨论在递归神经网络110的压缩的LSTM层120中使用结构化矩阵。可以使用位移秩(即,相加的乘积的数量,如图2B的循环矩阵和反循环矩阵之和所示)来控制类托普利兹矩阵的复杂性。低位移秩与高度结构化矩阵(诸如,循环矩阵和托普利兹矩阵及其逆矩阵)对应。高位移秩可以用于对渐增的非结构化矩阵进行建模。在某些示例中,位移秩可以用于控制压缩方案的计算复杂性、存储要求和建模能力。在某些示例中,可以基于应用要求来调整位移秩。
在某些实施方式中,针对在特定压缩的LSTM层120中的所有门,将类托普利兹矩阵结构应用于递归和层间参数矩阵。在某些实施方式中,将类托普利兹矩阵结构应用于在层堆叠中的低阶的层(例如,层1和层2)。
在用于递归神经网络层的投影压缩模型中,通过用大小为m×r的压缩的递归参数矩阵和r×n的投影矩阵代替特定层(例如,层l)中的大小为m×n的未压缩的递归参数矩阵,来产生压缩的LSTM层120。另外,用大小为m×r的压缩的层间矩阵和相同的投影矩阵代替下一高阶LSTM层(例如,层l+1)中的大小同样为m×n的对应层间参数矩阵。此外,压缩的递归和层间矩阵以及投影矩阵的相应秩比对应的递归和层间参数矩阵的秩小。低秩投影矩阵在两个对应的层之间共享。可以将投影压缩模型应用于一个或多个不同的门。在某些实施方式中,将投影压缩模型应用于在层堆叠中的高阶层(例如,层2-层N)。
在某些实施方式中,可以使用结构化矩阵(或者类结构化矩阵)来对层或者层集合进行压缩,并且可以使用投影矩阵来对层或者层集合进行压缩。例如,可以通过用类托普利兹矩阵代替门参数矩阵来对递归神经网络110的低阶层或者层集合(例如,层1和层2)进行压缩,并且可以通过使用投影矩阵来对高阶层或者层集合(例如,层2-层N)进行压缩。
在某些实施方式中,上述压缩技术可以导致用于LSTM神经网络的参数的至少75%的减少。在某些实施方式中,在***是语音识别模型的情况下,上述压缩技术可以导致在将误字率保持在***的未压缩版本的误字率(WER)的0.3%内的同时,LSTM神经网络压缩的至少75%的减少。在某些示例中,上述压缩技术可以导致使LSTM神经网络的压缩的范围为75%-83%,对应WER范围为0.3%-2.3%。
为了将递归神经网络110配置成生成神经网络输出,神经网络***100对递归神经网络110进行训练以确定递归神经网络110的参数的训练值,包括确定饱和LSTM层120的参数的训练值。下面参照图5更详细地描述了对递归神经网络进行训练。
图3是用于对当前层输入进行处理以生成下一层输出的示例性过程300的流程图。为了方便起见,将过程300描述为由饱和LSTM层执行,该饱和LSTM层由位于一个或多个位置的一个或多个计算机的***来实施。例如,根据本说明书被适当地编程的在神经网络***中的饱和LSTM层(例如,图1的神经网络***100的压缩的LSTM层120)可以执行过程300。
LSTM层将遗忘门应用于门输入矢量,以生成遗忘门输出矢量(步骤302)。下面将参照图4更详细地描述将门应用于门输入矢量。
在某些实施方式中,LSTM层通过将当前层输入和当前层输出进行连结(concatenate)来生成门输入矢量。在某些其它实施方式中,LSTM层是窥视孔LSTM层,该窥视孔LSTM层通过将当前层输入、当前层输出和当前层状态连结来生成门输入矢量。
LSTM层将输入门应用于门输入矢量,以生成输入门输出矢量(步骤304)。下面将参照图4更详细地描述将门应用于门输入矢量。在某些实施方式中,输入门包括结构化参数矩阵,例如,类托普利兹结构化参数矩阵。在某些实施方式中,输入门包括压缩的递归或者层间矩阵以及对应的投影矩阵。
在某些实施方式中,代替于应用输入门以用于生成输入门输出矢量之外,***还将遗忘门输出矢量用作输入门输出矢量。即,在某些实施方式中,输入门与遗忘门相同。
LSTM层将输出门应用于门输入矢量,以生成输出门输出矢量(步骤306)。下面将参照图4更详细地描述将门应用于门输入矢量。在某些实施方式中,输出门包括结构化参数矩阵,例如,类托普利兹结构化参数矩阵。在某些实施方式中,输出门包括压缩的递归或者层间矩阵以及对应的投影矩阵。
LSTM层从当前层输入和当前层输出生成中间元胞状态更新矢量(步骤308)。具体地,LSTM层通过使用具有作为挤压函数的激活函数的神经网络层来对当前层输入和当前层输出进行处理,以生成中间元胞状态更新矢量。
通常,挤压函数是将接收到的输入映射到范围-1至1(不包括-1和1)的函数。例如,挤压函数可以是双曲正切函数。
LSTM层将中间元胞状态更新矢量和输入门输出矢量进行组合,以生成最终元胞状态更新矢量(步骤310)。具体地,LSTM层计算在中间元胞状态更新矢量与输入门输出矢量之间的逐点乘法,以生成最终元胞状态更新矢量。
LSTM层将当前元胞状态和遗忘门输出矢量进行组合,以生成中间新的元胞状态(步骤312)。具体地,LSTM层计算在当前元胞状态和遗忘输出矢量之间的逐点乘法,以生成中间新的元胞状态。在某些实施方式中,遗忘门包括结构化参数矩阵,例如,类托普利兹结构化参数矩阵。在某些实施方式中,遗忘门包括压缩的递归或者层间矩阵以及对应的投影矩阵。
LSTM层将中间新的元胞状态和最终元胞状态更新矢量进行组合(例如,求和),以生成最终新的元胞状态(步骤314)。
LSTM层从最终新的元胞状态生成新的层输出(步骤316)。为了生成新的层输出,LSTM层将挤压函数应用于最终新的元胞状态的每个分量,以生成中间新的层输出。
LSTM层然后将输出门输出矢量和中间新的层输出进行组合,以生成新的层输出。具体地,LSTM层在输出门输出矢量与中间新的层输出之间执行逐点乘法,以生成新的层输出。
除了使用最终新的层状态来生成新的层输出之外,LSTM层维持最终新的元胞状态连同新的层输出,在供在后续时间步长使用。
图4是用于将门应用于门输入矢量以生成门输出矢量的示例性过程400的流程图。为了方便起见,将过程400描述为由饱和LSTM层执行,该饱和LSTM层由位于一个或多个位置的一个或多个计算机的***来实施。例如,根据本说明书被适当地编程的在神经网络***中的压缩的LSTM层(例如,图1的神经网络***100的压缩的LSTM层120)可以执行过程400。
LSTM层确定门输入矢量(步骤402)。
LSTM层根据参数集从门输入矢量生成相应的中间门输出矢量(步骤404)。在某些实施方式中,LSTM层在参数矩阵与门输入矢量之间执行矩阵乘法,并且然后向矩阵乘法的输出添加偏置矢量以生成中间门输出矢量,其中,门中的每个门具有不同的参数矩阵和偏置矢量。即,在LSTM层具有不同的输入门、遗忘门和输出门的实施方式中,这些门中的每个门将具有彼此不同的参数矩阵和偏置矢量。
LSTM层将选通函数应用于相应的中间门输出矢量的每个分量,以生成最终门输出矢量(步骤406)。
通常,选通函数是将接收到的输入映射到范围0至1(不包括0和1)的函数。例如,选通函数可以是S型函数。
然而,针对LSTM层的门中的至少一个门,步骤404中所提及的参数矩阵是压缩的参数矩阵。用压缩的参数矩阵代替未压缩的参数矩阵。LSTM层然后在压缩的参数矩阵与门输入矢量之间执行矩阵乘法。例如,压缩的矩阵可以替代输入门、遗忘门、元胞状态、或者输出门中的任何一个中的参数矩阵。在某些实施方式中,将压缩的参数矩阵应用于在LSTM层中的多个门。例如,可以将压缩的参数矩阵应用于输入门和输出门两者。作为另一示例,可以将压缩的参数矩阵应用于输入门、输出门和遗忘门。
在某些实施方式中,压缩参数矩阵是类结构化矩阵,例如,类托普利兹结构化矩阵。在某些实施方式中,用压缩的参数矩阵和对应的投影矩阵来重新定义未压缩的门参数。
图5是用于对包括压缩的LSTM层的递归神经网络进行训练的示例性过程500的流程图。为了方便起见,将过程500描述为由位于一个或多个位置的一个或多个计算机的***来执行。例如,根据本说明书被适当地编程的神经网络***(例如,图1的神经网络***100)可以执行过程500。
***获取用于对递归神经网络进行训练的训练数据(步骤502)。该训练数据包括多个训练示例对,其中,每个训练示例对包括训练神经网络输入和该训练神经网络输入的目标神经网络输出。
***在训练数据上对递归神经网络进行训练,以通过使目标函数最优化(即,最大化或者最小化),从参数的初始值确定递归神经网络的参数的训练值(步骤504)。在训练期间,***对压缩的矩阵的值赋予约束条件,从而使其继续满足对压缩的矩阵的要求。例如,针对类托普利兹结构化矩阵,***可以赋予约束条件,从而使每个压缩的矩阵的条目总是类托普利兹的,或者,针对投影模型压缩的矩阵,***可以调节投影矩阵和压缩的参数矩阵的值,而不是直接调节参数矩阵的值。
***通过传统机器学习训练技术(例如,具有随着时间反向传播的随机梯度下降训练技术)使目标函数最优化,来对递归神经网络进行训练。即,***可以执行训练技术的多次迭代,以通过调节递归神经网络的参数的值来对目标函数进行优化。
可以在数字电子电路***中、在有形地体现的计算机软件或者固件中、在包括本说明书中公开的结构及其结构等同物的计算机硬件中、或者在它们中的一个或多个的组合中,实施本说明书中描述的主题和功能操作的实施例。可以将本说明书中描述的主题的实施例实施为一个或多个计算机程序,即,编码在有形非瞬时程序载体上的由数据处理设备执行或者控制该数据处理设备的操作的计算机程序指令的一个或多个模块。替选地或附加地,程序指令可以编码在人工生成的为了对用于传输对合适的接收器设备供数据处理设备执行的信息进行编码而生成的传播信号(例如,机器生成的电气、光学或者电磁信号)上。计算机存储介质可以是机器可读存储设备、机器可读存储基板、随机或者串行存取存储器设备、或者它们中的一个或多个的组合。
术语“数据处理设备”指数据处理硬件,并且涵盖用于处理数据的各种装置、设备和机器,包括例如可编程处理器、计算机、或者多个处理器或者计算机。所述装置还可以是或者进一步包括专用逻辑电路***,例如,FPGA(现场可编程门阵列)或者ASIC(专用集成电路)。除了硬件之外,所述装置可以可选地包括为计算机程序创建执行环境的代码,例如,构成处理器固件、协议栈、数据库管理***、操作***、或者它们中的一个或多个的组合的代码。
可以用任何形式的编程语言(包括编译语言或者解译语言、陈述性语言或者程序语言)来编写计算机程序(也称为程序、软件、软件应用、模块、软件模块、脚本或者代码),并且可以以任何形式(包括独立程序或者模块、组件、子例程、或者适合用于计算环境的其它单元)来部署该计算机程序。计算机程序可以但并非必须与文件***中的文件对应。可以将程序存储在保持其它程序或者数据(例如,存储在标记语言文档中的一个或多个脚本)的文件的一部分中,或者存储在专用于所探讨的程序的单个文件中,或者存储在多个协作文件(例如,存储一个或多个模块、子程序、或者部分代码的多个文件)中。可以将计算机程序部署为在一个计算机上执行或者在位于一个站点处或者跨越多个站点分布并且通过通信网络互相连接的多个计算机上执行。
本说明书中所描述的过程和逻辑流可以由一个或多个可编程计算机执行,该一个或多个可编程计算机执行一个或多个计算机程序以通过操作输入数据和生成输出来执行功能。也可以由专用逻辑电路***(例如,FPGA(现场可编程门阵列)或者ASIC(专用集成电路))执行过程和逻辑流程,并且也可以将所述装置实施为FPGA或者ASIC。
适合计算机程序的执行的计算机包括例如可以是基于通用微处理器或者专用微处理器或者两者、或者任何其它种类的中央处理单元。一般来说,中央处理单元接收来自只读存储器或者随机存取存储器或者两者的指令和数据。计算机的关键元件是用于实现或者执行指令的中央处理单元和用于存储指令和数据的一个或多个存储器。一般而言,计算机还将包括用于存储数据的一个或多个海量存储设备(例如,磁盘、磁光盘、或者光盘),或者计算机可以操作地耦合到海量存储设备以接收来自海量存储设备的数据或者将数据传输到该海量存储设备或者两者。然而,计算机无需具有这种设备。此外,计算机可以嵌入在另一设备中,例如,移动电话、个人数字助理(PDA)、移动音频或者视频播放器、游戏机、全球定位***(GPS)接收器、或者便携式存储设备(例如,通用串行总线(USB)闪存驱动),仅举几例。
适合于存储计算机程序指令和数据的计算机可读介质包括所有形式的非易失性存储器、介质和存储器设备,包括例如半导体存储器设备(例如,EPROM、EEPROM和闪速存储器设备)、磁盘(例如,内部硬盘或者可移动盘)、磁光盘、CD-ROM盘和DVD-ROM盘。处理器和存储器可以由专用逻辑电路***补充或者可以并入专用逻辑电路***中。
为了提供与用户的交互,可以在具有显示设备以及键盘和指点设备的计算机上实施本说明书中所描述的主题的实施例,显示设备用于向用户显示信息,例如,CRT(阴极射线管)或者LCD(液晶显示器)监视器;以及键盘和指点设备例如鼠标或者轨迹球,用户可以通过键盘和指点设备来将输入提供给计算机。其它种类的设备也可以用于提供与用户的交互;例如,提供给用户的反馈可以是任何形式的传感反馈,例如,视觉反馈、听觉反馈或者触觉反馈;并且可以用任何形式来接收来自用户的输入(包括声输入、语音输入或者触觉输入)。另外,计算机可以通过将文档发送到由用户所使用的设备并且接收来自该设备的文档(例如,通过响应于从web浏览器接收到的请求来将web页面发送对在用户的客户端上的web浏览器)来与用户交互。
可以在计算***中实施本说明书中所描述的主题的实施例,所述计算***包括后台组件(例如,数据服务器),或者包括中间件组件(例如,应用服务器),或者包括前端组件(例如,具有关系图形用户界面或者web浏览器的客户端计算机,用户可以通过所述关系图形用户界面或者所述web浏览器来与本发明中所描述的主题的实施方式交互),或者包括这样的后台组件、中间件组件或者前端组件中的一个或多个的任何组合。可以通过任何形式或者介质的数字数据通信(例如,通信网络)来将***的部件相互连接。通信网络的示例包括局域网(“LAN”)和广域网(“WAN”),例如,互联网。
计算***可以包括客户端和服务器。客户端和服务器通常彼此远离并且典型地通过通信网络交互。客户端和服务器的关系借助在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序而产生。
虽然本说明书包含了许多具体实施细节,但是不应所述将这些细节视为对任何发明或者可能被要求保护的内容的范围的限制,而是作为针对特定发明的特定实施例的特有特征的描述。在本说明书中在单独实施例的上下文中描述的某些特征也可以组合地实施在单个实施例中。相反,在单个实施例的上下文中描述的各种特征也可以单独地或者按照任何合适的子组合实施在多个实施例中。此外,虽然上面可能将特征描述为以某些组合来起作用并且甚至最初同样地对该特征这样要求,但是在一些情况下可以从组合中删除来自所要求保护的组合的一个或多个特征,并且所要求保护的组合可以涉及子组合或者子组合的变形。
同样,虽然在附图中按照特定次序示出了操作,但是不应该将其理解为需要按照所示的特定次序或者按照顺序次序来执行这种操作,或者需要执行所有图示的操作,以实现期望的结果。在某些情况下,多任务处理和并行处理可以是有利的。此外,不应将在上述实施例中的各种***模块和组件的分离理解为在所有实施例中需要这种分离,并且应理解,所描述的程序部件和***通常可以一起集成在单个软件产品中或者封装到多个软件产品中。
已经描述了本主题的具体实施例。其它实施例在随附权利要求书的范围内。例如,在权利要求书中所记述的动作可以按照不同的次序执行并且仍然可以实现期望结果。作为一个示例,在附图中所示的过程不一定需要所示的特定次序或者顺序次序来完成期望结果。在某些实施方式中,多任务处理和并行处理可能是有利的。
Claims (17)
1.一种神经网络***,所述神经网络***被配置为接收图像数据、互联网资源数据、文件数据、个性化用户推荐数据、文本数据或说出的语句数据作为输入,并且生成对应的图像数据、互联网资源数据、文件数据、个性化用户推荐数据、文本数据或说出的语句数据作为输出,所述神经网络***包括:
递归神经网络,所述递归神经网络由一个或多个计算机实现,其中,所述递归神经网络被配置成在多个时间步长中的每个时间步长处接收相应的神经网络输入,并且生成在所述多个时间步长中的每个时间步长处的相应的神经网络输出,所述相应的神经网络输入是图像数据、互联网资源数据、文件数据、个性化用户推荐数据、文本数据或说出的语句数据,并且所述相应的神经网络输出是图像属于特定对象类别的可能性分数、互联网资源是关于特定话题的可能性分数、文件是关于特定话题的可能性分数、个性化用户推荐由用户响应的可能性分数、目标语言的文本段是源语言的文本段的适当翻译的可能性分数、或文本段是说出的语句的正确转录的可能性分数,并且其中,所述递归神经网络包括:
第一长短期记忆(LSTM)层,其中,所述第一LSTM层被配置成,针对所述多个时间步长中的每个时间步长,通过将多个门应用于当前层输入、当前层状态和当前层输出来生成新的层状态和新的层输出,所述多个门中的每个门被配置成,针对所述多个时间步长中的每个时间步长,通过使门输入矢量乘以门参数矩阵来生成相应的中间门输出矢量,并且
其中,所述多个门中的至少一个门的所述门参数矩阵是类托普利兹结构化矩阵。
2.根据权利要求1所述的神经网络***,其中,所述递归神经网络包括第二LSTM层,其中,所述第二LSTM层被配置成,针对所述多个时间步长中的每个时间步长,通过将第二多个门应用于第二当前层输入、第二当前层状态和第二当前层输出来生成第二新的层状态和第二新的层输出,所述第二多个门中的每个门被配置成,针对所述多个时间步长中的每个时间步长,通过使第二门输入矢量乘以第二门参数矩阵来生成相应的第二中间门输出矢量,并且
其中,所述第二多个门中的至少一个门的所述门参数矩阵由压缩的参数矩阵和投影矩阵定义。
3.根据权利要求2所述的神经网络***,其中,所述第一LSTM层和所述第二LSTM层中的每一个是在层的有序堆叠中的多个LSTM层中的一个。
4.根据权利要求3所述的神经网络***,其中,所述第一LSTM层在所述堆叠中比所述第二LSTM层低。
5.根据权利要求1-4中任一项所述的神经网络***,其中,所述多个门中的每个门被配置成,针对所述多个时间步长中的每个时间步长,将相应的选通函数应用于所述相应的中间门输出矢量的每个分量,以生成相应的最终门输出矢量。
6.根据权利要求1-4中任一项所述的神经网络***,其中,所述神经网络是声学模型。
7.根据权利要求1-4中任一项所述的神经网络***,其中,所述神经网络是语音识别模型。
8.根据权利要求1-4中任一项所述的神经网络***,其中,所述神经网络被压缩了所述神经网络的未压缩版本的至少75%。
9.根据权利要求1-4中任一项所述的神经网络***,其中,所述神经网络的误字率在所述神经网络的未压缩版本的误字率的0.3%内。
10.一种神经网络***,所述神经网络***被配置为接收图像数据、互联网资源数据、文件数据、个性化用户推荐数据、文本数据或说出的语句数据作为输入,并且生成对应的图像数据、互联网资源数据、文件数据、个性化用户推荐数据、文本数据或说出的语句数据作为输出,所述神经网络***包括:
递归神经网络,所述递归神经网络由一个或多个计算机实现,其中,所述递归神经网络被配置成在多个时间步长中的每个时间步长处接收相应的神经网络输入,并且生成在所述多个时间步长中的每个时间步长处的相应的神经网络输出,所述相应的神经网络输入是图像数据、互联网资源数据、文件数据、个性化用户推荐数据、文本数据或说出的语句数据,并且所述相应的神经网络输出是图像属于特定对象类别的可能性分数、互联网资源是关于特定话题的可能性分数、文件是关于特定话题的可能性分数、个性化用户推荐由用户响应的可能性分数、目标语言的文本段是源语言的文本段的适当翻译的可能性分数、或文本段是说出的语句的正确转录的可能性分数,并且其中,所述递归神经网络包括:
第一长短期记忆(LSTM)层,其中,所述第一LSTM层被配置成,针对所述多个时间步长中的每个时间步长,通过将多个门应用于当前层输入、当前层状态和当前层输出来生成新的层状态和新的层输出,所述多个门中的每个门被配置成,针对所述多个时间步长中的每个时间步长,通过使门输入矢量乘以门参数矩阵来生成相应的中间门输出矢量,并且
其中,所述多个门中的至少一个门的所述门参数矩阵由压缩的参数矩阵和投影矩阵定义。
11.根据权利要求10所述的神经网络***,其中,所述多个门中的每个门被配置成,针对所述多个时间步长中的每个时间步长,将相应的选通函数应用于所述相应的中间门输出矢量的每个分量,以生成相应的最终门输出矢量。
12.根据权利要求10所述的神经网络***,其中,所述神经网络是声学模型。
13.根据权利要求10所述的神经网络***,其中,所述神经网络是语音识别模型。
14.根据权利要求10所述的神经网络***,其中,所述神经网络被压缩了所述神经网络的未压缩版本的至少75%。
15.根据权利要求10所述的神经网络***,其中,所述神经网络的误字率在所述神经网络的未压缩版本的误字率的0.3%内。
16.编码有计算机程序产品的一个或多个非瞬时计算机存储介质,所述计算机程序产品包括指令,所述指令在由神经网络***的一个或多个计算机执行时使所述一个或多个计算机执行实现递归神经网络的操作,所述神经网络***被配置为接收图像数据、互联网资源数据、文件数据、个性化用户推荐数据、文本数据或说出的语句数据作为输入,并且生成对应的图像数据、互联网资源数据、文件数据、个性化用户推荐数据、文本数据或说出的语句数据作为输出,所述递归神经网络被配置成在多个时间步长中的每个时间步长处接收相应的神经网络输入,并且生成在所述多个时间步长中的每个时间步长处的相应的神经网络输出,所述相应的神经网络输入是图像数据、互联网资源数据、文件数据、个性化用户推荐数据、文本数据或说出的语句数据,并且所述相应的神经网络输出是图像属于特定对象类别的可能性分数、互联网资源是关于特定话题的可能性分数、文件是关于特定话题的可能性分数、个性化用户推荐由用户响应的可能性分数、目标语言的文本段是源语言的文本段的适当翻译的可能性分数、或文本段是说出的语句的正确转录的可能性分数,并且其中,所述递归神经网络包括:
第一长短期记忆(LSTM)层,其中,所述第一LSTM层被配置成,针对所述多个时间步长中的每个时间步长,通过将多个门应用于当前层输入、当前层状态和当前层输出来生成新的层状态和新的层输出,所述多个门中的每个门被配置成,针对所述多个时间步长中的每个时间步长,通过使门输入矢量乘以门参数矩阵来生成相应的中间门输出矢量,并且
其中,所述多个门中的至少一个门的所述门参数矩阵是类托普利兹结构化矩阵。
17.编码有计算机程序产品的一个或多个非瞬时计算机存储介质,所述计算机程序产品包括指令,所述指令在由神经网络***的一个或多个计算机执行时使所述一个或多个计算机执行实现递归神经网络的操作,所述神经网络***被配置为接收图像数据、互联网资源数据、文件数据、个性化用户推荐数据、文本数据或说出的语句数据作为输入,并且生成对应的图像数据、互联网资源数据、文件数据、个性化用户推荐数据、文本数据或说出的语句数据作为输出,所述递归神经网络被配置成在多个时间步长中的每个时间步长处接收相应的神经网络输入,并且生成在所述多个时间步长中的每个时间步长处的相应的神经网络输出,所述相应的神经网络输入是图像数据、互联网资源数据、文件数据、个性化用户推荐数据、文本数据或说出的语句数据,并且所述相应的神经网络输出是图像属于特定对象类别的可能性分数、互联网资源是关于特定话题的可能性分数、文件是关于特定话题的可能性分数、个性化用户推荐由用户响应的可能性分数、目标语言的文本段是源语言的文本段的适当翻译的可能性分数、或文本段是说出的语句的正确转录的可能性分数,并且其中,所述递归神经网络包括:
第一长短期记忆(LSTM)层,其中,所述第一LSTM层被配置成,针对所述多个时间步长中的每个时间步长,通过将多个门应用于当前层输入、当前层状态和当前层输出来生成新的层状态和新的层输出,所述多个门中的每个门被配置成,针对所述多个时间步长中的每个时间步长,通过使门输入矢量乘以门参数矩阵来生成相应的中间门输出矢量,并且
其中,所述多个门中的至少一个门的所述门参数矩阵由压缩的参数矩阵和投影矩阵定义。
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201662301734P | 2016-03-01 | 2016-03-01 | |
US62/301,734 | 2016-03-01 | ||
US15/172,457 US10515307B2 (en) | 2015-06-05 | 2016-06-03 | Compressed recurrent neural network models |
US15/172,457 | 2016-06-03 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN107145940A CN107145940A (zh) | 2017-09-08 |
CN107145940B true CN107145940B (zh) | 2021-02-12 |
Family
ID=59522158
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201611226122.8A Active CN107145940B (zh) | 2016-03-01 | 2016-12-27 | 压缩的递归神经网络模型 |
Country Status (7)
Country | Link |
---|---|
US (2) | US10515307B2 (zh) |
EP (2) | EP3955168B1 (zh) |
JP (1) | JP6666457B2 (zh) |
KR (1) | KR102177232B1 (zh) |
CN (1) | CN107145940B (zh) |
DE (2) | DE102016125838A1 (zh) |
WO (1) | WO2017151203A1 (zh) |
Families Citing this family (52)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10083169B1 (en) * | 2015-08-28 | 2018-09-25 | Google Llc | Topic-based sequence modeling neural networks |
US10380481B2 (en) * | 2015-10-08 | 2019-08-13 | Via Alliance Semiconductor Co., Ltd. | Neural network unit that performs concurrent LSTM cell calculations |
US10521715B1 (en) | 2016-01-15 | 2019-12-31 | Google Llc | Long short-term memory cells with saturating gating functions |
EP3374932B1 (en) * | 2016-02-03 | 2022-03-16 | Google LLC | Compressed recurrent neural network models |
US10984308B2 (en) * | 2016-08-12 | 2021-04-20 | Xilinx Technology Beijing Limited | Compression method for deep neural networks with load balance |
US10762426B2 (en) * | 2016-08-12 | 2020-09-01 | Beijing Deephi Intelligent Technology Co., Ltd. | Multi-iteration compression for deep neural networks |
US10387751B2 (en) * | 2017-01-12 | 2019-08-20 | Arizona Board Of Regents On Behalf Of Arizona State University | Methods, apparatuses, and systems for reconstruction-free image recognition from compressive sensors |
EP3559868A1 (en) | 2017-03-24 | 2019-10-30 | Google LLC | Device placement optimization with reinforcement learning |
US11037330B2 (en) * | 2017-04-08 | 2021-06-15 | Intel Corporation | Low rank matrix compression |
WO2018212599A1 (en) * | 2017-05-17 | 2018-11-22 | Samsung Electronics Co., Ltd. | Super-resolution processing method for moving image and image processing apparatus therefor |
US10447635B2 (en) | 2017-05-17 | 2019-10-15 | Slice Technologies, Inc. | Filtering electronic messages |
US11468295B2 (en) | 2017-05-19 | 2022-10-11 | Deepmind Technologies Limited | Generating output examples using bit blocks |
CN116702843A (zh) * | 2017-05-20 | 2023-09-05 | 谷歌有限责任公司 | 投影神经网络 |
US10853724B2 (en) | 2017-06-02 | 2020-12-01 | Xerox Corporation | Symbolic priors for recurrent neural network based semantic parsing |
CN107293288B (zh) * | 2017-06-09 | 2020-04-21 | 清华大学 | 一种残差长短期记忆循环神经网络的声学模型建模方法 |
CN109376856B (zh) * | 2017-08-09 | 2022-07-08 | 上海寒武纪信息科技有限公司 | 数据处理方法及处理装置 |
CN107563332A (zh) * | 2017-09-05 | 2018-01-09 | 百度在线网络技术(北京)有限公司 | 用于确定无人车的驾驶行为的方法和装置 |
US11620506B2 (en) * | 2017-09-18 | 2023-04-04 | Koninklijke Philips N.V. | Condensed memory networks |
US11556775B2 (en) * | 2017-10-24 | 2023-01-17 | Baidu Usa Llc | Systems and methods for trace norm regularization and faster inference for embedded models |
US10726335B2 (en) | 2017-10-26 | 2020-07-28 | Uber Technologies, Inc. | Generating compressed representation neural networks having high degree of accuracy |
CN109728928B (zh) * | 2017-10-30 | 2021-05-07 | 腾讯科技(深圳)有限公司 | 事件识别方法和终端、模型生成方法和服务器及存储介质 |
CN109997155A (zh) * | 2017-11-02 | 2019-07-09 | Tdk株式会社 | 包含仿神经元件的阵列装置及神经网络*** |
CN109993298B (zh) * | 2017-12-29 | 2023-08-08 | 百度在线网络技术(北京)有限公司 | 用于压缩神经网络的方法和装置 |
US11586924B2 (en) * | 2018-01-23 | 2023-02-21 | Qualcomm Incorporated | Determining layer ranks for compression of deep networks |
US11803883B2 (en) | 2018-01-29 | 2023-10-31 | Nielsen Consumer Llc | Quality assurance for labeled training data |
US20200401874A1 (en) * | 2018-02-09 | 2020-12-24 | Deepmind Technologies Limited | Generating output examples using recurrent neural networks conditioned on bit values |
CN110197262B (zh) * | 2018-02-24 | 2021-07-30 | 赛灵思电子科技(北京)有限公司 | 用于lstm网络的硬件加速器 |
EP3537345A1 (en) * | 2018-03-06 | 2019-09-11 | Hybris AG | Computer-implemented method, system and computer program product for providing a conversational application interface |
KR102622349B1 (ko) | 2018-04-02 | 2024-01-08 | 삼성전자주식회사 | 전자 장치 및 그 제어 방법 |
KR20190118332A (ko) | 2018-04-10 | 2019-10-18 | 삼성전자주식회사 | 전자 장치 및 그 제어 방법 |
US11769036B2 (en) | 2018-04-18 | 2023-09-26 | Qualcomm Incorporated | Optimizing performance of recurrent neural networks |
RU2702978C1 (ru) * | 2018-10-15 | 2019-10-14 | Самсунг Электроникс Ко., Лтд. | Байесовское разреживание рекуррентных нейронных сетей |
US11568237B2 (en) | 2018-05-10 | 2023-01-31 | Samsung Electronics Co., Ltd. | Electronic apparatus for compressing recurrent neural network and method thereof |
US10853725B2 (en) * | 2018-05-18 | 2020-12-01 | Deepmind Technologies Limited | Neural networks with relational memory |
CN110673824B (zh) * | 2018-07-03 | 2022-08-19 | 赛灵思公司 | 矩阵向量乘电路以及循环神经网络硬件加速器 |
US10909970B2 (en) * | 2018-09-19 | 2021-02-02 | Adobe Inc. | Utilizing a dynamic memory network to track digital dialog states and generate responses |
US10611026B1 (en) * | 2018-10-16 | 2020-04-07 | University Of South Florida | Systems and methods for learning and generating movement policies for a dynamical system |
CN112955907B (zh) * | 2018-10-30 | 2024-07-19 | 谷歌有限责任公司 | 用于量化训练的长短期记忆神经网络的方法和*** |
US11055330B2 (en) * | 2018-11-26 | 2021-07-06 | International Business Machines Corporation | Utilizing external knowledge and memory networks in a question-answering system |
US11922314B1 (en) * | 2018-11-30 | 2024-03-05 | Ansys, Inc. | Systems and methods for building dynamic reduced order physical models |
CN111353598A (zh) * | 2018-12-20 | 2020-06-30 | 中科寒武纪科技股份有限公司 | 一种神经网络压缩方法、电子设备及计算机可读介质 |
EP3939301A1 (en) * | 2019-03-15 | 2022-01-19 | InterDigital VC Holdings, Inc. | Low displacement rank based deep neural network compression |
US11234024B2 (en) | 2019-11-26 | 2022-01-25 | Tencent America LLC | Method and apparatus for three-dimensional (3D)-tree coding for neural network model compression |
US11245903B2 (en) | 2019-11-22 | 2022-02-08 | Tencent America LLC | Method and apparatus for quantization, adaptive block partitioning and codebook coding for neural network model compression |
CN114041292A (zh) | 2019-11-22 | 2022-02-11 | 腾讯美国有限责任公司 | 用于神经网络模型压缩的三维(3d)树编解码的方法和装置 |
JP7337950B2 (ja) * | 2019-11-22 | 2023-09-04 | テンセント・アメリカ・エルエルシー | ニューラルネットワークモデル圧縮のための量子化、適応ブロック分割、及びコードブック符号化の方法及び装置、並びにコンピュータープログラム |
US20230010859A1 (en) * | 2019-12-11 | 2023-01-12 | Korea Electronics Technology Institute | Method and apparatus for encoding/decoding deep learning network |
RU2734579C1 (ru) * | 2019-12-30 | 2020-10-20 | Автономная некоммерческая образовательная организация высшего образования "Сколковский институт науки и технологий" | Система сжатия искусственных нейронных сетей на основе итеративного применения тензорных аппроксимаций |
WO2021151056A1 (en) * | 2020-01-24 | 2021-07-29 | Northeastern University | Computer-implemented methods and systems for compressing recurrent neural network (rnn) models and accelerating rnn execution in mobile devices to achieve real-time inference |
US11564101B2 (en) * | 2020-07-31 | 2023-01-24 | Beijing Voyager Technology Co., Ltd. | Method and system for handling network intrusion |
CN112800756B (zh) * | 2020-11-25 | 2022-05-10 | 重庆邮电大学 | 一种基于prado的实体识别方法 |
CN112687290B (zh) * | 2020-12-30 | 2022-09-20 | 同济大学 | 一种经过压缩的咳嗽自动检测方法及嵌入式设备 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6701236B2 (en) * | 2001-10-19 | 2004-03-02 | Yamaha Hatsudoki Kabushiki Kaisha | Intelligent mechatronic control suspension system based on soft computing |
US20040199482A1 (en) * | 2002-04-15 | 2004-10-07 | Wilson Scott B. | Systems and methods for automatic and incremental learning of patient states from biomedical signals |
CN105184369A (zh) * | 2015-09-08 | 2015-12-23 | 杭州朗和科技有限公司 | 用于深度学习模型的矩阵压缩方法和装置 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9620108B2 (en) * | 2013-12-10 | 2017-04-11 | Google Inc. | Processing acoustic sequences using long short-term memory (LSTM) neural networks that include recurrent projection layers |
US9400955B2 (en) | 2013-12-13 | 2016-07-26 | Amazon Technologies, Inc. | Reducing dynamic range of low-rank decomposition matrices |
US20160035344A1 (en) | 2014-08-04 | 2016-02-04 | Google Inc. | Identifying the language of a spoken utterance |
US9678664B2 (en) * | 2015-04-10 | 2017-06-13 | Google Inc. | Neural network for keyboard input decoding |
US10140572B2 (en) * | 2015-06-25 | 2018-11-27 | Microsoft Technology Licensing, Llc | Memory bandwidth management for deep learning applications |
-
2016
- 2016-06-03 US US15/172,457 patent/US10515307B2/en active Active
- 2016-12-07 EP EP21191078.1A patent/EP3955168B1/en active Active
- 2016-12-07 JP JP2018539123A patent/JP6666457B2/ja active Active
- 2016-12-07 WO PCT/US2016/065417 patent/WO2017151203A1/en active Application Filing
- 2016-12-07 KR KR1020187021542A patent/KR102177232B1/ko active IP Right Grant
- 2016-12-07 EP EP16820415.4A patent/EP3398115B1/en active Active
- 2016-12-27 CN CN201611226122.8A patent/CN107145940B/zh active Active
- 2016-12-29 DE DE102016125838.5A patent/DE102016125838A1/de active Pending
- 2016-12-29 DE DE202016008302.4U patent/DE202016008302U1/de active Active
-
2019
- 2019-12-23 US US16/726,119 patent/US11741366B2/en active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6701236B2 (en) * | 2001-10-19 | 2004-03-02 | Yamaha Hatsudoki Kabushiki Kaisha | Intelligent mechatronic control suspension system based on soft computing |
US20040199482A1 (en) * | 2002-04-15 | 2004-10-07 | Wilson Scott B. | Systems and methods for automatic and incremental learning of patient states from biomedical signals |
CN105184369A (zh) * | 2015-09-08 | 2015-12-23 | 杭州朗和科技有限公司 | 用于深度学习模型的矩阵压缩方法和装置 |
Non-Patent Citations (1)
Title |
---|
"Structured Transforms for Small-Footprint Deep Learning";Vikas Sindhwani etc.;《arXiv:1510.01722v1[stat.ML]》;20151006;论文第2-3节 * |
Also Published As
Publication number | Publication date |
---|---|
KR20180096779A (ko) | 2018-08-29 |
EP3955168B1 (en) | 2024-07-10 |
JP6666457B2 (ja) | 2020-03-13 |
JP2019512760A (ja) | 2019-05-16 |
CN107145940A (zh) | 2017-09-08 |
US10515307B2 (en) | 2019-12-24 |
EP3955168A1 (en) | 2022-02-16 |
DE202016008302U1 (de) | 2017-07-14 |
US11741366B2 (en) | 2023-08-29 |
WO2017151203A1 (en) | 2017-09-08 |
DE102016125838A1 (de) | 2017-09-07 |
KR102177232B1 (ko) | 2020-11-10 |
EP3398115B1 (en) | 2021-09-15 |
US20170076196A1 (en) | 2017-03-16 |
US20200134470A1 (en) | 2020-04-30 |
EP3398115A1 (en) | 2018-11-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107145940B (zh) | 压缩的递归神经网络模型 | |
US11948062B2 (en) | Compressed recurrent neural network models | |
US11809824B1 (en) | Computing numeric representations of words in a high-dimensional space | |
CN108351982B (zh) | 卷积门控递归神经网络 | |
US20210117801A1 (en) | Augmenting neural networks with external memory | |
CN108205699B (zh) | 生成用于神经网络输出层的输出 | |
US11210579B2 (en) | Augmenting neural networks with external memory | |
US10083169B1 (en) | Topic-based sequence modeling neural networks | |
WO2017201506A1 (en) | Training neural networks using synthetic gradients | |
US10685278B1 (en) | Long short-term memory cells with saturating gating functions | |
WO2019075267A1 (en) | ARTIFICIAL NEURON NETWORK AUTO-SYNCHRONIZATION ACTIVATION LAYERS | |
US10482373B1 (en) | Grid long short-term memory neural networks | |
CN107038476B (zh) | 经压缩的递归神经网络模型 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
CB02 | Change of applicant information | ||
CB02 | Change of applicant information |
Address after: American California Applicant after: Google limited liability company Address before: American California Applicant before: Google Inc. |
|
GR01 | Patent grant | ||
GR01 | Patent grant |