JP6666457B2 - リカレントニューラルネットワークモデルの圧縮 - Google Patents
リカレントニューラルネットワークモデルの圧縮 Download PDFInfo
- Publication number
- JP6666457B2 JP6666457B2 JP2018539123A JP2018539123A JP6666457B2 JP 6666457 B2 JP6666457 B2 JP 6666457B2 JP 2018539123 A JP2018539123 A JP 2018539123A JP 2018539123 A JP2018539123 A JP 2018539123A JP 6666457 B2 JP6666457 B2 JP 6666457B2
- Authority
- JP
- Japan
- Prior art keywords
- layer
- neural network
- lstm
- output
- gate
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000000306 recurrent effect Effects 0.000 title claims description 61
- 230000006835 compression Effects 0.000 title claims description 36
- 238000007906 compression Methods 0.000 title claims description 36
- 238000003062 neural network model Methods 0.000 title 1
- 239000011159 matrix material Substances 0.000 claims description 127
- 238000013528 artificial neural network Methods 0.000 claims description 117
- 239000013598 vector Substances 0.000 claims description 54
- 230000006870 function Effects 0.000 claims description 16
- 238000004590 computer program Methods 0.000 claims description 14
- 230000006403 short-term memory Effects 0.000 claims description 4
- 239000010410 layer Substances 0.000 description 159
- 238000000034 method Methods 0.000 description 25
- 238000012549 training Methods 0.000 description 19
- 238000012545 processing Methods 0.000 description 12
- 239000011229 interlayer Substances 0.000 description 8
- 230000009471 action Effects 0.000 description 6
- 230000015654 memory Effects 0.000 description 6
- 230000008569 process Effects 0.000 description 6
- 238000004891 communication Methods 0.000 description 5
- 238000006073 displacement reaction Methods 0.000 description 5
- 239000012634 fragment Substances 0.000 description 5
- 229920006395 saturated elastomer Polymers 0.000 description 5
- 238000010801 machine learning Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 230000007787 long-term memory Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000013515 script Methods 0.000 description 2
- 238000000926 separation method Methods 0.000 description 2
- 230000004913 activation Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 125000004122 cyclic group Chemical group 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 230000002688 persistence Effects 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000002787 reinforcement Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
- G06N3/0442—Recurrent networks, e.g. Hopfield networks characterised by memory or gating, e.g. long short-term memory [LSTM] or gated recurrent units [GRU]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0495—Quantised networks; Sparse networks; Compressed networks
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/06—Creation of reference templates; Training of speech recognition systems, e.g. adaptation to the characteristics of the speaker's voice
- G10L15/063—Training
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computational Linguistics (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Biophysics (AREA)
- Mathematical Physics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Machine Translation (AREA)
- Image Analysis (AREA)
Description
102 ニューラルネットワーク入力
110 リカレントニューラルネットワーク
120 圧縮LSTM層
122 現在の層入力
124 新規層状態
126 新規層出力
132 ニューラルネットワーク出力
200 テプリッツ行列
202 ヴァンデルモンド行列
204 コーシー行列
300 方法
400 方法
500 方法
Claims (7)
前記リカレントニューラルネットワークが、複数の時間ステップの時間ステップごとにそれぞれのニューラルネットワーク入力を受信し、前記複数の時間ステップの時間ステップごとにそれぞれのニューラルネットワーク出力を生成するように構成され、
前記リカレントニューラルネットワークが、第1の長短期メモリ(LSTM)層を含み、
前記第1のLSTM層が、前記複数の時間ステップの時間ステップごとに、複数のゲートを現在の層入力、現在の層状態、および現在の層出力に適用することによって新規層状態および新規層出力を生成するように構成され、
前記複数のゲートのそれぞれが、前記複数の時間ステップの時間ステップごとに、ゲート入力ベクトルとゲートパラメータ行列とを乗算することによってそれぞれの中間のゲート出力ベクトルを生成するように構成され、
前記複数のゲートのうちの少なくとも1つについての前記ゲートパラメータ行列が、テプリッツ行列の積および逆数、ならびにそれらの線形結合を含む構造化行列であり、
前記リカレントニューラルネットワークが、第2のLSTM層を含み、
前記第2のLSTM層が、前記複数の時間ステップの時間ステップごとに、第2の複数のゲートを第2の現在の層入力、第2の現在の層状態、および第2の現在の層出力に適用することによって第2の新規層状態および第2の新規層出力を生成するように構成され、
前記第2の複数のゲートのそれぞれが、前記複数の時間ステップの時間ステップごとに、第2のゲート入力ベクトルと第2のゲートパラメータ行列とを乗算することによってそれぞれの第2の中間のゲート出力ベクトルを生成するように構成され、
前記第2の複数のゲートのうちの少なくとも1つについての前記ゲートパラメータ行列が、圧縮パラメータ行列および射影行列によって定義され、
前記第1のLSTM層および前記第2のLSTM層が、順序付き層スタックにおける複数のLSTM層の各層であり、
前記第1のLSTM層が、前記順序付き層スタックにおいて、前記第2のLSTM層の下にスタックされている、
システム。
1つまたは複数のコンピュータによって実装されるリカレントニューラルネットワークを実装する動作を実行させ、
前記リカレントニューラルネットワークが、複数の時間ステップの時間ステップごとにそれぞれのニューラルネットワーク入力を受信し、前記複数の時間ステップの時間ステップごとにそれぞれのニューラルネットワーク出力を生成するように構成され、
前記リカレントニューラルネットワークが、第1の長短期メモリ(LSTM)層を含み、
前記第1のLSTM層が、前記複数の時間ステップの時間ステップごとに、複数のゲートを現在の層入力、現在の層状態、および現在の層出力に適用することによって、新規層状態および新規層出力を生成するように構成され、
前記複数のゲートのそれぞれが、前記複数の時間ステップの時間ステップごとに、ゲート入力ベクトルとゲートパラメータ行列とを乗算することによってそれぞれの中間のゲート出力ベクトルを生成するように構成され、
前記複数のゲートのうちの少なくとも1つについての前記ゲートパラメータ行列が、テプリッツ行列の積および逆数、ならびにそれらの線形結合を含む構造化行列であり、
前記リカレントニューラルネットワークが、第2のLSTM層を含み、
前記第2のLSTM層が、前記複数の時間ステップの時間ステップごとに、第2の複数のゲートを第2の現在の層入力、第2の現在の層状態、および第2の現在の層出力に適用することによって第2の新規層状態および第2の新規層出力を生成するように構成され、
前記第2の複数のゲートのそれぞれが、前記複数の時間ステップの時間ステップごとに、第2のゲート入力ベクトルと第2のゲートパラメータ行列とを乗算することによってそれぞれの第2の中間のゲート出力ベクトルを生成するように構成され、
前記第2の複数のゲートのうちの少なくとも1つについての前記ゲートパラメータ行列が、圧縮パラメータ行列および射影行列によって定義され、
前記第1のLSTM層および前記第2のLSTM層が、順序付き層スタックにおける複数のLSTM層の各層であり、
前記第1のLSTM層が、前記順序付き層スタックにおいて、前記第2のLSTM層の下にスタックされている、
1つまたは複数の非一時的コンピュータストレージ媒体。
Applications Claiming Priority (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201662301734P | 2016-03-01 | 2016-03-01 | |
US62/301,734 | 2016-03-01 | ||
US15/172,457 US10515307B2 (en) | 2015-06-05 | 2016-06-03 | Compressed recurrent neural network models |
US15/172,457 | 2016-06-03 | ||
PCT/US2016/065417 WO2017151203A1 (en) | 2016-03-01 | 2016-12-07 | Compressed recurrent neural network models |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019512760A JP2019512760A (ja) | 2019-05-16 |
JP6666457B2 true JP6666457B2 (ja) | 2020-03-13 |
Family
ID=59522158
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018539123A Active JP6666457B2 (ja) | 2016-03-01 | 2016-12-07 | リカレントニューラルネットワークモデルの圧縮 |
Country Status (7)
Country | Link |
---|---|
US (2) | US10515307B2 (ja) |
EP (2) | EP3955168B1 (ja) |
JP (1) | JP6666457B2 (ja) |
KR (1) | KR102177232B1 (ja) |
CN (1) | CN107145940B (ja) |
DE (2) | DE102016125838A1 (ja) |
WO (1) | WO2017151203A1 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11586924B2 (en) * | 2018-01-23 | 2023-02-21 | Qualcomm Incorporated | Determining layer ranks for compression of deep networks |
Families Citing this family (51)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10083169B1 (en) * | 2015-08-28 | 2018-09-25 | Google Llc | Topic-based sequence modeling neural networks |
US10380481B2 (en) * | 2015-10-08 | 2019-08-13 | Via Alliance Semiconductor Co., Ltd. | Neural network unit that performs concurrent LSTM cell calculations |
US10521715B1 (en) | 2016-01-15 | 2019-12-31 | Google Llc | Long short-term memory cells with saturating gating functions |
EP3374932B1 (en) * | 2016-02-03 | 2022-03-16 | Google LLC | Compressed recurrent neural network models |
US10984308B2 (en) * | 2016-08-12 | 2021-04-20 | Xilinx Technology Beijing Limited | Compression method for deep neural networks with load balance |
US10762426B2 (en) * | 2016-08-12 | 2020-09-01 | Beijing Deephi Intelligent Technology Co., Ltd. | Multi-iteration compression for deep neural networks |
US10387751B2 (en) * | 2017-01-12 | 2019-08-20 | Arizona Board Of Regents On Behalf Of Arizona State University | Methods, apparatuses, and systems for reconstruction-free image recognition from compressive sensors |
EP3559868A1 (en) | 2017-03-24 | 2019-10-30 | Google LLC | Device placement optimization with reinforcement learning |
US11037330B2 (en) * | 2017-04-08 | 2021-06-15 | Intel Corporation | Low rank matrix compression |
WO2018212599A1 (en) * | 2017-05-17 | 2018-11-22 | Samsung Electronics Co., Ltd. | Super-resolution processing method for moving image and image processing apparatus therefor |
US10447635B2 (en) | 2017-05-17 | 2019-10-15 | Slice Technologies, Inc. | Filtering electronic messages |
US11468295B2 (en) | 2017-05-19 | 2022-10-11 | Deepmind Technologies Limited | Generating output examples using bit blocks |
CN116702843A (zh) * | 2017-05-20 | 2023-09-05 | 谷歌有限责任公司 | 投影神经网络 |
US10853724B2 (en) | 2017-06-02 | 2020-12-01 | Xerox Corporation | Symbolic priors for recurrent neural network based semantic parsing |
CN107293288B (zh) * | 2017-06-09 | 2020-04-21 | 清华大学 | 一种残差长短期记忆循环神经网络的声学模型建模方法 |
CN109376856B (zh) * | 2017-08-09 | 2022-07-08 | 上海寒武纪信息科技有限公司 | 数据处理方法及处理装置 |
CN107563332A (zh) * | 2017-09-05 | 2018-01-09 | 百度在线网络技术(北京)有限公司 | 用于确定无人车的驾驶行为的方法和装置 |
US11620506B2 (en) * | 2017-09-18 | 2023-04-04 | Koninklijke Philips N.V. | Condensed memory networks |
US11556775B2 (en) * | 2017-10-24 | 2023-01-17 | Baidu Usa Llc | Systems and methods for trace norm regularization and faster inference for embedded models |
US10726335B2 (en) | 2017-10-26 | 2020-07-28 | Uber Technologies, Inc. | Generating compressed representation neural networks having high degree of accuracy |
CN109728928B (zh) * | 2017-10-30 | 2021-05-07 | 腾讯科技(深圳)有限公司 | 事件识别方法和终端、模型生成方法和服务器及存储介质 |
CN109997155A (zh) * | 2017-11-02 | 2019-07-09 | Tdk株式会社 | 包含仿神经元件的阵列装置及神经网络*** |
CN109993298B (zh) * | 2017-12-29 | 2023-08-08 | 百度在线网络技术(北京)有限公司 | 用于压缩神经网络的方法和装置 |
US11803883B2 (en) | 2018-01-29 | 2023-10-31 | Nielsen Consumer Llc | Quality assurance for labeled training data |
US20200401874A1 (en) * | 2018-02-09 | 2020-12-24 | Deepmind Technologies Limited | Generating output examples using recurrent neural networks conditioned on bit values |
CN110197262B (zh) * | 2018-02-24 | 2021-07-30 | 赛灵思电子科技(北京)有限公司 | 用于lstm网络的硬件加速器 |
EP3537345A1 (en) * | 2018-03-06 | 2019-09-11 | Hybris AG | Computer-implemented method, system and computer program product for providing a conversational application interface |
KR102622349B1 (ko) | 2018-04-02 | 2024-01-08 | 삼성전자주식회사 | 전자 장치 및 그 제어 방법 |
KR20190118332A (ko) | 2018-04-10 | 2019-10-18 | 삼성전자주식회사 | 전자 장치 및 그 제어 방법 |
US11769036B2 (en) | 2018-04-18 | 2023-09-26 | Qualcomm Incorporated | Optimizing performance of recurrent neural networks |
RU2702978C1 (ru) * | 2018-10-15 | 2019-10-14 | Самсунг Электроникс Ко., Лтд. | Байесовское разреживание рекуррентных нейронных сетей |
US11568237B2 (en) | 2018-05-10 | 2023-01-31 | Samsung Electronics Co., Ltd. | Electronic apparatus for compressing recurrent neural network and method thereof |
US10853725B2 (en) * | 2018-05-18 | 2020-12-01 | Deepmind Technologies Limited | Neural networks with relational memory |
CN110673824B (zh) * | 2018-07-03 | 2022-08-19 | 赛灵思公司 | 矩阵向量乘电路以及循环神经网络硬件加速器 |
US10909970B2 (en) * | 2018-09-19 | 2021-02-02 | Adobe Inc. | Utilizing a dynamic memory network to track digital dialog states and generate responses |
US10611026B1 (en) * | 2018-10-16 | 2020-04-07 | University Of South Florida | Systems and methods for learning and generating movement policies for a dynamical system |
CN112955907B (zh) * | 2018-10-30 | 2024-07-19 | 谷歌有限责任公司 | 用于量化训练的长短期记忆神经网络的方法和*** |
US11055330B2 (en) * | 2018-11-26 | 2021-07-06 | International Business Machines Corporation | Utilizing external knowledge and memory networks in a question-answering system |
US11922314B1 (en) * | 2018-11-30 | 2024-03-05 | Ansys, Inc. | Systems and methods for building dynamic reduced order physical models |
CN111353598A (zh) * | 2018-12-20 | 2020-06-30 | 中科寒武纪科技股份有限公司 | 一种神经网络压缩方法、电子设备及计算机可读介质 |
EP3939301A1 (en) * | 2019-03-15 | 2022-01-19 | InterDigital VC Holdings, Inc. | Low displacement rank based deep neural network compression |
US11234024B2 (en) | 2019-11-26 | 2022-01-25 | Tencent America LLC | Method and apparatus for three-dimensional (3D)-tree coding for neural network model compression |
US11245903B2 (en) | 2019-11-22 | 2022-02-08 | Tencent America LLC | Method and apparatus for quantization, adaptive block partitioning and codebook coding for neural network model compression |
CN114041292A (zh) | 2019-11-22 | 2022-02-11 | 腾讯美国有限责任公司 | 用于神经网络模型压缩的三维(3d)树编解码的方法和装置 |
JP7337950B2 (ja) * | 2019-11-22 | 2023-09-04 | テンセント・アメリカ・エルエルシー | ニューラルネットワークモデル圧縮のための量子化、適応ブロック分割、及びコードブック符号化の方法及び装置、並びにコンピュータープログラム |
US20230010859A1 (en) * | 2019-12-11 | 2023-01-12 | Korea Electronics Technology Institute | Method and apparatus for encoding/decoding deep learning network |
RU2734579C1 (ru) * | 2019-12-30 | 2020-10-20 | Автономная некоммерческая образовательная организация высшего образования "Сколковский институт науки и технологий" | Система сжатия искусственных нейронных сетей на основе итеративного применения тензорных аппроксимаций |
WO2021151056A1 (en) * | 2020-01-24 | 2021-07-29 | Northeastern University | Computer-implemented methods and systems for compressing recurrent neural network (rnn) models and accelerating rnn execution in mobile devices to achieve real-time inference |
US11564101B2 (en) * | 2020-07-31 | 2023-01-24 | Beijing Voyager Technology Co., Ltd. | Method and system for handling network intrusion |
CN112800756B (zh) * | 2020-11-25 | 2022-05-10 | 重庆邮电大学 | 一种基于prado的实体识别方法 |
CN112687290B (zh) * | 2020-12-30 | 2022-09-20 | 同济大学 | 一种经过压缩的咳嗽自动检测方法及嵌入式设备 |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6701236B2 (en) * | 2001-10-19 | 2004-03-02 | Yamaha Hatsudoki Kabushiki Kaisha | Intelligent mechatronic control suspension system based on soft computing |
US20040199482A1 (en) * | 2002-04-15 | 2004-10-07 | Wilson Scott B. | Systems and methods for automatic and incremental learning of patient states from biomedical signals |
US9620108B2 (en) * | 2013-12-10 | 2017-04-11 | Google Inc. | Processing acoustic sequences using long short-term memory (LSTM) neural networks that include recurrent projection layers |
US9400955B2 (en) | 2013-12-13 | 2016-07-26 | Amazon Technologies, Inc. | Reducing dynamic range of low-rank decomposition matrices |
US20160035344A1 (en) | 2014-08-04 | 2016-02-04 | Google Inc. | Identifying the language of a spoken utterance |
US9678664B2 (en) * | 2015-04-10 | 2017-06-13 | Google Inc. | Neural network for keyboard input decoding |
US10140572B2 (en) * | 2015-06-25 | 2018-11-27 | Microsoft Technology Licensing, Llc | Memory bandwidth management for deep learning applications |
CN105184369A (zh) * | 2015-09-08 | 2015-12-23 | 杭州朗和科技有限公司 | 用于深度学习模型的矩阵压缩方法和装置 |
-
2016
- 2016-06-03 US US15/172,457 patent/US10515307B2/en active Active
- 2016-12-07 EP EP21191078.1A patent/EP3955168B1/en active Active
- 2016-12-07 JP JP2018539123A patent/JP6666457B2/ja active Active
- 2016-12-07 WO PCT/US2016/065417 patent/WO2017151203A1/en active Application Filing
- 2016-12-07 KR KR1020187021542A patent/KR102177232B1/ko active IP Right Grant
- 2016-12-07 EP EP16820415.4A patent/EP3398115B1/en active Active
- 2016-12-27 CN CN201611226122.8A patent/CN107145940B/zh active Active
- 2016-12-29 DE DE102016125838.5A patent/DE102016125838A1/de active Pending
- 2016-12-29 DE DE202016008302.4U patent/DE202016008302U1/de active Active
-
2019
- 2019-12-23 US US16/726,119 patent/US11741366B2/en active Active
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11586924B2 (en) * | 2018-01-23 | 2023-02-21 | Qualcomm Incorporated | Determining layer ranks for compression of deep networks |
Also Published As
Publication number | Publication date |
---|---|
KR20180096779A (ko) | 2018-08-29 |
EP3955168B1 (en) | 2024-07-10 |
CN107145940B (zh) | 2021-02-12 |
JP2019512760A (ja) | 2019-05-16 |
CN107145940A (zh) | 2017-09-08 |
US10515307B2 (en) | 2019-12-24 |
EP3955168A1 (en) | 2022-02-16 |
DE202016008302U1 (de) | 2017-07-14 |
US11741366B2 (en) | 2023-08-29 |
WO2017151203A1 (en) | 2017-09-08 |
DE102016125838A1 (de) | 2017-09-07 |
KR102177232B1 (ko) | 2020-11-10 |
EP3398115B1 (en) | 2021-09-15 |
US20170076196A1 (en) | 2017-03-16 |
US20200134470A1 (en) | 2020-04-30 |
EP3398115A1 (en) | 2018-11-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6666457B2 (ja) | リカレントニューラルネットワークモデルの圧縮 | |
US11087201B2 (en) | Neural architecture search using a performance prediction neural network | |
US11195521B2 (en) | Generating target sequences from input sequences using partial conditioning | |
JP6706326B2 (ja) | リカレントニューラルネットワークモデルの圧縮 | |
US10282662B2 (en) | Training neural networks using a prioritized experience memory | |
CN108351982B (zh) | 卷积门控递归神经网络 | |
EP3523759B1 (en) | Image processing neural networks with separable convolutional layers | |
EP3207507B1 (en) | Augmenting neural networks with external memory | |
WO2017201507A1 (en) | Memory-efficient backpropagation through time | |
WO2017201506A1 (en) | Training neural networks using synthetic gradients | |
US11922281B2 (en) | Training machine learning models using teacher annealing | |
WO2017100711A1 (en) | Augmenting neural networks with external memory | |
US20240177001A1 (en) | Neural programming | |
US11755879B2 (en) | Low-pass recurrent neural network systems with memory | |
WO2017192183A1 (en) | Augmenting neural networks with external memory using reinforcement learning | |
US10402719B1 (en) | Generating output sequences from input sequences using neural networks | |
US11893480B1 (en) | Reinforcement learning with scheduled auxiliary control |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180914 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20190815 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190826 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20191126 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200127 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200220 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6666457 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |