JP6704583B2 - 学習システムおよび学習方法 - Google Patents
学習システムおよび学習方法 Download PDFInfo
- Publication number
- JP6704583B2 JP6704583B2 JP2016253169A JP2016253169A JP6704583B2 JP 6704583 B2 JP6704583 B2 JP 6704583B2 JP 2016253169 A JP2016253169 A JP 2016253169A JP 2016253169 A JP2016253169 A JP 2016253169A JP 6704583 B2 JP6704583 B2 JP 6704583B2
- Authority
- JP
- Japan
- Prior art keywords
- parameter
- differential value
- learning
- updating
- value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 67
- 238000004364 calculation method Methods 0.000 claims description 67
- 238000013528 artificial neural network Methods 0.000 claims description 14
- 230000006870 function Effects 0.000 description 25
- 230000001360 synchronised effect Effects 0.000 description 18
- 238000013527 convolutional neural network Methods 0.000 description 14
- 238000004891 communication Methods 0.000 description 7
- 238000007796 conventional method Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 238000011176 pooling Methods 0.000 description 5
- 238000012545 processing Methods 0.000 description 5
- 230000008569 process Effects 0.000 description 4
- 238000004422 calculation algorithm Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 238000012937 correction Methods 0.000 description 3
- 238000002945 steepest descent method Methods 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 230000004069 differentiation Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000012887 quadratic function Methods 0.000 description 2
- 230000007704 transition Effects 0.000 description 2
- 230000007423 decrease Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
- G06F17/10—Complex mathematical operations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Mathematical Physics (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- Algebra (AREA)
- Computational Mathematics (AREA)
- Mathematical Analysis (AREA)
- Mathematical Optimization (AREA)
- Pure & Applied Mathematics (AREA)
- Databases & Information Systems (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Image Analysis (AREA)
Description
非同期型の分散方式において、ステイルネスを考慮するため、高速にパラメタを更新できる。
この場合、前記微分値算出部は、前記ある時点でのパラメタと、前記ある時点より過去の時点でのパラメタと、前記ステイルネスと、に基づいて、前記予測値を算出するのが望ましい。
具体的には、前記ある時点τでのパラメタをW(τ)とし、前記ある時点より過去の時点(τ−1)でのパラメタをW(τ-1)とし、前記ステイルネスをsnとし、γ∈(0,1)とするとき、前記予測値P(τ)は、
であってもよい。
受信したパラメタそのものではなく、更新に用いられる際のパラメタに近い予測値を微分するため、高速にパラメタを更新できる。
あるいは、前記パラメタ更新部は、前記微分値に学習係数を乗じた値を用いて前記パラメタを更新し、学習が進むにつれて前記学習係数を大きな値としてもよい。
また、前記パラメタ更新部は、学習の開始から所定回パラメタ更新が行われるまでは、前記パラメタの更新量の絶対値またはノルムが所定値を超えないよう、更新量を調整してもよい。
このようにすることで、学習初期に目的関数が不安定となるのを抑制できる。
パラメタ更新式は次式で与えられる。
パラメタ更新式は次式で与えられる。
を算出する。P(t)に重み付きの微分値(符号16)
を加算することで、時刻(t+1)におけるパラメタW(t+1)(符号17)が得られる。
分散方式では、(1)「何を」通信するのか、(2)「何と」通信するのか、(3)「いつ」通信するのか、という観点での分類が可能である。
を、時刻τのパラメタW(τ)に加算したものが、P(τ)である。P(τ)を算出することは、時刻τにおいて、時刻tから更に更新の主要項であるモメンタム項による変更を受けたパラメタを予測することに対応しており、この意味において本明細書ではP(τ)を予測値とも称する。すなわち、本発明における予測値P(τ)はステイルネスsnに依存し、下式で表される。
を算出する(符号24の矢印、学習係数ηは省略した)。この予測値P(τ)は後述する符号23’で示すポイントを予測したものである。
ここで、cはモメンタム係数であり、例えば次のようにして最適な値が設定される。本番の学習に先立って予備の学習を実施し、パラメタの時系列変化を取得し保存しておく。すると、図6(c)に示す誤差d1を最小とするモメンタム係数cを線形最小二乗法によって推定できる。本番の学習と同様の学習システムで予備の学習を行うことで、ステイルネスが反映された最適なモメンタム係数cが得られる。あるいは、本番の学習時にモメンタム係数cを推定してもよい。このようにして設定されたモメンタム係数cを本番の学習で使用することによって高速化を図れる。
第1の実施形態の改善について説明する。学習の初期においては、微分値の絶対値が大きい値となることもある。そうすると、学習の初期においてパラメタの更新が不安定になりかねない。具体的には、目的関数の変動が大きくなりすぎて降下速度が小さくなることや、目的関数の値が無限大に発散してしまうなどといったことが起こらないとも限らない。
このように、第2の実施例では、学習初期に目的関数が不安定となるのを抑制できる。
2 微分値算出部
3 パラメタ更新部
Claims (8)
- 複数の微分値算出部と、パラメタ更新部とを備え、ニューラルネットワーク用のパラメタを更新する学習システムであって、
前記複数の微分値算出部のそれぞれは、互いに同期することなく、
前記パラメタ更新部からある時点でのパラメタを受信し、
前記受信したパラメタに基づいて、前記パラメタの更新に用いられる微分値を算出し、
前記微分値を前記パラメタ更新部に送信し、
前記パラメタ更新部は、
前記微分値算出部から前記微分値を受信し、
前記複数の微分値算出部による微分値算出と同期することなく、受信した前記微分値に基づいて前記パラメタを更新し、
更新後の前記パラメタを前記複数の微分値算出部に送信し、
前記微分値算出部は、前記微分値を算出する際、前記パラメタの受信時点から、算出した微分値が前記パラメタ更新部によって前記パラメタの更新に用いられるまでの間に前記パラメタが更新される回数に対応するステイルネスを考慮して、前記微分値を算出する、学習システム。 - 前記微分値算出部は、前記ステイルネスを考慮して、算出した微分値が前記パラメタ更新部によって前記パラメタの更新に用いられる際のパラメタの予測値を算出し、該予測値を微分して前記微分値を算出する、請求項1に記載の学習システム。
- 前記微分値算出部は、前記ある時点でのパラメタと、前記ある時点より過去の時点でのパラメタと、前記ステイルネスと、に基づいて、前記予測値を算出する、請求項2に記載の学習システム。
- 前記ある時点τでのパラメタをW(τ)とし、前記ある時点より過去の時点(τ−1)でのパラメタをW(τ-1)とし、前記ステイルネスをsnとし、γ∈(0,1)とするとき、前記予測値P(τ)は、
である、請求項3に記載の学習システム。 - 前記微分値算出部は、学習が進むにつれて前記γを大きな値とする、請求項4に記載の学習システム。
- 前記パラメタ更新部は、前記微分値に学習係数を乗じた値を用いて前記パラメタを更新し、学習が進むにつれて前記学習係数を大きな値とする、請求項1乃至5のいずれかに記載の学習システム。
- 前記パラメタ更新部は、学習の開始から所定回パラメタ更新が行われるまでは、前記パラメタの更新量の絶対値またはノルムが所定値を超えないよう、更新量を調整する、請求項1乃至6のいずれかに記載の学習システム。
- ニューラルネットワーク用のパラメタを更新する学習方法であって、
複数の微分値算出部のそれぞれが、互いに同期することなく、
パラメタ更新部からある時点でのパラメタを受信するステップと、
前記受信したパラメタに基づいて、前記パラメタの更新に用いられる微分値を算出するステップと、
前記微分値を前記パラメタ更新部に送信するステップと、
前記パラメタ更新部が、
前記微分値算出部から前記微分値を受信するステップと、
前記複数の微分値算出部による微分値算出と同期することなく、受信した前記微分値に基づいて前記パラメタを更新するステップと、
更新後の前記パラメタを前記複数の微分値算出部に送信するステップと、を備え、
前記微分値算出部が前記微分値を算出するステップでは、前記パラメタの受信時点から、算出した微分値が前記パラメタ更新部によって前記パラメタの更新に用いられるまでの間に前記パラメタが更新される回数に対応するステイルネスを考慮して、前記微分値を算出する、学習方法。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016253169A JP6704583B2 (ja) | 2016-12-27 | 2016-12-27 | 学習システムおよび学習方法 |
US15/795,691 US11521057B2 (en) | 2016-12-27 | 2017-10-27 | Learning system and learning method |
CN201711425028.XA CN108241889A (zh) | 2016-12-27 | 2017-12-25 | 学习***与学习方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016253169A JP6704583B2 (ja) | 2016-12-27 | 2016-12-27 | 学習システムおよび学習方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2018106489A JP2018106489A (ja) | 2018-07-05 |
JP6704583B2 true JP6704583B2 (ja) | 2020-06-03 |
Family
ID=62629916
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016253169A Active JP6704583B2 (ja) | 2016-12-27 | 2016-12-27 | 学習システムおよび学習方法 |
Country Status (3)
Country | Link |
---|---|
US (1) | US11521057B2 (ja) |
JP (1) | JP6704583B2 (ja) |
CN (1) | CN108241889A (ja) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11043205B1 (en) * | 2017-06-27 | 2021-06-22 | Amazon Technologies, Inc. | Scoring of natural language processing hypotheses |
JP7208758B2 (ja) * | 2018-10-05 | 2023-01-19 | 株式会社デンソーアイティーラボラトリ | 学習方法および学習システム |
DE102019002790B4 (de) | 2019-04-16 | 2023-05-04 | Mercedes-Benz Group AG | Verfahren zur Prädiktion einer Verkehrssituation für ein Fahrzeug |
KR20210020387A (ko) | 2019-08-14 | 2021-02-24 | 삼성전자주식회사 | 전자 장치 및 그 제어 방법 |
CN111626434B (zh) * | 2020-05-15 | 2022-06-07 | 浪潮电子信息产业股份有限公司 | 一种分布式训练参数更新方法、装置、设备及存储介质 |
KR102555268B1 (ko) * | 2020-12-14 | 2023-07-13 | 한양대학교 산학협력단 | 파라미터 서버 기반 비대칭 분산 학습 기법 |
-
2016
- 2016-12-27 JP JP2016253169A patent/JP6704583B2/ja active Active
-
2017
- 2017-10-27 US US15/795,691 patent/US11521057B2/en active Active
- 2017-12-25 CN CN201711425028.XA patent/CN108241889A/zh active Pending
Also Published As
Publication number | Publication date |
---|---|
JP2018106489A (ja) | 2018-07-05 |
US11521057B2 (en) | 2022-12-06 |
US20180181863A1 (en) | 2018-06-28 |
CN108241889A (zh) | 2018-07-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6704583B2 (ja) | 学習システムおよび学習方法 | |
US11941527B2 (en) | Population based training of neural networks | |
US20140214735A1 (en) | Method for an optimizing predictive model using gradient descent and conjugate residuals | |
CN108764568B (zh) | 一种基于lstm网络的数据预测模型调优方法及装置 | |
Baram et al. | Model-based adversarial imitation learning | |
US11449731B2 (en) | Update of attenuation coefficient for a model corresponding to time-series input data | |
US11100388B2 (en) | Learning apparatus and method for learning a model corresponding to real number time-series input data | |
US20220108215A1 (en) | Robust and Data-Efficient Blackbox Optimization | |
Dong et al. | Towards adaptive residual network training: A neural-ode perspective | |
US20180314978A1 (en) | Learning apparatus and method for learning a model corresponding to a function changing in time series | |
CN114065863A (zh) | 联邦学习的方法、装置、***、电子设备及存储介质 | |
CN113487039A (zh) | 基于深度强化学习的智能体自适应决策生成方法及*** | |
CN113935489A (zh) | 基于量子神经网络的变分量子模型tfq-vqa及其两级优化方法 | |
Karda et al. | Automation of noise sampling in deep reinforcement learning | |
El-Laham et al. | Policy gradient importance sampling for Bayesian inference | |
Sun et al. | Time series prediction based on time attention mechanism and lstm neural network | |
Banerjee et al. | Boosting exploration in actor-critic algorithms by incentivizing plausible novel states | |
KR20200000660A (ko) | 실시간 시계열 데이터를 위한 예측 모형 생성 시스템 및 방법 | |
JPWO2019142241A1 (ja) | データ処理システムおよびデータ処理方法 | |
Yang | Kalman optimizer for consistent gradient descent | |
Ma et al. | Long-Term Credit Assignment via Model-based Temporal Shortcuts | |
CN113807005B (zh) | 基于改进fpa-dbn的轴承剩余寿命预测方法 | |
Guo et al. | Optimal control of blank holder force based on deep reinforcement learning | |
CN114139677A (zh) | 一种基于改进gru神经网络的非等间隔时序数据预测方法 | |
Zheng et al. | Variance reduction based partial trajectory reuse to accelerate policy gradient optimization |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190415 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20200309 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200324 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200330 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6704583 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |