JP6620439B2 - 学習方法、プログラム及び学習装置 - Google Patents
学習方法、プログラム及び学習装置 Download PDFInfo
- Publication number
- JP6620439B2 JP6620439B2 JP2015132829A JP2015132829A JP6620439B2 JP 6620439 B2 JP6620439 B2 JP 6620439B2 JP 2015132829 A JP2015132829 A JP 2015132829A JP 2015132829 A JP2015132829 A JP 2015132829A JP 6620439 B2 JP6620439 B2 JP 6620439B2
- Authority
- JP
- Japan
- Prior art keywords
- learning
- rate
- initial value
- neural network
- value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Molecular Biology (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Analysis (AREA)
- Feedback Control In General (AREA)
Description
本実施の形態におけるニューラルネットワーク学習装置となる情報処理装置10の一例を図1に示す。尚、本実施の形態におけるニューラルネットワーク学習装置は、通常の処理系、例えばPC(personal computer)等を用いることも可能である。図1は、本実施の形態におけるニューラルネットワーク学習装置となる情報処理装置10のハードウェア構成を一例として示すものである。
次に、本実施の形態におけるニューラルネットワーク学習装置を用いた機械学習アルゴリズムについて、図2に基づき説明する。具体的には、機械学習アルゴリズムは、図2に示されるように、学習時において、入力データとそれに対応する正解データである教師データを入力し、パラメータを学習する機械学習アルゴリズムを行うことにより、アルゴリズムのパラメータを最適化して学習を行う。次に、予測時において、学習が終わったパラメータを用いて、入力データより識別を行う機械学習アルゴリズムを行い、予測結果を出力する。本実施の形態は、このうち学習時における機械学習アルゴリズムに関するものであり、この学習時における機械学習アルゴリズムにおける特に多層ニューラルネットワークのパラメータ最適化について説明する。
最初に、多層ニューラルネットワークについて説明する。ニューラルネットワーク(neural network)とは、脳機能に見られるいくつかの特性を計算機上のシミュレーションによって表現することを目指した数学モデルである。多層ニューラルネットワーク(多層パーセプトロンとも呼ぶ)は、ニューラルネットワークの一種であり、複数の層にニューロンを配置させたフィードフォワード型ニューラルネットワークである。例えば、図3に示されるように、丸で示されているニューロンが、多層(入力層、中間層、出力層)に接続されている。
次に、多層ニューラルネットワークの一種であるStacked Auto-Encodersについて説明する。この場合、Stacked Auto-Encodersにおける次元削減部及び次元復元部の学習とは、入力された学習データに基づき、Stacked Auto-Encodersの各層のネットワーク係数(これは「重み」とも称される)を調整することに相当する。尚、このようなネットワーク係数は、所定のパラメータの一例である。
従って、各i(i=1,・・・,30)に対して、ziを第2のAuto-Encoderの入力データ及び教師データとして誤差逆伝播法により学習を行えばよい。つまり、30個の50次元のベクトルデータziを用いて、第2のAuto-Encoderの入力データziと出力データが同じになるように、誤差逆伝播法によりネットワーク係数の調整を行う。
CNNは、画像系の深い層のニューラルネットワークでよく使われる手法である。学習には通常のバックプロパゲーションで行われるが、構造として重要な点は以下の二点である。
1) Convolution
Convolutionは、層と層の間を全接続するのではなく、画像上で位置的に近いところのみを接続する。また、その係数は画像上の位置によらない。定性的には、畳み込み(Convolution)により特徴抽出を行う。また接続を制限して過学習を防ぐ効果を有する。
2) Pooling
Poolingは、次の層につなげるときに、位置的な情報を削減する。定性的には位置不変性を得る。Poolingには、最大値をとるmaxpoolingや平均値を取る平均プーリングなどがある。
RNNは、隠れ層の出力内容が、次の時刻の入力として使われるニューラルネットワークの構造である。RNNでは、出力を入力として戻すため、学習率を大きくすると容易に係数が発散してしまう。そのため、学習率を小さくして時間をかけて学習を行う必要があるが、本実施の形態を用いることにより、短時間で学習を終わらせることが可能である。また、本実施の形態を適用することにより、従来と比較して、より深い構造のニューラルネットワークで学習を行っても時間的に問題ないため、結果的に精度を向上させることができる。
ニューラルネットワークの学習にはバックプロパゲーション(誤差逆伝搬法とも言う)を用いる。バックプロパゲーションでは、ネットワークの出力と教師データを比較し、それを元に各出力ニューロンの誤差を計算する。出力ニューロンの誤差はそのニューロンに接続された前段のニューロンに原因があると考え、誤差が少なくなるようにニューロンの接続の重みパラメータを更新する。また、前段のニューロンについて、期待されている出力と実際の出力の差を計算する。これを局所誤差と言う。この局所誤差はさらに前段のニューロンに原因があると考え、もう一段前段のニューロンの接続の重みを更新する。こうして次々と前段のニューロンに遡って更新を行い、最終的にすべてのニューロンの接続の重みパラメータを更新していく。これがバックプロパゲーションの概要である。
wij (1):入力層から中間層における結合係数
wjk (2):中間層から出力層における結合係数
uj:中間層への入力
vk:出力層への入力
Vj:中間層からの出力
f(uj):中間層の出力関数
g(vk):出力層の出力関数
ok:出力データ
tk:教師データ
コスト関数Eを出力データと教師データの二乗誤差とすると、数2に示す式が得られる。
以上より、結合係数wij (1)及びwjk (2)の更新式は、数14及び数15に示される式となり、数14及び数15に示される式より、結合係数wij (1)及びwjk (2)を求めることが可能である。尚、中間層が増えた場合も同様に、1段前の誤差信号εを使用して更新式を表現する。
以上は、学習データが1セットとして計算してきたが、実際には複数のデータを使用する。データの数をN、n番目のデータをxi n、n番目のデータに関する各素子の誤差信号をεk n、εj nとして、勾配降下法で最適化する際の更新式は、数16及び数17に示される式となる。
ここでのαは学習率であるが、この値が大きすぎると発散するため、入力データやネットワークの構造に応じて適切な値に設定する必要がある。尚、発散を防止するため、また、学習率は小さくすると学習に時間がかかるため、発散しない範囲で学習率αを最大に設定することが一般的に行われている。
数19に示される式の右辺第1項がMomentumの項であり、Momentumの項のうち、数20に示される部分が、1ステップ前の更新量であり、εはMomentumの係数である。一般的にはε=0.9程度にすると有効であることが知られている。
(SGD)
入力データ全サンプルを評価して、更新をかけていると一回のパラメータ更新に非常に時間が掛かる。このため、ニューラルネットワークの学習では最適化問題を確率的勾配降下法(Stochastic Gradient Descent :SGD)により解くことがある。SGDは通常の勾配降下法を簡易化したものであり、オンライン学習に向いているとされる手法である。通常の勾配降下法では全データ点のコスト関数の和を最終的なコスト関数として最適化を行う。これに対して、SGDではランダムにデータ点を1つピックアップしてそのデータ点のコスト関数に対応する勾配でパラメータを更新する。更新した後、再び別のデータ点をピックアップしパラメータ更新を繰り返す。
従来の学習方法(通常の最適化の方法)は、最初に所定の学習率の初期値を設定し、パラメータ更新を進めるに伴い、学習率を減少させていく。これにより、最初に大きくパラメータを動かし解に近くして、その後、解に近くなったら細かい修正がかけられていくようにする。
次に、本実施の形態における学習方法について説明する。本実施の形態における学習方法は、学習率の初期値は、初期においてLoss値が発散しない範囲であって、最大となる値に設定する点は、従来と同様であるが、パラメータの更新が進んだ後に、少なくとも一回は、学習率を大きくする。これにより、初期の発散を抑えつつ、学習開始後に最初にパラメータの方向や、適切な初期値が決まった後に、パラメータの変更量が大きくなるため、学習の進みが早くなる。この際、前述のMomentumの項も併用することにより、パラメータの更新の方向も維持されるため、より学習速度を大きくすることが可能となる。尚、この場合、途中で学習率を大きくしても、Momentumの係数は、連続性が保たれていることが好ましい。
次に、上記の従来の学習方法と本実施の形態における学習方法において、実際に学習を行った結果について説明する。
11 CPU
12 HDD
13 RAM
14 ROM
15 入力装置
16 表示装置
17 外部I/F
20 バス
Claims (14)
- 多層ニューラルネットワークの学習を行う情報処理制御部を有する学習装置における学習方法において、
学習率の初期値により学習を開始し、学習率を前記初期値のまま、または、学習が進むにつれて前記初期値よりも学習率を減少させて学習を行う第1の学習工程と、
前記第1の学習工程の後、前記学習率を大きくする工程と、
前記大きくした学習率により学習を開始し、学習が進むにつれて学習率を減少させて学習を行う第2の学習工程と、
を有し、
前記第1の学習工程及び前記第2の学習工程は、ミニバッチを用いた勾配計算によりなされることを特徴とする学習方法。 - 前記大きくした学習率の値は、前記学習率の初期値よりも大きいことを特徴とする請求項1に記載の学習方法。
- 前記大きくした学習率の値は、前記大きくした学習率の値を初期値として学習を始めた場合に、Loss値が発散してしまう値であることを特徴とする請求項1または2に記載の学習方法。
- 前記第1の学習工程及び前記第2の学習工程における学習は、Momentumの項を含むバックプロパゲーションの更新式により行われることを特徴とする請求項1から3のいずれかに記載の学習方法。
- 前記Momentumの項は、前記第1の学習工程から前記第2の学習工程に移行する際に、連続性を保っていることを特徴とする請求項4に記載の学習方法。
- 前記第1の学習工程及び前記第2の学習工程における学習は、バックプロパゲーションの更新式により行われることを特徴とする請求項1から3のいずれかに記載の学習方法。
- 多層ニューラルネットワークは、Convolutional ニューラルネットワークであることを特徴とする請求項1から6のいずれかに記載の学習方法。
- 多層ニューラルネットワークは、Stacked Auto-Encodersであることを特徴とする請求項1から6のいずれかに記載の学習方法。
- 多層ニューラルネットワークは、Recurrent ニューラルネットワークであることを特徴とする請求項1から6のいずれかに記載の学習方法。
- 前記学習率の初期値は、Loss値が発散しない値であることを特徴とする請求項1から9のいずれかに記載の学習方法。
- 前記第2の学習工程は、学習が進むにつれて、学習率が単調減少することを特徴とする請求項1から10のいずれかに記載の学習方法。
- 前記第1の学習工程及び前記第2の学習工程における学習には、確率的勾配降下法が用いられていることを特徴とする請求項1から11のいずれかに記載の学習方法。
- 多層ニューラルネットワークの学習のプログラムにおいて、
学習率の初期値により学習を開始し、学習率を前記初期値のまま、または、学習が進むにつれて前記初期値よりも学習率を減少させて学習を行う第1の学習工程と、
前記第1の学習工程の後、前記学習率を大きくする工程と、
前記大きくした学習率により学習を開始し、学習が進むにつれて学習率を減少させて学
習を行う第2の学習工程と、
をコンピュータに実行させ、
前記第1の学習工程及び前記第2の学習工程は、ミニバッチを用いた勾配計算によりなされることを特徴とするプログラム。 - 多層ニューラルネットワークの学習を行う情報処理制御部を有する学習装置において、
前記情報処理制御部は、学習率の初期値により学習を開始し、学習率を前記初期値のまま、または、学習が進むにつれて前記初期値よりも学習率を減少させて第1の学習を行い、前記第1の学習の後、前記学習率を大きくし、前記大きくした学習率により学習を開始し、学習が進むにつれて学習率を減少させて第2の学習を行い、
前記第1の学習及び前記第2の学習は、ミニバッチを用いた勾配計算によりなされることを特徴とする学習装置。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015132829A JP6620439B2 (ja) | 2015-07-01 | 2015-07-01 | 学習方法、プログラム及び学習装置 |
US15/187,961 US20170004399A1 (en) | 2015-07-01 | 2016-06-21 | Learning method and apparatus, and recording medium |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015132829A JP6620439B2 (ja) | 2015-07-01 | 2015-07-01 | 学習方法、プログラム及び学習装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2017016414A JP2017016414A (ja) | 2017-01-19 |
JP6620439B2 true JP6620439B2 (ja) | 2019-12-18 |
Family
ID=57683052
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015132829A Active JP6620439B2 (ja) | 2015-07-01 | 2015-07-01 | 学習方法、プログラム及び学習装置 |
Country Status (2)
Country | Link |
---|---|
US (1) | US20170004399A1 (ja) |
JP (1) | JP6620439B2 (ja) |
Families Citing this family (27)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9715642B2 (en) | 2014-08-29 | 2017-07-25 | Google Inc. | Processing images using deep neural networks |
WO2018033137A1 (zh) * | 2016-08-19 | 2018-02-22 | 北京市商汤科技开发有限公司 | 在视频图像中展示业务对象的方法、装置和电子设备 |
CN110168572A (zh) * | 2017-01-13 | 2019-08-23 | 凯迪迪爱通信技术有限公司 | 信息处理方法、信息处理装置、计算机可读存储介质 |
US10685432B2 (en) | 2017-01-18 | 2020-06-16 | Ricoh Company, Ltd. | Information processing apparatus configured to determine whether an abnormality is present based on an integrated score, information processing method and recording medium |
JP6378855B1 (ja) | 2017-01-20 | 2018-08-22 | 楽天株式会社 | 画像検索システム、画像検索方法およびプログラム |
JP6809250B2 (ja) | 2017-01-23 | 2021-01-06 | 株式会社リコー | 情報処理装置、情報処理方法およびプログラム |
JP7013651B2 (ja) * | 2017-02-06 | 2022-02-01 | 株式会社リコー | サーバ装置、判別プログラム及び判別システム |
JP2018156451A (ja) * | 2017-03-17 | 2018-10-04 | 株式会社東芝 | ネットワーク学習装置、ネットワーク学習システム、ネットワーク学習方法およびプログラム |
WO2018189791A1 (ja) * | 2017-04-10 | 2018-10-18 | ソフトバンク株式会社 | 情報処理装置、情報処理方法、およびプログラム |
US11494388B2 (en) | 2017-04-10 | 2022-11-08 | Softbank Corp. | Information processing apparatus, information processing method, and program |
JP6864085B2 (ja) * | 2017-04-10 | 2021-04-21 | ソフトバンク株式会社 | 情報処理装置、情報処理方法、およびプログラム |
JP6866762B2 (ja) * | 2017-05-18 | 2021-04-28 | いすゞ自動車株式会社 | 車両用情報処理システム |
JP6673293B2 (ja) * | 2017-05-24 | 2020-03-25 | トヨタ自動車株式会社 | 車両システム |
US11605002B2 (en) | 2017-08-16 | 2023-03-14 | Sony Corporation | Program, information processing method, and information processing apparatus |
IL273991B2 (en) * | 2017-10-26 | 2023-11-01 | Magic Leap Inc | Gradual normalization systems and methods for adaptive loss balancing in deep multitasking networks |
US10373056B1 (en) * | 2018-01-25 | 2019-08-06 | SparkCognition, Inc. | Unsupervised model building for clustering and anomaly detection |
WO2020031851A1 (ja) | 2018-08-08 | 2020-02-13 | 富士フイルム株式会社 | 画像処理方法及び画像処理装置 |
JP7203563B2 (ja) * | 2018-10-29 | 2023-01-13 | 日立Astemo株式会社 | 移動体挙動予測装置 |
CN109682392B (zh) * | 2018-12-28 | 2020-09-01 | 山东大学 | 基于深度强化学习的视觉导航方法及*** |
JP7169210B2 (ja) * | 2019-01-28 | 2022-11-10 | 株式会社荏原製作所 | 研磨方法および研磨装置 |
US10635941B1 (en) * | 2019-01-29 | 2020-04-28 | StradVision, Inc. | Method and device for on-device continual learning of neural network which analyzes input data by optimized sampling of training images, and method and device for testing the neural network for smartphones, drones, vessels, or military purpose |
CN109901389A (zh) * | 2019-03-01 | 2019-06-18 | 国网甘肃省电力公司电力科学研究院 | 一种基于深度学习的新能源消纳方法 |
JP7326867B2 (ja) | 2019-05-21 | 2023-08-16 | 富士通株式会社 | 情報処理装置、情報処理プログラム及び情報処理方法 |
JP7279507B2 (ja) | 2019-05-21 | 2023-05-23 | 富士通株式会社 | 情報処理装置、情報処理プログラム及び制御方法 |
JP7363145B2 (ja) | 2019-07-12 | 2023-10-18 | 株式会社リコー | 学習装置および学習方法 |
US11521063B1 (en) * | 2019-12-17 | 2022-12-06 | Bae Systems Information And Electronic Systems Integration Inc. | System and method for terminal acquisition with a neural network |
CN114707532B (zh) * | 2022-01-11 | 2023-05-19 | 中铁隧道局集团有限公司 | 一种基于改进的Cascade R-CNN的探地雷达隧道病害目标检测方法 |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0581227A (ja) * | 1990-03-16 | 1993-04-02 | Hughes Aircraft Co | 神経系回路網信号処理装置及び信号処理方法 |
JP2983159B2 (ja) * | 1995-09-29 | 1999-11-29 | 東日本旅客鉄道株式会社 | 蓄熱利用システムおよびその制御方法 |
JP4123469B2 (ja) * | 2002-04-15 | 2008-07-23 | グローリー株式会社 | 特徴抽出方法 |
JP4246120B2 (ja) * | 2004-07-21 | 2009-04-02 | シャープ株式会社 | 楽曲検索システムおよび楽曲検索方法 |
JP2008020872A (ja) * | 2006-06-14 | 2008-01-31 | Denso Corp | 車両用音声認識装置及び車両用ナビゲーション装置 |
US20090299929A1 (en) * | 2008-05-30 | 2009-12-03 | Robert Kozma | Methods of improved learning in simultaneous recurrent neural networks |
JP2012099687A (ja) * | 2010-11-04 | 2012-05-24 | Nikon Corp | 光源調整方法、露光方法、及びデバイス製造方法 |
-
2015
- 2015-07-01 JP JP2015132829A patent/JP6620439B2/ja active Active
-
2016
- 2016-06-21 US US15/187,961 patent/US20170004399A1/en not_active Abandoned
Also Published As
Publication number | Publication date |
---|---|
JP2017016414A (ja) | 2017-01-19 |
US20170004399A1 (en) | 2017-01-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6620439B2 (ja) | 学習方法、プログラム及び学習装置 | |
EP3711000B1 (en) | Regularized neural network architecture search | |
US20190138887A1 (en) | Systems, methods, and media for gated recurrent neural networks with reduced parameter gating signals and/or memory-cell units | |
US20170147921A1 (en) | Learning apparatus, recording medium, and learning method | |
US10460230B2 (en) | Reducing computations in a neural network | |
EP4312157A2 (en) | Progressive neurale netzwerke | |
US20160012330A1 (en) | Neural network and method of neural network training | |
CN109690576A (zh) | 在多个机器学习任务上训练机器学习模型 | |
US10592777B2 (en) | Systems and methods for slate optimization with recurrent neural networks | |
CN110175628A (zh) | 一种基于自动搜索与知识蒸馏的神经网络剪枝的压缩算法 | |
EP3469521A1 (en) | Neural network and method of neural network training | |
JP6831347B2 (ja) | 学習装置、学習方法および学習プログラム | |
US11475236B2 (en) | Minimum-example/maximum-batch entropy-based clustering with neural networks | |
CN109145107B (zh) | 基于卷积神经网络的主题提取方法、装置、介质和设备 | |
CN111353534B (zh) | 一种基于自适应分数阶梯度的图数据类别预测方法 | |
CN113590748B (zh) | 基于迭代网络组合的情感分类持续学习方法及存储介质 | |
US20230086727A1 (en) | Method and information processing apparatus that perform transfer learning while suppressing occurrence of catastrophic forgetting | |
CN111602145A (zh) | 卷积神经网络的优化方法及相关产品 | |
JP7438544B2 (ja) | ニューラルネットワーク処理装置、コンピュータプログラム、ニューラルネットワーク製造方法、ニューラルネットワークデータの製造方法、ニューラルネットワーク利用装置、及びニューラルネットワーク小規模化方法 | |
US11645519B2 (en) | Filtering data in orthogonal directions through a convolutional neural network | |
CN110659962B (zh) | 一种商品信息输出方法及相关装置 | |
JP6942204B2 (ja) | データ処理システムおよびデータ処理方法 | |
JP2021081930A (ja) | 学習装置、情報分類装置、及びプログラム | |
Tsaih et al. | Pupil Learning Mechanism | |
JP2019095894A (ja) | 推定装置、学習装置、学習済みモデル、推定方法、学習方法、及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180612 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20190625 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190730 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190927 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20191023 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20191105 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6620439 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |