JP7501315B2 - 演算処理プログラム、演算処理方法および情報処理装置 - Google Patents
演算処理プログラム、演算処理方法および情報処理装置 Download PDFInfo
- Publication number
- JP7501315B2 JP7501315B2 JP2020185813A JP2020185813A JP7501315B2 JP 7501315 B2 JP7501315 B2 JP 7501315B2 JP 2020185813 A JP2020185813 A JP 2020185813A JP 2020185813 A JP2020185813 A JP 2020185813A JP 7501315 B2 JP7501315 B2 JP 7501315B2
- Authority
- JP
- Japan
- Prior art keywords
- machine learning
- learning
- layer
- skip
- rate
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000004364 calculation method Methods 0.000 title claims description 24
- 238000003672 processing method Methods 0.000 title claims description 4
- 230000010365 information processing Effects 0.000 title description 33
- 238000010801 machine learning Methods 0.000 claims description 135
- 238000000034 method Methods 0.000 claims description 40
- 230000008569 process Effects 0.000 claims description 30
- 230000001629 suppression Effects 0.000 claims description 9
- 230000007423 decrease Effects 0.000 claims description 6
- 230000005764 inhibitory process Effects 0.000 claims 1
- 238000010586 diagram Methods 0.000 description 28
- 238000000605 extraction Methods 0.000 description 24
- 238000004891 communication Methods 0.000 description 20
- 238000005516 engineering process Methods 0.000 description 8
- 230000006870 function Effects 0.000 description 8
- 230000003247 decreasing effect Effects 0.000 description 6
- 230000002776 aggregation Effects 0.000 description 5
- 238000004220 aggregation Methods 0.000 description 5
- 238000013135 deep learning Methods 0.000 description 5
- 230000006872 improvement Effects 0.000 description 5
- 230000000694 effects Effects 0.000 description 4
- 238000003860 storage Methods 0.000 description 4
- 238000013528 artificial neural network Methods 0.000 description 3
- 238000013016 damping Methods 0.000 description 3
- 230000009467 reduction Effects 0.000 description 3
- 230000015556 catabolic process Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000006731 degradation reaction Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 230000006866 deterioration Effects 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 230000010354 integration Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 241001465754 Metazoa Species 0.000 description 1
- 230000002238 attenuated effect Effects 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 238000004904 shortening Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
- G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- Mathematical Physics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- General Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Medical Informatics (AREA)
- Feedback Control In General (AREA)
- Image Analysis (AREA)
Description
実施例1にかかる情報処理装置10は、機械学習処理の高速化を実現するために、複数のGPUを用いた分散処理により、機械学習モデルの生成を実行する。図1は、実施例1にかかる情報処理装置10の分散学習を説明する図である。図1に示すように、情報処理装置10は、CPU(Central Processing Unit)と複数のGPUとを有するコンピュータの一例である。CPUは、情報処理装置10全体を司る制御を実行し、機械学習モデルの生成を統合的に管理する。各GPUは、CPUからの指示に応じて、機械学習モデルの機械学習を実行する。なお、分散処理の手法は、公知の手法を採用することができる。
図4は、実施例1にかかる情報処理装置10の機能構成を示す機能ブロック図である。図4に示すように、情報処理装置10は、通信部11、記憶部12、統合処理部20、複数の分散処理部30を有する。
次に、各分散処理部30の詳細について説明する。なお、各分散処理部30は、同様の構成を有する。図5は、分散処理部30の詳細を説明する図である。図5に示すように、分散処理部30は、順伝播処理部31、誤差逆伝播処理部32、候補抽出部35、スキップ制御部36を有する。
図11は、実施例1にかかる機械学習処理の流れを示すフローチャートである。図11に示すように、機械学習が開始されると(S101:Yes)、順伝播処理部31は、訓練データを読み込み(S102)、順伝播処理を実行する(S103)。
上述したように、情報処理装置10は、機械学習モデル14内の各ブロックにおいて、機械学習が終了した層の重み更新処理やバックプロパゲーション(誤差逆伝搬)処理をスキップさせることにより、無駄な計算および更新処理を大幅に削減することができる。また、情報処理装置10は、学習率の制動距離(BD)の適用により、精度劣化を抑え、精度を保ちつつ、機械学習モデル14全体の高速化を実現することができる。
上記実施例で用いたブロック数、層数、各種閾値、数値、GPU数等は、あくまで一例であり、任意に変更することができる。また、学習率は、低下させるだけではなく、増加させることもできる。また、学習スキップの判定は、イテレーションごとに限らず、エポックごとに判定することもできる。なお、LRスケジューラと学習率を制御するスケジューラは、同じスケジューラを使用する方が好ましい。
例えば、上記例では、ブロックに属する層のうち、最後の層の誤差勾配やブロックに属する各層の誤差勾配の平均値が閾値未満か否かにより、スキップ対象と判定することもできる。また、上記実施例では、ブロック単位でスキップ制御やBD設定を行う例を説明したが、これに限定されるものではなく、層単位で制御することもできる。例えば、情報処理装置10は、誤差勾配の差が閾値未満である層を複数検出した場合、入力層から近い順に所定数の層をスキップ対象と判定することもできる。
上記実施例では、各ブロックについて同じBD値を設定する例を説明したが、これに限定されるものではなく、各ブロックについて異なるBD値を設定することもできる。例えば、機械学習が進んだ状態で機械学習を停止させる出力層に近いブロックについては、比較的早い機械学習を段階で停止させる入力層に近いブロックよりも短いBD値を設定することができる。
上記文書中や図面中で示した処理手順、制御手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。
次に、上記実施例で説明した情報処理装置10のハードウェア構成例を説明する。図15は、ハードウェア構成例を説明する図である。図15に示すように、情報処理装置10、通信装置10a、HDD(Hard Disk Drive)10b、メモリ10c、CPU10d、複数のGPU10eを有する。また、図15に示した各部は、バス等で相互に接続される。
11 通信部
12 記憶部
13 訓練データDB
14 機械学習モデル
20 統合処理部
30 分散処理部
31 順伝播処理部
32 誤差逆伝播処理部
33 誤差勾配算出部
34 通信制御部
35 候補抽出部
36 スキップ制御部
Claims (9)
- コンピュータに、
機械学習モデルの機械学習時に、前記機械学習モデルの入力層を含む、前記機械学習モデルが有する複数の層について誤差勾配を算出し、
前記誤差勾配が閾値未満である層を、前記機械学習の抑制対象に選択し、
前記抑制対象に選択された層について、前記機械学習を抑制させるまでの一定期間の間、学習率を制御して前記機械学習を実行する
処理を実行させることを特徴とする演算処理プログラム。 - 前記実行する処理は、前記抑制対象に選択された層について、イテレーションごとに、制御開始時の学習率と前記一定期間とイテレーション数とを用いて前記学習率を算出し、算出された前記学習率を用いて前記機械学習を実行することを特徴とする請求項1に記載の演算処理プログラム。
- 前記実行する処理は、前記一定期間の経過時に収束させるように、前記イテレーションごとに前記学習率を低下させることを特徴とする請求項2に記載の演算処理プログラム。
- 前記選択する処理は、
前記複数の層を前記入力層からの順で複数のブロックに分割し、
前記複数のブロックに属する各層の前記誤差勾配を用いて、前記機械学習の抑制対象とするブロックを選択し、
前記実行する処理は、
前記抑制対象に選択された前記ブロックに属する各層について、前記学習率を制御して前記機械学習を実行する、ことを特徴とする請求項2に記載の演算処理プログラム。 - 前記選択する処理は、前記入力層に近い順で、前記機械学習の抑制対象とするブロックを選択することを特徴とする請求項4に記載の演算処理プログラム。
- 前記実行する処理は、前記複数のブロックのうち、前記入力層に近いほど長い前記一定期間を用いて、前記イテレーションごとに前記学習率を算出することを特徴とする請求項4または5に記載の演算処理プログラム。
- 前記実行する処理は、前記複数のブロックについて、前記一定期間内に収束させる学習率を変更し、前記一定期間の経過時に収束させるように前記イテレーションごとに前記学習率を低下させることを特徴とする請求項4から6のいずれか一つに記載の演算処理プログラム。
- コンピュータが、
機械学習モデルの機械学習時に、前記機械学習モデルの入力層を含む、前記機械学習モデルが有する複数の層について誤差勾配を算出し、
前記誤差勾配が閾値未満である層を、前記機械学習の抑制対象に選択し、
前記抑制対象に選択された層について、前記機械学習を抑制させるまでの一定期間の間、学習率を制御して前記機械学習を実行する
処理を実行させることを特徴とする演算処理方法。 - 機械学習モデルの機械学習時に、前記機械学習モデルの入力層を含む、前記機械学習モデルが有する複数の層について誤差勾配を算出する算出部と、
前記誤差勾配が閾値未満である層を、前記機械学習の抑制対象に選択する選択部と、
前記抑制対象に選択された層について、前記機械学習を抑制させるまでの一定期間の間、学習率を制御して前記機械学習を実行する実行部と
を有することを特徴とする情報処理装置。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020185813A JP7501315B2 (ja) | 2020-11-06 | 2020-11-06 | 演算処理プログラム、演算処理方法および情報処理装置 |
US17/460,373 US20220147872A1 (en) | 2020-11-06 | 2021-08-30 | Computer-readable recording medium storing calculation processing program, calculation processing method, and information processing device |
EP21194157.0A EP3996005A1 (en) | 2020-11-06 | 2021-08-31 | Calculation processing program, calculation processing method, and information processing device |
CN202111075987.XA CN114444710A (zh) | 2020-11-06 | 2021-09-14 | 计算机可读记录介质、计算处理方法和信息处理设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020185813A JP7501315B2 (ja) | 2020-11-06 | 2020-11-06 | 演算処理プログラム、演算処理方法および情報処理装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2022075190A JP2022075190A (ja) | 2022-05-18 |
JP7501315B2 true JP7501315B2 (ja) | 2024-06-18 |
Family
ID=77595339
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020185813A Active JP7501315B2 (ja) | 2020-11-06 | 2020-11-06 | 演算処理プログラム、演算処理方法および情報処理装置 |
Country Status (4)
Country | Link |
---|---|
US (1) | US20220147872A1 (ja) |
EP (1) | EP3996005A1 (ja) |
JP (1) | JP7501315B2 (ja) |
CN (1) | CN114444710A (ja) |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20160307098A1 (en) | 2015-04-19 | 2016-10-20 | International Business Machines Corporation | Annealed dropout training of neural networks |
JP2018160200A (ja) | 2017-03-24 | 2018-10-11 | 富士通株式会社 | ニューラルネットワークの学習方法、ニューラルネットワークの学習プログラム及びニューラルネットワークの学習装置 |
US20200252301A1 (en) | 2019-02-06 | 2020-08-06 | TensorDRO, Inc. | System and methods for data evaluation through network sensitivity analysis |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH11126199A (ja) | 1997-10-23 | 1999-05-11 | Sharp Corp | ニューラルネットワークの学習方法 |
US20190095794A1 (en) * | 2017-09-26 | 2019-03-28 | Intel Corporation | Methods and apparatus for training a neural network |
JP7047612B2 (ja) | 2018-06-08 | 2022-04-05 | 沖電気工業株式会社 | ニューラルネットワーク軽量化装置、情報処理装置、ニューラルネットワーク軽量化方法およびプログラム |
JP7010153B2 (ja) | 2018-06-15 | 2022-01-26 | 日本電信電話株式会社 | 分散処理システムおよび分散処理方法 |
CN110782017B (zh) * | 2019-10-25 | 2022-11-22 | 北京百度网讯科技有限公司 | 用于自适应调整学习率的方法和装置 |
-
2020
- 2020-11-06 JP JP2020185813A patent/JP7501315B2/ja active Active
-
2021
- 2021-08-30 US US17/460,373 patent/US20220147872A1/en active Pending
- 2021-08-31 EP EP21194157.0A patent/EP3996005A1/en active Pending
- 2021-09-14 CN CN202111075987.XA patent/CN114444710A/zh active Pending
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20160307098A1 (en) | 2015-04-19 | 2016-10-20 | International Business Machines Corporation | Annealed dropout training of neural networks |
JP2018160200A (ja) | 2017-03-24 | 2018-10-11 | 富士通株式会社 | ニューラルネットワークの学習方法、ニューラルネットワークの学習プログラム及びニューラルネットワークの学習装置 |
US20200252301A1 (en) | 2019-02-06 | 2020-08-06 | TensorDRO, Inc. | System and methods for data evaluation through network sensitivity analysis |
Also Published As
Publication number | Publication date |
---|---|
JP2022075190A (ja) | 2022-05-18 |
EP3996005A1 (en) | 2022-05-11 |
US20220147872A1 (en) | 2022-05-12 |
CN114444710A (zh) | 2022-05-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2017097585A (ja) | 学習装置、プログラム及び学習方法 | |
US20210406683A1 (en) | Learning method and information processing apparatus | |
CN111291894B (zh) | 超参数优化过程中的资源调度方法、装置、设备及介质 | |
KR20200113744A (ko) | 심층 신경망 분할 방법 및 장치 | |
JP7501315B2 (ja) | 演算処理プログラム、演算処理方法および情報処理装置 | |
EP3926547A1 (en) | Program, learning method, and information processing apparatus | |
US20230023241A1 (en) | Computer-readable recording medium storing machine learning program, information processing device, and machine learning method | |
JP2023046868A (ja) | 機械学習プログラム、機械学習方法および情報処理装置 | |
EP3995999A1 (en) | Machine learning program, machine learning method, and information processing apparatus | |
JP2023040492A (ja) | 高速化プログラム、高速化方法および情報処理装置 | |
KR20220162096A (ko) | 심층신경망의 강화학습 에이전트의 합리적인 행동 결정 유도 방법 | |
KR20220099487A (ko) | 멀티에이전트 강화학습에서 호기심 기반 탐색 및 경험 데이터 우선순위 결정 방법 | |
US11455533B2 (en) | Information processing apparatus, control method, and non-transitory computer-readable storage medium for storing information processing program | |
CN114138416A (zh) | 面向负载-时间窗口的基于dqn云软件资源自适应分配方法 | |
US20210089885A1 (en) | Training device and training method | |
JP2021043915A (ja) | 情報処理装置、情報処理プログラム、及び情報処理方法 | |
US20240193424A1 (en) | Computer-readable recording medium storing distributed learning program, distributed learning method, and distributed learning device | |
WO2023214585A1 (ja) | 学習装置、学習方法及び学習プログラム | |
WO2022070324A1 (ja) | 移動体制御装置、移動体制御方法、移動体制御システム及び移動体制御プログラムを記録したコンピュータ読み取り可能な非一時的な記憶媒体 | |
KR102144211B1 (ko) | 데이터 센터의 발열 관리 방법 및 장치 | |
CN117839220A (zh) | 基于强化学习的游戏引擎优化方法及装置 | |
JP2022175265A (ja) | 機械学習プログラム,機械学習方法および情報処理装置 | |
CN115917560A (zh) | 信息处理装置、信息处理方法以及信息处理程序 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230707 |
|
TRDD | Decision of grant or rejection written | ||
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20240424 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240507 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240520 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7501315 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |