JP6227813B1 - 分散深層学習装置及び分散深層学習システム - Google Patents
分散深層学習装置及び分散深層学習システム Download PDFInfo
- Publication number
- JP6227813B1 JP6227813B1 JP2017011699A JP2017011699A JP6227813B1 JP 6227813 B1 JP6227813 B1 JP 6227813B1 JP 2017011699 A JP2017011699 A JP 2017011699A JP 2017011699 A JP2017011699 A JP 2017011699A JP 6227813 B1 JP6227813 B1 JP 6227813B1
- Authority
- JP
- Japan
- Prior art keywords
- gradient
- unit
- quantization
- quantized
- deep learning
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Software Systems (AREA)
- Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Mathematical Physics (AREA)
- General Physics & Mathematics (AREA)
- Computing Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Medical Informatics (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- General Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Abstract
Description
以下、図面を参照しながら、本発明に係る分散深層学習装置10について説明する。図1は、本発明に係る分散深層学習装置10の構成を表したブロック図である。なお、分散深層学習装置10は、専用マシンとして設計した装置であってもよいが、一般的なコンピュータによって実現可能なものであるものとする。この場合に、分散深層学習装置10は、一般的なコンピュータが通常備えているであろうCPU(Central Processing Unit:中央演算処理装置)、GPU(Graphics Processing Unit:画像処理装置)、メモリ、ハードディスクドライブ等のストレージを具備しているものとする(図示省略)。また、これらの一般的なコンピュータを本例の分散深層学習装置10として機能させるためにプログラムよって各種処理が実行されることは言うまでもない。
前記第1の実施の形態においては、分散深層学習装置10のそれぞれが同様に、勾配の演算、所定倍後の剰余分の加算、勾配の量子化、剰余分の記憶、勾配の復元、勾配の集約、パラメータの更新の各機能を実行するものとして説明を行っていたが、これに限定されるものではない。
11 通信部
12 勾配計算部
13 量子化剰余加算部
14 勾配量子化部
15 勾配復元部
16 量子化剰余記憶部
17 勾配集約部
18 パラメータ更新部
19 集約勾配剰余加算部
20 集約勾配量子化部
21 集約勾配剰余記憶部
Claims (2)
- 少なくとも1以上の学習装置との間で量子化された勾配を交換して分散して深層学習を行うための分散深層学習装置であって、
他の学習装置との間で通信によって量子化された勾配を交換する通信部と、
現在のパラメータの勾配を計算する勾配計算部と、
前記勾配計算部で求めた勾配に対して、前回勾配を量子化した時の剰余分に0より大きく1より小さい所定倍率を乗算したものを加算する量子化剰余加算部と、
前記量子化剰余加算部によって所定倍後の剰余分が加算された勾配を量子化する勾配量子化部と、
前記通信部で受信した量子化された勾配を本来の精度の勾配に復元する勾配復元部と、
前記勾配量子化部において勾配を量子化した時の剰余分を記憶する量子化剰余記憶部と、
前記通信部で集められた勾配を集約して集約された勾配を計算する勾配集約部と、
前記勾配集約部で集約された勾配に基づいてパラメータを更新するパラメータ更新部と
を備えた分散深層学習装置。 - 1以上のマスターノードと、1以上のスレーブノードとの間で量子化された勾配を交換して分散して深層学習を行うための分散深層学習システムであって、
前記マスターノードは、
前記スレーブノードとの間で通信によって量子化された勾配を交換する通信部と、
現在のパラメータの勾配を計算する勾配計算部と、
前記勾配計算部で求めた勾配に対して、前回勾配を量子化した時の剰余分に0より大きく1より小さい所定倍率を乗算したものを加算する量子化剰余加算部と、
前記量子化剰余加算部によって所定倍後の剰余分が加算された勾配を量子化する勾配量子化部と、
前記通信部で受信した量子化された勾配を本来の精度の勾配に復元する勾配復元部と、
前記勾配量子化部において勾配を量子化した時の剰余分を記憶する量子化剰余記憶部と、
前記通信部で集められた勾配を集約して集約された勾配を計算する勾配集約部と、
前記勾配集約部で集約された勾配に対して、前回集約勾配を量子化した時の集約勾配剰余分に0より大きく1より小さい所定倍率を乗算して加算する集約勾配剰余加算部と、
前記集約勾配剰余加算部で剰余分が加算された集約勾配について量子化を行う集約勾配量子化部と、
前記集約勾配量子化部で量子化した時の剰余分を記憶させる集約勾配剰余記憶部と、
前記勾配集約部で集約された勾配に基づいてパラメータを更新するパラメータ更新部
とを備え、
前記スレーブノードは、
前記マスターノードに対して量子化された勾配を送信し、前記マスターノードから前記集約勾配量子化部で量子化された集約勾配を受信する通信部と、
現在のパラメータの勾配を計算する勾配計算部と、
前記勾配計算部で求めた勾配に対して、前回勾配を量子化した時の剰余分に0より大きく1より小さい所定倍率を乗算したものを加算する量子化剰余加算部と、
前記量子化剰余加算部によって所定倍後の剰余分が加算された勾配を量子化する勾配量子化部と、
前記通信部で受信した量子化された集約勾配を本来の精度の勾配に復元する勾配復元部と、
前記勾配量子化部において勾配を量子化した時の剰余分を記憶する量子化剰余記憶部と、
前記勾配復元部で復元した集約勾配に基づいてパラメータを更新するパラメータ更新部
とを備えた分散深層学習システム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017011699A JP6227813B1 (ja) | 2017-01-25 | 2017-01-25 | 分散深層学習装置及び分散深層学習システム |
US15/879,168 US20180211166A1 (en) | 2017-01-25 | 2018-01-24 | Distributed deep learning device and distributed deep learning system |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017011699A JP6227813B1 (ja) | 2017-01-25 | 2017-01-25 | 分散深層学習装置及び分散深層学習システム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP6227813B1 true JP6227813B1 (ja) | 2017-11-08 |
JP2018120441A JP2018120441A (ja) | 2018-08-02 |
Family
ID=60265783
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017011699A Expired - Fee Related JP6227813B1 (ja) | 2017-01-25 | 2017-01-25 | 分散深層学習装置及び分散深層学習システム |
Country Status (2)
Country | Link |
---|---|
US (1) | US20180211166A1 (ja) |
JP (1) | JP6227813B1 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109635922A (zh) * | 2018-11-20 | 2019-04-16 | 华中科技大学 | 一种分布式深度学习参数量化通信优化方法及*** |
Families Citing this family (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2019080232A (ja) * | 2017-10-26 | 2019-05-23 | 株式会社Preferred Networks | 勾配圧縮装置、勾配圧縮方法及びプログラム |
JP7238376B2 (ja) * | 2018-12-14 | 2023-03-14 | 富士通株式会社 | 情報処理システム及び情報処理システムの制御方法 |
US11501160B2 (en) | 2019-03-28 | 2022-11-15 | International Business Machines Corporation | Cloud computing data compression for allreduce in deep learning |
WO2020217965A1 (ja) * | 2019-04-24 | 2020-10-29 | ソニー株式会社 | 情報処理装置、情報処理方法及び情報処理プログラム |
EP3745314A1 (en) * | 2019-05-27 | 2020-12-02 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Method, apparatus and computer program for training deep networks |
CN110531617B (zh) * | 2019-07-30 | 2021-01-08 | 北京邮电大学 | 多无人机3d悬停位置联合优化方法、装置和无人机基站 |
CN110659678B (zh) * | 2019-09-09 | 2023-11-17 | 腾讯科技(深圳)有限公司 | 一种用户行为分类方法、***及存储介质 |
JP7322622B2 (ja) | 2019-09-17 | 2023-08-08 | 富士通株式会社 | 情報処理装置、情報処理方法及び情報処理プログラム |
CN112651411B (zh) * | 2019-10-10 | 2022-06-07 | 中国人民解放军国防科技大学 | 分布式深度学习的梯度量化方法和*** |
CN112463189B (zh) * | 2020-11-20 | 2022-04-22 | 中国人民解放军国防科技大学 | 基于通信操作稀疏化的分布式深度学习多步延迟更新方法 |
JP2022136575A (ja) | 2021-03-08 | 2022-09-21 | オムロン株式会社 | 推論装置、モデル生成装置、推論方法、及び推論プログラム |
JP7522076B2 (ja) | 2021-06-01 | 2024-07-24 | 日本電信電話株式会社 | 変数最適化システム |
KR20230135435A (ko) * | 2022-03-16 | 2023-09-25 | 서울대학교산학협력단 | 이력 현상을 이용한 파라미터 양자화 기반 인공 신경망 연산 방법 및 장치 |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2014020959A1 (ja) * | 2012-07-30 | 2014-02-06 | 日本電気株式会社 | 分散処理装置及び分散処理システム並びに分散処理方法 |
-
2017
- 2017-01-25 JP JP2017011699A patent/JP6227813B1/ja not_active Expired - Fee Related
-
2018
- 2018-01-24 US US15/879,168 patent/US20180211166A1/en not_active Abandoned
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2014020959A1 (ja) * | 2012-07-30 | 2014-02-06 | 日本電気株式会社 | 分散処理装置及び分散処理システム並びに分散処理方法 |
Non-Patent Citations (3)
Title |
---|
SEIDE, FRANK ET AL.: "1-Bit Stochastic Gradient Descent and its Application to Data-Parallel Distributed Training of Speec", INTERSPEECH 2014 [ONLINE], vol. [検索日 2017.06.14], JPN6017022886, 14 September 2014 (2014-09-14), pages 1058 - 1062 * |
SU, HANG ET AL., EXPERIMENTS ON PARALLEL TRAINING OF DEEP NEURAL NETWORK USING MODEL AVERAGING [ONLINE], vol. [検索日 2017.06.14], JPN6017022887, 18 June 2016 (2016-06-18) * |
久保 陽太郎: "ニューラルネットワーク研究のフロンティア", 人工知能, vol. 第31巻, 第2号, JPN6017022888, 1 March 2016 (2016-03-01), JP, pages 第180-188頁 * |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109635922A (zh) * | 2018-11-20 | 2019-04-16 | 华中科技大学 | 一种分布式深度学习参数量化通信优化方法及*** |
CN109635922B (zh) * | 2018-11-20 | 2022-12-02 | 华中科技大学 | 一种分布式深度学习参数量化通信优化方法及*** |
Also Published As
Publication number | Publication date |
---|---|
US20180211166A1 (en) | 2018-07-26 |
JP2018120441A (ja) | 2018-08-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6227813B1 (ja) | 分散深層学習装置及び分散深層学習システム | |
CN109740755B (zh) | 一种基于梯度下降法的数据处理方法及相关装置 | |
CN114745317B (zh) | 面向算力网络的计算任务调度方法及相关设备 | |
CN109343942B (zh) | 基于边缘计算网络的任务调度方法 | |
CN107729138B (zh) | 一种高性能分布式矢量空间数据的分析方法和装置 | |
CN108304256B (zh) | 一种边缘计算中低开销的任务调度方法及装置 | |
CN111277511A (zh) | 传输速率控制方法、装置、计算机***及可读存储介质 | |
CN116541106B (zh) | 计算任务卸载方法、计算设备及存储介质 | |
CN118095103B (zh) | 水厂数字孪生应用增强方法、装置、存储介质及电子设备 | |
CN113900779A (zh) | 任务执行方法、装置、电子设备及存储介质 | |
CN115357351A (zh) | 算力网络调度方法、装置、***、设备及介质 | |
Prasad et al. | Resource allocation and SLA determination for large data processing services over cloud | |
CN109684077A (zh) | 用于spark streaming的资源动态分配和反馈方法及装置 | |
CN105760227A (zh) | 云环境下资源调度方法及*** | |
CN116996938A (zh) | 车联网任务卸载方法、终端设备及存储介质 | |
Ferragut et al. | Content dynamics in P2P networks from queueing and fluid perspectives | |
US10394810B1 (en) | Iterative Z-score calculation for big data using components | |
Mukherjee et al. | Timed loops for distributed storage in wireless networks | |
JP6602252B2 (ja) | リソース管理装置及びリソース管理方法 | |
CN103873388A (zh) | 一种网络内容控制方法和网络设备 | |
CN109491594B (zh) | 矩阵求逆过程中优化数据存储空间的方法和装置 | |
US10235415B1 (en) | Iterative variance and/or standard deviation calculation for big data using components | |
US10318530B1 (en) | Iterative kurtosis calculation for big data using components | |
JP2015075830A (ja) | 並列処理管理プログラム、並列処理管理方法、及び、並列処理管理装置 | |
WO2021095196A1 (ja) | 分散深層学習システムおよび分散深層学習方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170828 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20170912 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20171011 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6227813 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |