JP2012022558A - 分散計算システム - Google Patents
分散計算システム Download PDFInfo
- Publication number
- JP2012022558A JP2012022558A JP2010160551A JP2010160551A JP2012022558A JP 2012022558 A JP2012022558 A JP 2012022558A JP 2010160551 A JP2010160551 A JP 2010160551A JP 2010160551 A JP2010160551 A JP 2010160551A JP 2012022558 A JP2012022558 A JP 2012022558A
- Authority
- JP
- Japan
- Prior art keywords
- data
- learning
- worker
- model
- processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
- G06N20/20—Ensemble learning
Abstract
【解決手段】分散計算システムの制御部は特徴量データの割り当てと、データ適用部、モデル更新部の第1の計算機へ割り当てる。データ適用部は機械学習アルゴリズムの反復計算を担当し、学習の開始時にネットワークを通じて特徴量データを取得し、ローカル記憶装置に格納する。2回目以降の学習処理の反復時にはローカル記憶装置から特徴量データを読み込んで学習処理を行う。特徴量データは学習の終了までローカル記憶装置に保持される。データ適用部は学習結果のみをモデル更新部に送信し、モデル更新部からの次の入力を待ち受ける。モデル更新部はモデルパラメータの初期化と統合と収束判定を行い収束していれば、処理を終了し、収束していなければ、新しいモデルパラメータをデータ適用部に送信する。
【選択図】図3
Description
図1は、本発明の分散計算機システムで使用する計算機のブロック図である。分散計算機システムで使用する計算機500は図1に示すような汎用の計算機500を想定しており、具体的にはPCサーバで構成している。PCサーバは中央演算装置(Central Processing Unit、CPU)510とメモリ520とローカルファイルシステム530と入力装置540と出力装置550とネットワークデバイス560とバス570を有する。CPU510からネットワークデバイス560までの各装置はバス570によって接続されている。ネットワークを介してリモートから操作する場合、入力装置540と出力装置550については省略可能である。また、ローカルファイルシステム530とは、計算機に内蔵ないし外部に接続された書き換え可能な記憶領域を指し、具体的には、ハードディスクドライブやソリッドステートドライブ、RAMディスクなどの記憶装置である。
f(x)= (w,x)+b
と関数fで表される。ここで(w,x)はベクトルwとxの内積を表す。上式のwとbがモデルパラメータである。yi=f(xi)が小さい誤差で成り立つようにwとxを決めることが、機械学習の目的である。以下では特徴量データを用いて、モデルパラメータを推定することを学習と呼ぶ。
1)識別モデルや回帰モデルをもつ。
2)特徴量データを上記モデルに適用することでモデルパラメータの妥当性を調べる。
3)モデルパラメータの妥当性をフィードバックしてモデルパラメータを再推定し、更新する。
(1) ネットワークを通した学習データの通信の削減
(2) プロセス起動及び終了の回数の削減
従来例に示したMapReduceを機械学習に用いる場合の例を図11と図12及び図13に示す。図11は、MapReduceに基づく分散計算システムの構成例を示すブロック図である。
本発明では、機械学習中に処理を中断することが可能である。
各ワーカー1〜3はマスタ600から学習再開の命令を受けると、ローカルファイルシステム530の特徴量データ記憶部220から特徴量データをメモリ520に読み込む。マスタ600から転送された学習パラメータを用いて、反復処理を実行する。以降は通常の実行時と同様の手順に戻る。
次に、ワーカーの台数を1台から6台まで1台ずつ増やし、本発明によって並列化したk−means法の実行時間を計測した。ワーカーを追加する順番で、1台目から4台目のワーカーはデータ適用部210を8個持ち、5台目と6台目のワーカーはデータ適用部を4個持つ。特徴量データ310として、4つのクラスタに属する50次元の数値ベクトルを20,000,000点用いた。この実験では、6台のうち1台のワーカーにモデル更新部240を1個割り当てた。図15にデータ適用部の個数に対する速度向上率を示す。なお、速度向上率はCPUが8個の場合を基準としている。Memory+LFSの結果は折れ線1500で示されていおり、LFSの結果は折れ線1510で示されている。Meomory+LFSとLFSの両方で、ワーカーの台数が増えることにより、速度向上の割合が上がっている。Memory+LFSでは2台のワーカーで計8個のCPUを使うときに、1.53倍に速度が向上しており、6台のワーカーで計40個のCPUを使うときは13.3倍に速度が向上している。LFSでは2台のワーカーで計8個のCPUを使うときに1.48倍に速度が向上しており、6台のワーカーで計40個のCPUを使うときは9.72倍に速度が向上している。Memory+LFSとLFSでは、ワーカーの数とともに、CPUやLFSの数が増えることで処理分散が起こっていることで、速度が向上している。それに加えて、Memory+LFSの場合、メモリにキャッシュされる特徴量データの量も向上しており、速度の向上の割合がLFSの場合と比べて大きくなっている。
次に、本発明の第2の実施の形態について説明する。第2実施の形態で用いる分散計算機システムの構成は、前記第1実施形態と同一である。
次に、本発明の第3の実施の形態を説明する。機械学習の一手法にアンサンブル学習が知られている。アンサンブル学習は独立した複数のモデルを作成し、複数のモデルを統合する学習手法である。アンサンブル学習を用いると学習アルゴリズムが並列化されていない場合でも、独立した学習モデルの構築を並列的に行うことができる。各アンサンブル手法を本発明上に実装することを考える。本第3実施形態の分散計算機システムの構成は前記第1実施形態と同一である。アンサンブル学習の際に、学習用データをデータ適用部210に固定してモデルのみを移動させることで、特徴量データの通信量を減らすことができる。以下では第1実施形態と第3実施形態の相違点についてのみ説明する。
明は前記実施の形態に限定されるものではなく、その要旨を逸脱しない範囲で種々変更可
能であることはいうまでもない。
220 特徴量データ記憶部
240 モデル更新部
260 分散計算制御部
280 マスタデータ記憶部
310 特徴量データ
510 中央演算装置 (Central Processing Unit、CPU)
520 メモリ
530 ローカルファイルシステム
540 入力装置
550 出力装置
560 ネットワークデバイス
570 バス
600 マスタ用計算機
610 ワーカー用計算機
620 分散ファイルシステム
630 ネットワーク機器(LAN)
Claims (5)
- プロセッサとメモリとローカル記憶装置を備えた第1の計算機と、
プロセッサとメモリを備えて複数の前記第1の計算機に分散処理を指令する第2の計算機と、
前記分散処理に用いるデータを格納したストレージと、
前記第1の計算機と第2の計算機及び前記ストレージとを接続するネットワークと、
を備えて、前記複数の第1の計算機で並列的に処理を行う分散計算システムであって、
前記第2の計算機は、
前記複数の第1の計算機に、前記分散処理として学習処理を実行させる制御部を備え、
前記制御部は、
前記複数の第1の計算機のうち所定の複数の第1の計算機に、学習処理を実行するデータ適用部及び前記データ適用部毎に学習処理の対象となる前記ストレージのデータを割り当てて第1のワーカーとして学習処理を実行させ、
前記複数の第1の計算機のうち少なくとも一つの第1の計算機に、前記データ適用部の出力を受信して学習モデルを更新するモデル更新部を割り当てて第2のワーカーとして学習処理を実行させ、
前記第1のワーカーは、
前記データ適用部が、前記第2の計算機から割り当てられたデータを前記ストレージから読み込んでローカル記憶装置に格納し、前記メモリ上に予め確保したデータ領域に前記ローカル記憶装置のデータのうち未処理のデータを順次読み込んで、当該データ領域のデータに対して学習処理を実行し、当該学習処理の結果を前記第2のワーカーへ送信し、
前記第2のワーカーは、
前記モデル更新部が、前記複数の第1のワーカーから学習処理の結果を受信し、前記受信した複数の学習処理の結果から学習モデルを更新し、当該更新した学習モデルが所定の基準を満たすか否かを判定し、前記更新した学習モデルが所定の基準を満たしていない場合には、前記第1のワーカーへ更新した学習モデルを送信して学習処理を指令し、前記更新した学習モデルが所定の基準を満たす場合には、前記第2の計算機に前記更新した学習モデルを送信することを特徴とする分散計算システム。 - 請求項1に記載の分散計算システムであって、
前記データ適用部は、
前記データをローカル記憶装置から前記メモリに読み込むときに、前記ローカル記憶装置に格納されたデータを所定の順番で読み込むことを特徴とする分散計算システム。 - 請求項2に記載の分散計算システムであって、
前記データ適用部は、
前記学習処理を終了して前記第2のワーカーに学習処理の結果を送信した後、前記第2のワーカーから学習モデルを受信して再度学習処理を行う場合には、前記メモリのデータ領域上に保持しているデータから学習処理を開始することを特徴とする分散計算システム。 - 請求項1に記載の分散計算システムであって、
前記データ適用部は、
前記ローカル記憶装置から前記データをメモリのデータ領域に読み込み、当該データ領域のデータについて学習処理が終了した後に、前記ローカル記憶装置から未処理のデータを前記メモリへ読み込む際に、前記終了した学習処理の結果を部分的な学習処理の結果として前記第2のワーカーに送信することを特徴とする分散計算システム。 - 請求項1に記載の分散計算システムであって
前記第2の計算機は、
予め複数の学習モデルを有し、
前記第1のワーカーとして機能する第1の計算機のデータ適用部のそれぞれに前記複数の学習モデルのうちの一つを送信し、前記第2のワーカーとして機能する第1の計算機のモデル更新部に前記複数の学習モデルを送信し、
前記第2のワーカーは、
前記モデル更新部が、前記複数の第1のワーカーから学習処理の結果を受信すると、前記第1のワーカーに他の学習モデルを送信し、学習処理の開始を指令することを特徴とする分散計算システム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010160551A JP5584914B2 (ja) | 2010-07-15 | 2010-07-15 | 分散計算システム |
US13/176,809 US20120016816A1 (en) | 2010-07-15 | 2011-07-06 | Distributed computing system for parallel machine learning |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010160551A JP5584914B2 (ja) | 2010-07-15 | 2010-07-15 | 分散計算システム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2012022558A true JP2012022558A (ja) | 2012-02-02 |
JP5584914B2 JP5584914B2 (ja) | 2014-09-10 |
Family
ID=45467710
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010160551A Expired - Fee Related JP5584914B2 (ja) | 2010-07-15 | 2010-07-15 | 分散計算システム |
Country Status (2)
Country | Link |
---|---|
US (1) | US20120016816A1 (ja) |
JP (1) | JP5584914B2 (ja) |
Cited By (21)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2014020735A1 (ja) * | 2012-08-02 | 2014-02-06 | 富士通株式会社 | データ処理方法、情報処理装置およびプログラム |
JP2016507093A (ja) * | 2013-01-11 | 2016-03-07 | インターナショナル・ビジネス・マシーンズ・コーポレーションInternational Business Machines Corporation | 回帰モデルを計算するための方法、コンピュータ・プログラム、およびシステム |
JP2016048536A (ja) * | 2014-08-27 | 2016-04-07 | 財團法人資訊工業策進會 | クラスタコンピューティングシステム用のマスタデバイス、スレーブデバイスおよびそのコンピューティング方法 |
JP2016076217A (ja) * | 2014-10-06 | 2016-05-12 | フィッシャー−ローズマウント システムズ,インコーポレイテッド | 地域的ビッグデータノード、プロセスプラントの動作を向上する方法、プロセスプラント内で地域的ビッグデータをサポートするためのシステム |
JP2017162209A (ja) * | 2016-03-09 | 2017-09-14 | 富士通株式会社 | 分散処理実行管理プログラム、分散処理実行管理方法および分散処理実行管理装置 |
JP2018036779A (ja) * | 2016-08-30 | 2018-03-08 | 株式会社東芝 | 電子装置、方法及び情報処理システム |
KR20180035073A (ko) * | 2016-09-28 | 2018-04-05 | 주식회사 케이티 | Dnn의 분산 훈련 시스템 및 분산 훈련 방법 |
JP2019507442A (ja) * | 2016-03-04 | 2019-03-14 | アリババ・グループ・ホールディング・リミテッドAlibaba Group Holding Limited | 機械学習システムのトレーニング方法及びトレーニングシステム |
JP2019511054A (ja) * | 2016-03-26 | 2019-04-18 | アリババ・グループ・ホールディング・リミテッドAlibaba Group Holding Limited | 分散クラスタ型訓練方法及び装置 |
JP2020064491A (ja) * | 2018-10-18 | 2020-04-23 | 国立大学法人神戸大学 | 学習システム、学習方法、およびプログラム |
US10671028B2 (en) | 2013-03-15 | 2020-06-02 | Fisher-Rosemount Systems, Inc. | Method and apparatus for managing a work flow in a process plant |
JPWO2020194622A1 (ja) * | 2019-03-27 | 2020-10-01 | ||
US20200319936A1 (en) * | 2017-10-26 | 2020-10-08 | Nec Corporation | Distributed processing management apparatus, distributed processing method, and computer-readable recording medium |
JP2020532008A (ja) * | 2017-08-22 | 2020-11-05 | ノースロップ グラマン システムズ コーポレーション | ニューラルネットワークの分散学習および重み分配のためのシステム、および方法 |
US10866952B2 (en) | 2013-03-04 | 2020-12-15 | Fisher-Rosemount Systems, Inc. | Source-independent queries in distributed industrial system |
US10909137B2 (en) | 2014-10-06 | 2021-02-02 | Fisher-Rosemount Systems, Inc. | Streaming data for analytics in process control systems |
KR20210012791A (ko) * | 2019-07-26 | 2021-02-03 | 한국전자통신연구원 | 기계학습 기반 예측 모델 재학습 장치 및 그 방법 |
JP2022008781A (ja) * | 2020-06-28 | 2022-01-14 | ベイジン バイドゥ ネットコム サイエンス テクノロジー カンパニー リミテッド | 分散型トレーニング方法、システム、デバイス、記憶媒体、及びプログラム |
US11385608B2 (en) | 2013-03-04 | 2022-07-12 | Fisher-Rosemount Systems, Inc. | Big data in process control systems |
KR20220104595A (ko) * | 2021-01-18 | 2022-07-26 | 성균관대학교산학협력단 | 중단 없는 기계학습 클러스터 재구성 방법 |
US11886155B2 (en) | 2015-10-09 | 2024-01-30 | Fisher-Rosemount Systems, Inc. | Distributed industrial performance monitoring and analytics |
Families Citing this family (28)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8918388B1 (en) * | 2010-02-26 | 2014-12-23 | Turn Inc. | Custom data warehouse on top of mapreduce |
US8612368B2 (en) * | 2011-03-01 | 2013-12-17 | International Business Machines Corporation | Systems and methods for processing machine learning algorithms in a MapReduce environment |
US8873836B1 (en) * | 2012-06-29 | 2014-10-28 | Emc Corporation | Cluster-based classification of high-resolution data |
TWI495066B (zh) * | 2012-08-31 | 2015-08-01 | Chipmos Technologies Inc | 晶圓級封裝結構及其製造方法 |
CN103942195B (zh) * | 2013-01-17 | 2017-07-25 | ***股份有限公司 | 一种数据处理***以及数据处理方法 |
US9563854B2 (en) * | 2014-01-06 | 2017-02-07 | Cisco Technology, Inc. | Distributed model training |
US10672078B1 (en) * | 2014-05-19 | 2020-06-02 | Allstate Insurance Company | Scoring of insurance data |
US11094015B2 (en) | 2014-07-11 | 2021-08-17 | BMLL Technologies, Ltd. | Data access and processing system |
CN105446896B (zh) * | 2014-08-29 | 2018-05-04 | 国际商业机器公司 | 映射化简应用的缓存管理方法和装置 |
US20160132787A1 (en) * | 2014-11-11 | 2016-05-12 | Massachusetts Institute Of Technology | Distributed, multi-model, self-learning platform for machine learning |
TWI547822B (zh) * | 2015-07-06 | 2016-09-01 | 緯創資通股份有限公司 | 資料處理方法及系統 |
JP6558188B2 (ja) * | 2015-09-30 | 2019-08-14 | 富士通株式会社 | 分散処理システム、学習モデル作成方法、データ処理方法、学習モデル作成プログラムおよびデータ処理プログラム |
US10402469B2 (en) | 2015-10-16 | 2019-09-03 | Google Llc | Systems and methods of distributed optimization |
WO2017084020A1 (zh) | 2015-11-16 | 2017-05-26 | 华为技术有限公司 | 模型参数融合方法及装置 |
US10366234B2 (en) * | 2016-09-16 | 2019-07-30 | Rapid7, Inc. | Identifying web shell applications through file analysis |
US20180089587A1 (en) | 2016-09-26 | 2018-03-29 | Google Inc. | Systems and Methods for Communication Efficient Distributed Mean Estimation |
US11196800B2 (en) | 2016-09-26 | 2021-12-07 | Google Llc | Systems and methods for communication efficient distributed mean estimation |
US10769549B2 (en) * | 2016-11-21 | 2020-09-08 | Google Llc | Management and evaluation of machine-learned models based on locally logged data |
US11120361B1 (en) | 2017-02-24 | 2021-09-14 | Amazon Technologies, Inc. | Training data routing and prediction ensembling at time series prediction system |
CN111756754B (zh) * | 2017-07-28 | 2023-04-07 | 创新先进技术有限公司 | 一种训练模型的方法及装置 |
US10331608B2 (en) | 2017-09-22 | 2019-06-25 | International Business Machines Corporation | Replacing mechanical/magnetic components with a supercomputer |
US10997525B2 (en) | 2017-11-20 | 2021-05-04 | International Business Machines Corporation | Efficient large-scale kernel learning using a distributed processing architecture |
WO2019209059A1 (en) * | 2018-04-25 | 2019-10-31 | Samsung Electronics Co., Ltd. | Machine learning on a blockchain |
CN109754072B (zh) * | 2018-12-29 | 2020-06-23 | 中科寒武纪科技股份有限公司 | 网络离线模型的处理方法、人工智能处理装置及相关产品 |
US11947570B2 (en) * | 2019-09-03 | 2024-04-02 | International Business Machines Corporation | Data augmentation |
CN112615794B (zh) * | 2020-12-08 | 2022-07-29 | 四川迅游网络科技股份有限公司 | 一种面向业务流量特征的智能加速***和方法 |
US20220351069A1 (en) * | 2021-04-30 | 2022-11-03 | International Business Machines Corporation | Federated training of machine learning models |
CN113835899B (zh) * | 2021-11-25 | 2022-02-22 | 支付宝(杭州)信息技术有限公司 | 针对分布式图学习的数据融合方法及装置 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH05108595A (ja) * | 1991-10-17 | 1993-04-30 | Hitachi Ltd | ニユーラルネツトワークの分散学習装置 |
JPH0660051A (ja) * | 1991-09-18 | 1994-03-04 | Matsushita Electric Ind Co Ltd | ニューラルネットワーク回路 |
JP2001167098A (ja) * | 1999-12-07 | 2001-06-22 | Hitachi Ltd | 大量データの分散並列分析方法 |
JP2004326480A (ja) * | 2003-04-25 | 2004-11-18 | Hitachi Ltd | 大量データの分散並列分析方法 |
US7222127B1 (en) * | 2003-11-14 | 2007-05-22 | Google Inc. | Large scale machine learning systems and methods |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2005091214A1 (ja) * | 2004-03-18 | 2005-09-29 | Denso It Laboratory, Inc. | 車両用情報処理システム、車両用情報処理方法およびプログラム |
JP4512201B2 (ja) * | 2007-12-21 | 2010-07-28 | 株式会社日立製作所 | データ処理方法及びシステム |
-
2010
- 2010-07-15 JP JP2010160551A patent/JP5584914B2/ja not_active Expired - Fee Related
-
2011
- 2011-07-06 US US13/176,809 patent/US20120016816A1/en not_active Abandoned
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0660051A (ja) * | 1991-09-18 | 1994-03-04 | Matsushita Electric Ind Co Ltd | ニューラルネットワーク回路 |
JPH05108595A (ja) * | 1991-10-17 | 1993-04-30 | Hitachi Ltd | ニユーラルネツトワークの分散学習装置 |
JP2001167098A (ja) * | 1999-12-07 | 2001-06-22 | Hitachi Ltd | 大量データの分散並列分析方法 |
JP2004326480A (ja) * | 2003-04-25 | 2004-11-18 | Hitachi Ltd | 大量データの分散並列分析方法 |
US7222127B1 (en) * | 2003-11-14 | 2007-05-22 | Google Inc. | Large scale machine learning systems and methods |
Non-Patent Citations (3)
Title |
---|
CHENG-TAO CHU ET AL., MAP-REDUCE FOR MACHINE LEARNING ON MULTICORE, JPN6014001326, 8 December 2006 (2006-12-08), ISSN: 0002839812 * |
MATEI ZAHARIA ET AL.: "Spark: Cluster Computing with Working Sets", PROCEEDINGS OF THE 2ND USENIX WORKSHOP ON HOT TOPICS IN CLOUD COMPUTING (HOTCLOUD'10), JPN6014001325, 22 June 2010 (2010-06-22), ISSN: 0002839811 * |
堀崎 行太,山中 教行,竹内 一郎,古橋 武: "PCクラスタシステムにおけるミニバッチ学習の概念を用いたニューラルネットワークの並列学習", 電子情報通信学会技術研究報告, vol. 102, no. 508, JPN6014001323, 6 December 2002 (2002-12-06), JP, pages 19 - 22, ISSN: 0002724754 * |
Cited By (37)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2014020735A1 (ja) * | 2012-08-02 | 2014-02-06 | 富士通株式会社 | データ処理方法、情報処理装置およびプログラム |
JP2016507093A (ja) * | 2013-01-11 | 2016-03-07 | インターナショナル・ビジネス・マシーンズ・コーポレーションInternational Business Machines Corporation | 回帰モデルを計算するための方法、コンピュータ・プログラム、およびシステム |
US11385608B2 (en) | 2013-03-04 | 2022-07-12 | Fisher-Rosemount Systems, Inc. | Big data in process control systems |
US10866952B2 (en) | 2013-03-04 | 2020-12-15 | Fisher-Rosemount Systems, Inc. | Source-independent queries in distributed industrial system |
US11573672B2 (en) | 2013-03-15 | 2023-02-07 | Fisher-Rosemount Systems, Inc. | Method for initiating or resuming a mobile control session in a process plant |
US11169651B2 (en) | 2013-03-15 | 2021-11-09 | Fisher-Rosemount Systems, Inc. | Method and apparatus for controlling a process plant with location aware mobile devices |
US11112925B2 (en) | 2013-03-15 | 2021-09-07 | Fisher-Rosemount Systems, Inc. | Supervisor engine for process control |
US10671028B2 (en) | 2013-03-15 | 2020-06-02 | Fisher-Rosemount Systems, Inc. | Method and apparatus for managing a work flow in a process plant |
US10691281B2 (en) | 2013-03-15 | 2020-06-23 | Fisher-Rosemount Systems, Inc. | Method and apparatus for controlling a process plant with location aware mobile control devices |
JP2016048536A (ja) * | 2014-08-27 | 2016-04-07 | 財團法人資訊工業策進會 | クラスタコンピューティングシステム用のマスタデバイス、スレーブデバイスおよびそのコンピューティング方法 |
JP2016076217A (ja) * | 2014-10-06 | 2016-05-12 | フィッシャー−ローズマウント システムズ,インコーポレイテッド | 地域的ビッグデータノード、プロセスプラントの動作を向上する方法、プロセスプラント内で地域的ビッグデータをサポートするためのシステム |
US10909137B2 (en) | 2014-10-06 | 2021-02-02 | Fisher-Rosemount Systems, Inc. | Streaming data for analytics in process control systems |
US11886155B2 (en) | 2015-10-09 | 2024-01-30 | Fisher-Rosemount Systems, Inc. | Distributed industrial performance monitoring and analytics |
JP2019507442A (ja) * | 2016-03-04 | 2019-03-14 | アリババ・グループ・ホールディング・リミテッドAlibaba Group Holding Limited | 機械学習システムのトレーニング方法及びトレーニングシステム |
US11257005B2 (en) | 2016-03-04 | 2022-02-22 | Alibaba Group Holding Limited | Training method and training system for machine learning system |
JP7004661B2 (ja) | 2016-03-04 | 2022-01-21 | アリババ・グループ・ホールディング・リミテッド | 機械学習システムのトレーニング方法及びトレーニングシステム |
JP2017162209A (ja) * | 2016-03-09 | 2017-09-14 | 富士通株式会社 | 分散処理実行管理プログラム、分散処理実行管理方法および分散処理実行管理装置 |
US11636379B2 (en) | 2016-03-26 | 2023-04-25 | Alibaba Group Holding Limited | Distributed cluster training method and apparatus |
JP2019511054A (ja) * | 2016-03-26 | 2019-04-18 | アリババ・グループ・ホールディング・リミテッドAlibaba Group Holding Limited | 分散クラスタ型訓練方法及び装置 |
JP2018036779A (ja) * | 2016-08-30 | 2018-03-08 | 株式会社東芝 | 電子装置、方法及び情報処理システム |
KR102194280B1 (ko) | 2016-09-28 | 2020-12-22 | 주식회사 케이티 | Dnn의 분산 훈련 시스템 및 분산 훈련 방법 |
KR20180035073A (ko) * | 2016-09-28 | 2018-04-05 | 주식회사 케이티 | Dnn의 분산 훈련 시스템 및 분산 훈련 방법 |
JP7393512B2 (ja) | 2017-08-22 | 2023-12-06 | ノースロップ グラマン システムズ コーポレーション | ニューラルネットワークの分散学習および重み分配のためのシステム、および方法 |
JP2020532008A (ja) * | 2017-08-22 | 2020-11-05 | ノースロップ グラマン システムズ コーポレーション | ニューラルネットワークの分散学習および重み分配のためのシステム、および方法 |
US11656917B2 (en) | 2017-10-26 | 2023-05-23 | Nec Corporation | Distributed processing management apparatus, distributed processing method, and computer-readable recording medium |
US20200319936A1 (en) * | 2017-10-26 | 2020-10-08 | Nec Corporation | Distributed processing management apparatus, distributed processing method, and computer-readable recording medium |
JP2020064491A (ja) * | 2018-10-18 | 2020-04-23 | 国立大学法人神戸大学 | 学習システム、学習方法、およびプログラム |
JP7181585B2 (ja) | 2018-10-18 | 2022-12-01 | 国立大学法人神戸大学 | 学習システム、学習方法、およびプログラム |
WO2020194622A1 (ja) * | 2019-03-27 | 2020-10-01 | 日本電気株式会社 | 情報処理装置、情報処理方法、及び非一時的なコンピュータ可読媒体 |
JPWO2020194622A1 (ja) * | 2019-03-27 | 2020-10-01 | ||
US11922677B2 (en) | 2019-03-27 | 2024-03-05 | Nec Corporation | Information processing apparatus, information processing method, and non-transitory computer readable medium |
KR102434460B1 (ko) | 2019-07-26 | 2022-08-22 | 한국전자통신연구원 | 기계학습 기반 예측 모델 재학습 장치 및 그 방법 |
KR20210012791A (ko) * | 2019-07-26 | 2021-02-03 | 한국전자통신연구원 | 기계학습 기반 예측 모델 재학습 장치 및 그 방법 |
JP7138150B2 (ja) | 2020-06-28 | 2022-09-15 | ベイジン バイドゥ ネットコム サイエンス テクノロジー カンパニー リミテッド | 分散型トレーニング方法、システム、デバイス、記憶媒体、及びプログラム |
JP2022008781A (ja) * | 2020-06-28 | 2022-01-14 | ベイジン バイドゥ ネットコム サイエンス テクノロジー カンパニー リミテッド | 分散型トレーニング方法、システム、デバイス、記憶媒体、及びプログラム |
KR20220104595A (ko) * | 2021-01-18 | 2022-07-26 | 성균관대학교산학협력단 | 중단 없는 기계학습 클러스터 재구성 방법 |
KR102549144B1 (ko) | 2021-01-18 | 2023-06-30 | 성균관대학교산학협력단 | 중단 없는 기계학습 클러스터 재구성 방법 |
Also Published As
Publication number | Publication date |
---|---|
US20120016816A1 (en) | 2012-01-19 |
JP5584914B2 (ja) | 2014-09-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5584914B2 (ja) | 分散計算システム | |
CN110301128B (zh) | 基于学习的资源管理数据中心云架构的实现方法 | |
Anghel et al. | Benchmarking and optimization of gradient boosting decision tree algorithms | |
Scolati et al. | A containerized big data streaming architecture for edge cloud computing on clustered single-board devices | |
Yang et al. | Intermediate data caching optimization for multi-stage and parallel big data frameworks | |
JP2010092222A (ja) | 更新頻度に基づくキャッシュ機構 | |
Nguyen et al. | Towards automatic tuning of apache spark configuration | |
KR20210036226A (ko) | 복수의 엣지와 클라우드를 포함하는 분산 컴퓨팅 시스템 및 이의 적응적 지능 활용을 위한 분석 모델 제공 방법 | |
Teijeiro et al. | Implementing parallel differential evolution on spark | |
EP4198771A1 (en) | Data processing method and apparatus, computer readable medium, and electronic device | |
Zheng et al. | Target-based resource allocation for deep learning applications in a multi-tenancy system | |
Ward et al. | Colmena: Scalable machine-learning-based steering of ensemble simulations for high performance computing | |
Clemente-Castelló et al. | Performance model of mapreduce iterative applications for hybrid cloud bursting | |
JP5673473B2 (ja) | 分散計算機システム及び分散計算機システムの制御方法 | |
Lei et al. | CREST: Towards fast speculation of straggler tasks in MapReduce | |
Wang et al. | Phase-reconfigurable shuffle optimization for Hadoop MapReduce | |
Ohno et al. | Accelerating spark RDD operations with local and remote GPU devices | |
Zdravevski et al. | Feature ranking based on information gain for large classification problems with mapreduce | |
dos Anjos et al. | Smart: An application framework for real time big data analysis on heterogeneous cloud environments | |
US20210390405A1 (en) | Microservice-based training systems in heterogeneous graphic processor unit (gpu) cluster and operating method thereof | |
CN106778812B (zh) | 聚类实现方法和装置 | |
Wu et al. | Paraopt: Automated application parameterization and optimization for the cloud | |
Bu et al. | An improved PSO algorithm and its application to grid scheduling problem | |
Chen et al. | Task Scheduling for Multi-core and Parallel architectures | |
Ovalle et al. | Distributed Cache Strategies for Machine Learning Classification Tasks over Cluster Computing Resources |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120316 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20121214 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20140121 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140324 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20140415 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140605 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20140624 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20140702 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5584914 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |