JPWO2018225747A1 - 分散システム、データ管理装置、データ管理方法、及びコンピュータ読み取り可能な記録媒体 - Google Patents
分散システム、データ管理装置、データ管理方法、及びコンピュータ読み取り可能な記録媒体 Download PDFInfo
- Publication number
- JPWO2018225747A1 JPWO2018225747A1 JP2019523921A JP2019523921A JPWO2018225747A1 JP WO2018225747 A1 JPWO2018225747 A1 JP WO2018225747A1 JP 2019523921 A JP2019523921 A JP 2019523921A JP 2019523921 A JP2019523921 A JP 2019523921A JP WO2018225747 A1 JPWO2018225747 A1 JP WO2018225747A1
- Authority
- JP
- Japan
- Prior art keywords
- data
- computer
- computers
- memory
- learning
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N5/00—Computing arrangements using knowledge-based models
- G06N5/04—Inference or reasoning models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N7/00—Computing arrangements based on specific mathematical models
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Software Systems (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Data Mining & Analysis (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Medical Informatics (AREA)
- Computational Linguistics (AREA)
- Algebra (AREA)
- Computational Mathematics (AREA)
- Mathematical Analysis (AREA)
- Mathematical Optimization (AREA)
- Pure & Applied Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
Description
データ管理装置は、
前記複数の計算機それぞれから、当該計算機のメモリで保持されている学習データに関する情報を取得する、データ取得部と、
前記複数の計算機それぞれで実行される前記機械学習の特性、及び前記複数の計算機それぞれから取得した前記情報に基づいて、前記複数の計算機それぞれが前記メモリで保持すべき学習データを決定する、データ再配置部と、
を備えている、ことを特徴とする。
前記複数の計算機それぞれから、当該計算機のメモリで保持されている学習データに関する情報を取得する、データ取得部と、
前記複数の計算機それぞれで実行される前記機械学習の特性、及び前記複数の計算機それぞれから取得した前記情報に基づいて、前記複数の計算機それぞれが前記メモリで保持すべき学習データを決定する、データ再配置部と、
を備えている、ことを特徴とする。
(a)前記複数の計算機それぞれから、当該計算機のメモリで保持されている学習データに関する情報を取得する、ステップと、
(b)前記複数の計算機それぞれで実行される前記機械学習の特性、及び前記複数の計算機それぞれから取得した前記情報に基づいて、前記複数の計算機それぞれが前記メモリで保持すべき学習データを決定する、ステップと、
を有する、ことを特徴とする。
前記コンピュータに、
(a)前記複数の計算機それぞれから、当該計算機のメモリで保持されている学習データに関する情報を取得する、ステップと、
(b)前記複数の計算機それぞれで実行される前記機械学習の特性、及び前記複数の計算機それぞれから取得した前記情報に基づいて、前記複数の計算機それぞれが前記メモリで保持すべき学習データを決定する、ステップと、
を実行させる命令を含む、プログラムを記録していることを特徴とする。
以下、本発明の実施の形態1における、分散システム、データ管理装置、データ管理方法、及びプログラムについて、図1〜図6を参照しながら説明する。
最初に、本実施の形態1における分散システム及びデータ管理装置の構成について説明する。図1は、本発明の実施の形態1における分散システム及びデータ管理装置の構成を概略的に示すブロック図である。
次に、本実施の形態1における分散システム100及びデータ管理装置10の動作について図6を用いて説明する。図6は、本発明の実施の形態1におけるデータ管理装置の動作を示すフロー図である。
以上のように本実施の形態1によれば、各計算機20のメモリで保持されているサンプルの予測ターゲット変数が学習データ情報として集められ、予測ターゲット変数の比率が機械学習アルゴリズムに適するように、サンプルの再配置が行なわれる。このため、本実施の形態1によれば、分散処理を行なう場合において、各計算機で行なわれる機械学習に応じて、各計算機にサンプルを分配することができる。
本実施の形態1におけるプログラムは、コンピュータに、図6に示すステップA1〜A4を実行させるプログラムであれば良い。このプログラムをコンピュータにインストールし、実行することによって、本実施の形態におけるデータ管理装置10とデータ管理方法とを実現することができる。この場合、コンピュータのプロセッサは、データ取得部11、及びデータ再配置部12として機能し、処理を行なう。
次に、本発明の実施の形態2における分散システム、データ管理装置、データ管理方法、及びプログラムについて、図7〜図16を参照しながら説明する。
最初に、本実施の形態2における分散システム及びデータ管理装置の構成について説明する。図7は、本発明の実施の形態2における分散システム及びデータ管理装置の構成を概略的に示すブロック図である。
次に、本実施の形態2における分散システム101及びデータ管理装置10の動作について図16を用いて説明する。図16は、本発明の実施の形態2におけるデータ管理装置の動作を示すフロー図である。以下の説明においては、適宜図7〜図16を参酌する。また、本実施の形態2では、データ管理装置10を動作させることによって、データ管理方法が実施される。よって、本実施の形態2におけるデータ管理方法の説明は、以下のデータ管理装置10の動作説明に代える。
以上のように本実施の形態2においても、各計算機20のメモリで保持されているサンプルの予測ターゲット変数が学習データ情報として集められ、予測ターゲット変数の比率が機械学習アルゴリズムに適するように、サンプルの再配置が行なわれる。このため、本実施の形態2によっても、実施の形態1と同様に、分散処理を行なう場合において、各計算機で行なわれる機械学習に応じて、各計算機にサンプルを分配することができる。また、本実施の形態2においては、各計算機20において、処理が行なわれるため、マスタサーバ40の負荷を小さくすることができる。
本実施の形態2におけるプログラムは、コンピュータに、図16に示すステップB1〜B9を実行させるプログラムであれば良い。このプログラムをコンピュータにインストールし、実行することによって、本実施の形態におけるデータ管理装置10とデータ管理方法とを実現することができる。この場合、コンピュータのプロセッサは、データ取得部11、データ再配置部12、及びデータ作成部13として機能し、処理を行なう。
ここで、実施の形態1及び2におけるプログラムを実行することによって、データ管理装置10を実現するコンピュータについて図17を用いて説明する。図17は、本発明の実施の形態1及び2におけるデータ管理装置を実現するコンピュータの一例を示すブロック図である。なお、ここでいうコンピュータは、実際には、マスタサーバ又は計算機(サーバ)である。
データ管理装置と、機械学習を実行する複数の計算機と、を備え、
データ管理装置は、
前記複数の計算機それぞれから、当該計算機のメモリで保持されている学習データに関する情報を取得する、データ取得部と、
前記複数の計算機それぞれで実行される前記機械学習の特性、及び前記複数の計算機それぞれから取得した前記情報に基づいて、前記複数の計算機それぞれが前記メモリで保持すべき学習データを決定する、データ再配置部と、
を備えている、ことを特徴とする分散システム。
前記データ管理装置において、
前記データ取得部が、前記複数の計算機それぞれから、当該計算機のメモリで保持されている学習データに関する情報として、前記学習データを構成するサンプル毎の予測ターゲット変数を取得し、
前記データ再配置部が、前記複数の計算機それぞれの前記メモリが保持する前記学習データにおいて、それを構成するサンプルの予測ターゲット変数の比率が、設定された条件を満たすように、前記複数の計算機それぞれが前記メモリで保持すべき前記学習データを決定する、
付記1に記載の分散システム。
前記データ再配置部が、決定の結果を、前記複数の計算機それぞれに送信し、
前記複数の計算機それぞれが、送信されてきた決定の結果に応じて、当該計算機のメモリで保持されている前記学習データの一部又は全部を、他の計算機に送信する、
付記1または2に記載の分散システム。
前記データ管理装置が、前記複数の計算機毎に、当該計算機によって構築され、
前記データ管理装置それぞれは、
当該計算機のメモリで保持されている学習データを構成するサンプル毎に、送信先の前記計算機を決定し、決定した前記サンプル毎の送信先及び前記学習データに関する情報を特定するデータを作成し、更に、外部からの指示に応じて、指示された計算機に、前記データを送信する、データ作成部を更に備え、
いずれか1つの計算機で全ての前記データが受信され、当該計算機によって構築されたデータ管理装置において、その前記データ取得部が、受信された全ての前記データから、前記複数の計算機全ての前記学習データに関する情報を取得できた場合に、当該データ管理装置の前記データ再配置部が、前記複数の計算機それぞれが前記メモリで保持すべき学習データを決定する、
付記1または2に記載の分散システム。
前記データ管理装置それぞれにおける、前記データ作成部による前記データの送信後に、いずれか1つの計算機で全ての前記データが受信されていない場合に、
前記データ作成部は、保持している前記データによって特定されるサンプル毎に、送信先となる前記計算機の前記メモリの容量に基づいて、送信先の前記計算機を決定し、決定した前記サンプル毎の送信先及び前記学習データに関する情報を特定するデータを新に作成し、新たに外部から指示があった場合に、指示された計算機に、前記新たなデータを送信する、
付記4に記載の分散システム。
機械学習を実行する複数の計算機における学習データを管理するための装置であって、
前記複数の計算機それぞれから、当該計算機のメモリで保持されている学習データに関する情報を取得する、データ取得部と、
前記複数の計算機それぞれで実行される前記機械学習の特性、及び前記複数の計算機それぞれから取得した前記情報に基づいて、前記複数の計算機それぞれが前記メモリで保持すべき学習データを決定する、データ再配置部と、
を備えている、ことを特徴とするデータ管理装置。
前記データ取得部が、前記複数の計算機それぞれから、当該計算機のメモリで保持されている学習データに関する情報として、前記学習データを構成するサンプル毎の予測ターゲット変数を取得し、
前記データ再配置部が、前記複数の計算機それぞれの前記メモリが保持する前記学習データにおいて、それを構成するサンプルの予測ターゲット変数の比率が、設定された条件を満たすように、前記複数の計算機それぞれが前記メモリで保持すべき前記学習データを決定する、
付記6に記載のデータ管理装置。
前記データ再配置部が、決定の結果を、前記複数の計算機それぞれに送信し、前記複数の計算機それぞれに対して、送信されてきた決定の結果に応じて、当該計算機のメモリで保持されている前記学習データの一部又は全部を、他の計算機に送信させる、
付記6または7に記載のデータ管理装置。
当該データ管理装置が、前記複数の計算機のいずれかによって構築されている場合において、
当該データ管理装置は、それを構築する当該計算機のメモリで保持されている学習データを構成するサンプル毎に、送信先の前記計算機を決定し、決定した前記サンプル毎の送信先及び前記学習データに関する情報を特定するデータを作成し、更に、外部からの指示に応じて、指示された計算機に、前記データを送信する、データ作成部を更に備え、
当該計算機で全ての前記データが受信され、前記データ取得部が、受信された全ての前記データから、前記複数の計算機全ての前記学習データに関する情報を取得できた場合に、前記データ再配置部が、前記複数の計算機それぞれが前記メモリで保持すべき学習データを決定する、
付記6または7に記載のデータ管理装置。
前記データ作成部による前記データの送信後に、当該計算機で全ての前記データが受信されていない場合に、
前記データ作成部は、保持している前記データによって特定されるサンプル毎に、送信先となる前記計算機の前記メモリの容量に基づいて、送信先の前記計算機を決定し、決定した前記サンプル毎の送信先及び前記学習データに関する情報を特定するデータを新に作成し、新たに外部から指示があった場合に、指示された計算機に、前記新たなデータを送信する、
付記9に記載のデータ管理装置。
機械学習を実行する複数の計算機における学習データを管理するための方法であって、
(a)前記複数の計算機それぞれから、当該計算機のメモリで保持されている学習データに関する情報を取得する、ステップと、
(b)前記複数の計算機それぞれで実行される前記機械学習の特性、及び前記複数の計算機それぞれから取得した前記情報に基づいて、前記複数の計算機それぞれが前記メモリで保持すべき学習データを決定する、ステップと、
を有する、ことを特徴とするデータ管理方法。
前記(a)のステップにおいて、前記複数の計算機それぞれから、当該計算機のメモリで保持されている学習データに関する情報として、前記学習データを構成するサンプル毎の予測ターゲット変数を取得し、
前記(b)のステップにおいて、前記複数の計算機それぞれの前記メモリが保持する前記学習データにおいて、それを構成するサンプルの予測ターゲット変数の比率が、設定された条件を満たすように、前記複数の計算機それぞれが前記メモリで保持すべき前記学習データを決定する、
付記11に記載のデータ管理方法。
前記(b)のステップにおいて、決定の結果を、前記複数の計算機それぞれに送信し、前記複数の計算機それぞれに対して、送信されてきた決定の結果に応じて、当該計算機のメモリで保持されている前記学習データの一部又は全部を、他の計算機に送信させる、
付記11または12に記載のデータ管理装置。
(c)前記計算機のメモリで保持されている学習データを構成するサンプル毎に、送信先の前記計算機を決定し、決定した前記サンプル毎の送信先及び前記学習データに関する情報を特定するデータを作成し、更に、外部からの指示に応じて、指示された計算機に、前記データを送信する、ステップを更に有し、
前記(a)のステップにおいて、前記複数の計算機全ての前記学習データに関する情報を取得できた場合に、前記(b)のステップにおいて、前記複数の計算機それぞれが前記メモリで保持すべき学習データを決定する、
付記11または12に記載のデータ管理方法。
(d)前記(c)のステップによる前記データの送信後に、前記(a)のステップにおいて、前記複数の計算機全ての前記学習データに関する情報を取得できていない場合に、前記データによって特定されるサンプル毎に、送信先となる前記計算機の前記メモリの容量に基づいて、送信先の前記計算機を決定し、決定した前記サンプル毎の送信先及び前記学習データに関する情報を特定するデータを新に作成し、新たに外部から指示があった場合に、指示された計算機に、前記新たなデータを送信する、ステップを更に有する、
付記14に記載のデータ管理方法。
コンピュータによって、機械学習を実行する複数の計算機における学習データを管理するためのプログラムを記録したコンピュータ読み取り可能な記録媒体であって、
前記コンピュータに、
(a)前記複数の計算機それぞれから、当該計算機のメモリで保持されている学習データに関する情報を取得する、ステップと、
(b)前記複数の計算機それぞれで実行される前記機械学習の特性、及び前記複数の計算機それぞれから取得した前記情報に基づいて、前記複数の計算機それぞれが前記メモリで保持すべき学習データを決定する、ステップと、
を実行させる命令を含む、プログラムを記録しているコンピュータ読み取り可能な記録媒体。
前記(a)のステップにおいて、前記複数の計算機それぞれから、当該計算機のメモリで保持されている学習データに関する情報として、前記学習データを構成するサンプル毎の予測ターゲット変数を取得し、
前記(b)のステップにおいて、前記複数の計算機それぞれの前記メモリが保持する前記学習データにおいて、それを構成するサンプルの予測ターゲット変数の比率が、設定された条件を満たすように、前記複数の計算機それぞれが前記メモリで保持すべき前記学習データを決定する、
付記16に記載のコンピュータ読み取り可能な記録媒体。
前記(b)のステップにおいて、決定の結果を、前記複数の計算機それぞれに送信し、前記複数の計算機それぞれに対して、送信されてきた決定の結果に応じて、当該計算機のメモリで保持されている前記学習データの一部又は全部を、他の計算機に送信させる、
付記16または17に記載のコンピュータ読み取り可能な記録媒体。
前記プログラムが、前記コンピュータに、
(c)前記計算機のメモリで保持されている学習データを構成するサンプル毎に、送信先の前記計算機を決定し、決定した前記サンプル毎の送信先及び前記学習データに関する情報を特定するデータを作成し、更に、外部からの指示に応じて、指示された計算機に、前記データを送信する、ステップを実行させる命令を更に含み、
前記(a)のステップにおいて、前記複数の計算機全ての前記学習データに関する情報を取得できた場合に、前記(b)のステップにおいて、前記複数の計算機それぞれが前記メモリで保持すべき学習データを決定する、
付記16または17に記載のコンピュータ読み取り可能な記録媒体。
前記プログラムが、前記コンピュータに、
(d)前記(c)のステップによる前記データの送信後に、前記(a)のステップにおいて、前記複数の計算機全ての前記学習データに関する情報を取得できていない場合に、前記データによって特定されるサンプル毎に、送信先となる前記計算機の前記メモリの容量に基づいて、送信先の前記計算機を決定し、決定した前記サンプル毎の送信先及び前記学習データに関する情報を特定するデータを新に作成し、新たに外部から指示があった場合に、指示された計算機に、前記新たなデータを送信する、ステップを実行させる命令を更に含み、
付記19に記載のコンピュータ読み取り可能な記録媒体。
11 データ取得部
12 データ再配置部
13 データ作成部
20 計算機
21 メモリ
30 ネットワーク
40 マスタサーバ
100 分散システム
110 コンピュータ
111 CPU
112 メインメモリ
113 記憶装置
114 入力インターフェイス
115 表示コントローラ
116 データリーダ/ライタ
117 通信インターフェイス
118 入力機器
119 ディスプレイ装置
120 記録媒体
121 バス
Claims (20)
- データ管理装置と、機械学習を実行する複数の計算機と、を備え、
データ管理装置は、
前記複数の計算機それぞれから、当該計算機のメモリで保持されている学習データに関する情報を取得する、データ取得部と、
前記複数の計算機それぞれで実行される前記機械学習の特性、及び前記複数の計算機それぞれから取得した前記情報に基づいて、前記複数の計算機それぞれが前記メモリで保持すべき学習データを決定する、データ再配置部と、
を備えている、ことを特徴とする分散システム。 - 前記データ管理装置において、
前記データ取得部が、前記複数の計算機それぞれから、当該計算機のメモリで保持されている学習データに関する情報として、前記学習データを構成するサンプル毎の予測ターゲット変数を取得し、
前記データ再配置部が、前記複数の計算機それぞれの前記メモリが保持する前記学習データにおいて、それを構成するサンプルの予測ターゲット変数の比率が、設定された条件を満たすように、前記複数の計算機それぞれが前記メモリで保持すべき前記学習データを決定する、
請求項1に記載の分散システム。 - 前記データ再配置部が、決定の結果を、前記複数の計算機それぞれに送信し、
前記複数の計算機それぞれが、送信されてきた決定の結果に応じて、当該計算機のメモリで保持されている前記学習データの一部又は全部を、他の計算機に送信する、
請求項1または2に記載の分散システム。 - 前記データ管理装置が、前記複数の計算機毎に、当該計算機によって構築され、
前記データ管理装置それぞれは、
当該計算機のメモリで保持されている学習データを構成するサンプル毎に、送信先の前記計算機を決定し、決定した前記サンプル毎の送信先及び前記学習データに関する情報を特定するデータを作成し、更に、外部からの指示に応じて、指示された計算機に、前記データを送信する、データ作成部を更に備え、
いずれか1つの計算機で全ての前記データが受信され、当該計算機によって構築されたデータ管理装置において、その前記データ取得部が、受信された全ての前記データから、前記複数の計算機全ての前記学習データに関する情報を取得できた場合に、当該データ管理装置の前記データ再配置部が、前記複数の計算機それぞれが前記メモリで保持すべき学習データを決定する、
請求項1または2に記載の分散システム。 - 前記データ管理装置それぞれにおける、前記データ作成部による前記データの送信後に、いずれか1つの計算機で全ての前記データが受信されていない場合に、
前記データ作成部は、保持している前記データによって特定されるサンプル毎に、送信先となる前記計算機の前記メモリの容量に基づいて、送信先の前記計算機を決定し、決定した前記サンプル毎の送信先及び前記学習データに関する情報を特定するデータを新に作成し、新たに外部から指示があった場合に、指示された計算機に、前記新たなデータを送信する、
請求項4に記載の分散システム。 - 機械学習を実行する複数の計算機における学習データを管理するための装置であって、
前記複数の計算機それぞれから、当該計算機のメモリで保持されている学習データに関する情報を取得する、データ取得部と、
前記複数の計算機それぞれで実行される前記機械学習の特性、及び前記複数の計算機それぞれから取得した前記情報に基づいて、前記複数の計算機それぞれが前記メモリで保持すべき学習データを決定する、データ再配置部と、
を備えている、ことを特徴とするデータ管理装置。 - 前記データ取得部が、前記複数の計算機それぞれから、当該計算機のメモリで保持されている学習データに関する情報として、前記学習データを構成するサンプル毎の予測ターゲット変数を取得し、
前記データ再配置部が、前記複数の計算機それぞれの前記メモリが保持する前記学習データにおいて、それを構成するサンプルの予測ターゲット変数の比率が、設定された条件を満たすように、前記複数の計算機それぞれが前記メモリで保持すべき前記学習データを決定する、
請求項6に記載のデータ管理装置。 - 前記データ再配置部が、決定の結果を、前記複数の計算機それぞれに送信し、前記複数の計算機それぞれに対して、送信されてきた決定の結果に応じて、当該計算機のメモリで保持されている前記学習データの一部又は全部を、他の計算機に送信させる、
請求項6または7に記載のデータ管理装置。 - 当該データ管理装置が、前記複数の計算機のいずれかによって構築されている場合において、
当該データ管理装置は、それを構築する当該計算機のメモリで保持されている学習データを構成するサンプル毎に、送信先の前記計算機を決定し、決定した前記サンプル毎の送信先及び前記学習データに関する情報を特定するデータを作成し、更に、外部からの指示に応じて、指示された計算機に、前記データを送信する、データ作成部を更に備え、
当該計算機で全ての前記データが受信され、前記データ取得部が、受信された全ての前記データから、前記複数の計算機全ての前記学習データに関する情報を取得できた場合に、前記データ再配置部が、前記複数の計算機それぞれが前記メモリで保持すべき学習データを決定する、
請求項6または7に記載のデータ管理装置。 - 前記データ作成部による前記データの送信後に、当該計算機で全ての前記データが受信されていない場合に、
前記データ作成部は、保持している前記データによって特定されるサンプル毎に、送信先となる前記計算機の前記メモリの容量に基づいて、送信先の前記計算機を決定し、決定した前記サンプル毎の送信先及び前記学習データに関する情報を特定するデータを新に作成し、新たに外部から指示があった場合に、指示された計算機に、前記新たなデータを送信する、
請求項9に記載のデータ管理装置。 - 機械学習を実行する複数の計算機における学習データを管理するための方法であって、
(a)前記複数の計算機それぞれから、当該計算機のメモリで保持されている学習データに関する情報を取得する、ステップと、
(b)前記複数の計算機それぞれで実行される前記機械学習の特性、及び前記複数の計算機それぞれから取得した前記情報に基づいて、前記複数の計算機それぞれが前記メモリで保持すべき学習データを決定する、ステップと、
を有する、ことを特徴とするデータ管理方法。 - 前記(a)のステップにおいて、前記複数の計算機それぞれから、当該計算機のメモリで保持されている学習データに関する情報として、前記学習データを構成するサンプル毎の予測ターゲット変数を取得し、
前記(b)のステップにおいて、前記複数の計算機それぞれの前記メモリが保持する前記学習データにおいて、それを構成するサンプルの予測ターゲット変数の比率が、設定された条件を満たすように、前記複数の計算機それぞれが前記メモリで保持すべき前記学習データを決定する、
請求項11に記載のデータ管理方法。 - 前記(b)のステップにおいて、決定の結果を、前記複数の計算機それぞれに送信し、前記複数の計算機それぞれに対して、送信されてきた決定の結果に応じて、当該計算機のメモリで保持されている前記学習データの一部又は全部を、他の計算機に送信させる、
請求項11または12に記載のデータ管理装置。 - (c)前記計算機のメモリで保持されている学習データを構成するサンプル毎に、送信先の前記計算機を決定し、決定した前記サンプル毎の送信先及び前記学習データに関する情報を特定するデータを作成し、更に、外部からの指示に応じて、指示された計算機に、前記データを送信する、ステップを更に有し、
前記(a)のステップにおいて、前記複数の計算機全ての前記学習データに関する情報を取得できた場合に、前記(b)のステップにおいて、前記複数の計算機それぞれが前記メモリで保持すべき学習データを決定する、
請求項11または12に記載のデータ管理方法。 - (d)前記(c)のステップによる前記データの送信後に、前記(a)のステップにおいて、前記複数の計算機全ての前記学習データに関する情報を取得できていない場合に、前記データによって特定されるサンプル毎に、送信先となる前記計算機の前記メモリの容量に基づいて、送信先の前記計算機を決定し、決定した前記サンプル毎の送信先及び前記学習データに関する情報を特定するデータを新に作成し、新たに外部から指示があった場合に、指示された計算機に、前記新たなデータを送信する、ステップを更に有する、
請求項14に記載のデータ管理方法。 - コンピュータによって、機械学習を実行する複数の計算機における学習データを管理するためのプログラムを記録したコンピュータ読み取り可能な記録媒体であって、
前記コンピュータに、
(a)前記複数の計算機それぞれから、当該計算機のメモリで保持されている学習データに関する情報を取得する、ステップと、
(b)前記複数の計算機それぞれで実行される前記機械学習の特性、及び前記複数の計算機それぞれから取得した前記情報に基づいて、前記複数の計算機それぞれが前記メモリで保持すべき学習データを決定する、ステップと、
を実行させる命令を含む、プログラムを記録しているコンピュータ読み取り可能な記録媒体。 - 前記(a)のステップにおいて、前記複数の計算機それぞれから、当該計算機のメモリで保持されている学習データに関する情報として、前記学習データを構成するサンプル毎の予測ターゲット変数を取得し、
前記(b)のステップにおいて、前記複数の計算機それぞれの前記メモリが保持する前記学習データにおいて、それを構成するサンプルの予測ターゲット変数の比率が、設定された条件を満たすように、前記複数の計算機それぞれが前記メモリで保持すべき前記学習データを決定する、
請求項16に記載のコンピュータ読み取り可能な記録媒体。 - 前記(b)のステップにおいて、決定の結果を、前記複数の計算機それぞれに送信し、前記複数の計算機それぞれに対して、送信されてきた決定の結果に応じて、当該計算機のメモリで保持されている前記学習データの一部又は全部を、他の計算機に送信させる、
請求項16または17に記載のコンピュータ読み取り可能な記録媒体。 - 前記プログラムが、前記コンピュータに、
(c)前記計算機のメモリで保持されている学習データを構成するサンプル毎に、送信先の前記計算機を決定し、決定した前記サンプル毎の送信先及び前記学習データに関する情報を特定するデータを作成し、更に、外部からの指示に応じて、指示された計算機に、前記データを送信する、ステップを実行させる命令を更に含み、
前記(a)のステップにおいて、前記複数の計算機全ての前記学習データに関する情報を取得できた場合に、前記(b)のステップにおいて、前記複数の計算機それぞれが前記メモリで保持すべき学習データを決定する、
請求項16または17に記載のコンピュータ読み取り可能な記録媒体。 - 前記プログラムが、前記コンピュータに、
(d)前記(c)のステップによる前記データの送信後に、前記(a)のステップにおいて、前記複数の計算機全ての前記学習データに関する情報を取得できていない場合に、前記データによって特定されるサンプル毎に、送信先となる前記計算機の前記メモリの容量に基づいて、送信先の前記計算機を決定し、決定した前記サンプル毎の送信先及び前記学習データに関する情報を特定するデータを新に作成し、新たに外部から指示があった場合に、指示された計算機に、前記新たなデータを送信する、ステップを実行させる命令を更に含み、
請求項19に記載のコンピュータ読み取り可能な記録媒体。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201762515734P | 2017-06-06 | 2017-06-06 | |
US62/515,734 | 2017-06-06 | ||
PCT/JP2018/021600 WO2018225747A1 (ja) | 2017-06-06 | 2018-06-05 | 分散システム、データ管理装置、データ管理方法、及びコンピュータ読み取り可能な記録媒体 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2018225747A1 true JPWO2018225747A1 (ja) | 2020-03-26 |
JP6816824B2 JP6816824B2 (ja) | 2021-01-20 |
Family
ID=64566494
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019523921A Active JP6816824B2 (ja) | 2017-06-06 | 2018-06-05 | 分散システム、データ管理装置、データ管理方法、及びプログラム |
Country Status (3)
Country | Link |
---|---|
US (1) | US11610151B2 (ja) |
JP (1) | JP6816824B2 (ja) |
WO (1) | WO2018225747A1 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2021105798A (ja) * | 2019-12-26 | 2021-07-26 | パナソニックIpマネジメント株式会社 | 人工知能システム |
Family Cites Families (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6087662B2 (ja) * | 2013-02-28 | 2017-03-01 | 株式会社東芝 | 制御装置、制御プログラム及び情報処理システム |
US9444773B2 (en) * | 2014-07-31 | 2016-09-13 | Mimecast North America, Inc. | Automatic translator identification |
WO2016203461A1 (en) * | 2015-06-15 | 2016-12-22 | Haim Amir | Systems and methods for adaptive skin treatment |
JP6555015B2 (ja) * | 2015-08-31 | 2019-08-07 | 富士通株式会社 | 機械学習管理プログラム、機械学習管理装置および機械学習管理方法 |
WO2017040663A1 (en) * | 2015-09-01 | 2017-03-09 | Skytree, Inc. | Creating a training data set based on unlabeled textual data |
US10847266B1 (en) * | 2015-10-06 | 2020-11-24 | Massachusetts Mutual Life Insurance Company | Systems and methods for tracking goals |
US10402469B2 (en) * | 2015-10-16 | 2019-09-03 | Google Llc | Systems and methods of distributed optimization |
EP3432229A4 (en) * | 2016-03-14 | 2019-07-10 | Omron Corporation | DEVICE FOR GENERATING CAPACITY COMMUNICATION DATA |
JP6026036B1 (ja) * | 2016-04-08 | 2016-11-16 | 株式会社Ubic | データ分析システム、その制御方法、プログラム、及び、記録媒体 |
US20180165757A1 (en) * | 2016-04-15 | 2018-06-14 | Arthur Morris GELBER | Purchase health care system |
JP2017228086A (ja) * | 2016-06-22 | 2017-12-28 | 富士通株式会社 | 機械学習管理プログラム、機械学習管理方法、および機械学習管理装置 |
AU2017290600A1 (en) * | 2016-06-28 | 2019-01-03 | Heartflow, Inc. | Systems and methods for anonymization of health data and transmition of health data for analysis across geographic regions |
US10536351B2 (en) * | 2016-07-29 | 2020-01-14 | Splunk Inc. | Analytics for edge devices |
US10460255B2 (en) * | 2016-07-29 | 2019-10-29 | Splunk Inc. | Machine learning in edge analytics |
US10091231B1 (en) * | 2016-09-15 | 2018-10-02 | Symantec Corporation | Systems and methods for detecting security blind spots |
US11328964B2 (en) * | 2018-12-13 | 2022-05-10 | Applied Materials, Inc. | Prescriptive analytics in highly collinear response space |
US20220117509A1 (en) * | 2020-01-17 | 2022-04-21 | IONIQ Sciences | Noninvasive medical diagnostics using electrical impedance metrics and clinical predictors |
-
2018
- 2018-06-05 US US16/619,829 patent/US11610151B2/en active Active
- 2018-06-05 JP JP2019523921A patent/JP6816824B2/ja active Active
- 2018-06-05 WO PCT/JP2018/021600 patent/WO2018225747A1/ja active Application Filing
Also Published As
Publication number | Publication date |
---|---|
WO2018225747A1 (ja) | 2018-12-13 |
US20200134507A1 (en) | 2020-04-30 |
JP6816824B2 (ja) | 2021-01-20 |
US11610151B2 (en) | 2023-03-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111527499B (zh) | 提供商网络中的机器学习模型的基于动态准确度的部署和监测方法及*** | |
EP3414661B1 (en) | Efficient live-migration of remotely accessed data | |
KR102225822B1 (ko) | 인공지능 수행을 위한 학습 데이터 생성장치 및 방법 | |
US8782635B2 (en) | Reconfiguration of computer system to allow application installation | |
US10157214B1 (en) | Process for data migration between document stores | |
JP6211722B2 (ja) | 最適化されたブラウザレンダリング処理 | |
US20130055371A1 (en) | Storage control method and information processing apparatus | |
TW201820165A (zh) | 用於雲端巨量資料運算架構之伺服器及其雲端運算資源最佳化方法 | |
US20180144272A1 (en) | Parallel processing apparatus and method of estimating power consumption of jobs | |
US11579811B2 (en) | Method and apparatus for storage device latency/bandwidth self monitoring | |
JP2013535716A (ja) | 仮想マシン間で分析の結果を共有するためのシステムおよび方法 | |
BR112019004945B1 (pt) | Conversão de serviço de integração de dados | |
JPWO2020008991A1 (ja) | 検証自動化装置、検証自動化方法、およびプログラム | |
US20130275992A1 (en) | Distributed processing system, distributed processing method, and distributed processing program | |
US10257043B2 (en) | Balancing utilization of infrastructure in a networked computing environment | |
Anjos et al. | BIGhybrid: a simulator for MapReduce applications in hybrid distributed infrastructures validated with the Grid5000 experimental platform | |
JP2017215868A (ja) | 匿名化処理装置、匿名化処理方法、及びプログラム | |
JP6816824B2 (ja) | 分散システム、データ管理装置、データ管理方法、及びプログラム | |
EP3264254B1 (en) | System and method for a simulation of a block storage system on an object storage system | |
JP7025104B2 (ja) | 情報処理装置、方法およびプログラム | |
JP2022114776A (ja) | サービス特定方法、及びサービス特定プログラム | |
JP6922995B2 (ja) | 分散処理管理装置、分散処理方法、及びプログラム | |
Limmer et al. | Services for numerical simulations and optimisations in grids | |
JP2019197465A (ja) | シミュレーション制御方法及び計算機システム | |
US20210209161A1 (en) | Cognitively generating parameter settings for a graph database |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20191126 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20191126 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200421 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200611 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20201124 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20201207 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6816824 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |