JP2019121256A - 学習システム及び学習方法 - Google Patents
学習システム及び学習方法 Download PDFInfo
- Publication number
- JP2019121256A JP2019121256A JP2018001656A JP2018001656A JP2019121256A JP 2019121256 A JP2019121256 A JP 2019121256A JP 2018001656 A JP2018001656 A JP 2018001656A JP 2018001656 A JP2018001656 A JP 2018001656A JP 2019121256 A JP2019121256 A JP 2019121256A
- Authority
- JP
- Japan
- Prior art keywords
- user terminal
- weight variable
- server
- learning
- user terminals
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Abstract
【解決手段】サーバ10を介した複数のユーザ端末20の間で、深層学習における再現性の最適化を行う学習システム100であって、複数の前記ユーザ端末20に含まれる第1ユーザ端末20aの有する第1参照データと、予め取得された重み変数Wとを参照し、第1重み変数W1を算出する第1算出手段S110と、前記サーバ10を介して前記第1重み変数W1を、前記第1ユーザ端末20aから複数の前記ユーザ端末20に含まれる第2ユーザ端末20bに送信する送受信手段S120と、前記第2ユーザ端末20bの有する第2参照データと、前記第1重み変数W1とを参照し、第2重み変数W2を算出する第2算出手段S130と、を備えることを特徴とする。
【選択図】図1
Description
以下、本発明の実施形態としての学習システムについて説明する。図1は、本実施形態における学習システム100の一例を示す模式図である。
図2は、本実施形態における学習の対象となるニューラルネットワークの一例を示す模式図である。図2に示すように、ニューラルネットワークは、第1層に入力層(Input layer)と、第2層及び第3層に隠れ層(Hidden layers)と、第4層に出力層(Output layer)とを有し、各層は複数のノードNを有する。なお、図2では、2層の隠れ層、並びに第1層に6つのノードN11〜N16、第2層に4つのノードN21〜N24、第3層に6つのノードN31〜N36、及び第4層に4つのノードN41〜N44を示しているが、隠れ層の総数及び各層におけるノードNの数は任意である。各ユーザ端末20は、それぞれ等しい層数及びノード数のニューラルネットワークを有する。
各ノードNは、隣接する層のノードNに対して重み変数Wで紐づけられている(図2の矢印)。重み変数Wは、ノードNの間毎に異なる値を示し、深層学習における再現性に影響する変数である。重み変数Wは、例えば行列で示される。重み変数Wを各ユーザ端末20において順番に算出し、更新することで、深層学習における再現性の精度向上を図ることができる。
サーバ10は、図1に示すように、複数のユーザ端末20と接続され、重み変数W等の各種情報を送受信及び保存する。サーバ10は、例えばクラウドサーバのように、管理者等に代わって各種情報の記憶等を行う第三者機関(業務委託先等)が保有するサーバでもよい。
ユーザ端末20は、深層学習における再現性の最適化に必要となる重み変数Wを算出する。ユーザ端末20は、深層学習に必要となる参照データを有し、ユーザ端末20毎に異なる参照データを有する。このため、深層学習における再現性の最適化は、ユーザ端末20の数によって得られる精度が変わる。なお、図1ではnつのユーザ端末20(20a、20b、・・・、20n)を示しているが、ユーザ端末20の数は任意である。
公衆通信網30(ネットワーク)は、サーバ10等が通信回路を介して接続されるインターネット網等である。公衆通信網30は、いわゆる光ファイバ通信網で構成されてもよい。また、公衆通信網30は、有線通信網には限定されず、無線通信網で実現してもよい。公衆通信網30は、例えば図1に示すように、ユーザ端末20毎に複数の通信網30a、30b、・・・、30nを有してもよく、各ユーザ端末20とサーバ10との各種情報の送受信が実現できれば、任意の構成を備えることができる。
次に、本実施形態における学習システム100の動作について説明する。図3は、本実施形態における学習システム100の動作の一例を示すフローチャートである。
先ず、複数のユーザ端末20に含まれる1つのユーザ端末20(以下、第1ユーザ端末20aとする)において、重み変数W(以下、第1重み変数W1とする)を算出する。第1ユーザ端末20aの算出部21は、第1参照データと、予め取得された重み変数Wとを参照し、第1重み変数W1を算出する。ここで、予め取得された重み変数Wは、例えば初期値として算出部21で設定されてもよい(初期値設定手段S111)ほか、例えば他のユーザ端末20において算出された重み変数Wを取得してもよい。第1ユーザ端末20aの記憶部22は、例えば算出した第1重み変数W1を記憶する。
次に、サーバ10を介して第1重み変数W1を、第1ユーザ端末20aから他のユーザ端末20(以下、第2ユーザ端末20bとする)に送信する(送受信手段S120)。このとき、例えば第1重み変数W1を、複数のユーザ端末20のうち第2ユーザ端末20bのみに送信し、その他のユーザ端末20には送信されない。
次に、第2ユーザ端末20bにおいて、重み変数W(以下、第2重み変数W2とする)を算出する(第2算出手段S130)。第2ユーザ端末20bの算出部21は、第2参照データと、第1重み変数W1とを参照し、第2重み変数W2を算出する。第1ユーザ端末20aの記憶部22は、例えば算出した第2重み変数W2を記憶する。
次に、本実施形態における学習システム100の変形例について説明する。上述した実施形態における学習システム100の一例と、変形例との違いは、暗号化された重み変数WKが送受信される点である。なお、上述した内容と同様の構成等については、説明を省略する。
次に、本実施形態における学習システム100の動作の変形例について説明する。図6は、本実施形態における学習システム100の動作の変形例を示すフローチャートである。本変形例によれば、学習システム100は生成手段S150をさらに備え、第1算出手段S110は暗号化手段S112を有し、送受信手段S120は復号手段S123を有する。
先ず、共通鍵暗号Kを生成する(生成手段S150)。1つのユーザ端末20(以下、第1ユーザ端末20aとする)の暗号部24は、共通暗号鍵を生成する。暗号部24は、例えばSSL/TLS等の暗号化技術を利用して、生成した共通暗号鍵を直接他のユーザ端末20(例えば第2ユーザ端末20b〜第nユーザ端末20n)に送信する。他のユーザ端末20のそれぞれの記憶部22(22b〜22n)は、取得した共通暗号鍵を記憶する。
11 :制御部
12 :記憶部
13 :通信インターフェース
20 :ユーザ端末
21 :算出部
22 :記憶部
23 :通信インターフェース
24 :暗号部
30 :公衆通信網
100 :学習システム
201 :CPU
202 :ROM
203 :RAM
204 :保存部
205 :I/F
206 :I/F
207 :I/F
208 :入力部分
209 :出力部分
210 :内部バス
211 :筐体
G :勾配情報
K :共通鍵暗号
N :ノード
S110 :第1算出手段
S120 :送受信手段
S130 :第2算出手段
W :重み変数
Claims (6)
- サーバを介した複数のユーザ端末の間で、深層学習における再現性の最適化を行う学習システムであって、
複数の前記ユーザ端末に含まれる第1ユーザ端末の有する第1参照データと、予め取得された重み変数とを参照し、第1重み変数を算出する第1算出手段と、
前記サーバを介して前記第1重み変数を、前記第1ユーザ端末から複数の前記ユーザ端末に含まれる第2ユーザ端末に送信する送受信手段と、
前記第2ユーザ端末の有する第2参照データと、前記第1重み変数とを参照し、第2重み変数を算出する第2算出手段と、
を備えることを特徴とする学習システム。 - 前記送受信手段は、前記第1重み変数を、複数の前記ユーザ端末のうち、前記第2ユーザ端末のみに送信すること
を特徴とする請求項1記載の学習システム。 - 複数の前記ユーザ端末に取得される共通鍵暗号を生成する生成手段をさらに備え、
前記第1算出手段は、前記第1ユーザ端末において、前記共通鍵暗号を用いて、前記第1重み変数を暗号化する暗号化手段を有し、
前記送受信手段は、
前記第2ユーザ端末において、前記共通鍵暗号を用いて、暗号化された前記第1重み変数を復号する復号手段を有し、
前記暗号化された前記第1重み変数を、前記第1ユーザ端末から前記サーバに送信し、
前記暗号化された前記第1重み変数を、前記サーバから前記第2ユーザ端末に送信すること
を特徴とする請求項1又は2記載の学習システム。 - 前記第1重み変数及び前記第2重み変数は、確率的勾配降下法を用いて算出され、
前記第1算出手段は、
前記第1参照データと、前記重み変数とを参照して第1勾配情報を導出し、
前記第1勾配情報及び前記重み変数に基づく前記第1重み変数を算出し、
前記第2算出手段は、
前記第2参照データと、前記第1重み変数とを参照して第2勾配情報を導出し、
前記第2勾配情報及び前記第1重み変数に基づく前記第2重み変数を算出すること
を特徴とする請求項1〜3の何れか1項記載の学習システム。 - 前記送受信手段は、複数の前記ユーザ端末のうち、1つのユーザ端末を前記第2ユーザ端末として、前記サーバ内において設定すること
を特徴とする請求項1〜4の何れか1項記載の学習システム。 - サーバを介した複数のユーザ端末の間で、深層学習における再現性の最適化を行う学習方法であって、
複数の前記ユーザ端末に含まれる第1ユーザ端末の有する第1参照データと、予め取得された重み変数とを参照し、第1重み変数を算出する第1算出ステップと、
前記サーバを介して前記第1重み変数を、前記第1ユーザ端末から複数の前記ユーザ端末に含まれる第2ユーザ端末に送信する送受信ステップと、
前記第2ユーザ端末の有する第2参照データと、前記第1重み変数とを参照し、第2重み変数を算出する第2算出ステップと、
を備えることを特徴とする学習方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018001656A JP7058440B2 (ja) | 2018-01-10 | 2018-01-10 | 学習システム及び学習方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018001656A JP7058440B2 (ja) | 2018-01-10 | 2018-01-10 | 学習システム及び学習方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019121256A true JP2019121256A (ja) | 2019-07-22 |
JP7058440B2 JP7058440B2 (ja) | 2022-04-22 |
Family
ID=67307298
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018001656A Active JP7058440B2 (ja) | 2018-01-10 | 2018-01-10 | 学習システム及び学習方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7058440B2 (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPWO2021028967A1 (ja) * | 2019-08-09 | 2021-02-18 | ||
JP7513359B2 (ja) | 2019-11-15 | 2024-07-09 | インターナショナル・ビジネス・マシーンズ・コーポレーション | 勾配降下法のセキュアな連合方法、システム、プログラム |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20170109322A1 (en) * | 2015-10-16 | 2017-04-20 | Google Inc. | Systems and Methods of Distributed Optimization |
JP2017519282A (ja) * | 2014-05-12 | 2017-07-13 | クゥアルコム・インコーポレイテッドQualcomm Incorporated | 分散モデル学習 |
JP2017174298A (ja) * | 2016-03-25 | 2017-09-28 | 株式会社デンソーアイティーラボラトリ | ニューラルネットワークシステム、端末装置、管理装置およびニューラルネットワークにおける重みパラメータの学習方法 |
-
2018
- 2018-01-10 JP JP2018001656A patent/JP7058440B2/ja active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2017519282A (ja) * | 2014-05-12 | 2017-07-13 | クゥアルコム・インコーポレイテッドQualcomm Incorporated | 分散モデル学習 |
US20170109322A1 (en) * | 2015-10-16 | 2017-04-20 | Google Inc. | Systems and Methods of Distributed Optimization |
JP2017174298A (ja) * | 2016-03-25 | 2017-09-28 | 株式会社デンソーアイティーラボラトリ | ニューラルネットワークシステム、端末装置、管理装置およびニューラルネットワークにおける重みパラメータの学習方法 |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPWO2021028967A1 (ja) * | 2019-08-09 | 2021-02-18 | ||
JP7483104B2 (ja) | 2019-08-09 | 2024-05-14 | 三菱電機株式会社 | 制御システム |
JP7515991B2 (ja) | 2019-08-09 | 2024-07-16 | 三菱電機株式会社 | 制御システム、機器および制御方法 |
JP7513359B2 (ja) | 2019-11-15 | 2024-07-09 | インターナショナル・ビジネス・マシーンズ・コーポレーション | 勾配降下法のセキュアな連合方法、システム、プログラム |
Also Published As
Publication number | Publication date |
---|---|
JP7058440B2 (ja) | 2022-04-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20210279342A1 (en) | Neural-network training using secure data processing | |
US11449753B2 (en) | Method for collaborative learning of an artificial neural network without disclosing training data | |
US10965448B1 (en) | Dynamic distributed storage for scaling blockchain | |
CN107683502B (zh) | 根据紧凑源代码生成加密函数参数 | |
US11343068B2 (en) | Secure multi-party learning and inferring insights based on encrypted data | |
CN105122721B (zh) | 用于管理针对加密数据的托管安全计算的方法和*** | |
CN110753926A (zh) | 同态数据分析 | |
EP3566389B1 (en) | Distributed privacy-preserving verifiable computation | |
US20160012238A1 (en) | A method and system for privacy-preserving recommendation to rating contributing users based on matrix factorization | |
Moylett et al. | Classically simulating near-term partially-distinguishable and lossy boson sampling | |
US10951394B2 (en) | System and method for publication of private data using a blockchain network | |
KR102550812B1 (ko) | 동형 암호를 이용한 암호문 비교 방법 및 이를 수행하기 위한 장치 | |
JP2016517069A (ja) | 行列因数分解に基づいたユーザに寄与する評点に対するプライバシー保護推薦のための方法およびシステム | |
EP3786807A1 (en) | Ai-based blockchain hybrid consensus | |
US7995765B2 (en) | Sharing a secret using hyperplanes over GF(q) | |
JP2017515195A (ja) | 断熱量子計算を介してデジタル論理制約問題を解く | |
KR20150123823A (ko) | 마스크들을 사용한 프라이버시-보존 리지 회귀 | |
US7995764B2 (en) | Sharing a secret using hyperplanes over GF(2m) | |
WO2019199777A1 (en) | Encryption using spatial voting | |
Peng et al. | Autorep: Automatic relu replacement for fast private network inference | |
Lu et al. | More practical privacy-preserving machine learning as a service via efficient secure matrix multiplication | |
JP7058440B2 (ja) | 学習システム及び学習方法 | |
Bitar et al. | PRAC: private and rateless adaptive coded computation at the edge | |
JP2023520776A (ja) | 圧縮暗号化のための方法及びシステム | |
US8325913B2 (en) | System and method of authentication |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A80 | Written request to apply exceptions to lack of novelty of invention |
Free format text: JAPANESE INTERMEDIATE CODE: A80 Effective date: 20180208 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20201126 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20211124 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220105 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220303 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220315 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220405 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7058440 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |