JP6984863B2

JP6984863B2 - Deep learning automatic learning system and client equipment

Info

Publication number: JP6984863B2
Application number: JP2017093205A
Authority: JP
Inventors: 村匠市; 田真鎌
Original assignee: 広島県公立大学法人
Priority date: 2017-05-09
Filing date: 2017-05-09
Publication date: 2021-12-22
Anticipated expiration: 2037-05-09
Also published as: JP2018190239A

Description

本発明は、深層学習自動学習システム、クライアント装置およびサーバ装置に関し、より詳しくは、クライアント装置からサーバ装置に送信された学習データに基づいて深層学習を行い、最新の学習結果をサーバ装置からクライアント装置にインターネットを通じてセキュアに提供する深層学習自動学習システム、ならびに、当該深層学習自動学習システムが備えるクライアント装置およびサーバ装置に関する。 The present invention relates to a deep learning automatic learning system, a client device, and a server device. More specifically, the present invention performs deep learning based on learning data transmitted from the client device to the server device, and obtains the latest learning results from the server device to the client device. The present invention relates to a deep learning automatic learning system that is securely provided via the Internet, and a client device and a server device included in the deep learning automatic learning system.

センサー等の外部装置から得られた学習データを用いて深層学習を行うシステムが活発に研究されている。深層学習は、多層構造のニューラルネットワークを用いた機械学習の一種である。深層学習の一手法として、構造適応型深層学習法が知られている（非特許文献１参照）。この構造適応型深層学習法は、ＤＢＮ（ＤｅｅｐＢｒｉｅｆＮｅｔｗｏｒｋ）において、最適な隠れニューロン数および層の数を学習中に自動で求めるための手法である。 Systems that perform deep learning using learning data obtained from external devices such as sensors are being actively researched. Deep learning is a type of machine learning using a multi-layered neural network. As a method of deep learning, a structure-adaptive deep learning method is known (see Non-Patent Document 1). This structure-adaptive deep learning method is a method for automatically finding the optimum number of hidden neurons and the number of layers during learning in DBN (Deep Brief Network).

なお、特許文献１には、クライアントコンピュータが生成した診断データをベンダーコンピュータシステムにより解析して推奨データを生成し、クライアントに対し推奨データを伝達する方法が記載されている。 In addition, Patent Document 1 describes a method of analyzing diagnostic data generated by a client computer by a vendor computer system to generate recommended data, and transmitting the recommended data to the client.

特開２００４−３４８７３０号公報Japanese Unexamined Patent Publication No. 2004-348730

鎌田真、市村匠、原章、“ニューロン生成／消滅アルゴリズムによる構造適応型ＲｅｓｔｒｉｃｔｅｄＢｏｌｔｚｍａｎｎＭａｃｈｉｎｅ”、計測自動制御学会第８回コンピューテーショナル・インテリジェンス研究会、ｐｐ．９０−９６（２０１５）Makoto Kamada, Takumi Ichimura, Akira Hara, "Structural Adapted Boltzmann Machine by Neuron Generation / Disappearance Algorithm", 8th Computational Intelligence Study Group, Society of Instrument and Control Engineers, pp. 90-96 (2015)

深層学習を利用するための情報処理システムとして、インターネットを介して接続されたクライアント装置とサーバ装置を備えるシステムであって、クライアント装置が学習データをサーバ装置に送信し、当該学習データに基づく深層学習が行われた後、サーバ装置が学習結果をクライアント装置に送信するシステムが考えられる。深層学習を実行する学習用計算機の性能にもよるが、一般的に深層学習は比較的長い時間（例えば数時間程度）を要する。 As an information processing system for using deep learning, it is a system equipped with a client device and a server device connected via the Internet. The client device sends learning data to the server device, and deep learning based on the learning data. After that, a system in which the server device sends the learning result to the client device can be considered. Although it depends on the performance of the learning computer that executes deep learning, deep learning generally takes a relatively long time (for example, several hours).

しかしながら、深層学習が終了するまでクライアント装置とサーバ装置間の通信（セッション）を保持することは、セッションがタイムアウトするため困難である。また、セッションのタイムアウト時間を深層学習に要する時間より長くすることは、セキュリティ維持の観点から望ましくない。 However, it is difficult to maintain communication (session) between the client device and the server device until the deep learning is completed because the session times out. Further, it is not desirable from the viewpoint of maintaining security that the session timeout time is longer than the time required for deep learning.

そこで、本発明は、クライアント装置とサーバ装置間の通信を深層学習が完了するまで保持する必要がなく、最新の学習結果をサーバ装置からクライアント装置にインターネットを通じてセキュアに提供することができる深層学習自動学習システム、クライアント装置およびサーバ装置を提供することを目的とする。 Therefore, according to the present invention, it is not necessary to maintain the communication between the client device and the server device until the deep learning is completed, and the latest learning result can be securely provided from the server device to the client device via the Internet. It is an object of the present invention to provide a learning system, a client device, and a server device.

本発明に係る深層学習自動学習システムは、
インターネットを介して接続されたクライアント装置およびサーバ装置を備える深層学習自動学習システムであって、
前記クライアント装置は、
前記クライアント装置の識別情報に基づいて公開鍵および秘密鍵を生成する鍵生成部と、
前記サーバ装置に新規学習データを送信する新規学習データ送信部と、を有し、
前記サーバ装置は、
前記公開鍵を用いて、前記新規学習データに基づく学習結果データを暗号化して、暗号化学習結果データを生成する学習結果データ暗号化部と、
前記公開鍵を用いて、前記学習結果データを識別するためのバージョン管理情報を暗号化して、暗号化学習バージョンデータを生成するバージョン管理情報暗号化部と、
前記クライアント装置に前記暗号化学習バージョンデータをプッシュ通知するプッシュ通知部と、を有し、
前記クライアント装置は、
前記サーバ装置からプッシュ通知された前記暗号化学習バージョンデータを、前記秘密鍵を用いて復号化して、前記バージョン管理情報を取得するバージョン管理情報取得部と、
前記バージョン管理情報に対応する学習結果データを既に取得しているか否かを判定し、取得していない場合は前記サーバ装置に対して前記学習結果データの送信を要求するデータ要求部と、
前記データ要求部の要求に応じて前記サーバ装置から前記クライアント装置に送信された前記暗号化学習結果データを、前記秘密鍵を用いて復号化して、前記学習結果データを取得する学習結果データ取得部と、をさらに有することを特徴とする。 The deep learning automatic learning system according to the present invention is
It is a deep learning automated learning system equipped with client devices and server devices connected via the Internet.
The client device is
A key generator that generates a public key and a private key based on the identification information of the client device,
It has a new learning data transmission unit that transmits new learning data to the server device, and has.
The server device is
Using the public key, the learning result data encryption unit that encrypts the learning result data based on the new learning data and generates the encrypted learning result data,
Using the public key, the version management information encryption unit that encrypts the version management information for identifying the learning result data and generates the encrypted learning version data,
It has a push notification unit that push-notifies the encryption learning version data to the client device.
The client device is
A version control information acquisition unit that acquires the version control information by decrypting the encryption learning version data push-notified from the server device using the private key.
A data requesting unit that determines whether or not the learning result data corresponding to the version control information has already been acquired, and if not acquired, requests the server device to transmit the learning result data.
The learning result data acquisition unit that acquires the learning result data by decrypting the encrypted learning result data transmitted from the server device to the client device in response to the request of the data request unit using the secret key. And, further characterized by having.

本発明に係るクライアント装置は、
インターネットを介してサーバ装置に接続されたクライアント装置であって、
前記クライアント装置の識別情報に基づいて公開鍵および秘密鍵を生成する鍵生成部と、
前記サーバ装置に新規学習データを送信する新規学習データ送信部と、
前記サーバ装置からプッシュ通知された暗号化学習バージョンデータを、前記秘密鍵を用いて復号化して、学習結果データを識別するためのバージョン管理情報を取得するバージョン管理情報取得部と、
前記バージョン管理情報に対応する学習結果データを既に取得しているか否かを判定し、取得していない場合は前記サーバ装置に対して前記学習結果データの送信を要求するデータ要求部と、
前記データ要求部の要求に応じて前記サーバ装置から前記クライアント装置に送信された暗号化学習結果データを、前記秘密鍵を用いて復号化して、前記学習結果データを取得する学習結果データ取得部と、
を備えることを特徴とする。 The client device according to the present invention is
A client device connected to a server device via the Internet.
A key generator that generates a public key and a private key based on the identification information of the client device,
A new learning data transmission unit that transmits new learning data to the server device,
A version management information acquisition unit that acquires version management information for identifying the learning result data by decrypting the encrypted learning version data push-notified from the server device using the secret key.
A data requesting unit that determines whether or not the learning result data corresponding to the version control information has already been acquired, and if not acquired, requests the server device to transmit the learning result data.
With the learning result data acquisition unit that acquires the learning result data by decrypting the encrypted learning result data transmitted from the server device to the client device in response to the request of the data request unit using the secret key. ,
It is characterized by having.

本発明に係るサーバ装置は、
インターネットを介してクライアント装置に接続されたサーバ装置であって、
前記クライアント装置から受信した公開鍵を用いて、学習結果データを暗号化して暗号化学習結果データを生成する学習結果データ暗号化部と、
前記公開鍵を用いて、前記学習結果データを識別するためのバージョン管理情報を暗号化して暗号化学習バージョンデータを生成するバージョン管理情報暗号化部と、
前記クライアント装置に前記暗号化学習バージョンデータをプッシュ通知するプッシュ通知部と、
を備えることを特徴とする。 The server device according to the present invention is
A server device connected to a client device via the Internet.
Using the public key received from the client device, the learning result data is encrypted and encrypted. The learning result data encryption unit that generates the learning result data,
Using the public key, the version management information encryption unit that encrypts the version management information for identifying the learning result data and generates the encrypted learning version data,
A push notification unit that push-notifies the encryption learning version data to the client device,
It is characterized by having.

本発明に係る深層学習自動学習システムでは、サーバ装置は、学習結果データを識別するためのバージョン管理情報を暗号化した暗号化学習バージョンデータをクライアント装置にプッシュ通知することにより深層学習が終了したことを通知し、クライアント装置に新しい学習結果データをダウンロードすることを促す。プッシュ通知を受信したクライアント装置は、バージョン管理情報に対応する学習結果データを既に取得しているか否かを判定し、取得していない場合、サーバ装置に対して学習結果データの送信を要求する。要求を受けたサーバ装置は、学習結果データを暗号化した暗号化学習結果データをクライアント装置に送信する。このようにすることで、クライアント装置は、サーバ装置との通信を深層学習が完了するまで保持することなく、最新の学習結果データを取得することができる。 In the deep learning automatic learning system according to the present invention, the server device has completed the deep learning by pushing the encrypted learning version data in which the version management information for identifying the learning result data is encrypted to the client device. Is notified and prompts the client device to download new learning result data. The client device that has received the push notification determines whether or not the learning result data corresponding to the version control information has already been acquired, and if not, requests the server device to transmit the learning result data. The server device that receives the request sends the encrypted learning result data, which is the encrypted learning result data, to the client device. By doing so, the client device can acquire the latest learning result data without holding the communication with the server device until the deep learning is completed.

さらに、本発明に係る深層学習自動学習システムでは、バージョン管理情報および学習結果データは、公開鍵を用いて暗号化されてからクライアント装置に送信されるため、サーバ装置からクライアント装置にデータをセキュアに配信することができる。 Further, in the deep learning automatic learning system according to the present invention, the version management information and the learning result data are encrypted using the public key and then transmitted to the client device, so that the data can be securely transmitted from the server device to the client device. Can be delivered.

よって、本発明によれば、クライアント装置とサーバ装置間の通信を深層学習が完了するまで保持する必要がなく、最新の学習結果をサーバ装置からクライアント装置にインターネットを通じてセキュアに提供することができる。 Therefore, according to the present invention, it is not necessary to maintain the communication between the client device and the server device until the deep learning is completed, and the latest learning result can be securely provided from the server device to the client device via the Internet.

実施形態に係る深層学習自動学習システムの概略的な構成図である。It is a schematic block diagram of the deep learning automatic learning system which concerns on embodiment. 実施形態に係るクライアント装置の概略的な構成図である。It is a schematic block diagram of the client apparatus which concerns on embodiment. 実施形態に係るサーバ装置の概略的な構成図である。It is a schematic block diagram of the server apparatus which concerns on embodiment. 実施形態に係る端末管理用データベースの一例を示す図である。It is a figure which shows an example of the terminal management database which concerns on embodiment. 実施形態に係る学習用計算機の概略的な構成図である。It is a schematic block diagram of the computer for learning which concerns on embodiment. 実施形態に係るクライアント装置とサーバ装置間のフローチャートである。It is a flowchart between the client apparatus and the server apparatus which concerns on embodiment. 実施形態に係るサーバ装置と学習用計算機間のフローチャートである。It is a flowchart between the server device and the learning computer which concerns on embodiment. 実施形態に係るサーバ装置とクライアント装置間のフローチャートである。It is a flowchart between the server apparatus and the client apparatus which concerns on embodiment. 図８に続く、実施形態に係るサーバ装置とクライアント装置間のフローチャートである。FIG. 8 is a flowchart of the server device and the client device according to the embodiment, following FIG. 図９に続く、実施形態に係るサーバ装置とクライアント装置間のフローチャートである。FIG. 9 is a flowchart of the server device and the client device according to the embodiment, following FIG. 実施形態に係るプッシュ通知の設定画面の一例である。This is an example of a push notification setting screen according to an embodiment. 実施形態に係るプッシュ通知の画面例である。It is a screen example of the push notification which concerns on embodiment.

以下、本発明に係る実施形態について図面を参照しながら説明する。 Hereinafter, embodiments according to the present invention will be described with reference to the drawings.

＜深層学習自動学習システム＞
まず、図１を参照して、本発明の実施形態に係る深層学習自動学習システム１の概略的な構成について説明する。なお、深層学習自動学習システム１の各構成の内部構成・処理等については、図２以降の図面を参照して説明する。 <Deep learning automatic learning system>
First, with reference to FIG. 1, a schematic configuration of the deep learning automatic learning system 1 according to the embodiment of the present invention will be described. The internal configuration, processing, and the like of each configuration of the deep learning automatic learning system 1 will be described with reference to the drawings of FIGS. 2 and 2.

深層学習自動学習システム１は、クライアント装置１００、サーバ装置２００および学習用計算機３００を備える。クライアント装置１００とサーバ装置２００は、インターネットを介して接続されている。なお、図１では１台のクライアント装置１００のみがサーバ装置２００に接続されているが、複数のクライアント装置１００がサーバ装置２００に接続されてもよい。 The deep learning automatic learning system 1 includes a client device 100, a server device 200, and a learning computer 300. The client device 100 and the server device 200 are connected to each other via the Internet. Although only one client device 100 is connected to the server device 200 in FIG. 1, a plurality of client devices 100 may be connected to the server device 200.

クライアント装置１００は、各種センサー等を有するＩＯＴ機器等の外部装置から新規学習データを入力する。ここで、新規学習データとは、深層学習に用いるためのデータであり、深層学習にまだ用いられていないデータである。なお、クライアント装置１００は、具体的には、パソコン、タブレット端末、組み込みボード等である。 The client device 100 inputs new learning data from an external device such as an IOT device having various sensors and the like. Here, the new learning data is data to be used for deep learning, and is data that has not yet been used for deep learning. Specifically, the client device 100 is a personal computer, a tablet terminal, an embedded board, or the like.

クライアント装置１００は、当該クライアント装置１００を識別するための識別情報を有する。この識別情報は、例えば、クライアント装置１００のＭＡＣアドレスやシリアル番号等の端末固有番号である。 The client device 100 has identification information for identifying the client device 100. This identification information is, for example, a terminal-specific number such as the MAC address or serial number of the client device 100.

サーバ装置２００は、Ｗｅｂデータサーバまたはクラウドサーバとも呼ばれ、図１に示すように、ＰＵＳＨサーバおよびデータサーバを有する。このサーバ装置２００は、学習用計算機３００に通信可能に接続されており、学習用計算機３００に学習データを送信し、学習用計算機３００から学習結果データを受信する。ここで、学習結果データとは、深層学習により得られたデータであって、クライアント装置でニューラルネットワークを再構成するために必要となるデータである。学習結果データは、具体的には、ニューラルネットワークの形状、重み、その他のパラメータ値である。なお、学習結果データは、深層学習により蓄積された知識（ＩＦ−ＴＨＥＮルールなど）を含んでもよい。 The server device 200 is also called a Web data server or a cloud server, and has a PUSH server and a data server as shown in FIG. The server device 200 is communicably connected to the learning computer 300, transmits learning data to the learning computer 300, and receives learning result data from the learning computer 300. Here, the learning result data is data obtained by deep learning and is necessary for reconstructing a neural network in a client device. The training result data is specifically the shape, weight, and other parameter values of the neural network. The learning result data may include knowledge accumulated by deep learning (IF-THER rule, etc.).

学習用計算機３００は、サーバ装置２００から受信した学習データを用いて学習を行う。この学習用計算機３００は、例えば、既述の構造適応型深層学習法により深層学習を行う。なお、学習用計算機３００は、ＧＰＵ（ＧｒａｐｈｉｃｓＰｒｏｃｅｓｓｉｎｇＵｎｉｔｓ）計算機と呼ばれることもある。 The learning computer 300 performs learning using the learning data received from the server device 200. The learning computer 300 performs deep learning by, for example, the structure-adaptive deep learning method described above. The learning computer 300 may also be referred to as a GPU (Graphics Processing Units) computer.

深層学習自動学習システム１では、後ほど詳しく説明するように、クライアント装置１００からサーバ装置２００に新規学習データがアップロードされ、サーバ装置２００からクライアント装置１００に学習結果データがダウンロードされる。 In the deep learning automatic learning system 1, new learning data is uploaded from the client device 100 to the server device 200, and the learning result data is downloaded from the server device 200 to the client device 100, as will be described in detail later.

なお、本発明に係る深層学習自動学習システムは、図１に示す構成に限られない。例えば、サーバ装置２００のＰＵＳＨサーバとデータサーバは、通信装置を介して接続された別個のサーバ装置として構成されてもよい。また、サーバ装置２００は、学習用計算機３００を含むように構成されてもよい。すなわち、サーバ装置２００と学習用計算機３００は一つの情報処理装置として構成されてもよい。 The deep learning automatic learning system according to the present invention is not limited to the configuration shown in FIG. For example, the PUSH server and the data server of the server device 200 may be configured as separate server devices connected via a communication device. Further, the server device 200 may be configured to include a learning computer 300. That is, the server device 200 and the learning computer 300 may be configured as one information processing device.

次に、クライアント装置１００、サーバ装置２００および学習用計算機３００の各々について、さらに詳しく説明する。まず、クライアント装置１００の詳細について説明する。 Next, each of the client device 100, the server device 200, and the learning computer 300 will be described in more detail. First, the details of the client device 100 will be described.

＜クライアント装置＞
図２に示すように、クライアント装置１００は、制御部１１０と、記憶部１２０と、通信部１３０とを有している。 <Client device>
As shown in FIG. 2, the client device 100 has a control unit 110, a storage unit 120, and a communication unit 130.

制御部１１０は、クライアント装置１００内のプロセッサが所定のプログラムを実行することにより実現される。この制御部１１０は、鍵生成部１１１と、新規学習データ送信部１１２と、バージョン管理情報取得部１１３と、データ要求部１１４と、学習結果データ取得部１１５と、データ消去要求部１１６と、推論部１１７と、出力部１１８とを有している。各部の詳細については後ほど説明する。 The control unit 110 is realized by the processor in the client device 100 executing a predetermined program. The control unit 110 includes a key generation unit 111, a new learning data transmission unit 112, a version management information acquisition unit 113, a data request unit 114, a learning result data acquisition unit 115, a data erasure request unit 116, and an inference. It has a unit 117 and an output unit 118. Details of each part will be described later.

記憶部１２０は、新規学習データＤＢ１２１を有する。新規学習データＤＢ１２１は、ＩＯＴ機器等の外部装置から入力された新規学習データを記憶する。なお、記憶部１２０は、例えばハードディスク、半導体メモリ（ＳＳＤ等）から構成される。 The storage unit 120 has a new learning data DB 121. The new learning data DB 121 stores new learning data input from an external device such as an IOT device. The storage unit 120 is composed of, for example, a hard disk and a semiconductor memory (SSD or the like).

通信部１３０は、クライアント装置１００がインターネットを介してサーバ装置２００との間で情報を送受信するためのインターフェースである。 The communication unit 130 is an interface for the client device 100 to send and receive information to and from the server device 200 via the Internet.

ここで、制御部１１０の各部の詳細について説明する。 Here, the details of each part of the control unit 110 will be described.

鍵生成部１１１は、クライアント装置１００の識別情報に基づいて公開鍵および秘密鍵を生成する。公開鍵はデータを暗号化する際に用いるキーであり、秘密鍵はデータを復号化する際に用いるキーである。なお、鍵の生成方法は特に限定されず、公知の鍵生成手法を用いることが可能である。 The key generation unit 111 generates a public key and a private key based on the identification information of the client device 100. The public key is the key used to encrypt the data, and the private key is the key used to decrypt the data. The key generation method is not particularly limited, and a known key generation method can be used.

新規学習データ送信部１１２は、新規学習データＤＢ１２１に保存された新規学習データをサーバ装置２００に送信する。なお、本実施形態では、新規学習データは、ｈｔｔｐｓを用いてサーバ装置２００にセキュアに送信される。 The new learning data transmission unit 112 transmits the new learning data stored in the new learning data DB 121 to the server device 200. In this embodiment, the new learning data is securely transmitted to the server device 200 using https.

バージョン管理情報取得部１１３は、サーバ装置２００からプッシュ通知された暗号化学習バージョンデータを、鍵生成部１１１により生成された秘密鍵を用いて復号化して、バージョン管理情報を取得する。ここで、バージョン管理情報は、学習結果データを識別するための情報である。また、暗号化学習バージョンデータは、少なくともバージョン管理情報を公開鍵で暗号化して得られるデータのことである。なお、本実施形態では、暗号化学習バージョンデータは、バージョン管理情報と登録ＩＤ（ＲｅｇｉｓｔｒａｔｉｏｎＩＤ）を公開鍵で暗号化して得られるデータである。 The version control information acquisition unit 113 acquires the version control information by decrypting the encryption learning version data push-notified from the server device 200 using the private key generated by the key generation unit 111. Here, the version control information is information for identifying the learning result data. The encryption learning version data is data obtained by encrypting at least the version control information with a public key. In the present embodiment, the encryption learning version data is data obtained by encrypting the version management information and the registration ID (Registration ID) with a public key.

データ要求部１１４は、バージョン管理情報に対応する学習結果データを既に取得しているか否かを判定し、取得していない場合はサーバ装置２００に対して学習結果データの送信を要求する。なお、データ要求部１１４は、学習結果データの送信を要求する際、バージョン管理情報のバージョンをサーバ装置２００に送信してもよい。これにより、サーバ装置２００は、クライアント装置１００に送信すべき学習結果データを把握することができる。 The data requesting unit 114 determines whether or not the learning result data corresponding to the version control information has already been acquired, and if not, requests the server device 200 to transmit the learning result data. When requesting the transmission of the learning result data, the data requesting unit 114 may transmit the version of the version control information to the server device 200. As a result, the server device 200 can grasp the learning result data to be transmitted to the client device 100.

学習結果データ取得部１１５は、データ要求部１１４の要求に応じてサーバ装置２００からクライアント装置１００に送信された暗号化学習結果データを、鍵生成部１１１により生成された秘密鍵を用いて復号化して学習結果データを取得する。なお、学習結果データは、深層学習に用いた学習データを含んでいてもよい。すなわち、学習結果データ取得部１１５は、学習結果データとして、学習データセットを取得してもよい。ここで、「学習データセット」とは、深層学習に用いた学習データと、学習結果データとの組合せ（データセット）のことである。 The learning result data acquisition unit 115 decodes the encrypted learning result data transmitted from the server device 200 to the client device 100 in response to the request of the data request unit 114 by using the secret key generated by the key generation unit 111. And acquire the learning result data. The learning result data may include the learning data used for deep learning. That is, the learning result data acquisition unit 115 may acquire the learning data set as the learning result data. Here, the "learning data set" is a combination (data set) of the learning data used for deep learning and the learning result data.

暗号化学習結果データは、少なくとも学習結果データを公開鍵で暗号化して得られるデータである。なお、本実施形態では、暗号化学習結果データは、学習結果データと登録ＩＤを公開鍵で暗号化して得られるデータである。 The encrypted learning result data is data obtained by encrypting at least the learning result data with a public key. In the present embodiment, the encrypted learning result data is data obtained by encrypting the learning result data and the registration ID with a public key.

データ消去要求部１１６は、学習結果データ取得部１１５により学習結果データが取得された後、サーバ装置２００に対して、サーバ装置２００が有する暗号化学習結果データを消去するよう要求する。これにより、クライアント装置１００にダウンロード済みの暗号化学習結果データがサーバ装置２００から消去され、サーバ装置２００のメモリを節約することができる。 After the learning result data is acquired by the learning result data acquisition unit 115, the data erasure request unit 116 requests the server device 200 to erase the encrypted learning result data possessed by the server device 200. As a result, the encrypted learning result data downloaded to the client device 100 is erased from the server device 200, and the memory of the server device 200 can be saved.

推論部１１７は、学習結果データ取得部１１５により取得された学習結果データを用いて推論を行う。本実施形態では、構造適応型深層学習法による推論を行う。 The reasoning unit 117 makes an inference using the learning result data acquired by the learning result data acquisition unit 115. In this embodiment, inference is performed by a structure-adaptive deep learning method.

なお、推論部１１７は、暗号化学習バージョンデータを復号化して得られた登録ＩＤと、暗号化学習結果データを復号化して得られた登録ＩＤとが一致する場合に、学習結果データを用いて構造適応型深層学習法による推論を行うことが好ましい。これにより、意図しない別バージョンの学習結果データを用いて推論を行うという事態を防止できる。 The inference unit 117 uses the learning result data when the registration ID obtained by decrypting the encryption learning version data and the registration ID obtained by decrypting the encryption learning result data match. It is preferable to perform inference by the structure-adaptive deep learning method. As a result, it is possible to prevent a situation in which inference is performed using an unintended version of learning result data.

出力部１１８は、推論部１１７により行われた推論の結果を出力する。推論結果の出力先は、クライアント装置１００のディスプレイ、プリンタ（図示せず）、記憶部１２０、あるいはクライアント装置１００に接続された他の装置等である。 The output unit 118 outputs the result of the inference performed by the inference unit 117. The output destination of the inference result is a display of the client device 100, a printer (not shown), a storage unit 120, another device connected to the client device 100, or the like.

＜サーバ装置＞
次に、サーバ装置２００の詳細について説明する。 <Server device>
Next, the details of the server device 200 will be described.

図３に示すように、サーバ装置２００は、制御部２１０と、記憶部２２０と、通信部２３０とを有している。 As shown in FIG. 3, the server device 200 has a control unit 210, a storage unit 220, and a communication unit 230.

制御部２１０は、サーバ装置２００内のプロセッサが所定のプログラムを実行することにより実現される。この制御部２１０は、登録ＩＤ発行部２１１と、学習結果データ暗号化部２１２と、バージョン管理情報暗号化部２１３と、プッシュ通知部２１４と、新規学習データ保存部２１５と、学習データ送信部２１６と、学習結果データ送信部２１７と、データ消去部２１８とを有している。各部の詳細については後ほど説明する。 The control unit 210 is realized by the processor in the server device 200 executing a predetermined program. The control unit 210 includes a registration ID issuing unit 211, a learning result data encryption unit 212, a version management information encryption unit 213, a push notification unit 214, a new learning data storage unit 215, and a learning data transmission unit 216. And a learning result data transmission unit 217 and a data erasing unit 218. Details of each part will be described later.

なお、本実施形態では、登録ＩＤ発行部２１１、バージョン管理情報暗号化部２１３およびプッシュ通知部２１４はＰＵＳＨサーバに設けられており、学習結果データ暗号化部２１２、新規学習データ保存部２１５、学習データ送信部２１６、学習結果データ送信部２１７およびデータ消去部２１８はデータサーバに設けられている。 In this embodiment, the registration ID issuing unit 211, the version management information encryption unit 213, and the push notification unit 214 are provided in the PUSH server, and the learning result data encryption unit 212, the new learning data storage unit 215, and the learning unit are provided. The data transmission unit 216, the learning result data transmission unit 217, and the data erasure unit 218 are provided in the data server.

記憶部２２０は、端末管理用ＤＢ２２１と、学習データＤＢ２２２と、学習結果ＤＢ２２３とを有する。この記憶部２２０は、例えばハードディスク、半導体メモリ（ＳＳＤ等）から構成される。 The storage unit 220 has a terminal management DB 221, a learning data DB 222, and a learning result DB 223. The storage unit 220 is composed of, for example, a hard disk and a semiconductor memory (SSD or the like).

端末管理用ＤＢ２２１は、図４に示すように、クライアント装置１００から受信した端末固有番号（より一般的には識別情報）と公開鍵を関連付けて記憶するデータベースである。なお、端末管理用ＤＢ２２１は、図４に示すように、端末固有番号および公開鍵と関連付けて登録ＩＤを記憶してもよい。 As shown in FIG. 4, the terminal management DB 221 is a database that stores a terminal unique number (more generally, identification information) received from the client device 100 in association with a public key. As shown in FIG. 4, the terminal management DB 221 may store the registration ID in association with the terminal unique number and the public key.

学習データＤＢ２２２は、クライアント装置１００から受信した新規学習データが蓄積されるデータベースである。この学習データＤＢ２２２には、既存学習データおよび新規学習データの両方が保存される。ここで、既存学習データは、学習用計算機３００で既に深層学習に用いられたデータである。 The learning data DB 222 is a database in which new learning data received from the client device 100 is stored. Both the existing learning data and the new learning data are stored in the learning data DB 222. Here, the existing learning data is data that has already been used for deep learning by the learning computer 300.

学習結果ＤＢ２２３は、学習用計算機３００から受信した学習結果データが蓄積されるデータベースである。 The learning result DB 223 is a database in which learning result data received from the learning computer 300 is stored.

通信部２３０は、サーバ装置２００がインターネットを介してクライアント装置１００との間で情報を送受信し、また、学習用計算機３００との間で情報を送受信するためのインターフェースである。 The communication unit 230 is an interface for the server device 200 to send and receive information to and from the client device 100 via the Internet, and to send and receive information to and from the learning computer 300.

ここで、制御部２１０の各部の詳細について説明する。 Here, the details of each part of the control unit 210 will be described.

登録ＩＤ発行部２１１は、クライアント装置１００の識別情報に基づいて登録ＩＤ（ＲｅｇｉｓｔｒａｔｉｏｎＩＤ）を発行する。登録ＩＤは、プッシュ通知部２１４がクライアント装置１００に対してプッシュ通知を行うために必要な情報であり、クライアント装置１００に固有のＩＤである。登録ＩＤには、クライアント装置１００とサーバ装置２００間の通信経路に関する情報等が含まれる。 The registration ID issuing unit 211 issues a registration ID (Registration ID) based on the identification information of the client device 100. The registration ID is information necessary for the push notification unit 214 to perform push notification to the client device 100, and is an ID unique to the client device 100. The registration ID includes information about a communication path between the client device 100 and the server device 200.

なお、クライアント装置１００とサーバ装置２００間の通信のセキュリティを確保する観点から、登録ＩＤ発行部２１１は、必要なときにのみ登録ＩＤを発行し、不要になれば登録ＩＤを削除することが好ましい。また、登録ＩＤ発行部２１１は、一定の期間ごとに登録ＩＤを再発行（リフレッシュ）するようにしてもよい。 From the viewpoint of ensuring the security of communication between the client device 100 and the server device 200, it is preferable that the registration ID issuing unit 211 issues the registration ID only when necessary, and deletes the registration ID when it is no longer needed. .. Further, the registration ID issuing unit 211 may reissue (refresh) the registration ID at regular intervals.

学習結果データ暗号化部２１２は、クライアント装置１００から受信した公開鍵を用いて、新規学習データに基づく学習結果データを暗号化して、暗号化学習結果データを生成する。本実施形態では、学習結果データ暗号化部２１２は、学習用計算機３００から受信した学習結果データと、登録ＩＤ発行部２１１により発行された登録ＩＤとを暗号化することにより、暗号化学習結果データを生成する。 The learning result data encryption unit 212 encrypts the learning result data based on the new learning data using the public key received from the client device 100, and generates the encrypted learning result data. In the present embodiment, the learning result data encryption unit 212 encrypts the learning result data received from the learning computer 300 and the registration ID issued by the registration ID issuing unit 211, thereby encrypting the learning result data. To generate.

なお、学習結果データ暗号化部２１２は、学習データセットを暗号化することにより暗号化学習結果データを生成してもよい。 The learning result data encryption unit 212 may generate encrypted learning result data by encrypting the learning data set.

バージョン管理情報暗号化部２１３は、クライアント装置１００から受信した公開鍵を用いて、学習用計算機３００から受信した学習結果データのバージョン管理情報を暗号化して、暗号化学習バージョンデータを生成する。本実施形態では、バージョン管理情報暗号化部２１３は、バージョン管理情報および登録ＩＤを暗号化して暗号化学習バージョンデータを生成する。 The version management information encryption unit 213 uses the public key received from the client device 100 to encrypt the version management information of the learning result data received from the learning computer 300, and generates encrypted learning version data. In the present embodiment, the version control information encryption unit 213 encrypts the version control information and the registration ID to generate encrypted learning version data.

プッシュ通知部２１４は、クライアント装置１００に暗号化学習バージョンデータをプッシュ通知する。本実施形態では、プッシュ通知部２１４によるプッシュ通知は登録ＩＤを用いて行われる。なお、登録ＩＤ以外のデバイストークンを用いてプッシュ通知を行ってもよい。 The push notification unit 214 pushes the encryption learning version data to the client device 100. In the present embodiment, the push notification by the push notification unit 214 is performed using the registration ID. In addition, push notification may be performed using a device token other than the registration ID.

新規学習データ保存部２１５は、クライアント装置１００から受信した新規学習データを学習データＤＢ２２２に保存する。 The new learning data storage unit 215 stores the new learning data received from the client device 100 in the learning data DB 222.

学習データ送信部２１６は、学習データＤＢ２２２の学習データが所定の基準を満たす場合に、学習データを学習用計算機３００に送信する。本実施形態では、学習データＤＢ２２２に蓄積された学習データのうち新規増加分のみが学習用計算機３００に送信される。すなわち、学習用計算機３００の学習データＤＢ３２１に保存されている学習データと、学習データＤＢ２２２に保存されている学習データとの差分が学習用計算機３００に送信される。なお、これに限らず、学習データ送信部２１６は、学習データＤＢ２２２に保存された新規学習データおよび既存学習データの両方を学習用計算機３００に送信するようにしてもよい。 The learning data transmission unit 216 transmits the learning data to the learning computer 300 when the learning data of the learning data DB 222 satisfies a predetermined criterion. In the present embodiment, only the newly increased portion of the learning data stored in the learning data DB 222 is transmitted to the learning computer 300. That is, the difference between the learning data stored in the learning data DB 321 of the learning computer 300 and the learning data stored in the learning data DB 222 is transmitted to the learning computer 300. Not limited to this, the learning data transmission unit 216 may transmit both the new learning data and the existing learning data stored in the learning data DB 222 to the learning computer 300.

「所定の基準が満たす場合」とは、例えば、学習データＤＢ２２２に所定量の新規学習データが蓄積された場合、および／または、新規学習データと既存学習データとの誤差が閾値を超えた場合である。「誤差が閾値を超えた場合」とは、例えば、既存学習データの統計量と新規学習データの統計量との差が所定値よりも大きくなった場合、あるいは、既存学習データの統計量と全データ（既存学習データと新規学習データ）の統計量との差が所定値よりも大きくなった場合である。統計量としては例えば平均値が用いられるが、それ以外の統計量であってもよい。 The "when a predetermined criterion is satisfied" is, for example, when a predetermined amount of new learning data is accumulated in the training data DB 222 and / or when the error between the new learning data and the existing learning data exceeds the threshold value. be. "When the error exceeds the threshold" means, for example, when the difference between the statistic of the existing training data and the statistic of the new training data becomes larger than a predetermined value, or the statistic of the existing training data and the whole. This is the case where the difference between the statistics of the data (existing learning data and new learning data) becomes larger than the predetermined value. For example, an average value is used as the statistic, but other statistic may be used.

学習結果データ送信部２１７は、クライアント装置１００から学習結果データの送信要求（送信リクエスト）を受信すると、学習結果データ暗号化部２１２により生成された暗号化学習結果データをクライアント装置１００に送信する。 When the learning result data transmission unit 217 receives the learning result data transmission request (transmission request) from the client device 100, the learning result data transmission unit 217 transmits the encryption learning result data generated by the learning result data encryption unit 212 to the client device 100.

データ消去部２１８は、サーバ装置２００が有する暗号化学習結果データを消去するようクライアント装置１００から要求されると（すなわち、消去リクエストを受信すると）、暗号化学習結果データを消去する。 When the client device 100 requests to erase the encryption learning result data of the server device 200 (that is, when the erasure request is received), the data erasing unit 218 erases the encryption learning result data.

＜学習用計算機＞
次に、学習用計算機３００の詳細について説明する。 <Calculator for learning>
Next, the details of the learning computer 300 will be described.

学習用計算機３００は、図５に示すように、制御部３１０と、記憶部３２０と、通信部３３０とを有している。 As shown in FIG. 5, the learning computer 300 has a control unit 310, a storage unit 320, and a communication unit 330.

制御部３１０は、学習用計算機３００内のプロセッサが所定のプログラムを実行することにより実現される。この制御部３１０は、深層学習実行部３１１を有する。 The control unit 310 is realized by the processor in the learning computer 300 executing a predetermined program. The control unit 310 has a deep learning execution unit 311.

深層学習実行部３１１は、学習データＤＢ３２１に蓄積された学習データを用いて深層学習を行う。この深層学習実行部３１１は、例えば構造適応型深層学習法により深層学習を行う。 The deep learning execution unit 311 performs deep learning using the learning data accumulated in the learning data DB 321. The deep learning execution unit 311 performs deep learning by, for example, a structure-adaptive deep learning method.

記憶部３２０は、学習データＤＢ３２１と、学習結果ＤＢ３２２とを有する。学習データＤＢ３２１は、サーバ装置２００から受信した学習データ（既存学習データおよび新規学習データ）が蓄積されるデータベースである。学習結果ＤＢ３２２は、深層学習実行部３１１の出力（学習結果データ）が蓄積されるデータベースである。すなわち、学習結果ＤＢ３２２には、学習により得られたニューラルネットワークの形状、重み、その他のパラメータ値の他、深層学習により蓄積された知識（ＩＦ−ＴＨＥＮルールなど）が蓄積される。 The storage unit 320 has a learning data DB 321 and a learning result DB 322. The learning data DB 321 is a database in which learning data (existing learning data and new learning data) received from the server device 200 is stored. The learning result DB 322 is a database in which the output (learning result data) of the deep learning execution unit 311 is accumulated. That is, in the learning result DB 322, in addition to the shape, weight, and other parameter values of the neural network obtained by learning, the knowledge accumulated by deep learning (IF-THER rule, etc.) is accumulated.

なお、記憶部３２０は、例えばハードディスク、半導体メモリ（ＳＳＤ等）から構成される。 The storage unit 320 is composed of, for example, a hard disk and a semiconductor memory (SSD or the like).

通信部３３０は、学習用計算機３００がサーバ装置２００との間で情報を送受信するためのインターフェースである。 The communication unit 330 is an interface for the learning computer 300 to send and receive information to and from the server device 200.

＜深層学習自動学習システムの動作＞
次に、図６〜図１２を参照して、上記の構成を有する深層学習自動学習システム１の処理動作の一例について説明する。 <Operation of deep learning automatic learning system>
Next, an example of the processing operation of the deep learning automatic learning system 1 having the above configuration will be described with reference to FIGS. 6 to 12.

まず、図６を参照して、公開鍵のサーバ装置への登録、および新規学習データのサーバ装置へのアップロード等の工程について説明する。 First, with reference to FIG. 6, a process of registering the public key in the server device, uploading new learning data to the server device, and the like will be described.

クライアント装置１００の鍵生成部１１１は、自身の（すなわち、クライアント装置１００の）端末固有番号に基づいて、公開鍵および秘密鍵を生成する（ステップＳ１１）。本ステップは、例えば、図１１に示す画面でトグルボタンを操作し、「プッシュ通知有効化」をオンにすると実行される。なお、プッシュ通知の有効化処理が完了すると、登録ＩＤの情報が登録情報ウィンドウＷに表示される。 The key generation unit 111 of the client device 100 generates a public key and a private key based on its own terminal unique number (that is, the client device 100) (step S11). This step is executed, for example, by operating the toggle button on the screen shown in FIG. 11 and turning on "Enable push notification". When the push notification activation process is completed, the registration ID information is displayed in the registration information window W.

公開鍵および秘密鍵が生成された後、クライアント装置１００は、プッシュ通知に必要な登録ＩＤをサーバ装置２００に発行してもらうために、通信部１３０を介して、端末固有番号および公開鍵をサーバ装置２００（ＰＵＳＨサーバ）に送信する（ステップＳ１２）。 After the public key and the private key are generated, the client device 100 sends the terminal unique number and the public key to the server via the communication unit 130 in order to have the server device 200 issue the registration ID required for the push notification. It is transmitted to the apparatus 200 (PUSH server) (step S12).

サーバ装置２００は、クライアント装置１００から端末固有番号および公開鍵を受信すると、端末管理用ＤＢ２２１に端末固有番号および公開鍵を関連付けて保存する（ステップＳ２１）。その後、登録ＩＤ発行部２１１は、端末固有番号に基づいて登録ＩＤを発行し、発行された登録ＩＤを端末管理用ＤＢ２２１に端末固有番号と関連付けて保存する（ステップＳ２２）。 When the server device 200 receives the terminal unique number and the public key from the client device 100, the server device 200 associates the terminal unique number and the public key with the terminal management DB 221 and stores the terminal unique number and the public key (step S21). After that, the registration ID issuing unit 211 issues a registration ID based on the terminal unique number, and stores the issued registration ID in the terminal management DB 221 in association with the terminal unique number (step S22).

クライアント装置１００の新規学習データ送信部１１２は、外部装置から入力し、新規学習データＤＢ１２１に保存された新規学習データをサーバ装置２００（データサーバ）にアップロードする（ステップＳ１３）。本ステップは、例えば、サーバ装置２００から登録ＩＤが発行されたこと（すなわち、プッシュ通知の有効化処理が完了したこと）が通知された後に行われる。 The new learning data transmission unit 112 of the client device 100 inputs from an external device and uploads the new learning data stored in the new learning data DB 121 to the server device 200 (data server) (step S13). This step is performed, for example, after the server device 200 notifies that the registration ID has been issued (that is, the push notification activation process has been completed).

サーバ装置２００の新規学習データ保存部２１５は、クライアント装置１００から新規学習データを受信すると、受信した新規学習データを学習データＤＢ２２２に保存する（ステップＳ２３）。 When the new learning data storage unit 215 of the server device 200 receives the new learning data from the client device 100, the new learning data storage unit 215 stores the received new learning data in the learning data DB 222 (step S23).

次に、図７を参照して、学習データの蓄積および自動学習等の工程について説明する。 Next, with reference to FIG. 7, steps such as accumulation of learning data and automatic learning will be described.

サーバ装置２００の学習データ送信部２１６は、学習データＤＢ２２２に蓄積された学習データが所定の基準を満たすか否かを判定する（ステップＳ３１）。そして、学習データが所定の基準を満たす場合に（Ｓ３１：Ｙｅｓ）、学習データ送信部２１６は、新規増加分の学習データを学習用計算機３００に送信する（ステップＳ３２）。学習用計算機３００は、サーバ装置２００から学習データを受信すると、受信した学習データを学習データＤＢ３２１に保存する。 The learning data transmission unit 216 of the server device 200 determines whether or not the learning data stored in the learning data DB 222 satisfies a predetermined criterion (step S31). Then, when the learning data satisfies a predetermined criterion (S31: Yes), the learning data transmission unit 216 transmits the newly increased learning data to the learning computer 300 (step S32). When the learning computer 300 receives the learning data from the server device 200, the learning computer 300 stores the received learning data in the learning data DB 321.

学習用計算機３００は、学習データＤＢ３２１に蓄積された学習データが所定の基準を満たすか否かを判定する（ステップＳ４１）。本ステップで用いる基準は、例えば、学習データＤＢ３２１に蓄積された学習データの数が予め定められた数に達した場合である。なお、本ステップにおける基準は、ステップＳ３１における基準と同じ基準であってもよいし、異なる基準であってもよい。 The learning computer 300 determines whether or not the learning data stored in the learning data DB 321 satisfies a predetermined criterion (step S41). The criterion used in this step is, for example, when the number of learning data stored in the learning data DB 321 reaches a predetermined number. The reference in this step may be the same as the reference in step S31, or may be a different reference.

学習データＤＢ３２１の学習データが所定の基準を満たす場合（Ｓ４１：Ｙｅｓ）、深層学習実行部３１１は、学習データＤＢ３２１に蓄積された学習データを用いて深層学習を行う（ステップＳ４２）。本ステップでは、例えば構造適応型深層学習法による深層学習が行われる。 When the learning data of the learning data DB 321 satisfies a predetermined criterion (S41: Yes), the deep learning execution unit 311 performs deep learning using the learning data stored in the learning data DB 321 (step S42). In this step, for example, deep learning by a structure-adaptive deep learning method is performed.

深層学習実行部３１１は、学習終了後、学習結果ＤＢ３２２に学習結果データを保存する（ステップＳ４３）。その後、学習用計算機３００は、ステップＳ４２で得られた学習結果データをサーバ装置２００に送信する（ステップＳ４４）。 After the learning is completed, the deep learning execution unit 311 saves the learning result data in the learning result DB 322 (step S43). After that, the learning computer 300 transmits the learning result data obtained in step S42 to the server device 200 (step S44).

サーバ装置２００は、学習用計算機３００から学習結果データを受信すると、学習用計算機３００から受信した学習結果データを学習結果ＤＢ２２３にバージョン管理情報とともに保存する（ステップＳ３３）。なお、学習結果データは学習データを含んでもよい。本実施形態では、サーバ装置２００は、学習データセットをバージョン管理情報とともに学習結果ＤＢ２２３に保存する。 When the server device 200 receives the learning result data from the learning computer 300, the server device 200 stores the learning result data received from the learning computer 300 in the learning result DB 223 together with the version management information (step S33). The learning result data may include learning data. In the present embodiment, the server device 200 stores the learning data set together with the version control information in the learning result DB 223.

次に、図８を参照して、暗号化データの生成およびプッシュ通知等の工程について説明する。 Next, with reference to FIG. 8, steps such as generation of encrypted data and push notification will be described.

学習結果データが学習結果ＤＢ２２３に保存されると、サーバ装置２００の学習結果データ暗号化部２１２は、クライアント装置１００から受信した公開鍵を用いて、登録ＩＤと学習データセットを暗号化して、暗号化学習結果データを生成する（ステップＳ５１）。 When the learning result data is stored in the learning result DB 223, the learning result data encryption unit 212 of the server device 200 encrypts the registration ID and the learning data set using the public key received from the client device 100, and encrypts the data. Cryptographic learning result data is generated (step S51).

サーバ装置２００のバージョン管理情報暗号化部２１３は、クライアント装置１００から受信した公開鍵を用いて、登録ＩＤおよびバージョン管理情報を暗号化して、暗号化学習バージョンデータを生成する（ステップＳ５２）。 The version management information encryption unit 213 of the server device 200 encrypts the registration ID and the version management information using the public key received from the client device 100, and generates encryption learning version data (step S52).

サーバ装置２００のプッシュ通知部２１４は、ステップＳ５２で生成された暗号化学習バージョンデータをクライアント装置１００にプッシュ通知する（ステップＳ５３）。プッシュ通知は、ステップＳ２２で発行された登録ＩＤを用いて行われる。より詳しくは、ステップＳ２２で発行された登録ＩＤに対応するクライアント装置１００に対してプッシュ通知が行われる。 The push notification unit 214 of the server device 200 push-notifies the encryption learning version data generated in step S52 to the client device 100 (step S53). The push notification is performed using the registration ID issued in step S22. More specifically, the push notification is performed to the client device 100 corresponding to the registration ID issued in step S22.

クライアント装置１００のバージョン管理情報取得部１１３は、ステップＳ１１で生成された秘密鍵を用いて、サーバ装置２００からプッシュ通知された暗号化学習バージョンデータを復号化して、登録ＩＤおよびバージョン管理情報を取得する（ステップＳ６１）。このようにして取得されたバージョン管理情報は、学習データセットのバージョンを示す。図１２は、プッシュ通知されたクライアント装置１００の画面例を示している。この例では、学習データセットがサーバ装置２００において更新されたことを示すとともに、更新された学習データセットのバージョンも示している。 The version control information acquisition unit 113 of the client device 100 uses the private key generated in step S11 to decrypt the encryption learning version data push-notified from the server device 200, and acquires the registration ID and the version control information. (Step S61). The version control information obtained in this way indicates the version of the training data set. FIG. 12 shows an example of a screen of the client device 100 that has been notified by push. In this example, it is shown that the training data set has been updated in the server device 200, and the version of the updated training data set is also shown.

続いて、図９を参照して、学習結果データの送信リクエストおよびダウンロード等の工程について説明する。 Subsequently, with reference to FIG. 9, steps such as transmission request and download of learning result data will be described.

クライアント装置１００のデータ要求部１１４は、ステップＳ６１で取得されたバージョン管理情報に対応する学習データセットが取得済みであるか否かを判定する（ステップＳ６２）。そして、バージョン管理情報に対応する学習データセットをまだ取得していない場合（Ｓ６２：Ｙｅｓ）、データ要求部１１４は、サーバ装置２００に対して学習データセットの送信を要求する（ステップＳ６３）。なお、本ステップでは、バージョン管理情報がサーバ装置２００に送信される。 The data request unit 114 of the client device 100 determines whether or not the learning data set corresponding to the version control information acquired in step S61 has been acquired (step S62). Then, when the learning data set corresponding to the version control information has not been acquired yet (S62: Yes), the data requesting unit 114 requests the server device 200 to transmit the learning data set (step S63). In this step, the version control information is transmitted to the server device 200.

サーバ装置２００の学習結果データ送信部２１７は、クライアント装置１００から送信リクエストを受信すると、クライアント装置１００から受信したバージョン管理情報のバージョンに対応する暗号化学習結果データをクライアント装置１００に送信する（ステップＳ５４）。クライアント装置１００は、サーバ装置２００から暗号化学習結果データをダウンロードする。 When the learning result data transmission unit 217 of the server device 200 receives the transmission request from the client device 100, the learning result data transmission unit 217 transmits the encrypted learning result data corresponding to the version of the version management information received from the client device 100 to the client device 100 (step). S54). The client device 100 downloads the encryption learning result data from the server device 200.

暗号化学習結果データのダウンロードが完了すると、クライアント装置１００の学習結果データ取得部１１５は、ステップＳ１１で生成された秘密鍵を用いて暗号化学習結果データを復号化して、登録ＩＤと学習データセットを取得する（ステップＳ６４）。なお、本ステップの完了後、クライアント装置１００のディスプレイに新しい学習データセットを取得した旨を表示してもよい。例えば、「新しい学習データセットが利用可能になりました。」というメッセージがプッシュ通知されるようにしてもよい。 When the download of the encrypted learning result data is completed, the learning result data acquisition unit 115 of the client device 100 decrypts the encrypted learning result data using the secret key generated in step S11, and registers ID and the learning data set. (Step S64). After the completion of this step, the display of the client device 100 may indicate that a new learning data set has been acquired. For example, the message "A new training data set is available" may be pushed.

続いて、図１０を参照して、暗号化データの消去および推論実行等の工程について説明する。 Subsequently, with reference to FIG. 10, steps such as erasing encrypted data and executing inference will be described.

クライアント装置１００により学習データセットが取得されると、データ消去要求部１１６は、サーバ装置２００に対して暗号化学習結果データの消去を要求する（ステップＳ６５）。 When the learning data set is acquired by the client device 100, the data erasure requesting unit 116 requests the server device 200 to erase the encrypted learning result data (step S65).

クライアント装置１００から消去リクエストを受信すると、サーバ装置２００のデータ消去部２１８は、暗号化学習結果データを消去する（ステップＳ５５）。 Upon receiving the erasure request from the client device 100, the data erasure unit 218 of the server device 200 erases the encryption learning result data (step S55).

その後、クライアント装置１００の推論部１１７は、ステップＳ６１で暗号化学習バージョンデータを復号化して得られた登録ＩＤと、ステップＳ６４で暗号化学習結果データを復号化して得られた登録ＩＤとが一致するか否かを判定する（ステップＳ６６）。 After that, the inference unit 117 of the client device 100 matches the registration ID obtained by decrypting the encryption learning version data in step S61 with the registration ID obtained by decrypting the encryption learning result data in step S64. It is determined whether or not to do so (step S66).

推論部１１７は、２つの登録ＩＤが一致する場合（Ｓ６６：Ｙｅｓ）、ステップＳ６４で取得された学習データセットを用いて推論を行う（ステップＳ６７）。このように登録ＩＤが一致する場合にのみ推論を行うようにすることで、確実に最新バージョンの学習データセットを用いた推論を行うことができる。 When the two registered IDs match (S66: Yes), the inference unit 117 makes an inference using the learning data set acquired in step S64 (step S67). By making the inference only when the registered IDs match in this way, it is possible to surely perform the inference using the latest version of the training data set.

推論が完了すると、クライアント装置１００の出力部１１８は、推論部１１７により行われた推論の結果を出力する（ステップＳ６８）。 When the inference is completed, the output unit 118 of the client device 100 outputs the result of the inference performed by the inference unit 117 (step S68).

なお、上記処理フローは一例に過ぎず、他にも様々な処理フローが想定される。例えば、上記処理フローではステップＳ５１において暗号化学習結果データを生成したが、これに限らず、クライアント装置１００から送信リクエストを受信した後に暗号化学習結果データを生成するようにしてもよい。また、上記処理フローでは送信リクエストが自動的に送信されたが、これに限らず、クライアント装置１００のユーザの承認を経た後に送信リクエストがサーバ装置２００に送信されるようにしてもよい。 The above processing flow is only an example, and various other processing flows are assumed. For example, in the above processing flow, the encryption learning result data is generated in step S51, but the present invention is not limited to this, and the encryption learning result data may be generated after receiving the transmission request from the client device 100. Further, in the above processing flow, the transmission request is automatically transmitted, but the present invention is not limited to this, and the transmission request may be transmitted to the server device 200 after the approval of the user of the client device 100 is obtained.

なお、上記処理フローによる学習結果データのクライアント装置への配信と同様の手法によって、クライアント装置の動作アルゴリズムやセキュリティソフト等のソフトウェア（以下、「ソフトウェア等」という。）が最新のバージョンに自動でアップデートされるようにしてもよい。具体的には、前述の処理フローと同様に、サーバ装置（データサーバ）は、ソフトウェア等が更新された旨をクライアント装置にプッシュ通知し、クライアント装置からの送信リクエストに応じてソフトウェア等のアップデートに必要なデータを暗号化してクライアント装置に送信する。クライアント装置は、サーバ装置から受信した暗号化データをダウンロードし、秘密鍵を用いて復号化することで、ソフトウェア等のアップデートに必要なデータを入手する。このようにすることで、クライアント装置は、ソフトウェア等の自動アップデートをセキュアに行うことができる。 The software such as the operation algorithm of the client device and software (hereinafter referred to as "software") is automatically updated to the latest version by the same method as the distribution of the learning result data to the client device by the above processing flow. It may be done. Specifically, as in the above-mentioned processing flow, the server device (data server) push-notifies the client device that the software or the like has been updated, and updates the software or the like in response to a transmission request from the client device. Encrypt the required data and send it to the client device. The client device downloads the encrypted data received from the server device and decrypts it using the private key to obtain the data necessary for updating the software or the like. By doing so, the client device can securely update the software and the like.

以上説明したように、深層学習自動学習システム１では、サーバ装置２００は、クライアント装置１００に暗号化学習バージョンデータをプッシュ通知することにより、新たな学習結果データ（学習データセット）が得られたことを通知する。プッシュ通知を受信したクライアント装置１００は、バージョン管理情報に対応する学習結果データを既に取得しているか否かを判定し、取得していない場合、サーバ装置２００に送信リクエストを送信する。送信リクエストを受信したサーバ装置２００は、クライアント装置１００に暗号化学習結果データを送信する。このようにすることで、クライアント装置１００は、サーバ装置２００との通信を深層学習が完了するまで保持することなく、最新の学習結果データを取得することができる。 As described above, in the deep learning automatic learning system 1, the server device 200 has obtained new learning result data (learning data set) by push-notifying the client device 100 of the encrypted learning version data. Notify. Upon receiving the push notification, the client device 100 determines whether or not the learning result data corresponding to the version control information has already been acquired, and if not, transmits a transmission request to the server device 200. The server device 200 that has received the transmission request transmits the encryption learning result data to the client device 100. By doing so, the client device 100 can acquire the latest learning result data without holding the communication with the server device 200 until the deep learning is completed.

また、深層学習自動学習システム１では、バージョン管理情報および学習結果データは、公開鍵を用いて暗号化されてからクライアント装置１００に送信されるため、サーバ装置からクライアント装置にデータをセキュアに配信することができる。 Further, in the deep learning automatic learning system 1, the version management information and the learning result data are encrypted using the public key and then transmitted to the client device 100, so that the data is securely distributed from the server device to the client device. be able to.

さらに、深層学習自動学習システム１では、サーバ装置２００が暗号化学習バージョンデータおよび暗号化学習結果データを、登録ＩＤが発行されたクライアント装置１００（すなわち、認証されたクライアント装置）にのみ送信することから、最新の学習結果をサーバ装置からクライアント装置にインターネットを通じてさらにセキュアに提供することができる。 Further, in the deep learning automatic learning system 1, the server device 200 transmits the encrypted learning version data and the encrypted learning result data only to the client device 100 (that is, the authenticated client device) to which the registration ID is issued. Therefore, the latest learning results can be provided more securely from the server device to the client device via the Internet.

よって、本実施形態によれば、クライアント装置とサーバ装置間の通信を深層学習が完了するまで保持する必要がなく、最新の学習結果をサーバ装置からクライアント装置にインターネットを通じてセキュアに提供することができる。 Therefore, according to the present embodiment, it is not necessary to maintain the communication between the client device and the server device until the deep learning is completed, and the latest learning result can be securely provided from the server device to the client device via the Internet. ..

また、深層学習自動学習システム１では、サーバ装置は、自身の学習データＤＢ２２２の学習データが所定の基準を満たす場合に学習データを学習用計算機に送信するように構成され、学習用計算機は、自身の学習データＤＢ３２１の学習データが所定の基準を満たす場合に当該学習データに基づいて深層学習を行うように構成されている。このため、本実施形態によれば、新規学習データの蓄積に応じて自動的に深層学習を行うことができる。 Further, in the deep learning automatic learning system 1, the server device is configured to transmit the learning data to the learning computer when the learning data of its own learning data DB 222 satisfies a predetermined criterion, and the learning computer itself When the learning data of the learning data DB 321 of the above meets a predetermined criterion, deep learning is performed based on the learning data. Therefore, according to the present embodiment, deep learning can be automatically performed according to the accumulation of new learning data.

上記の記載に基づいて、当業者であれば、本発明の追加の効果や種々の変形を想到できるかもしれないが、本発明の態様は、上述した実施形態に限定されるものではない。特許請求の範囲に規定された内容及びその均等物から導き出される本発明の概念的な思想と趣旨を逸脱しない範囲で種々の追加、変更及び部分的削除が可能である。 Based on the above description, those skilled in the art may be able to conceive additional effects and various modifications of the present invention, but the embodiments of the present invention are not limited to the above-described embodiments. Various additions, changes and partial deletions are possible without departing from the conceptual idea and purpose of the present invention derived from the contents specified in the claims and their equivalents.

上述した実施形態で説明した深層学習自動学習システムの少なくとも一部は、ハードウェアで構成してもよいし、ソフトウェアで構成してもよい。ソフトウェアで構成する場合には、深層学習自動学習システムの少なくとも一部の機能を実現するプログラムをフレキシブルディスクやＣＤ−ＲＯＭ等の記録媒体に収納し、コンピュータに読み込ませて実行させてもよい。記録媒体は、磁気ディスクや光ディスク等の着脱可能なものに限定されず、ハードディスク装置やメモリなどの固定型の記録媒体でもよい。 At least a part of the deep learning automatic learning system described in the above-described embodiment may be configured by hardware or software. When configured by software, a program that realizes at least a part of the functions of the deep learning automatic learning system may be stored in a recording medium such as a flexible disk or a CD-ROM, read by a computer, and executed. The recording medium is not limited to a removable one such as a magnetic disk or an optical disk, and may be a fixed recording medium such as a hard disk device or a memory.

また、深層学習自動学習システムの少なくとも一部の機能を実現するプログラムを、インターネット等の通信回線（無線通信も含む）を介して頒布してもよい。さらに、同プログラムを暗号化したり、変調をかけたり、圧縮した状態で、インターネット等の有線回線や無線回線を介して、あるいは記録媒体に収納して頒布してもよい。 Further, a program that realizes at least a part of the functions of the deep learning automatic learning system may be distributed via a communication line (including wireless communication) such as the Internet. Further, the program may be encrypted, modulated, compressed, and distributed via a wired line or a wireless line such as the Internet, or stored in a recording medium.

１深層学習自動学習システム
１００クライアント装置
１１０制御部
１１１鍵生成部
１１２新規学習データ送信部
１１３バージョン管理情報取得部
１１４データ要求部
１１５学習結果データ取得部
１１６データ消去要求部
１１７推論部
１１８出力部
１２０記憶部
１２１新規学習データＤＢ
１３０，２３０，３３０通信部
２００サーバ装置
２１０制御部
２１１登録ＩＤ発行部
２１２学習結果データ暗号化部
２１３バージョン管理情報暗号化部
２１４プッシュ通知部
２１５新規学習データ保存部
２１６学習データ送信部
２１７学習結果データ送信部
２１８データ消去部
２２０記憶部
２２１端末管理用ＤＢ
２２２学習データＤＢ
２２３学習結果ＤＢ
３００学習用計算機
３１０制御部
３１１深層学習実行部
３２０記憶部
３２１学習データＤＢ
３２２学習結果ＤＢ 1 Deep learning automatic learning system 100 Client device 110 Control unit 111 Key generation unit 112 New learning data transmission unit 113 Version management information acquisition unit 114 Data request unit 115 Learning result data acquisition unit 116 Data erasure request unit 117 Inference unit 118 Output unit 120 Storage unit 121 New learning data DB
130, 230, 330 Communication unit 200 Server device 210 Control unit 211 Registration ID issuing unit 212 Learning result data encryption unit 213 Version management information encryption unit 214 Push notification unit 215 New learning data storage unit 216 Learning data transmission unit 217 Learning result Data transmission unit 218 Data erasure unit 220 Storage unit 221 Terminal management DB
222 Learning data DB
223 Learning result DB
300 Learning computer 310 Control unit 311 Deep learning execution unit 320 Storage unit 321 Learning data DB
322 Learning result DB

Claims

インターネットを介して接続されたクライアント装置およびサーバ装置を備える深層学習自動学習システムであって、
前記クライアント装置は、
前記クライアント装置の識別情報に基づいて公開鍵および秘密鍵を生成する鍵生成部と、
前記サーバ装置に新規学習データを送信する新規学習データ送信部と、を有し、
前記サーバ装置は、
前記公開鍵を用いて、前記新規学習データに基づく学習結果データを暗号化して、暗号化学習結果データを生成する学習結果データ暗号化部と、
前記公開鍵を用いて、前記学習結果データを識別するためのバージョン管理情報を暗号化して、暗号化学習バージョンデータを生成するバージョン管理情報暗号化部と、
前記クライアント装置の前記識別情報に基づいて前記クライアント装置に固有の登録ＩＤを発行する登録ＩＤ発行部と、
前記登録ＩＤを用いて、前記クライアント装置に前記暗号化学習バージョンデータをプッシュ通知するプッシュ通知部と、を有し、
前記クライアント装置は、
前記新規学習データ送信部は、前記サーバ装置により前記登録ＩＤが発行されることでプッシュ通知の有効化処理が完了した後に、前記サーバ装置に新規学習データを送信し、
前記サーバ装置からプッシュ通知された前記暗号化学習バージョンデータを、前記秘密鍵を用いて復号化して、前記バージョン管理情報を取得するバージョン管理情報取得部と、
前記バージョン管理情報に対応する学習結果データを既に取得しているか否かを判定し、取得していない場合は前記サーバ装置に対して前記学習結果データの送信を要求するデータ要求部と、
前記データ要求部の要求に応じて前記サーバ装置から前記クライアント装置に送信された前記暗号化学習結果データを、前記秘密鍵を用いて復号化して、前記学習結果データを取得する学習結果データ取得部と、をさらに有することを特徴とする深層学習自動学習システム。 It is a deep learning automated learning system equipped with client devices and server devices connected via the Internet.
The client device is
A key generator that generates a public key and a private key based on the identification information of the client device,
It has a new learning data transmission unit that transmits new learning data to the server device, and has.
The server device is
Using the public key, the learning result data encryption unit that encrypts the learning result data based on the new learning data and generates the encrypted learning result data,
Using the public key, the version management information encryption unit that encrypts the version management information for identifying the learning result data and generates the encrypted learning version data,
A registration ID issuing unit that issues a registration ID unique to the client device based on the identification information of the client device, and a registration ID issuing unit.
It has a push notification unit that push-notifies the encryption learning version data to the client device using the registration ID.
The client device is
The new learning data transmission unit transmits new learning data to the server device after the push notification activation process is completed by issuing the registration ID by the server device.
A version control information acquisition unit that acquires the version control information by decrypting the encryption learning version data push-notified from the server device using the private key.
A data requesting unit that determines whether or not the learning result data corresponding to the version control information has already been acquired, and if not acquired, requests the server device to transmit the learning result data.
The learning result data acquisition unit that acquires the learning result data by decrypting the encrypted learning result data transmitted from the server device to the client device in response to the request of the data request unit using the secret key. A deep learning automatic learning system characterized by having more and more.

前記学習結果データ暗号化部は、前記学習結果データおよび前記登録ＩＤを暗号化して前記暗号化学習結果データを生成し、
前記バージョン管理情報暗号化部は、前記バージョン管理情報および前記登録ＩＤを暗号化して前記暗号化学習バージョンデータを生成することを特徴とする請求項１に記載の深層学習自動学習システム。 The learning result data encryption unit encrypts the learning result data and the registration ID to generate the encrypted learning result data.
The deep learning automatic learning system according to claim 1 , wherein the version control information encryption unit encrypts the version control information and the registration ID to generate the encrypted learning version data.

前記クライアント装置は、前記暗号化学習バージョンデータを復号化して得られた登録ＩＤと、前記暗号化学習結果データを復号化して得られた登録ＩＤとが一致する場合に、前記学習結果データを用いて構造適応型深層学習法による推論を行う推論部をさらに有することを特徴とする請求項２に記載の深層学習自動学習システム。 The client device uses the learning result data when the registration ID obtained by decrypting the encrypted learning version data and the registration ID obtained by decrypting the encrypted learning result data match. The deep learning automatic learning system according to claim 2 , further comprising a reasoning unit that performs inference by a structure-adaptive deep learning method.

前記サーバ装置は、
前記クライアント装置から受信した前記新規学習データを学習データＤＢに保存する新規学習データ保存部と、
前記学習データＤＢの学習データが所定の基準を満たす場合に、前記学習データを学習用計算機に送信する学習データ送信部と、をさらに有することを特徴とする請求項１〜３のいずれかに記載の深層学習自動学習システム。 The server device is
A new learning data storage unit that stores the new learning data received from the client device in the learning data DB, and a new learning data storage unit.
The invention according to any one of claims 1 to 3 , further comprising a learning data transmission unit that transmits the learning data to a learning computer when the learning data of the learning data DB satisfies a predetermined criterion. Deep learning automatic learning system.

前記所定の基準は、一定量のデータが溜まった場合、または、前記新規学習データと既存学習データとの誤差が閾値を超えた場合であることを特徴とする請求項４に記載の深層学習自動学習システム。 The deep learning automatic according to claim 4 , wherein the predetermined criterion is when a certain amount of data is accumulated or when the error between the new learning data and the existing learning data exceeds a threshold value. Learning system.

前記学習用計算機は、前記学習データを用いて構造適応型深層学習法により学習を行う深層学習実行部を有することを特徴とする請求項４または５に記載の深層学習自動学習システム。 The deep learning automatic learning system according to claim 4 or 5 , wherein the learning computer has a deep learning execution unit that performs learning by a structure-adaptive deep learning method using the learning data.

前記クライアント装置は、
前記学習結果データが取得された後、前記サーバ装置に対して前記暗号化学習結果データを消去するよう要求するデータ消去要求部をさらに備えることを特徴とする請求項１〜６のいずれかに記載の深層学習自動学習システム。 The client device is
The invention according to any one of claims 1 to 6 , further comprising a data erasure requesting unit that requests the server device to erase the encrypted learning result data after the learning result data is acquired. Deep learning automatic learning system.

前記クライアント装置は、
前記学習結果データを用いて行われた推論の結果を出力する出力部と、
をさらに備えることを特徴とする請求項１〜７のいずれかに記載の深層学習自動学習システム。 The client device is
An output unit that outputs the result of inference performed using the learning result data, and
The deep learning automatic learning system according to any one of claims 1 to 7, further comprising.

前記サーバ装置は、
前記クライアント装置から前記学習結果データの送信要求を受信すると、前記暗号化学習結果データを前記クライアント装置に送信する学習結果データ送信部をさらに備えることを特徴とする請求項１〜８のいずれかに記載の深層学習自動学習システム。 The server device is
Upon receiving the learning result data transmission request from the client device, to any one of claims 1 to 8, further comprising a learning result data transmitting unit that transmits the encrypted learning result data to the client device The described deep learning automatic learning system.

前記サーバ装置は、
前記クライアント装置から前記暗号化学習結果データの消去リクエストを受信すると、前記暗号化学習結果データを消去するデータ消去部をさらに備えることを特徴とする請求項１〜９のいずれかに記載の深層学習自動学習システム。 The server device is
The deep learning according to any one of claims 1 to 9 , further comprising a data erasing unit that erases the encrypted learning result data when the request for erasing the encrypted learning result data is received from the client device. Automatic learning system.

インターネットを介してサーバ装置に接続されたクライアント装置であって、
前記クライアント装置の識別情報に基づいて公開鍵および秘密鍵を生成する鍵生成部と、
前記サーバ装置により前記クライアント装置に固有の登録ＩＤが発行されることでプッシュ通知の有効化処理が完了した後に、前記サーバ装置に新規学習データを送信する新規学習データ送信部と、
前記サーバ装置からプッシュ通知された暗号化学習バージョンデータを、前記秘密鍵を用いて復号化して、学習結果データを識別するためのバージョン管理情報を取得するバージョン管理情報取得部と、
前記バージョン管理情報に対応する学習結果データを既に取得しているか否かを判定し、取得していない場合は前記サーバ装置に対して前記学習結果データの送信を要求するデータ要求部と、
前記データ要求部の要求に応じて前記サーバ装置から前記クライアント装置に送信された暗号化学習結果データを、前記秘密鍵を用いて復号化して、前記学習結果データを取得する学習結果データ取得部と、
を備えることを特徴とするクライアント装置。 A client device connected to a server device via the Internet.
A key generator that generates a public key and a private key based on the identification information of the client device,
A new learning data transmission unit that transmits new learning data to the server device after the push notification activation process is completed by issuing a registration ID unique to the client device by the server device.
A version management information acquisition unit that acquires version management information for identifying the learning result data by decrypting the encrypted learning version data push-notified from the server device using the secret key.
A data requesting unit that determines whether or not the learning result data corresponding to the version control information has already been acquired, and if not acquired, requests the server device to transmit the learning result data.
With the learning result data acquisition unit that acquires the learning result data by decrypting the encrypted learning result data transmitted from the server device to the client device in response to the request of the data request unit using the secret key. ,
A client device characterized by comprising.