JP7461763B2 - 分散機械学習装置、分散機械学習方法、分散機械学習プログラム及びデータ処理システム - Google Patents

分散機械学習装置、分散機械学習方法、分散機械学習プログラム及びデータ処理システム Download PDF

Info

Publication number
JP7461763B2
JP7461763B2 JP2020047232A JP2020047232A JP7461763B2 JP 7461763 B2 JP7461763 B2 JP 7461763B2 JP 2020047232 A JP2020047232 A JP 2020047232A JP 2020047232 A JP2020047232 A JP 2020047232A JP 7461763 B2 JP7461763 B2 JP 7461763B2
Authority
JP
Japan
Prior art keywords
terminal
model
machine learning
models
common
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020047232A
Other languages
English (en)
Other versions
JP2021149370A (ja
Inventor
椋平 香川
拓真 西村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Secom Co Ltd
Original Assignee
Secom Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Secom Co Ltd filed Critical Secom Co Ltd
Priority to JP2020047232A priority Critical patent/JP7461763B2/ja
Publication of JP2021149370A publication Critical patent/JP2021149370A/ja
Application granted granted Critical
Publication of JP7461763B2 publication Critical patent/JP7461763B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Image Analysis (AREA)

Description

特許法第３０条第２項適用 ２０１９年１０月２１日にＣｏｍｐｕｔｅｒ Ｓｅｃｕｒｉｔｙ Ｓｙｍｐｏｓｉｕｍ ２０１９ 予稿集 第１４９７頁～第１５０３頁において、セコム株式会社が、香川椋平及び西村拓真が発明した「分散機械学習装置、分散機械学習方法、分散機械学習プログラム及びデータ処理システム」について公開した。
本発明は、分散機械学習装置、分散機械学習方法、分散機械学習プログラム及びデータ処理システムに関する。
利用者の生活に伴う活動データ（電力使用量データ等）をサービス提供者のサーバ等に集約し、機械学習によって利用者の多様な生活パターンの変化を高精度に検知することができる学習モデルを生成する技術が知られている。しかしながら、生活パターンを示す生の活動データをサーバ等に収集することはプライバシーの観点からユーザに抵抗感を与えるおそれがある。
そこで、近年、ユーザ端末において学習モデル（端末モデル）を学習させ、学習された端末モデルをサーバによって収集し、収集された端末モデルの中からランダムに選択した端末モデルを平均化処理して学習モデル（共通モデル）を生成する分散機械学習が注目されている。
McMahan, H. Brendan, et al. "Communication-efficient learning of deep networks from decentralized data." arXiv preprint arXiv:1602.05629 (2016).
ところで、各ユーザの生活パターンの分布には偏りがある。例えば、「夜間活動する」パターンのユーザよりも、「昼間活動する」パターンのユーザの方が多数派である。この場合、各端末から収集される端末モデルも、多数派パターンのモデルが多くなり、少数派パターンのモデルが少なくなる。したがって、従来技術においては、共通モデルには少数派パターンの端末モデルが反映されにくく、少数派パターンに属するユーザの活動パターンの特徴がうまく抽出できない共通モデルとなるおそれがあった。本発明は上記問題を鑑みてなされたものであり、プライバシーに配慮しつつ少数派の特徴を反映した処理タスクを行うことが可能な共通モデルを学習できる分散機械学習装置、分散機械学習方法、分散機械学習プログラム及びデータ処理システムを提供することを目的とする。
本発明の１つの態様は、入力データに対して所定のデータ処理タスクを行うための学習モデルである共通モデルを備えた複数の端末装置と通信し、前記端末装置において前記共通モデルに対して学習データを用いて機械学習させることによって生成された端末モデルを受信し、受信した複数の前記端末モデルを平均化処理して前記共通モデルを生成し、前記端末装置に送信する分散機械学習装置であって、受信した前記端末モデル間における類似度を求める類似度算出手段と、前記類似度に基づいて類似する前記端末モデルの数である類似端末モデル数が多い前記端末モデルほど前記共通モデルに反映され難くなるよう前記平均化処理を実行するモデル生成手段と、を備える分散機械学習装置である。
本発明の別の態様は、入力データに対して所定のデータ処理タスクを行うための学習モデルである共通モデルを備えた複数の端末装置と通信し、前記端末装置において前記共通モデルに対して学習データを用いて機械学習させることによって生成された端末モデルを受信し、受信した複数の前記端末モデルを平均化処理して前記共通モデルを生成し、前記端末装置に送信する分散機械学習方法であって、受信した前記端末モデル間における類似度を求める類似度算出ステップと、前記類似度に基づいて類似する前記端末モデルの数である類似端末モデル数が多い前記端末モデルほど前記共通モデルに反映され難くなるよう前記平均化処理を実行するモデル生成ステップと、を備える分散機械学習方法である。
本発明の別の態様は、コンピュータを、入力データに対して所定のデータ処理タスクを行うための学習モデルである共通モデルを備えた複数の端末装置と通信し、前記端末装置において前記共通モデルに対して学習データを用いて機械学習させることによって生成された端末モデルを受信し、受信した複数の前記端末モデルを平均化処理して前記共通モデルを生成し、前記端末装置に送信する分散機械学習装置として機能させる分散機械学習プログラムであって、前記コンピュータを、受信した前記端末モデル間における類似度を求める類似度算出手段と、前記類似度に基づいて類似する前記端末モデルの数である類似端末モデル数が多い前記端末モデルほど前記共通モデルに反映され難くなるよう前記平均化処理を実行するモデル生成手段と、として機能させる分散機械学習プログラムである。
本発明の別の態様は、入力データに対して所定のデータ処理タスクを行うための学習モデルである共通モデルを備えた複数の端末装置と、複数の前記端末装置と通信して当該端末装置の前記共通モデルを生成する分散機械学習装置と、からなるデータ処理システムであって、前記複数の端末装置の各々は、前記共通モデルに対して所定の学習データを機械学習することによって端末モデルを生成して前記分散機械学習装置に送信し、前記分散機械学習装置は、前記端末装置から受信した前記端末モデル間における類似度を求める類似度算出手段と、前記類似度に基づいて類似する前記端末モデルの数である類似端末モデル数が多い前記端末モデルほど前記共通モデルに反映され難くなるよう平均化処理を行うことで前記共通モデルを生成するモデル生成手段と、を備えることを特徴とするデータ処理システムである。
ここで、前記モデル生成手段は、全ての前記端末モデルの中から前記類似端末モデル数の多い前記端末モデルほど選択され難くいよう前記端末モデルを選択し、該選択された前記端末モデルを用いて前記平均化処理を実行することが好適である。
また、前記モデル生成手段は、前記類似端末モデル数の少ない前記端末モデルほど前記平均化処理において前記共通モデルに反映され易くなるように重み値を設定し、前記端末モデル毎との前記重み値及び当該端末モデルを用いて前記平均化処理を実行することが好適である。
また、前記モデル生成手段は、前記機械学習するのに利用された学習データ数が大きいほど、前記平均化処理において前記共通モデルに反映され易くなるように前記重み値を設定することが好適である。
また、前記学習データは、前記端末装置が対象とするユーザの活動を示す活動データであり、前記共通モデルは、前記活動データの特徴を示す特徴ベクトルを出力する機械学習モデルであることが好適である。
本発明によれば、プライバシーに配慮しつつ少数派の特徴を反映した処理タスクを行うことが可能な共通モデルを学習できる分散機械学習装置、分散機械学習方法、分散機械学習プログラム及びデータ処理システムを提供することができる。
本発明の実施の形態におけるデータ処理システムの構成概略図である。 本発明の実施の形態における端末装置の構成ブロック図である。 本発明の実施の形態におけるオートエンコーダの構成例を示す図である。 本発明の実施の形態におけるニューロンモデルを説明する図である。 本発明の実施の形態におけるサーバ装置の構成ブロック図である。 本発明の実施の形態における特徴量データベースの例を示す図である。 本発明の実施の形態における類似度データベースの例を示す図である。 本発明の実施の形態における学習フェーズの処理を示すフローチャートである。 本発明の実施の形態における学習フェーズにおけるサーバ装置での処理を示すフローチャートである。 本発明の実施の形態における検知フェーズの処理を示すフローチャートである。 本発明の実施の形態における検知フェーズにおけるサーバ装置での処理を示すフローチャートである。
本実施の形態におけるデータ処理システム１００は、図１に示すように、端末装置１０２、センサ１０４及びサーバ装置１０６を含んで構成される。端末装置１０２は、各種のセンサ１０４に接続され、設置場所における利用者（ユーザ）の生活に伴う活動データを取得する。また、端末装置１０２の各々は、インターネット等の情報通信網１０８を介してサーバ装置１０６と情報伝達可能に接続される。サーバ装置１０６は、利用者の生活の活動パターンの変化を検知して通知等を行うサービスを提供する。サーバ装置１０６は、例えば、当該サービスの提供者の施設に設置される。
端末装置１０２は、店舗、オフィス、マンション、倉庫、家屋等の利用者が活動する物件に設置された警備装置などのコンピュータである。
端末装置１０２は、データ処理システム１００において共通に用いられる機械学習モデルである共通モデルをサーバ装置１０６から受信する。端末装置１０２は、複数のセンサ１０４で検知された各種のデータを用いて、当該共通モデルに基づいてさらに機械学習させた学習モデルである端末モデルを生成する。本実施の形態では、共通モデル及び端末モデルは、センサ１０４から取得したデータを入力として、利用者の活動パターンの特徴を示す特徴量を生成するエンコーダを含む学習モデルとする。すなわち、共通モデル及び端末モデルを適用することによって、複数のセンサ１０４から得られたデータの性質を保持したまま、より低次元の特徴量空間における特徴量で表現できる次元圧縮を行うことが可能になる。
端末装置１０２は、図２に示すように、制御部１０、記憶部１２、センサ通信部１４及び通信部１６を含んで構成される。
制御部１０は、端末モデル生成手段１０ａ及び特徴量抽出手段１０ｂを含んで構成される。
端末モデル生成手段１０ａは、センサ１０４から取得したセンサデータ１２ｃを用いてサーバ装置１０６から受信した共通モデル１２ｂをさらに機械学習させることによって端末モデル１２ａを生成する端末モデル生成処理を行う。端末モデル生成処理は、後述する「学習フェーズ」において実施される。
本実施の形態では、端末モデル生成処理において利用される学習アルゴリズムとして、オートエンコーダを適用することができる。オートエンコーダは、図３に示すように、ニューラルネットワークを用いた次元圧縮のための学習アルゴリズムである。オートエンコーダは、高次元のセンサデータ１２ｃを低次元の特徴量へ圧縮するエンコーダと、低次元の特徴量を高次元のセンサデータ１２ｃへ復元するデコーダに分けられる。エンコーダ及びデコーダは、ともに図４に示すようなニューロンモデルを単層又は多層に複数組み合わせたニューラルネットワークによって構成される。ニューロンモデルは、数式（１）に示すように、複数の入力信号ｘｉに対してそれぞれ重み係数ｗｉを乗算して得られる乗算値にバイアスｂを加算した値を足し合わせて活性化関数ｆを適用した演算値ｙを出力する。オートエンコーダの学習では教師データを利用せず、入力データであるセンサデータ１２ｃをエンコーダにて圧縮処理した特徴量をデコーダにて復元したデータが元のセンサデータ１２ｃと同じになるようにエンコーダ及びデコーダのニューラルネットワークのモデルパラメータ（重み係数ｗｉとバイアスｂ）を学習する。すなわち、本実施形態における学習モデル（共通モデル１２ｂ及び端末モデル１２ａ）は、学習前にあらかじめ設定され学習によって変更されないエンコーダ及びデコーダのニューラルネットワークのネットワーク構造（モデル構造）と、学習によって変更される重み係数ｗｉとバイアスｂなどのモデルパラメータとからなる。端末装置１０２は、後述する「学習フェーズ」における一連の学習によって得られた共通モデル１２ｂのエンコーダを利用することで、高次元データのセンサデータ１２ｃを、低次元データの潜在変数である特徴量に次元圧縮する。
なお、本実施の形態では、共通モデル１２ｂ及び端末モデル１２ａのエンコーダとデコーダが連結されたモデルでモデル化したが、これに限定されるものではなく、他のモデルを適用してもよい。例えば、センサデータ１２ｃを入力とし当該センサデータ１２ｃに対応する利用者の状態（異常行動として検知する活動パターン、利用者の病歴等）を出力とする畳み込みニューラルネットワークでモデル化してもよい。
特徴量抽出手段１０ｂは、センサデータ１２ｃから利用者の活動パターンを表す特徴量を抽出する特徴量抽出処理を行う。特徴量抽出手段１０ｂは、いわゆる特徴量抽出器である。特徴量抽出処理は、後述する「検知フェーズ」において実施される。
本実施形態の特徴量抽出手段１０ｂは、共通モデル１２ｂのエンコーダにセンサデータ１２ｃを入力して、高次元のセンサデータ１２ｃを低次元の特徴量に圧縮する。そして、求められた低次元の特徴量を端末装置１０２の識別子に対応付けてサーバ装置１０６に送信する。なお、特徴量の次元は、上記オートエンコーダの潜在変数の次元数となる。例えば、潜在変数空間が２次元の場合、特徴量も２次元となる。
記憶部１２は、半導体メモリ、磁気ディスク（ＨＤＤ）、又はＣＤ－ＲＯＭ、ＤＶＤ－ＲＡＭなどの光ディスクドライブ及びその記録媒体で構成される記憶手段である。記憶部１２は、端末モデル１２ａ、共通モデル１２ｂ、センサデータ１２ｃ及び学習データ数１２ｄを記憶する。
端末モデル１２ａは、端末モデル生成手段１０ａによって生成された学習モデルである。記憶部１２には、端末モデル１２ａとしてエンコーダ及びデコーダのモデル構造と、モデルパラメータが記憶される。
共通モデル１２ｂは、サーバ装置１０６から受信した学習モデルである。記憶部１２には、共通モデル１２ｂとしてエンコーダ及びデコーダのモデル構造と、サーバ装置１０６から受信したモデルパラメータが記憶される。
センサデータ１２ｃは、センサ１０４から取得したデータを時系列に記録した情報である。センサデータ１２ｃは、センサ１０４の各々を特定するセンサＩＤ、センサ１０４からデータを取得した検知日時及びセンサ値が関連付けて記憶される。学習データ数１２ｄは、「学習フェーズ」において学習に利用したセンサデータ１２ｃのデータ数である。すなわち、本実施形態では、データ数が大きいほど長期間に渡って記録したセンサデータ１２ｃであることを意味する。
センサ通信部１４は、センサ１０４の各々において検知されたデータを取得するためのインターフェースである。センサ通信部１４を介して取得されたデータは、記憶部１２にセンサデータ１２ｃとして記憶される。
なお、センサ１０４には、例えば、電気使用量を取得できるスマートメータ、ドアの開閉を検知するセンサ、居住者の存否を検知する赤外線センサなどの、利用者の行動を把 握できるセンサとすることができる。また、端末装置１０２が警備装置である場合、利用者の在室状況を把握するために、当該警備装置の警備情報（セット／解除情報）をセンサデータ１２ｃとして検知するセンサ１０４としてもよい。
通信部１６は、外部装置と情報を送受信するためのインターフェースである。通信部１６は、情報通信網１０８を介してサーバ装置１０６と情報伝達可能に接続される。通信部１６を介して、端末装置１０２からサーバ装置１０６へ送信されるデータは、機械学習によって更新された端末モデル１２ａの重み係数ｗｉとバイアスｂ、機械学習に用いられた学習データ数１２ｄ、共通モデル１２ｂを用いて生成された特徴量等である。通信部１６を介して、サーバ装置１０６から受信するデータは、サーバ装置１０６で生成された共通モデル１２ｂの重み係数ｗｉとバイアスｂや「検知フェーズ」で検知された結果の情報等である。
サーバ装置１０６は、サービス提供者の施設等に設置されるコンピュータである。
サーバ装置１０６は、各端末装置１０２から端末モデル１２ａを受信する。サーバ装置１０６は、各端末装置１０２における学習により得られた端末モデル１２ａを用いて、当該共通モデル２２ｂを生成する。すなわち、サーバ装置１０６は、各端末装置１０２から端末モデル１２ａを受信して共通モデル２２ｂを更新する分散機械学習装置として機能する。また、サーバ装置１０６は、各端末装置１０２で取得されたセンサデータ１２ｃを共通モデル２２ｂに入力して得られた特徴量を受信し、当該特徴量に基づいて端末装置１０２の利用者の生活に伴う活動パターンの変化を検知する。
サーバ装置１０６は、図５に示すように、制御部２０、記憶部２２、入力部２４、出力部２６及び通信部２８を含んで構成される。
まず、記憶部２２について説明する。記憶部２２は、端末モデルデータベース（端末モデルＤＢ）２２ａ、共通モデル２２ｂ、特徴量データベース（特徴量ＤＢ）２２ｃ、類似度データベース（類似度ＤＢ）２２ｄ及び変化検知結果２２ｅを記憶する。
端末モデルＤＢ２２ａは、各端末装置１０２から受信した端末モデル１２ａに関する情報を記憶するデータベースである。端末モデルＤＢ２２ａには、端末装置１０２に固有に割り当てられた端末ＩＤに、各端末装置１０２から受信した端末モデル１２ａのモデルパラメータ、機械学習に用いられた学習データ数１２ｄが関連付けて記憶される。
共通モデル２２ｂは、後述する共通モデル生成手段２０ｃによって、複数の端末装置１０２から受信した端末モデル１２ａを統合して生成された共通モデル２２ｂに関する情報を示す。共通モデル２２ｂとして、エンコーダ及びデコーダのモデル構造とモデルパラメータが記憶される。
特徴量ＤＢ２２ｃは、各端末装置１０２から受信した特徴量に関する情報を記憶するデータベースである。特徴量ＤＢ２２ｃには、図６に示すように、端末ＩＤに対して、当該端末ＩＤで特定される端末装置１０２から受信した特徴量、当該特徴量を抽出した日時が関連付けて記憶される。
類似度ＤＢ２２ｄは、後述する類似度算出手段２０ａで算出された類似度に関する情報を記憶するデータベースである。類似度は、異なる端末装置１０２で生成された端末モデル１２ａの間の類似性を示す値である。類似度ＤＢ２２ｄには、図７に示すように、端末装置１０２の端末ＩＤの組み合わせ毎にそれらの端末装置１０２で生成された端末モデル１２ａの類似度を関連付けて記憶される。本実施の形態では、類似度は、０～１の範囲において、１に近いほど端末モデル１２ａが類似していることを示す。類似度の初期値は０とする。
変化検知結果２２ｅは、後述する変化検知手段２０ｄにおいて検知された検知結果である。本実施の形態では、検知結果は、各端末装置１０２から受信した特徴量に基づいて端末装置１０２を利用する利用者の活動パターンの変化の度合いを示す変化検知スコアとする。変化検知結果２２ｅは、端末ＩＤに対して、変化の検知を行った日時及び変化検知スコアが関連付けて記憶される。
制御部２０は、類似度算出手段２０ａ、選択手段２０ｂ、共通モデル生成手段２０ｃ及び変化検知手段２０ｄを含んで構成される。
類似度算出手段２０ａは、各端末装置１０２から受信した端末モデル１２ａのモデルパラメータについて各端末装置１０２の端末モデル１２ａの間の類似度を計算する。本実施形態では、数式（２）に基づいて、コサイン類似度を用いて類似度を計算する。計算された端末装置１０２の端末モデル１２ａの類似度は類似度ＤＢ２２ｄに記録される。ここで、ｓｊｋは、端末ＩＤがｊの端末装置１０２の端末モデルと端末ＩＤがｋの端末装置１０２の端末モデル１２ａとの間の類似度（端末モデル類似度）である。ｗｉｊは、端末ＩＤがｊの端末装置１０２の端末モデル１２ａのｉ番目のモデルパラメータ（端末モデル１２ａにおけるニューロンモデルの重み係数）である。ｗｉｋは、端末ＩＤがｋの端末装置１０２の端末モデル１２ａのｉ番目のモデルパラメータ（端末モデル１２ａにおけるニューロンモデルの重み係数）である。
選択手段２０ｂは、類似度ＤＢ２２ｄを参照し、共通モデル２２ｂの生成に利用する端末モデル１２ａを選択する選択処理を実行する。選択手段２０ｂは、まず、数式（３）に基づいて、すべての端末装置１０２の中から端末選択割合Ｃに応じて共通モデル２２ｂの生成に利用する端末モデル１２ａの数Ｍを算出する。ここで、Ｋは端末装置１０２から受信した端末モデル数、Ｃは端末選択割合である。端末選択割合Ｃは、０～１の値をとり、０の場合には１つの端末モデル１２ａのみが選択され、１の場合にはすべての端末モデル１２ａが選択される。
次に、端末モデル数Ｍに応じて端末装置の端末モデルを選択する。以下、選択手段２０ｂによって選択された端末装置１０２を「選択端末」、選択端末の端末モデルを「選択モデル」と称する。この際、端末装置の端末モデル間の類似度が高い端末モデルが多いほど、その端末モデルが選択されにくいように選択処理を行う。
具体的には、類似度ＤＢに記録されている類似度のうち、端末ｉの端末モデルが関係する類似度が所定の基準値を超える端末モデルの総数を類似端末モデル数Ｓｉとして求める。そして、端末ｉの端末モデルの重みを１／Ｓｉとして、非復元抽出による重み付き選択を用いて端末モデル数Ｍに該当する数の端末モデルを選択する。
ここで、非復元抽出とは、選択したものを戻さずに次の選択を行う方法である。非復元抽出による重み付き選択は、重みが大きいものほど選択される可能性を高くして非復元抽出を行う方法である。この非復元抽出による重み付き選択法は、例えば、参考文献Wong, C. K. and M. C. Easton. An Efficient Method for Weighted Sampling Without Replacement. SIAM Journal of Computing 9(1), pp. 111-113, 1980に記載されている。
例えば、Ｓｉ＝３０の端末ｉとＳｊ＝１０の端末ｊを考える。端末ｉの重みは１／３０であり、端末ｊの重みは１／１０となる。この場合、端末ｉは端末ｊに比べて選択され易さが１／３となる。このように、高類似度の端末モデルの数が多いほど選択のための重みは小さくされ、共通モデルの学習に使用される端末モデルとして選択され難くなる。
したがって、各端末装置において機械学習された端末モデルにおいて多数派の集合と少数派の集合があった場合であっても、多数派と少数派に対して大きな偏りなく端末モデルを選択することが可能となる。
また、上記の非復元抽出による重み付き選択法を適用することなく、他の選択方法を適用してもよい。例えば、端末モデル間の類似度に応じて階層型クラスタリングを適用して、類似端末モデル数が多い端末モデルほど選択され難いように選択端末を選択してもよい。例えば、類似度に基づく階層型クラスタリングによって端末モデルをＭ個のクラスタ（類似端末モデルの集まり）に分けて、各クラスタから１つずつ選択することによっても、多数派と少数派に対して大きな偏りなく端末モデルを選択できる。
また、端末装置１０２の各々において端末モデルの学習に用いられた学習データの数をサーバ装置１０６における端末モデルの選択に適用してもよい。例えば、類似端末数が等しい端末モデルが複数存在する場合、学習データの数が多かった端末モデルを優先的に選択するようにしてもよい。また、学習データの数に応じて端末装置１０２の端末モデルの各々に対して算出される上記重みを補正するようにしてもよい。すなわち、学習データの数が多いほど、各端末モデルに対する重みの値が大きくなるように補正をし、当該補正された重みを用いて端末モデルを選択するようにしてもよい。
共通モデル生成手段２０ｃは、選択手段２０ｂで選択された端末モデルを統合して共通モデル２２ｂを生成する処理を行う。共通モデル生成処理は、「学習フェーズ」において各端末装置１０２からの端末モデルの受信を完了する度に実行され、「学習フェーズ」の終了条件が満たされるまで繰り返し実行されるようにすればよい。
本実施の形態では、数式（４）及び数式（５）を用いて、選択モデルの各モデルパラメータを各端末モデルの更新に用いられた学習データ数に基づいて定めた重み値Ｒを用いて重み付平均する平均化処理によって共通モデル２２ｂの各モデルパラメータを算出する。すなわち、共通モデル２２ｂの各モデルパラメータは、選択モデルのうち学習データ数が多い端末モデルであるほど当該端末モデルのモデルパラメータが共通モデル２２ｂに反映され易くなるようにして算出される。これによって、学習データ数の多い端末モデルを重視して共通モデル２２ｂを生成することができる。
Ｗｉ：共通モデル２２ｂのモデルパラメータのｉ番目
ｗｉｊ：端末ｊの端末モデル１２ａのモデルパラメータのｉ番目
Ｍ：共通モデル２２ｂの学習に用いられる端末モデル１２ａの数
ｎｊ：端末ｊの端末モデル１２ａの学習に用いられた学習データの数
Ｎ：端末モデル１２ａの学習に用いられた学習データの数の平均値
Ｒｊ：端末ｊの端末モデル１２ａに対する重み値
なお、上記の重み付き平均を適用せず、数式（６）に示す単純平均を適用してもよい。ただし、学習データ数１２ｄを考慮しないため、共通モデル２２ｂの学習精度が低下する虞がある。
また、端末装置１０２の全数が少ない場合、選択手段２０ｂにおいて選択モデルを選択せず、すべての端末装置１０２の端末モデル１２ａを使って共通モデル２２ｂを生成してもよい。すなわち、Ｃ＝１としてもよい。
この場合、端末モデル類似度Ｓｊｋによる重み付き平均により共通モデル２２ｂを生成する。すなわち、数式（７）に示すように、重み付き平均において用いる学習端末ｊの重みとして、端末モデルの更新に用いられた学習データ数から算出された重みと、他の端末装置１０２の端末モデルとの類似度から算出された重みとを掛け合わせた値を適用する。これによって、少数派の端末モデルを重視した共通モデル２２ｂを構築することが可能となる。
このとき、他の端末装置１０２の端末モデルとの類似度から算出された重みは、端末ｊの関係する類似度の合計とすべての端末装置１０２間における類似度の合計値との比を用いることが好適である。これにより、他端末のモデルと違いが大きいモデルは重みが大きくなるため、少数派を重視して学習を行うことができる。
Ｓｊｋ：類似度ＤＢ２２ｄに記録されている端末ｊと端末ｋの端末モデル１２ａの類似度
Ｓｌｋ：類似度ＤＢ２２ｄに記録されている端末ｌと端末ｊの端末モデル１２ａの類似度
変化検知手段２０ｄは、各端末装置１０２から受信した特徴量に基づいて各端末装置１０２が設置された物件における利用者の活動パターンの変化を検知する変化検知処理を実行する。
変化検知処理では、端末装置１０２から新たに受信した特徴量と、特徴量ＤＢ２２ｃに記憶されている過去に受信した特徴量との比較に基づき変化検知スコアを算出する。具体的には、直近から遡って一定期間に受信した特徴量とそれ以前の所定期間の特徴量の分布から確率密度を推定し、それらの比の値を変化検知スコアとして算出する。変化検知スコアが閾値以上となった場合に、利用者の活動パターンに変化が生じたととみなす。
なお、利用者の活動パターンの変化の検出方法、当該密度比推定方法に限定されず、学習データの性質によって以下に記す他の手法により変化を検知してもよい。例えば、受信した最新の特徴量と過去に受信した特徴量との距離計算を行い、当該距離を変化検知スコアとする。また、例えば、ｏｎｅ ｃｌａｓｓ ＳＶＭによって、過去に受信した特徴量の領域推定を行う。そして、新たに受信した特徴量とその領域の距離計算を行い、当該距離を変化検知スコアとする。また、例えば、複数の端末装置１０２の特徴量をクラスタリングし、変化検知の対象とした端末装置１０２の特徴量が過去に属したクラスタから移動した場合に活動パターンに変化が生じたとみなす。この際の変化検知スコアは、クラスタからの移動なしの場合には偽値（例えば０）、移動した場合には真値（例えば１）とすればよい。
入力部２４は、サーバ装置１０６に対して情報や指示を入力するための入力手段である。入力部２４は、例えば、キーボード等の文字入力手段、マウス等のポインティングデバイス等とすることができる。出力部２６は、サーバ装置１０６で用いられる情報を利用者に呈示するための出力手段である。出力部２６は、例えば、ディスプレイ等の情報表示装置、プリンタ等の印刷装置とすることができる。また、出力部２６は、変化検知手段２０ｄで利用者の活動パターンに変化が検知された場合にサービス提供を行う会社のスタッフに報知するようにしてもよい。
通信部２８は、外部装置と情報を送受信するためのインターフェースである。通信部２８は、情報通信網１０８を介して端末装置１０２の各々と情報伝達可能に接続される。通信部２８を介して、サーバ装置１０６から端末装置１０２へ送信されるデータは、サーバ装置１０６で生成された共通モデル２２ｂのモデルパラメータや変化検知処理で検知された結果の情報等である。また、通信部２８を介して、端末装置１０２からサーバ装置１０６が受信するデータは、端末装置１０２の各々において機械学習によって更新された端末モデル１２ａのモデルパラメータ、学習データ数１２ｄ、特徴量等である。
また、通信部２８は、端末装置１０２の利用者の家族等の関係者が使用する情報端末に情報伝達可能に接続できるようにしてもよい。これによって、変化検知処理で検知された結果の情報を当該関係者に通知することができる。
以下、本実施の形態における「学習フェーズ」及び「検知フェーズ」について説明する。まず、図８及び図９を参照して「学習フェーズ」について説明する。
図８に示すように、学習フェーズでは、端末装置１０２の各々における端末モデル１２ａの学習とサーバ装置１０６における共通モデルの学習とが繰り返し行われる。まず、ステップＳ１０にて、サーバ装置１０６から初期状態の共通モデルの情報が端末装置１０２の各々に送信される。ステップＳ１２では、サーバ装置１０６から受信された共通モデルに基づいて、端末装置１０２の各々において取得されたセンサデータ１２ｃを用いて端末モデル１２ａの学習が行われる。ステップＳ１４では、端末装置１０２の各々からサーバ装置１０６へ端末モデル１２ａの情報が送信される。ステップＳ１６では、サーバ装置１０６が受信した端末モデル１２ａに基づいて、共通モデルの生成処理が行われる。ステップＳ１８では、サーバ装置１０６から生成された共通モデルの情報が端末装置１０２の各々に送信される。このように、端末装置１０２における端末モデル１２ａの学習とサーバ装置１０６における共通モデルの生成とを繰り返す。
図９は、学習フェーズにおけるサーバ装置１０６での処理を示す。学習フェーズでは、サーバ装置１０６において、共通モデルの生成が行われ、当該共通モデルを端末装置１０２へ送信する処理が行われる。
最初に、初期状態の共通モデルの生成が行われる（ステップＳ２０）。共通モデルのモデル構造が決定され、モデルパラメータが設定される。モデルパラメータの初期値は、乱数を用いた初期化処理やサーバ装置１０６に予め設定されたテストデータセットを用いた事前学習によって設定することができる。テストデータセットは、実験環境等で収集されたデータであり、端末装置１０２において取得されるセンサデータ１２ｃと同じデータ構造をもつことが好適である。また、テストデータの値も端末装置１０２において取得されるセンサデータ１２ｃに近いことが好適である。
次に、生成された初期状態の共通モデルの情報を端末装置１０２の各々に送信する（ステップＳ２２）。端末装置１０２の各々では、センサデータ１２ｃを用いて共通モデルに基づいた端末モデル１２ａの学習が行われる。サーバ装置１０６は、端末装置１０２の各々から端末モデル１２ａの情報を受信する（ステップＳ２４）。サーバ装置１０６は、ステップＳ２２又は後述するステップＳ３４において共通モデルを送信した端末装置１０２から端末モデル１２ａを受信し終えるまで待機する。
端末装置１０２から端末モデル１２ａの情報を受信すると、複数の端末装置１０２の端末モデル１２ａの間の類似度を算出する類似度算出処理を行う（ステップＳ２６）。算出された類似度は、端末装置１０２の端末ＩＤの組み合わせに関連付けて類似度ＤＢ２２ｄに記憶される。この際、前回の選択処理において選択されなかった端末モデル１２ａに対応する端末装置１０２に関する類似度は算出せず、類似度ＤＢ２２ｄの値も更新しないものとする。
類似度の算出処理が終了すると、類似度ＤＢ２２ｄを参照して、選択モデルを選択する選択処理を行う（ステップＳ２８）。そして、選択モデルのモデルパラメータを用いて共通モデルの生成処理を行う（ステップＳ３０）。共通モデルの生成を終了する条件が満たされればステップＳ３６に処理を移行させ、条件が満たされなければステップＳ３４に処理を移行させる（ステップＳ３２）。
ステップＳ３４に処理を移行させた場合、ステップＳ２８の選択モデルに対応する端末装置１０２へ生成された共通モデルを送信する（ステップＳ３４）。なお、すべての端末装置１０２へ共通モデルを送信してもよい。この場合、ステップＳ２４において、すべての端末装置１０２から端末モデル１２ａを受信し、当該受信した端末モデル１２ａに基づいてステップＳ２６の類似度算出処理にて類似度ＤＢ２２ｄを更新する。
ステップＳ３６に処理を移行させた場合、各端末装置１０２へ共通モデルのモデルパラメータの送信が行われる（ステップＳ３６）。そして、各端末装置１０２に対して「学習フェーズ」から「検知フェーズ」への切り換えを行う指示を通知する（ステップＳ３８）。
次ぎに、図１０及び図１１を参照して「検知フェーズ」について説明する。
図１０に示すように、検知フェーズでは、センサデータ１２ｃに基づく端末装置１０２における特徴量の抽出処理と、特徴量に基づくサーバ装置１０６における変化検知処理とが行われる。まず、ステップＳ４０にて、端末装置１０２の各々において、サーバ装置１０６から受信したモデルパラメータを適用した共通モデルに対してセンサ１０４から取得したセンサデータ１２ｃを入力して、当該センサデータ１２ｃに対応する特徴量を抽出する。ステップＳ４２では、端末装置１０２で抽出された特徴量がサーバ装置１０６へ送信される。ステップＳ４４では、端末装置１０２から受信された特徴量に基づいて利用者の活動パターンに変化が生じたか否かの変化検知処理が行われる。そして、ステップＳ４６では、検知結果が出力される。
図１０は、サーバ装置１０６における特徴量に基づく活動パターンの変化の検知処理を示す。検知処理では、端末装置１０２の各々において抽出された特徴量から利用者の活動パターンの変化が検知される。
まず、サーバ装置１０６は、端末装置１０２の各々から特徴量を受信する（ステップＳ５０）。サーバ装置１０６は、すべての端末装置１０２から特徴量を受信するまで待機するようにしてもよい。例えば、端末装置１０２は、所定期間分（例えば１週間分）のセンサデータ１２ｃを共通モデルに入力して、当該期間における利用者の活動パターンを示す特徴量を抽出して、当該特徴量をサーバ装置１０６へ送信する。
サーバ装置１０６は、受信した特徴量に基づいて利用者の活動パターンの変化検知処理を行う（ステップＳ５２）。端末装置１０２の各々から受信した特徴量と、特徴量ＤＢ２２ｃに記憶されている過去に受信した特徴量とを比較して変化検知スコアを算出して変化検知結果２２ｅとして記録する。
変化検知結果２２ｅが所定の閾値以上である場合（ステップＳ５４にて「はい」の場合）には、活動パターンに変化が生じたことを示す通知を出力する（ステップＳ５６）。変化検知結果２２ｅが所定の閾値未満である場合（ステップＳ５４にて「いいえ」の場合）には、活動パターンに変化が生じたことを示す通知を出力しない（ステップＳ５８へ移行）。
変化検知処理を終了する条件が満たされた場合には処理を終了し、条件が満たされていない場合にはステップＳ５０から処理を繰り返す（ステップＳ５８）。変化検知処理を終了する条件は、特に限定されるものではないが、例えば入力部２４から処理を終了する指示が入力された場合や変化検知処理を開始してから所定の時間が経過した場合等とすることができる。
以上、本発明に係る実施形態を説明したが、本発明は上記実施形態に限られるものではなく、本発明の趣旨を逸脱しない限りにおいて種々の変更が可能である。
１０ 制御部、１０ａ 端末モデル生成手段、１０ｂ 特徴量抽出手段、１２ 記憶部、１２ａ 端末モデル、１２ｂ 共通モデル、１２ｃ センサデータ、１２ｄ 学習データ数、１４ センサ通信部、１６ 通信部、２０ 制御部、２０ａ 類似度算出手段、２０ｂ 選択手段、２０ｃ 共通モデル生成手段、２０ｄ 変化検知手段、２２ 記憶部、２２ａ 端末モデルデータベース、２２ｂ 共通モデル、２２ｃ 特徴量データベース、２２ｄ 類似度データベース、２２ｅ 変化検知結果、２４ 入力部、２６ 出力部、２８ 通信部、１００ データ処理システム、１０２ 端末装置、１０４ センサ、１０６ サーバ装置、１０８ 情報通信網。

Claims (8)

  1. 入力データに対して所定のデータ処理タスクを行うための学習モデルである共通モデルを備えた複数の端末装置と通信し、前記端末装置において前記共通モデルに対して学習データを用いて機械学習させることによって生成された端末モデルを受信し、受信した複数の前記端末モデルを平均化処理して前記共通モデルを生成し、前記端末装置に送信する分散機械学習装置であって、
    受信した前記端末モデル間における類似度を求める類似度算出手段と、
    前記類似度に基づいて類似する前記端末モデルの数である類似端末モデル数が多い前記端末モデルほど前記共通モデルに反映され難くなるよう前記平均化処理を実行するモデル生成手段と、
    を備える分散機械学習装置。
  2. 前記モデル生成手段は、全ての前記端末モデルの中から前記類似端末モデル数の多い前記端末モデルほど選択され難くいよう前記端末モデルを選択し、該選択された前記端末モデルを用いて前記平均化処理を実行する請求項１に記載の分散機械学習装置。
  3. 前記モデル生成手段は、前記類似端末モデル数の少ない前記端末モデルほど前記平均化処理において前記共通モデルに反映され易くなるように重み値を設定し、前記端末モデル毎との前記重み値及び当該端末モデルを用いて前記平均化処理を実行する請求項１又は２に記載の分散機械学習装置。
  4. 前記モデル生成手段は、前記機械学習するのに利用された学習データ数が大きいほど、前記平均化処理において前記共通モデルに反映され易くなるように前記重み値を設定する請求項３に記載の分散機械学習装置。
  5. 前記学習データは、前記端末装置が対象とするユーザの活動を示す活動データであり、
    前記共通モデルは、前記活動データの特徴を示す特徴ベクトルを出力する機械学習モデルであることを特徴とする請求項１～４のいずれか１項に記載の分散機械学習装置。
  6. 入力データに対して所定のデータ処理タスクを行うための学習モデルである共通モデルを備えた複数の端末装置と、複数の前記端末装置と通信して当該端末装置の前記共通モデルを生成する分散機械学習装置と、からなるデータ処理システムであって、
    前記複数の端末装置の各々は、前記共通モデルに対して所定の学習データを機械学習することによって端末モデルを生成して前記分散機械学習装置に送信し、
    前記分散機械学習装置は、
    前記端末装置から受信した前記端末モデル間における類似度を求める類似度算出手段と、
    前記類似度に基づいて類似する前記端末モデルの数である類似端末モデル数が多い前記端末モデルほど前記共通モデルに反映され難くなるよう平均化処理を行うことで前記共通モデルを生成するモデル生成手段と、
    を備えることを特徴とするデータ処理システム。
  7. 入力データに対して所定のデータ処理タスクを行うための学習モデルである共通モデルを備えた複数の端末装置と通信し、前記端末装置において前記共通モデルに対して学習データを用いて機械学習させることによって生成された端末モデルを受信し、受信した複数の前記端末モデルを平均化処理して前記共通モデルを生成し、前記端末装置に送信する分散機械学習方法であって、
    受信した前記端末モデル間における類似度を求める類似度算出ステップと、
    前記類似度に基づいて類似する前記端末モデルの数である類似端末モデル数が多い前記端末モデルほど前記共通モデルに反映され難くなるよう前記平均化処理を実行するモデル生成ステップと、
    を備える分散機械学習方法。
  8. コンピュータを、入力データに対して所定のデータ処理タスクを行うための学習モデルである共通モデルを備えた複数の端末装置と通信し、前記端末装置において前記共通モデルに対して学習データを用いて機械学習させることによって生成された端末モデルを受信し、受信した複数の前記端末モデルを平均化処理して前記共通モデルを生成し、前記端末装置に送信する分散機械学習装置として機能させる分散機械学習プログラムであって、
    前記コンピュータを、
    受信した前記端末モデル間における類似度を求める類似度算出手段と、
    前記類似度に基づいて類似する前記端末モデルの数である類似端末モデル数が多い前記端末モデルほど前記共通モデルに反映され難くなるよう前記平均化処理を実行するモデル生成手段と、
    として機能させる分散機械学習プログラム。
JP2020047232A 2020-03-18 2020-03-18 分散機械学習装置、分散機械学習方法、分散機械学習プログラム及びデータ処理システム Active JP7461763B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2020047232A JP7461763B2 (ja) 2020-03-18 2020-03-18 分散機械学習装置、分散機械学習方法、分散機械学習プログラム及びデータ処理システム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020047232A JP7461763B2 (ja) 2020-03-18 2020-03-18 分散機械学習装置、分散機械学習方法、分散機械学習プログラム及びデータ処理システム

Publications (2)

Publication Number Publication Date
JP2021149370A JP2021149370A (ja) 2021-09-27
JP7461763B2 true JP7461763B2 (ja) 2024-04-04

Family

ID=77848848

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020047232A Active JP7461763B2 (ja) 2020-03-18 2020-03-18 分散機械学習装置、分散機械学習方法、分散機械学習プログラム及びデータ処理システム

Country Status (1)

Country Link
JP (1) JP7461763B2 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2023177487A (ja) * 2022-06-02 2023-12-14 株式会社日立製作所 連合学習システム、連合学習方法および連合学習プログラム
WO2024069957A1 (ja) * 2022-09-30 2024-04-04 日本電気株式会社 学習装置、学習システム、学習方法、およびコンピュータ可読媒体

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6573269B1 (ja) 2019-03-22 2019-09-11 ｌｉｖｅｐａｓｓ株式会社 カスタマイズされたコンテンツ配信のためのサーバ装置、プログラム
JP2019526851A (ja) 2016-07-18 2019-09-19 ナント ホールディングス アイピー エルエルシーＮａｎｔ Ｈｏｌｄｉｎｇｓ ＩＰ， ＬＬＣ 分散型機械学習システム、装置、および方法
JP2020038699A (ja) 2017-12-26 2020-03-12 株式会社エイシング 汎用学習済モデルの生成方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019526851A (ja) 2016-07-18 2019-09-19 ナント ホールディングス アイピー エルエルシーＮａｎｔ Ｈｏｌｄｉｎｇｓ ＩＰ， ＬＬＣ 分散型機械学習システム、装置、および方法
JP2020038699A (ja) 2017-12-26 2020-03-12 株式会社エイシング 汎用学習済モデルの生成方法
JP6573269B1 (ja) 2019-03-22 2019-09-11 ｌｉｖｅｐａｓｓ株式会社 カスタマイズされたコンテンツ配信のためのサーバ装置、プログラム

Also Published As

Publication number Publication date
JP2021149370A (ja) 2021-09-27

Similar Documents

Publication Publication Date Title
Fong et al. Finding an accurate early forecasting model from small dataset: A case of 2019-ncov novel coronavirus outbreak
Jiang et al. Ensemble Prediction Algorithm of Anomaly Monitoring Based on Big Data Analysis Platform of Open‐Pit Mine Slope
US20200401939A1 (en) Systems and methods for preparing data for use by machine learning algorithms
Darban et al. Deep learning for time series anomaly detection: A survey
JP7461763B2 (ja) 分散機械学習装置、分散機械学習方法、分散機械学習プログラム及びデータ処理システム
Mohanty et al. Web-services classification using intelligent techniques
Yu et al. Meta-ADD: A meta-learning based pre-trained model for concept drift active detection
CA3184439A1 (en) Neural network architecture for transaction data processing
Wang et al. Online reliability time series prediction via convolutional neural network and long short term memory for service-oriented systems
KR20190101327A (ko) 구독 제품 가격 산정 방법 및 가격 산정 장치
Elwell et al. Incremental learning in nonstationary environments with controlled forgetting
Gao Network intrusion detection method combining CNN and BiLSTM in cloud computing environment
Amayri et al. Estimating occupancy using interactive learning with a sensor environment: Real-time experiments
JP7409080B2 (ja) 学習データ生成方法、学習データ生成プログラムおよび情報処理装置
JP2020080021A (ja) 学習プログラム、学習方法および学習装置
Fong et al. Gesture recognition from data streams of human motion sensor using accelerated PSO swarm search feature selection algorithm
Inacio et al. Fault diagnosis with evolving fuzzy classifier based on clustering algorithm and drift detection
CN114037182A (zh) 建筑物负荷预测模型训练方法、装置及非易失性存储介质
US20230169336A1 (en) Device and method with state transition linearization
CN115700850A (zh) 一种基于无监督神经网络lbri的动作识别方法及***
US11966927B2 (en) Multi-task deep learning of customer demand
Zander Predicting taxi passenger demand using artificial neural networks
CN117763492B (zh) 基于时序空间特征和偏好波动的网络安全工具智能推荐方法及装置
Wang et al. Quantum particle swarm optimization based network intrusion feature selection and detection
CN113032625B (zh) 一种视频分享方法、装置、计算机设备及存储介质

Legal Events

Date Code Title Description
A80 Written request to apply exceptions to lack of novelty of invention

Free format text: JAPANESE INTERMEDIATE CODE: A80

Effective date: 20200409

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230228

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20240229

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240319

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240325

R150 Certificate of patent or registration of utility model

Ref document number: 7461763

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150