JP2010176583A - 情報処理装置、情報処理方法、情報処理プログラム及び情報処理システム - Google Patents

Abstract

【課題】学習ルーチンや学習結果をセキュアに保護することができる情報処理装置、情報処理方法、情報処理プログラム及び情報処理システムを提供する。
【解決手段】収束性を有する所定の学習用のアルゴリズムに基づいて学習された学習結果を暗号化する第１の暗号化部１１と、暗号化された学習結果を記憶する第１の記憶部１２と、暗号化された学習結果を復号する第１の復号部１３と、第１の情報が入力される入力部１４と、外部機器に第２の情報を出力する出力部１５と、第１の情報が入力されたときに、第１の記憶部１２から暗号化された学習結果を読み出し、第１の復号部１３により復号し、当該復号された学習結果を参照して、第１の情報に基づき、外部機器における次の動作を決定する動作情報を第２の情報として生成し、第２の情報としての動作情報を出力部１５を介して外部機器に出力する制御部１６と、を備えるとした。
【選択図】図１

Description

本発明は、情報を処理する情報処理装置、情報処理方法、情報処理プログラム及び情報処理システムに関する。

複数のユーザが使用する物、例えば、エレベータにおいて、効率的な運用を図るために、当該物を制御する制御装置が備えられている。ここで、エレベータの制御装置は、学習機能を有しており、当該学習機能の発揮によりエレベータを効率的に制御している。

ここで、特許文献１において、人工知能を利用したエレベータシステムのトラフィック予測精度を改善する学習方法について提案されている。

また、学習方法の代表例として強化学習機能がある。強化学習機能は、エレベータ等の製品に組み込まれ、より利便性の高いシステムを利用者に提供するための一機能として使用されている。

特開平０５−２１３５４２号公報

ここで、実際のシステムに組み込まれて得られた学習機能における学習ルーチン（処理）や学習結果自体は、それぞれの製品等により異なるが、多大な資産価値があるため、不正に改ざんされたり、漏洩されたりすることから守りたいという要求が存在する。

また、学習ルーチン（処理）や学習結果が不正に改ざんされた場合、それらが組み込まれた製品にセキュリティや性能面での重大な影響を及ぼし、また、コードやルーチンが漏洩することで資産価値に大きな影響を及ぼすことが予想される。

そこで、本発明は、学習ルーチン（処理）や学習結果をセキュアに保護することができる情報処理装置、情報処理方法、情報処理プログラム及び情報処理システムを提供することを目的とする。

本発明は、以下のような解決手段により、前記課題を解決する。なお、理解を容易にするために、本発明の実施形態に対応する符号を付して説明するが、これに限定されるものではない。

請求項１の発明は、収束性を有する所定の学習用のアルゴリズムに基づいて学習された学習結果を暗号化する第１の暗号化手段（１１）と、前記第１の暗号化手段により暗号化された前記学習結果を記憶する第１の記憶手段（１２）と、前記第１の記憶手段に記憶されている暗号化された前記学習結果を復号する第１の復号手段（１３）と、外部機器により生成された第１の情報が入力される入力手段（１４）と、前記外部機器に第２の情報を出力する出力手段（１５）と、前記入力手段に前記第１の情報が入力されたときに、前記第１の記憶手段に記憶されている暗号化された前記学習結果を読み出し、当該読み出した暗号化されている前記学習結果を前記第１の復号手段により復号し、当該復号された前記学習結果を参照して、前記第１の情報に基づき、前記外部機器における次の動作を決定する動作情報を第２の情報として生成し、前記第２の情報としての前記動作情報を前記出力手段を介して前記外部機器に出力する制御手段（１６）と、を備えることを特徴とする情報処理装置（１）である。

請求項２の発明は、請求項１に記載の情報処理装置（１）において、前記制御手段により生成された前記動作情報を暗号化する第２の暗号化手段（１７）と、前記第２の暗号化手段により暗号化された前記動作情報を記憶する第２の記憶手段（１８）と、を備え、前記制御手段は、前記第２の記憶手段に記憶されている暗号化された前記動作情報を前記出力手段を介して前記外部機器に出力することを特徴とする情報処理装置である。

請求項３の発明は、請求項１又は２に記載の情報処理装置（１）において、前記アルゴリズムに基づいて学習を行う学習手段（１９）を備え、前記制御手段（１６）は、前記動作情報に基づいて動作をした結果である動作結果情報が前記外部機器から前記入力手段を介して入力されたときに、前記動作結果情報を参照して、前記学習手段により前記アルゴリズムに基づく学習を行わせ、当該学習により得られた学習結果を前記第１の暗号化手段により暗号化し、当該暗号化された前記学習結果を前記第１の記憶手段に書込み、前記第１の記憶手段に記憶されている学習結果を更新することを特徴とする情報処理装置である。

請求項４の発明は、請求項１から３までのいずれか１項に記載の情報処理装置（１）において、前記入力手段に入力される前記第１の情報は暗号化されており、暗号化された当該第１の情報を復号する第２の復号手段（２０）を備え、前記制御手段（１６）は、前記学習結果を参照して、前記第２の復号手段により復号された前記第１の情報に基づき、前記外部機器における次の動作を決定する動作情報を第２の情報として生成することを特徴とする情報処理装置である。

請求項５の発明は、請求項３に記載の情報処理装置（１）において、前記入力手段（１４）により入力された前記第１の情報には、所定の時刻における環境情報が含まれており、前記学習手段（１９）は、動的な環境に適したアルゴリズムと、静的な環境に適したアルゴリズムとを有しており、前記環境情報に基づいて、静的な環境であるか又は動的な環境であるかを判断し、当該判断の結果に基づいて最適となるアルゴリズムを選択し、選択したアルゴリズムに基づいて学習を行うことを特徴とする情報処理装置。

請求項６の発明は、収束性を有する所定の学習用のアルゴリズムに基づいて学習された学習結果を暗号化する暗号化工程と、前記暗号化工程により暗号化された前記学習結果を記憶部に記憶する記憶工程と、前記記憶部に記憶されている暗号化された前記学習結果を復号する復号工程と、外部機器により生成された第１の情報が入力される入力工程と、前記入力工程により前記第１の情報が入力されたときに、前記記憶部に記憶されている暗号化された前記学習結果を読み出し、当該読み出した暗号化されている前記学習結果を前記復号工程により復号し、当該復号された前記学習結果を参照して、前記第１の情報に基づき、前記外部機器における次の動作を決定する動作情報を第２の情報として生成し、前記第２の情報としての前記動作情報を前記外部機器に出力する制御工程と、を有することを特徴とする情報処理方法である。

請求項７の発明は、コンピュータに、収束性を有する所定の学習用のアルゴリズムに基づいて学習された学習結果を暗号化する暗号化工程と、前記暗号化工程により暗号化された前記学習結果を記憶部に記憶する記憶工程と、前記記憶部に記憶されている暗号化された前記学習結果を復号する復号工程と、外部機器により生成された第１の情報が入力される入力工程と、前記入力工程により前記第１の情報が入力されたときに、前記記憶部に記憶されている暗号化された前記学習結果を読み出し、当該読み出した暗号化されている前記学習結果を前記復号工程により復号し、当該復号された前記学習結果を参照して、前記第１の情報に基づき、前記外部機器における次の動作を決定する動作情報を第２の情報として生成し、前記第２の情報としての前記動作情報を前記外部機器に出力する制御工程と、を実行させるための情報処理プログラムである。

請求項８の発明は、情報処理装置と外部機器とを備えて所定の情報の処理を実行する情報処理システムにおいて、前記情報処理装置（１）は、収束性を有する所定の学習用のアルゴリズムに基づいて学習された学習結果を暗号化する第１の暗号化手段（１１）と、前記第１の暗号化手段により暗号化された前記学習結果を記憶する第１の記憶手段（１２）と、前記第１の記憶手段に記憶されている暗号化された前記学習結果を復号する第１の復号手段（１３）と、外部機器により生成された第１の情報が入力される入力手段（１４）と、前記外部機器に第２の情報を出力する第１の出力手段（１５）と、前記入力手段に前記第１の情報が入力されたときに、前記第１の記憶手段に記憶されている暗号化された前記学習結果を読み出し、当該読み出した暗号化されている前記学習結果を前記第１の復号手段により復号し、当該復号された前記学習結果を参照して、前記第１の情報に基づき、前記外部機器における次の動作を決定する動作情報を第２の情報として生成し、前記第２の情報としての前記動作情報を前記第１の出力手段を介して前記外部機器に出力する制御手段（１６）と、を備え、前記外部機器は、前記第１の情報を生成する情報生成手段（３１）と、前記第１の情報を前記入力手段に出力する第２の出力手段（３２）と、前記第２の情報としての前記動作情報に基づいて動作を実行する動作制御手段（３３）と、を備えることを特徴とする情報処理システムである。

本発明によれば、以下の効果を奏することができる。
（１）本発明は、セキュリティデバイスであるＩＣカードに内蔵されて、外部機器（例えば、エレベータ）に備えられているＲ／Ｗ（リーダライタ）部に挿入されることにより、設置されている場所、運転状況及び運転時間等に適応した外部機器の固有の動作（例えば、エレベータの昇降動作）を強化学習により制御し、その過程で得られた学習結果をセキュアに保護することができる。
また、本発明は、収束性を有する所定の学習用のアルゴリズムに基づいて学習された学習結果を利用するので、学習時間の経過にしたがってある一定の学習結果に収束するため、安定した学習結果によって外部機器を制御することができる。
（２）本発明は、資産価値がある学習ルーチン及び学習結果が不正に改ざんされたり、漏洩されたりする状況を回避することができる。
（３）本発明は、学習部を備えるので、外部機器に含まれている制御装置に学習機能が備わっていない場合であっても、収束性を有する所定の学習用のアルゴリズムにより得られる学習結果によって外部機器の動作を制御することができる。
（４）本発明は、セキュリティデバイスであるＩＣカードに内蔵されて、外部機器（例えば、エレベータ）に備えられているＲ／Ｗ（リーダライタ）部に挿入されることにより、外部機器から暗号化された第１の情報（環境情報であって、例えば、報酬情報ｒ（ｔ）と環境情報Ｓ（ｔ）等）が入力されてくるので、第１の情報を不正に利用されることがなく、安全性の高いシステムを構築することができる。
（５）本発明は、環境に適したアルゴリズムにより学習を行うので、環境に適した学習結果により外部機器を制御することができる。

情報処理装置の第１の構成を示す機能ブロック図である。 学習結果を保護するシステムの処理の流れについての説明に供するタイミングチャートである。 情報処理装置の第２の構成を示す機能ブロック図である。 情報処理装置の第３の構成を示す機能ブロック図である。 学習結果及び学習ルーチンを保護するシステムの処理の流れについての説明に供するタイミングチャートである。 情報処理装置の第４の構成を示す機能ブロック図である。 制御装置の構成を示す機能ブロック図である。 情報処理装置を外部機器の昇降制御に利用した場合におけるシステム構成を示す図である。

以下、図面等を参照しながら、本発明の実施の形態について、さらに詳しく説明する。図１は、外部機器と通信を行う情報処理装置１のブロック図である。情報処理装置１は、強化学習を利用して外部機器を効率的に制御し、その過程で得られる学習ルーチン（処理）や学習結果を、暗号化技術を利用して保護する機能を有しており、例えば、セキュリティデバイスであるＩＣカード等のメディアに内蔵される。なお、当該メディアは、物理的あるいは論理的に内部の情報を読み取らせ難い機能（耐タンパ機能）を有している。また、以下では、「外部機器」には、外部機器（例えば、エレベータ）の動作を制御する制御装置が含まれているものとし、また、制御装置には、セキュリティデバイスであるＩＣカード等のメディアに対して、情報の読み込み及び書込みが可能なＲ／Ｗ（リーダライタ）部が備えられているものとする。

当該機能を実現するために、情報処理装置１は、図１に示すように、第１の暗号化部１１（第１の暗号化手段）と、第１の記憶部１２（第１の記憶手段）と、第１の復号部１３（第１の復号手段）と、入力部１４（入力手段）と、出力部１５（出力手段）と、制御部１６（制御手段）とを備える。

第１の暗号化部１１は、詳細を後述する、収束性を有する所定の学習用のアルゴリズムに基づいて学習された学習結果を暗号化する。ここで、「収束性を有する所定の学習用のアルゴリズム」について説明する。当該アルゴリズムは、エレベータ等の製品に組み込まれ、より利便性の高いシステムを利用者に提供するための強化学習を実行するアルゴリズムである。また、強化学習（例えば、Ｑ−ＬｅａｒｎｉｎｇやＰｒｏｆｉｔ Ｓｈａｒｉｎｇ）とは、行動の結果（出力）にのみ評価（報酬）を与え、その評価が最大になる出力を学習する仕組みを指す。また、強化学習では、学習するために様々な行動を試し、それぞれの結果に応じた評価を得て、高評価であった行動を優先的に実行する。そして、強化学習では、学習が完了すると、行動には特定の報酬が与えられた状態となり、報酬が高い行動は優先的に選択されるようになる。

第１の記憶部１２は、第１の暗号化部１１により暗号化された学習結果を記憶する。第１の復号部１３は、第１の記憶部１２に記憶されている暗号化された学習結果を復号する。入力部１４は、外部機器により生成された第１の情報が入力される。出力部１５は、外部機器に第２の情報を出力する。

制御部１６は、入力部１４に第１の情報が入力されたときに、第１の記憶部１２に記憶されている暗号化された学習結果を読み出し、当該読み出した暗号化されている学習結果を第１の復号部１３により復号し、当該復号された学習結果を参照して、第１の情報に基づき、外部機器における次の動作を決定する動作情報を第２の情報として生成し、第２の情報としての動作情報を、出力部１５を介して当該外部機器に出力する。

また、学習結果を保護するシステムの処理の流れについて図２を参照しながら説明する。なお、図２では、情報処理装置１を有するデバイスをセキュリティデバイス１０１とし、外部機器における次の動作を決定する制御部１６の機能を動作決定ルーチン１０２とし、外部機器を制御する装置を制御システム１０３とし、強化学習を実行する機能を学習ルーチン１０４とする。

学習ルーチン１０４は、学習結果をセキュリティデバイス１０１に供給する（Ｓ１）。セキュリティデバイス１０１では、学習結果を暗号化して第１の記憶部１２に格納する。
制御システム１０３は、現状の情報を動作決定ルーチン１０２に供給し、次の動作の指示を要求する（Ｓ２）。動作決定ルーチン１０２は、現在、第１の記憶部１２に格納されている学習結果に基づいて、次の動作を決定し（Ｓ３）、次の動作を指示する情報を制御システム１０３に供給する（Ｓ４）。

制御システム１０３は、動作決定ルーチン１０２から供給された次の動作を決定する情報に基づいて外部機器の動作を制御し、そのときの状況情報及び結果（乗客の待ち時間等）を学習ルーチン１０４に供給する（Ｓ５）。学習ルーチン１０４は、制御システム１０３から供給された状況情報及び結果に基づいて強化学習を実行する（Ｓ６）。また、制御システム１０３は、実行した学習結果をセキュリティデバイス１０１に供給する（Ｓ７）。セキュリティデバイス１０１では、学習結果を更新するために、新しい学習結果を暗号化して第１の記憶部１２に格納する（古い学習結果を上書きする）。

このようにして構成される情報処理装置１は、例えば、セキュリティデバイスであるＩＣカードに内蔵されて、外部機器（例えば、エレベータ）に備えられているＲ／Ｗ（リーダライタ）部に挿入されることにより、設置されている場所、運転状況及び運転時間等に適応した外部機器の固有の動作（例えば、エレベータの昇降動作）を強化学習により制御し、その過程で得られた学習結果をセキュアに保護することができる。したがって、情報処理装置１は、資産価値がある学習結果が不正に改ざんされたり、漏洩されたりする状況を回避することができる。また、情報処理装置１では、収束性を有する所定の学習用のアルゴリズムに基づいて学習された学習結果を利用するので、学習時間の経過にしたがってある一定の学習結果に収束するため、安定した学習結果によって外部機器を制御することができる。

また、情報処理装置１は、図３に示すように、図１に示す構成にさらに、第２の暗号化部１７（第２の暗号化手段）と、第２の記憶部１８（第２の記憶手段）とを備える構成であっても良い。なお、図３では、第２の暗号化部１７の周辺の構成のみを示す。

第２の暗号化部１７は、制御部１６により生成された動作情報を暗号化する。第２の記憶部１８は、第２の暗号化部１７により暗号化された動作情報を記憶する。このように構成される場合には、制御部１６は、第２の記憶部１８に記憶されている暗号化された動作情報を、出力部１５を介して外部機器に出力する。

このようにして構成される情報処理装置１は、例えば、セキュリティデバイスであるＩＣカードに内蔵されて、外部機器（例えば、エレベータ）に備えられているＲ／Ｗ（リーダライタ）部に挿入されることにより、設置されている場所、運転状況及び運転時間等に適応した外部機器の固有の動作（例えば、エレベータの昇降動作）を強化学習により制御し、その過程で得られた動作情報としての学習ルーチン及び学習結果をセキュアに保護することができる。したがって、情報処理装置１は、資産価値がある学習ルーチンや学習結果が不正に改ざんされたり、漏洩されたりする状況を回避することができる。また、情報処理装置１では、収束性を有する所定の学習用のアルゴリズムに基づいて学習された学習結果を利用するので、学習時間の経過にしたがってある一定の学習結果に収束するため、安定した学習結果によって外部機器を制御することができる。

また、情報処理装置１は、図４に示すように、図１の構成にさらに、アルゴリズムに基づいて学習を行う学習部１９（学習手段）を備える構成であっても良い。このような構成の場合には、制御部１６は、動作情報に基づいて動作をした結果である動作結果情報が外部機器から入力部１４を介して入力されたときに、動作結果情報を参照して、学習部１９により収束性を有する所定の学習用のアルゴリズムにより学習を行わせ、当該学習により得られた学習結果を第１の暗号化部１１により暗号化し、当該暗号化された学習結果を第１の記憶部１２に書込み、第１の記憶部１２に記憶されている学習結果を更新する。

また、学習結果及び学習ルーチンを保護するシステムの処理の流れについて図５を参照しながら説明する。なお、図５では、情報処理装置１を有するデバイスをセキュリティデバイス１０１とし、外部機器における次の動作を決定する制御部１６の機能を動作決定ルーチン１０２とし、外部機器を制御する装置を制御システム１０３とし、強化学習を実行する機能を学習ルーチン１０４とする。

制御システム１０３は、現状の情報を動作決定ルーチン１０２に供給し、次の動作の指示を要求する（Ｓ１１）。動作決定ルーチン１０２は、動作決定ルーチン１０２は、現在第１の記憶部１２に格納されている学習結果に基づいて、次の動作を決定し（Ｓ１２）、次の動作を指示する情報を制御システム１０３に供給する（Ｓ１３）。

制御システム１０３は、動作決定ルーチン１０２から供給された次の動作を決定する情報に基づいて外部機器の動作（例えば、エレベータの昇降動作）を制御し（Ｓ１４）、そのときの状況情報及び結果（乗客の待ち時間等）を学習ルーチン１０４に供給する（Ｓ１５）。

学習ルーチン１０４は、制御システム１０３から供給された状況情報及び結果に基づいて強化学習を実行し、学習結果を更新する（Ｓ１６）。具体的には、セキュリティデバイス１０１では、学習結果を更新するために、新しい学習結果を暗号化して第１の記憶部１２に格納する（古い学習結果を上書きする）。また、学習ルーチン１０４は、更新された学習結果を動作決定ルーチン１０２に反映させる（Ｓ１７）。

このようにして構成される情報処理装置１は、学習部１９を備えるので、外部機器に含まれている制御装置に学習機能が備わっていない場合であっても、収束性を有する所定の学習用のアルゴリズムにより得られる学習結果によって外部機器の動作を制御することができる。

また、情報処理装置１は、図６に示すように、図１に示す構成にさらに、入力部１４に入力される第１の情報は暗号化されており、暗号化された当該第１の情報を復号する第２の復号部２０（第２の復号手段）を備える構成であっても良い。このような構成の場合には、制御部１６は、学習結果を参照して、第２の復号部２０により復号された第１の情報に基づき、外部機器における次の動作を決定する動作情報を第２の情報として生成する。また、入力部１４に入力された第１の情報は、第２の復号部２０により復号された後、学習部１９に入力される。

このようにして構成される情報処理装置１は、例えば、セキュリティデバイスであるＩＣカードに内蔵されて、外部機器（例えば、エレベータ）に備えられているＲ／Ｗ（リーダライタ）部に挿入されることにより、外部機器から暗号化された第１の情報（環境情報であって、例えば、後述する報酬情報ｒ（ｔ）と環境情報Ｓ（ｔ）等）が入力されてくるので、第１の情報を不正に利用されることがなく、安全性の高いシステムを構築することができる。

ここで、学習部１９により実行される学習方法について詳細に説明する。なお、以下では、強化学習としてＱ−Ｌｅａｒｎｉｎｇアルゴリズムを適用した場合を想定して説明するが、これは一例であって、収束性を有する学習用のアルゴリズムであれば他のものであっても適用が可能である。また、以下では、外部機器３に含まれている制御装置２は、図７に示すように、第１の情報としての報酬情報（ｒ（ｔ））及び環境情報（Ｓ（ｔ））を生成する情報生成部３１と、第１の情報を情報処理装置１の入力部１４に出力する出力部３２と、第２の情報としての動作情報に基づいて外部機器３（例えば、エレベータ）の動作を制御する動作制御部３３とを備えているものとする。また、出力部３２は、第１の情報を暗号化して情報処理装置１に出力する機能を有しているものとする。

学習部１９により利用される強化学習のための一般化式は、以下の通りである。時刻ｔにおける行動情報、報酬情報、環境情報、行動指標値を、それぞれａ（ｔ）、ｒ（ｔ）、Ｓ（ｔ）、Ｑ（ｔ）とすると、基本的に以下の（１）式及び（２）式になる。
ａ（ｔ）＝ｆ（Ｓ（ｔ），Ｑ（ｔ））・・・（１）
Ｑ（ｔ＋１）＝Ｅ（ｒ（ｔ），Ｓ（ｔ），ａ（ｔ））・・・（２）

ここで、ｆ（ｘ）は、環境情報と行動指標値を用いて、行動を決定するための任意の関数であり、Ｅ（ｘ）は、行動情報、報酬情報及び環境情報から行動指標値を更新するための任意の学習用関数である。なお、学習部１９は、学習結果を収束させるように演算を行うため、Ｑ（ｔ）を収束させるような学習用関数を選択する。

また、情報処理装置１をＩＣカードに内蔵させる構成においては、外部機器３から入力される各種の情報（第１の情報）は、暗号化して入力されることが要求される場合がある。その場合には、制御装置２の出力部３２は、当該情報（第１の情報）を暗号化してＩＣカードに出力する。ここで、暗号化に利用する鍵を「ｋ」とし、暗号化対象データを「ｘ」とした場合の任意の暗号化関数を、Ｅｎｃ_ｋ（ｘ）と表すと、ＩＣカードに出力される情報（第１の情報）は、以下の（３）式及び（４）式となる。
Ｓ´（ｔ）＝Ｅｎｃ_ｋ（Ｓ（ｔ））・・・（３）
ｒ´（ｔ）＝Ｅｎｃ_ｋ（ｒ（ｔ））・・・（４）

なお、Ｓ´（ｔ）及びｒ´（ｔ）は、それぞれ暗号化された環境情報及び報酬情報である。また、情報処理装置１は、第２の復号部２０により暗号化された第１の情報を復号する。ここで、復号関数をＤｅｃ_ｋ（ｘ）とすると、第２の復号部２０において実行されるべき関数は以下の（５）式及び（６）式になる。
ａ（ｔ）＝ｆ（Ｄｅｃ_ｋ（Ｓ´（ｔ）），Ｑ（ｔ））・・・（５）
Ｑ（ｔ＋１）＝Ｅ（Ｄｅｃ_ｋ（ｒ´（ｔ）），Ｄｅｃ_ｋ（Ｓ´（ｔ）），ａ（ｔ））・・・（６）

また、この関数に適合する一例として、Ｑ−Ｌｅａｒｎｉｎｇアルゴリズムの一般式に上記条件を適用すると、以下の（７）式になる。
Ｑ（Ｓ_ｔ，ａ）←Ｑ（Ｄｅｃ_ｋ（ｓ´_ｔ），ａ）＋α（Ｄｅｃ_ｋ（ｒ´_ｔ＋１）＋γｍａｘＱ（Ｄｅｃ_ｋ（ｓ´_ｔ＋１），ｐ）−Ｑ（Ｄｅｃ_ｋ（ｓ´_ｔ），ａ）・・・（７）

また、情報処理装置１では、上述したように、入力部１４により入力された第１の情報には、所定の時刻ｔにおける環境情報Ｑ（ｔ）が含まれている。また、学習部１９は、動的な環境に適した収束性を有する所定の学習用のアルゴリズム（例えば、Ｐｒｏｆｉｔ Ｓｈａｒｉｎｇアルゴリズム）と、静的な環境に適した収束性を有する所定の学習用のアルゴリズム（例えば、Ｑ−Ｌｅａｒｎｉｎｇアルゴリズム）とを有しており、環境情報Ｑ（ｔ）に基づいて、静的な環境であるか又は動的な環境であるかを判断し、当該判断の結果に基づいて最適となるアルゴリズムを選択し、選択したアルゴリズムに基づいて学習を行う。
このように構成されることにより、情報処理装置１は、環境に適したアルゴリズムにより学習を行うので、環境に適した学習結果により外部機器を制御することができる。

ここで、情報処理装置１をエレベータ（外部機器）の昇降制御に利用した場合について説明する。図８は、システム全体の模式図であり、外部機器としてのエレベータのカゴ２０１と、カゴ２０１の昇降動作を制御する制御システム２０２と、情報処理装置１を有するセキュリティデバイス２０３とから構成される。なお、制御システム２０２は、上述した制御システム１０３に対応する同一構成のシステムであり、セキュリティデバイス２０３は、上述したセキュリティデバイス１０１と同一構成のデバイスである。また、エレベータに関する制御の一つに停止階制御がある。停止階制御とは、例えば、高層の建物において、エレベータのカゴ２０１が４階に停止しているときに、１階と５階においてそれぞれ同時期に乗場押しボタンが押下された場合にカゴ２０１の移動（昇降）等を制御することである。

また、強化学習の観点で考えると、評価（報酬）として与えられるものは各階においてエレベータのカゴ２０１を待っている乗客の待ち時間となる。エレベータのカゴ２０１は４階に停止中において、例えば、１階で待っている乗客により上階への移動を指示するボタンが押下され、同時期に、５階で待っている乗客により下階への移動を指示するボタンが押下された場合には、エレベータのカゴ２０１の昇降を制御する制御システム２０２は、以下の２通りの昇降制御を指示することが考えられる。なお、エレベータのカゴ２０１の昇降動作には、移動する、停止する、上に移動する、下に移動する、の４つ動作があり、制御システム２０２は、各動作を制御する。
１．制御システム２０２は、１階の乗客を乗せるために、４階から１階にカゴ２０１を移動し、停止して（停止後、扉を開き、１階の乗客を乗せた後、扉を閉める）、１階から５階にカゴ２０１を移動し、停止して（途中階では停止指示がされなかったものとし、カゴ２０１の停止後、扉を開き、５階の乗客を乗せて、扉を閉める）、再び、５階から１階にカゴ２０１を移動し、停止する（停止後、扉を開き、乗客を降ろした後、扉を閉めて次の指示を待つ）。
２．制御システム２０２は、５階の乗客を乗せるために、４階から５階にカゴ２０１を移動し、停止して（停止後、扉を開き、５階の乗客を乗せた後、扉を閉める）、５階から１階にカゴ２０１を移動し、停止する（途中階では停止指示がされなかったものとする。また、停止後、扉を開き、乗客を降ろした後、扉を閉めて次の指示を待つ）。

カゴ２０１は、１．の動作の場合、最短でも４Ｆ→１Ｆ→５Ｆの順で移動するので、途中階における停止指示がない場合には、７階分移動しなければならない。一方、カゴ２０１は、２．の動作の場合、４Ｆ→５Ｆ→１Ｆの順で移動するので、途中階における停止指示がない場合には、５階分の移動で乗客の輸送が完了する。

情報処理装置１を有するセキュリティデバイス２０３は、１．の動作と２．の動作を試した結果、２．の動作に対し高い評価（報酬）を与えることとなる。なお、セキュリティデバイス２０３は、単に動作だけでなく、各階で待っている乗客の数や実際の利用状況を把握して強化学習を行うため、場合によっては、１．の動作に対して高い評価（報酬）を与えることもある。

また、保護すべき情報（資産価値が高い情報）は、行動（上階に異動するか、又は下階に移動するか）に対する評価結果（乗客の待ち時間）を学習する「学習ルーチン」、及び学習した結果を反映し、次の行動（エレベータのカゴ２０１の移動制御）に利用する「評価結果」となる。そのため、情報処理装置１では、学習ルーチンを実装したコードや評価結果を示すデータ等を暗号化して保護する。

したがって、情報処理装置１を利用したエレベータのカゴ２０１の昇降動作を制御するシステムにおいては、暗号化によりセキュアに保護されており、収束性を有する所定の学習用のアルゴリズムにより生成された評価結果を用いて、次のエレベータのカゴ２０１の移動順序について効率的に決定することができる。

また、情報処理装置１は、学習ルーチンが行動及び報酬に基づいた学習を評価結果に反映するので、学習を繰り返すごとに評価結果が変動し、学習回数が多くなるほど収束して安定した評価結果となって外部機器に入力される。また、情報処理装置１は、時間的に規則性のある条件ごと（例えば、曜日ごと、週ごと、月ごと等）に評価結果を生成しておき、各条件に沿って外部機器を制御するような構成であっても良い。

本実施例では、単一のエレベータのカゴの昇降制御について説明したが、これに限られず、複数台のエレベータが並ぶような場合における停止階制御に利用されても良いし、特定の階に停止しない不停止制御（フロアカット）に利用されても良いし、また、強化学習が適用可能な技術分野であればエレベータの昇降制御以外の制御に用いられても良い。

１ 情報処理装置
２ 制御装置
３ 外部機器
１１ 第１の暗号化部
１２ 第１の記憶部
１３ 第１の復号部
１４ 入力部
１５、３２ 出力部
１６ 制御部
１７ 第２の暗号化部
１８ 第２の記憶部
１９ 学習部
２０ 第２の復号部
３１ 情報生成部
３３ 動作制御部

Claims (8)

1. 収束性を有する所定の学習用のアルゴリズムに基づいて学習された学習結果を暗号化する第１の暗号化手段と、
   前記第１の暗号化手段により暗号化された前記学習結果を記憶する第１の記憶手段と、
   前記第１の記憶手段に記憶されている暗号化された前記学習結果を復号する第１の復号手段と、
   外部機器により生成された第１の情報が入力される入力手段と、
   前記外部機器に第２の情報を出力する出力手段と、
   前記入力手段に前記第１の情報が入力されたときに、前記第１の記憶手段に記憶されている暗号化された前記学習結果を読み出し、当該読み出した暗号化されている前記学習結果を前記第１の復号手段により復号し、当該復号された前記学習結果を参照して、前記第１の情報に基づき、前記外部機器における次の動作を決定する動作情報を第２の情報として生成し、前記第２の情報としての前記動作情報を前記出力手段を介して前記外部機器に出力する制御手段と、を備えることを特徴とする情報処理装置。
2. 請求項１に記載の情報処理装置において、
   前記制御手段により生成された前記動作情報を暗号化する第２の暗号化手段と、
   前記第２の暗号化手段により暗号化された前記動作情報を記憶する第２の記憶手段と、を備え、
   前記制御手段は、前記第２の記憶手段に記憶されている暗号化された前記動作情報を前記出力手段を介して前記外部機器に出力することを特徴とする情報処理装置。
3. 請求項１又は２記載の情報処理装置において、
   前記アルゴリズムに基づいて学習を行う学習手段を備え、
   前記制御手段は、前記動作情報に基づいて動作をした結果である動作結果情報が前記外部機器から前記入力手段を介して入力されたときに、前記動作結果情報を参照して、前記学習手段により前記アルゴリズムに基づく学習を行わせ、当該学習により得られた学習結果を前記第１の暗号化手段により暗号化し、当該暗号化された前記学習結果を前記第１の記憶手段に書込み、前記第１の記憶手段に記憶されている学習結果を更新することを特徴とする情報処理装置。
4. 請求項１から請求項３までのいずれか１項に記載の情報処理装置において、
   前記入力手段に入力される前記第１の情報は暗号化されており、暗号化された当該第１の情報を復号する第２の復号手段を備え、
   前記制御手段は、前記学習結果を参照して、前記第２の復号手段により復号された前記第１の情報に基づき、前記外部機器における次の動作を決定する動作情報を第２の情報として生成することを特徴とする情報処理装置。
5. 請求項３に記載の情報処理装置において、
   前記入力手段により入力された前記第１の情報には、所定の時刻における環境情報が含まれており、
   前記学習手段は、動的な環境に適したアルゴリズムと、静的な環境に適したアルゴリズムとを有しており、前記環境情報に基づいて、静的な環境であるか又は動的な環境であるかを判断し、当該判断の結果に基づいて最適となるアルゴリズムを選択し、選択したアルゴリズムに基づいて学習を行うことを特徴とする情報処理装置。
6. 収束性を有する所定の学習用のアルゴリズムに基づいて学習された学習結果を暗号化する暗号化工程と、
   前記暗号化工程により暗号化された前記学習結果を記憶部に記憶する記憶工程と、
   前記記憶部に記憶されている暗号化された前記学習結果を復号する復号工程と、
   外部機器により生成された第１の情報が入力される入力工程と、
   前記入力工程により前記第１の情報が入力されたときに、前記記憶部に記憶されている暗号化された前記学習結果を読み出し、当該読み出した暗号化されている前記学習結果を前記復号工程により復号し、当該復号された前記学習結果を参照して、前記第１の情報に基づき、前記外部機器における次の動作を決定する動作情報を第２の情報として生成し、前記第２の情報としての前記動作情報を前記外部機器に出力する制御工程と、を有することを特徴とする情報処理方法。
7. コンピュータに、
   収束性を有する所定の学習用のアルゴリズムに基づいて学習された学習結果を暗号化する暗号化工程と、
   前記暗号化工程により暗号化された前記学習結果を記憶部に記憶する記憶工程と、
   前記記憶部に記憶されている暗号化された前記学習結果を復号する復号工程と、
   外部機器により生成された第１の情報が入力される入力工程と、
   前記入力工程により前記第１の情報が入力されたときに、前記記憶部に記憶されている暗号化された前記学習結果を読み出し、当該読み出した暗号化されている前記学習結果を前記復号工程により復号し、当該復号された前記学習結果を参照して、前記第１の情報に基づき、前記外部機器における次の動作を決定する動作情報を第２の情報として生成し、前記第２の情報としての前記動作情報を前記外部機器に出力する制御工程と、
   を実行させるための情報処理プログラム。
8. 情報処理装置と外部機器とを備えて所定の情報の処理を実行する情報処理システムにおいて、
   前記情報処理装置は、
   収束性を有する所定の学習用のアルゴリズムに基づいて学習された学習結果を暗号化する第１の暗号化手段と、
   前記第１の暗号化手段により暗号化された前記学習結果を記憶する第１の記憶手段と、
   前記第１の記憶手段に記憶されている暗号化された前記学習結果を復号する第１の復号手段と、
   外部機器により生成された第１の情報が入力される入力手段と、
   前記外部機器に第２の情報を出力する第１の出力手段と、
   前記入力手段に前記第１の情報が入力されたときに、前記第１の記憶手段に記憶されている暗号化された前記学習結果を読み出し、当該読み出した暗号化されている前記学習結果を前記第１の復号手段により復号し、当該復号された前記学習結果を参照して、前記第１の情報に基づき、前記外部機器における次の動作を決定する動作情報を第２の情報として生成し、前記第２の情報としての前記動作情報を前記第１の出力手段を介して前記外部機器に出力する制御手段と、を備え、
   前記外部機器は、
   前記第１の情報を生成する情報生成手段と、
   前記第１の情報を前記入力手段に出力する第２の出力手段と、
   前記第２の情報としての前記動作情報に基づいて動作を制御する動作制御手段と、を備えることを特徴とする情報処理システム。

Images