JP6612306B2 - 情報処理装置及び情報処理プログラム - Google Patents

Description

本発明は、情報処理装置及び情報処理プログラムに関し、特に、電子ゲームを提供する情報処理装置及び情報処理プログラムに関する。

従来、電子ゲームを提供する情報処理装置が知られている。このような情報処理装置によって提供される電子ゲームとしては、キャラクタやカードといった複数のオブジェクト（ゲーム内オブジェクト）を使用する電子ゲームが知られている。その一例として、プレイヤが複数のオブジェクトを使用しながら、コンピュータあるいは他のプレイヤである対戦相手と戦う対戦ゲームがある。

一方、近年、機械学習の研究が盛んに行われている。例えば、多層のニューラルネットワークを用いたディープラーニングに関する研究が行われている。このようなディープラーニングを用いて、電子ゲームをプレイする人工知能（ＡＩ；Artificial Intelligence）エージェントを学習させ、従来よりも高い性能を有する（すなわちゲームが「うまい」）ＡＩエージェントが実現されている。例えば、非特許文献１には、囲碁をプレイするＡＩエージェントに適用されたディープニューラルネットワークに関する技術が開示されている。

David Silver, et al, "Mastering the Game of Go with Deep Neural Networks and Tree Search"Nature 529,484-489,(28 January 2016)

囲碁や将棋などの電子ゲームにおいては、使用することができるオブジェクトの種類が限られている。例えば、囲碁においては、オブジェクトの種類としては白石と黒石のみであり、将棋においても、オブジェクトの種類としては、王、龍、飛、馬、角などといった限られた種類があるだけである。電子ゲームをプレイするＡＩエージェントを学習させるにあたり、当該電子ゲームで使用されるオブジェクトを識別した上で学習する必要がある。囲碁や将棋の場合、上述のように、使用されるオブジェクトの種類が少ないために、one hot vectorなどの手法により、各オブジェクトに対して個別にラベル付けすることで識別を行っても特段の問題を生じることがなかった。

しかしながら、例えば千数百あるいはそれ以上の数といったような多数のオブジェクトが使用される電子ゲームをプレイするＡＩエージェントを学習させる場合、各オブジェクトに対して個別にラベル付けを行うと、オブジェクトを表現するベクトルが膨大な数の次元を有することとなってしまう。これにより、ＡＩエージェントにおけるゲームプレイのための処理、あるいはＡＩエージェントの学習処理が煩雑になってしまうという問題が生じ得る。

また、多数のオブジェクトの中には、特徴（例えば使用したときのゲーム上の効果）が似ているオブジェクトが存在する場合がある。ＡＩエージェントの学習を行う際に、特徴が似ているオブジェクトについては同様に学習すれば足りる場合がある。換言すれば、特徴が似ているオブジェクトは互いに識別する必要性が少ないため、特徴が似ているオブジェクトを識別して学習することが非効率となる場合がある。

本発明の目的は、複数のオブジェクトを使用する電子ゲームをプレイする人工知能エージェントをより効率的に学習することにある。

本発明は、電子ゲームのゲーム状況に応じて当該電子ゲーム上の効果が変動する複数のオブジェクトであって、前記電子ゲームのゲーム状況に関する条件である効果発動条件を満たした場合に、前記効果発動条件を満たさない場合とは異なる前記電子ゲーム上の効果を発動する複数のオブジェクトを使用する電子ゲームに関するプレイヤのゲーム進行履歴を示し、前記複数のオブジェクトの使用結果を含むゲームログに基づいて、各前記オブジェクトの戦略上の特徴を表す特徴ベクトルを学習する表現学習部と、前記ゲームログと、前記表現学習部が学習した各前記オブジェクトの前記特徴ベクトルとを少なくとも用いて、前記電子ゲームをプレイする人工知能エージェントに、前記複数のオブジェクトの使用に関する戦略を学習させる戦略学習部と、を備えることを特徴とする情報処理装置である。

望ましくは、前記戦略学習部は、前記ゲームログに基づいて前記人工知能エージェントに対して教師あり学習を行う教師あり学習部、及び、前記人工知能エージェントに対して強化学習を行う強化学習部の少なくとも一方を含む、ことを特徴とする。

望ましくは、学習済みの前記人工知能エージェントを用いた前記電子ゲームのゲーム進行履歴を示し、前記複数のオブジェクトの使用結果を含むＡＩログに基づいて、前記オブジェクトの使用結果に関する統計データを生成する統計データ生成部と、前記統計データを表示部に表示させる表示制御部と、をさらに備えることを特徴とする。

望ましくは、前記人工知能エージェントを用いた前記電子ゲームの対戦においては、一般プレイヤが使用できない開発中オブジェクトが使用され、前記ＡＩログには、前記開発中オブジェクトの使用結果が含まれ、前記統計データ生成部は、前記開発中オブジェクトの使用結果に関する統計データを生成する、ことを特徴とする。

望ましくは、前記ＡＩログには、学習済みの前記人工知能エージェント同士による前記電子ゲームのゲーム進行履歴及び前記複数のオブジェクトの使用結果が含まれる、ことを特徴とする。

望ましくは、前記統計データは、前記オブジェクトを使用した場合における勝率、前記オブジェクトを使用した場合における前記オブジェクトが発動し得る特殊効果の発動確率、及び、前記オブジェクトを使用した場合に生じた効果の分布、の少なくとも１つを含む、ことを特徴とする。

また、本発明は、コンピュータを、電子ゲームのゲーム状況に応じて当該電子ゲーム上の効果が変動する複数のオブジェクトであって、前記電子ゲームのゲーム状況に関する条件である効果発動条件を満たした場合に、前記効果発動条件を満たさない場合とは異なる前記電子ゲーム上の効果を発動する複数のオブジェクトを使用する電子ゲームに関するプレイヤのゲーム進行履歴を示し、前記複数のオブジェクトの使用結果を含むゲームログに基づいて、各前記オブジェクトの戦略上の特徴を表す特徴ベクトルを学習する表現学習部と、前記ゲームログと、前記表現学習部が学習した各前記オブジェクトの前記特徴ベクトルとを少なくとも用いて、前記電子ゲームをプレイする人工知能エージェントに、前記複数のオブジェクトの使用に関する戦略を学習させる戦略学習部と、として機能させることを特徴とする情報処理プログラムである。

本発明によれば、複数のオブジェクトを使用する電子ゲームをプレイする人工知能エージェントをより効率的に学習することができる。

本実施形態に係るゲームシステムの構成概略図である。 本実施形態に係るゲームシステムが提供するゲームのゲーム画面の例を示す図である。 プランナ端末の構成概略図である。 プレイヤ端末の構成概略図である。 ゲームサーバの構成概略図である。 キャラクタＤＢの内容例を示す図である。 プレイヤログＤＢの内容例を示す図である。 複数の統計データの表示例を示す図である。 本実施形態に係るゲームサーバの処理の流れを示すフローチャートである。

以下、本発明の実施形態について説明する。

図１に、本実施形態に係るゲームシステム１０の構成概略図が示されている。ゲームシステム１０は、ゲームシステム１０により提供される電子ゲーム（以下単に「本ゲーム」と記載する）の開発者、より詳しくは、本ゲームで使用されるオブジェクトの作成者であるプランナが使用するプランナ端末１２、本ゲームのプレイヤが使用するプレイヤ端末１４、及び、情報処理装置としてのゲームサーバ１６を含んで構成されている。プランナ端末１２とゲームサーバ１６との間、及び、プレイヤ端末１４とゲームサーバ１６との間は、通信回線１８を介して互いに通信可能に接続されている。通信回線１８は、例えばインターネットあるいはローカルエリアネットワーク（ＬＡＮ）などによって構成される。なお、図１には、プランナ端末１２及びプレイヤ端末１４がそれぞれ１つずつ示されているが、これらはそれぞれ複数設けられてよい。

ゲームシステム１０においては、プランナがプランナ端末１２を用いてゲームサーバ１６にアクセスすることで、オブジェクトの作成を含む本ゲームの開発を行うことができる。そして、プレイヤ端末１４から送信される本ゲームの提供要求に応じて、ゲームサーバ１６が各種ゲーム情報をプレイヤ端末１４に送信することで本ゲームが提供される。

ここで、本ゲームの内容について説明する。図２に、プレイヤ端末１４に表示されるゲーム画面の例が示されている。本ゲームは、複数のオブジェクトとしての複数のキャラクタを使用して、敵プレイヤと対戦を行うものである。敵プレイヤとしては、自プレイヤ以外の他のプレイヤであってもよいし、コンピュータ（ゲームサーバ１６）であってもよい。具体的には、ゲームフィールドとしての、複数のマスが定義された盤２０上に、オセロ（登録商標）の要領で自プレイヤと敵プレイヤとが交互にキャラクタを配置していくものである。図２においては、各マスの行が数字「１」〜「６」で、列が英字「Ａ」〜「Ｆ」で示されている。

盤２０上の白丸は自プレイヤの石（白石）を示し、黒丸は敵プレイヤの石（黒石）を示す。そして、盤２０上の白丸の中にキャラクタ名（例えば「Ｃ００５５」）が記載されたものは自プレイヤのキャラクタ（自キャラクタ）を示し、黒丸の中にキャラクタ名が記載されたものは敵プレイヤのキャラクタ（敵キャラクタ）を示す。２つの自キャラクタ、又は、１つの白石と１つの自キャラクタで、敵キャラクタあるいは黒石を挟み込むと、敵キャラクタあるいは黒石を白石に変化させる（ひっくり返す）ことができる。また、２つの敵キャラクタ、又は、１つの黒石と１つの敵キャラクタで、自キャラクタあるいは白石が挟み込まれると、自キャラクタあるいは白石が黒石に変化させられる。なお、通常のオセロ同様、ゲーム開始時において、盤２０の中央部４つのマスには白石と黒石が２つずつ置かれていてよい。すなわち、３Ｃのマス及び４Ｄのマスには白石が、３Ｄのマス及び４Ｃのマスには黒石が置かれていてよい。

プレイヤは、本ゲーム内において定義された複数のキャラクタであって、当該プレイヤが取得した（本ゲーム内で使用可能となった）キャラクタの中から複数のキャラクタを選択する。例えば、本実施形態では１６個のキャラクタを選択する。プレイヤによって選択された１６個のキャラクタ群をデッキと呼ぶ。プレイヤは、ゲームの進行に応じて、あるいは、課金することによって新たなキャラクタを取得することができる。図２に示すように、デッキの中から選択された４つのキャラクタが画面に表示される。当該４つのキャラクタを手駒２２と呼ぶ。なお、手駒２２は、ゲームサーバ１６によってデッキの中からランダムに選択されてもよいし、プレイヤがデッキの中から選択可能となっていてもよい。ユーザは、４つの手駒２２の中から任意のキャラクタを選択し、選択したキャラクタを盤２０上のマスに配置する。手駒２２の中から１つのキャラクタが盤２０上に配置されると、デッキの中から選択された１つのキャラクタが新たに手駒２２に加えられる。

詳細は後述するが、各キャラクタには複数のパラメータが設定されている。例えば、攻撃力、スキル効果、スキル発動条件といったパラメータが設定されている。キャラクタが盤２０上に配置されると、当該キャラクタの攻撃力に応じたダメージを対戦相手に与えることができる。あるいは、当該キャラクタのスキル発動条件が満たされると、当該キャラクタが有する特殊効果としてのスキル（技）が実行され、スキル効果（あるいはスキル効果及び攻撃力）に応じたゲーム上の効果が発動される。

自プレイヤ及び敵プレイヤにはそれぞれＨＰ（ヒットポイント）が設定されている。図２においては、自プレイヤの最大ＨＰが２５０であり、現在のＨＰが１８０であることが示されている。キャラクタが盤２０上に配置されたことや、スキルを実行することなどによって対戦相手のＨＰを減らすことができる。また、キャラクタのスキルによってＨＰが回復できるようになっていてもよい。そして、先にＨＰが０になった方が負けであり、他方が勝ちとなる。

このように、ゲームシステム１０により提供されるゲームは、プレイヤが複数のキャラクタを使用しながら対戦相手と対戦を行うゲームである。

図３には、プランナ端末１２の構成概略図が示されている。プランナ端末１２は、例えば一般的なコンピュータであってよい。

制御部１２ａは、例えばＣＰＵ（Central Processing Unit）あるいはマイクロコンピュータなどを含んで構成され、後述の記憶部１２ｅに記憶されたプログラムに従ってプランナ端末１２の各部を制御するものである。

通信部１２ｂは、例えばネットワークアダプタなどを含んで構成され、通信回線１８を介してゲームサーバ１６と通信する機能を有するものである。

入力部１２ｃは、例えばマウス、キーボード、あるいはタッチパネルなどを含んで構成される。入力部１２ｃは、プランナの指示をプランナ端末１２に入力するためのものである。

表示部１２ｄは、例えば液晶ディスプレイなどを含んで構成され、各種画面を表示するものである。特に、表示部１２ｄには、ゲームの開発画面などが表示される。

記憶部１２ｅは、例えばハードディスク、ＲＡＭ（Random Access Memory）、あるいはＲＯＭ（Read Only Memory）などを含んで構成される。記憶部１２ｅには、プランナ端末１２の各部を動作させるためのプログラムが記憶される。あるいは、記憶部１２ｅには、各種の制御データあるいは各種の処理結果データなどが記憶される。

図４には、プレイヤ端末１４の構成概略図が示されている。本実施形態においては、プレイヤ端末１４としてはスマートフォンやタブレット端末といった携帯型の端末が用いられるが、プレイヤ端末１４は据え置き型のコンピュータであってもよい。

制御部１４ａは、例えばＣＰＵあるいはマイクロコンピュータなどを含んで構成され、後述の記憶部１４ｅに記憶されたゲームのクライアントプログラムに従ってプレイヤ端末１４の各部を制御するものである。

通信部１４ｂは、例えばネットワークアダプタなどを含んで構成され、通信回線１８を介してゲームサーバ１６と通信する機能を有するものである。

入力部１４ｃは、例えばタッチパネルあるいはボタンなどを含んで構成される。入力部１４ｃは、プレイヤの指示をプレイヤ端末１４に入力するためのものである。

表示部１４ｄは、例えば液晶ディスプレイなどを含んで構成され、各種画面を表示する者である。特に、表示部１４ｄにはゲーム画面などが表示される。

記憶部１４ｅは、例えばＲＡＭあるいはＲＯＭなどを含んで構成される。記憶部１４ｅには、ゲームのクライアントプログラムが記憶される。あるいは、記憶部１４ｅには、各種の制御データあるいは各種のゲーム処理結果データなどが記憶される。

図５には、ゲームサーバ１６の構成概略図が示されている。

通信部３０は、例えばネットワークアダプタなどを含んで構成され、通信回線１８を介してプランナ端末１２及びプレイヤ端末１４と通信する機能を有するものである。

記憶部３２は、例えばハードディスク、ＲＡＭ、あるいはＲＯＭなどを含んで構成される。記憶部３２には、情報処理プログラムとしての、ゲームのホストプログラムが記憶される。当該ホストプログラムが実行されることで、ゲームが進行すると共に、ゲームサーバ１６の各部が動作する。また、図５に示される通り、記憶部３２には、キャラクタＤＢ３４、プレイヤログＤＢ３６、分散表現ＤＢ３８、ＡＩログＤＢ４０、ＡＩエージェント４２、及び、複数の統計データ４４ａからなる統計データ群４４が記憶される。

キャラクタＤＢ３４は、本ゲームにおいて（すなわちホストプログラムによって）定義され、本ゲーム内で自プレイヤあるいは敵プレイヤが使用可能なキャラクタに関するデータが格納されたデータベースである。具体的には、キャラクタＤＢ３４には、各キャラクタに設定された各パラメータが格納されている。なお、本ゲームにおいては、千数百のキャラクタを使用することが可能となっており、また、新規キャラクタが逐次追加されていく仕様になっている。

図６に、キャラクタＤＢ３４の内容例が示されている。図６においては、キャラクタＤＢ３４がテーブル形式で示されているが、キャラクタＤＢ３４のデータ形式はこれに限られるものではない。図６においては、１つのレコードが１つのキャラクタに対応している。本実施形態では、各キャラクタは、キャラクタ名、当該キャラクタの特徴を示す属性、当該キャラクタの入手困難度を示すレア度、当該キャラクタが盤２０上に配置されたときに対戦相手に与えるダメージの基準となる攻撃力、スキル名、当該キャラクタのスキルが発動する条件を示すスキル発動条件、及び、スキルが発動したときの効果であるスキル効果のパラメータを有している。なお、スキル効果の欄にある「通常攻撃」とは、キャラクタが盤２０上に配置され、スキルを発動せずに攻撃力の値に基づいて対戦相手にダメージを与えることを意味する。

これらのパラメータはプランナによって定義される。もちろん、パラメータの項目としては、これらに限られず、各キャラクタは、その他の項目に対するパラメータを有していてもよい。

図６に示すように、本実施形態においては、各キャラクタのスキル発動条件が、例えば「ＨＰが最大ＨＰの５％以下」あるいは「盤上に属性がＰ１の自キャラクタが３つ以上」といったように、ゲーム状況に関する条件で規定されている。したがって、プランナとしては、スキル効果あるいは攻撃力を適切に設定することが難しくなっている。仮に、スキル発動条件が単純に確率として数値で与えられているならば、プランナとしては、スキル発動の確率（数値）に基づいて、適切なスキル効果あるいは攻撃力を設定することが比較的容易となる。しかしながら、スキル発動条件がゲーム状況に関する条件で規定されている場合、そのキャラクタのスキルの発動確率を把握することが容易でなく、これが新規キャラクタのスキル効果あるいは攻撃力を適切に設定することを難しくしている。

また、プレイヤとしても、各キャラクタのスキル発動条件がゲーム状況に関する条件で規定されているために、デッキに入れるキャラクタを適切に選択することが難しくなっている。すなわち、プレイヤとしても、キャラクタのスキル発動条件を見ても、当該キャラクタがどの程度の確率でスキルを発動するのかを把握することが容易でないからである。

図５に戻り、プレイヤログＤＢ３６、分散表現ＤＢ３８、及びＡＩログＤＢ４０には、それぞれ各種データが格納される。これらのデータベースに格納されるデータの詳細については後述する。

ＡＩエージェント４２は、本ゲームをプレイする人工知能プログラムである。ＡＩエージェント４２は、後述のディープラーニングを用いた方法によって学習される。ＡＩエージェント４２の学習手法の詳細については後述する。本実施形態におけるＡＩエージェント４２は、多層ニューラルネットワークを含んで構成される。多層ニューラルネットワークは、各種パラメータ（層構造、各層におけるニューロン構造、各ニューロンの重みあるいはバイアスなど）により定義されるため、記憶部３２は、これらのパラメータが記憶される。

統計データ４４ａは、キャラクタの使用結果に関する統計データである。本実施形態においては、統計データ４４ａはキャラクタ毎に生成され、各キャラクタに対応した複数の統計データ４４ａが統計データ群４４である。なお、統計データ４４ａは、後述の統計データ生成部６４により生成されるものであり、その詳細については後述する。

制御部５０は、例えばＣＰＵ、ＧＰＵ（Graphics Processing Unit）あるいはマイクロコンピュータなどを含んで構成され、記憶部３２に記憶されたゲームのホストプログラムに従ってゲームサーバ１６の各部を制御する。また、図５に示される通り、制御部５０は、ホストプログラムによって、プレイヤログ収集部５２、表現学習部５４、教師あり学習部５６、ＡＩ対戦処理部５８、強化学習部６０、ＡＩログ収集部６２、統計データ生成部６４、及び、表示制御部６６としても機能する。以下、制御部５０が有するこれらの機能について説明する。

プレイヤログ収集部５２は、本ゲームに関するプレイヤのゲーム進行履歴を示すデータであるプレイヤログを取得して、プレイヤログＤＢ３６に格納する。プレイヤログ収集部５２は、プレイヤによるゲームプレイが終了した時、あるいはゲームプレイ中にプレイヤログを取得する。ちなみに、ここでいうプレイヤには、本ゲームの開発者も含まれていてよく、プレイヤログ収集部５２は、開発者によるテストプレイに関するログを取得するようにしてもよい。いずれにしても、プレイヤログは、人間による実際のゲームプレイに関するログである。

図７に、プレイヤログＤＢ３６の内容例が示されている。図７においては、プレイヤログＤＢ３６もテーブル形式で示されているが、プレイヤログＤＢ３６のデータ形式はこれに限られるものではない。上述の通り、本ゲームは第１プレイヤと第２プレイヤとが交互にキャラクタを盤２０上に配置していくものであるから、プレイヤログＤＢ３６には、「ターン数」、当該ターンで第１プレイヤ又は第２プレイヤが盤２０上に配置したキャラクタを示す「配置キャラクタ」、当該ターンで当該キャラクタが配置された場所を示す「配置場所」、当該ターンで相手の石又は敵キャラクタをひっくり返した枚数を示す「ひっくり返した枚数」、当該ターンで配置されたキャラクタのスキルが発動したか否かを示す「スキル発動」、及び、当該スキル発動により生じた効果（例えばダメージ量）示す「スキル効果値」の項目を含む。もちろん、図７に示された項目は一例であり、プレイヤログにはその他の項目が含まれていてもよい。例えば、キャラクタの通常攻撃によって相手に与えた実績ダメージ量などの項目が含まれていてもよい。

このように、プレイヤログには、第１プレイヤあるいは第２プレイヤが各キャラクタを用いた（つまり盤２０上に置いた）場合における使用結果（「ひっくり返した枚数」、「スキル発動」、あるいは「スキル効果値」）が含まれている。

表現学習部５４は、プレイヤログＤＢ３６に格納された、ゲームログとしてのプレイヤログに基づいて、表現学習を行う。これにより、キャラクタＤＢ３４に登録された各キャラクタの特徴を表す特徴ベクトルを学習する。すなわち、表現学習部５４は、本ゲームで用いられる各キャラクタの分散表現を学習する。表現学習部５４により学習された各キャラクタの特徴ベクトル（分散表現）は、分散表現ＤＢ３８に格納される。また、表現学習部５４は、プレイヤログに代えて、あるいはプレイヤログと併せて、後述するＡＩ対戦処理部５８によるＡＩエージェント４２によるゲーム進行履歴を示す、ゲームログとしてのＡＩログを用いて表現学習を行ってもよい。

本実施形態に係る特徴ベクトルは、例えば５次元のベクトルであり、各要素は本ゲームにおける戦略上の特徴（例えば、「角に置きたい」、「序盤に使いたい」など）を示すものであると考えられる。

表現学習部５４は、例えばニューラルネットワークから構成される表現学習用の学習器を用いて表現学習を行う。具体的には、プレイヤログのうち、あるキャラクタが使用される前のゲーム状態（盤２０上の石あるいはキャラクタの配置状態など）と、当該キャラクタが使用された結果（次状態）とに基づいて、当該キャラクタの特徴ベクトルの各要素の値を学習していく。

このように、各キャラクタを分散表現することで、多数のキャラクタをより低次元のベクトルで表現することが可能となる。また、本ゲームにおける戦略上の特徴が似ているキャラクタが、似た特徴ベクトルで表現されることになる。なお、表現学習の方法としては、様々な既知の学習方法を用いることができる。

教師あり学習部５６は、プレイヤログＤＢ３６に格納されたプレイヤログと、表現学習部５４が学習した各キャラクタの特徴ベクトルとを少なくとも用いて、ＡＩエージェント４２に各キャラクタの使用に関する戦略を学習させる。各キャラクタの使用に関する戦略とは、あるゲーム状態において、どのような特徴を有するキャラクタを使用すべきか、あるいは、キャラクタを盤２０上のどの位置に配置すべきかなどを含む戦略である。

具体的には、教師あり学習部５６は、あるゲーム時点における盤面上あるいは手駒内に存在するキャラクタの特徴ベクトル、配置位置、ターン数、行動可能手、ヒットポイントといったゲーム状態、及び行動情報（特定のキャラクタをあるマスに配置すること）などを入力とし、入力されたゲーム状態における入力された行動情報の評価値を出力とした学習データを用いてＡＩエージェント４２を学習させる。なお、当該評価値は、プレイヤログに基づいて予め算出される。すなわち、教師あり学習部５６は教師あり学習によってＡＩエージェント４２を学習させる。

教師あり学習部５６における学習においては、各キャラクタが特徴ベクトルで表現した上で学習を行うから、各キャラクタを個別にラベル付けした場合に比して、学習における演算量を低下させることができる。また、特徴が似ているキャラクタは、似た特徴ベクトルで表現されているから、あるキャラクタに関する学習が、当該キャラクタに似たキャラクタに関する学習をすることになる。つまり、学習の汎化の効果が期待できる。

ＡＩ対戦処理部５８は、教師あり学習部５６によって学習された、あるいは、後述の強化学習部６０によってさらに学習されたＡＩエージェント４２同士を本ゲームで対戦させる処理を行う。ＡＩエージェント４２同士の対戦においては、デッキに入れるキャラクタの選択からＡＩエージェント４２に任せてもよい。また、ＡＩ対戦処理部５８は、プレイヤログＤＢ３６に格納されたプレイヤログから、ユーザによって高頻度で使用されているデッキであるトレンドデッキを抽出し、当該トレンドデッキをＡＩエージェント４２に使用させるようにしてもよい。

また、ＡＩ対戦処理部５８は、対戦する２つのＡＩエージェント４２の少なくとも一方のデッキに、リリース前、すなわち一般プレイヤが未だ使用できない開発中キャラクタを含めるようにしてもよい。

強化学習部６０は、ＡＩエージェント４２を強化するための学習である強化学習を行う。強化学習とは、教師あり学習とは異なる手法であり、強化学習としては例えばＱ学習などを用いることができる。具体的には、強化学習においては、あるゲーム状態からのＡＩエージェント４２が選択した一連の行動の結果（例えば勝ちあるいは負け）に基づいてＡＩエージェント４２に報酬が与えられ、ＡＩエージェント４２は、当該報酬に基づいて取るべき行動を学習する。

本実施形態においては、強化学習部６０は、強化学習において、ＡＩ対戦処理部５８によるＡＩエージェント４２同士の対戦結果に基づいて学習を行う。なお、強化学習部６０は、プレイヤログＤＢ３６に格納されたプレイヤログに基づいて強化学習を行うようにしてもよい。また、強化学習部６０は、強化学習において、ＡＩエージェント４２とＮＰＣ（Non Player Character；ＡＩエージェント４２ではないルールベースのＡＩ）との対戦結果、あるいはＡＩエージェント４２と人間のプレイヤとの対戦結果に基づいて学習を行うようにしてもよい。

本ゲームにおいては、ゲーム状態によってＡＩエージェント４２が取り得る行動が異なる。例えば、盤２０の状態によってキャラクタを配置できる位置が異なるし、手駒２２の種類によってそもそも使用できるキャラクタが異なる。したがって、本実施形態においては、あるゲーム状態とＡＩエージェント４２が取る行動を両方入力とし、入力された行動の価値を示す指標を出力するという方法で強化学習を行う。

なお、強化学習においても、表現学習部５４が学習した各キャラクタの特徴ベクトルを用いながら学習するのが好適である。これにより、教師あり学習部５６における効果と同様の効果を強化学習においても得ることができる。

本実施形態においては、教師あり学習部５６及び強化学習部６０の少なくとも一方が戦略学習部に相当する。すなわち、各キャラクタの使用に関する戦略をＡＩエージェント４２に学習させる戦略学習は、教師あり学習と強化学習のどちらか一方又は両方である。

ＡＩログ収集部６２は、ＡＩ対戦処理部５８によるＡＩエージェント４２同士による本ゲームのゲーム進行履歴を示し、複数のキャラクタの使用結果を含むデータであるＡＩログを取得して、ＡＩログＤＢ４０に格納する。ＡＩログはプレイヤログと同等の項目を有するため、ここではＡＩログの詳細な説明は省略する。プレイヤログとＡＩログとの差異は、プレイヤによるゲーム進行の履歴を示すものであるか、ＡＩエージェント４２によるゲーム進行の履歴を示すものであるかのみである。なお、ＡＩログ収集部６２は、ＡＩエージェント４２同士の対戦によるログのみならず、ＡＩエージェント４２とＮＰＣとの対戦によるログをＡＩログとして取得するようにしてもよい。

ＡＩ対戦処理部５８が、ＡＩエージェント４２のデッキに開発中キャラクタを含ませた場合には、ＡＩログ収集部６２は、開発中キャラクタの使用結果を含むＡＩログを取得することができる。このように、ＡＩエージェント４２同士の対戦によれば、開発中キャラクタのリリースに先立って、開発中キャラクタが実際に本ゲームで使用された場合のログを取得することが可能となる。

統計データ生成部６４は、ＡＩログＤＢ４０に格納されたＡＩログに基づいて、統計データ４４ａを生成する。上述の通り、統計データ４４ａは、各キャラクタに応じて生成されるものであり、各キャラクタの使用結果に関するものである。もちろん、ＡＩログが開発中キャラクタの使用結果を含む場合には、統計データ生成部６４は、開発中キャラクタの使用結果に関する統計データ４４ａを生成する。以下の統計データ４４ａに関する説明において、「キャラクタ」の用語は原則として開発中キャラクタも含むものである。

例えば、統計データ４４ａは、キャラクタを使用した場合における勝率を含んでいてよい。この場合、統計データ生成部６４は、ＡＩログの中から、注目キャラクタと、注目キャラクタが使用された場合に使用したＡＩエージェント４２が勝ったか否かを抽出して、注目キャラクタに関する勝率を算出する。

また、統計データ４４ａは、キャラクタを使用した場合におけるスキルの発動確率を含んでいてよい。この場合、統計データ生成部６４は、ＡＩログの中から、注目キャラクタと、注目キャラクタが使用された場合にスキルが発動されたか否かを抽出して、注目キャラクタに関するスキル発動確率を算出する。

また、統計データ４４ａは、キャラクタを使用した場合に生じた効果の分布を含んでいてよい。この場合、統計データ生成部６４は、ＡＩログの中から、注目キャラクタと、注目キャラクタがスキルを発動した場合におけるスキル効果値を抽出して、注目キャラクタに関するスキル効果値の分布を算出する。あるいは、キャラクタを使用した場合に生じた効果には、キャラクタが通常攻撃をした場合に相手に与えたダメージ量が含まれていてもよく、すなわち、統計データ生成部６４は、ＡＩログの中から、注目キャラクタと、注目キャラクタの通常攻撃により相手に与えたダメージを抽出して、注目キャラクタの通常攻撃のダメージの分布を算出する。

以上の通り、本実施形態においては、統計データ４４ａは、キャラクタを使用した場合における勝率、キャラクタを使用した場合におけるスキルの発動確率、及び、キャラクタを使用した場合に生じた効果の分布の少なくとも１つを含むものである。もちろん、統計データ４４ａにはその他のデータが含まれていてもよい。

統計データ生成部６４は、上述の処理によって、キャラクタＤＢ３４に登録された複数のキャラクタ、理想的には、全てのキャラクタについての統計データ４４ａを生成する。これにより統計データ群４４が形成される。

表示制御部６６は、プランナ端末１２からの（すなわちプランナからの）要求に従って、統計データ生成部６４が生成した統計データ４４ａをプランナ端末１２の表示部１２ｄに表示させる。また、表示制御部６６は、プレイヤ端末１４からの（すなわちプレイヤからの）要求に従って、統計データ生成部６４が生成した統計データ４４ａをプレイヤ端末１４の表示部１４ｄに表示させる。なお、表示制御部６６は、開発中キャラクタに関する統計データ４４ａはプレイヤ端末１４の表示部１４ｄには表示させないものとする。

図８に、本実施形態における複数の統計データ４４ａの表示例が示されている。統計データ群４４のうち、表示対象となる統計データ４４ａは、プランナあるいはプレイヤの指示に応じて選択されてよい。例えば、プランナあるいはプレイヤにより指示されたパラメータ項目（レア度、属性、スキル発動条件、スキル効果、スキルの種類など）について共通のパラメータを有する複数のキャラクタのスキルに関する複数の統計データ４４ａを表示することができる。例えば、図８には、統計データ群４４のうち、レア度が「Ｓ」のキャラクタであって、ダメージスキルを有するキャラクタについての複数の統計データ４４ａが表示された状態が示されている。好適には、これら複数の統計データ４４ａが比較可能に表示される。例えば、図８のように、複数の統計データ４４ａが並べられて表示される。なお、プランナあるいはプレイヤにより選択された単一の統計データ４４ａが表示されるようにしてもよい。本明細書では、プランナ端末１２又はプレイヤ端末１４に表示された複数の統計データ４４ａをまとめて統計グラフ７０と呼ぶ。

本実施形態においては、統計グラフ７０ａは文字通りグラフ形式で表示される。統計グラフ７０ａの横軸にはキャラクタ名が並べられている。図８の例では、一番左に配置されたキャラクタのスキル発動確率が最も高く、左から右へ行くにつれてスキル発動確率が低くなるように、複数のキャラクタが並べられている。

統計グラフ７０ａの縦軸は、スキル効果値及びスキル発動確率を示すものとなっている。具体的には、左側の縦軸がスキル効果値を示し、右側の縦軸がスキル発動確率を示す。図８の表示例では、各キャラクタのスキル効果値の分布は、箱髭図で表されている。具体的には、髭の下限がスキル効果値の５パーセンタイル（ダメージの分布を降順に並べたときの下から５％の効果値）を表し、箱の下限がスキル効果値の２５パーセンタイルを表し、箱内の横線がスキル効果値の中央値を表し、箱の上限がスキル効果値の７５パーセンタイルを表し、髭の上限がスキル効果値の９５パーセンタイルを表す。

一方、スキル発動確率については、各キャラクタに対してグラフ上に点がプロットされる。図８の例においては、複数のキャラクタに対する各スキル発動確率の点が結ばれてスキル発動確率グラフが形成されている。上述のように、図８の例では、スキル発動確率の順にキャラクタが並べられているから、スキル発動確率グラフが右へ行くにつれて低いスキル発動確率を示すことが把握できる。

図８に示された統計グラフ７０ａに含まれる各キャラクタは同じレア度であるから、同等の価値を有しているのが望ましい。したがって、スキル発動確率とスキル効果値との観点から見ると、これらのキャラクタについては、スキル発動確率が高い程スキル効果値を小さく、スキル発動確率が低い程スキル効果値を大きくすべきである。逆に言えば、スキル発動確率が高いのにスキル効果値が大きいと、強力なスキルを頻繁に発動可能なキャラクタとなってしまい、当該キャラクタは同レア度の他のキャラクタよりも大きな価値を有することになってしまう。また、スキル発動確率が低いのにスキル効果値が小さいと、スキル発動確率が低いにもかかわらず、発動したスキルの効果が貧弱となってしまい、当該キャラクタは同レア度の他のキャラクタよりも価値が小さいことになってしまう。このように、同等の価値を有するキャラクタの間で、スキル発動確率とスキル効果値のバランスが取れていないと、ゲームバランスが崩れてしまう。

図８の統計グラフ７０においては、スキル発動確率が高い程スキル効果値が小さく、スキル発動確率が低い程スキル効果値が大きくなっており、これは各キャラクタのパラメータが比較的適切に設定されていることを表していると言える。一方、例えば、スキル発動確率が高いのにスキル効果値が大きいキャラクタ、あるいは、スキル発動確率が低いのにスキル効果値が小さいキャラクタがいる場合、統計グラフ７０によれば、プランナは、そのようなキャラクタ（異常キャラクタ）が存在することを容易に把握することができる。異常キャラクタのスキル発動確率とスキル効果値のバランスが取れていないのは、異常キャラクタのパラメータのいずれかに適切でない値（異常値）が設定されているためである。したがって、統計グラフ７０は、異常キャラクタが有する異常値を検出するためのものであるといえ、プランナは、統計グラフ７０により異常値を有するキャラクタを容易に把握できるといえる。なお、異常値とは、客観的には、当該キャラクタがその価値（本実施形態では「レア度」）に相応しくない性能（強さ）を発揮する原因となる値を意味し、主観的には、当該キャラクタがプランナの意図しない性能を発揮する原因となる値を意味する。

また、統計グラフ７０は、プランナのみならずプレイヤにとっても有用である。例えば、プレイヤが本ゲームで使用するキャラクタ（すなわちデッキに入れるキャラクタ）を選択する際に、統計グラフ７０を参考にすることができる。

本実施形態に係るゲームシステム１０の概要は以上の通りである。本実施形態によれば、表現学習部５４によって各キャラクタが特徴ベクトルで表現された上で、教師あり学習部５６あるいは強化学習部６０によりＡＩエージェント４２の学習が行われる。これにより、ＡＩエージェント４２の学習をより効率的に行うことが可能となっている。具体的には、上述の通り、キャラクタを表現するベクトルの次元の圧縮による学習のための演算量の低減、及び学習の汎化が実現される。

また、本実施形態では、学習されたＡＩエージェント４２同士、あるいはＡＩエージェント４２とＮＰＣの対戦によるＡＩログに基づいて統計データ４４ａが生成される。ＡＩエージェント４２あるいはＮＰＣは、ゲームサーバ１６が稼動している限りにおいて継続して対戦可能であるから、プレイヤログに比して膨大な量のＡＩログが取得できる。これにより、統計データ４４ａの信憑性が向上される。さらに、開発中キャラクタに関してはリリースされていないが故にプレイヤログが取得できないところ、ＡＩエージェント４２を用いて対戦させることで、開発中キャラクタに関するＡＩログも取得することができ、すなわち開発中キャラクタに関する統計データ４４ａを生成することができる。これにより、プランナは、開発中キャラクタのパラメータ設定をより適切に行うことが可能となる。

以下、図９に示されたフローチャートに従って、ゲームサーバ１６の処理の流れを説明する。

ステップＳ１０において、プレイヤログ収集部５２は、プレイヤログを収集してプレイヤログＤＢ３６に格納する。

ステップＳ１２において、表現学習部５４は、ステップＳ１０で取得されたプレイヤログに基づいて、各キャラクタの特徴ベクトルを学習する。

ステップＳ１４において、教師あり学習部５６は、ステップＳ１０で取得されたプレイヤログに基づいて、ステップＳ１２で得られた各キャラクタの特徴ベクトルを用いながら、ＡＩエージェント４２に対して教師あり学習を行う。

ステップＳ１６において、ＡＩ対戦処理部は、ステップＳ１４で学習されたＡＩエージェント４２同士を本ゲームで対戦させる。強化学習部６０は、ＡＩエージェント４２同士の対戦結果に基づいて、ステップＳ１４で学習されたＡＩエージェント４２をさらに強化するための強化学習を行う。また、ＡＩログ収集部６２は、ＡＩエージェント４２同士の対戦に関するＡＩログを取得する。ＡＩエージェント４２同士の対戦は繰り返し実行され、それによりＡＩエージェント４２は強化され、また大量のＡＩログが取得される。

ステップＳ１８において、統計データ生成部６４は、ステップＳ１６で得られたＡＩログに基づいて、各キャラクタの使用結果に関する複数の統計データ４４ａを生成する。

ステップＳ２０において、表示制御部６６は、プランナ端末１２あるいはプレイヤ端末１４からの要求に応じて、ステップＳ１８で生成した統計データ４４ａをプランナ端末１２あるいはプレイヤ端末１４に表示させる。

以上、本発明に係る実施形態を説明したが、本発明は上記実施形態に限られるものではなく、本発明の趣旨を逸脱しない限りにおいて種々の変更が可能である。

１０ ゲームシステム、１２ プランナ端末、１２ａ，１４ａ，５０ 制御部、１２ｂ，１４ｂ，３０ 通信部、１２ｃ，１４ｃ 入力部、１２ｄ，１４ｄ 表示部、１２ｅ，１４ｅ，３２ 記憶部、１４ プレイヤ端末、１６ ゲームサーバ、３４ キャラクタＤＢ、３６ プレイヤログＤＢ、３８ 分散表現ＤＢ、４０ ＡＩログＤＢ、４２ ＡＩエージェント、４４ 統計データ群、４４ａ 統計データ、５２ プレイヤログ収集部、５４ 表現学習部、５６ 教師あり学習部、５８ ＡＩ対戦処理部、６０ 強化学習部、６２ ＡＩログ収集部、６４ 統計データ生成部、６６ 表示制御部、７０ 統計グラフ。

Claims (7)

1. 電子ゲームのゲーム状況に応じて当該電子ゲーム上の効果が変動する複数のオブジェクトであって、前記電子ゲームのゲーム状況に関する条件である効果発動条件を満たした場合に、前記効果発動条件を満たさない場合とは異なる前記電子ゲーム上の効果を発動する複数のオブジェクトを使用する電子ゲームに関するプレイヤのゲーム進行履歴を示し、前記複数のオブジェクトの使用結果を含むゲームログに基づいて、各前記オブジェクトの戦略上の特徴を表す特徴ベクトルを学習する表現学習部と、
   前記ゲームログと、前記表現学習部が学習した各前記オブジェクトの前記特徴ベクトルとを少なくとも用いて、前記電子ゲームをプレイする人工知能エージェントに、前記複数のオブジェクトの使用に関する戦略を学習させる戦略学習部と、
   を備えることを特徴とする情報処理装置。
2. 前記戦略学習部は、前記ゲームログに基づいて前記人工知能エージェントに対して教師あり学習を行う教師あり学習部、及び、前記人工知能エージェントに対して強化学習を行う強化学習部の少なくとも一方を含む、
   ことを特徴とする請求項１に記載の情報処理装置。
3. 学習済みの前記人工知能エージェントを用いた前記電子ゲームのゲーム進行履歴を示し、前記複数のオブジェクトの使用結果を含むＡＩログに基づいて、前記オブジェクトの使用結果に関する統計データを生成する統計データ生成部と、
   前記統計データを表示部に表示させる表示制御部と、
   をさらに備えることを特徴とする請求項１又は２に記載の情報処理装置。
4. 前記人工知能エージェントを用いた前記電子ゲームの対戦においては、一般プレイヤが使用できない開発中オブジェクトが使用され、
   前記ＡＩログには、前記開発中オブジェクトの使用結果が含まれ、
   前記統計データ生成部は、前記開発中オブジェクトの使用結果に関する統計データを生成する、
   ことを特徴とする請求項３に記載の情報処理装置。
5. 前記ＡＩログには、学習済みの前記人工知能エージェント同士による前記電子ゲームのゲーム進行履歴及び前記複数のオブジェクトの使用結果が含まれる、
   ことを特徴とする請求項３又は４に記載の情報処理装置。
6. 前記統計データは、前記オブジェクトを使用した場合における勝率、前記オブジェクトを使用した場合における前記オブジェクトが発動し得る特殊効果の発動確率、及び、前記オブジェクトを使用した場合に生じた効果の分布、の少なくとも１つを含む、
   ことを特徴とする請求項３から５のいずれか１項に記載の情報処理装置。
7. コンピュータを、
   電子ゲームのゲーム状況に応じて当該電子ゲーム上の効果が変動する複数のオブジェクトであって、前記電子ゲームのゲーム状況に関する条件である効果発動条件を満たした場合に、前記効果発動条件を満たさない場合とは異なる前記電子ゲーム上の効果を発動する複数のオブジェクトを使用する電子ゲームに関するプレイヤのゲーム進行履歴を示し、前記複数のオブジェクトの使用結果を含むゲームログに基づいて、各前記オブジェクトの戦略上の特徴を表す特徴ベクトルを学習する表現学習部と、
   前記ゲームログと、前記表現学習部が学習した各前記オブジェクトの前記特徴ベクトルとを少なくとも用いて、前記電子ゲームをプレイする人工知能エージェントに、前記複数のオブジェクトの使用に関する戦略を学習させる戦略学習部と、
   として機能させることを特徴とする情報処理プログラム。