JP6351671B2 - ニューロエボリューションを用いたニューラルネットワークの構造及びパラメータ調整のためのプログラム、システム、及び方法 - Google Patents
ニューロエボリューションを用いたニューラルネットワークの構造及びパラメータ調整のためのプログラム、システム、及び方法 Download PDFInfo
- Publication number
- JP6351671B2 JP6351671B2 JP2016165342A JP2016165342A JP6351671B2 JP 6351671 B2 JP6351671 B2 JP 6351671B2 JP 2016165342 A JP2016165342 A JP 2016165342A JP 2016165342 A JP2016165342 A JP 2016165342A JP 6351671 B2 JP6351671 B2 JP 6351671B2
- Authority
- JP
- Japan
- Prior art keywords
- game
- neural network
- groups
- neural networks
- parameters
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000013528 artificial neural network Methods 0.000 title claims description 159
- 238000000034 method Methods 0.000 title claims description 49
- 238000011156 evaluation Methods 0.000 claims description 84
- 230000009471 action Effects 0.000 claims description 81
- 230000002068 genetic effect Effects 0.000 claims description 19
- 238000004422 calculation algorithm Methods 0.000 claims description 18
- 230000008569 process Effects 0.000 claims description 9
- 230000004044 response Effects 0.000 claims description 8
- 230000034994 death Effects 0.000 claims description 2
- 231100000517 death Toxicity 0.000 claims description 2
- 230000006870 function Effects 0.000 description 17
- 230000015654 memory Effects 0.000 description 15
- 238000004891 communication Methods 0.000 description 11
- 230000008859 change Effects 0.000 description 7
- 230000007123 defense Effects 0.000 description 6
- 230000006872 improvement Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 239000000284 extract Substances 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 230000007423 decrease Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 230000002787 reinforcement Effects 0.000 description 2
- 230000003416 augmentation Effects 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 230000002542 deteriorative effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 239000010410 layer Substances 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 239000002365 multiple layer Substances 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 239000002356 single layer Substances 0.000 description 1
- 210000000225 synapse Anatomy 0.000 description 1
Images
Landscapes
- User Interface Of Digital Computer (AREA)
Description
味方キャラクタ1_攻撃:1
味方キャラクタ1_防御:1
味方キャラクタ1_スキル1:1
味方キャラクタ1_スキル2:1
味方キャラクタ1_必殺技:0
味方キャラクタ2_攻撃:0
味方キャラクタ2_防御:0
味方キャラクタ2_スキル1:0
味方キャラクタ2_スキル2:0
味方キャラクタ2_必殺技:0
・・・(略)・・・
敵キャラクタ_必殺技:0
といった25個(5つのゲームキャラクタがそれぞれ5つのコマンドを有しているため)の入力となる。
味方キャラクタ1_攻撃:0.1
味方キャラクタ1_防御:1
味方キャラクタ1_スキル1:0.3
味方キャラクタ1_スキル2:0.2
味方キャラクタ1_必殺技:0
とする。
HP:0.5
攻撃力:1
防御力:0
魔法攻撃力:0
魔法防御力:0
となる。これにより、ニューラルネットワークの学習の効率を高めることができる。
例えば、味方キャラクタ1における出力値が、
味方キャラクタ1_攻撃:0.8
味方キャラクタ1_防御:0.5
味方キャラクタ1_スキル1:0.4
味方キャラクタ1_スキル2:0.1
味方キャラクタ1_必殺技:0
である場合、一番出力値が大きい「攻撃」が選択されることとなる。なお、全てのコマンドの出力値が0である場合は、そもそもその時には行動できないゲームキャラクタであることを意味する。
(1)ゲームバトル終了までの味方キャラクタの行動回数(ability_count)
(2)ゲームバトル終了時における敵ゲームキャラクタの残りHP(boss_hp_sum)
(3)ゲームバトル終了までに味方ゲームキャラクタが受けたダメージ(damage_ratio)
(4)ゲームバトル終了までに味方ゲームキャラクタが死亡した回数(dead_count)
これらのパラメータに基づき、その評価値の計算方法として、下記のような設定を行うことができる。この設定は適宜変更可能である。下記例では、コードの「sum」がその評価値に該当し、最大評価値は0となっている。
return sum((-1.0 * ability_count / max_ability_count, -1.0 * boss_hp_sum / boss_max_hp_sum * 2, -1.0 * damage_ratio * 2, (-1.0 * dead_count / max_dead_count) * 4))
なお、max値は適宜設定することが可能であり、各パラメータはその比率を取っている。また、死亡回数は、最も重要なパラメータであるため4倍の重み付けがなされている。
20 通信網
30 端末装置
41 情報記憶部
42 キャラクタ行動制御部
51 情報記憶部
52 端末側制御部
Claims (11)
- ニューロエボリューションを用いてゲーム内の1又は複数のゲームキャラクタの行動を
出力する複数のニューラルネットワーク(NN)の構造及びパラメータを調整する方法で
あって、
1又は複数のコンピュータ上で実行されることに応じて、当該1又は複数のコンピュー
タに、
ゲームパラメータを入力値として抽出するステップと、
該入力値に基づき、複数のニューラルネットワーク(NN)からそれぞれ複数の出力値
を抽出するステップと、
該出力値に基づき、1又は複数のゲームキャラクタの行動を決定するステップと、
前記ゲームパラメータを該行動後のゲームパラメータに更新するステップと、
これらのステップを繰り返し、各ニューラルネットワークに対応する各行動の出力値の
組み合わせに対する評価値を算出するステップと、
前記各行動の出力値の組み合わせに対する評価値が高くなる方向で、遺伝的アルゴリズ
ムを適用し前記複数のニューラルネットワーク(NN)の構造及びパラメータを更新する
ステップと、
を複数世代繰り返し実行させるものであり、
複数のニューラルネットワーク(NN)を所定の閾値を用いて複数のグループに分割し、同じグループ内においてのみニューラルネットワーク(NN)の構造及びパラメータを更新するのに前記遺伝的アルゴリズムを適用し、
前記複数のニューラルネットワーク(NN)間の構造及びパラメータの類似度に基づき、該類似度に関する所定の閾値を境界として複数のニューラルネットワーク(NN)を複数のグループに分割することを特徴とするニューロエボリューションを用いてニューラルネットワーク(NN)の構造及びパラメータを調整する方法。 - 前記複数のグループ間において、同じ世代における各グループのニューラルネットワー
ク(NN)の評価値の平均値を比較し、該平均値が、前記複数のグループ全体の該評価値
の平均値よりも高い評価値の平均値を有するグループの割合を増やし、該平均値が、前記
複数のグループ全体の該評価値の平均値よりも低い評価値の平均値を有するグループの割
合を減らし、次世代における前記複数のグループの各グループのニューラルネットワーク
(NN)の数が占める比率を変化させることを特徴とする請求項1に記載の方法。 - 前記複数のグループ間において、同じ世代における各グループのニューラルネットワー
ク(NN)の評価値の平均値を比較し、該平均値が、前記複数のグループ全体の該評価値
の平均値よりも高い評価値の平均値を有するグループの割合を約10%増やし、該平均値
が、前記複数のグループ全体の該評価値の平均値よりも低い評価値の平均値を有するグル
ープの割合を約10%減らし、次世代における前記複数のグループの各グループのニュー
ラルネットワーク(NN)の数が占める比率を変化させることを特徴とする請求項2に記
載の方法。 - 前記複数のグループの各グループにおける複数のニューラルネットワーク(NN)の評
価値の中で最大の評価値が、所定の世代の間高くなるよう更新されない場合、そのグルー
プのニューラルネットワーク(NN)の数を10%よりも大きい割合で減少させることを
特徴とする請求項2又は3に記載の方法。 - 前記複数のグループの各グループにおける複数のニューラルネットワーク(NN)の評
価値の中で最大の評価値が、所定の世代の間高くなるよう更新されない場合、そのグルー
プのニューラルネットワーク(NN)の数を半減させることを特徴とする請求項2又は3
に記載の方法。 - 前記複数のニューラルネットワーク(NN)として、約100個のニューラルネットワ
ーク(NN)を用いることを特徴とする請求項1から5までの1項に記載の方法。 - 前記更新するステップを約100世代繰り返すことを特徴とする請求項1から6までの
いずれか1項記載の方法。 - 前記評価値を、ゲームキャラクタの行動回数、ゲームキャラクタの残りHP、ゲームキ
ャラクタが受けた総ダメージ、ゲームキャラクタが死亡した回数、の内の少なくともいず
れか又はこれらの組み合わせに基づき決定することを特徴とする請求項1から7までのい
ずれか1項記載の方法。 - 前記評価値は、前記各ステップを前記ゲームの1つのバトルが終了するまで繰り返した
場合に抽出される各出力値の組み合わせに対する評価値であることを特徴とする請求項1
から8までのいずれか1項記載の方法。 - ニューロエボリューションを用いてゲーム内の1又は複数のゲームキャラクタの行動を
出力する複数のニューラルネットワーク(NN)の構造及びパラメータを調整するシステ
ムであって、
1又は複数のコンピュータ上で実行されることに応じて、当該1又は複数のコンピュー
タに、
ゲームパラメータを入力値として抽出するステップと、
該入力値に基づき、複数のニューラルネットワーク(NN)からそれぞれ複数の出力値
を抽出するステップと、
該出力値に基づき、1又は複数のゲームキャラクタの行動を決定するステップと、
前記ゲームパラメータを該行動後のゲームパラメータに更新するステップと、
これらのステップを繰り返し、各ニューラルネットワークに対応する各行動の出力値の
組み合わせに対する評価値を算出するステップと、
前記各行動の出力値の組み合わせに対する評価値が高くなる方向で、遺伝的アルゴリズ
ムを適用し前記複数のニューラルネットワーク(NN)の構造及びパラメータを更新する
ステップと、
を複数世代繰り返し実行させるものであり、
複数のニューラルネットワーク(NN)を所定の閾値を用いて複数のグループに分割し、同じグループ内においてのみニューラルネットワーク(NN)の構造及びパラメータを更新するのに前記遺伝的アルゴリズムを適用し、
前記複数のニューラルネットワーク(NN)間の構造及びパラメータの類似度に基づき、該類似度に関する所定の閾値を境界として複数のニューラルネットワーク(NN)を複数のグループに分割することを特徴とするニューロエボリューションを用いてニューラルネットワーク(NN)の構造及びパラメータを調整するシステム。 - ニューロエボリューションを用いてゲーム内の1又は複数のゲームキャラクタの行動を
出力する複数のニューラルネットワーク(NN)の構造及びパラメータを調整するプログ
ラムであって、
1又は複数のコンピュータ上で実行されることに応じて、当該1又は複数のコンピュー
タに、
ゲームパラメータを入力値として抽出するステップと、
該入力値に基づき、複数のニューラルネットワーク(NN)からそれぞれ複数の出力値
を抽出するステップと、
該出力値に基づき、1又は複数のゲームキャラクタの行動を決定するステップと、
前記ゲームパラメータを該行動後のゲームパラメータに更新するステップと、
これらのステップを繰り返し、各ニューラルネットワークに対応する各行動の出力値の
組み合わせに対する評価値を算出するステップと、
前記各行動の出力値の組み合わせに対する評価値が高くなる方向で、遺伝的アルゴリズ
ムを適用し前記複数のニューラルネットワーク(NN)の構造及びパラメータを更新する
ステップと、
を複数世代繰り返し実行させるものであり、
複数のニューラルネットワーク(NN)を所定の閾値を用いて複数のグループに分割し、同じグループ内においてのみニューラルネットワーク(NN)の構造及びパラメータを更新するのに前記遺伝的アルゴリズムを適用し、
前記複数のニューラルネットワーク(NN)間の構造及びパラメータの類似度に基づき、該類似度に関する所定の閾値を境界として複数のニューラルネットワーク(NN)を複数のグループに分割することを特徴とするニューロエボリューションを用いてニューラルネットワーク(NN)の構造及びパラメータを調整するプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016165342A JP6351671B2 (ja) | 2016-08-26 | 2016-08-26 | ニューロエボリューションを用いたニューラルネットワークの構造及びパラメータ調整のためのプログラム、システム、及び方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016165342A JP6351671B2 (ja) | 2016-08-26 | 2016-08-26 | ニューロエボリューションを用いたニューラルネットワークの構造及びパラメータ調整のためのプログラム、システム、及び方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2018029860A JP2018029860A (ja) | 2018-03-01 |
JP6351671B2 true JP6351671B2 (ja) | 2018-07-04 |
Family
ID=61303834
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016165342A Active JP6351671B2 (ja) | 2016-08-26 | 2016-08-26 | ニューロエボリューションを用いたニューラルネットワークの構造及びパラメータ調整のためのプログラム、システム、及び方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6351671B2 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2022054209A1 (ja) | 2020-09-10 | 2022-03-17 | 株式会社エイゾス | ハイパーパラメータ調整装置、ハイパーパラメータ調整プログラムを記録した非一時的な記録媒体、及びハイパーパラメータ調整プログラム |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108434740B (zh) * | 2018-03-23 | 2021-01-29 | 腾讯科技(深圳)有限公司 | 一种策略信息确定的方法及装置、存储介质 |
JP6965314B2 (ja) * | 2018-08-21 | 2021-11-10 | グリー株式会社 | プログラム、情報処理装置及び制御方法 |
JP6876072B2 (ja) * | 2019-01-21 | 2021-05-26 | 株式会社スクウェア・エニックス | ビデオゲーム処理プログラム、ビデオゲーム処理装置、ビデオゲーム処理方法及び学習用プログラム |
JP7172706B2 (ja) | 2019-02-19 | 2022-11-16 | 富士通株式会社 | 演算処理装置、演算処理プログラムおよび演算処理方法 |
CN110084354A (zh) * | 2019-04-09 | 2019-08-02 | 浙江工业大学 | 一种基于遗传算法训练神经网络控制游戏角色行为的方法 |
JP6762519B1 (ja) * | 2019-04-25 | 2020-09-30 | 株式会社コナミアミューズメント | ゲームシステム |
WO2020218142A1 (ja) * | 2019-04-25 | 2020-10-29 | 株式会社コナミアミューズメント | ゲーム装置、ゲームシステム、制御システム、ゲーム装置の動作方法、制御システムの動作方法、およびプログラム |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH096881A (ja) * | 1995-06-15 | 1997-01-10 | Toyo Electric Mfg Co Ltd | ニューラルネットワーク |
JP2003256005A (ja) * | 2002-03-01 | 2003-09-10 | Omron Corp | 制御方法および制御装置 |
JP5874292B2 (ja) * | 2011-10-12 | 2016-03-02 | ソニー株式会社 | 情報処理装置、情報処理方法、及びプログラム |
-
2016
- 2016-08-26 JP JP2016165342A patent/JP6351671B2/ja active Active
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2022054209A1 (ja) | 2020-09-10 | 2022-03-17 | 株式会社エイゾス | ハイパーパラメータ調整装置、ハイパーパラメータ調整プログラムを記録した非一時的な記録媒体、及びハイパーパラメータ調整プログラム |
Also Published As
Publication number | Publication date |
---|---|
JP2018029860A (ja) | 2018-03-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6351671B2 (ja) | ニューロエボリューションを用いたニューラルネットワークの構造及びパラメータ調整のためのプログラム、システム、及び方法 | |
JP6330008B2 (ja) | Q学習を用いたニューラルネットワークの重み付け調整のためのプログラム、システム、及び方法 | |
KR102360420B1 (ko) | 비디오 게임에서 플레이어 게임플레이를 모방하기 위한 커스텀 모델 | |
CN107970612B (zh) | 多玩家视频游戏匹配***和方法 | |
CN103313762B (zh) | 游戏设备和游戏提供方法 | |
CN107158702A (zh) | 动态难度调整 | |
US20140295964A1 (en) | Game System, Control Method for Game System, and Program | |
US8845407B2 (en) | Device for providing a game | |
CN114307160A (zh) | 训练智能体的方法 | |
JP7344053B2 (ja) | 所定のゲームを提供するためのシステム、方法、及びプログラム、並びに、デッキの分類を作成するための方法 | |
Fraser et al. | A methodological approach to identifying and quantifying video game difficulty factors | |
Acland et al. | Self-control and demand for commitment in online game playing: evidence from a field experiment | |
US20140295925A1 (en) | Level-balancing an online progression game | |
JP7335739B2 (ja) | ゲームを提供するためのシステム、方法、及びプログラム | |
JP5856326B1 (ja) | ゲームプログラム、ゲームの制御方法、および、コンピュータ | |
CN111389011B (zh) | 一种游戏模型训练方法、装置、电子设备及介质 | |
JP2024037952A (ja) | ゲームシステム、サーバ、プログラム、抽選イベント実行方法 | |
CN110465092B (zh) | 一种资源分配的方法以及相关装置 | |
JP6953650B1 (ja) | ゲームシステム、プログラム及び情報処理方法 | |
On et al. | Rule-based procedural generation of item in role-playing game | |
JP2022064810A (ja) | ゲームシステム、プログラム及び情報処理方法 | |
JP7349833B2 (ja) | ゲームを提供するためのシステム、方法、及びプログラム | |
Ihara et al. | Neuro-evolutionary approach to multi-objective optimization in one-player mahjong | |
JP7516688B1 (ja) | 情報処理システム、情報処理装置、プログラム及び情報処理方法 | |
JP6922111B1 (ja) | ゲームシステム、プログラム及び情報処理方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20171213 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180109 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180312 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20180522 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20180605 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6351671 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |