JP6330008B2 - Q学習を用いたニューラルネットワークの重み付け調整のためのプログラム、システム、及び方法 - Google Patents
Q学習を用いたニューラルネットワークの重み付け調整のためのプログラム、システム、及び方法 Download PDFInfo
- Publication number
- JP6330008B2 JP6330008B2 JP2016202021A JP2016202021A JP6330008B2 JP 6330008 B2 JP6330008 B2 JP 6330008B2 JP 2016202021 A JP2016202021 A JP 2016202021A JP 2016202021 A JP2016202021 A JP 2016202021A JP 6330008 B2 JP6330008 B2 JP 6330008B2
- Authority
- JP
- Japan
- Prior art keywords
- value
- action
- character
- game
- neural network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000013528 artificial neural network Methods 0.000 title claims description 106
- 238000000034 method Methods 0.000 title claims description 57
- 230000009471 action Effects 0.000 claims description 163
- 230000013016 learning Effects 0.000 claims description 43
- 230000015654 memory Effects 0.000 claims description 24
- 230000006399 behavior Effects 0.000 claims description 19
- 230000004044 response Effects 0.000 claims description 5
- 230000003247 decreasing effect Effects 0.000 claims 2
- 230000006870 function Effects 0.000 description 17
- 238000004891 communication Methods 0.000 description 11
- 239000010410 layer Substances 0.000 description 11
- 230000008569 process Effects 0.000 description 8
- 230000002787 reinforcement Effects 0.000 description 6
- 230000008859 change Effects 0.000 description 5
- 230000006378 damage Effects 0.000 description 4
- 230000007123 defense Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 230000002498 deadly effect Effects 0.000 description 3
- 238000011156 evaluation Methods 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 239000002365 multiple layer Substances 0.000 description 2
- 241001282315 Nemesis Species 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 230000010485 coping Effects 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000035876 healing Effects 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- NHDHVHZZCFYRSB-UHFFFAOYSA-N pyriproxyfen Chemical compound C=1C=CC=NC=1OC(C)COC(C=C1)=CC=C1OC1=CC=CC=C1 NHDHVHZZCFYRSB-UHFFFAOYSA-N 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000010187 selection method Methods 0.000 description 1
- 239000002356 single layer Substances 0.000 description 1
- 210000000225 synapse Anatomy 0.000 description 1
Landscapes
- User Interface Of Digital Computer (AREA)
Description
味方キャラクタ1_攻撃:1
味方キャラクタ1_防御:1
味方キャラクタ1_スキル1:1
味方キャラクタ1_スキル2:1
味方キャラクタ1_必殺技:0
味方キャラクタ2_攻撃:0
味方キャラクタ2_防御:0
味方キャラクタ2_スキル1:0
味方キャラクタ2_スキル2:0
味方キャラクタ2_必殺技:0
・・・(略)・・・
敵キャラクタ_必殺技:0
といった入力となる。
例えば、味方キャラクタ1における見込み報酬(Q値)が、
味方キャラクタ1_攻撃:0.8
味方キャラクタ1_防御:0.5
味方キャラクタ1_スキル1:0.4
味方キャラクタ1_スキル2:0.1
味方キャラクタ1_必殺技:0
であった場合、通常のコマンド選択方法であれば一番見込み報酬(Q値)が大きい「攻撃」が選択されることとなる。
味方キャラクタ1_防御:0.89961839
味方キャラクタ1_熟練の拳:1.16006923
味方キャラクタ1_シャウト:0.6012032
味方キャラクタ1_たたかう:0.53579712
味方キャラクタ1_アーマー ブレイク:0.52256131
味方キャラクタ1_正拳突き:0.314955
味方キャラクタ1_風の刃:0.60766339
味方キャラクタ2_防御:0.63610768
味方キャラクタ2_聖なる伝説の剣:0.83349609
味方キャラクタ2_魔神の守護:0.29603601
味方キャラクタ2_シャウト:−0.20091677
味方キャラクタ2_イナズマ剣:0.4563098
味方キャラクタ2_火炎剣:0.6400938
味方キャラクタ2_たたかう:0.40863395
味方キャラクタ3_防御:0.95442247
味方キャラクタ3_海の覇者:0.29018426
味方キャラクタ3_兜割り:0.20885491
味方キャラクタ3_シャウト:−0.25541139
味方キャラクタ3_たたかう:0.50958467
味方キャラクタ3_魔法破壊:0.36382771
味方キャラクタ3_腕力破壊:0.77368307
味方キャラクタ4_防御:0.84505749
味方キャラクタ4_宿敵チェンジ:0.21710753
味方キャラクタ4_フレンドコンビネーション:0.77146935
味方キャラクタ4_シャウト:0.18860745
味方キャラクタ4_たたかう:0.68954039
味方キャラクタ4_破壊工作:0.8964808
味方キャラクタ4_剣光線:0.6781354
味方キャラクタ5_防御:0.37057304
味方キャラクタ5_全体回復:−1.29269934
味方キャラクタ5_女王の加護:−1.28307414
味方キャラクタ5_シャウト:−1.33874702
味方キャラクタ5_治癒:−0.21439075
味方キャラクタ5_アーマープラス:−0.15570354
味方キャラクタ5_たたかう:−2.44153452
上記例では、5キャラクタがそれぞれ7コマンドを有しているため、合計35個のコマンド及びその見込み報酬(Q値)が抽出されることとなる。なお、この見込み報酬(Q値)は、−1〜1の範囲で正規化しているが、Q学習では将来の報酬が足されるためその範囲に収まらない場合もある。
20 通信網
30 端末装置
41 情報記憶部
42 キャラクタ行動制御部
51 情報記憶部
52 端末側制御部
Claims (12)
- Q学習を用いて1又は複数層で構成されるニューラルネットワーク(NN)のパラメー
タを調整する方法であって、
1又は複数のコンピュータ上で実行されることに応じて、当該1又は複数のコンピュー
タに、
1又は複数のゲームキャラクタに関するゲームパラメータを第1の入力値として抽出す
るステップ、
該第1の入力値に基づき、前記ニューラルネットワーク(NN)からゲームキャラクタ
の各行動による第1の見込み報酬(Q値)を出力値として抽出するステップと、
該各行動の中からの1つの選択・実行後の前記ゲームパラメータを第2の入力値として
抽出するステップと、
該第2の入力値に基づき、前記ニューラルネットワーク(NN)からゲームキャラクタ
の各行動による第2の見込み報酬(Q値)を算出するステップと、
前記第1の見込み報酬(Q値)と前記第2の見込み報酬(Q値)に基づき、1又は複数
層で構成されるニューラルネットワーク(NN)のパラメータを更新するステップと、
を複数回繰り返し実行させることを特徴とするQ学習を用いたニューラルネットワーク
(NN)のパラメータを調整する方法。 - 前記キャラクタの前記各行動の中からの1つの選択は、該各行動による見込み報酬(Q
値)の中から最も高い見込み報酬(Q値)を有する行動を選択するか、または、該各行動
による見込み報酬(Q値)とは無関係にランダムに決定することにより行われることを特
徴とする請求項1に記載の方法。 - 前記キャラクタの前記各行動の中からの1つの選択は、前記各行動による見込み報酬(
Q値)の中から最も高い見込み報酬(Q値)を有する行動を選択する確率の設定値並びに
前記各行動による見込み報酬(Q値)とは無関係にランダムに決定する確率の設定値に基
づき行うことを特徴とする請求項2に記載の方法。 - 前記キャラクタの前記各行動の中からの1つの選択は、該選択の回数の増大につれ、前
記各行動による見込み報酬(Q値)の中から最も高い見込み報酬(Q値)を有する行動を
選択する確率の設定値を増加させ、前記各行動による見込み報酬(Q値)とは無関係にラ
ンダムに決定する確率の設定値を減少させることを特徴とする請求項3に記載の方法。 - 前記キャラクタの前記各行動の中からの1つの選択は、該選択の回数の増大につれ、前
記各行動による見込み報酬(Q値)の中から最も高い見込み報酬(Q値)を有する行動を
選択する確率の設定値を約0.0015%づつ増加させ、前記各行動による見込み報酬(
Q値)とは無関係にランダムに決定する確率の設定値を約0.0015%づつ減少させる
ことを特徴とする請求項4に記載の方法。 - 前記キャラクタの前記各行動の中からの1つの選択が、該各行動による見込み報酬(Q
値)とは無関係にランダムに行われる場合、前記各行動毎の行動履歴を格納した複数の行
動別履歴情報における各履歴情報の多さとは関係なく、該各行動の中からランダムに決定
するものであることを特徴とする請求項2から5までのいずれか1項に記載の方法。 - 前記キャラクタの前記各行動の中からの1つの選択が、該各行動による見込み報酬(Q
値)とは無関係にランダムに行われる場合、格納可能な行動履歴数が所定数に制限された
行動履歴管理テーブルを参照し、各行動履歴の中からランダムに決定するものであること
を特徴とする請求項2から5までのいずれか1項に記載の方法。 - 前記複数の行動別履歴情報のそれぞれは、異なるメモリ空間に格納され、キャラクタの
前記各行動の中からの1つの選択は、複数のメモリ空間の中からランダムに決定されたメ
モリ空間に格納されている行動別履歴情報の行動であることを特徴とする請求項6に記載の方法。 - 前記キャラクタの前記各行動の中からの1つの選択が該各行動による見込み報酬(Q値)とは無関係にランダムに決定する場合において、前記選択は該各行動に選択条件が付されている行動の中からランダムに決定するものであることを特徴とする請求項2から8までのいずれか1項に記載の方法。
- 前記各行動による見込み報酬(Q値)とは無関係にランダムに決定する確率の設定値を
、前記選択条件が付されている行動が所定の回数以上選択された場合に減少させることを
特徴とする請求項3から9までのいずれか1項に記載の方法。 - Q学習を用いて1又は複数層で構成されるニューラルネットワーク(NN)のパラメー
タを調整するシステムであって、
1又は複数のコンピュータ上で実行されることに応じて、当該1又は複数のコンピュー
タに、
1又は複数のゲームキャラクタのゲームパラメータを第1の入力値として抽出するステ
ップ、
該第1の入力値に基づき、前記ニューラルネットワーク(NN)からゲームキャラクタ
の各行動による第1の見込み報酬(Q値)を出力値として抽出するステップと、
該各行動の中からの1つの選択・実行後の前記ゲームパラメータを第2の入力値として
抽出するステップと、
該第2の入力値に基づき、前記ニューラルネットワーク(NN)からゲームキャラクタ
の各行動による第2の見込み報酬(Q値)を算出するステップと、
前記第1の見込み報酬(Q値)と前記第2の見込み報酬(Q値)に基づき、1又は複数
層で構成されるニューラルネットワーク(NN)のパラメータを更新するステップと、
を複数回繰り返し実行させることを特徴とするQ学習を用いたニューラルネットワーク
(NN)のパラメータを調整するシステム。 - Q学習を用いて1又は複数層で構成されるニューラルネットワーク(NN)のパラメー
タを調整するプログラムであって、
1又は複数のコンピュータ上で実行されることに応じて、当該1又は複数のコンピュー
タに、
1又は複数のゲームキャラクタに関するゲームパラメータを第1の入力値として抽出す
るステップ、
該第1の入力値に基づき、前記ニューラルネットワーク(NN)からゲームキャラクタ
の各行動による第1の見込み報酬(Q値)を出力値として抽出するステップと、
該各行動の中からの1つの選択・実行後の前記ゲームパラメータを第2の入力値として
抽出するステップと、
該第2の入力値に基づき、前記ニューラルネットワーク(NN)からゲームキャラクタ
の各行動による第2の見込み報酬(Q値)を算出するステップと、
前記第1の見込み報酬(Q値)と前記第2の見込み報酬(Q値)に基づき、1又は複数
層で構成されるニューラルネットワーク(NN)のパラメータを更新するステップと、
を複数回繰り返し実行させることを特徴とするQ学習を用いたニューラルネットワーク(
NN)のパラメータを調整するプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016202021A JP6330008B2 (ja) | 2016-10-13 | 2016-10-13 | Q学習を用いたニューラルネットワークの重み付け調整のためのプログラム、システム、及び方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016202021A JP6330008B2 (ja) | 2016-10-13 | 2016-10-13 | Q学習を用いたニューラルネットワークの重み付け調整のためのプログラム、システム、及び方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2018063602A JP2018063602A (ja) | 2018-04-19 |
JP6330008B2 true JP6330008B2 (ja) | 2018-05-23 |
Family
ID=61967893
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016202021A Active JP6330008B2 (ja) | 2016-10-13 | 2016-10-13 | Q学習を用いたニューラルネットワークの重み付け調整のためのプログラム、システム、及び方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6330008B2 (ja) |
Families Citing this family (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6779941B2 (ja) * | 2018-05-10 | 2020-11-04 | 株式会社Snk | 格闘ゲームの学習装置および学習プログラム |
JP6970949B2 (ja) * | 2018-06-11 | 2021-11-24 | Necソリューションイノベータ株式会社 | 行動学習装置 |
JP7230431B2 (ja) * | 2018-10-26 | 2023-03-01 | 株式会社ジェイテクト | 操舵装置及び操舵システム |
TW202018545A (zh) * | 2018-11-13 | 2020-05-16 | 財團法人資訊工業策進會 | 產量控制系統、方法及其非暫態電腦可讀取媒體 |
US11801446B2 (en) * | 2019-03-15 | 2023-10-31 | Sony Interactive Entertainment Inc. | Systems and methods for training an artificial intelligence model for competition matches |
JP7419635B2 (ja) * | 2019-04-25 | 2024-01-23 | 株式会社コナミアミューズメント | ゲームシステム、制御システム、制御方法およびプログラム |
CN111282267B (zh) * | 2020-02-11 | 2021-08-20 | 腾讯科技(深圳)有限公司 | 信息处理方法、装置、介质及电子设备 |
JP2022140092A (ja) | 2021-03-12 | 2022-09-26 | ロベルト・ボッシュ・ゲゼルシャフト・ミト・ベシュレンクテル・ハフツング | 強化学習装置、強化学習方法及びプログラム |
JP2022140087A (ja) | 2021-03-12 | 2022-09-26 | ロベルト・ボッシュ・ゲゼルシャフト・ミト・ベシュレンクテル・ハフツング | 強化学習装置、強化学習方法、プログラム及びデータ構造 |
CN114043497B (zh) * | 2021-11-19 | 2023-06-30 | 济南大学 | 一种与老年人益智游戏智能交互的方法、***和机器人 |
CN116827685B (zh) * | 2023-08-28 | 2023-11-14 | 成都乐超人科技有限公司 | 基于深度强化学习的微服务***动态防御策略方法 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006035388A (ja) * | 2004-07-28 | 2006-02-09 | Riyuukoku Univ | 学習装置およびそれを備えた動作物体、学習方法、学習プログラムおよびそれを記録したコンピュータ読取り可能な記録媒体 |
US8069124B2 (en) * | 2008-03-26 | 2011-11-29 | Intel Corporation | Combining speculative physics modeling with goal-based artificial intelligence |
JP5759164B2 (ja) * | 2010-12-20 | 2015-08-05 | 株式会社スクウェア・エニックス | ゲーム用人工知能 |
-
2016
- 2016-10-13 JP JP2016202021A patent/JP6330008B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2018063602A (ja) | 2018-04-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6330008B2 (ja) | Q学習を用いたニューラルネットワークの重み付け調整のためのプログラム、システム、及び方法 | |
JP6351671B2 (ja) | ニューロエボリューションを用いたニューラルネットワークの構造及びパラメータ調整のためのプログラム、システム、及び方法 | |
US8821260B1 (en) | System and method for granting in-game bonuses to a user | |
US8753211B2 (en) | Game system | |
US10937277B2 (en) | Guild-dependent variation of player capabilities in a computer-implemented game | |
KR20180044191A (ko) | 멀티플레이어 비디오 게임 매치메이킹 시스템 및 방법들 | |
KR102258278B1 (ko) | 시즌별 보상 분배 시스템 | |
JP6725210B2 (ja) | サーバシステム、ゲームシステム及びプログラム | |
JP6062786B2 (ja) | サーバシステム及びプログラム | |
WO2015168187A1 (en) | System and method for granting in-game bonuses to a user | |
US20140157246A1 (en) | Building cross-platform asynchronous games | |
JP5416264B1 (ja) | ゲーム提供装置 | |
US20140295964A1 (en) | Game System, Control Method for Game System, and Program | |
CN111026272A (zh) | 虚拟对象行为策略的训练方法及装置、电子设备、存储介质 | |
US20140295925A1 (en) | Level-balancing an online progression game | |
CN114344913A (zh) | 一种游戏数据处理方法、装置、设备以及可读存储介质 | |
JP2024037952A (ja) | ゲームシステム、サーバ、プログラム、抽選イベント実行方法 | |
JP2014054562A (ja) | ゲーム提供装置 | |
US11117059B2 (en) | Non-transitory computer readable media, information processing device, and control method | |
KR20150017016A (ko) | 게임 스킬 구현 방법 및 서버 | |
US20200338446A1 (en) | Presenting incentivized hierarchical gameplay | |
JP2015000166A (ja) | ゲーム提供システム、ゲーム提供プログラム及びゲーム提供方法 | |
Sharifi et al. | Learning companion behaviors using reinforcement learning in games | |
JP2020028709A (ja) | プログラム、情報処理装置及び制御方法 | |
JP6794330B2 (ja) | ゲームを提供するためのプログラム、システム、及び方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180205 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20180403 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20180423 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6330008 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |