JP2023502860A - 情報処理方法、装置、コンピュータプログラム及び電子装置 - Google Patents
情報処理方法、装置、コンピュータプログラム及び電子装置 Download PDFInfo
- Publication number
- JP2023502860A JP2023502860A JP2022523836A JP2022523836A JP2023502860A JP 2023502860 A JP2023502860 A JP 2023502860A JP 2022523836 A JP2022523836 A JP 2022523836A JP 2022523836 A JP2022523836 A JP 2022523836A JP 2023502860 A JP2023502860 A JP 2023502860A
- Authority
- JP
- Japan
- Prior art keywords
- game
- model
- action
- information
- sample
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000010365 information processing Effects 0.000 title claims abstract description 41
- 238000003672 processing method Methods 0.000 title claims abstract description 29
- 238000004590 computer program Methods 0.000 title claims description 10
- 230000009471 action Effects 0.000 claims abstract description 417
- 238000000034 method Methods 0.000 claims abstract description 61
- 238000000605 extraction Methods 0.000 claims abstract description 30
- 230000008569 process Effects 0.000 claims abstract description 30
- 238000013507 mapping Methods 0.000 claims abstract description 29
- 239000013598 vector Substances 0.000 claims description 72
- 238000012549 training Methods 0.000 claims description 58
- 230000006870 function Effects 0.000 claims description 31
- 238000012545 processing Methods 0.000 claims description 11
- 238000012216 screening Methods 0.000 claims description 6
- 230000001965 increasing effect Effects 0.000 claims description 4
- 238000005304 joining Methods 0.000 claims description 3
- 238000013473 artificial intelligence Methods 0.000 abstract description 44
- 238000003860 storage Methods 0.000 abstract description 19
- 230000000875 corresponding effect Effects 0.000 description 42
- 238000010586 diagram Methods 0.000 description 27
- 230000006399 behavior Effects 0.000 description 21
- 238000005516 engineering process Methods 0.000 description 12
- 238000009826 distribution Methods 0.000 description 11
- 230000000694 effects Effects 0.000 description 10
- 238000004891 communication Methods 0.000 description 9
- 238000004422 calculation algorithm Methods 0.000 description 8
- 238000010801 machine learning Methods 0.000 description 8
- 230000003993 interaction Effects 0.000 description 6
- 238000005457 optimization Methods 0.000 description 6
- 230000001276 controlling effect Effects 0.000 description 5
- 230000003542 behavioural effect Effects 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 238000012360 testing method Methods 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 3
- 239000003795 chemical substances by application Substances 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 3
- 238000011161 development Methods 0.000 description 3
- 230000002787 reinforcement Effects 0.000 description 3
- 230000015572 biosynthetic process Effects 0.000 description 2
- 239000008280 blood Substances 0.000 description 2
- 210000004369 blood Anatomy 0.000 description 2
- 230000001186 cumulative effect Effects 0.000 description 2
- 238000003066 decision tree Methods 0.000 description 2
- 230000007123 defense Effects 0.000 description 2
- 230000002147 killing effect Effects 0.000 description 2
- 231100000225 lethality Toxicity 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000003062 neural network model Methods 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 238000000342 Monte Carlo simulation Methods 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000007635 classification algorithm Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000005336 cracking Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000035876 healing Effects 0.000 description 1
- 230000001939 inductive effect Effects 0.000 description 1
- 231100000518 lethal Toxicity 0.000 description 1
- 230000001665 lethal effect Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000002829 reductive effect Effects 0.000 description 1
- 230000000284 resting effect Effects 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000010187 selection method Methods 0.000 description 1
- 230000035939 shock Effects 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 238000013526 transfer learning Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/30—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers
- A63F13/35—Details of game servers
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/60—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/45—Controlling the progress of the video game
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/55—Controlling game characters or game objects based on the game progress
- A63F13/56—Computing the motion of game characters with respect to other game characters, game objects or elements of the game scene, e.g. for simulating the behaviour of a group of virtual soldiers or for path finding
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/60—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor
- A63F13/67—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor adaptively or by learning from player actions, e.g. skill level adjustment or by storing successful combat sequences for re-use
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/60—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor
- A63F13/69—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor by enabling or updating specific game elements, e.g. unlocking hidden features, items, levels or versions
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/70—Game security or game management aspects
- A63F13/79—Game security or game management aspects involving player-related data, e.g. identities, accounts, preferences or play histories
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/088—Non-supervised learning, e.g. competitive learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N5/00—Computing arrangements using knowledge-based models
- G06N5/01—Dynamic search techniques; Heuristics; Dynamic trees; Branch-and-bound
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
- A63F2300/50—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by details of game servers
- A63F2300/55—Details of game data or player data management
- A63F2300/5546—Details of game data or player data management using player registration data, e.g. identification, account, preferences, game history
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Software Systems (AREA)
- Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Mathematical Physics (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Medical Informatics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computational Linguistics (AREA)
- Human Computer Interaction (AREA)
- Computer Security & Cryptography (AREA)
- Business, Economics & Management (AREA)
- General Business, Economics & Management (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Molecular Biology (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- User Interface Of Digital Computer (AREA)
- Processing Or Creating Images (AREA)
Abstract
Description
本出願は、出願番号が202010086291.6であり、出願日が2020年02月11日である中国特許出願に基づき提出されるとともに、当該中国特許出願の優先権を主張して、当該中国特許出願の全ての内容は本出願に援用される。
本出願は、人工知能技術分野、及び機械学習技術に関して、特に、情報処理方法、情報処理装置、コンピュータ可読記憶媒体及び電子装置に関する。
ゲームシーンにおけるゲーム行為主体を決定し、ゲーム行為主体がゲーム行為を実行するように制御するための行為モデルを取得するステップと、
ゲームシーンに対して特徴抽出を行うことで、ゲーム行為主体と関連するモデルゲーム状態情報を取得するステップと、
行為モデルによって、モデルゲーム状態情報に対してマッピング処理を行うことで、少なくとも2つの候補ゲーム行為に対応するモデルゲーム行為選択情報を取得するステップと、
モデルゲーム行為選択情報に基づき、少なくとも2つの候補ゲーム行為から、ゲーム行為主体が実行するモデルゲーム行為を選択するステップと、を含む。
ゲームシーンにおけるゲーム行為主体を決定し、ゲーム行為主体がゲーム行為を実行するように制御するための行為モデルを取得するように配置されるモデル取得モジュールと、
ゲームシーンに対して特徴抽出を行うことで、ゲーム行為主体と関連するモデルゲーム状態情報を取得するように配置される特徴抽出モジュールと、
行為モデルによって、モデルゲーム状態情報に対してマッピング処理を行うことで、少なくとも2つの候補ゲーム行為に対応するモデルゲーム行為選択情報を取得するように配置されるマッピング処理モジュールと、
モデルゲーム行為選択情報に基づき、少なくとも2つの候補ゲーム行為から、ゲーム行為主体が実行するモデルゲーム行為を選択するように配置される行為選択モジュールと、を含む。
gradient)アルゴリズムを採用してパラメータを最適化し、識別モデルDiscriminatorは教師あり学習の分類アルゴリズムを採用して、パラメータを更新する。
ステップS410:ゲームシーンにおけるゲーム行為主体を決定し、ゲーム行為主体がゲーム行為を実行するように制御するための行為モデルを取得する。
ステップS510:ゲームシーンにおけるシーン状態情報、及びゲーム行為主体の主体状態情報を取得する。
ステップS610:ゲーム行為主体と関連する少なくとも2つの候補ゲーム行為を決定する。
ステップS710:ランダム行為選択戦略の第1の確率及び高確率行為選択戦略の第2の確率をそれぞれ決定する。
ステップS810:モデルゲーム状態情報と、モデルゲーム行為のモデルゲーム行為情報とをモデルゲームサンプルに構成する。
ゲーム状態情報(モデルゲーム状態情報又はユーザゲーム状態情報であってもよい)に対応する第1の特徴ベクトル、及びゲーム行為情報(モデルゲーム行為情報又はユーザゲーム行為情報であってもよい)に対応する第2の特徴ベクトルを取得する。例えば、第1の特徴ベクトルは、38次元ベクトルであり、第2の特徴ベクトルは、8次元ベクトルである。
トレーニングサンプルにおける決定情報ペアの情報ペア数を取得する。例えば、情報ペア数はTである。
a)キャラクタの基本的な属性、例えば、ヒットポイント、物理攻撃、魔法攻撃、魔法、治療、物理防御、魔法防御、速度、封印命中、封印対抗など。
b)キャラクタの職業。
c)対戦の陣形特徴。
d)現在対戦のターン数。
e)現在利用可能なスキル。
を生成でき、当該方式で、Nラウンドのゲームの対戦をすれば、行為モデルから生成された軌跡データセット
ゲームシーンにおけるゲーム行為主体を決定し、ゲーム行為主体がゲーム行為を実行するように制御するための行為モデルを取得するように配置されるモデル取得モジュール1110と、
ゲームシーンに対して特徴抽出を行うことで、ゲーム行為主体と関連するモデルゲーム状態情報を取得するように配置される特徴抽出モジュール1120と、
行為モデルによって、モデルゲーム状態情報に対してマッピング処理を行うことで、少なくとも2つの候補ゲーム行為に対応するモデルゲーム行為選択情報を取得するように配置されるマッピング処理モジュール1130と、
モデルゲーム行為選択情報に基づき、少なくとも2つの候補ゲーム行為から、ゲーム行為主体が実行するモデルゲーム行為を選択するように配置される行為選択モジュール1140と、を含む。
ゲームシーンにおけるシーン状態情報、及びゲーム行為主体の主体状態情報を取得するように配置される情報取得ユニットと、
シーン状態情報に対して特徴抽出を行うことで、シーン特徴ベクトルを取得し、主体状態情報に対して特徴抽出を行うことで、主体特徴ベクトルを取得するように配置される特徴抽出ユニットと、
シーン特徴ベクトル及び主体特徴ベクトルに対して接合処理を行うことで、ゲーム行為主体と関連するモデルゲーム状態情報を取得するように配置されるベクトル接合ユニットと、を含む。
ゲーム行為主体と関連する少なくとも2つの候補ゲーム行為を決定するように配置される行為決定ユニットと、
行為モデルによって、モデルゲーム状態情報に対してマッピング処理を行うことで、各種の候補ゲーム行為の選択確率を取得するように配置されるマッピング処理ユニットと、
各種の候補ゲーム行為の行為利用可能な状態情報を取得し、行為利用可能な状態情報に基づき、候補ゲーム行為に対応する行為選別情報を決定するように配置される行為選別ユニットと、
行為選別情報に基づき、候補ゲーム行為の選択確率を調整し、調整後の選択確率をモデルゲーム行為選択情報とするように配置される確率調整ユニットと、を含む。
前記行為選別情報に基づき、前記候補ゲーム行為の行為タイプを決定するように配置される行為決定サブユニットであって、前記行為タイプは利用可能な行為及び利用不能な行為を含む行為決定サブユニットと、
前記候補ゲーム行為の行為タイプが利用不能な行為であると、その選択確率を所定確率に調整するように配置される確率調整サブユニットと、を含む。
ランダム行為選択戦略の第1の確率及び高確率行為選択戦略の第2の確率をそれぞれ決定するように配置される確率決定ユニットと、
第1の確率及び第2の確率に基づき、モデルゲーム行為を選択するためのモデル選択戦略を決定するように配置される戦略決定ユニットと、
モデル選択戦略がランダム行為選択戦略であれば、モデルゲーム行為として、少なくとも2つの候補ゲーム行為から1つの候補ゲーム行為をランダムに選択するように配置される第1の選択ユニットと、
モデル選択戦略が高価値行為選択戦略であれば、モデルゲーム行為として、少なくとも2つの候補ゲーム行為から、行為価値が最も高い1つの候補ゲーム行為を選択するように配置される第2の選択ユニットと、を含む。
モデルゲーム状態情報と、モデルゲーム行為のモデルゲーム行為情報とをモデルゲームサンプルに構成するように配置されるモデルサンプル取得モジュールと、
ゲーム行為主体と関連するユーザゲームデータを取得し、ユーザゲームデータに基づき、ユーザゲーム状態情報とユーザゲーム行為情報とからなるユーザゲームサンプルを決定するように配置されるユーザサンプル取得モジュールと、
モデルゲームサンプル及びユーザゲームサンプルをトレーニングサンプルとし、トレーニングサンプルを識別モデルに入力するように配置されるサンプル入力モジュールと、
識別モデルによりトレーニングサンプルに対してマッピング処理を行うことで、トレーニングサンプルをモデルゲームサンプル又はユーザゲームサンプルに識別するためのサンプル識別情報を取得するように配置されるサンプル識別モジュールと、
サンプル識別情報に基づき、行為モデルと識別モデルとのモデルパラメータを更新するように配置されるパラメータ更新モジュールと、をさらに含む。
1つのゲームシーン内の少なくとも1つのゲームラウンドを決定し、各ゲームラウンドのゲーム順番情報を取得するように配置されるモデルラウンド決定ユニットと、
1つのゲームラウンドに対応するモデルゲーム状態情報と、モデルゲーム行為のモデルゲーム行為情報とをモデル決定情報ペアに構成するように配置されるモデル情報取得ユニットと、
ゲーム順番情報に基づき、各ゲームラウンドのモデル決定情報ペアをモデル決定情報ペアシーケンスに構成し、モデル決定情報ペアシーケンスを、ゲームシーンに対応するモデルゲームサンプルとするように配置されるモデルサンプル取得ユニットと、を含む。
ユーザゲームデータに基づき、1つのゲームシーン内の少なくとも1つのゲームラウンドを決定し、各ゲームラウンドのゲーム順番情報を取得するように配置されるユーザラウンド決定ユニットと、
1つのゲームラウンドに対応するユーザゲーム状態情報とユーザゲーム行為情報とをユーザ決定情報ペアに構成するように配置されるユーザ情報取得ユニットと、
ゲーム順番情報に基づき、各ゲームラウンドのユーザ決定情報ペアをユーザ決定情報ペアシーケンスに構成し、ユーザ決定情報ペアシーケンスをゲームシーンに対応するユーザゲームサンプルとするように配置されるユーザサンプル取得ユニットと、を含む。
トレーニングサンプルから、ゲーム順番に従って配列された決定情報ペアを取得し、各決定情報ペアにおけるゲーム状態情報及びゲーム行為情報をそれぞれ取得するように配置されるサンプル情報取得ユニットと、
ゲーム状態情報に対応する第1の特徴ベクトル、及びゲーム行為情報に対応する第2の特徴ベクトルを取得するように配置されるサンプルベクトル取得ユニットと、
第1の特徴ベクトル及び第2の特徴ベクトルに対して接合処理を行うことで、決定情報ペアのサンプル特徴ベクトルを取得するように配置されるサンプルベクトル接合ユニットと、
ゲーム順番に従って、トレーニングサンプルにおける各決定情報ペアのサンプル特徴ベクトルを順次に識別モデルに入力するように配置されるサンプルベクトル入力ユニットと、を含む。
トレーニングサンプルにおける決定情報ペアの情報ペア数を取得するように配置される情報ペア数取得ユニットと、
識別モデルによって各決定情報ペアのサンプル特徴ベクトルに対して、マッピング処理を行うことで、各決定情報ペアの情報ペア分類確率を取得するように配置される情報ペア確率決定ユニットと、
情報ペア数及び情報ペア分類確率に基づき、トレーニングサンプルのサンプル分類確率を決定し、サンプル分類確率をサンプル識別情報とするように配置されるサンプル確率決定ユニットと、を含む。
ユーザゲームサンプルに対応するユーザサンプル期待及びモデルゲームサンプルに対応するモデルサンプル期待が含まれる目的関数を決定するように配置される関数決定ユニットと、
サンプル識別情報及び目的関数に基づき、行為モデルと識別モデルとのモデルパラメータを交互に更新するように配置されるパラメータ更新ユニットと、を含む。
行為モデルのモデルパラメータを固定し、サンプル識別情報及び目的関数に基づき、識別モデルのモデルパラメータを更新することで、ユーザゲームサンプルのサンプル分類確率を大きくして、モデルゲームサンプルのサンプル分類確率を低減させるように配置される行為モデル更新サブユニットと、
識別モデルのモデルパラメータを固定し、サンプル識別情報及び目的関数に基づき、行為モデルのモデルパラメータを更新することで、モデルゲームサンプルのサンプル分類確率を大きくするように配置される識別モデル更新サブユニットと、を含む。
Access Memory、RAM)1203に読み込んだプログラムに基づき、各種の適切な動作及び処理を実行できる中央処理ユニット(Central Processing
Unit、CPU)1201を含む。RAM 1203には、システム操作に必要な各種のプログラム及びデータがさらに記憶される。CPU 1201、ROM 1202及びRAM
1203はバス1204によって互いに接続される。入力/出力(Input /Output、I/O)インターフェース1205もバス1204に接続される。
Ray Tube、CRT)、液晶ディスプレイ(Liquid Crystal Display、LCD)、及びスピーカなどを含む出力部1207、ハードディスクなどを含む記憶部1208、及び、例えばLAN(Local Area Network、ローカルネットワーク)カード、変調復調器などのネットワークインターフェースカードを含む通信部1209という構成要素はI/Oインターフェース1205に接続される。通信部1209は、インターネットのようなネットワークによって通信処理を実行する。ドライブ1210も必要に応じてI/Oインターフェース1205に接続される。取り外し可能な媒体1211、例えば磁気ディスク、光ディスク、光磁気ディスク、半導体メモリなどは、必要に応じてドライブ1210に搭載されることで、その中から読み出されたコンピュータプログラムは、必要に応じて記憶部1208にインストールされる。
Read-Only Memory、CD―ROM)、光メモリ、磁気メモリ、又は上記の任意の適切な組み合わせを含んでもよいが、これらに限定されない。本出願の実施例において、コンピュータ可読記憶媒体はプログラムを包含するか、又は記憶する任意の有形媒体であってもよく、当該プログラムは、指令実行システム、装置又はデバイスに使用されてもよいし、又は結合されて使用されてもよい。本出願の実施例において、コンピュータ可読信号媒体は、ベースバンド、又はキャリアの一部として伝播されるデータ信号を含み、コンピュータ可読プログラムコードがキャリアされる。このように伝播されるデータ信号に対して、多種の形態を採用でき、電磁信号、光信号又は上記の任意の適切な組み合わせを含んでもよいが、これらに限定されない。コンピュータ可読信号媒体は、さらにコンピュータ可読記憶媒体以外の、任意のコンピュータ可読記憶媒体であってもよく、当該コンピュータ可読記憶媒体は、指令実行システム、装置又はデバイスに使用され、又は結合されて使用されるプログラムを送信、伝播又は伝送する。コンピュータ可読記憶媒体に含まれるプログラムコードは任意の適切な媒体で伝送されてもよく、無線、有線など、又は上記の任意の適切な組み合わせを含んでもよいが、これらに限定されない。
Claims (15)
- 電子装置が実行する情報処理方法であって、
ゲームシーンにおけるゲーム行為主体を決定し、前記ゲーム行為主体がゲーム行為を実行するように制御するための行為モデルを取得するステップと、
前記ゲームシーンに対して特徴抽出を行うことで、前記ゲーム行為主体と関連するモデルゲーム状態情報を取得するステップと、
前記行為モデルによって、前記モデルゲーム状態情報に対してマッピング処理を行うことで、少なくとも2つの候補ゲーム行為に対応するモデルゲーム行為選択情報を取得するステップと、
前記モデルゲーム行為選択情報に基づき、前記少なくとも2つの候補ゲーム行為から、前記ゲーム行為主体が実行するモデルゲーム行為を選択するステップと、を含む、
情報処理方法。 - 前記ゲームシーンに対して特徴抽出を行うことで、前記ゲーム行為主体と関連するモデルゲーム状態情報を取得する前記ステップは、
前記ゲームシーンにおけるシーン状態情報及び前記ゲーム行為主体の主体状態情報を取得するステップと、
前記シーン状態情報に対して特徴抽出を行うことで、シーン特徴ベクトルを取得し、前記主体状態情報に対して特徴抽出を行うことで、主体特徴ベクトルを取得するステップと、
前記シーン特徴ベクトル及び前記主体特徴ベクトルに対して接合処理を行うことで、前記ゲーム行為主体と関連するモデルゲーム状態情報を取得するステップと、を含む、
請求項1に記載の情報処理方法。 - 前記行為モデルによって、前記モデルゲーム状態情報に対してマッピング処理を行うことで、少なくとも2つの候補ゲーム行為に対応するモデルゲーム行為選択情報を取得する前記ステップは、
前記ゲーム行為主体と関連する少なくとも2つの候補ゲーム行為を決定するステップと、
前記行為モデルによって、前記モデルゲーム状態情報に対してマッピング処理を行うことで、各種の前記候補ゲーム行為の選択確率を取得するステップと、
各種の前記候補ゲーム行為の行為利用可能な状態情報を取得し、前記行為利用可能な状態情報に基づき、前記候補ゲーム行為に対応する行為選別情報を決定するステップと、
前記行為選別情報に基づき、前記候補ゲーム行為の選択確率を調整し、調整後の選択確率をモデルゲーム行為選択情報とするステップと、を含む、
請求項1に記載の情報処理方法。 - 前記行為選別情報に基づき、前記候補ゲーム行為の選択確率を調整する前記ステップは、
前記行為選別情報に基づき、前記候補ゲーム行為の行為タイプを決定するステップであって、前記行為タイプは、利用可能な行為及び利用不能な行為を含むステップと、
前記候補ゲーム行為の行為タイプが利用不能な行為であると、前記候補ゲーム行為の選択確率を所定確率に調整するステップと、を含む、
請求項3に記載の情報処理方法。 - 前記モデルゲーム行為選択情報に基づき、前記少なくとも2つの候補ゲーム行為から、前記ゲーム行為主体が実行するモデルゲーム行為を選択する前記ステップは、
ランダム行為選択戦略の第1の確率及び高確率行為選択戦略の第2の確率をそれぞれ決定するステップと、
前記第1の確率及び前記第2の確率に基づき、モデルゲーム行為を選択するためのモデル選択戦略を決定するステップと、
前記モデル選択戦略がランダム行為選択戦略であると、モデルゲーム行為として、前記少なくとも2つの候補ゲーム行為から1つの候補ゲーム行為をランダムに選択するステップと、
前記モデル選択戦略が高価値行為選択戦略であると、モデルゲーム行為として、前記少なくとも2つの候補ゲーム行為から、行為価値が最も高い1つの候補ゲーム行為を選択するステップと、を含む、
請求項1に記載の情報処理方法。 - 当該情報処理方法は、
前記モデルゲーム状態情報と前記モデルゲーム行為のモデルゲーム行為情報とをモデルゲームサンプルに構成するステップと、
前記ゲーム行為主体と関連するユーザゲームデータを取得し、前記ユーザゲームデータに基づき、ユーザゲーム状態情報とユーザゲーム行為情報とからなるユーザゲームサンプルを決定するステップと、
前記モデルゲームサンプル及び前記ユーザゲームサンプルをトレーニングサンプルとし、前記トレーニングサンプルを識別モデルに入力するステップと、
前記識別モデルによって、前記トレーニングサンプルに対してマッピング処理を行うことで、前記トレーニングサンプルをモデルゲームサンプル又はユーザゲームサンプルに識別するためのサンプル識別情報を取得するステップと、
前記サンプル識別情報に基づき、前記行為モデルと前記識別モデルとのモデルパラメータを更新するステップと、をさらに含む、
請求項1に記載の情報処理方法。 - 前記モデルゲーム状態情報と前記モデルゲーム行為のモデルゲーム行為情報とをモデルゲームサンプルに構成する前記ステップは、
1つのゲームシーン内の少なくとも1つのゲームラウンドを決定し、各前記ゲームラウンドのゲーム順番情報を取得するステップと、
1つのゲームラウンドに対応するモデルゲーム状態情報と、モデルゲーム行為のモデルゲーム行為情報とをモデル決定情報ペアに構成するステップと、
前記ゲーム順番情報に基づき、各前記ゲームラウンドのモデル決定情報ペアをモデル決定情報ペアシーケンスに構成し、前記モデル決定情報ペアシーケンスを前記ゲームシーンに対応するモデルゲームサンプルとするステップと、を含む、
請求項6に記載の情報処理方法。 - 前記ユーザゲームデータに基づき、ユーザゲーム状態情報とユーザゲーム行為情報とからなるユーザゲームサンプルを決定する前記ステップは、
前記ユーザゲームデータに基づき、1つのゲームシーン内の少なくとも1つのゲームラウンドを決定し、各前記ゲームラウンドのゲーム順番情報を取得するステップと、
1つのゲームラウンドに対応するユーザゲーム状態情報とユーザゲーム行為情報とをユーザ決定情報ペアに構成するステップと、
前記ゲーム順番情報に基づき、各前記ゲームラウンドのユーザ決定情報ペアをユーザ決定情報ペアシーケンスに構成し、前記ユーザ決定情報ペアシーケンスを、前記ゲームシーンに対応するユーザゲームサンプルとするステップと、を含む、
請求項6に記載の情報処理方法。 - 前記トレーニングサンプルを識別モデルに入力するステップは、
前記トレーニングサンプルから、ゲーム順番に従って配列された決定情報ペアを取得し、各前記決定情報ペアにおけるゲーム状態情報及びゲーム行為情報をそれぞれ取得するステップと、
前記ゲーム状態情報に対応する第1の特徴ベクトル、及び前記ゲーム行為情報に対応する第2の特徴ベクトルを取得するステップと、
前記第1の特徴ベクトル及び前記第2の特徴ベクトルに対して接合処理を行うことで、前記決定情報ペアのサンプル特徴ベクトルを取得するするステップと、
前記ゲーム順番に従って、前記トレーニングサンプルにおける各決定情報ペアのサンプル特徴ベクトルを順次に識別モデルに入力するステップと、を含む、
請求項6に記載の情報処理方法。 - 前記識別モデルによって、前記トレーニングサンプルに対してマッピング処理を行うことで、サンプル識別情報を取得するステップは、
前記トレーニングサンプルにおける決定情報ペアの情報ペア数を取得するステップと、
前記識別モデルによって、各前記決定情報ペアのサンプル特徴ベクトルに対してマッピング処理を行うことで、各前記決定情報ペアの情報ペア分類確率を取得するステップと、
前記情報ペア数及び前記情報ペア分類確率に基づき、前記トレーニングサンプルのサンプル分類確率を決定し、前記サンプル分類確率をサンプル識別情報とするステップと、を含む、
請求項9に記載の情報処理方法。 - 前記サンプル識別情報に基づき、前記行為モデルと前記識別モデルとのモデルパラメータを更新する前記ステップは、
ユーザゲームサンプルに対応するユーザサンプル期待及びモデルゲームサンプルに対応するモデルサンプル期待を含む目的関数を決定するステップと、
前記サンプル識別情報及び前記目的関数に基づき、前記行為モデルと前記識別モデルとのモデルパラメータを交互に更新するステップと、を含む、
請求項6に記載の情報処理方法。 - 前記サンプル識別情報及び前記目的関数に基づき、前記行為モデルと前記識別モデルとのモデルパラメータを交互に更新するステップは、
前記行為モデルのモデルパラメータを固定し、前記サンプル識別情報及び前記目的関数に基づき、前記識別モデルのモデルパラメータを更新することで、前記ユーザゲームサンプルのサンプル分類確率を大きくして、前記モデルゲームサンプルのサンプル分類確率を低減させるステップと、
前記識別モデルのモデルパラメータを固定し、前記サンプル識別情報及び前記目的関数に基づき、前記行為モデルのモデルパラメータを更新することで、前記モデルゲームサンプルのサンプル分類確率を大きくするステップと、を含む、
請求項11に記載の情報処理方法。 - ゲームシーンにおけるゲーム行為主体を決定し、前記ゲーム行為主体がゲーム行為を実行するように制御するための行為モデルを取得するように配置されるモデル取得モジュールと、
前記ゲームシーンに対して特徴抽出を行うことで、前記ゲーム行為主体と関連するモデルゲーム状態情報を取得するように配置される特徴抽出モジュールと、
前記行為モデルによって、前記モデルゲーム状態情報に対してマッピング処理を行うことで、少なくとも2つの候補ゲーム行為に対応するモデルゲーム行為選択情報を取得するように配置されるマッピング処理モジュールと、
前記モデルゲーム行為選択情報に基づき、前記少なくとも2つの候補ゲーム行為から、前記ゲーム行為主体が実行するモデルゲーム行為を選択するように配置される行為選択モジュールと、を含む、
情報処理装置。 - プロセッサによって実行される場合に、請求項1~12のいずれか1項に記載の情報処理方法を実現する、コンピュータプログラム。
- プロセッサと、
前記プロセッサの実行可能な指令を記憶するためのメモリと、を含み、
前記プロセッサは、前記実行可能な指令を実行することで、請求項1~12のいずれか1項に記載の情報処理方法を実行するように配置される、
電子装置。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010086291.6 | 2020-02-11 | ||
CN202010086291.6A CN111282267B (zh) | 2020-02-11 | 2020-02-11 | 信息处理方法、装置、介质及电子设备 |
PCT/CN2020/127092 WO2021159779A1 (zh) | 2020-02-11 | 2020-11-06 | 信息处理方法、装置、计算机可读存储介质及电子设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2023502860A true JP2023502860A (ja) | 2023-01-26 |
JP7399277B2 JP7399277B2 (ja) | 2023-12-15 |
Family
ID=71020130
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022523836A Active JP7399277B2 (ja) | 2020-02-11 | 2020-11-06 | 情報処理方法、装置、コンピュータプログラム及び電子装置 |
Country Status (5)
Country | Link |
---|---|
US (1) | US20220176248A1 (ja) |
JP (1) | JP7399277B2 (ja) |
KR (1) | KR20220080191A (ja) |
CN (1) | CN111282267B (ja) |
WO (1) | WO2021159779A1 (ja) |
Families Citing this family (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11574246B2 (en) * | 2020-01-21 | 2023-02-07 | Microsoft Technology Licensing, Llc | Updating training examples for artificial intelligence |
CN111282267B (zh) * | 2020-02-11 | 2021-08-20 | 腾讯科技(深圳)有限公司 | 信息处理方法、装置、介质及电子设备 |
CN111773732B (zh) * | 2020-09-04 | 2021-01-08 | 完美世界(北京)软件科技发展有限公司 | 目标游戏用户的检测方法、装置及设备 |
CN112905013B (zh) * | 2021-02-23 | 2024-04-26 | 超参数科技(深圳)有限公司 | 智能体控制方法、装置、计算机设备和存储介质 |
CN113144605B (zh) * | 2021-03-04 | 2024-03-08 | 百果园技术(新加坡)有限公司 | 一种用户行为模拟方法、装置、电子设备及存储介质 |
CN112843726B (zh) * | 2021-03-15 | 2024-06-25 | 网易(杭州)网络有限公司 | 智能体处理方法及装置 |
JP7519704B2 (ja) * | 2022-02-24 | 2024-07-22 | 株式会社Precious Analytics | ゲームの評価方法、装置及びプログラム |
JP7519703B2 (ja) * | 2022-02-24 | 2024-07-22 | 株式会社Precious Analytics | ゲームの評価方法、装置及びプログラム |
CN114768246B (zh) * | 2022-06-21 | 2022-08-30 | 欢喜时代(深圳)科技有限公司 | 一种游戏人机互动方法及其*** |
CN115120983A (zh) * | 2022-07-08 | 2022-09-30 | 上海纵游网络技术有限公司 | 一种游戏礼包推送方法、装置、电子设备及存储介质 |
CN115080445B (zh) * | 2022-07-21 | 2022-12-30 | 欢喜时代(深圳)科技有限公司 | 一种游戏测试管理方法及其*** |
CN115944921B (zh) * | 2023-03-13 | 2023-05-23 | 腾讯科技(深圳)有限公司 | 游戏数据处理方法、装置、设备及介质 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013252247A (ja) * | 2012-06-06 | 2013-12-19 | Kitami Institute Of Technology | ロールプレイングゲームの攻略法算出装置、算出方法、算出プログラム及びこのプログラムを記録した記録媒体 |
CN107890675A (zh) * | 2017-11-13 | 2018-04-10 | 杭州电魂网络科技股份有限公司 | Ai行为实现方法和装置 |
JP2018063602A (ja) * | 2016-10-13 | 2018-04-19 | 株式会社 ディー・エヌ・エー | Q学習を用いたニューラルネットワークの重み付け調整のためのプログラム、システム、及び方法 |
CN108283809A (zh) * | 2018-02-11 | 2018-07-17 | 腾讯科技(深圳)有限公司 | 数据处理方法、装置、计算机设备和存储介质 |
JP2019195512A (ja) * | 2018-05-10 | 2019-11-14 | 株式会社Snk | 格闘ゲームの学習装置および学習プログラム |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3448042B2 (ja) * | 2001-10-10 | 2003-09-16 | コナミ株式会社 | ゲーム画面表示プログラム、ゲーム画面表示方法及びビデオゲーム装置 |
CN100481097C (zh) * | 2006-08-08 | 2009-04-22 | 北京爱航工业公司 | 一种有限实景互动游戏*** |
US9908046B2 (en) * | 2007-10-26 | 2018-03-06 | International Business Machines Corporation | System for personalizing content presented in an avatar wait state |
CN106606865B (zh) * | 2015-10-27 | 2020-01-03 | 网易(杭州)网络有限公司 | 游戏中数据互通的方法、***及其终端和服务器 |
CN105435450B (zh) * | 2015-11-27 | 2019-08-20 | 深圳市望尘科技有限公司 | 一种预先生成游戏对战片段的游戏实现方法 |
US10909450B2 (en) * | 2016-03-29 | 2021-02-02 | Microsoft Technology Licensing, Llc | Multiple-action computational model training and operation |
CN107308642A (zh) * | 2017-07-04 | 2017-11-03 | 北京像素软件科技股份有限公司 | 角色行为定义方法、装置及电子设备 |
CN110163378A (zh) * | 2019-03-04 | 2019-08-23 | 腾讯科技(深圳)有限公司 | 特征处理方法、装置、计算机可读存储介质和计算机设备 |
CN111282267B (zh) * | 2020-02-11 | 2021-08-20 | 腾讯科技(深圳)有限公司 | 信息处理方法、装置、介质及电子设备 |
-
2020
- 2020-02-11 CN CN202010086291.6A patent/CN111282267B/zh active Active
- 2020-11-06 JP JP2022523836A patent/JP7399277B2/ja active Active
- 2020-11-06 WO PCT/CN2020/127092 patent/WO2021159779A1/zh active Application Filing
- 2020-11-06 KR KR1020227016867A patent/KR20220080191A/ko not_active Application Discontinuation
-
2022
- 2022-02-24 US US17/679,620 patent/US20220176248A1/en active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013252247A (ja) * | 2012-06-06 | 2013-12-19 | Kitami Institute Of Technology | ロールプレイングゲームの攻略法算出装置、算出方法、算出プログラム及びこのプログラムを記録した記録媒体 |
JP2018063602A (ja) * | 2016-10-13 | 2018-04-19 | 株式会社 ディー・エヌ・エー | Q学習を用いたニューラルネットワークの重み付け調整のためのプログラム、システム、及び方法 |
CN107890675A (zh) * | 2017-11-13 | 2018-04-10 | 杭州电魂网络科技股份有限公司 | Ai行为实现方法和装置 |
CN108283809A (zh) * | 2018-02-11 | 2018-07-17 | 腾讯科技(深圳)有限公司 | 数据处理方法、装置、计算机设备和存储介质 |
JP2019195512A (ja) * | 2018-05-10 | 2019-11-14 | 株式会社Snk | 格闘ゲームの学習装置および学習プログラム |
Non-Patent Citations (2)
Title |
---|
"AIが達人技を体得する技術「敵対的逆強化学習」の紹介", GMOインターネットグループ グループ研究開発本部(次世代システム研究室) [ONLINE], JPN6023019779, 11 October 2018 (2018-10-11), ISSN: 0005065049 * |
小高 知宏, 基礎から学ぶ人工知能の教科書, vol. 第1版, JPN6023019778, 25 September 2019 (2019-09-25), pages 132 - 134, ISSN: 0005065050 * |
Also Published As
Publication number | Publication date |
---|---|
CN111282267B (zh) | 2021-08-20 |
JP7399277B2 (ja) | 2023-12-15 |
KR20220080191A (ko) | 2022-06-14 |
WO2021159779A1 (zh) | 2021-08-19 |
US20220176248A1 (en) | 2022-06-09 |
CN111282267A (zh) | 2020-06-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7399277B2 (ja) | 情報処理方法、装置、コンピュータプログラム及び電子装置 | |
US20220219087A1 (en) | Artificial intelligence (ai) model training to generate an ai model personalized to a user | |
CN111111220B (zh) | 多人对战游戏的自对弈模型训练方法、装置和计算机设备 | |
CN111632379B (zh) | 游戏角色行为控制方法、装置、存储介质及电子设备 | |
CN103198358B (zh) | 信息处理设备、信息处理方法和程序 | |
US11551479B2 (en) | Motion behavior pattern classification method, system and device | |
CN111738294B (zh) | Ai模型的训练方法、使用方法、计算机设备及存储介质 | |
CN112402986B (zh) | 一种对战游戏中强化学习模型的训练方法及装置 | |
CN111450531B (zh) | 虚拟角色控制方法、装置、电子设备以及存储介质 | |
CN111282272B (zh) | 信息处理方法、计算机可读介质及电子设备 | |
Martínez et al. | Genetic search feature selection for affective modeling: a case study on reported preferences | |
CN113069769A (zh) | 云游戏界面显示方法、装置、电子设备以及存储介质 | |
CN114404977A (zh) | 行为模型的训练方法、结构扩容模型的训练方法 | |
CN116943220A (zh) | 一种游戏人工智能控制方法、装置、设备及存储介质 | |
CN112163571B (zh) | 电子设备使用者的属性识别方法、装置、设备及存储介质 | |
CN111753855B (zh) | 一种数据处理方法、装置、设备及介质 | |
KR102259786B1 (ko) | 게임 데이터 처리 방법 | |
Ring et al. | Replicating deepmind starcraft ii reinforcement learning benchmark with actor-critic methods | |
CN113476833A (zh) | 游戏动作识别方法、装置、电子设备和存储介质 | |
Rajabi et al. | A dynamic balanced level generator for video games based on deep convolutional generative adversarial networks | |
CN112717408A (zh) | 动作确定方法、装置、设备及计算机可读存储介质 | |
CN117883788B (zh) | 智能体训练方法、游戏对战方法、装置及电子设备 | |
Pillai et al. | Enhancing video game experience with playtime training and tailoring of virtual opponents: Using Deep Q-Network based Reinforcement Learning on a Multi-Agent Environment | |
Bontrager | Learning to Generate Form and Function | |
Kielmann | Neuro-evolution as an Alternative to Reinforcement Learning for Playing Atari Games |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220527 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230523 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230823 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20231121 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20231205 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7399277 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |