CN111282267B

CN111282267B - 信息处理方法、装置、介质及电子设备

Info

Publication number: CN111282267B
Application number: CN202010086291.6A
Authority: CN
Inventors: 常天元
Original assignee: Tencent Technology Shenzhen Co Ltd
Current assignee: Tencent Technology Shenzhen Co Ltd
Priority date: 2020-02-11
Filing date: 2020-02-11
Publication date: 2021-08-20
Anticipated expiration: 2040-02-11
Also published as: CN111282267A; JP7399277B2; KR20220080191A; JP2023502860A; US20220176248A1; WO2021159779A1

Abstract

本公开涉及人工智能技术领域，具体涉及一种信息处理方法、信息处理装置、计算机可读介质以及电子设备。该信息处理方法包括：确定游戏场景中的游戏行为主体，并获取用于控制所述游戏行为主体执行游戏行为的行为模型；对所述游戏场景进行特征提取，以得到与所述游戏行为主体相关的模型游戏状态信息；通过所述行为模型对所述模型游戏状态信息进行映射处理，以得到与至少两种候选游戏行为相对应的模型游戏行为选取信息；根据所述模型游戏行为选取信息从所述至少两种候选游戏行为中选取由所述游戏行为主体执行的模型游戏行为。该方法可以提高游戏AI的决策能力，使得游戏AI具有更高的拟人化效果和智能化水平。

Description

信息处理方法、装置、介质及电子设备

技术领域

本公开涉及人工智能技术领域，并涉及机器学习技术。具体而言，本公开涉及一种信息处理方法、信息处理装置、计算机可读介质以及电子设备。

背景技术

在电子游戏中通常会配置能够模仿人类游戏行为的游戏AI(ArtificialIntelligence，人工智能)，游戏AI可以作为虚拟玩家参与到游戏进程中与真实的游戏用户进行互动，也可以帮助用户理解游戏规则或者在游戏过程中为用户提供游戏决策建议，另外还可以用于对电子游戏进行自动化测试。

随着电子游戏行业的发展，电子游戏中的游戏内容元素的种类和数量变得越来越多，而游戏环境状态也变得越来越复杂。游戏AI在面对多样化的且日益复杂的游戏内容和游戏环境时，往往难以做出符合真实用户行为***低、决策能力差等问题，严重影响真实用户的游戏体验。

需要说明的是，在上述背景技术部分公开的信息仅用于加强对本申请的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。

发明内容

本公开的目的在于提供一种信息处理方法、信息处理装置、计算机可读介质以及电子设备，进而至少在一定程度上克服相关技术中存在的游戏AI智能化水平低、决策能力差等技术问题。

本公开的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本公开的实践而习得。

根据本公开实施例的一个方面，提供一种信息处理方法，该方法包括：

确定游戏场景中的游戏行为主体，并获取用于控制所述游戏行为主体执行游戏行为的行为模型；

对所述游戏场景进行特征提取，以得到与所述游戏行为主体相关的模型游戏状态信息；

通过所述行为模型对所述模型游戏状态信息进行映射处理，以得到与至少两种候选游戏行为相对应的模型游戏行为选取信息；

根据所述模型游戏行为选取信息从所述至少两种候选游戏行为中选取由所述游戏行为主体执行的模型游戏行为。

根据本公开实施例的一个方面，提供一种信息处理装置，该装置包括：

模型获取模块，被配置为确定游戏场景中的游戏行为主体，并获取用于控制所述游戏行为主体执行游戏行为的行为模型；

特征提取模块，被配置为对所述游戏场景进行特征提取，以得到与所述游戏行为主体相关的模型游戏状态信息；

映射处理模块，被配置为通过所述行为模型对所述模型游戏状态信息进行映射处理，以得到与至少两种候选游戏行为相对应的模型游戏行为选取信息；

行为选取模块，被配置为根据所述模型游戏行为选取信息从所述至少两种候选游戏行为中选取由所述游戏行为主体执行的模型游戏行为。

在本公开的一些实施例中，基于以上技术方案，所述特征提取模块包括：

信息获取单元，被配置为获取所述游戏场景中的场景状态信息以及所述游戏行为主体的主体状态信息；

特征提取单元，被配置为对所述场景状态信息进行特征提取以得到场景特征向量，并对所述主体状态信息进行特征提取以得到主体特征向量；

向量拼接单元，被配置为对所述场景特征向量和所述主体特征向量进行拼接处理，以得到与所述游戏行为主体相关的模型游戏状态信息。

在本公开的一些实施例中，基于以上技术方案，所述映射处理模块包括：

行为确定单元，被配置为确定与所述游戏行为主体相关的至少两种候选游戏行为；

映射处理单元，被配置为通过所述行为模型对所述模型游戏状态信息进行映射处理，以得到每种所述候选游戏行为的选取概率；

行为筛选单元，被配置为获取每种所述候选游戏行为的行为可用状态信息，并根据所述行为可用状态信息确定与所述候选游戏行为相对应的行为筛选信息；

概率调整单元，被配置为根据所述行为筛选信息调整所述候选游戏行为的选取概率，并将调整后的选取概率作为模型游戏行为选取信息。

在本公开的一些实施例中，基于以上技术方案，所述概率调整单元包括：

行为确定子单元，被配置为根据所述行为筛选信息确定所述候选游戏行为的行为类型，所述行为类型包括可用行为和不可用行为；

概率调整子单元，被配置为若所述候选游戏行为的行为类型为不可用行为，则将其选取概率调整为预设概率。

在本公开的一些实施例中，基于以上技术方案，所述行为选取模块包括：

概率确定单元，被配置为分别确定随机行为选取策略的第一概率和高概率行为选取策略的第二概率；

策略确定单元，被配置为根据所述第一概率和所述第二概率确定用于选取模型游戏行为的模型选取策略；

第一选取单元，被配置为若所述模型选取策略为随机行为选取策略，则从所述至少两种候选游戏行为中随机选取一种候选游戏行为作为模型游戏行为；

第二选取单元，被配置为若所述模型选取策略为高价值行为选取策略，则从所述至少两种候选游戏行为中选取行为价值最高的一种候选游戏行为作为模型游戏行为。

在本公开的一些实施例中，基于以上技术方案，所述信息处理装置还包括：

模型样本获取模块，被配置为将所述模型游戏状态信息和所述模型游戏行为的模型游戏行为信息组成模型游戏样本；

用户样本获取模块，被配置为获取与所述游戏行为主体相关的用户游戏数据，并根据所述用户游戏数据确定由用户游戏状态信息和用户游戏行为信息组成的用户游戏样本；

样本输入模块，被配置为将所述模型游戏样本和所述用户游戏样本作为训练样本，并将所述训练样本输入至鉴别模型中；

样本鉴别模块，被配置为通过所述鉴别模型对所述训练样本进行映射处理，以得到样本鉴别信息；其中，所述样本鉴别信息用于鉴别所述训练样本为模型游戏样本或者用户游戏样本；

参数更新模块，被配置为根据所述样本鉴别信息更新所述行为模型和所述鉴别模型的模型参数。

在本公开的一些实施例中，基于以上技术方案，所述模型样本获取模块包括：

模型轮次确定单元，被配置为确定一个游戏场景内的至少一个游戏轮次，并获取各个所述游戏轮次的游戏次序信息；

模型信息获取单元，被配置为将对应于一个游戏轮次的模型游戏状态信息和模型游戏行为的模型游戏行为信息组成模型决策信息对；

模型样本获取单元，被配置为根据所述游戏次序信息将各个所述游戏轮次的模型决策信息对组成模型决策信息对序列，并将所述模型决策信息对序列作为对应于所述游戏场景的模型游戏样本。

在本公开的一些实施例中，基于以上技术方案，所述用户样本获取模块包括：

用户轮次确定单元，被配置为根据所述用户游戏数据确定一个游戏场景内的至少一个游戏轮次，并获取各个所述游戏轮次的游戏次序信息；

用户信息获取单元，被配置为将对应于一个游戏轮次的用户游戏状态信息和用户游戏行为信息组成用户决策信息对；

用户样本获取单元，被配置为根据所述游戏次序信息将各个所述游戏轮次的用户决策信息对组成用户决策信息对序列，并将所述用户决策信息对序列作为对应于所述游戏场景的用户游戏样本。

在本公开的一些实施例中，基于以上技术方案，所述样本输入模块包括：

样本信息获取单元，被配置为从所述训练样本中获取按照游戏次序排列的决策信息对，并分别获取各个所述决策信息对中的游戏状态信息和游戏行为信息；

样本向量获取单元，被配置为获取对应于所述游戏状态信息的第一特征向量和对应于所述游戏行为信息的第二特征向量；

样本向量拼接单元，被配置为对所述第一特征向量和所述第二特征向量进行拼接处理以得到所述决策信息对的样本特征向量；

样本向量输入单元，被配置为按照所述游戏次序，将所述训练样本中各个决策信息对的样本特征向量依次输入至鉴别模型中。

在本公开的一些实施例中，基于以上技术方案，所述样本鉴别模块包括：

信息对数量获取单元，被配置为获取所述训练样本中的决策信息对的信息对数量；

信息对概率确定单元，被配置为通过所述鉴别模型对各个所述决策信息对的样本特征向量进行映射处理以得到每个所述决策信息对的信息对分类概率；

样本概率确定单元，被配置为根据所述信息对数量和所述信息对分类概率确定所述训练样本的样本分类概率，并将所述样本分类概率作为样本鉴别信息。

在本公开的一些实施例中，基于以上技术方案，所述参数更新模块包括：

函数确定单元，被配置为确定目标函数，所述目标函数中包括对应于用户游戏样本的用户样本期望以及对应于模型游戏样本的模型样本期望；

参数更新单元，被配置为根据所述样本鉴别信息以及所述目标函数交替更新所述行为模型和所述鉴别模型的模型参数。

在本公开的一些实施例中，基于以上技术方案，所述参数更新单元包括：

行为模型更新子单元，被配置为固定所述行为模型的模型参数，并根据所述样本鉴别信息以及所述目标函数更新所述鉴别模型的模型参数以增大所述用户游戏样本的样本分类概率并降低所述模型游戏样本的样本分类概率；

鉴别模型更新子单元，被配置为固定所述鉴别模型的模型参数，并根据所述样本鉴别信息以及所述目标函数更新所述行为模型的模型参数以增大所述模型游戏样本的样本分类概率。

根据本公开实施例的一个方面，提供一种计算机可读介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如以上技术方案中的信息处理方法。

根据本公开实施例的一个方面，提供一种电子设备，该电子设备包括：处理器；以及存储器，用于存储所述处理器的可执行指令；其中，所述处理器被配置为经由执行所述可执行指令来执行如以上技术方案中的信息处理方法。

在本公开实施例提供的技术方案中，通过对游戏场景进行特征提取得到场景特征，并利用预先训练的行为模型对场景特征进行分析决策，可以从候选游戏行为中选取游戏行为主体执行的模型游戏行为，从而获得符合用户预期的游戏行为决策。应用于游戏中配置游戏AI时，可以大幅提高游戏AI的决策能力，使得游戏AI具有更高的拟人化效果和智能化水平，极大地优化游戏用户的游戏体验。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：

图1示意性地示出了应用本公开技术方案的示例性***架构示意图。

图2示意性地示出了生成对抗模仿学习原理示意图。

图3示意性地示出了本公开实施例中使用的生成对抗模仿学习的模型架构示意图。

图4示意性地示出了本公开一些实施例中用于进行游戏行为决策的信息处理方法的步骤流程图。

图5示意性地示出了本公开一些实施例中对游戏场景进行特征提取的步骤流程图。

图6示意性地示出了本公开一些实施例中通过行为模型进行特征映射的步骤流程图。

图7示意性地示出了本公开一些实施例中基于ε-greedy策略选取模型游戏行为的步骤流程图。

图8示意性地示出了本公开一些实施例中对行为模型进行模型优化的步骤流程图。

图9示意性地示出了本公开一些实施例中使用的行为模型的网络架构示意图。

图10示意性地示出了本公开一些实施例中使用的鉴别模型的网络架构示意图。

图11示意性地示出了在本公开一些实施例中的信息处理装置的结构框图。

图12示意性地示出了适于用来实现本公开实施例的电子设备的计算机***的结构示意图。

具体实施方式

现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本公开将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。

此外，所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施例中。在下面的描述中，提供许多具体细节从而给出对本公开的实施例的充分理解。然而，本领域技术人员将意识到，可以实践本公开的技术方案而没有特定细节中的一个或更多，或者可以采用其它的方法、组元、装置、步骤等。在其它情况下，不详细示出或描述公知方法、装置、实现或者操作以避免模糊本公开的各方面。

附图中所示的方框图仅仅是功能实体，不一定必须与物理上独立的实体相对应。即，可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。

附图中所示的流程图仅是示例性说明，不是必须包括所有的内容和操作/步骤，也不是必须按所描述的顺序执行。例如，有的操作/步骤还可以分解，而有的操作/步骤可以合并或部分合并，因此实际执行的顺序有可能根据实际情况改变。

在本领域的相关技术中，基于人工智能技术在电子游戏中配置游戏AI已经成为电子游戏行业的普遍做法。例如，游戏AI可以在游戏教学环节为用户提供游戏规则的教学和指引，也可以在游戏过程中为用户提供游戏决策建议，另外还可以作为虚拟玩家实现人机对战，或者用于在游戏开发过程中进行自动化测试等等。

人工智能(Artificial Intelligence，AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用***。换言之，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。

人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互***、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。

机器学习(Machine Learning，ML)是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、式教学习等技术。

通过机器学习或者深度学习对游戏AI进行训练可以模仿真实用户的游戏决策行为，以便提高游戏AI的决策能力，使之能够做出符合人类行为逻辑的有效决策。但是，对于一些规则复杂多样的电子游戏而言，即便付出大量的训练时间和计算资源，也仍然难以获得很好的训练效果。

以回合制角色扮演类游戏为例，在一些游戏中的非玩家角色(Non-PlayerCharacter，NPC)大部分通过建立决策树的方式来实现自动化地释放技能。决策树算法通过对相关特征的选取来建立树结构，每个父代的子节点代表该节点所有的技能释放策略。该技术局限于小样本数据本身，产生的游戏行为策略比较固定单一，技能的选取和释放较为随机，智能化程度低，往往会出现在训练集上的表现较好但在真实的游戏环境中策略表现较差，存在严重的过拟合现象。这种游戏AI在与真实游戏用户进行多人对战时，游戏AI的技能释放策略往往比较单一固定，没有明确的目的性，与真实游戏用户的技能释放与攻击目标选择等决策行为的差异较大，不能在对战过程中给到真实游戏用户相对应的挑战和成长，导致用户的游戏体验较差。

针对以上技术方案中存在的问题，本公开提供了一种信息处理方法、信息处理装置、计算机可读介质以及电子设备，能够显著提高游戏AI的智能化水平

如图1所示，***架构100可以包括客户端110、网络120和服务端130。客户端110可以包括智能手机、平板电脑、笔记本电脑、台式电脑等各种终端设备。服务端130可以包括网络服务器、应用服务器、数据库服务器等各种服务器设备。网络120可以是能够在客户端110和服务端130之间提供通信链路的各种连接类型的通信介质，例如可以是有线通信链路、无线通信链路等等。

根据实现需要，本公开实施例中的***架构可以具有任意数目的客户端、网络和服务端。例如，服务端130可以是由多个服务器设备组成的服务器群组。另外，本公开实施例中的技术方案可以应用于客户端110，也可以应用于服务端130，或者可以由客户端110和服务端130共同实现，本公开对此不做特殊限定。

举例而言，通过客户端110上安装的游戏应用程序，可以采集真实游戏用户的游戏数据，然后通过网络120将游戏数据上传至服务端130。服务端130可以基于接收到的游戏数据进行机器学习模型的训练，从而得到模仿用户游戏行为进行游戏决策的游戏AI模型。该游戏AI模型可以根据客户端110上传的游戏数据做出游戏决策，选取一种游戏行为(如技能释放行为)，并将行为选取信息发送至客户端110。客户端110根据服务端130返回的游戏行为选取信息控制游戏应用程序中的游戏角色实施相应的游戏行为。

以回合制角色扮演类游戏为例，本公开实施例提供的技术方案可以用于对作为NPC角色的游戏AI的智能化技能释放进行训练。在回合制角色扮演类游戏中，游戏用户与NPC角色在游戏场景中的游戏角色的技能往往有多个且每回合的技能释放和当前回合的各个游戏角色所处的状态有关，因此NPC角色对战策略学习的复杂性和难度比较高，网络模型直接从零开始学习的成本很高。本公开技术方案基于模仿学习的思想，即通过观察模仿真实游戏用户的技能释放的行为来进行对战策略学习。本公开技术方案在模仿学习的基础上引入生成对抗学习的思想，从而利用生成对抗模仿学习的方式对作为NPC角色的游戏AI进行训练。图2示意性地示出了生成对抗模仿学习原理示意图，如图2所示，假设真实游戏用户通过运行游戏产生的用户游戏数据集

服从某一分布，其中用户游戏数据

表示真实游戏用户对应游戏行为主体(如游戏用户控制的游戏角色)在游戏场景中的用户游戏状态，

表示真实游戏用户在面对相应用户游戏状态做出的用户游戏行为。本公开技术方案通过行为模型Actor与游戏场景不断交互可以产生模仿真实游戏用户的游戏行为的模型游戏数据集{τ₁,τ₂,…τ_N}，其中τ＝{s₁,a₁,s₂,a₂…s_T,a_T}，s表示行为模型对应的游戏行为主体(如NPC角色)在游戏场景中的模型游戏状态，a表示行为模型在面对相应模型游戏状态做出的模型游戏行为。通过生成对抗学习的方法可以使模型游戏数据集逐渐接近用户游戏数据集的概率分布，通过不断学习行为模型Actor最终可以学到用户游戏数据的概率分布，这样行为模型输出的技能释放和击杀目标选择等游戏行为都将更加接近真实游戏用户的行为。

图3示意性地示出了本公开实施例中使用的生成对抗模仿学习的模型架构示意图。如图3所示，在生成对抗模仿学习的过程中，行为模型Actor的学习目标是通过不断优化策略π使其生成的模型游戏数据集{τ₁,τ₂,…τ_N}与真实游戏用户的用户游戏数据集

的概率分布尽可能接近，从而使得鉴别模型Discriminator无法区分模型输入的数据是真实游戏用户的用户游戏数据还是行为模型Actor生成的模型游戏数据；鉴别模型Discriminator的学习目标是尽可能区分模型输入的数据是用户游戏数据还是模型游戏数据。在一些可选的实施方式中，行为模型Actor的学习算法可以采用深度强化学习中的策略梯度(policy gradient)算法来进行参数优化，鉴别模型Discriminator可以采用监督学习的分类算法来进行参数更新。

下面结合具体实施方式对本公开提供的技术方案做出详细说明。需要说明的是，以下各实施例主要以回合制角色扮演类游戏作为示例，但本公开并不以此为限。

图4示意性地示出了本公开一些实施例中用于进行游戏行为决策的信息处理方法的步骤流程图。如图4所示，该方法主要可以包括以下步骤：

步骤S410.确定游戏场景中的游戏行为主体，并获取用于控制游戏行为主体执行游戏行为的行为模型。

游戏行为主体是在游戏场景中执行游戏行为的主体对象，例如可以是游戏中的NPC角色，该NPC角色可以与游戏用户控制的人物角色进行对战。行为模型是预先训练的游戏AI模型，行为模型可以根据游戏场景控制游戏行为主体执行游戏行为。例如，一个NPC角色具有8种不同的游戏技能，这8种游戏技能的释放便属于8种不同的游戏行为。又例如，NPC角色可以使用多种不同类型的游戏道具，如虚拟武器、虚拟物品等等，不同类型游戏道具的使用也可以作为不同类型的游戏行为。

步骤S420.对游戏场景进行特征提取，以得到与游戏行为主体相关的模型游戏状态信息。

游戏行为主体实施何种游戏行为与游戏场景的场景特征相关，通过对多种不同类型的场景特征进行特征提取可以得到与游戏行为主体相关的模型游戏状态信息，其中场景特征例如可以包括游戏角色的职业、血量、可用技能等信息。经过特征提取得到的模型游戏状态信息可以是具有指定长度的特征向量，例如可以是一个38维向量。对游戏场景的场景特征进行特征提取的方法例如可以包括：先对场景特征进行编码处理以得到编码向量，再将编码向量与嵌入矩阵相乘以得到具有指定长度的特征向量。

步骤S430.通过行为模型对模型游戏状态信息进行映射处理，以得到与至少两种候选游戏行为相对应的模型游戏行为选取信息。

行为模型可以是包括多个网络层的神经网络模型，例如可以是由多个全连接层依次连接组成的全连接网络模型。行为模型中的每个网络层均可以看做是一个映射函数，通过对输入行为模型的模型游戏状态信息逐层地进行特征映射处理，可以输出得到模型游戏行为选取信息。模型游戏行为选取信息是与至少两种候选游戏行为相对应的行为决策信息，例如可以是经过行为模型分析决策得到的每种候选游戏行为的选取概率。候选游戏行为例如可以是游戏行为主体能够在游戏场景进行释放的不同类型的游戏技能。

步骤S440.根据模型游戏行为选取信息从至少两种候选游戏行为中选取由游戏行为主体执行的模型游戏行为。

模型游戏行为选取信息可以是每种候选游戏行为的选取概率，本步骤可以采用贪心算法将选取概率最高的一个候选游戏行为作为游戏行为主体执行的模型游戏行为。或者也可以按照选取概率从至少两种候选游戏行为中随机选取一个由游戏行为主体执行的模型游戏行为。

在本公开实施例提供的信息处理方法中，通过对游戏场景进行特征提取得到场景特征，并利用预先训练的行为模型对场景特征进行分析决策，可以从候选游戏行为中选取游戏行为主体执行的模型游戏行为，从而获得符合用户预期的游戏行为决策。应用于游戏中配置游戏AI时，可以大幅提高游戏AI的决策能力，使得游戏AI具有更高的拟人化效果和智能化水平，极大地优化游戏用户的游戏体验。

图5示意性地示出了本公开一些实施例中对游戏场景进行特征提取的步骤流程图。如图5所示，在以上实施例的基础上，步骤S420.对游戏场景进行特征提取，以得到与游戏行为主体相关的模型游戏状态信息，可以包括以下步骤：

步骤S510.获取游戏场景中的场景状态信息以及游戏行为主体的主体状态信息。

场景状态信息是与游戏场景中的场景环境相关的信息，主体状态信息是与游戏行为主体的自身游戏属性相关的信息。例如在回合制角色扮演类游戏中，场景状态信息可以包括当前对战的回合数、对战对象的分布位置等环境信息，主体状态信息可以包括游戏行为主体的职业、血量、魔法量等属性信息。

步骤S520.对场景状态信息进行特征提取以得到场景特征向量，并对主体状态信息进行特征提取以得到主体特征向量。

场景状态信息可以包括多种不同类型的环境信息，针对每种环境信息可以分别进行特征提取以得到多个场景特征向量。主体状态信息也可以包括多种不同类型的属性信息，针对每种属性信息可以分别进行特征提取以得到多个主体特征向量。

步骤S530.对场景特征向量和主体特征向量进行拼接处理，以得到与游戏行为主体相关的模型游戏状态信息。

将场景特征向量和主体特征向量按照指定的拼接顺序进行拼接处理后，可以形成一个具有指定长度的拼接向量，该拼接向量即作为与游戏行为主体相关的模型游戏状态信息。

通过对场景状态信息和主体状态信息分别进行特征提取，可以得到覆盖多种环境信息和属性信息的模型游戏状态信息，该信息具有多个特征维度。基于多个特征维度进行行为决策可以提高行为模型的分析和决策能力，进一步提高行为模型的智能化水平。

图6示意性地示出了本公开一些实施例中通过行为模型进行特征映射的步骤流程图。如图6所示，在以上实施例的基础上，步骤S430.通过行为模型对模型游戏状态信息进行映射处理，以得到与至少两种候选游戏行为相对应的模型游戏行为选取信息，可以包括以下步骤：

步骤S610.确定与游戏行为主体相关的至少两种候选游戏行为。

候选游戏行为是可供游戏行为主体选取执行的游戏行为，例如当游戏行为主体是某个游戏角色时，候选游戏行为可以是该游戏角色释放某种游戏技能或者使用某种游戏道具。

步骤S620.通过行为模型对模型游戏状态信息进行映射处理，以得到每种候选游戏行为的选取概率。

选取概率的高低决定了每种候选游戏行为被选取作为模型游戏行为的可能性的大小。一种候选游戏行为的选取概率越高，表示行为模型预测执行该候选游戏行为的游戏收益效果越好。

步骤S630.获取每种候选游戏行为的行为可用状态信息，并根据行为可用状态信息确定与候选游戏行为相对应的行为筛选信息。

行为可用状态信息表示每种候选游戏行为在当前游戏场景中是否可用，基于每种候选游戏行为的行为可用状态信息可以确定对应的行为筛选信息。行为筛选信息可以是一个具有指定长度的筛选向量，该筛选向量的长度即为候选游戏行为的数量。例如，8种候选游戏行为可以对应一个8维的筛选向量。筛选向量中每个元素可以取值为0或者1，取值为0表示对应的候选游戏行为不可以被选取执行，取值为1表示对应的候选游戏行为可以被选取执行。

步骤S640.根据行为筛选信息调整候选游戏行为的选取概率，并将调整后的选取概率作为模型游戏行为选取信息。

根据行为筛选信息可以确定候选游戏行为是可用行为或者不可用行为，可用行为是可以被选取执行的游戏行为，而不可用行为则是不能被选取执行的游戏行为。若候选游戏行为是可用行为，则保持其选取概率不变。若候选游戏行为是不可用行为，则将其选取概率调整为预设概率，例如可以将其选取概率调整为0，或者调整为接近0的极小值。

通过获取行为筛选信息，并基于行为筛选信息采用调整选取概率的方式对候选游戏行为进行过滤，可以提高行为模型的决策精度，并且可以避免出现无效行为决策的问题。

根据获取到的游戏行为选取信息可以采用不同的行为选取策略选取模型游戏行为。图7示意性地示出了本公开一些实施例中基于ε-greedy策略选取模型游戏行为的步骤流程图。

如图7所示，在以上各实施例的基础上，步骤S440.根据游戏行为选取信息从至少两种候选游戏行为中选取由游戏行为主体执行的模型游戏行为，可以包括以下步骤：

步骤S710.分别确定随机行为选取策略的第一概率和高概率行为选取策略的第二概率。

随机行为选取策略和高概率行为选取策略是两种不同的游戏行为选取策略。其中，随机行为选取策略指的是按照等概率随机选取的方式从多种候选游戏行为中选取一种作为模型游戏行为。高概率行为选取策略指的是从多种候选游戏行为中将选取概率最高的一种候选游戏行为作为模型游戏行为。举例而言，如果随机行为选取策略的第一概率为ε，那么高概率行为选取策略的第二概率可以相应确定为1-ε。

步骤S720.根据第一概率和第二概率确定用于选取模型游戏行为的模型选取策略。

每次在选取模型游戏行为前，可以先按照第一概率和第二概率确定一种模型选取策略。例如，当ε取值为0.1时，有10％的概率采用随机行为选取策略作为模型选取策略，而有90％的概率采用高概率行为选取策略作为模型选取策略。又例如，当ε取值为0.01时，有1％的概率采用随机行为选取策略作为模型选取策略，而有99％的概率采用高概率行为选取策略作为模型选取策略。

步骤S730.若模型选取策略为随机行为选取策略，则从至少两种候选游戏行为中随机选取一种候选游戏行为作为模型游戏行为。

如果模型选取策略为随机行为选取策略，那么本步骤可以采用等概率随机选取的方式在多种候选游戏行为中随机选取一种候选游戏行为作为模型游戏行为。

步骤S740.若模型选取策略为高价值行为选取策略，则从至少两种候选游戏行为中选取行为价值最高的一种候选游戏行为作为模型游戏行为。

如果当前选取策略为高概率行为选取策略，那么本步骤可以将选取概率最高的一种候选游戏行为作为模型游戏行为。例如，释放游戏技能A、释放游戏技能B和释放游戏技能C作为三种候选游戏行为，其选取概率依次为70％、20％和10％，那么本步骤可以将选取概率最高的释放游戏技能A作为模型游戏行为。

本公开实施例利用ε-greedy策略选取模型游戏行为，可以提高行为模型的持续优化能力。

在实际应用中，通过不断采集真实游戏用户的用户游戏数据，并获取行为模型的模型游戏数据，可以持续地对行为模型进行参数更新和优化。图8示意性地示出了本公开一些实施例中对行为模型进行模型优化的步骤流程图。如图8所示，在以上各实施例的基础上，对行为模型进行模型优化的方法可以包括以下步骤：

步骤S810.将模型游戏状态信息和模型游戏行为的模型游戏行为信息组成模型游戏样本。

本步骤可以先确定一个游戏场景内的至少一个游戏轮次(例如回合制游戏中的一个游戏回合)，并获取各个游戏轮次的游戏次序信息。

然后将对应于一个游戏轮次的模型游戏状态信息和模型游戏行为的模型游戏行为信息组成模型决策信息对。

最后根据游戏次序信息将各个游戏轮次的模型决策信息对组成模型决策信息对序列，并将模型决策信息对序列作为对应于游戏场景的模型游戏样本。

以模型决策信息对序列作为模型游戏样本，可以提高样本的表征能力，在训练过程中可以更好地学习多个连续行为之间的内在关联特征，从而获得更好的模型训练效果。

举例而言，在一个游戏场景中包括有3个游戏轮次，那么每个游戏轮次可以相应地分别确定模型决策信息对(s₁,a₁)、(s₂,a₂)和(s₃,a₃)。其中，s代表模型游戏状态信息，a代表模型游戏行为信息。由这三个模型决策信息对按照游戏轮次的先后顺序进行排列，可以组成一个模型决策信息对序列{s₁,a₁,s₂,a₂,s₃,a₃}，该模型决策信息对序列即作为该游戏场景对应的模型游戏样本。

步骤S820.获取与游戏行为主体相关的用户游戏数据，并根据用户游戏数据确定由用户游戏状态信息和用户游戏行为信息组成的用户游戏样本。

作为行为模型的模仿学习对象，本步骤可以获取与游戏行为主体相关的用户游戏数据，并基于用户游戏数据得到用户游戏样本。

与模型游戏样本的获取方式相似的，本步骤可以先根据用户游戏数据确定一个游戏场景内的至少一个游戏轮次，并获取各个游戏轮次的游戏次序信息。

然后将对应于一个游戏轮次的用户游戏状态信息和用户游戏行为信息组成用户决策信息对。

最后再根据游戏次序信息将各个游戏轮次的用户决策信息对组成用户决策信息对序列，并将用户决策信息对序列作为对应于游戏场景的用户游戏样本。

步骤S830.将模型游戏样本和用户游戏样本作为训练样本，并将训练样本输入至鉴别模型中。

在一些可选的实施方式中，本步骤对训练样本进行向量化处理以输入至鉴别模型的方法可以包括以下步骤：

获取对应于游戏状态信息(可以是模型游戏状态信息或者用户游戏状态信息)的第一特征向量和对应于游戏行为信息(可以是模型游戏行为信息或者用户游戏行为信息)的第二特征向量。例如，第一特征向量是一个38维向量，而第二特征向量为一个8维向量。

对第一特征向量和第二特征向量进行拼接处理以得到决策信息对(可以是模型决策信息对或者用户决策信息对)的样本特征向量。样本特征向量例如可以是按照第一特征向量在前、第二特征向量在后的顺序拼接而成的46维向量。

按照游戏次序，将训练样本中各个决策信息对的样本特征向量依次输入至鉴别模型中。

通过将训练样本中的决策信息对进行向量化处理，可以得到形式统一的样本特征向量，再依次输入至鉴别模型中，可以提高鉴别模型的鉴别效率，进而提高模型训练效率并降低计算资源消耗。

步骤S840.通过鉴别模型对训练样本进行映射处理，以得到样本鉴别信息。

其中，样本鉴别信息用于鉴别训练样本为模型游戏样本或者用户游戏样本。

在一些可选的实施方式中，本步骤获得样本鉴别信息的方法可以进一步包括以下步骤：

获取训练样本中的决策信息对的信息对数量。例如，信息对数量为T。

通过鉴别模型对各个决策信息对的样本特征向量进行映射处理以得到每个决策信息对的信息对分类概率。例如，每个决策信息对的信息对分类概率分别为d_t，其中t取值为1～T。

根据信息对数量和信息对分类概率确定训练样本的样本分类概率，并将样本分类概率作为样本鉴别信息。例如，可以直接将各个信息对分类概率的平均值

作为样本分类概率。若样本分类概率大于0.5，可以鉴别训练样本为用户游戏样本。若样本分类概率小于或等于0.5，则可以鉴别训练样本为模型游戏样本。

根据若干数量决策信息对的信息对分类概率计算得到样本分类概率，可以提高鉴别模型的鉴别准确率，避免出现鉴别结果异常的问题。

步骤S850.根据样本鉴别信息更新行为模型和鉴别模型的模型参数。

行为模型和鉴别模型可以组成生成对抗网络，在对抗过程中不断更新二者的模型参数。鉴别模型需要尽可能地提高自身的鉴别能力，通过对模型参数的更新和优化以提高样本鉴别信息的准确性。而行为模型需要尽可能地提高自身的模仿能力，通过对模型参数的更新和优化以输出接近用户游戏样本概率分布的模型游戏样本，使得鉴别模型难以准确分辨训练样本的样本类型。通过对抗学习对模型参数进行迭代更新可以得到接近真实游戏用户决策行为特点的行为模型。

在一些可选的实施方式中，本步骤可以先确定目标函数，目标函数中包括对应于用户游戏样本的用户样本期望以及对应于模型游戏样本的模型样本期望；然后再根据样本鉴别信息以及目标函数交替更新行为模型和鉴别模型的模型参数。

具体而言，行为模型和鉴别模型采用对抗博弈的方式进行参数更新，二者共同的目标函数包括对应于用户游戏样本的用户样本期望以及对应于模型游戏样本的模型样本期望。例如，用户样本期望可以表示为

模型样本期望可以表示为

其中，

代表用户游戏样本的概率分布，

代表用户游戏样本在鉴别模型中的样本分类概率。p_actor(τ)代表模型游戏样本的概率分布，D(τ)代表模型游戏样本在鉴别模型中的样本分类概率。

行为模型和鉴别模型的参数更新过程可以交替进行。例如，在更新一次行为模型的模型参数后，可以立即更新一次鉴别模型的模型参数，如此交替往复以不断进行模型参数的迭代更新。又例如，为了提高模型训练效率，也可以先对行为模型连续地迭代更新多次，然后再更新一次鉴别模型。

鉴别模型的训练目标是尽可能准确地鉴别出训练样本中的用户游戏样本和模型游戏样本。因此，在鉴别模型的训练轮次下，可以固定行为模型的模型参数，并根据样本鉴别信息以及目标函数更新鉴别模型的模型参数以增大用户游戏样本的样本分类概率并降低模型游戏样本的样本分类概率。

行为模型的训练目标是尽可能欺骗鉴别模型，使得鉴别模型难以正确地鉴别训练样本中的用户游戏样本和模型游戏样本。因此，在行为模型的训练轮次下，可以固定鉴别模型的模型参数，并根据样本鉴别信息以及目标函数更新行为模型的模型参数以增大模型游戏样本的样本分类概率。

在本公开实施例提供的对行为模型的模型优化方法中，通过生成对抗模仿学习从真实游戏用户的游戏数据中学习用户游戏样本的概率分布，可以引导行为模型做出接近真实游戏用户行为特点或者符合真实游戏用户行为预期的游戏行为策略。基于生成对抗模仿学习的训练方法不仅可以降低模型训练过程中计算资源的消耗，而且可以提高模型的训练效率，获得更好的训练效果。

下面结合一回合制游戏中的具体应用场景对以上实施例中涉及的行为模型的训练方法做出详细说明。

图9示意性地示出了本公开一些实施例中使用的行为模型的网络架构示意图。如图9所示，该行为模型主要为多层感知网络结构，模型的输入为当前游戏回合的游戏状态特征State。例如，游戏状态特征State可以表示为一个38维的特征向量，其中涉及的信息例如可以包括：

a)角色的基本属性，如血量、物攻、法功、魔法、治疗、物防、法防、速度、封命、封抗等等。

b)角色的职业。

c)对战的阵法特征。

d)当前对战的回合数。

e)当前可用的技能。

行为模型的整体结构主要包括：三个维度分别为1024、512、256的全连接层FC910、FC920和FC930，另外还包括一个输出向量维度为8的全连接输出层940，全连接输出层940一共可以输出8种游戏技能skill_1、skill_2……skill_8的选取概率。由全连接输出层940输出的8维向量与一个维度为8的技能筛选向量950相乘，最终得到输出向量维度为8的技能输出层960，技能输出层960输出的结果就是游戏中游戏角色的每个技能在该回合释放的概率分布。

全连接输出层940的输出向量维度为8，代表游戏角色的技能不超过8种。由于在回合制游戏中，游戏角色有的技能在某一回合释放以后会有额外的效果，例如使玩家进入休息状态而在下回合中不能释放技能，或者当游戏角色的血量低于某些状态时无法使用某些特定的技能等等情况，因此需要对行为模型预测输出的每一个技能的预测概率乘以技能筛选向量以便筛选得到每回合游戏角色实际可选用的技能。其中维度为8的技能筛选向量由8个数值为0或者1的元素组成，0或者1的取值由每回合游戏客户端发送的该回合技能可用列表决定。以某一款角色扮演回合制游戏中性别为男、职业为力量的游戏角色为例，该游戏角色的技能列表为[“烈阳冲击”，“腥风三连斩”，“生命感知”，“血之掠夺”，“暗影潜伏”，“奥义·地裂陨星”]，一共包括6个主动技能。如果该游戏角色在某个游戏回合中的技能筛选向量为[1,1,1,0,1,1,0,0]，那么游戏筛选向量第4个位置的取值为0代表该角色在该回合第4个技能“血之掠夺”是无法使用的，第7个位置和第8个位置的值填充为0是由于该角色只有6个主动技能可以释放，其余元素的取值为1代表该角色在该回合其余技能均为可以使用的状态。通过这种方式，对行为模型引入技能筛选向量来筛选出不同游戏角色在不同战斗回合可选用的游戏技能，这样不仅可以提升行为模型预测的精度，同时也能解决无效技能选取的问题。

图10示意性地示出了本公开一些实施例中使用的鉴别模型的网络架构示意图。如图10所示，鉴别模型的输入为游戏角色的某条游戏轨迹数据，例如可以是由38维的游戏状态特征s_t和8维的游戏行为特征a_t拼接而成的特征向量。鉴别模型的输入既可以是真实游戏用户的state-action轨迹数据，也可以是行为模型生成的state-action轨迹数据。鉴别模型的整体结构主要包括三个维度分别为1024、512、256的全连接层FC1010、FC1020和FC1030，鉴别模型的输出层为一个2维的分类器1040，当模型预测的分类概率大于0.5时鉴别模型判定模型输入的轨迹数据为真实玩家state-action轨迹数据Real，当分类概率小于0.5时鉴别模型判定输入的轨迹数据是行为模型生成的state-action轨迹数据Fake。

在模型训练过程中，鉴别模型的训练目标就是要尽可能地将行为模型生成的轨迹数据{s₁,a₁,s₂,a₂…s_T,a_T}与真实游戏用户的轨迹数据

区分开来，即最大化

使训练样本分配到正确标签的概率最大，其中

d(s_t,a_t)为行为模型针对输入的决策信息对(s_t,a_t)的输出概率。行为模型的训练目标是尽可能生成接近真实游戏用户的真实游戏轨迹数据分布的样本来欺骗鉴别模型，即最小化log(1-D(τ))。生成对抗模仿学习的本质就是不断进行minmax对抗博弈，目标函数公式如下：

在模型训练早期，由于训练刚开始行为模型的模仿能力较差，因此它输出的结果明显与真实游戏用户的游戏数据差异性较大，因此鉴别模型能以很高的置信度来判定真假，输出的概率值接近于1或者0，这样比较容易导致生成网络梯度消失。在这种情况下，可以在行为模型的训练轮次下将目标函数由最小化log(1-D(τ))替换为最大化logD(τ)，这样会在训练早期提供比较大的梯度。

在建立由行为模型和鉴别模型组成的生成对抗网络后，可以开始进行模型训练。

首先，随机初始化行为模型和鉴别模型的权重参数，通过对神经网络模型的权重随机初始化可以加速模型的收敛速度和性能。

然后，将一局游戏当前游戏回合的游戏状态特征state作为权重参数为θ^π的行为模型的输入，将行为模型输出的游戏行为特征action作为游戏角色在该游戏回合的释放技能，通过游戏环境不断与行为模型进行交互可以产生状态行为序列τ＝{s₁,a₁,s₂,a₂…s_T,a_T}，通过该方式对战N局游戏就可以获取到行为模型生成的轨迹数据集{τ₁,τ₂,…τ_N}。

通过交叉熵损失函数更新鉴别模型的模型参数，增大真实游戏用户的真实游戏轨迹对应的

的输出概率，降低行为模型生成的生成游戏轨迹对应的D(τ_i)的输出概率。

采用深度强化学习中的策略梯度算法(policy gradient)更新行为模型的模型参数，从而增大D(τ_i)的输出概率。

强化学习的目标函数为：

其中：

τ＝{s₁,a₁,s₂,a₂…s_T,a_T}代表一组状态与行为序列。

代表序列τ的累积奖励reward之和。

P(τ；θ)代表序列τ出现的概率。

策略梯度方法的目标就是找到一组最佳的参数θ^*来表示策略函数，使得累计奖励的期望最大，即：

寻找最优参数θ^*的过程就是在寻找最优策略或者说最优路径，在策略梯度算法中通过梯度下降算法来进行参数优化更新来解决，即：

其中，η为学习率。

目标函数的梯度计算为：

其中梯度的计算转换为求解

的期望，可以利用蒙特卡洛法近似估算，即根据当前策略采样N条轨迹来近似求解目标函数的梯度：

在生成对抗模仿学习中，行为模型采用策略梯度算法来进行参数更新时R(τ)并不会直接由***给出，而是将鉴别模型的输出D(τ)作为R(τ)来代表序列τ的reward之和，因此行为模型的参数更新如下：

基于本公开实施例提供的对行为模型进行训练的技术方案，可以在电子游戏中配置接近真实游戏用户行为决策习惯或者符合真实游戏用户行为决策预期的游戏AI，该游戏AI可以作为NPC角色参与到游戏运行过程中，或者也可以作为测试角色用于在游戏开发过程中进行自动化测试。

应当注意，尽管在附图中以特定顺序描述了本公开中方法的各个步骤，但是，这并非要求或者暗示必须按照该特定顺序来执行这些步骤，或是必须执行全部所示的步骤才能实现期望的结果。附加的或备选的，可以省略某些步骤，将多个步骤合并为一个步骤执行，以及/或者将一个步骤分解为多个步骤执行等。

以下介绍本公开的装置实施例，可以用于执行本公开上述实施例中的行为模型的训练方法或者基于人工智能的游戏行为决策方法。对于本公开装置实施例中未披露的细节，请参照本公开上述方法实施例部分。

图11示意性地示出了在本公开一些实施例中的信息处理装置的结构框图。如图11所示，信息处理装置1100主要可以包括：

模型获取模块1110，被配置为确定游戏场景中的游戏行为主体，并获取用于控制游戏行为主体执行游戏行为的行为模型；

特征提取模块1120，被配置为对游戏场景进行特征提取，以得到与游戏行为主体相关的模型游戏状态信息；

映射处理模块1130，被配置为通过行为模型对模型游戏状态信息进行映射处理，以得到与至少两种候选游戏行为相对应的模型游戏行为选取信息；

行为选取模块1140，被配置为根据模型游戏行为选取信息从至少两种候选游戏行为中选取由游戏行为主体执行的模型游戏行为。

在本公开的一些实施例中，基于以上各实施例，特征提取模块1120可以进一步包括：

信息获取单元，被配置为获取游戏场景中的场景状态信息以及游戏行为主体的主体状态信息；

特征提取单元，被配置为对场景状态信息进行特征提取以得到场景特征向量，并对主体状态信息进行特征提取以得到主体特征向量；

向量拼接单元，被配置为对场景特征向量和主体特征向量进行拼接处理，以得到与游戏行为主体相关的模型游戏状态信息。

在本公开的一些实施例中，基于以上各实施例，映射处理模块1130可以进一步包括：

行为确定单元，被配置为确定与游戏行为主体相关的至少两种候选游戏行为；

映射处理单元，被配置为通过行为模型对模型游戏状态信息进行映射处理，以得到每种候选游戏行为的选取概率；

行为筛选单元，被配置为获取每种候选游戏行为的行为可用状态信息，并根据行为可用状态信息确定与候选游戏行为相对应的行为筛选信息；

概率调整单元，被配置为根据行为筛选信息调整候选游戏行为的选取概率，并将调整后的选取概率作为模型游戏行为选取信息。

在本公开的一些实施例中，基于以上各实施例，概率调整单元可以进一步包括：

在本公开的一些实施例中，基于以上各实施例，行为选取模块1140可以进一步包括：

策略确定单元，被配置为根据第一概率和第二概率确定用于选取模型游戏行为的模型选取策略；

第一选取单元，被配置为若模型选取策略为随机行为选取策略，则从至少两种候选游戏行为中随机选取一种候选游戏行为作为模型游戏行为；

第二选取单元，被配置为若模型选取策略为高价值行为选取策略，则从至少两种候选游戏行为中选取行为价值最高的一种候选游戏行为作为模型游戏行为。

在本公开的一些实施例中，基于以上各实施例，信息处理装置还可以进一步包括：

模型样本获取模块，被配置为将模型游戏状态信息和模型游戏行为的模型游戏行为信息组成模型游戏样本；

用户样本获取模块，被配置为获取与游戏行为主体相关的用户游戏数据，并根据用户游戏数据确定由用户游戏状态信息和用户游戏行为信息组成的用户游戏样本；

样本输入模块，被配置为将模型游戏样本和用户游戏样本作为训练样本，并将训练样本输入至鉴别模型中；

样本鉴别模块，被配置为通过鉴别模型对训练样本进行映射处理，以得到样本鉴别信息；其中，样本鉴别信息用于鉴别训练样本为模型游戏样本或者用户游戏样本；

参数更新模块，被配置为根据样本鉴别信息更新行为模型和鉴别模型的模型参数。

在本公开的一些实施例中，基于以上各实施例，模型样本获取模块可以进一步包括：

模型轮次确定单元，被配置为确定一个游戏场景内的至少一个游戏轮次，并获取各个游戏轮次的游戏次序信息；

模型样本获取单元，被配置为根据游戏次序信息将各个游戏轮次的模型决策信息对组成模型决策信息对序列，并将模型决策信息对序列作为对应于游戏场景的模型游戏样本。

在本公开的一些实施例中，基于以上各实施例，用户样本获取模块可以进一步包括：

用户轮次确定单元，被配置为根据用户游戏数据确定一个游戏场景内的至少一个游戏轮次，并获取各个游戏轮次的游戏次序信息；

用户样本获取单元，被配置为根据游戏次序信息将各个游戏轮次的用户决策信息对组成用户决策信息对序列，并将用户决策信息对序列作为对应于游戏场景的用户游戏样本。

在本公开的一些实施例中，基于以上各实施例，样本输入模块可以进一步包括：

样本信息获取单元，被配置为从训练样本中获取按照游戏次序排列的决策信息对，并分别获取各个决策信息对中的游戏状态信息和游戏行为信息；

样本向量获取单元，被配置为获取对应于游戏状态信息的第一特征向量和对应于游戏行为信息的第二特征向量；

样本向量拼接单元，被配置为对第一特征向量和第二特征向量进行拼接处理以得到决策信息对的样本特征向量；

样本向量输入单元，被配置为按照游戏次序，将训练样本中各个决策信息对的样本特征向量依次输入至鉴别模型中。

在本公开的一些实施例中，基于以上各实施例，样本鉴别模块可以进一步包括：

信息对数量获取单元，被配置为获取训练样本中的决策信息对的信息对数量；

信息对概率确定单元，被配置为通过鉴别模型对各个决策信息对的样本特征向量进行映射处理以得到每个决策信息对的信息对分类概率；

样本概率确定单元，被配置为根据信息对数量和信息对分类概率确定训练样本的样本分类概率，并将样本分类概率作为样本鉴别信息。

在本公开的一些实施例中，基于以上各实施例，参数更新模块可以进一步包括：

函数确定单元，被配置为确定目标函数，目标函数中包括对应于用户游戏样本的用户样本期望以及对应于模型游戏样本的模型样本期望；

参数更新单元，被配置为根据样本鉴别信息以及目标函数交替更新行为模型和鉴别模型的模型参数。

在本公开的一些实施例中，基于以上各实施例，参数更新单元可以进一步包括：

行为模型更新子单元，被配置为固定行为模型的模型参数，并根据样本鉴别信息以及目标函数更新鉴别模型的模型参数以增大用户游戏样本的样本分类概率并降低模型游戏样本的样本分类概率；

鉴别模型更新子单元，被配置为固定鉴别模型的模型参数，并根据样本鉴别信息以及目标函数更新行为模型的模型参数以增大模型游戏样本的样本分类概率。

本公开各实施例中提供的信息处理装置的具体细节已经在对应的方法实施例中进行了详细的描述，因此此处不再赘述。

图12示出了适于用来实现本公开实施例的电子设备的计算机***的结构示意图。

需要说明的是，图12示出的电子设备的计算机***1200仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。

如图12所示，计算机***1200包括中央处理单元(Central Processing Unit，CPU)1201，其可以根据存储在只读存储器(Read-Only Memory，ROM)1202中的程序或者从存储部分1208加载到随机访问存储器(Random Access Memory，RAM)1203中的程序而执行各种适当的动作和处理。在RAM 1203中，还存储有***操作所需的各种程序和数据。CPU1201、ROM 1202以及RAM 1203通过总线1204彼此相连。输入/输出(Input/Output，I/O)接口1205也连接至总线1204。

以下部件连接至I/O接口1205：包括键盘、鼠标等的输入部分1206；包括诸如阴极射线管(Cathode Ray Tube，CRT)、液晶显示器(Liquid Crystal Display，LCD)等以及扬声器等的输出部分1207；包括硬盘等的存储部分1208；以及包括诸如LAN(Local AreaNetwork，局域网)卡、调制解调器等的网络接口卡的通信部分1209。通信部分1209经由诸如因特网的网络执行通信处理。驱动器1210也根据需要连接至I/O接口1205。可拆卸介质1211，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器1210上，以便于从其上读出的计算机程序根据需要被安装入存储部分1208。

特别地，根据本公开的实施例，各个方法流程图中所描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分1209从网络上被下载和安装，和/或从可拆卸介质1211被安装。在该计算机程序被中央处理单元(CPU)1201执行时，执行本申请的***中限定的各种功能。

需要说明的是，本公开实施例所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的***、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(Erasable Programmable Read Only Memory，EPROM)、闪存、光纤、便携式紧凑磁盘只读存储器(Compact Disc Read-Only Memory，CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行***、装置或者器件使用或者与其结合使用。而在本公开中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行***、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、有线等等，或者上述的任意合适的组合。

附图中的流程图和框图，图示了按照本公开各种实施例的***、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的***来实现，或者可以用专用硬件与计算机指令的组合来实现。

应当注意，尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元，但是这种划分并非强制性的。实际上，根据本公开的实施方式，上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之，上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。

通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本公开实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、触控终端、或者网络设备等)执行根据本公开实施方式的方法。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。

应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。

Claims

1.一种信息处理方法，其特征在于，包括：

根据所述模型游戏行为选取信息从所述至少两种候选游戏行为中选取由所述游戏行为主体执行的模型游戏行为；

将所述模型游戏状态信息和所述模型游戏行为的模型游戏行为信息组成模型游戏样本；

获取与所述游戏行为主体相关的用户游戏数据，并根据所述用户游戏数据确定由用户游戏状态信息和用户游戏行为信息组成的用户游戏样本；

将所述模型游戏样本和所述用户游戏样本作为训练样本，并将所述训练样本输入至鉴别模型中；

通过所述鉴别模型对所述训练样本进行映射处理，以得到样本鉴别信息；其中，所述样本鉴别信息用于鉴别所述训练样本为模型游戏样本或者用户游戏样本；

根据所述样本鉴别信息更新所述行为模型和所述鉴别模型的模型参数，以提高所述鉴别模型的鉴别能力和所述行为模型的模仿能力，以使所述行为模型输出接近所述用户游戏样本的概率分布的模型游戏样本。

2.根据权利要求1所述的信息处理方法，其特征在于，所述对所述游戏场景进行特征提取，以得到与所述游戏行为主体相关的模型游戏状态信息，包括：

获取所述游戏场景中的场景状态信息以及所述游戏行为主体的主体状态信息；

对所述场景状态信息进行特征提取以得到场景特征向量，并对所述主体状态信息进行特征提取以得到主体特征向量；

对所述场景特征向量和所述主体特征向量进行拼接处理，以得到与所述游戏行为主体相关的模型游戏状态信息。

3.根据权利要求1所述的信息处理方法，其特征在于，所述通过所述行为模型对所述模型游戏状态信息进行映射处理，以得到与至少两种候选游戏行为相对应的模型游戏行为选取信息，包括：

确定与所述游戏行为主体相关的至少两种候选游戏行为；

通过所述行为模型对所述模型游戏状态信息进行映射处理，以得到每种所述候选游戏行为的选取概率；

获取每种所述候选游戏行为的行为可用状态信息，并根据所述行为可用状态信息确定与所述候选游戏行为相对应的行为筛选信息；

根据所述行为筛选信息调整所述候选游戏行为的选取概率，并将调整后的选取概率作为模型游戏行为选取信息。

4.根据权利要求3所述的信息处理方法，其特征在于，所述根据所述行为筛选信息调整所述候选游戏行为的选取概率，包括：

根据所述行为筛选信息确定所述候选游戏行为的行为类型，所述行为类型包括可用行为和不可用行为；

若所述候选游戏行为的行为类型为不可用行为，则将其选取概率调整为预设概率。

5.根据权利要求1所述的信息处理方法，其特征在于，所述根据所述游戏行为选取信息从所述至少两种候选游戏行为中选取由所述游戏行为主体执行的模型游戏行为，包括：

分别确定随机行为选取策略的第一概率和高概率行为选取策略的第二概率；

根据所述第一概率和所述第二概率确定用于选取模型游戏行为的模型选取策略；

若所述模型选取策略为随机行为选取策略，则从所述至少两种候选游戏行为中随机选取一种候选游戏行为作为模型游戏行为；

若所述模型选取策略为高价值行为选取策略，则从所述至少两种候选游戏行为中选取行为价值最高的一种候选游戏行为作为模型游戏行为。

6.根据权利要求1所述的信息处理方法，其特征在于，所述将所述模型游戏状态信息和所述模型游戏行为的模型游戏行为信息组成模型游戏样本，包括：

确定一个游戏场景内的至少一个游戏轮次，并获取各个所述游戏轮次的游戏次序信息；

将对应于一个游戏轮次的模型游戏状态信息和模型游戏行为的模型游戏行为信息组成模型决策信息对；

根据所述游戏次序信息将各个所述游戏轮次的模型决策信息对组成模型决策信息对序列，并将所述模型决策信息对序列作为对应于所述游戏场景的模型游戏样本。

7.根据权利要求1所述的信息处理方法，其特征在于，所述根据所述用户游戏数据确定由用户游戏状态信息和用户游戏行为信息组成的用户游戏样本，包括：

根据所述用户游戏数据确定一个游戏场景内的至少一个游戏轮次，并获取各个所述游戏轮次的游戏次序信息；

将对应于一个游戏轮次的用户游戏状态信息和用户游戏行为信息组成用户决策信息对；

根据所述游戏次序信息将各个所述游戏轮次的用户决策信息对组成用户决策信息对序列，并将所述用户决策信息对序列作为对应于所述游戏场景的用户游戏样本。

8.根据权利要求1所述的信息处理方法，其特征在于，所述将所述训练样本输入至鉴别模型中，包括：

从所述训练样本中获取按照游戏次序排列的决策信息对，并分别获取各个所述决策信息对中的游戏状态信息和游戏行为信息；

获取对应于所述游戏状态信息的第一特征向量和对应于所述游戏行为信息的第二特征向量；

对所述第一特征向量和所述第二特征向量进行拼接处理以得到所述决策信息对的样本特征向量；

按照所述游戏次序，将所述训练样本中各个决策信息对的样本特征向量依次输入至鉴别模型中。

9.根据权利要求8所述的信息处理方法，其特征在于，所述通过所述鉴别模型对所述训练样本进行映射处理，以得到样本鉴别信息，包括：

获取所述训练样本中的决策信息对的信息对数量；

通过所述鉴别模型对各个所述决策信息对的样本特征向量进行映射处理以得到每个所述决策信息对的信息对分类概率；

根据所述信息对数量和所述信息对分类概率确定所述训练样本的样本分类概率，并将所述样本分类概率作为样本鉴别信息。

10.根据权利要求1所述的信息处理方法，其特征在于，所述根据所述样本鉴别信息更新所述行为模型和所述鉴别模型的模型参数，包括：

确定目标函数，所述目标函数中包括对应于用户游戏样本的用户样本期望以及对应于模型游戏样本的模型样本期望；

根据所述样本鉴别信息以及所述目标函数交替更新所述行为模型和所述鉴别模型的模型参数。

11.根据权利要求10所述的信息处理方法，其特征在于，所述根据所述样本鉴别信息以及所述目标函数交替更新所述行为模型和所述鉴别模型的模型参数，包括：

固定所述行为模型的模型参数，并根据所述样本鉴别信息以及所述目标函数更新所述鉴别模型的模型参数以增大所述用户游戏样本的样本分类概率并降低所述模型游戏样本的样本分类概率；

固定所述鉴别模型的模型参数，并根据所述样本鉴别信息以及所述目标函数更新所述行为模型的模型参数以增大所述模型游戏样本的样本分类概率。

12.一种信息处理装置，其特征在于，包括：

行为选取模块，被配置为根据所述模型游戏行为选取信息从所述至少两种候选游戏行为中选取由所述游戏行为主体执行的模型游戏行为；

参数更新模块，被配置为根据所述样本鉴别信息更新所述行为模型和所述鉴别模型的模型参数，以提高所述鉴别模型的鉴别能力和所述行为模型的模仿能力，以使所述行为模型输出接近所述用户游戏样本的概率分布的模型游戏样本。

13.一种计算机可读介质，其上存储有计算机程序，该计算机程序被处理器执行时实现权利要求1至11中任意一项所述的信息处理方法。

14.一种电子设备，其特征在于，包括：

处理器；以及

存储器，用于存储所述处理器的可执行指令；

其中，所述处理器配置为经由执行所述可执行指令来执行权利要求1至11中任意一项所述的信息处理方法。