CN114768246B - 一种游戏人机互动方法及其*** - Google Patents

Abstract

本发明涉及电子信息产品领域，为一种游戏场景下的应用，具体为一种游戏人机互动方法及其***；通过设置有比对机制，并且通过在服务器上设置基础数据库以及对应设置的训练模型，能够实现在互动过程中智能体的模拟真实环境下的真实玩家的操作，将互动的过程以及互动所带来的游戏体验感增强。

Description

一种游戏人机互动方法及其***

技术领域

本发明涉及电子信息产品领域，为一种游戏场景下的应用，具体为一种游戏人机互动方法及其***。

背景技术

实时游戏(Real Time Game)是指游戏过程即时进行的游戏，不同于围棋、象棋等回合制游戏，实时游戏通常具有游戏规则复杂、游戏场景动态多变、对手角色行为不确定、行为决策信息不全面、行为决策时间短等特点。典型的实时游戏包括但不限于对战类游戏，对战类游戏是操控虚拟角色与对手角色进行对战，以耗尽对手角色的生命值为获胜目标的游戏。

在实时游戏的人机对战模式中，真实玩家控制的虚拟角色会与游戏智能***控制的虚拟角色进行对战。对于游戏智能***来说，其控制虚拟角色进行对战时，会面对巨大的动作决策空间，并且还要满足实时决策的需求，如何在该条件下选择并执行游戏策略，是游戏智能***能否实现对于虚拟角色的高水平拟人化控制的关键，这也会在很大程度上影响真实玩家的游戏体验。

目前针对于人机互动主要是人为动作、语音和输入的文字，而针对于以上的行为，并没有针对性的进行互动的方法，目前大多数的技术主要是基于文字方式进行互动，而针对于人为的动作大多数具有反应不灵敏的相关问题，并且在既有动作、语音和文字的情况下，针对于计算机无法根据复杂的行为方式给出对应的最优的执行反馈。

发明内容

本申请实施例提供一种游戏人机互动方法，以通过将动作、语音和文字相融合的方式对游戏者的行为进行判断，并且通过建立对应的模型，通过模型实现了对于行为的判断，从而提高了计算机对于复杂场景下行为的判断以及基于判断结果给出对应的反馈动作的效果。

为了达到上述目的，本申请实施例采用的技术方案如下：

第一方面，本申请实施例提供了一种游戏人机互动方法，应用于服务器，所述服务器与用户端和游戏端，所述用户端用于采集用户的互动数据，所述游戏端基于所述互动数据向所述游戏端反馈行为事件；所述服务器上配置有基础数据库，所述基础数据库配置有特征数据，所述特征数据用于不同互动形式下所采集到的互动数据的比对；所述方法包括：采集所述互动数据；将所述互动数据上传至所述服务器并与所述基础数据库中的特征数据进行比对，得到比对结果；基于所述比对结果触发与所述比对结果对应的行为事件；将所述行为事件发送至游戏端与用户实现互动；所述特征数据为多结构数据，包括第一互动数据、第二互动数据和第三互动数据，所述第一互动数据被设置为无效行为数据用于表征无效行为用于降低比对的数据量，所述第二互动数据被设置为基础行为数据用于表征基础行为用于确定基础行为，所述第三互动数据被配置为关键行为数据用于表征关键行为用于确定关键行为；所述互动数据与所述特征数据进行比对包括将所述第一互动数据、第二互动数据与所述第三互动数据与所述互动数据进行比对并得到比对结果，具体包括以下方法：对比在互动数据中是否包含有第一互动数据并将第一互动数据进行剔除将剩余数据进行保留，将保留数据中的包含有第二互动数据进行提取存储并进行标签处理，将剩余数据中包含有第三互动数据进行提取存储并进行标签处理，得到由第二互动数据和第三互动数据组成的行为数据；基于所述比对结果触发与所述比对结果对应的行为事件具体以下方法：将行为数据中的至少两组标签与保存的标签库中的互动行为标签进行比对，所述互动行为标签对应多个行为事件。

在第一方面的第一种可能的实现方式中，还包括对于多个行为事件选择最优行为事件，包括以下方法：基于分层决策模型分层动作决策模型，根据所述目标游戏状态信息确定最优行为事件；所述分层动作决策模型包括互相独立的策略选择子模型和多个策略执行子模型，所述策略选择子模型中配置有对应的行为事件；所述策略选择子模型用于根据游戏状态信息在所述多个策略执行子模型中选择所需运行的策略执行子模型；所述策略执行子模型用于根据游戏状态信息确定虚拟角色所需执行的动作；控制目标虚拟角色执行所述目标动作。

结合第一方面的第一种可能的实现方式，在第二种可能的实现方式中，根据所述目标游戏状态信息确定最优行为事件包括根据用户预设的游戏运行状态以及采集到的程序运行状态确定最优行为事件，所述用户预设的游戏运行状态包括游戏难易程度设置、游戏运行环境设置以及其他个性化操作设置，所述程序运行状态包括程序运行的实时物理数据。

结合第一方面，在第三种可能的实现方式中，采集所述互动信息包括基于所述用户行为所产生的交互信息；所述用户行为包括动作行为、语音行为以及文字行为；采集所述动作行为基于外部设备得到动作行为互动数据，所述外部设备包括设置有传感器的硬件，所述传感器与用户物理绑定采集用户运动所产生的行为并与所述服务器产生通信；采集所述语音行为基于语音设备用于采集用户的声音得到语音行为互动数据并与所述服务器产生通信；采集所述文字行为用于采集用户在交互界面产生的文字互动数据并与所述服务器产生通信。

结合第一方面，在第四种可能的实现方式中，还包括构建所述基础数据库，包括以下方法：获取已有的用户行为数据，将所述行为数据进行分类训练，构建训练集，在所述训练集抽取预设关键信息，对所述预设关键信息进行数据处理,引入非策略的批量强化学习算法，构建基于强化学习的行为预判模型，并利用得到的数据对所述预判模型进行训练，得到已训练的行为预判模型，获取待处理的行为数据信息，从所述待处理的行为数据信息中抽取预设的信息，通过数据处理得到第一向量、第二向量和第三向量并得到对应的第一标签、第二标签和第三标签，所述第一向量为所述第一互动数据、所述第二向量为所述第二互动数据、所述第三向量为所述第三互动数据。

结合第一方面的第四种可能的实现方式，在第五种可能的实现方式中，将所述动作行为互动数据上传至所述服务器并与所述基础数据库中的特征数据进行比对，得到比对结果，包括以下具体方法：将动作行为互动数据上传至服务器并与基础数据库中的动作行为特征数据进行比对，得到比对结果，所述动作行为特征数据包括第一动作行为特征数据、第二动作行为特征数据和第三动作行为特征数据，包括以下方法：将第一动作行为特征数据与动作行为互动数据进行比对，得到第一结果，将所述第一结果与第二动作行为特征数据进行比对，得到第二结果，将所述第二结果与第三动作行为特征数据进行比对，得到第三结果，将所述第二结果和所述第三结果进行结合得到动作行为比对结果，所述动作行为比对结果为最终比对结果；将第一动作行为特征数据与动作行为互动数据进行比对，得到第一结果包括以下方法：所述第一动作行为特征数据包括动作行为特征数据和与所述动作行为特征数据对应的动作强度数据，所述动作强度数据为阈值，将所述互动数据与动作行为特征数据进行比对并获取对应的动作强度数据，并确定互动数据处于所述动作强度数据的阈值范围内的对应的数据，即为第一结果。

在第一方面的第六种可能的实现方式中，将第一动作行为特征数据与动作行为互动数据进行比对，得到第一结果还包括：确定所述动作行为互动数据为连续行为数据，所述动作行为互动数据为在预设时间段内，用户进行的连续动作产生的互动数据。

结合第一方面的第四种可能的实现方式，在第七种可能的实现方式中，将语音行为互动数据上传至所述服务器并与所述基础数据库中的特征数据进行比对，得到比对结果，包括以下具体方法：将语音行为互动数据上传至服务器并与基础数据库中的语音行为特征数据进行比对，得到比对结果，所述语音行为特征数据包括第一语音行为特征数据、第二语音行为特征数据和第三语音行为特征数据，包括以下方法：将第一语音行为特征数据与语音行为互动数据进行比对，得到第一结果，将所述第一结果与第二动作语音特征数据进行比对，得到第二结果，将所述第二结果与第三语音行为特征数据进行比对，得到第三结果，将所述第二结果和所述第三结果进行结合得到语音行为比对结果，所述语音行为比对结果为最终比对结果；将第一语音行为特征数据与语音行为互动数据进行比对，得到第一结果还包括识别语音行为互动数据的语音长度，基于所述语音长度确定是否将语音行为互动数据与所述第一语音行为特征数据进行比对。

结合第一方面的第四种可能的实现方式，在第八种可能的实现方式中，将文字行为互动数据上传至所述服务器并与所述基础数据库中的特征数据进行比对，得到比对结果，包括以下具体方法：将文字行为互动数据上传至服务器并与基础数据库中的文字行为特征数据进行比对，得到比对结果，所述文字行为特征数据包括第一文字行为特征数据、第二文字行为特征数据和第三文字行为特征数据，包括以下方法：将第一文字行为特征数据与文字行为互动数据进行比对，得到第一结果，将所述第一结果与第二文字语音特征数据进行比对，得到第二结果，将所述第二结果与第三文字行为特征数据进行比对，得到第三结果，将所述第二结果和所述第三结果进行结合得到文字行为比对结果，所述文字行为比对结果为最终比对结果；将第一文字行为特征数据与文字行为互动数据进行比对，得到第一结果还包括识别文字行为互动数据的语音长度，基于所述文字长度确定是否将文字行为互动数据与所述第一文字行为特征数据进行比对。

第二方面，本申请实施例还提供游戏人机互动***，用于上述的游戏人机互动方法，包括服务器、游戏端和至少一个客户端，所述客户端设置有外部设备用于采集互动数据；所述游戏端所述服务器上配置有基础数据库，所述基础数据库配置有特征数据，所述特征数据用于不同互动形式下所采集到的互动数据的比对；所述游戏端用于执行并实现人机交互。

本申请实施例提供的技术方案中，通过设置有比对机制，并且通过在服务器上设置基础数据库以及对应设置的训练模型，能够实现在互动过程中智能体的模拟真实环境下的真实玩家的操作，将互动的过程以及互动所带来的游戏体验感增强。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

附图中的方法、***和/或程序将根据示例性实施例进一步描述。这些示例性实施例将参照图纸进行详细描述。这些示例性实施例是非限制的示例性实施例，其中示例数字在附图的各个视图中代表相似的机构。

图1是本申请实施例提供的通信***的***架构示意图。

图2是本申请实施例提供的服务器的方框示意图。

图3是根据本申请的一些实施例所示的一种游戏人机互动方法的流程图。

具体实施方式

为了更好的理解上述技术方案，下面通过附图以及具体实施例对本申请技术方案做详细的说明，应当理解本申请实施例以及实施例中的具体特征是对本申请技术方案的详细的说明，而不是对本申请技术方案的限定，在不冲突的情况下，本申请实施例以及实施例中的技术特征可以相互组合。

在下面的详细描述中，通过实例阐述了许多具体细节，以便提供对相关指导的全面了解。然而，对于本领域的技术人员来说，显然可以在没有这些细节的情况下实施本申请。在其他情况下，公知的方法、程序、***、组成和/或电路已经在一个相对较高水平上被描述，没有细节，以避免不必要的模糊本申请的方面。

本申请中使用流程图说明根据本申请的实施例的***所执行的执行过程。应当明确理解的是，流程图的执行过程可以不按顺序执行。相反，这些执行过程可以以相反的顺序或同时执行。另外，可以将至少一个其他执行过程添加到流程图。一个或多个执行过程可以从流程图中删除。

请参照图1，本申请实施例提供一种游戏人机互动***100，该游戏人机互动***100包括相互通信的测试服务器200、用户端300和游戏端400。

在实践中，测试服务器200可为单台服务器或者为多台服务器组成的服务器集群，图1中仅以单台服务器为例。

在本实施例中，游戏端400为搭载有游戏应用程序的智能终端，可为支持具有显示屏的各种电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机、台式计算机等，图1中仅以智能手机为例。可选的，一台电子设备上可安装一个或多个游戏软件，本发明对此不做限制。

在本实施例中，用户端300为与游戏端400共同配合的硬件设备，在不同的场景下其具体的硬件属性也不相同。例如在动作行为下，用户端为与用户动作进行配合的硬件设备，包括设置在人体关键动作行为发生部位的传感器，此传感器通过人体动作发生时位置的偏移或者是水平模块产生偏移所产生的电信号并基于电信号产生的变化进行动作行为的模拟。且传感器与服务器之间产生数据的交互。在语音行为下，用户端为与用户语音配合的硬件设备，主要是语音输入设备，此语音输入设备可以是设置在游戏端上的硬件也可以是通过有线/无线方式与游戏端进行连接的硬件，硬件与服务器之间进行数据的交互。在文字行为下，用户端为文字输入设备，与语音输入设备相同的，此文字输入设备可以是设置在游戏端上的硬件或者软件也可以是通过有线/无线方式与游戏端进行连接的硬件比如说键盘等实体，此硬件同样的与服务器之间进行数据的交互。

本申请实施例提供的测试服务器200内配置有基础数据库，基础数据库内配置有特征数据，因为在本实施例中用户行为包括动作行为、语音行为和文字行为，则在服务器中对应设置有动作行为特征数据、语音行为特征数据和文字行为特征数据，针对于服务器200首先将收集到的数据进行分类，分为对应的动作行为、语音行为和文字行为，将对应的行为所产生的采集到的数据与对应的特征数据进行比对，基于比对结果在游戏端产生虚拟角色的对应的行为。

在本实施例中，服务器在接收到由用户端采集到的数据时，基于测特征数据对采集到的数据进行比对。

针对于测试服务器的物理结构，请参照图2，是根据本申请的一些实施例所示的测试服务器200的方框示意图，该测试服务器200包括基于游戏人机互动方法的人机互动装置210、存储器220、处理器230和通信单元240。存储器220、处理器230以及通信单元240各元件相互之间直接或间接地电性连接，以实现数据的传输或交互。例如，这些元件相互之间可通过一条或多条通讯总线或信号线实现电性连接。基于游戏测试管理装置210包括至少一个可以软件或固件（firmware）的形式存储于存储器220中或固化在电子设备的操作***（operating system，OS）中的软件功能模块。处理器230用于执行存储器220中存储的可执行模块，例如基于人机互动装置210所包括的软件功能模块及计算机程序等。

其中，存储器220可以是，但不限于，随机存取存储器（Random Access Memory，RAM），只读存储器（Read Only Memory，ROM），可编程只读存储器（Programmable Read-OnlyMemory，PROM），可擦除只读存储器（Erasable Programmable Read-Only Memory，EPROM），电可擦除只读存储器（Electric Erasable Programmable Read-Only Memory，EEPROM）等。其中，存储器220用于存储程序，处理器230在接收到执行指令后，执行所述程序。通信单元240用于通过网络建立测试服务器200与游戏端400之间的通信连接，并用于通过网络收发数据。

处理器可能是一种集成电路芯片，具有信号的处理能力。上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(NetworkProcessor，NP)等；还可以是数字信号处理器（DSP)）、专用集成电路（ASIC）、现场可编程门阵列（FPGA）或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。可以理解，图2所示的结构仅为示意，在其他实施例中测试服务器200还可包括比图2中所示更多或者更少的组件，或者具有与图2所示不同的配置。图2中所示的各组件可以采用硬件、软件或其组合实现。

针对于游戏人机互动***提供的游戏人机互动方法，请参阅图3，是根据本申请的一些实施例所示的一种游戏人机互动方法的流程图，主要方法为基于基础数据库内配置的特征数据对采集到的用户动作行为数据进行比对，并基于比对结果触发与比对结果对应的行为事件，并将行为事件发送至游戏端中，用于指导游戏端中的虚拟角色进行行为决策。

具体包括以下过程：

步骤210，采集互动数据，在本实施例中互动数据根据行为人即用户对游戏端发出的游戏行为包括至少三种行为，分别为动作行为数据、语音行为数据和文字行为数据，以上三者分别通过对应的硬件设备进行采集，例如针对于动作行为数据基于设置在人体动作行为发生部位的传感器获取传感信号，基于传感器内部的电信号的改变从而确定具体的数据，针对于传感器可以基于现有的外设硬件设备进行确定在本实施例中不作为重点技术内容进行详细说明，例如在手部关节连接硬件传感设备，手部的姿态的改变通过硬件传感设备进行采集从而形成对应的模拟信号，将模拟信号转换为数字信号，而此数字信号即为本实施例中的动作行为产生的互动数据。针对于语音交互行为，通过与游戏端外部内置或者是与游戏端外部连接的语音输入设备进行采集，同样的针对于本实施例可以采用的语音输入设备可以为现有的具有语音输入功能的硬件设备。针对于文字交互行为，通过与游戏端内部设置或者是与游戏端外部连接的文字输入设备例如键盘等设备，实现对于文字的输出从而形成文字行为。

因为针对于互动数据的采集可基于现有的技术实现对应数据的获取，并非为本实施例提供的人机互动方法所必要的技术特征，则在本实施例中不进行详细的描述，只要基于现有技术能够实现数据的采集即可。

步骤220，将采集到的互动数据上传至服务器，在本实施例中服务器内配置有基础数据库，基础数据库内保存有与互动数据相对应的特征数据。在本实施例中，基础数据库需要通过具体的方式进行构建，在本实施例中针对于基础数据库的构建通过在出厂设置阶段已经获取或者通过模拟的方式得到的数据，并且为了使数据库的数据更加倾向于现实环境下的人为处理所产生的数据，则可以针对于在整体***运行过程中采集到的数据进行保存后再通过模型训练的方式强化基础数据库，并且针对于日常获取的数据进行训练的过程中不仅单独针对单一的客户端采集到的数据，并且可以将服务器之间进行信息的保存和分发共享，基于分布式服务器设置的方式实现大规模数据的训练和存储，通过以上的方法增加数据量，增加了训练数据的服务器，也增加了后续在进行比对过程中的精准度。

针对于单一模型的训练本实施例提供对应的具体方法：

获取已有的用户行为数据，此数据可以是在训练过程中迭代新增的数据也可以是基于已有的现有的数据，并将行为数据进行分类训练，构建训练集。本实施例中的分类训练同样的是基于交互行为的不同而进行确定，针对于训练集同样的也是基于分类后的数据，在同类下进行归类后建立对应的训练集。针对于已建立的训练集中抽取预设关键信息，针对于关键信息的抽取可以根据具体的交互行为来进行设置，例如在动作行为分类下的话，可以将具体的动作产生数字信号作为关键信息。针对预设的关键信息进行数据处理并引入非策略的批量强化学习算法，构建基于强化学习的行为预判模型，并利用得到的数据对预判模型进行训练，得到已训练的行为预判模型，获取待处理的行为数据信息，从待处理的行为数据信息中抽取信息，通过数据处理得到向量和对应的标签。

在本实施例中，对于预判模型进行训练具体包括以下的过程：对预判模型提取出待优化参数，在本实施例中待优化参数包括Q函数，根据批量强化学习算法对已有的互动数据和动作网络进行离线学习训练，剔除过高估计的Q值，并将受限的Q值离散化，最后通过相对熵控制，将先验合并到策略中，并且均衡化训练得到智能化的行为网络，完成网络的预优化。在本实施例中，Q函数为以下函数公式：

；

在本实施例中，st代表环境状态，at代表强化学习中智能体所做的动作，r(st,at)表示奖励函数，γ表示折扣因子。

在本实施例中，特征数据为多结构数据，包括第一互动数据、第二互动数据和第三互动数据，在本实施例中第一互动数据被设置为无效行为数据用于表征无效行为，通过对于无效行为的表征用于降低比对的数据量，第二互动数据被设置为基础行为数据用于表征基础行为用于确定基础行为，第三互动数据被配置为关键行为数据用于表征关键行为用于确定关键行为。

基于特征数据的多结构特征，回归到训练模型的构建过程，从待处理的行为数据信息中抽取预设的信息通过数据处理得到向量，因为训练模型与最终的基础数据库之间具有关联关系，则在训练模型的过程中对数据做出对应的结构确定，即向量包括第一向量和第二向量以及第三向量，其中第一向量为第一互动数据，第二向量为第二互动数据，第三向量为第三互动数据。

基于获取到的动作行为数据和已经保存在基础数据库中的第一互动数据、第二互动数据和第三互动数据，进行相互比对得到比对结果，具体过程为：

将互动数据与第一互动数据进行比对，确定在互动数据中是否包含第一互动数据并将存在第一互动数据进行剔除后对剩余数据进行保留。

进一步的将保留后的数据与第二互动数据进行比对，与第一互动数据比对不同在于，针对于保留后的互动数据与第二互动数据进行比对目的是在保留的互动数据中确定的第二互动数据并且将此数据进行提取存储并进行标签处理，因为第二互动数据为基础行为数据用于表征基础行为则标签的确定是用于说明此数据代表特定某种基础行为。

将剔除第一互动数据、保存第二互动数据后的互动数据与第三互动数据进行比对，与第二互动数据比对相同在于此过程是将保留数据中心的第三互动数据进行提取和存储并且标签处理，并且将提取出的由第二互动数据和第三互动数据对应出的互动数据组成整体的行为数据。

针对以上的比对方法并没有直接将具有表征意义的第二互动数据和第三互动数据直接在互动数据中进行提取且存储的，而是先过滤第一互动数据的目的在于增加基础数据库的数据量，并且基于获取到的新的互动数据来进一步的对训练模型进行训练，所以过滤掉的数据同样具有一定的技术效果和技术意义，直接的增加了数据提取的精准度。

步骤230，基于比对结果触发与比对结果对应的行为事件。

在步骤220中，是对获取到的行为转换为数据，并对数据进行处理，但是针对于游戏端最终的交互为行为事件，所以在本过程中主要是将确定的用于表征行为的第二互动数据和第三互动数据对应互动数据与具体的行为事件进行关联，此行为事件为游戏端中智能体的行为事件，而智能体可以根据具体的游戏设定而确定，根据不同的游戏类型所对应的具体执行者而确定。

在本过程中主要包括以下步骤：

将互动数据中的至少两组标签与保存的标签库中的互动行为标签进行比对，在本实施例中，互动行为标签多个行为事件。

所以为了优化智能体最终的互动效果的最优化，则需要对多个行为事件进行筛选从而确定最优的行为事件，针对于选择最优行为事件包括以下方法：

针对于选择最优行为事件，需要通过对应的模型进行判断。在本实施例中，主要基于分层决策模型分层动作决策模型根据目标游戏状态信息确定最优行为事件，在本实施例中分层动作决策模型包括互相独立的策略选择子模型和多个策略执行子模型，其中策略选择子模型中配置有对应的行为事件，策略选择子模型用于根据游戏状态信息在多个策略执行子模型中选所需运行的策略执行子模型。在本实施例中，策略执行子模型用于根据游戏状态信息确定虚拟角色即智能体所需执行的动作，控制目标虚拟角色执行目标动作。

并且，在本实施例中，针对于目标游戏状态信息确定最优行为事件包括根据用户预设的游戏运行状态以及采集到的程序运行状态确定最优行为事件，其中用户预设的游戏运行状态包括游戏难易程度设置、游戏运行环境设置以及其他个性化操作设置，程序运行状态包括程序运行的实时物理数据。

为了增强游戏的真实感和可玩度，需要对于不同的游戏设置而带来游戏中智能体行为决策的不同，例如在高难度的游戏过程中智能体基于玩家的动作采集所做出的反馈与行为相比低难度设定情况下会有所不同，其对于玩家所带来的游戏体验也不同。在现有的技术中，针对于高难度以及低难度游戏不同的设置，智能体所带来的反馈仅仅为物理参数上的不同，比如说在射击游戏中，针对于NPC即智能体在高难度设置的情况下其主要的不同在于智能体的生存值要高于低难度设定下的生存值，从而带来的游戏体验是需要玩家针对于相同的场景、相同的行为动作需要进行较为强烈的攻击，但行为性质和处理是相同的仅在于单位时间内玩家的“输出”量的增加。而在本实施例中，通过游戏设置所带来的不同从而产生对于智能体互动表现行为的不同则不仅仅是物理数据层面的改变，而在于智能体对于行为作出的判断以及判断后的行为，相对于现有技术更加具有真实感和可玩性，增强了游戏体验。

并且，在本实施例中，还能根据具体的游戏程序的运行环境进行最优行为事件的确定，比如说当游戏端的程序运行环境较差的情况下，部分智能体的行为事件无法完整的被展现，需要针对于游戏端的程序运行环境条件下做出最适合表现的行为事件。例如，在屏幕帧数较低的情况下，某些对于渲染要求较高的动作无法表达或者表达出现的情况是卡顿的情况，那针对此种情况的话就需要对于智能体的行为做出最优的选择。

而针对于游戏端的程序运行环境可以通过后台调取运行数据适时调整，当处于保密的或者隐私的情况下不允许后台调取数据时，则需要通过玩家对游戏的环境进行确定。在其他实施中，还可以根据具体因为运行环境因素所导致的游戏卡顿等不良时间产生时进行记录，并且通过模型训练的方式进行实时的自我运行数据调节。

在本实施例中，需要对不同的行为动作所进行的人机互动行为进行详细的说明。

针对于动作行为，本实施例提供一种游戏人机互动方法，具体包括以下过程：

通过外部设备采集用户的动作行为互动数据上传至服务器，确定动作行为互动数据为连续行为数据，其中动作行为互动数据为在预设时间段内，用户进行的连续动作产生的互动数据，将确定后的动作行为互动数据与基础数据库中的动作行为特征数据进行比对，将第一动作行为特征数据包括动作行为特征数据和与动作行为特征数据对应的动作强度数据，在本实施例中动作强度数据为阈值，将互动数据与动作行为特征数据进行比对并获取对应的动作强度数据，并确定互动数据处于所述动作强度数据的阈值范围内的对应的数据得到第二结果，将第二结果与第三动作行为特征数据进行比对，得到第三结果，将第二结果和所述第三结果进行结合得到动作行为比对结果，将第二结果和第三结果中的数据所对应的行为标签与保存的标签库中的互动行为标签进行比对，得到多个行为事件，并且基于多个行为事件确定最优的行为事件，并将行为事件命令发送至游戏端控制智能体与用户实现互动。

在本实施例中，第一动作行为特征数据为无意义数据而针对于无意义数据的判断是基于动作强度数据进行判断，因为在动作行为的获取是基于外部传感器所进行获得，而针对于传感器的设置主要基于人体行为发出的关键点。在本实施例中，关键点选取17个骨骼关键点，即可以为：头部、右侧肩膀、右侧肘部、右侧腕部，右手、左侧肩部、左侧肘部、左侧腕部、左手、右膝盖、右踝、右脚、左膝盖、左踝、左脚、右髋、左髋。即第一动作行为特征数据为某个关键点行为发出时动作强度数据未达到阈值的数据，需要对其进行剔除；例如在进行“拳击”格斗游戏中，玩家在进行击拳时下意识进行的“摸脸”的行为基于配置在上臂的传感器虽然通过上臂与侧胸位角度的改变捕捉到了动作的产生，但因为角度的变化即动作强度数据在阈值以内，则判定为无效动作即第一动作行为特征，并将其剔除后续的比对过程。

针对于第二动作行为特征数据和第三动作行为特征数据为剩余的连续有意义的动作中按照动作行为的关键性来进行确定，例如还是在“拳击”游戏中，玩家打出了左勾拳，在确定无第一动作行为特征数据后，其中第二动作特征数据为小臂摆动的角度，通过角度的改变让智能体确定此动作为摆臂并且通过角度的判断为向具体的方向进行摆臂，此为基础特征数据用于对动作行为进行定性。针对于第三动作行为特征数据为关键特征数据，即通过设置在小臂上的传感器确定具体的速度，从而确定击打的强度，针对此部分不再详细赘述，针对于每一个动作可以通过具体的规则来进行速度-强度的转换，而此数据为关键数据。

所以，通过以上的内容，在玩家进行“左勾拳”的行为时，通过采集个关键点的数据进行比对确定是否具有对应关键点的第一行为特征数据后，再进行对应关键点的第二行为特征数据的比对，将第二行为特征数据比对的结果即勾拳与第三行为特征数据的击打强度进行结合即为最后的行为事件的条件，智能体能过确定玩家采用的某种行为并且某种行为的强度如何，从而进行对应的行为事件的触发。

通过以上的比对机制的设置，降低了行为事件的误触发率，并且通过基础行为和关键行为的确定，提高了智能体的决策效率，提高了行为事件与玩家行为的对应度，即提高了灵敏度。

针对于语言行为，将语音行为互动数据上传至服务器与基础数据库中的语音行为特征数据进行比对，在本实施例中，语音行为特征数据包括第一语音行为特征数据、第二语音行为特征数据和第三语音行为特征数据。识别语音行为互动数据的语音长度，基于语音长度确定是否将语音行为互动数据与第一语音行为特征数据进行比对。在本实施例中，因为在某种情况下，玩家即使处于互动环境下也会自发的产出一些无意义的语音行为，而针对于此语音行为如果严格按照互动开启的方式进行比对的话会增加无意义的比对量，所以在进行数据比对之间需要对是语音行为是否具有意义性进行确定，而采取的方式是通过语音长度，在大概率的情况下语音长度越短的情况下其并不具有意义的可能性会更高。并且，针对于无意义的语音行为同样的进行保存，用于增加基础数据库的数据量。

针对于已经确定具有意义的语音行为的语音数据，将第一语音行为特征数据与语音行为互动数据进行比对，得到第一结果，将第一结果与第二动作语音特征数据进行比对，得到第二结果，将第二结果与第三语音行为特征数据进行比对，得到第三结果，将第二结果和第三结果进行结合得到语音行为比对结果，语音行为比对结果为比对结果。

在本实施例中，针对于语音行为中的第一语音行为特征数据为无意义数据，例如某种不具有意义的感叹词，包括但不限于啊、哦、哟、哇等不具有明显实际意义的词，以上的感叹词可预先设置在对应的数据库中或基于后期训练得到，而针对于如何识别以上的词则基于现有较为成熟的语音识别算法进行确定。针对于第二语音行为特征为基础行为，因为语音行为的最终表达为由多个词组成的短语，而针对于每一个词都具有词性，可针对于词性进行划分，例如“我”“你”“他”等主谓宾语为基础行为词，用于表明对象和身份。针对于第三语音行为特征为关键行为，即动词以及不属于“主”“谓”“宾”等词性的名词以及一些方位名词，例如：猪、狗、上、下、刀。

本实施例提供的方法，可将长句中的特征进行提取，例如在象棋游戏中，当玩家说出“哎，我把车向左方前进五格”，其中“哎”仅表示语气属于第一语音行为特征数据，“我”作为第二语音行为特征数据，“车”“前进”和“五格”作为第三语音行为特征数据，较为快速的提取出行为动作，提高了识别的灵敏度和准确度。

并且，与动作行为相同的，将第二结果和第三结果中的数据所对应的行为标签与保存的标签库中的互动行为标签进行比对，得到多个行为事件，并且基于多个行为事件确定最优的行为事件，并将行为事件命令发送至游戏端控制智能体与用户实现互动。

针对于文字行为，将文字行为作为互动数据上传至服务器与基础数据库中的文字行为特征数据进行比对，在本实施例中，文字行为特征数据包括第一文字行为特征数据、第二文字行为特征数据和第三文字行为特征数据。

同样的，与语音行为和动作行为相同的，对于文字行为同样具有无意义和有意义两种，所以在进行数据比对之前需要对于文字行为进行意义判断，而针对于文字的特殊性，字符较短的文字具有意义的可能性较低，且以汉字或者单个单词程度会更高。所以需要对于文字行为互动数据的文字长度的识别，在一定的阈值范围内，确定文字行为是否具有意义。当确定后进行数据比对，比对的过程与动作行为和语音行为比对过程相似，将第一文字行为特征数据与文字行为互动数据进行比对，得到第一结果，将所述第一结果与第二文字语音特征数据进行比对，得到第二结果，将第二结果与第三文字行为特征数据进行比对，得到第三结果，将第二结果和第三结果进行结合得到文字行为比对结果，文字行为比对结果为初步比对结果。

并且，与动作行为相同的，将文字行为中的第二结果和第三结果中的数据所对应的行为标签与保存的标签库中的互动行为标签进行比对，得到多个行为事件，并且基于多个行为事件确定最优的行为事件，并将行为事件命令发送至游戏端控制智能体与用户实现互动。

但与语音行为不同在于，文字中包含有标点符合，需要增加针对于标点符号的无意义判断，即当单独的标点符号出现时，则认定为属于第一文字行为特征，不作后续行为处理。

本申请实施例还提供一种计算机可读存储介质，其上存储有计算机程序，当计算机程序在计算机上执行时，使得计算机执行本申请实施例提供的游戏人际互动方法。

需要理解的是，针对上述内容没有进行名词解释的技术术语，本领域技术人员可以根据上述所公开的内容进行前后推导毫无疑义地确定其所指代的含义，例如针对一些阈值、系数等术语，本领域技术人员可以根据前后的逻辑关系进行推导和确定，这些数值的取值范围可以根据实际情况进行选取，例如0.1~1，又例如1~10，再例如50~100，在此均不作限定。

本领域技术人员可以根据上述已公开的内容毫无疑义对一些预设的、基准的、预定的、设定的以及偏好标签的技术特征/技术术语进行确定，例如阈值、阈值区间、阈值范围等。对于一些未作解释的技术特征术语，本领域技术人员完全能够基于前后文的逻辑关系进行合理地、毫无疑义地推导，从而清楚、完整地实施上述技术方案。未作解释的技术特征术语的前缀，例如“第一”、“第二”、“示例”、 “目标”等，可以根据前后文进行毫无疑义地推导和确定。未作解释的技术特征术语的后缀，例如“集合”、“列表”等，也可以根据前后文进行毫无疑义地推导和确定。

本申请实施例公开的上述内容对于本领域技术人员而言是清楚完整的。应当理解，本领域技术人员基于上述公开的内容对未作解释的技术术语进行推导和分析的过程是基于本申请所记载的内容进行的，因此上述内容并不是对整体方案的创造性的评判。

上文已对基本概念做了描述，显然，对于本领域技术人员来说，上述详细披露仅作为示例，而并不构成对本申请的限定。虽然此处并没有明确说明，本领域技术人员可以对本申请进行各种修改、改进和修正。该类修改、改进和修正在本申请中被建议，所以该类修改、改进、修正仍属于本申请示范实施例的精神和范围。

同时，本申请使用了特定术语来描述本申请的实施例。如“一个实施例”、“一实施例”、和/或“一些实施例”意指与本申请至少一个实施例相关的某一特征、结构或特点。因此，应强调并注意的是，本说明书中在不同部分两次或多次提到的“一实施例”或“一个实施例”或“一替代性实施例”并不一定是指同一实施例。此外，本申请的至少一个实施例中的某些特征、结构或特点可以进行适当的组合。

另外，本领域普通技术人员可以理解的是，本申请的各个方面可以通过若干具有可专利性的种类或情况进行说明和描述，包括任何新的和有用的工序、机器、产品或物质的组合，或对他们任何新的和有用的改进。相应地，本申请的各个方面可以完全由硬件执行、可以完全由软件(包括固件、常驻软件、微码等)执行、也可以由硬件和软件组合执行。以上硬件或软件均可以被称为“单元”、“组件”或“***”。此外，本申请的各方面可以表现为位于至少一个计算机可读介质中的计算机产品，所述产品包括计算机可读程序编码。

计算机可读信号介质可能包含一个内含有计算机程序编码的传播数据信号，例如在基带上或作为载波的一部分。该传播信号可能有多种表现形式，包括电磁形式、光形式等等、或合适的组合形式。计算机可读信号介质可以是除计算机可读存储介质之外的任何计算机可读介质，该介质可以通过连接至一个指令执行***、装置或设备以实现通讯、传播或传输供使用的程序。位于计算机可读信号介质上的程序编码可以通过任何合适的介质进行传播，包括无线电、电缆、光纤缆线、RF、或类似介质、或任何上述介质的组合。

本申请各方面执行所需的计算机程序码可以用一种或多种程序语言的任意组合编写，包括面向对象程序设计，如Java、Scala、Smalltalk、Eiffel、JADE、Emerald、C++、C#、VB.NET，Python等，或类似的常规程序编程语言，如"C"编程语言，Visual Basic，Fortran2003，Perl，COBOL 2002，PHP，ABAP，动态编程语言如Python，Ruby和Groovy或其它编程语言。所述程式设计编码可以完全在用户计算机上执行、或作为独立的软体包在用户计算机上执行、或部分在用户计算机上执行部分在远程计算机执行、或完全在远程计算机或服务器上执行。在后种情况下，远程计算机可以通过任何网络形式与用户计算机连接，比如局域网络(LAN)或广域网(WAN)，或连接至外部计算机(例如通过因特网)，或在云计算环境中，或作为服务使用如软件即服务(SaaS)。

此外，除非申请专利范围中明确说明，本申请所述处理元件和序列的顺序、数位字母的使用、或其他名称的使用，并非用于限定本申请流程和方法的顺序。尽管上述披露中通过各种示例讨论了一些目前认为有用的发明实施例，但应当理解的是，该类细节仅起到说明的目的，附加的申请专利范围并不仅限于披露的实施例，相反，申请专利范围旨在覆盖所有符合本申请实施例实质和范围的修正和等价组合。例如，虽然以上所描述的***组件可以通过硬件装置实现，但是也可以只通过软件的解决方案得以实现，如在现有的服务器或行动装置上安装所描述的***。

同样应当理解的是，为了简化本申请揭示的表述，从而帮助对至少一个发明实施例的理解，前文对本申请实施例的描述中，有时会将多种特征归并至一个实施例、附图或对其的描述中。但是，这种披露方法并不意味着本申请对象所需要的特征比权利要求中提及的特征多。实际上，实施例的特征要少于上述披露的单个实施例的全部特征。

Claims (10)

1.一种游戏人机互动方法，其特征在于，应用于服务器，所述服务器与用户端和游戏端连接，所述用户端用于采集用户的互动数据，所述游戏端基于所述互动数据向所述游戏端反馈行为事件；所述服务器上配置有基础数据库，所述基础数据库配置有特征数据，所述特征数据用于不同互动形式下所采集到的互动数据的比对；所述方法包括：

采集所述互动数据；

将所述互动数据上传至所述服务器并与所述基础数据库中的特征数据进行比对，得到比对结果；

基于所述比对结果触发与所述比对结果对应的行为事件；

将所述行为事件发送至游戏端与用户实现互动；

所述特征数据为多结构数据，包括第一互动数据、第二互动数据和第三互动数据，所述第一互动数据被设置为无效行为数据用于表征无效行为用于降低比对的数据量，所述第二互动数据被设置为基础行为数据用于表征基础行为用于确定基础行为，所述第三互动数据被配置为关键行为数据用于表征关键行为用于确定关键行为；

所述互动数据与所述特征数据进行比对包括将所述第一互动数据、第二互动数据与所述第三互动数据与所述互动数据进行比对并得到比对结果，具体包括以下方法：对比在互动数据中是否包含有第一互动数据并将第一互动数据进行剔除将剩余数据进行保留，将保留数据中的包含有第二互动数据进行提取存储并进行标签处理，将剩余数据中包含有第三互动数据进行提取存储并进行标签处理，得到由第二互动数据和第三互动数据组成的行为数据；

基于所述比对结果触发与所述比对结果对应的行为事件具体以下方法：将行为数据中的至少两组标签与保存的标签库中的互动行为标签进行比对，所述互动行为标签对应多个行为事件。

2.根据权利要求1所述的游戏人机互动方法，其特征在于，还包括对于多个行为事件选择最优行为事件，包括以下方法：

基于分层决策模型分层动作决策模型，根据目标游戏状态信息确定最优行为事件；所述分层动作决策模型包括互相独立的策略选择子模型和多个策略执行子模型，所述策略选择子模型中配置有对应的行为事件；所述策略选择子模型用于根据游戏状态信息在所述多个策略执行子模型中选择所需运行的策略执行子模型；所述策略执行子模型用于根据游戏状态信息确定虚拟角色所需执行的动作；控制目标虚拟角色执行目标动作。

3.根据权利要求2所述的游戏人机互动方法，其特征在于，根据所述目标游戏状态信息确定最优行为事件包括根据用户预设的游戏运行状态以及采集到的程序运行状态确定最优行为事件，所述用户预设的游戏运行状态包括游戏难易程度设置、游戏运行环境设置以及个性化操作设置，所述程序运行状态包括程序运行的实时物理数据。

4.根据权利要求1所述的游戏人机互动方法，其特征在于，采集所述互动数据包括基于用户行为所产生的交互数据；所述用户行为包括动作行为、语音行为以及文字行为；采集所述动作行为基于外部设备得到动作行为互动数据，所述外部设备包括设置有传感器的硬件，所述传感器与用户物理绑定采集用户运动所产生的行为并与所述服务器产生通信；采集所述语音行为基于语音设备用于采集用户的声音得到语音行为互动数据并与所述服务器产生通信；采集所述文字行为用于采集用户在交互界面产生的文字互动数据并与所述服务器产生通信。

5.根据权利要求4所述的游戏人机互动方法，其特征在于，还包括构建所述基础数据库，包括以下方法：

获取已有的用户行为数据，将所述行为数据进行分类训练，构建训练集，在所述训练集抽取预设关键信息，对所述预设关键信息进行数据处理,引入非策略的批量强化学习算法，构建基于强化学习的行为预判模型，并利用得到的数据对所述预判模型进行训练，得到已训练的行为预判模型，获取待处理的行为数据信息，从所述待处理的行为数据信息中抽取预设的信息，通过数据处理得到第一向量、第二向量和第三向量并得到对应的第一标签、第二标签和第三标签，所述第一向量为所述第一互动数据、所述第二向量为所述第二互动数据、所述第三向量为所述第三互动数据。

6.根据权利要求5所述的游戏人机互动方法，其特征在于，将动作行为互动数据上传至所述服务器并与所述基础数据库中的特征数据进行比对，得到比对结果，包括以下具体方法：

将动作行为互动数据上传至服务器并与基础数据库中的动作行为特征数据进行比对，得到比对结果，所述动作行为特征数据包括第一动作行为特征数据、第二动作行为特征数据和第三动作行为特征数据，包括以下方法：

将第一动作行为特征数据与动作行为互动数据进行比对，得到第一结果，将所述第一结果与第二动作行为特征数据进行比对，得到第二结果，将所述第二结果与第三动作行为特征数据进行比对，得到第三结果，将所述第二结果和所述第三结果进行结合得到动作行为比对结果，所述动作行为比对结果为最终比对结果；

将第一动作行为特征数据与动作行为互动数据进行比对，得到第一结果包括以下方法：

所述第一动作行为特征数据包括动作行为特征数据和与所述动作行为特征数据对应的动作强度数据，所述动作强度数据为阈值，将所述互动数据与动作行为特征数据进行比对并获取对应的动作强度数据，并确定互动数据处于所述动作强度数据的阈值范围内的对应的数据，即为第一结果。

7.根据权利要求6所述的游戏人机互动方法，其特征在于，将第一动作行为特征数据与动作行为互动数据进行比对，得到第一结果还包括：确定所述动作行为互动数据为连续行为数据，所述动作行为互动数据为在预设时间段内，用户进行的连续动作产生的互动数据。

8.根据权利要求5所述的游戏人机互动方法，其特征在于，将语音行为互动数据上传至所述服务器并与所述基础数据库中的特征数据进行比对，得到比对结果，包括以下具体方法：

将语音行为互动数据上传至服务器并与基础数据库中的语音行为特征数据进行比对，得到比对结果，所述语音行为特征数据包括第一语音行为特征数据、第二语音行为特征数据和第三语音行为特征数据，包括以下方法：

将第一语音行为特征数据与语音行为互动数据进行比对，得到第一结果，将所述第一结果与第二动作语音特征数据进行比对，得到第二结果，将所述第二结果与第三语音行为特征数据进行比对，得到第三结果，将所述第二结果和所述第三结果进行结合得到语音行为比对结果，所述语音行为比对结果为最终比对结果；

将第一语音行为特征数据与语音行为互动数据进行比对，得到第一结果还包括识别语音行为互动数据的语音长度，基于所述语音长度确定是否将语音行为互动数据与所述第一语音行为特征数据进行比对。

9.根据权利要求5所述的游戏人机互动方法，其特征在于，将文字行为互动数据上传至所述服务器并与所述基础数据库中的特征数据进行比对，得到比对结果，包括以下具体方法：

将文字行为互动数据上传至服务器并与基础数据库中的文字行为特征数据进行比对，得到比对结果，所述文字行为特征数据包括第一文字行为特征数据、第二文字行为特征数据和第三文字行为特征数据，包括以下方法：

将第一文字行为特征数据与文字行为互动数据进行比对，得到第一结果，将所述第一结果与第二文字语音特征数据进行比对，得到第二结果，将所述第二结果与第三文字行为特征数据进行比对，得到第三结果，将所述第二结果和所述第三结果进行结合得到文字行为比对结果，所述文字行为比对结果为最终比对结果；

将第一文字行为特征数据与文字行为互动数据进行比对，得到第一结果还包括识别文字行为互动数据的文字长度，基于所述文字长度确定是否将文字行为互动数据与所述第一文字行为特征数据进行比对。

10.一种游戏人机互动***，其特征在于，用于执行权利要求1~9任一所述的游戏人机互动方法，包括服务器、游戏端和至少一个客户端，所述客户端设置有外部设备用于采集互动数据；所述游戏端所述服务器上配置有基础数据库，所述基础数据库配置有特征数据，所述特征数据用于不同互动形式下所采集到的互动数据的比对；所述游戏端用于执行并实现人机交互。

Images