CN110665233A - 游戏行为识别方法、装置、设备及介质 - Google Patents

Abstract

本申请提供一种游戏行为识别方法、装置、设备及介质，所述方法包括：在接收到针对游戏对局的游戏对局请求后，获取在所述游戏对局中所有参与者的游戏对局数据，所述游戏对局数据包括所述所有参与者的基本数据和所述所有参与者在多轮对局操作对应的操作序列；基于所述游戏对局数据，利用行为识别模型识别所述游戏对局请求对应的游戏行为是否为异常游戏行为。本申请所提取的特征较现有的技术包含更多的细节，可以替代已有的人工统计特征的设计，对异常游戏行为的识别效率高，解决游戏业务中小号薅羊毛、游戏币非法交易、双簧演员作弊等多种恶意行为问题。

Description

游戏行为识别方法、装置、设备及介质

技术领域

本申请涉及计算机技术领域，尤其涉及一种游戏行为识别方法、装置、设备及介质。

背景技术

随着网络的发展，基于互联网为传输媒介的网络游戏也越来越受到人们喜爱。然而，在网络游戏对局过程中，会出现一些异常游戏行为，比如非法游戏币交易和团伙串通作弊或者个人作弊、薅羊毛小号等，这些异常游戏行为会大大影响正常游戏参与者的用户体验。

现有技术中，对于非法游戏币交易和团伙串通作弊或者个人作弊这些异常游戏行为的检测，通常采用人工进行监测和人工对抗，不仅对抗强度高，而且已有的特征难以对异常游戏行为进行识别，对抗效果较差。对于薅羊毛小号的异常游戏行为，虽然采用简单的机器对抗可区分由脚本操作的薅羊毛小号，但是薅羊毛小号脚本完全可以修改参数达到和正常玩家相似的行为，因此现有的简单机器对抗也比较容易被绕过，也存在对抗效果差和对抗强度高的不足。

发明内容

本申请提供了一种游戏行为识别方法、装置、设备及介质，以解决以上至少一种技术问题。

一方面，本申请提供了一种游戏行为识别方法，包括：

在接收到针对游戏对局的游戏对局请求后，获取在所述游戏对局中所有参与者的游戏对局数据，所述游戏对局数据包括所述所有参与者的基本数据和所述所有参与者在多轮对局操作对应的操作序列；

基于所述游戏对局数据，利用行为识别模型识别所述游戏对局请求对应的游戏行为是否为异常游戏行为；

其中，所述行为识别模型是基于对初始行为识别模型进行机器学习训练得到的，所述行为识别模型包括用于从所述游戏对局数据中提取所有参与者的单***作特征的第一网络、用于从多个所述单***作特征中提取所有参与者的多***作特征的第二网络、以及用于将所述操作序列的长度信息从所述第一网络传递至所述第二网络的蒙版层。

另一方面，一种游戏行为识别装置，包括：

获取模块，用于在接收到针对游戏对局的游戏对局请求后，获取在所述游戏对局中所有参与者的游戏对局数据，所述游戏对局数据包括所述所有参与者的基本数据和所述所有参与者在多轮对局操作对应的操作序列；

识别模块，用于基于所述游戏对局数据，利用行为识别模型识别所述游戏对局请求对应的游戏行为是否为异常游戏行为；

其中，所述行为识别模型是基于对初始行为识别模型进行机器学习训练得到的，所述行为识别模型包括用于从所述游戏对局数据中提取所有参与者的单***作特征的第一网络、用于从多个所述单***作特征中提取所有参与者的多***作特征的第二网络、以及用于将所述操作序列的长度信息从所述第一网络传递至所述第二网络的蒙版层。

另一方面还提供一种游戏行为识别设备，所述设备包括处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现上述任一所述的一种游戏行为识别方法。

另一方面还提供一种计算机存储介质，所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、至少一段程序、代码集或指令集由处理器加载并执行如上述任一所述的一种游戏行为识别方法。

本申请提供的一种游戏行为识别方法、装置、设备及介质，具有如下技术效果：

本申请在接收到针对游戏对局的游戏对局请求后，获取在所述游戏对局中所有参与者的游戏对局数据，所述游戏对局数据包括所述所有参与者的基本数据和所述所有参与者在多轮对局操作对应的操作序列；基于所述游戏对局数据，利用行为识别模型识别所述游戏对局请求对应的游戏行为是否为异常游戏行为。其中，所述行为识别模型是基于对初始行为识别模型进行机器学习训练得到的，所述行为识别模型包括用于从所述游戏对局数据中提取所有参与者的单***作特征的第一网络、用于从多个所述单***作特征中提取所有参与者的多***作特征的第二网络、以及用于将所述操作序列的长度信息从所述第一网络传递至所述第二网络的蒙版层。本申请通过设计两个网络结构并利用自定义蒙版层融合这两个网络结构所构建的行为识别模型，能够有效的挖掘提取操作序列的特征，所提取的特征较现有的技术包含更多的细节，可以替代已有的人工统计特征的设计，对异常游戏行为的识别效率高，解决游戏业务中小号薅羊毛、游戏币非法交易、双簧演员作弊等多种恶意行为问题。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案和优点，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。

图1是本申请实施例提供的一种实施环境的示意图；

图2是本申请实施例提供的一种游戏行为识别方法的流程示意图；

图3是本申请实施例提供的一种识别游戏对局请求对应的游戏行为为异常游戏行为的概率的流程示意图；

图4是本申请实施例提供的另一种识别游戏对局请求对应的游戏行为为异常游戏行为的概率的流程示意图；

图5是本申请实施例提供的另一种识别游戏对局请求对应的游戏行为为异常游戏行为的概率的流程示意图；

图6是本申请实施例提供的一种行为识别模型的训练的示意图；

图7是本申请实施例提供的初始神经网络模型的模型框架图；

图8是本申请实施例提供的一种游戏行为识别装置的结构框图；

图9是本申请提供的一种用于实现本申请实施例所提供的方法的设备的硬件结构示意图。

具体实施方式

机器学习(Machine Learning,ML)是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、式教学习等技术。

为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。

为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。

请参考图1，其示出了本申请实施例提供的一种实施环境的示意图。该实施环境可以包括：终端10和与所述终端10通过网络连接的服务器20。

终端10具体可以包括运行于实体设备中的软体，例如安装在设备上的应用等，也可以包括安装有应用的智能手机、台式电脑、平板电脑、笔记本电脑、数字助理、智能可穿戴设备等类型的实体设备中至少一种。具体的，终端10上运行有操作***，该操作***可以是视窗(Windows)操作***或Linux操作***或者Mac OS(苹果桌面操作***)等桌面操作***，也可以是iOS(苹果移动终端操作***)或者安卓(Android)操作***等移动操作***。

服务器20可以是独立的服务器，也可以是由多个独立服务器组成的服务器集群，或者是提供云计算服务器、云数据库、云存储等基础云计算服务的云服务器。

应理解，图1中示出的实施环境仅仅是与本申请方案一种应用环境，并不构成对本申请方案应用环境的限定，其他的应用环境还可以包括比图中所示更多或更少的计算机设备，或者计算机设备网络连接关系。

以下介绍本申请一种游戏行为识别方法的具体实施例，图2是本申请实施例提供的一种游戏行为识别方法的流程示意图，本申请提供了如实施例或流程图所述的方法操作步骤，但基于常规或者无创造性的劳动可以包括更多或者更少的操作步骤。实施例中列举的步骤顺序仅仅为众多步骤执行顺序中的一种方式，不代表唯一的执行顺序。如图2所示，该方法的执行主体可以为上述应用环境中的服务器，该方法可以包括：

S201：在接收到针对游戏对局的游戏对局请求后，获取在所述游戏对局中所有参与者的游戏对局数据，所述游戏对局数据包括所述所有参与者的基本数据和所述所有参与者在多轮对局操作对应的操作序列。

其中，游戏对局请求可以是终端向服务器发送的进入针对某一类游戏的游戏对局的请求，该游戏对局请求中可以携带该终端上所登陆的请求进入该游戏对局的游戏账号标识信息。该第一待处理请求的请求数量可以为一个或多个。该游戏的类型可以为需要多人参与并进行相互对局的游戏类型，例如可以为棋牌类游戏(比如斗地主、跑得快、麻将等)，竞技类游戏等。相应的，游戏对局中参与者的数量为至少两个。

在游戏开局后，每个参与者在游戏对局过程中会执行相应的对局操作。以斗地主和跑得快为例，其对局操作包括出牌和过牌。以麻将为例，其对局操作可以包括但不限于为打牌、碰、胡牌、自摸、杠、过牌等等。由于每一局游戏的对局过程中，从开局到游戏结束，通常会进行多轮对局操作。以斗地主为例，参与者通常为三个：参与者1(地主)，参与者2(农民1)和参与者3(农民2)。一般是参与者1(地主)先出牌，随后逐个按顺序依次询问剩余参与者(参与者2和参与者3)是否出牌(对局操作)，即完成了一轮对局。

游戏对局数据是在游戏对局中用于描述参与者的游戏行为的相关数据。示例的，游戏对局数据可以包括所有参与者的基本数据和所有参与者在多轮对局操作对应的操作序列。

其中，基本数据可以包括参与者的角色信息(例如地主/农民，是否坐庄，队友/敌对)、身份信息(例如新手/老手、游戏级别)、手牌信息、游戏装备信息、游戏能力值信息等。

所有参与者在多轮对局操作对应的操作序列可以包括牌谱序列、游戏操作序列等。以斗地主为例，基本数据可以包括参与者的角色信息(例如地主/农民) 和手牌信息。所有参与者在多轮对局操作对应的操作序列可以包括牌谱序列，其可以表示为{pi}，其中pi分别为每个参与者在多轮对局操作对应的牌谱序列，每个牌谱序列中包括该参与者在每一轮对局操作的出牌序列。牌谱序列本身蕴含了大量可用于识别非法行为的信息，但是这些信息变化多样，难以通过简单的规则、回归模型等方式使用，因此已有技术对特征利用并不完善。

在实际应用中，以斗地主为例，获取了所有参与者在每一轮对局操作的出牌序列，可以将各自的出牌序列进行编码，例如可以采用向量形式或数组形式进行编码，得到计算机能够识别的数据类型。示例的，若出牌序列为“345678”的顺子，则对应的数字编码形式可以表示为：“1111110000000000”(其中，每一位分别对应的牌为：3456789SJQKA2wW，每一位的数值代表该牌的数量；例第一个“1”代表1个“3”)。

S203：基于所述游戏对局数据，利用行为识别模型识别所述游戏对局请求对应的游戏行为是否为异常游戏行为。

其中，所述行为识别模型是基于对初始行为识别模型进行机器学习训练得到的。行为识别模型是用于对游戏对局请求对应的游戏行为进行识别的。在将游戏对局数据输入至行为识别模型之前，可以对游戏对局数据进行相应的数据处理，直至符合输入至行为识别模型的格式要求。

该异常游戏行为包括不限于为：团伙串通作弊或者个人作弊、非法游戏币交易和薅羊毛小号等等。

该行为识别模型可以由多种网络结构构成。该网络结构包括但不限于为卷积神经网络、循环神经网络、深度学习网络等等。

在一具体实施例，所述基于所述游戏对局数据，利用行为识别模型识别所述游戏对局请求对应的游戏行为是否为异常游戏行为，可以包括：

S2031：基于所述游戏对局数据，利用行为识别模型识别所述游戏对局请求对应的游戏行为为异常游戏行为的概率。

在一可选的实施例，所述行为识别模型可以包括第一网络、第二网络和蒙版层。

其中，所述第一网络用于从所述游戏对局数据中提取所有参与者的单***作特征。具体的，第一网络可以为卷积神经网络(Convolutional Neural Networks， CNN)。该第一网络可以包括卷积层、池化层和平坦化层。其中，卷积层和池化层可以在隐藏层中出现多次。

该行为识别模型还可包括输入层，游戏对局数据输入至该输入层，之后进入第一网络，也即该第一网络可以作为行为识别模型中紧接着该输入层的第一层。由于游戏对局数据是包括所有参与者在多轮对局操作对应的操作序列，而对于不同局的游戏，其从开局到游戏结束所需要的轮数并不同；相应的，对应的操作序列的序列维度也必然相同。然而，传统的CNN并不支持对变长数据的处理，因此在将游戏对局数据输入第一网络之前，可以将游戏对局数据中的数据维度转化为与CNN预设的维度相同的数据。示例的，可以通过将未达到预设维度的数据进行补“零”处理，从而CNN所处理的数据为定长的游戏对局数据。

所述第二网络用于从多个所述单***作特征中提取所有参与者的多***作特征。具体的，第二网络可以为循环神经网络(Recurrent Neural Networks，RNN)。示例的，所述第二网络可以为双向门控循环网络GRU。

所述蒙版层用于将所述操作序列的长度信息从所述第一网络传递至所述第二网络的蒙版层。如前面所述，CNN不支持变长数据的处理，虽然对数据进行补“零”处理，但是该被补“零”处理的数据同样进行了运算，经过相应的运算后该被补“零”处理的数据对应的数值为非零，如此会导致经过CNN输出的单***作特征包含大量的无用数据。这里通过设置蒙版层来获取操作序列的长度信息，操作序列的长度信息用于表征原始操作序列的维度数据。之后，将该操作序列的长度信息传递至第二网络，在将CNN输出的单***作特征输入至第二网络之前，可以根据该操作序列的长度信息将进行该经过补“零”处理所对应的数据进行过滤，得到更新的单***作特征后再输入至第二网络中。该更新的单***作特征是变长数据序列。

作为一种可变形方案，所述第一网络还可为深度神经网络。所述第二网络还可为单向循环神经网络、双向循环神经网络、双向门控循环网络、单向门控循环网络和LSTM网络中至少一种。

在另一可选的实施例，所述行为识别模型包括第一网络、第二网络和蒙版层。其中，所述蒙版层包括第一蒙版层和第二蒙版层。

此时，所述基于所述游戏对局数据，利用行为识别模型识别所述游戏对局请求对应的游戏行为为异常游戏行为的概率，具体可以包括：

S301：将所述游戏对局数据输入所述行为识别模型中第一网络，提取所有参与者的单***作特征；所述单***作特征为定长特征序列。

具体的，由于游戏对局数据是包括所有参与者在多轮对局操作对应的操作序列，而对于不同局的游戏，其从开局到游戏结束所需要的轮数并不同；相应的，对应的操作序列的序列维度也必然相同。然而，传统的CNN并不支持对变长数据的处理，因此在将游戏对局数据输入第一网络之前，可以将游戏对局数据中的数据维度转化为与CNN预设的维度相同的数据。示例的，可以通过将未达到预设维度的数据进行补“零”处理，从而CNN所处理的数据为定长的游戏对局数据，所提取的单***作特征为定长特征序列。

该第一网络可以包括卷积层、池化层和平坦化层。将游戏对局数据使用DFT 变换特征后，依次输入卷积层、池化层和平坦化层进行相应的操作和特征提取，得到所有参与者的单***作特征。

在实际应用中，以棋牌类游戏为例，将所述游戏对局数据输入所述行为识别模型中CNN网络，提取所有参与者的单轮出牌特征。由于棋牌游戏玩法复杂，普通斗地主模式下玩家单轮出牌的可能种类有9万多种，在癞子玩法下(癞子牌可以替换任意牌)，单轮出牌种类更是高达百万种。牌型的表征空间非常稀疏，难以建模与训练，而人工设计的特征基于人对牌的理解，会导致牌型的表达上出现很大的信息损失。本申请使用前置CNN网络提取单轮出牌的特征，一方面减少了人工设计特征时的信息损失，可以代替已有技术人工统计特征的设计；另一方面提取的特征较已有技术包含更多细节，解决了直接使用原始稀疏牌型导致模型难以训练的问题。

S303：将所述游戏对局数据输入所述行为识别模型中第一蒙版层，提取所述操作序列的长度信息。

具体的，通过第一蒙版层提取并记录游戏对局数据的各维度数据，得到操作序列的长度信息。

S305：利用所述行为识别模型中第二蒙版层，将所述单***作特征和所述操作序列的长度信息进行变长处理，得到变长的单***作特征。

具体的，利用所述操作序列的长度信息和行为识别模型中第二蒙版层，将第一网络所提取的定长的单***作特征还原为变长的单***作特征，该变长的单***作特征为单***作特征变长序列，作为第二网络的输入。

S307：将多个所述变长的单***作特征输入所述第二网络，提取对应的多***作特征。

具体的，通过双向循环神经网络提取关联性序列特征，其中，双向循环神经网络使用双向门控循环网络GRU，输出对应的多***作特征。

在实际应用中，以斗地主为例，将多个所述变长的单***作特征输入所述双向GRU网络，提取对应的多轮出牌特征。斗地主是一种规则为先出完牌者胜利的游戏，每一局的比赛可能的出牌轮数不定，但是有个大致范围在1至90，其他棋牌类游戏也大都具有此类轮数不定的特征。由于出牌序列本身可能非常长，传统的人工设计的序列模式匹配方法覆盖率较低，难以对较长的序列进行宏观地分析并发现可疑。本申请利用双向GRU这种RNN模型提取较长的牌谱序列特征，可以较好地解决人工设计规则覆盖度低的问题，提取的特征较已有技术包含更多的牌谱种类细节。

标准的CNN实现不支持变长的序列输入，而牌谱本身是变长的序列。本申请通过自定义两种蒙版层，第一蒙版层在通过CNN输入前将数据转换成定长，第二蒙版层在RNN输入前将数据转换成变长，从而在工程上实现CNN与RNN 结合的可能性。

S309：将所述多***作特征输入至分类输出层，得到所述游戏对局请求对应的游戏行为为异常游戏行为的概率。

具体的，该分类输出层为二分类输出层，输出该游戏对局请求对应的游戏行为为异常游戏行为的概率。示例的，可以通过sigmoid函数将多***作特征进行正常与异常行为的二分类输出。

进一步地，在另一可选的实施例，如图4所述，在上述实施例的基础上，所述步骤S303之后，还可包括：

S401：获取所述第一网络输出的包括多个单***作特征的第一形状信息。

具体的，由于单***作特征是经过卷积操作、池化操作和平坦化操作处理的，也即对输入至第一网络的数据的形状信息也进行了相应调整。所述第一网络输出的包括多个单***作特征的第一形状信息为尺寸(长宽高)或维度。

S403：对所提取的操作序列的长度信息进行相应操作处理，得到具有第二形状信息的处理后的操作序列的长度信息，所述第一形状信息和所述第二形状信息相匹配。

具体的，该相应操作处理与第一网络对游戏对局数据所做的上述各项操作 (例如卷积操作、池化操作和平坦化操作)相对应。本实施例中，进行相应操作处理的目的是为了使得所提取的操作序列的长度信息的第二形状信息与第一形状信息相匹配，以使得后续的变长处理更为有效。

相应的，所述步骤S305可以替换为：

S405：利用所述行为识别模型中第二蒙版层，将所述单***作特征和所述处理后的操作序列的长度信息进行变长处理，得到变长的单***作特征。

具体的，第二蒙版层分别获取单***作特征和处理后的操作序列的长度信息，之后根据所述处理后的操作序列的长度信息，过滤掉所述单***作特征中的多余的数据(例如经过补“零”操作的数据)，得到变长的单***作特征。

在另一可选的实施例，在上述实施例的基础上，所述行为识别模型还可包括注意力机制模块。此时，所述蒙版层还用于将所述操作序列的长度信息传递至所述注意力机制模块。具体的，第二蒙版层将记录的操作序列的长度信息CNN 网络的输出上，合并后的输出通过RNN网络提取特征，同时将操作序列的长度信息交给注意力模块。此时，如图5所示，在所述步骤S309之前，还可包括：

S501：获取所述多***作特征对应的注意力向量。

具体的，注意力向量可以是该多***作特征中每个操作特征对应的特征权重所组成的向量。该特征权重是可以表示一局游戏中每个对局时刻对应的操作特征与异常游戏行为的概率的关系。示例的，将输出的多***作特征输入至注意力机制模块，得到该多***作特征对应的注意力向量。

S503：基于所述多***作特征、所述操作序列的长度信息和所述注意力向量，利用所述注意力机制模块确定所述多***作特征对应的关键操作特征。

具体的，注意力机制模块利用第二蒙版层传播的操作序列的长度信息，并结合RNN提取的多***作特征和所获取的注意力向量进行关键操作特征提取。该关键操作特征是描述一局游戏中与输出的异常游戏行为的概率相关的特征。比如，以斗地主为例，若农民2炸了农民1的牌，或者农民2故意给地主发小牌等等，这些对局操作均可作为关键操作进行相应的特征提取。

由于每一步运算的序列均是变长的，如果缺失了长度信息(填充0)，多余的操作序列也会经过RNN和注意力机制模块的偏置运算会出现无意义的数值，此时中间隐变量会出现稀疏的情况。通过向上传播操作序列的长度信息，可减少该问题的发生，有利于准确提取操作特征。

相应的，所述将所述多***作特征输入至分类输出层，得到所述游戏对局请求为异常游戏行为的概率，可以包括：

S505：将所述关键操作特征输入至全连接层，得到所述游戏对局请求为异常游戏行为的概率。

以棋牌类游戏为例，上面提到棋牌游戏的一局对局可能会很长，仅通过RNN 提取的宏观特征难以实现对异常点的表达。本申请增加的注意力模块模仿人工核查时可疑举报对局时的思路，可以从RNN输出的序列特征中发现关键操作特征，即提取对局中的关键几轮出牌情况，提取更高可疑的特征，提升检测结果的解释性。

S2033：比较所述概率和预设概率阈值，判断所述游戏对局请求对应的游戏行为是否为异常游戏行为。

在本申请实施例，预设概率阈值可以设置包括但不限于为0.5～1中任一值。示例的，若预设概率阈值为0.9，所确定的所述游戏对局请求为异常游戏行为的概率为0.93，由于该概率(0.93)大于预设概率阈值(0.9)，则确定所述游戏对局请求对应的游戏行为为异常游戏行为。若所确定的所述游戏对局请求为异常游戏行为的概率为0.6，由于该概率小于预设概率阈值，则确定所述游戏对局请求对应的游戏行为不为异常游戏行为。

本申请通过设计两个网络结构并利用自定义蒙版层融合这两个网络结构所构建的行为识别模型，能够有效的挖掘提取操作序列的特征，所提取的特征较现有的技术包含更多的细节，可以替代已有的人工统计特征的设计，对异常游戏行为的识别效率高，解决游戏业务中小号薅羊毛、游戏币非法交易、双簧演员作弊等多种恶意行为问题。

在一可选实施例，所述方法还可包括：

S205：若确定所述游戏对局请求对应的游戏行为为异常游戏行为，则执行相应的对抗操作。

在本申请实施例，该对抗操作包括但不限于为异常操作提醒、关闭游戏对局、阻止游戏对局操作、封号、身份验证等。具体的，在确定所述游戏对局请求对应的游戏行为为异常游戏行为之后，还可以提取异常游戏行为对应的概率达到阈值所对应的特征数据，确定执行了异常游戏行为的目标参与者，之后对该目标参与者执行相应的对抗操作。

在一可选实施例，所述方法还包括训练所述行为识别模型的步骤。

其中，所述行为识别模型是基于对初始行为识别模型进行机器学习训练得到的。

以下介绍本申请提供的行为识别模型的训练实施例。

图6是本申请实施例提供的一种行为识别模型的训练的示意图。该训练步骤可以由图1中服务器执行；也可由其他装置执行，服务器仅获取其构建的行为识别模型。如图6所示，以所述初始神经网络模型包括第一网络、第二网络、第一蒙版层和第二蒙版层为例说明行为识别模型的训练过程，包括：

S601：构建训练样本集。

其中，所述训练样本集包括多个训练样本，每个训练样本包括游戏样本对局中所有样本参与者的游戏样本对局数据和对应的样本分类标签；所述游戏样本对局数据包括所有样本参与者在多轮对局操作对应的样本操作序列。

针对不同的异常游戏行为可以选择不同的黑、白训练样本。其中，白样本均选取正常玩家对局。对于黑样本可以为以至少下一种：

1.薅羊毛小号：薅羊毛小号参与的对局；

2.非法游戏币交易：非法商家与普通玩家交易的对局；

3.团伙串通作弊：被举报作弊的对局。

S603：将所述训练样本集输入初始行为识别模型中第一网络，提取所有参与者的单轮样本操作特征；所述单轮样本操作特征为定长特征序列。

S605：将所述训练样本集输入所述初始行为识别模型中第一蒙版层，提取所述样本操作序列的长度信息。

S607：利用所述初始行为识别模型中第二蒙版层，将所述单轮样本操作特征和所述样本操作序列的长度信息进行变长处理，得到变长的单轮样本操作特征。

S609：将多个所述变长的单轮样本操作特征输入所述初始行为识别模型中第二网络，提取对应的多轮样本操作特征。

S611：将所述多轮样本操作特征输入至分类输出层，得到每个训练样本对应的对局样本请求对应的游戏行为为异常游戏行为的样本概率。

具体的，针对上述规则选取的各类黑白对局，提取游戏对局样本数据作为模型输入，输出为二分类概率值，范围为0至1之间。

S613：基于每个训练样本对应的样本概率和对应的样本分类标签，训练所述初始行为识别模型，将满足训练结束条件对应的目标行为识别模型作为所述行为识别模型。

具体的，将最后全连接层的输出与真实值做对比，计算loss并反向传播，然后依次迭代。训练结束条件可以为达到预定的训练次数或者异常误差小于预定阈值。

需要说明的是，对于本申请训练实施例中未披露的细节和有益效果，请参照本申请上述方法实施例。

如图7所示，初始神经网络模型包括CNN网络、双向GRU单元、卷积蒙版层、合并蒙版层和注意力机制模块。其中CNN网络可以包括依次连接的卷积层、最大池化层和平坦化层(Flatten层)。卷积蒙版层可以包括依次连接的输入蒙版层、蒙版复制层和蒙版尺寸处理层，卷积蒙版层是用于传播序列长度信息，可以看作是绕过CNN网络传播的副通道，蒙版复制层和蒙版尺寸处理层用于将样本操作序列的长度信息进行形状处理，例如包括升维和降维处理，以使经过卷积蒙版层处理的数据形状与经过CNN网络处理的数据形状相匹配。输入层分别连接卷积层和输入蒙版层，经过CNN网络输出的单轮样本操作特征和经过卷积蒙版层输出的匹配形状的样本操作序列的长度信息分别输入合并蒙版层。合并蒙版层之后一方面与双向GRU单元连接，用于传递合并处理的样本操作特征；另一方面与注意力机制模块连接，用以传递样本操作序列的长度信息。合并蒙版层将左侧的卷积蒙版层记录的操作序列的长度信息应用到右侧的CNN 网络输出上，合并后的输出通过双向GRU单元提取特征，同时将操作序列的长度信息交给注意力模块，结合双向GRU单元的时序特征进行关键操作特征的提取。注意力机制模块之后连接全连接层，全连接层用于输出二分类概率。以图8 所示的初始神经网络模型为例说明行为识别模型的训练过程，包括：

S701：构建训练样本集。

其中，所述训练样本集包括多个训练样本(包括黑、白训练样本)，每个训练样本包括游戏样本对局中所有样本参与者的游戏样本对局数据和对应的样本分类标签；所述游戏样本对局数据包括所有样本参与者在多轮对局操作对应的样本操作序列。

S703：将所述训练样本集输入初始行为识别模型中CNN网络，提取所有参与者的单轮样本操作特征；所述单轮样本操作特征为定长特征序列。

S705：将所述训练样本集输入所述初始行为识别模型中卷积蒙版层，提取所述样本操作序列的长度信息。

S707：获取所述第一网络输出的包括多个单轮样本操作特征的第一形状信息。

S709：对所提取的样本操作序列的长度信息进行相应操作处理，得到具有第二形状信息的处理后的样本操作序列的长度信息，所述第一形状信息和所述第二形状信息相匹配。

S711：利用所述初始行为识别模型中合并蒙版层，将所述单轮样本操作特征和所述处理后的样本操作序列的长度信息进行变长处理，得到变长的单轮样本操作特征。

S713：将多个所述变长的单轮样本操作特征输入所述初始行为识别模型中双向GRU单元，提取对应的多轮样本操作特征。

S715：获取所述多***作特征对应的注意力向量。

S717：基于所述多***作特征、所述操作序列的长度信息和所述注意力向量，利用所述注意力机制模块确定所述多***作特征对应的关键操作特征。

S719：将所述关键操作特征输入至全连接层，得到每个训练样本对应的对局样本请求对应的游戏行为为异常游戏行为的样本概率。

S720：基于每个训练样本对应的样本概率和对应的样本分类标签，训练所述初始行为识别模型，将满足训练结束条件对应的目标行为识别模型作为所述行为识别模型。

具体的，训练的参数可以包括但不限于为：卷积层的参数，双向GRU单元的参数，注意力机制模块的参数以及全连接层的参数。

需要说明的是，对于本申请训练实施例中未披露的细节和有益效果，请参照本申请上述方法实施例。

在棋牌游戏业务中，薅羊毛小号大量获取游戏币会影响游戏的收入，非法游戏币交易会给游戏带来***风险，团伙串通作弊会给正常玩家带来不好的游戏体验。本申请提出的游戏行为识别方法取得良好的技术效果。

特别地，对于非法游戏币交易对局的检测，传统的规则模型在准确率95％的情况下，覆盖率仅能达到20％至30％，本申请提出的行为识别模型准确率在 97.6％的情况下，覆盖率能提升到82.9％。在准确率提升的同时，覆盖率成倍地提升。

在效果上，棋牌业务中薅羊毛小号人数下降83.9％，非法交易商家价格提升38.9％，团伙串通作弊人数下降45.4％，为游戏的安全环境带来了较好的正面影响。

下述为本申请装置实施例，可以用于执行本申请方法实施例。对于本申请装置实施例中未披露的细节，请参照本申请方法实施例。

请参考图8，其示出了本申请实施例提供的一种游戏行为识别装置的结构框图。该装置具有实现上述方法示例中服务器侧的功能，所述功能可以由硬件实现，也可以由硬件执行相应的软件实现。所述装置80可以包括：

获取模块81，用于在接收到针对游戏对局的游戏对局请求后，获取在所述游戏对局中所有参与者的游戏对局数据，所述游戏对局数据包括所述所有参与者的基本数据和所述所有参与者在多轮对局操作对应的操作序列；

识别模块82，用于基于所述游戏对局数据，利用行为识别模型识别所述游戏对局请求对应的游戏行为是否为异常游戏行为；

其中，所述行为识别模型是基于对初始行为识别模型进行机器学习训练得到的，所述行为识别模型包括用于从所述游戏对局数据中提取所有参与者的单***作特征的第一网络、用于从多个所述单***作特征中提取所有参与者的多***作特征的第二网络、以及用于将所述操作序列的长度信息从所述第一网络传递至所述第二网络的蒙版层。

在一些实施例，所述识别模块82包括：

识别子模块，用于基于所述游戏对局数据，利用行为识别模型识别所述游戏对局请求对应的游戏行为为异常游戏行为的概率；

判断子模块，用于比较所述概率和预设概率阈值，判断所述游戏对局请求对应的游戏行为是否为异常游戏行为。

在一些实施例，所述蒙版层包括第一蒙版层和第二蒙版层；

所述识别子模块包括：

第一提取单元，用于将所述游戏对局数据输入所述行为识别模型中第一网络，提取所有参与者的单***作特征；所述单***作特征为定长特征序列；

第二提取单元，用于将所述游戏对局数据输入所述行为识别模型中第一蒙版层，提取所述操作序列的长度信息；

变长处理单元，用于利用所述行为识别模型中第二蒙版层，将所述单***作特征和所述操作序列的长度信息进行变长处理，得到变长的单***作特征；

第三提取单元，用于将多个所述变长的单***作特征输入所述第二网络，提取对应的多***作特征；

第一识别单元，用于将所述多***作特征输入至分类输出层，得到所述游戏对局请求对应的游戏行为为异常游戏行为的概率。

在一些实施例，所述行为识别模型还包括注意力机制模块，所述蒙版层还用于将所述操作序列的长度信息传递至所述注意力机制模块；

所述识别子模块还包括：

第一获取单元，用于获取所述多***作特征对应的注意力向量；

关键特征确定单元，用于基于所述多***作特征、所述操作序列的长度信息和所述注意力向量，利用所述注意力机制模块确定所述多***作特征对应的关键操作特征；

第二识别单元，用于将所述关键操作特征输入至全连接层，得到所述游戏对局请求为异常游戏行为的概率。

在一些实施例，所述识别子模块还包括：

第二获取单元，用于获取所述第一网络输出的包括多个单***作特征的第一形状信息；

处理单元，用于对所提取的操作序列的长度信息进行相应操作处理，得到具有第二形状信息的处理后的操作序列的长度信息，所述第一形状信息和所述第二形状信息相匹配。

在一些实施例，所述装置还包括：

模型训练模块，用于训练所述行为识别模型。

在一些实施例，所述装置还包括：

对抗模块，用于若确定所述游戏对局请求对应的游戏行为为异常游戏行为，则执行相应的对抗操作。

本申请实施例提供了一种游戏行为识别设备，该设备可以包括处理器和存储器，该存储器中存储有至少一条指令、至少一段程序、代码集或指令集，该至少一条指令、该至少一段程序、该代码集或指令集由该处理器加载并执行以实现如上述方法实施例所提供的游戏行为识别方法。

本申请实施例还提供了一种存储介质，所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、至少一段程序、代码集或指令集由处理器加载并执行上述任一所述的游戏行为识别方法。

进一步地，图9示出了一种用于实现本申请实施例所提供的方法的设备的硬件结构示意图，所述设备可以为计算机终端、移动终端或其它设备，所述设备还可以参与构成或包含本申请实施例所提供的装置。如图9所示，计算机终端10可以包括一个或多个(图中采用102a、102b，……，102n来示出)处理器102(处理器102可以包括但不限于微处理器MCU或可编程逻辑器件FPGA 等的处理装置)、用于存储数据的存储器104、以及用于通信功能的传输装置 106。除此以外，还可以包括：显示器、输入/输出接口(I/O接口)、通用串行总线(USB)端口(可以作为I/O接口的端口中的一个端口被包括)、网络接口、电源和/或相机。本领域普通技术人员可以理解，图9所示的结构仅为示意，其并不对上述电子装置的结构造成限定。例如，计算机终端10还可包括比图9中所示更多或者更少的组件，或者具有与图9所示不同的配置。

应当注意到的是上述一个或多个处理器102和/或其他数据处理电路在本文中通常可以被称为“数据处理电路”。该数据处理电路可以全部或部分的体现为软件、硬件、固件或其他任意组合。此外，数据处理电路可为单个独立的处理模块，或全部或部分的结合到计算机终端10(或移动设备)中的其他元件中的任意一个内。如本申请实施例中所涉及到的，该数据处理电路作为一种处理器控制(例如与接口连接的可变电阻终端路径的选择)。

存储器104可用于存储应用软件的软件程序以及模块，如本申请实施例中所述的方法对应的程序指令/数据存储装置，处理器102通过运行存储在存储器 104内的软件程序以及模块，从而执行各种功能应用以及数据处理，即实现上述的一种神经网络处理方法。存储器104可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器104可进一步包括相对于处理器102远程设置的存储器，这些远程存储器可以通过网络连接至计算机终端10。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

传输装置106用于经由一个网络接收或者发送数据。上述的网络具体实例可包括计算机终端10的通信供应商提供的无线网络。在一个实例中，传输装置 106包括一个网络适配器(Network Interface Controller，NIC)，其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，传输装置106 可以为射频(Radio Frequency，RF)模块，其用于通过无线方式与互联网进行通讯。

显示器可以例如触摸屏式的液晶显示器(LCD)，该液晶显示器可使得用户能够与计算机终端10(或移动设备)的用户界面进行交互。

需要说明的是：上述本申请实施例先后顺序仅仅为了描述，不代表实施例的优劣。且上述对本申请特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。

本申请中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置和服务器实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。

以上所述仅为本申请的较佳实施例，并不用以限制本申请，凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (10)

1.一种游戏行为识别方法，其特征在于，包括：

在接收到针对游戏对局的游戏对局请求后，获取在所述游戏对局中所有参与者的游戏对局数据，所述游戏对局数据包括所述所有参与者的基本数据和所述所有参与者在多轮对局操作对应的操作序列；

基于所述游戏对局数据，利用行为识别模型识别所述游戏对局请求对应的游戏行为是否为异常游戏行为；

其中，所述行为识别模型是基于对初始行为识别模型进行机器学习训练得到的，所述行为识别模型包括用于从所述游戏对局数据中提取所有参与者的单***作特征的第一网络、用于从多个所述单***作特征中提取所有参与者的多***作特征的第二网络、以及用于将所述操作序列的长度信息从所述第一网络传递至所述第二网络的蒙版层。

2.根据权利要求1所述的方法，其特征在于，所述基于所述游戏对局数据，利用行为识别模型识别所述游戏对局请求对应的游戏行为是否为异常游戏行为，包括：

基于所述游戏对局数据，利用行为识别模型识别所述游戏对局请求对应的游戏行为为异常游戏行为的概率；

比较所述概率和预设概率阈值，判断所述游戏对局请求对应的游戏行为是否为异常游戏行为。

3.根据权利要求2所述的方法，其特征在于，所述蒙版层包括第一蒙版层和第二蒙版层；

所述基于所述游戏对局数据，利用行为识别模型识别所述游戏对局请求对应的游戏行为为异常游戏行为的概率，包括：

将所述游戏对局数据输入所述行为识别模型中第一网络，提取所有参与者的单***作特征；所述单***作特征为定长特征序列；

将所述游戏对局数据输入所述行为识别模型中第一蒙版层，提取所述操作序列的长度信息；

利用所述行为识别模型中第二蒙版层，将所述单***作特征和所述操作序列的长度信息进行变长处理，得到变长的单***作特征；

将多个所述变长的单***作特征输入所述第二网络，提取对应的多***作特征；

将所述多***作特征输入至分类输出层，得到所述游戏对局请求对应的游戏行为为异常游戏行为的概率。

4.根据权利要求3所述的方法，其特征在于，所述行为识别模型还包括注意力机制模块，所述蒙版层还用于将所述操作序列的长度信息传递至所述注意力机制模块；

所述将所述多***作特征输入至分类输出层，得到所述游戏对局请求对应的游戏行为为异常游戏行为的概率之前，包括：

获取所述多***作特征对应的注意力向量；

基于所述多***作特征、所述操作序列的长度信息和所述注意力向量，利用所述注意力机制模块确定所述多***作特征对应的关键操作特征；

相应的，所述将所述多***作特征输入至分类输出层，得到所述游戏对局请求为异常游戏行为的概率，包括：

将所述关键操作特征输入至全连接层，得到所述游戏对局请求为异常游戏行为的概率。

5.根据权利要求3所述的方法，其特征在于，所述将所述游戏对局数据输入所述行为识别模型中第一蒙版层，提取所述操作序列的长度信息之后，还包括：

获取所述第一网络输出的包括多个单***作特征的第一形状信息；

对所提取的操作序列的长度信息进行相应操作处理，得到具有第二形状信息的处理后的操作序列的长度信息，所述第一形状信息和所述第二形状信息相匹配。

6.根据权利要求1所述的方法，其特征在于，所述方法还包括训练所述行为识别模型的步骤，所述训练所述行为识别模型，包括：

构建训练样本集，所述训练样本集包括多个训练样本，每个训练样本包括游戏样本对局中所有样本参与者的游戏样本对局数据和对应的样本分类标签；所述游戏样本对局数据包括所有样本参与者在多轮对局操作对应的样本操作序列；

将所述训练样本集输入初始行为识别模型中第一网络，提取所有参与者的单轮样本操作特征；所述单轮样本操作特征为定长特征序列；

将所述训练样本集输入所述初始行为识别模型中第一蒙版层，提取所述样本操作序列的长度信息；

利用所述初始行为识别模型中第二蒙版层，将所述单轮样本操作特征和所述样本操作序列的长度信息进行变长处理，得到变长的单轮样本操作特征；

将多个所述变长的单轮样本操作特征输入所述初始行为识别模型中第二网络，提取对应的多轮样本操作特征；

将所述多轮样本操作特征输入至分类输出层，得到每个训练样本对应的对局样本请求对应的游戏行为为异常游戏行为的样本概率；

基于每个训练样本对应的样本概率和对应的样本分类标签，训练所述初始行为识别模型，将满足训练结束条件对应的目标行为识别模型作为所述行为识别模型。

7.根据权利要求1-5任一所述的方法，其特征在于，所述第一网络为卷积神经网络或深度神经网络；

所述第二网络为单向循环神经网络、双向循环神经网络、双向门控循环网络、单向门控循环网络和LSTM网络中至少一种。

8.一种游戏行为识别装置，其特征在于，包括：

获取模块，用于在接收到针对游戏对局的游戏对局请求后，获取在所述游戏对局中所有参与者的游戏对局数据，所述游戏对局数据包括所述所有参与者的基本数据和所述所有参与者在多轮对局操作对应的操作序列；

识别模块，用于基于所述游戏对局数据，利用行为识别模型识别所述游戏对局请求对应的游戏行为是否为异常游戏行为；

其中，所述行为识别模型是基于对初始行为识别模型进行机器学习训练得到的，所述行为识别模型包括用于从所述游戏对局数据中提取所有参与者的单***作特征的第一网络、用于从多个所述单***作特征中提取所有参与者的多***作特征的第二网络、以及用于将所述操作序列的长度信息从所述第一网络传递至所述第二网络的蒙版层。

9.一种游戏行为识别设备，其特征在于，所述设备包括处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如权利要求1至7任一所述的游戏行为识别方法。

10.一种计算机存储介质，其特征在于，所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、至少一段程序、代码集或指令集由处理器加载并执行如权利要求1至7任一所述的游戏行为识别方法。

Images