CN116595978B - 对象类别识别方法、装置、存储介质及计算机设备 - Google Patents

Abstract

本公开提供了一种对象类别识别方法、装置、存储介质及计算机设备。方法通过获取目标对象的名称文本、目标对象的行为统计数据以及多个分类类别对应的类别标签文本；基于第一神经网络模型对名称文本进行特征提取，得到名称文本特征；基于第二神经网络模型对行为统计数据进行特征提取，得到行为统计特征；基于第三神经网络模型对类别标签文本进行特征提取，得到类别标签文本特征；根据名称文本特征、行为统计特征以及类别标签文本特征计算目标对象与每一分类类别对应的分类概率；基于分类概率确定目标对象的目标对象类别。该方法可以提升对象类别识别的准确性。

Description

对象类别识别方法、装置、存储介质及计算机设备

技术领域

本公开涉及人工智能技术领域，特别是涉及一种对象类别识别方法、装置、存储介质及计算机设备。

背景技术

随着互联网技术的不断发展，人们的生产生活也在发生着极大的变化。例如，商户的经营模式由完全的线下经营模式变为了线上经营模式或者线上线下相结合的经营模式。其中，传统商户通过入驻互联网平台实现线上引流，从而提升交易量。

随着入驻互联网平台的商户数量和种类的不断增加，互联网用平台的用户查找商户的难度也在不断变大，互联网平台便通过对入驻平台的商户进行类别识别，然后根据类别识别结果对商户进行分类的方式来降低用户查找商户的难度。然而，目前对商户进行类别识别的准确性较差。

发明内容

本公开实施例提供了一种对象类别识别方法、装置、存储介质及计算机设备，该方法可以通过对象的名称文本以及对象的行为统计数据在多个分类类别中准确确定对象的对象类别，从而可以提升对象类别识别的准确性。

根据本公开的一方面，提供了一种对象类别识别方法，包括：

获取目标对象的名称文本、所述目标对象的行为统计数据以及多个分类类别对应的类别标签文本；

基于第一神经网络模型对所述名称文本进行特征提取，得到名称文本特征；

基于第二神经网络模型对所述行为统计数据进行特征提取，得到行为统计特征；

基于第三神经网络模型对所述类别标签文本进行特征提取，得到类别标签文本特征，所述第一神经网络模型、所述第二神经网络模型以及所述第三神经网络模型基于同一批训练样本数据同时训练得到；

根据所述名称文本特征、所述行为统计特征以及所述类别标签文本特征计算所述目标对象与每一分类类别对应的分类概率；

基于所述分类概率确定所述目标对象的目标对象类别。

根据本公开的一方面，提供了一种对象类别识别装置，包括：

获取单元，用于获取目标对象的名称文本、所述目标对象的行为统计数据以及多个分类类别对应的类别标签文本；

第一提取单元，用于基于第一神经网络模型对所述名称文本进行特征提取，得到名称文本特征；

第二提取单元，用于基于第二神经网络模型对所述行为统计数据进行特征提取，得到行为统计特征；

第三提取单元，用于基于第三神经网络模型对所述类别标签文本进行特征提取，得到类别标签文本特征，所述第一神经网络模型、所述第二神经网络模型以及所述第三神经网络模型基于同一批训练样本数据同时训练得到；

计算单元，用于根据所述名称文本特征、所述行为统计特征以及所述类别标签文本特征计算所述目标对象与每一分类类别对应的分类概率；

确定单元，用于基于所述分类概率确定所述目标对象的目标对象类别。

可选地，所述计算单元，包括：

第一融合子单元，用于对所述名称文本特征与所述行为统计特征进行融合处理，得到融合特征；

计算子单元，用于计算所述融合特征与所述类别标签文本特征的点积结果；

确定子单元，用于根据所述点积结果确定所述目标对象与每一分类类别对应的分类概率。

可选地，所述融合子单元，包括：

获取模块，用于分别获取所述名称文本特征与所述行为统计特征对应的权重系数；

融合模块，用于基于所述权重系数对所述名称文本特征与所述行为统计特征进行融合处理，得到融合特征。

可选地，所述获取模块，包括：

识别子模块，用于对所述名称文本进行语义识别，得到语义识别结果；

确定子模块，用于基于所述语义识别结果确定所述名称文本特征与所述行为统计特征对应的权重系数。

可选地，所述计算子单元，包括：

转换模块，用于基于所述类别标签文本特征的特征维度对所述融合特征进行维度转换，得到目标融合特征；

第一计算模块，用于对所述目标融合特征与所述类别标签文本特征进行点积计算，得到点积结果。

可选地，所述第二神经网络模型包括第一子模型和第二子模型，所述第二提取单元，包括：

第一处理子单元，用于基于所述第一子模型对所述行为统计数据对应的输入特征进行升维处理，得到高维特征；

基变换子单元，用于于所述第二子模型对所述高维特征进行特征变换，得到行为统计特征。

可选地，所述处理子单元，包括：

第一处理模块，用于获取所述行为统计数据中的数值数据，并基于第一权重向量和第一偏置向量对所述数值数据进行升维处理，得到数值向量；

第二处理模块，用于获取所述行为统计数据中的属性数据，并基于第二权重向量和第二偏置向量对所述属性数据对应的输入特征进行升维处理，得到属性向量；

堆叠模块，用于对所述数值向量与所述属性向量进行堆叠，得到高维特征。

可选地，第二处理模块，包括：

转换子模块，用于获取所述行为统计数据中的属性数据，并对所述属性数据进行数值转换，得到转换数值数据；

升维子模块，用于基于第二权重向量和第二偏置向量对所述转换数值数据进行升维处理，得到属性向量。

可选地，所述第一提取单元，包括：

第二处理子单元，用于按照预设文本长度对所述名称文本进行文本处理，得到目标文本；

第一提取子单元，用于基于第一神经网络模型对所述目标文本进行特征提取，得到名称文本特征。

可选地，第二处理子单元，包括：

扩充模块，用于当所述名称文本的文本长度小于预设文本长度时，基于所述预设文本长度对所述名称文本进行文本扩充，得到目标文本；

裁剪模块，用于当所述名称文本的文本长度大于或等于所述预设文本长度时，按照所述预设文本长度对所述名称文本进行文本裁剪，得到目标文本。

可选地，本公开提供的对象类别识别装置，还包括：

第一获取子单元，用于获取训练样本数据，所述训练样本数据包括样本对象的样本名称文本、所述样本对象的样本行为统计数据、所述样本对象的样本类别标签以及多个分类类别对应的类别标签文本；

第二提取子单元，用于基于所述第一神经网络模型对所述样本名称文本进行特征提取，得到样本名称文本特征；

第三提取子单元，用于基于所述第二神经网络模型对所述样本行为统计数据进行特征提取，得到样本行为统计特征；

第二融合子单元，用于对所述样本名称文本特征与所述样本行为统计特征进行特征融合，得到样本融合特征；

第四提取子单元，用于基于所述第三神经网络模型对所述类别标签文本进行特征提取，得到样本标签文本特征；

调整子单元，用于基于所述样本融合特征、所述样本标签文本特征以及所述样本类别标签计算损失值，并基于所述损失值对所述第一神经网络模型、所述第二神经网络模型以及所述第三神经网络模型的参数进行调整；

执行子单元，用于循环执行获取训练样本数据并基于获取到的训练样本数据对所述第一神经网络模型、所述第二神经网络模型以及所述第三神经网络模型的参数进行调整的步骤，直至所述第一神经网络模型、所述第二神经网络模型以及所述第三神经网络模型收敛。

可选地，所述调整子单元，包括：

第一调整模块，用于基于第四神经网络模型对所述样本融合特征进行维度调整，得到目标样本融合特征；

第二计算模块，用于对所述目标样本融合特征与所述样本标签文本特征进行点积计算，得到样本分类结果；

第二调整模块，用于基于所述样本分类结果与所述样本类别标签计算损失值，并基于所述损失值对所述第一神经网络模型、所述第二神经网络模型、所述第三神经网络模型以及所述第四神经网络模型的参数进行调整；

所述执行子单元，还用于：

循环执行获取训练样本数据并基于获取到的训练样本数据对所述第一神经网络模型、所述第二神经网络模型、所述第三神经网络模型以及所述第四神经网络模型的参数进行调整的步骤，直至所述第一神经网络模型、所述第二神经网络模型、所述第三神经网络模型以及所述第四神经网络模型收敛。

根据本公开的一方面，提供了一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现如上所述的对象类别识别方法。

根据本公开的一方面，提供了一种存储介质，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如上所述的对象类别识别方法。

根据本公开的一方面，提供了一种计算机程序产品，该计算机程序产品包括计算机程序，所述计算机程序被计算机设备的处理器读取并执行，使得该计算机设备执行如上所述的对象类别识别方法。

本公开实施例中，通过获取目标对象的名称文本、目标对象的行为统计数据以及多个分类类别对应的类别标签文本；基于第一神经网络模型对名称文本进行特征提取，得到名称文本特征；基于第二神经网络模型对行为统计数据进行特征提取，得到行为统计特征；基于第三神经网络模型对类别标签文本进行特征提取，得到类别标签文本特征，第一神经网络模型、第二神经网络模型以及第三神经网络模型基于同一批训练样本数据同时训练得到；根据名称文本特征、行为统计特征以及类别标签文本特征计算目标对象与每一分类类别对应的分类概率；基于分类概率确定目标对象的目标对象类别。如此，本公开通过采用端到端的模型来将对象的名称文本和行为统计数据融合到同一类别识别任务中来进行对象类别识别。相对于仅使用一种对象数据进行对象类别识别，本公开的方案采用更多维度的对象数据进行对象类别识别，可以得到更准确的类别识别结果。相对于分别采用不同模型对不同维度的对象数据进行对象识别，再对不同模型的识别结果进行整合，本公开的方案可以避免模型误差的扩大化，进而同样可以提升对象类别识别的准确性。

本公开的其他特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本公开而了解。本公开的目的和其他优点可通过在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。

附图说明

附图用来提供对本公开技术方案的进一步理解，并且构成说明书的一部分，与本公开的实施例一起用于解释本公开的技术方案，并不构成对本公开技术方案的限制。

图1是根据本公开的实施例的对象类别识别方法应用的***构架图；

图2是本公开的实施例的对象类别识别方法的一个流程示意图；

图3是本公开的实施例的对象类别识别模型的结构示意图；

图4是本公开的实施例的对象类别识别模型的训练流程示意图；

图5是本公开的实施例中对象类别识别模型的另一结构示意图；

图6是本公开的实施例中为采用BERT模型对目标对象的文本名称进行特征提取的过程示意图；

图7是本公开的实施例中第二神经网络模型的结构示意图；

图8是本公开实施例中基于第一子模型对行为统计数据的特征进行升维的过程示意图；

图9是本公开的实施例中第二子模型的模型结构示意图；

图10是本公开实施例的对象类别识别方法的另一流程示意图；

图11是本公开的实施例中对象类别识别装置的结构示意图；

图12是实施根据本公开的一个实施例的各方法的终端结构图；

图13是实施根据本公开的一个实施例的各方法的服务器结构图。

具体实施方式

为了使本公开的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本公开进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本公开，并不用于限定本公开。

对本公开实施例进行进一步详细说明之前，对本公开实施例中涉及的名词和术语进行说明，本公开实施例中涉及的名词和术语适用于如下的解释：

预训练模型（Pre-training model）：也称基石模型、大模型，指具有大参量的深度神经网络（Deep neural network，DNN），在海量未标记的数据上对其进行训练，利用大参量DNN的函数近似能力使PTM在数据上提取共性特征，经微调（fine tune）、参数高效微调（PEFT）、prompt-tuning等技术，适用于下游任务。因此，预训练模型可以在小样本（Few-shot）或零样本（Zero-shot）场景下达到理想效果。PTM按照处理的数据模态可以分为语言模型（ELMO，BERT，GPT)、视觉模型（swin-transformer，ViT，V-MOE）、语音模型（VALL-E）、多模态模型(ViBERT，CLIP，Flamingo，Gato)等，其中多模态模型指建立两种或以上数据模态特征表示的模型。预训练模型是输出人工智能生成内容（AIGC）重要工具，也可以作为连接多个具体任务模型的通用接口。

BERT：全称为Bidirectional Encoder Representation from Transformers，即基于Transformer（变换）的双向编码表示，是一个预训练的语言表征模型。其强调了不再像以往一样采用传统的单向语言模型或者把两个单向语言模型进行浅层拼接的方法进行预训练，而是采用新的掩码语言模型（masked language model，MLM），以致能生成深度的双向语言表征。

one-hot转换：也称为独热编码，是最为简单也是比较常用的文本特征表示方法。其本质是直接将词语在词语集合中的下标作为该词的表示。

在相关技术中，当需要对某个对象的类别进行识别时，可以获取对象的名称文本，然后通过大规模预训练语言模型（例如BERT模型）来对该对象进行类别识别。具体地，可以先采用大规模预训练语言模型对该对象的名称文本进行特征提取，得到该对象的名称文本特征；同时可以采用该大规模预训练语言模型对多个对象类别的类别文本进行特征提取，得到多个类别特征，然后通过计算名称文本特征与多个类别特征之间的相似关系来识别出对象的类别。或者，可以获取对象的行为统计数据，然后采用树模型等多分类模型，例如极度梯度提升树（extreme gradient boosting，XGBoost），来对对象的行为统计数据进行类别识别。

相关技术中采用的大规模预训练语言模型和树模型仅能处理单一维度的对象数据，无法同时处理对象的名称文本和行为统计数据这两个维度的、且于对象类别识别任务而言比较重要的数据。导致仅采用单一维度的对象数据来进行对象类别识别得到的识别结果准确性较差。为解决上述对象类别识别准确性差的问题，本公开提供了一种对象类别识别方法，以期能够提升对象类别识别的准确性。

本公开实施例应用的***体系构架及场景说明。图1是根据本公开的实施例的对象类别识别方法所应用的***构架图。它包括终端140、互联网130、网关120、服务器110等。

终端140包括桌面电脑、膝上型电脑、PDA（个人数字助理）、手机、车载终端、家庭影院终端、专用终端等多种形式。另外，它可以是单台设备，也可以是多台设备组成的集合。终端140可以以有线或无线的方式与互联网130进行通信，交换数据。

服务器110是指能对终端140提供某些服务的计算机***。相对于普通终端140来说，服务器110在稳定性、安全性、性能等方面都要求更高。服务器110可以是网络平台中的一台高性能计算机、多台高性能计算机的集群、一台高性能计算机中划出的一部分（例如虚拟机）、多台高性能计算机中划出的一部分（例如虚拟机）的组合等。

网关120又称网间连接器、协议转换器。网关在传输层上实现网络互连，是一种充当转换作用的计算机***或设备。在使用不同的通信协议、数据格式或语言，甚至体系结构完全不同的两种***之间，网关是一个翻译器。同时，网关也可以提供过滤和安全功能。终端140向服务器110发送的消息要通过网关120发送到相应的服务器110。服务器110向终端140发送的消息也要通过网关120发送到相应的终端140。

本公开实施例的对象类别识别方法可以完全在终端140实现；可以完全在服务器110实现；也可以一部分在终端140实现，另一部分在服务器110实现。

对象类别识别方法完全在终端140实现的情况下，可以是终端140获取目标对象的名称文本、目标对象的行为统计数据以及多个分类类别对应的类别标签文本；然后，终端140基于部署在终端140中的第一神经网络模型对名称文本进行特征提取，得到名称文本特征；基于部署在终端140中的第二神经网络模型对行为统计数据进行特征提取，得到行为统计特征；基于部署在终端140中的第三神经网络模型对类别标签文本进行特征提取，得到类别标签文本特征，第一神经网络模型、第二神经网络模型以及第三神经网络模型基于同一批训练样本数据同时训练得到；根据名称文本特征、行为统计特征以及类别标签文本特征计算目标对象与每一分类类别对应的分类概率；基于分类概率确定目标对象的目标对象类别。其中，对第一神经网络模型、第二神经网络模型以及第三神经网络模型进行训练的过程也可以在终端140中实现，此处第一神经网络模型、第二神经网络模型以及第三神经网络模型可以具体理解为对象类别识别模型中的三个模块，在对象类别识别模型的训练过程中，同时对这三个神经网络模型进行训练。

对象类别识别方法完全在服务器110实现的情况下，可以在服务器110获取目标对象的名称文本、目标对象的行为统计数据以及多个分类类别对应的类别标签文本；然后，服务器110基于部署在服务器110中的第一神经网络模型对名称文本进行特征提取，得到名称文本特征；基于部署在服务器110中的第二神经网络模型对行为统计数据进行特征提取，得到行为统计特征；基于部署在服务器110中的第三神经网络模型对类别标签文本进行特征提取，得到类别标签文本特征，第一神经网络模型、第二神经网络模型以及第三神经网络模型基于同一批训练样本数据同时训练得到；根据名称文本特征、行为统计特征以及类别标签文本特征计算目标对象与每一分类类别对应的分类概率；基于分类概率确定目标对象的目标对象类别。其中，对第一神经网络模型、第二神经网络模型以及第三神经网络模型进行训练的过程也可以在服务器110中实现。

在对象类别识别方法一部分在终端140实现，另一部分在服务器110实现的情况下，可以由终端140获取目标对象的名称文本、目标对象的行为统计数据以及多个分类类别对应的类别标签文本；然后，终端140将获取到的目标对象的名称文本、目标对象的行为统计数据以及多个分类类别对应的类别标签文本发送给服务器110进行对象类别识别。服务器110在接收到终端140发送的目标对象的名称文本、目标对象的行为统计数据以及多个分类类别对应的类别标签文本后，可以基于部署在服务器110中的第一神经网络模型对名称文本进行特征提取，得到名称文本特征；基于部署在服务器110中的第二神经网络模型对行为统计数据进行特征提取，得到行为统计特征；基于部署在服务器110中的第三神经网络模型对类别标签文本进行特征提取，得到类别标签文本特征，第一神经网络模型、第二神经网络模型以及第三神经网络模型基于同一批训练样本数据同时训练得到；然后服务器110根据名称文本特征、行为统计特征以及类别标签文本特征计算目标对象与每一分类类别对应的分类概率；基于分类概率确定目标对象的目标对象类别。进一步地，服务器110可以将识别到的目标对象的目标对象类别发送给终端140。其中，对第一神经网络模型、第二神经网络模型以及第三神经网络模型进行训练的过程可以在服务器110中实现。又或者，对对第一神经网络模型、第二神经网络模型以及第三神经网络模型进行训练的过程在服务器110中实现，然后将这几个训练好的模型部署到终端140中进行预测，终端140在获取到目标对象的名称文本、目标对象的行为统计数据以及多个分类类别对应的类别标签文本这些数据后便可以直接在终端140中确定目标对象的目标对象类别。

本公开实施例可以应用在多种场景下，例如根据移动支付数据识别商户经营行业的场景以及互联网平台对线上商户进行行业分类的场景等。

（一）根据移动支付数据识别线下商户经营行业的场景

近年来，随着互联网技术和移动终端技术的不断发展，人们在日常消费过程中的支付场景也在随之发生着变化：线下支付逐渐由实体支付转为移动支付。移动支付是指使用移动终端扫描商户提供的二维码进行支付；具体地，用户可以使用移动终端中装载的各大银行的应用程序，或者使用一些具有相关部门颁发的支付牌照的企业的应用程序，来扫描商家提供的二维码，从而实现将款项从用户的账户转移到对应商家的账户中，进而实现支付过程。移动支付大大提升了支付场景的安全性，避免了实体货币的易掺假和易丢失等缺点给交易双方带来的损失。各大银行的网上银行应用程序以及各类具有支付牌照的企业提供的支付应用，其后台的运行和维护也需要相应的成本，而商户使用移动支付可以提升支付效率、降低交易风险，进而可以得到相应的移动支付收益，因此提供移动支付功能的平台也会向商户收取一定的费用用于维护其后台运行。在一些场景下，提供移动支付功能的平台为支持某些行业的商户使用移动支付，会进行一些费率的优惠，在该场景下，需要先对不同的商户进行经营行业的识别。例如当商户为学校、医院等属于教育、医疗以及其他公益性质的行业时，可以对这些商户进行费率的优惠或者减免。因此可以先通过本公开提供的对象类别识别方法识别出属于这些行业的商户，然后对其进行针对性的费率的优惠或减免。

在对不同商户进行经营行业识别时，可以先获取某一商户的名称文本、商户的行为统计数据以及多个行业的行业标签文本。然后，可以采用第一神经网络模型对商户的名称文本进行特征提取，得到名称文本特征；采用第二神经网络模型对商户的行为统计数据进行特征提取，得到行为统计特征；采用第三神经网络模型对行业标签文本进行特征提取，得到行业标签文本特征。此处第一神经网络模型、第二神经网络模型以及第三神经网络模型为基于同一批训练样本数据同时训练得到的。然后，根据名称文本特征、行为统计特征以及行业标签文本特征计算该商户与每一行业对应的分类概率，然后根据该商户与每一行业对应的分类概率确定该商户对应的行业。如此，可以同时根据商户的名称文本和行为统计数据来对商户的经营行业进行识别，可以识别得到较为准确的商户经营行业。

（二）互联网平台对线上商户进行行业分类的场景

商户在入驻互联网平台时，一般会在入驻时选择自身经营的行业，互联网平台将商户按照不同的经营行业进行分类，以提升互联网平台用户查找对应商户的效率。然而，有些商户经营的行业存在交叉，而商户和互联网平台的用户对平台的行业划分规则又无法做到非常详细的了解，导致互联网平台用户在根据不同行业的商户列表中无法找到对应的商户，影响互联网平台用户的使用体验也降低了入驻平台的商户的交易量。为此，互联网平台可以获取每一商户的名称文本、行为统计数据以及互联网平台提供的行业标签文本，然后基于第一神经网络模型对每一商户的名称文本进行特征提取，得到名称文本特征；然后，基于第二神经网络模型对行为统计数据进行特征提取，得到行为统计特征；以及基于第三神经网络模型对行业标签文本进行特征提取，得到行业标签文本特征。其中，第一神经网络模型、第二神经网络模型以及第三神经网络模型是基于同一批训练样本数据同时训练得到的。进一步地，可以根据名称文本特征、行为统计特征以及行业标签文本特征计算出每一商户与每一行业对应的分类概率。然后，可以根据每一商户与每一行业对应的分类概率确定每一商户对应的一个或多个行业。然后，便可以将每一商户根据其对应的一个或多个行业呈现在一个或多个行业分类中。该方法可以提升对商户经营行业识别的准确性，还可以提升平台用户的使用体验以及提升商户的交易量。

本公开实施例的总体说明。根据本公开的一个实施例，提供了一种对象类别识别方法。该方法可以用于上述根据移动支付数据识别商户经营行业的场景或者互联网平台对线上商户进行行业分类的场景。当然，该方法也可以用于其他对象类别识别的场景中。

如图2所示，为本公开提供的对象类别识别方法的一个流程示意图。该方法可以应用于对象类别识别装置，该对象类别识别装置可以集成在计算机设备中，计算机设备可以为终端或服务器。该对象类别识别方法可以包括：

步骤210，获取目标对象的名称文本、目标对象的行为统计数据以及多个分类类别对应的类别标签文本。

其中，在本公开实施例中，将以本公开提供的对象类别识别方法应用在根据移动支付数据识别商户经营行业的场景中为例对该对象类别识别方法进行整体的介绍。

在根据移动支付数据识别商户经营行业的场景中，目标对象可以为需要进行经营行业识别的商户。在其他对象类别识别场景中，目标对象可以为其他对应的事物。例如在对用户群体进行类别识别的场景中，目标对象可以为待进行类别识别的用户等。获取目标对象的名称文本，具体可以为获取待进行经营行业识别的商户的名称文本，例如XX大药房连锁有限公司、XXX文具批发超市以及XXXX杂货铺等。一般情况下，商户的名称可以包含指示商户经营行业的文字，例如XX大药房连锁有限公司中的“大药房”可以说明该商户的经营行业为医药行业，XXX文具批发超市中的“文具”可以说明该商户的经营行业为文具用品行业。因此，在相关技术中的一些方案中，可以直接通过商户的名称文本来识别商户的经营行业，具体可以基于商户的名称文本采用大规模预训练语言模型来对商户经营的行业进行识别。

基于商户的名称文本采用大规模预训练语言模型来对商户经营的行业进行识别时，一般采用的大规模预训练语言模型可以为BERT模型、RoBERTa模型或者ALBERT模型。其中，BERT模型已经在前文中进行详细介绍，此处不再予以赘述。RoBERTa模型名称为强力优化的BERT模型（A Robustly Optimized BERT），即RoBERTa模型为BERT模型的改进版，其相对于BERT模型具有如下几点改进：具有更大的模型参数量；具有更大的训练样本批尺寸；采用了更多的训练数据。因此，RoBERTa模型可以理解为BERT模型更为精细的调优版本。ALBERT模型也是BERT模型的改进版，该模型为预训练小模型，具有更少的模型参数和更好的模型效果。采用大规模预训练语言模型来对商户经营的行业进行识别时，可以采用大规模预训练语言模型来对商户的名称文本进行处理，得到输出的名称文本特征；同时，可以采用大规模预训练语言模型来对多个行业的行业标签文本进行处理，得到输出的行业标签文本特征。然后，计算名称文本特征与行业标签文本特征之间的相似度，根据该相似度识别出商户经营的行业。具体可以确定一个相似度阈值，与名称文本特征的相似度大于该相似度阈值的行业标签文本特征对应的行业，可以识别为商户对应的行业。

在本公开实施例中，除了获取目标对象的名称文本外，还可以进一步获取目标对象的行为统计数据。其中，商户的行为统计数据具体可以包括商户的交易数据，例如商户的交易额、笔单价或者客单价等数据；此外，商户的行为统计数据还可以包括根据商户的交易行为确定的商户的类别信息、商户性质、商户形态等信息。此处类别信息为与商户经营行业不同的类别信息，具体为可以根据商户的交易数据直接识别出的类别信息，例如当商户服务的对象为特定群体的对象，例如只服务于女性用户，例如女性美容院等商户，那么可以确定商户的类别为服务于女性的商户。商户性质具体可以指商户服务客户的形式，例如可以根据商户的交易行为确定商户是服务于企业用户（批发商）还是服务于个人用户的商户（零售商）又或者是既服务于企业又服务于个人的商户，这些便可以确定为商户性质。商户形态可以包括线上商户或者线下商户等。

其中，对象的行为统计数据，即上述商户的交易数据，在一定程度上也可以揭示商户经营的行业。因此，在相关技术中，可以基于商户的交易数据采用树模型对商户经营的行业进行识别。其中，树模型即决策树，其数学描述就是分段函数。对树模型的学习过程，简单而言就是从有监督的数据经验中学习一个较优的树模型的结构；包含了依次地选择特征，确定特征阈值作划分的内部节点以及最终输出叶子节点的数值或类别结果。具体地，可以采用XGboost来对商户的交易数据进行处理，从而识别出商户经营的行业。

由于大规模预训练语言模型一般用于处理文本特征，而树模型一般用于处理数值特征，导致在相关技术中无法融合对象的名称文本和行为统计数据进行对象的类别识别。而仅基于单个维度的对象数据进行类别识别得到的类别识别结果的准确性又不高，对此本公开提供了一种在一个端到端模型中融合使用对象的名称文本和行为统计数据来进行对象类别识别的方法，该端到端模型具体可以称为对象类别识别模型，下面进行详细介绍。

其中，在获取到待进行类别识别的目标对象的名称文本和行为统计数据的同时，还可以进一步获取多个分类类别对应的类别标签文本。其中，此处多个分类类别可以为预先设置好的多个分类类别，对目标对象进行类别识别的过程就是在这预先设置好的多个分类类别中确定目标对象对应的一个或多个类别。在对商户进行经营行业识别的场景中，多个分类类别即为多个行业；多个分类类别对应的类别标签文本即为多个行业的行业标签文本。此处多个分类类别对应的类别标签文本可以为人工生成的也可以为计算机设备自动生成的；或者，也可以由计算机设备自动生成再由人工进行细节调整后得到的。由计算机设备自动生成再由人工进行细节调整可以保证多个分类类别能够对待分类的对象进行精细而且准确的覆盖。在对本公开提供的对象类别识别模型进行训练后，便可以将获取到的目标对象的名称文本、行为统计数据以及类别标签文本输入到训练后的对象类别识别模型中进行识别，便可以得到目标对象的类别识别结果。

在采用对象类别识别模型对目标对象进行类别识别之前，需要先对本公开提供的对象类别识别模型进行训练。首先，可以先对本公开提供的对象类别识别模型的基本结构进行介绍。如图3所示，为本公开提供的对象类别识别模型的结构示意图。如图所示，本公开提供的对象类别识别模型300主要由三个神经网络模型组成，具体包括第一神经网络模型310、第二神经网络模型320以及第三神经网络模型330。其中，第一神经网络模型310用于对名称文本进行处理，得到名称文本特征；第二神经网络模型320用于对行为统计数据进行处理，得到行为统计特征；第三神经网络模型330用于对类别标签文本进行处理，得到类别标签文本特征。此外，对象类别识别模型300还包括特征融合网络340，用于将第一神经网络模型310输出的名称文本特征和第二神经网络模型320输出的行为统计特征进行特征融合，输出融合特征。对象类别识别模型300还进一步包括特征计算网络350，用于对融合特征和类别标签文本特征进行点积计算，得到计算结果，并根据计算结果输出对象识别结果。

其中，根据图3可知，对象类别识别模型的主要结构为第一神经网络模型310、第二神经网络模型320以及第三神经网络模型330。其中第一神经网络模型310和第三神经网络模型330具体都可以采用前述大规模预训练语言模型，即第一神经网络模型310和第三神经网络模型330可以采用相同结构的神经网络模型，但两者的参数不共享，在对象类别识别模型的训练阶段，两个模型独立调整各自的参数。或者，第一神经网络模型和第三神经网络模型也可以采用不同结构的大规模预训练语言模型。第二神经网络模型320可以为一个数值处理模型，具体可以为特性嵌入变换（feature tokenizer transformer，FT-transformer）模型。特性嵌入变换模型一般包括特性嵌入模块和多层transformer模块，特性嵌入模块用于对原始输入进行升维，多层transformer模块用于对升维后的特征进行变换，得到输出特征。

基于上述介绍的对象类别识别模型的模型结构，下面进一步介绍对本公开提供的对象类别识别模型进行训练的过程。如图4所示，为本公开提供的对象类别识别模型的训练流程示意图。对象类别识别模型的训练过程具体可以包括如下步骤：

步骤410，获取训练样本数据。

首先，需要获取对本公开提供的对象类别识别模型进行训练的训练样本数据。其中，训练样本数据具体可以包括样本对象的样本名称文本、样本对象的样本行为统计数据、样本对象的样本类别标签以及多个分类类别对应的类别标签文本。其中，可以理解的是，此处获取的训练样本数据是对该对象类别识别模型进行训练的多个训练样本数据中的一个。此处的样本对象具体可以为一个商户，样本对象的样本名称文本可以为该商户的商户名称以及该商户所属公司的公司名称所构成的文本。样本对象的样本行为统计数据具体可以为该商户在一段时间内的交易数据的统计信息，包括交易的交易额、笔单价、客单价，以及由交易信息确定的商户信息，例如商户类型、商户性质和商户形态等信息。样本对象的样本类别标签具体可以为由人工标注的该商户经营的行业，人工标注的该商户经营的行业可以为一个也可以为多个。此处多个分类类别对应的类别标签文本与前述采用训练后的对象类别识别模型进行推理时获取的多个分类类别对应的类别标签文本可以为相同的类别标签文本。此处的多个分类类别也可以为按照前述人工生成、计算机设备自动生成或者由计算机设备自动生成后再由人工进行矫正后得到的多个分类类别。

步骤420，基于第一神经网络模型对样本名称文本进行特征提取，得到样本名称文本特征。

在获取到训练样本数据后，便可以将训练样本数据中样本对象的样本名称文本、样本对象的样本行为统计数据以及多个分类类别对应的类别标签文本输入到待训练的对象类别识别模型中。

其中，对象类别识别模型300主要由第一神经网络模型310、第二神经网络模型320以及第三神经网络模型330组成，即对象类别识别模型300的训练过程即为对第一神经网络模型310、第二神经网络模型320以及第三神经网络模型330的参数进行调整的过程。因此，将获取到的训练样本数据中样本对象的样本名称文本、样本对象的样本行为统计数据以及多个分类类别对应的类别标签文本输入到待训练的对象类别识别模型中，具体可以为将样本对象的样本名称文本输入到第一神经网络模型中、将样本对象的样本行为统计数据输入到第二神经网络模型中，以及将多个分类类别对应的类别标签文本输入到第三神经网络模型中。

将样本对象的样本名称文本输入到第一神经网络模型中，即采用第一神经网络模型对样本名称文本进行特征提取，得到样本名称文本特征。具体地，采用第一神经网络模型对样本名称文本进行特征提取之前，可以先对样本名称文本进行文本处理，将样本名称文本按照预设的文本长度处理成特定长度的文本，然后采用第一神经网络模型对处理后的文本进行特征提取，得到样本名称文本特征。

步骤430，基于第二神经网络模型对样本行为统计数据进行特征提取，得到样本行为统计特征。

将样本对象的样本行为统计数据输入到第二神经网络模型中，即为基于第二神经网络模型对样本行为统计数据进行特征提取，从而得到样本行为统计特征。在本公开实施例中，第二神经网络模型具体可以为前述FT-transformer模型。在采用第二神经网络模型对样本行为统计数据进行特征提取之前，也可以先对样本行为统计数据进行处理，从样本行为统计数据中提取出数值数据作为第一输入，然后将样本行为统计数据中非数值数据通过数值转化方法转化成对应的数值数据作为第二输入。

然后，可以将第一输入和第二输入分别输入到第二神经网络模型的特性嵌入模块中进行升维处理，并将升维处理得到的特征进行堆叠，得到堆叠特征。进一步地，可以将堆叠得到的堆叠特征进一步输入到第二神经网络模型的多层transformer层中进行变换处理，得到输出的样本行为统计特征。

步骤440，对样本名称文本特征与样本行为统计特征进行特征融合，得到样本融合特征。

在本公开实施例中，分别基于第一神经网络模型和第二神经网络模型对样本对象的样本名称文本和样本行为统计数据进行特征提取，得到样本名称文本特征以及样本行为统计特征后，可以进一步将提取得到的样本名称文本特征和样本行为统计特征进行融合，得到样本融合特征。

具体地，可以将样本名称文本特征和样本行为统计特征输入到图3中的特征融合网络340中进行特征融合，得到输出的样本融合特征。

步骤450，基于第三神经网络模型对类别标签文本进行特征提取，得到样本标签文本特征。

同样地，将多个分类类别对应的类别标签文本输入到第三神经网络模型中，即基于第三神经网络模型对类别标签文本进行特征提取，从而得到样本标签文本特征。其中，第三神经网络模型可以为大规模预训练语言模型。基于第三神经网络模型对类别标签文本进行特征提取的过程与基于第一神经网络模型对样本名称文本进行特征提取的过程一致，此处不再予以赘述。

步骤460，基于样本融合特征、样本标签文本特征以及样本类别标签计算损失值，并基于损失值对第一神经网络模型、第二神经网络模型以及第三神经网络模型的参数进行调整。

在得到样本融合特征、样本标签文本特征后，便可以将样本融合特征与样本标签文本特征进行点积计算，得到点积结果。其中，点积结果指示了样本对象与每一分类类别对应的分类概率，如此便可以根据点积结果和样本对象对应的样本类别标签来计算损失值。其中，样本对象对应的样本类别标签可以为一个也可以为多个，多个分类类别中与样本类别标签对应的类别的输出标签为1，样本类别标签对应的类别之外的其他类别的输出标签为0。设计损失函数的约束目标是将样本对象与每一分类类别对应的分类概率尽量接近每一分类类别对应的输出标签。

在基于设计的损失函数计算得到损失值后，便可以基于损失值对第一神经网络模型、第二神经网络模型以及第三神经网络模型的参数进行更新。具体地，可以先根据计算得到的损失值计算反向传输梯度值，然后根据反向传输梯度值对第一神经网络模型、第二神经网络模型以及第三神经网络模型的参数进行更新。

步骤470，循环执行获取训练样本数据并基于获取到的训练样本数据对第一神经网络模型、第二神经网络模型以及第三神经网络模型的参数进行调整的步骤，直至第一神经网络模型、第二神经网络模型以及第三神经网络模型收敛。

在对第一神经网络模型、第二神经网络模型以及第三神经网络模型的参数进行一轮更新后，可以再次获取训练样本数据，即在多个训练样本数据中重新获取一个训练样本数据，然后根据重新获取的训练样本数据中的样本名称文本、样本统计数据以及样本类别标签对第一神经网络模型、第二神经网络模型以及第三神经网络模型的参数进行再次调整。如此重复，直到对象类别识别模型收敛。具体地，对象类别识别模型收敛的判断标准可以为循环训练的轮次达到预设次数，或者三个神经网络模型的参数变化小于预设的变化范围。

在一些实施例中，基于样本融合特征、样本标签文本特征以及样本类别标签计算损失值，并基于损失值对第一神经网络模型、第二神经网络模型以及第三神经网络模型的参数进行调整，包括：

基于第四神经网络模型对样本融合特征进行维度调整，得到目标样本融合特征；

对目标样本融合特征与样本标签文本特征进行点积计算，得到样本分类结果；

基于样本分类结果与样本类别标签计算损失值，并基于损失值对第一神经网络模型、第二神经网络模型、第三神经网络模型以及第四神经网络模型的参数进行调整；

循环执行获取训练样本数据并基于获取到的训练样本数据对第一神经网络模型、第二神经网络模型以及第三神经网络模型的参数进行调整的步骤，直至第一神经网络模型、第二神经网络模型以及第三神经网络模型收敛，包括：

循环执行获取训练样本数据并基于获取到的训练样本数据对第一神经网络模型、第二神经网络模型、第三神经网络模型以及第四神经网络模型的参数进行调整的步骤，直至第一神经网络模型、第二神经网络模型、第三神经网络模型以及第四神经网络模型收敛。

在本公开实施例中，当基于样本融合特征、样本标签文本特征以及样本类别标签计算损失值的具体过程为计算融合特征与样本标签文本特征之间的点积结果，再基于点积结果与样本类别标签计算损失值时，在计算融合特征与样本标签文本特征之间的点积结果之前，可以先通过第四神经网络模型对融合特征进行维度调整，得到与样本标签文本特征维度一致的目标样本融合特征。其中，此处第四神经网络模型具体可以为一个多层感知机（Multilayer Perceptron，MLP）.然后在对目标样本融合特征与样本标签文本特征进行点积计算，得到样本分类结果。进一步地，可以基于样本分类结果和样本类别标签计算损失值，并基于损失值更新前述三个神经网络模型与第四神经网络模型的参数。在该实施例中，对象类别识别模型的模型结构也发生了一定的变动，如图5所示，为本公开提供的对象类别识别模型的另一结构示意图。如图所示，对象类别识别模型300中还可以包括第四神经网络模型360，该第四神经网络模型360具体可以为一个多层感知机，第四神经网络模型360用于对融合特征进行特征处理，从而将融合特征的维度调整至与类别标签文本特征一致，从而使得融合特征可以与类别标签文本特征进行点积计算。

其中，对象类别识别模型的训练，可以在步骤210之前完成，也可以在步骤220之前完成。完成对象类别识别模型的训练后，便可以将对象类别识别模型部署上线进行对象类别识别。当需要对目标对象进行类别识别时，可以如前述步骤获取目标对象的名称文本以及行为统计数据，然后基于目标对象的名称文本、目标对象的行为统计数据以及多个分类类别对应的类别标签文本来识别目标对象的类别。

步骤220，基于第一神经网络模型对名称文本进行特征提取，得到名称文本特征。

在完成了对象类别识别模型的训练，并将对象类别识别模型部署上线后，便可以基于本公开中训练后的对象类别识别模型进行对象类别的识别。具体地，在识别商户经营的行业的场景中，也可以采用该对象类别识别模型来识别商户经营的行业。

具体地，在采用训练后的对象类别识别模型对目标对象进行类别识别，可以基于训练后的对象类别识别模型中的第一神经网络模型对目标对象的名称文本进行特征提取，从而得到目标对象的名称文本特征。亦即采用训练后的对象类别识别模型对目标商户经营的行业进行识别时，可以先采用对象类别识别模型中的第一神经网络模型对目标商户的商户名称文本进行特征提取，得到对应的名称文本特征。

在一些实施例中，基于第一神经网络模型对名称文本进行特征提取，得到名称文本特征，包括：

按照预设文本长度对名称文本进行文本处理，得到目标文本；

基于第一神经网络模型对目标文本进行特征提取，得到名称文本特征。

在本公开实施例中，第一神经网络模型可以为大规模预训练语言模型，具体可以为BERT模型。在采用BERT模型对目标对象的名称文本进行特征提取之前，可以先按照预设文本长度对目标对象的名称文本进行文本处理，从而得到目标文本。其中，此处预设文本长度可以人为设定，也可以根据BERT模型的输入要求进行确定。当目标对象为商户时，目标对象的名称文本可以为“XX大药房XXXX药房连锁有限公司”，且预设文本长度可以为15个字符，那么可以对目标对象的名称文本进行处理，从而得到预设文本长度的目标文本“XX大药房XXXX药房连锁有限”。然后，再基于BERT模型对处理后的目标文本进行特征提取，得到名称文本特征。

其中，BERT作为一个预训练的语言表征模型，其强调了不再像以往一样采用传统的单向语言模型或者把两个单向语言模型进行浅层拼接的方法进行预训练，而是采用新的掩码语言模型（masked language model，MLM），以致能生成深度的双向语言表征。以往的预训练模型的结构会受到单向语言模型（从左到右或者从右到左）的限制，因而也限制了模型的表征能力，使其只能获取单方向的上下文信息。而BERT利用MLM进行预训练并且采用深层的双向transformer组件（单向的transformer一般被称为transformer解码器，其每一个符号（token）只会与目前往左的token关联。而双向的transformer则被称为transformer 编码器，其每一个token会与所有的token关联）来构建整个模型，因此最终生成能融合左右上下文信息的深层双向语言表征。BERT的主体结构，其实就是多层transformer堆叠的结构。如图6所示，为采用BERT模型对目标对象的文本名称进行特征提取的示意图。如图所示，对于进行数据处理后的目标名称文本，可以先将目标名称文本进行分词处理，得到N个符号，然后在N个符号的序列前面添加一个分类符号（cls token）。然后，对这N+1个token进行词嵌入处理，得到每个token的表征（embedding），将这N+1个表征（即图中分类表征以及表征1至表征N）作为模型的输入，输入到BERT模型600中。BERT模型600经推理后输出N+1个输出特征（即图6中分类特征以及文本特征1至文本特征N）。由于分类token对应的最后一个transformer层的输出被用来起到聚集整个序列表征信息的作用，即BERT模型600输出的分类特征可以聚集目标名称文本的整体信息，因此在本公开实施例中可以将BERT模型600输出的分类特征作为提取得到的名称文本特征。

在一些实施例中，按照预设文本长度对名称文本进行文本处理，得到目标文本，包括：

当名称文本的文本长度小于预设文本长度时，基于预设文本长度对名称文本进行文本扩充，得到目标文本；

当名称文本的文本长度大于或等于预设文本长度时，按照预设文本长度对名称文本进行文本裁剪，得到目标文本。

在本公开实施例中，在基于预设文本长度对名称文本进行文本处理时，可以先确定名称文本的文本长度与预设文本长度之间的长度关系。当名称文本的文本长度与预设文本长度相同时，则无需进行文本处理，直接可以采用第一神经网络模型对名称文本进行特征提取，从而提高对象类别识别的效率。当名称文本的文本长度小于预设文本长度时，则需要对名称文本进行文本扩充，使得扩充得到的目标文本的文本长度与预设文本长度一致。具体地，对名称文本进行文本扩充，可以为在名称文本的末尾添加“0”字符直到名称文本的长度达到预设文本长度。当检测到名称文本的文本长度大于预设文本长度时，可以按照预设文本长度对目标对象的名称文本进行截断，得到目标文本。其中，按照预设文本长度对目标对象的名称文本进行截断，具体可以为将名称文本的前预设文本长度的文本截出作为目标文本，也可以为将名称文本的后预设文本长度的文本截出作为目标文本，又或者，可以识别出名称文本中的语气词、助词以及一些不具有区分度的通用词并将这些词删除，直至剩余文本的长度达到预设文本长度。

其中，在一些实施例中，由于当目标对象的名称文本的文本长度大于预设文本长度时，需要对名称文本进行截断，即删除名称文本中的一些词语，这会导致名称文本中一些信息的缺失从而使得提取得到的名称文本特征不够准确。为此，当预设文本长度可以人为确定时，便可以设置一个较长的预设文本长度，从而尽量避免目标对象的名称文本因文本长度大于预设文本长度而被截断导致信息丢失。当然，预设文本长度也不能过大，否则会导致扩充进来的无效信息过多，进而导致特征提取时重点偏差，也会影响名称文本特征提取的准确性。对此，可以获取一定范围内大量对象（例如多家商户）的名称文本，并基于获取到的名称文本进行文本长度统计，然后根据统计得到的文本长度来确定合适的预设文本长度。

步骤230，基于第二神经网络模型对行为统计数据进行特征提取，得到行为统计特征。

在基于训练后的对象类别识别模型对目标对象进行类别识别时，还可以进一步对获取到的目标对象的行为统计数据进行特征提取。目标对象的行为统计数据包括记录目标对象行为的数值数据以及根据目标对象的行为反映出目标对象的属性数据。例如，当目标对象为商户时，目标对象的行为统计数据便可以包括记录商户交易行为的数值数据，例如交易额、笔单价和客单价等，也可以包括根据商户的交易行为反映出的商户的属性数据，例如商户类别、商户性质以及商户形态等。此处属性数据也可以理解为对商户进行分类的类别数据，此处的类别与对商户经营行业为不同的类别。例如商户为线上商户或者线下商户这不同的类别，或者商户为面向用户的商户还是面向企业的商户等不同的类别。对于目标对象的数值数据和目标对象的属性数据，在本公开实施例中，可以采用第二神经网络模型来对这些数据进行特征提取，得到行为统计特征。其中，第二神经网络模型可以为特性嵌入变换模型。特性嵌入变换模型包括特性嵌入层和多层transformer层，其中特性嵌入层用于对数值数据和属性数据进行升维处理，多层transformer层用于对升维处理得到的特征进行变换处理，从而得到输出的行为统计特征。

即在一些实施例中，第二神经网络模型包括第一子模型和第二子模型，基于第二神经网络模型对行为统计数据进行特征提取，得到行为统计特征，包括：

基于第一子模型对行为统计数据对应的输入特征进行升维处理，得到高维特征；

基于第二子模型对高维特征进行特征变换，得到行为统计特征。

此处第二神经网络模型包括的第一子模型便可以理解为前述特性嵌入模块，第二神经网络模型包括的第二子模型便可以理解为嵌入多层transformer模块。如图7所示，为本公开提供的第二神经网络模型的一个结构示意图。如图所示，第二神经网络模型320包括第一子模型710和第二子模型720。在采用第二神经网络模型320对目标对象的行为统计数据进行特征提取时，先将行为统计数据701输入至第一子模型710中进行升维处理，得到高维特征702。然后，在得到的高维特征702上拼接一个cls token对应的特征，得到拼接输入特征703，将拼接输入特征703输入到第二子模型720中进行转换处理，得到输出的输出特征704，其中输出特征704中与cls token对应维度的特征便可以确定为第二神经网络模型输出的行为统计特征。

在一些实施例中，基于第一子模型对行为统计数据对应的输入特征进行升维处理，得到高维特征，包括：

获取行为统计数据中的数值数据，并基于第一权重向量和第一偏置向量对数值数据进行升维处理，得到数值向量；

获取行为统计数据中的属性数据，并基于第二权重向量和第二偏置向量对属性数据对应的输入特征进行升维处理，得到属性向量；

对数值向量与属性向量进行堆叠，得到高维特征。

在本公开实施例中，第一子模型对行为统计数据中的数值数据和属性数据进行升维的具体过程，可以为先确定数值数据和属性数据分别对应的权重向量以及偏置向量。然后，基于数值数据对应的第一权重向量和第一偏置向量，对数值数据进行升维，得到数值向量。以及，可以基于属性数据对应的第二权重向量和第二偏置向量，对属性数据对应的输入特征进行升维处理，从而得到属性向量。进一步地，可以将数值向量和属性向量进行进一步的堆叠处理，从而得到高维特征。

具体地，基于数值数据对应的第一权重向量和第一偏置向量对数值数据进行升维的具体过程，可以为计算数值数据与对应的第一权重向量的乘积，然后与对应的第一偏置向量进行向量相加，得到对应的数值向量。同样地，基于属性数据对应的第二权重向量和第二偏置向量对属性数据进行升维的具体过程，可以为计算属性数据与对应的第二权重向量的乘积，然后与对应的第二偏置向量相加，从而得到对应的属性向量。其中，此处数值向量和属性向量均可以为一个也可以为多个。

如图8所示，为基于第一子模型对行为统计数据的特征进行升维的过程示意图。如图所示，对于行为统计数据中的每一数值数据810，可以计算数值数据810和第一权重向量820的乘积，然后与第一偏置向量830相加。其中第一权重向量820和第一偏置向量830均可以为维度为d的向量，从而得到每一数值数据810对应的数值向量。对于任一属性数据840，可以计算其与对应的第二权重向量850的乘积，然后与第二偏置向量860相加，从而得到属性向量。此处第二权重向量850和第二偏置向量860的维度也可以为d维，因此计算得到的每一属性数据对应的属性向量也可以是d维的向量。其中，对于每个数值数据，都可以对应一个权重向量和偏置向量；对于属性数据，可以根据其对应的不同类别确定相应类别对应的权重向量，不同分类尺度的属性数据可以对应不同的偏置向量。例如第一种分类模式的属性数据，可以根据客户的性别分为两类，即男性和女性，那么该分类模式的属性数据对应了两个权重向量，然后可以根据服务客户的具体性别在这两个权重向量中确定一个对应的权重向量。其中不管属性数据对应了哪一个权重向量，都可以设置有相同的偏置向量。在另一种分类模式的属性数据中，可以根据客户的形态分为个人用户、企业用户以及混合用户等，在该分类模式下的属性数据则可以对应三个权重向量以及一个偏置向量。在计算得到数值向量和属性向量后，便可以进一步将数值向量和属性向量进行堆叠，得到k*d维的高维特征。其中k为数值向量和属性向量的总数量。

在一些实施例中，获取行为统计数据中的属性数据，并基于第二权重向量和第二偏置向量对属性数据对应的输入特征进行升维处理，得到属性向量，包括：

获取行为统计数据中的属性数据，并对属性数据进行数值转换，得到转换数值数据；

基于第二权重向量和第二偏置向量对转换数值数据进行升维处理，得到属性向量。

在本公开实施例中，基于第二权重向量和第二偏置向量对属性数据进行升维处理之前，可以先对属性数据进行数值转换，得到转换数值数据；然后再基于第二权重向量和第二偏置向量对转换数值数据进行升维。具体地，转换数值数据可以为数值数据构成的向量；将属性数据转换为数值数据构成的向量，具体可以采用独热算法（one-hot）来处理，独热算法在前文中已经进行了介绍，此处不再赘述。在本公开实施例中，通过先对属性数据进行数值转换，转换到相应的向量，然后再采用相应的权重向量和偏置向量进行升维，可以提升属性数据对应的特征进行升维处理的效率。进而可以提升对象类别识别的效率。

如图9所示，为第二子模型的模型结构的示意图。如前述公开，第二子模型具体可以为多层transformer结构，图9示出了一层transformer结构的示意图。如图所示，一层transformer结构900包括第一归一化层910、多头自注意力层920、第二归一化层930以及前向传输层940。其中，对于输入特征，可以先经第一归一化层910进行归一化处理，然后经多头自注意力层920进行自注意力计算处理，并将多头自注意力层920输出的数据与输入特征进行相加。对于相加得到的特征，进一步输入到第二归一化层930中进行归一化处理，然后经前向传输层940进行前向传输处理，再进一步将前向传输层输出的结果和前述相加得到的特征进行进一步的相加，得到一层transformer结构900的输出特征。然后，进一步地，可以将该输出特征作为下一个transformer结构的输入特征进行进一步的变换处理，直到最后一个transformer结构输出对应的最终输出特征。最终输出特征中与cls token对应维度的特征便为行为统计特征。

其中，在对象识别模型的训练阶段，在对第二神经网络模型的模型参数进行调整时，具体可以为对第一子模型中的权重向量以及偏置向量进行调整；以及对第二子模型中两个归一化层、多个自注意力层以及前向传输层的网络参数进行调整。

步骤240，基于第三神经网络模型对类别标签文本进行特征提取，得到类别标签文本特征。

在本公开实施例中，在基于训练后的对象类别识别模型对目标对象进行类别识别时还可以基于训练后的对象类别识别模型中的第三神经网络模型对获取到的类别标签文本进行特征提取。其中，在商户经营行业识别场景中，类别标签文本具体可以为多个行业对应的行业标签文本。

在基于第三神经网络模型对类别标签文本进行特征提取时，具体可以为采用第三神经网络模型对每一类别标签文本进行特征提取，得到每一类别标签文本对应的类别标签文本特征。然后，把多个类别标签文本对应的多个类别标签文本特征进行堆叠，得到最终的类别标签文本特征。最终得到的类别标签文本特征的维度与类别的数量一致；在对商户经营的行业进行识别的场景中，最终得到的类别标签文本特征的维度与行业的数量一致。

其中，如前述公开，第三神经网络模型具体可以为大规模预训练语言模型，例如BERT模型。当第三神经网络模型为BERT模型时，基于第三神经网络模型对每一类别的类别标签文本进行特征提取的过程，与基于第一神经网络模型对目标对象的名称文本进行特征提取的过程一致，此处不再予以赘述。

步骤250，根据名称文本特征、行为统计特征以及类别标签文本特征计算目标对象与每一分类类别对应的分类概率。

由于目标对象的名称文本和目标对象的行为统计数据为关联性较小的两类数据，而目标对象的名称文本和目标对象的行为统计数据又可以通过不同的关联方式与目标对象的分类类别发生联系。因此，在相关技术中，可以单独基于目标对象的名称文本来识别目标对象的分类类别，也可以单独基于目标对象的行为统计数据来识别目标对象的分类类别。单独基于目标对象的名称文本来识别目标对象的分类类别时，可以采用大规模预训练语言模型来对目标对象的名称文本以及各个分类类别对应的类别标签文本进行特征提取，然后计算提取得到的名称文本特征与每一类别标签文本特征之间的相似度，便可以根据名称文本特征与每一类别标签文本特征之间的相似度来确定目标对象对应的分类类别。单独基于目标对象的行为统计数据来识别目标对象的分类类别时，可以采用分类树来对多个维度的行为统计数据进行多分类，从而学习行为统计数据和多个分类类别之间的关系。

然而，这两类数据由于数据的特殊性，无法将两类数据结合在一类模型中进行对象类别识别。强行将两类数据结合在一类模型中来学习输入数据与分类类别之间的关联关系，不仅无法提升模型的类别识别效果，反而还会由于引入了无效学习数据导致模型效果下降。具体地，若将目标对象的行为统计数据中包含的数值数据以及与分类类别不属于一个维度的属性数据作为大规模预训练语言模型的输入，其通过大规模预训练语言模型提取得到的特征无法与分类类别文本之间产生良好的关联，因为完全不同分类类别的对象有可能具有相同的或者非常相似的数值数据和属性数据。同样地，若将目标对象的名称文本作为分类树的输入，同样也无法进行多分类处理。这使得在相关技术中只能单一使用目标对象的名称文本或者单一使用目标对象的行为统计数据来对目标对象进行类别识别。

在本公开实施例中，通过设计既能对行为统计数据中的数值数据作出数值升维变换，又能对行为统计数据中的属性数据进行数值转换后再升维变换的FT-transformer模型来对行为统计数据进行特征提取，再将提取得到的特征与大规模预训练语言模型提取出的名称文本特征共同与大规模预训练语言模型对分类类别标签文本提取出的类别标签文本特征来预测目标对象的类别，即可以充分使用目标对象的名称文本信息和行为统计信息这两个维度的信息，提高对象类别识别的准确性。又由于两个大规模预训练语言模型和FT-transformer均作为对象类别识别模型这一端到端模型的子模块，在对象类别识别模型训练的过程中同时进行参数的调整，避免了分别训练的多个模型之间由于模型误差扩大导致的模型精度差的问题，即提升了对象类别识别模型的模型精度，从而进一步提升目标对象类别识别的准确性。

基于此，在对象类别识别模型的推理阶段，当分别基于第一神经网络模型对目标对象的名称文本进行特征提取得到名称文本特征、基于第二神经网络模型对目标对象的行为统计数据进行特征提取得到行为统计特征以及基于第三神经网络模型对类别标签文本进行特征提取得到类别标签文本特征后，便可以进一步基于名称文本特征、行为统计特征以及类别标签文本特征来计算目标对象与每一分类类别对应的分类概率，然后再基于目标对象与每一分类类别对应的分类概率来识别出目标对象的类别。其中，在商户经营的行业识别场景中，即计算得到待识别的商户与每一行业对应的分类概率，然后根据分类概率来确定待识别的商户经营的行业。

在一些实施例中，根据名称文本特征、行为统计特征以及类别标签文本特征计算目标对象与每一分类类别对应的分类概率，包括：

对名称文本特征与行为统计特征进行融合处理，得到融合特征；

计算融合特征与类别标签文本特征的点积结果；

根据点积结果确定目标对象与每一分类类别对应的分类概率。

在本公开实施例中，在根据名称文本、行为统计特征以及类别标签文本特征来计算目标对象与每一分类类别对应的分类概率时，可以先对名称文本特征与行为统计特征进行融合处理，得到融合特征。该融合特征也可以理解为对象识别模型对待识别的目标对象提取得到的表征信息，类别标签文本特征即对象识别模型对分类类别标签提取得到的表征信息。进一步地，便可以基于目标对象的表征信息与分类类别标签的表征信息之间的相似关系来识别出目标对象的类别。在本公开实施例中，可以通过将融合特征与类别标签文本特征进行点积计算，然后根据点积计算的结果来确定目标对象与每一分类类别对应的分类概率。

其中，对名称文本特征与行为统计特征进行融合处理，具体可以采用特征拼接的方式将名称文本特征与行为统计特征进行拼接，得到融合特征；或者也可以采用特征相加的方式，将名称文本特征与行为统计特征进行对应维度的相加，从而得到与名称文本特征或行为统计特征维度相同的融合特征。计算融合特征与类别标签文本特征的点积结果，具体为将融合特征与类别标签文本特征各自对应的向量中对应位置的数值进行相乘，然后将所有乘积进行相加，得到一个标量。由于类别标签文本特征为多个类别标签的文本特征组成的，可以理解为类别标签文本矩阵，因此融合特征与类别标签文本特征的点积结果便可以为多个标量组成的向量。该向量的维度与分类类别的数量相同，且该向量中每个标量与一个分类类别相对应，每一标量指示了目标对象属于对应类别的概率。即点积结果指示了目标对象与属于每一分类类别的概率。如此便可以进一步根据目标对象属于每一分类类别的概率来确定目标对象的目标对象类别。

在一些实施例中，对名称文本特征与行为统计特征进行融合处理，得到融合特征，包括：

分别获取名称文本特征与行为统计特征对应的权重系数；

基于权重系数对名称文本特征与行为统计特征进行融合处理，得到融合特征。

其中，在对象类别识别模型的训练阶段，由于采用了大量的训练样本数据来对该对象类别识别模型进行训练，单个样本对象的名称文本和行为统计数据对样本对象的分类结果可以具有不同的贡献，当训练样本数据的样本量足够大时，样本对象的名称文本和行为统计数据对样本对象的分类结果的贡献便趋于平均。因此，训练得到的对象类别识别模型中，第一神经网络模型和第二神经网络模型的模型参数是基于样本对象的名称文本和行为统计数据对样本对象的分类结果的贡献均衡的基础进行调整得到的。然而，在实际推理过程中，目标对象作为一个独立的个体，其名称文本与行为统计数据对分类结果的共享并不一定均衡，因此，为了进一步提升对象识别的准确性，本公开实施例中可以进一步通过给名称文本对应的名称文本特征以及行为统计数据对应的行为统计特征分配不同的权重系数来调节目标对象的名称文本和行为统计数据对分类结果的贡献。

具体地，在对目标对象的名称文本特征与行为统计特征进行融合处理时，可以先分别获取目标对象的名称文本特征与行为统计特征对应的权重系数，然后基于分别获取的权重系数对名称文本特征与行为统计特征进行融合处理，得到融合特征。在对目标对象的名称文本特征与行为统计特征进行融合处理时，通过采用不同的权重系数来调节名称文本特征与行为统计特征对分类结果的贡献，可以使得识别得到的对象类别结果更为准确。

其中，获取名称文本特征与行为统计特征的权重系数，可以由人工根据名称文本和行为统计数据来确定各自的权重系数，也可以由计算机设备来自动确定名称文本特征与行为统计特征的权重系数。例如，当名称文本较为详细而行为统计数据量较少时，则可以对名称文本特征设置较大的权重系数而对行为统计特征设置较小的权重系数；反之当名称文本较为简单而行为统计数据量较大时，则可以对名称文本特征设置较小的权重系数而对行为统计特征设置较大的权重系数。

在一些实施例中，分别获取名称文本特征与行为统计特征对应的权重系数，包括：

对名称文本进行语义识别，得到语义识别结果；

基于语义识别结果确定名称文本特征与行为统计特征对应的权重系数。

在本公开实施例中，提供了一种自动确定名称文本与行为统计特征的权重系数的方案。具体地，可以对名称文本进行语义识别，得到语义识别结果。然后，基于语义识别结果确定名称文本特征与行为统计特征对应的权重系数。例如，可以在对目标对象的名称文本进行语义识别得到语义识别结果后，根据语义识别结果判定名称文本揭示目标对象分类类别的概率。例如在商户经营的行业识别场景中，可以根据对商户的名称文本的语义识别结果确定商户的名称文本中指示行业信息的概率。然后，便可以进一步根据该概率来计算出名称文本特征和行为统计特征的权重系数。

在一些实施例中，计算融合特征与类别标签文本特征的点积结果，包括：

基于类别标签文本特征的特征维度对融合特征进行维度转换，得到目标融合特征；

对目标融合特征与类别标签文本特征进行点积计算，得到点积结果。

其中，如前述对象类别识别模型训练过程介绍部分的公开，对象类别识别模型还可以具有第四神经网络模型，该第四神经网络模型具体可以为一个多层感知机，用于对样本融合特征进行维度调整，以使得样本融合特征与样本标签文本特征的维度一致，从而使得样本融合特征可以与样本标签文本特征采用点积的方式来计算得到样本对象与每一对象类别对应的样本分类结果。因此，在本公开实施例中，在基于训练后的对象类别识别模型对目标对象进行类别识别时，在对名称文本特征与行为统计特征进行融合得到融合特征后，可以进一步采用训练后的第四神经网络模型对融合特征进行维度转换，具体地，可以基于类别标签文本特征的特征维度对融合特征进行维度转换，具体可以将融合特征的维度转换到与类别标签文本特征的维度一致，得到目标融合特征。

然后，可以进一步对目标融合特征与类别标签文本特征进行点积计算，得到点积结果。

步骤260，基于分类概率确定目标对象的目标对象类别。

计算得到目标对象与每一分类类别对应的分类概率后，便可以根据目标对象与每一分类类别对应的分类概率来确定目标对象的目标对象类别。具体地，可以获取一个预设的概率阈值，当目标对象与某一分类类别对应的分类概率大于该概率阈值时，则可以确定目标对象属于该分类类别；反之当目标对象与该分类类别对应的分类概率不大于该概率阈值时，则确定目标对象不属于该分类类别。

其中，上述概率阈值可以由人为确定，也可以由计算机设备根据统计结果进行自动确定。可以理解的是，在多个分类类别中，可以只存在一个分类类别与目标对象对应的分类概率大于上述概率阈值，也可以存在多个分类类别与目标对象对应的分类概率大于上述概率阈值。当存在多个分类类别与目标对象对应的分类概率大于上述概率阈值时，则确定目标对象对应的目标对象类别为多个。例如，在商户经营的行业识别的场景中，当与待识别的商户对应的分类概率大于概率阈值的行业有多个时，则确定待识别的商户属于多个行业。

综上，采用本公开提供的对象类别识别方法，即获取目标对象的名称文本、目标对象的行为统计数据以及多个分类类别对应的类别标签文本；基于第一神经网络模型对名称文本进行特征提取，得到名称文本特征；基于第二神经网络模型对行为统计数据进行特征提取，得到行为统计特征；基于第三神经网络模型对类别标签文本进行特征提取，得到类别标签文本特征，第一神经网络模型、第二神经网络模型以及第三神经网络模型基于同一批训练样本数据同时训练得到；根据名称文本特征、行为统计特征以及类别标签文本特征计算目标对象与每一分类类别对应的分类概率；基于分类概率确定目标对象的目标对象类别。本公开实施例提供的对象类别识别方法，充分利用了目标对象的名称文本以及目标对象的行为统计数据这两个维度的数据来对目标对象进行类别识别，解决了相关技术中由于模型功能限制导致无法同时采用名称文本和行为统计数据进行类别识别的问题，从而提升了对象类别识别的准确性。

本公开实施例结合具体应用场景的详细说明。如图10所示，为本公开提供的对象类别识别方法的另一流程示意图。在本公开实施例中，将以本公开提供的对象类别识别方法应用在商户经营行业识别的场景为例，对本公开提供的对象类别识别方法进行详细的介绍。方法具体包括如下步骤：

步骤1001，计算机设备构建商户经营行业识别模型。

本公开实施例中提供的对象类别识别方法，具体可以为一种商户经营行业识别方法，该方法基于可以同时利用商户的名称文本以及交易信息来进行商户经营行业识别的商户经营行业识别模型。可以提升对商户经营行业识别的准确性。

首先，计算机设备需要先构建可以同时利用商户的名称文本以及交易信息来进行商户经营行业识别的商户经营行业识别模型。此处计算机设备可以为终端也可以为服务器。计算机设备构建的商户经营行业识别模型可以为如图5所示结构的模型。该商户经营行业识别模型可以包括第一大规模预训练语言模型、特性嵌入变换模型、第二大规模预训练语言模型以及一个多层感知机。其中，第一大规模预训练语言模型用于对商户的名称文本进行特征提取，得到文本特征；特性嵌入变换模型用户对商户的交易信息进行数值化，然后将数值化得到的数值进行特征化得到数值特征；第二大规模预训练语言模型用于对全量行业标签文本进行文本特征提取，得到每一行业标签文本对应的行业文本特征；多层感知机用于对文本特征和数值特征融合得到的融合特征进行映射，将融合特征映射为目标维度的目标融合特征，其中目标维度与全量行业标签文本数量相同。商户经营行业识别模型还包括计算层，用于根据目标融合特征与行业文本特征计算预测值。

步骤1002，计算机设备获取训练样本数据，训练样本数据包括多个样本商户的样本商户名称文本、样本商户交易信息、样本商户所属行业以及全量行业标签文本。

在构建了商户经营行业识别模型后，便可以进一步获取训练样本数据并基于训练样本数据对商户经营行业识别模型进行训练。其中，训练样本数据包括了多个样本商户的相关数据以及前述全量行业标签文本。样本商户的相关数据包括样本商户的样本商户名称文本、样本商户交易信息以及样本商户所属行业。其中，多个样本商户的相关数据可以为从公开的训练数据集中获取到的数据，也可以为对多个已知商户进行信息采集得到的数据，其中信息采集的过程符合相关法律法规的规定，且在样本商户知情的情况下，经样本商户授权的基础上进行获取的。样本商户的所属行业，具体可以为进行人工标注的行业，一个样本商户的所属行业可以为一个行业也可以为多个行业。全量行业标签文本可以理解为按照一定的分类规则分类得到的所有行业的行业名称对应的文本。

步骤1003，计算机设备采用训练样本数据对商户经营行业识别模型进行训练。

在获取到训练样本数据后，计算机设备便可以采用训练样本数据对上述构建的商户经营行业识别模型进行训练。具体地，可以先获取一个样本商户的样本名称文本、样本交易信息以及前述全量行业标签文本，然后将样本商户的样本名称文本、样本交易信息以及全量行业标签文本输入到待训练的商户经营行业识别模型中。商户经营行业识别模型在接收到输入的上述数据后，可以基于第一大规模预训练语言模型对样本商户的样本名称文本进行特征提取，得到样本文本特征；以及基于特性嵌入变换模型对样本对象的样本交易信息进行处理，得到输出的样本数值特征；并进一步基于第二大规模预训练语言模型对全量行业标签文本进行文本特征提取，得到行业标签文本特征。然后，对样本文本特征和样本数值特征进行融合，得到样本融合特征；进一步地，基于多层感知机对样本融合特征进行映射处理，得到目标样本融合特征。以及，对目标样本融合特征和行业标签文本特征进行点积计算，得到点积结果，点积结果为样本商户与每一行业对应的预测概率。如此，便可以根据样本商户与每一行业对应的预测概率与样本商户实际的样本商户所属行业来计算非对称损失。然后基于该非对称损失对第一大规模预训练语言模型、特性嵌入变换模型、第二大规模预训练语言模型以及多层感知机的参数进行调整。

然后，可以重新获取一个新的样本商户的相关数据，并基于新的样本上户的相关数据对商户经营行业识别模型进行新一轮的训练。并循环执行重新获取新的样本商户相关数据对商户经营行业识别模型进行训练的步骤，直到循环轮次达到预设轮次，或者检测到模型参数的变化小于预设的范围，得到训练后的商户经营行业识别模型。

步骤1004，计算机设备将训练后的商户经营行业识别模型部署上线。

计算机设备在对商户经营行业识别模型进行训练后，便可以将该商户经营商业识别模型部署上线。具体地，可以在本地进行部署也可以部署到其他计算机设备中。经上述方法训练得到的上述模型结构的商户经营行业识别模型，可以融合商户的名称文本和交易信息来对商户进行经营行业识别，得到较为准确的商户经营行业。

步骤1005，响应于接收到的商户经营行业识别任务，计算机设备获取待识别的目标商户的商户名称文本以及商户交易信息。

当商户经营行业识别模型部署上线后，便可以采用该商户经营行业识别模型来执行商户经营行业识别任务。当接收到商户经营行业识别任务时，计算机设备便可以在该商户经营行业识别任务中提取出待识别的目标商户的商户名称文本以及商户交易信息。其中商户名称文本包括商户名称以及商户所属公司、集团的名称对应的文本；商户交易信息包括商户的交易数据，例如交易额、笔单价、客单价等数值信息，还包括根据商户的交易行为确定的商户类别、商户性质以及商户形态等非数值信息，这些信息的具体含义在前文中已经详细介绍，此处不再赘述。

步骤1006，计算机设备基于预设文本长度对商户名称文本进行文本处理，并采用第一大规模预训练语言模型对处理后的商户名称文本进行特征提取，得到名称文本特征。

在执行商户经营行业识别任务的过程中，获取到待识别的目标商户的商户名称文本后，可以先基于预设的文本长度对商户名称文本进行文本处理。当商户名称文本的长度大于预设的文本长度时，可以对商户名称文本进行截断处理，得到文本长度与预设的文本长度一致的处理后的商户名称文本。反之，当商户名称文本的长度小于预设的文本长度时，可以对商户名称文本进行扩充，例如在文本末尾添加0的方法来扩充得到文本长度与预设的文本长度一致的处理后的商户名称文本。然后，便可以进一步采用训练后的商户经营行业识别模型中的第一大规模预训练语言模型对处理后的商户名称文本进行文本特征提取，得到名称文本特征。

步骤1007，计算机设备将商户交易信息转换为数值数据，并将数值数据输入至特性嵌入模型中，得到输出的数值特征。

由于商户交易信息中除了包含数值数据，还包含了一些非数值数据。在本公开实施例中，可以先对这些非数值数据采用one-hot算法来进行数值转换，将这些非数值数据转换为数值向量。进一步地，可以将转换得到的数值数据统一输入至特性嵌入模型中进行处理，得到输出的数值特征。

在特性嵌入模型中，可以先通过特性嵌入模块对数值数据进行升维处理，然后再将升维得到的向量进行堆叠得到堆叠特征；进一步地，可以将堆叠特征输入到多层transformer模块中进行特征转换处理，从而得到多层transformer模块输出的数值特征。其中特性嵌入模块对数值数据进行升维处理，具体可以为采用该模块中训练得到的权重向量和偏置向量来对数值数据进行升维处理。该过程可以将无法与商户名称文本进行共同推理的商户交易信息转换到可以进行融合处理的相同类型的特征，从而使得商户经营行业识别模型可以同时采用商户的名称文本和交易信息进行商户经营行业识别。

步骤1008，计算机设备对名称文本特征和数值特征进行融合，并采用多层感知机对融合得到的融合特征进行维度转换，得到目标融合特征。

进一步地，可以对目标商户的文本特征和数值特征进行融合处理，例如进行拼接处理或者进行相加处理，得到融合特征。然后，采用多层感知机对融合特征进行进一步的映射处理，使得映射得到的目标融合特征可以与全量行业标签文本对应的特征进行计算。

步骤1009，计算机设备基于第二大规模预训练语言模型对全量行业标签文本进行特征提取，得到标签文本特征。

进一步地，计算机设备可以基于训练后的商户经营行业识别模型中的第二大规模预训练语言模型对全量行业标签文本进行文本特征提取，得到标签文本特征。基于第二大规模预训练语言模型对全量行业标签文本进行文本特征提取的过程，与基于第一大规模预训练语言模型对商户名称文本进行文本特征提取的过程一致，此处不再予以赘述。其中，此处得到的标签文本特征具体可以为全量行业对应的文本特征。例如一共有k个行业，那个该标签文本特征便可以为k个行业的行业名称对应的文本特征组合得到的特征，即标签文本特征可以为一个D*k维的特征。

步骤1010，计算机设备对目标融合特征与标签文本特征进行点积计算，得到目标商户与每一行业标签文本对应的预测概率。

确定了目标对象的目标融合特征以及全量行业标签文本对应的标签文本特征后，可以进一步对目标融合特征和标签文本特征进行点积计算，得到目标商户与每一行业标签文本对应的预测概率。其中，例如目标融合特征的维度为D，标签文本特征的维度为D*k维，两者的点积结果为k个标量组成的k维向量。每个标量对应了一个行业的标签文本与目标商户对应的预测类概率，也就对应了目标商户属于该行业的概率。

步骤1011，计算机设备确定预测概率大于预设概率值的标签文本对应的标签为目标商户经营的目标行业。

在确定了目标商户属于每个行业的概率后，便可以进一步根据目标商户属于每个行业的概率来确定目标商户经营的目标行业。具体地，可以获取一个预设概率值，然后确定预测概率大于该预设概率值的行业为目标商户经营的目标行业。

本公开实施例提供的对象类别识别方法，适用于商户经营行业识别场景。方法通过构建一个可以融合商户的名称文本与交易信息来对商户进行经营行业识别的商户经营行业识别模型。具体地，该商户经营行业识别模型通过大规模预训练语言模型来对商户名称文本进行文本特征提取，采用特性嵌入变换模型来将交易信息先转换为数值信息，然后对数值信息进行升维得到可以与文本特征进行融合的数值特征，从而使得在相关技术中由于处理模型不同导致无法融合的信息能够进行融合。然后，再进一步根据融合信息来预测商户的经营行业，如此便可以充分利用商户的名称文本和交易信息这两个维度的信息来进行商户经营行业的识别，从而提升了商户经营行业识别的准确性。

本公开实施例的装置和设备描述。可以理解的是，虽然上述各个流程图中的各个步骤按照箭头的表征依次显示，但是这些步骤并不是必然按照箭头表征的顺序依次执行。除非本实施例中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，上述流程图中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时间执行完成，而是可以在不同的时间执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。

需要说明的是，在本公开的各个具体实施方式中，当涉及到需要根据目标对象属性信息或属性信息集合等与目标对象特性相关的数据进行相关处理时，都会先获得目标对象的许可或者同意，而且，对这些数据的收集、使用和处理等，都会遵守相关国家和地区的相关法律法规和标准。此外，当本申请实施例需要获取目标对象属性信息时，会通过弹窗或者跳转到确认页面等方式获得目标对象的单独许可或者单独同意，在明确获得目标对象的单独许可或者单独同意之后，再获取用于使本申请实施例能够正常运行的必要的目标对象相关数据。

图11为本公开实施例提供的对象类别识别装置1100的结构示意图。该对象类别识别装置1100包括：

获取单元1110，用于获取目标对象的名称文本、目标对象的行为统计数据以及多个分类类别对应的类别标签文本；

第一提取单元1120，用于基于第一神经网络模型对名称文本进行特征提取，得到名称文本特征；

第二提取单元1130，用于基于第二神经网络模型对行为统计数据进行特征提取，得到行为统计特征；

第三提取单元1140，用于基于第三神经网络模型对类别标签文本进行特征提取，得到类别标签文本特征，第一神经网络模型、第二神经网络模型以及第三神经网络模型基于同一批训练样本数据同时训练得到；

计算单元1150，用于根据名称文本特征、行为统计特征以及类别标签文本特征计算目标对象与每一分类类别对应的分类概率；

确定单元1160，用于基于分类概率确定目标对象的目标对象类别。

可选地，计算单元1150，包括：

第一融合子单元，用于对名称文本特征与行为统计特征进行融合处理，得到融合特征；

计算子单元，用于计算融合特征与类别标签文本特征的点积结果；

确定子单元，用于根据点积结果确定目标对象与每一分类类别对应的分类概率。

可选地，融合子单元，包括：

获取模块，用于分别获取名称文本特征与行为统计特征对应的权重系数；

融合模块，用于基于权重系数对名称文本特征与行为统计特征进行融合处理，得到融合特征。

可选地，获取模块，包括：

识别子模块，用于对名称文本进行语义识别，得到语义识别结果；

确定子模块，用于基于语义识别结果确定名称文本特征与行为统计特征对应的权重系数。

可选地，计算子单元，包括：

转换模块，用于基于类别标签文本特征的特征维度对融合特征进行维度转换，得到目标融合特征；

第一计算模块，用于对目标融合特征与类别标签文本特征进行点积计算，得到点积结果。

可选地，第二神经网络模型包括第一子模型和第二子模型，第二提取单元1130，包括：

第一处理子单元，用于基于第一子模型对行为统计数据对应的输入特征进行升维处理，得到高维特征；

基变换子单元，用于于第二子模型对高维特征进行特征变换，得到行为统计特征。

可选地，处理子单元，包括：

第一处理模块，用于获取行为统计数据中的数值数据，并基于第一权重向量和第一偏置向量对数值数据进行升维处理，得到数值向量；

第二处理模块，用于获取行为统计数据中的属性数据，并基于第二权重向量和第二偏置向量对属性数据对应的输入特征进行升维处理，得到属性向量；

堆叠模块，用于对数值向量与属性向量进行堆叠，得到高维特征。

可选地，第二处理模块，包括：

转换子模块，用于获取行为统计数据中的属性数据，并对属性数据进行数值转换，得到转换数值数据；

升维子模块，用于基于第二权重向量和第二偏置向量对转换数值数据进行升维处理，得到属性向量。

可选地，第一提取单元1120，包括：

第二处理子单元，用于按照预设文本长度对名称文本进行文本处理，得到目标文本；

第一提取子单元，用于对目标文本进行特征提取，得到名称文本特征。

可选地，第二处理子单元，包括：

扩充模块，用于当名称文本的文本长度小于预设文本长度时，基于预设文本长度对名称文本进行文本扩充，得到目标文本；

裁剪模块，用于当名称文本的文本长度大于或等于预设文本长度时，按照预设文本长度对名称文本进行文本裁剪，得到目标文本。

可选地，本公开提供的对象类别识别装置1100，还包括：

第一获取子单元，用于获取训练样本数据，训练样本数据包括样本对象的样本名称文本、样本对象的样本行为统计数据、样本对象的样本类别标签以及多个分类类别对应的类别标签文本；

第二提取子单元，用于基于第一神经网络模型对样本名称文本进行特征提取，得到样本名称文本特征；

第三提取子单元，用于基于第二神经网络模型对样本行为统计数据进行特征提取，得到样本行为统计特征；

第二融合子单元，用于对样本名称文本特征与样本行为统计特征进行特征融合，得到样本融合特征；

第四提取子单元，用于基于第三神经网络模型对类别标签文本进行特征提取，得到样本标签文本特征；

调整子单元，用于基于样本融合特征、样本标签文本特征以及样本类别标签计算损失值，并基于损失值对第一神经网络模型、第二神经网络模型以及第三神经网络模型的参数进行调整；

执行子单元，用于循环执行获取训练样本数据并基于获取到的训练样本数据对第一神经网络模型、第二神经网络模型以及第三神经网络模型的参数进行调整的步骤，直至第一神经网络模型、第二神经网络模型以及第三神经网络模型收敛。

可选地，调整子单元，包括：

第一调整模块，用于基于第四神经网络模型对样本融合特征进行维度调整，得到目标样本融合特征；

第二计算模块，用于对目标样本融合特征与样本标签文本特征进行点积计算，得到样本分类结果；

第二调整模块，用于基于样本分类结果与样本类别标签计算损失值，并基于损失值对第一神经网络模型、第二神经网络模型、第三神经网络模型以及第四神经网络模型的参数进行调整；

执行子单元，还用于：

循环执行获取训练样本数据并基于获取到的训练样本数据对第一神经网络模型、第二神经网络模型、第三神经网络模型以及第四神经网络模型的参数进行调整的步骤，直至第一神经网络模型、第二神经网络模型、第三神经网络模型以及第四神经网络模型收敛。

参照图12，图12为实现本公开实施例的对象类别识别方法的终端140的部分的结构框图，该终端140包括：射频(Radio Frequency，简称RF)电路1210、存储器1215、输入单元1230、显示单元1240、传感器1250、音频电路1260、无线保真(wireless fidelity，简称WiFi)模块1270、处理器1280、以及电源1290等部件。本领域技术人员可以理解，图12示出的终端140结构并不构成对手机或电脑的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

RF电路1210可用于收发信息或通话过程中，信号的接收和发送，特别地，将基站的下行信息接收后，给处理器1280处理；另外，将设计上行的数据发送给基站。

存储器1215可用于存储软件程序以及模块，处理器1280通过运行存储在存储器1215的软件程序以及模块，从而执行终端的各种功能应用以及对象类别识别。

输入单元1230可用于接收输入的数字或字符信息，以及产生与终端的设置以及功能控制有关的键信号输入。具体地，输入单元1230可包括触控面板1231以及其他输入装置1232。

显示单元1240可用于显示输入的信息或提供的信息以及终端的各种菜单。显示单元1240可包括显示面板1241。

音频电路1260、扬声器1261，传声器1262可提供音频接口。

在本实施例中，该终端140所包括的处理器1280可以执行前面实施例的对象类别识别方法。

本公开实施例的终端140包括但不限于手机、电脑、智能语音交互设备、智能家电、车载终端、飞行器等。本发明实施例可应用于各种场景，包括但不限于云技术、人工智能、智慧交通、辅助驾驶等。

图13为实施本公开实施例的对象类别识别方法的服务器110的部分的结构框图。服务器110可因配置或性能不同而产生比较大的差异，可以包括一个或一个以***处理器(Central Processing Units，简称CPU)1322(例如，一个或一个以上处理器)和存储装置1332，一个或一个以上存储应用程序1342或数据1344的存储介质1330(例如一个或一个以上海量存储装置)。其中，存储装置1332和存储介质1330可以是短暂存储或持久存储。存储在存储介质1330的程序可以包括一个或一个以上模块(图示没标出)，每个模块可以包括对服务器110中的一系列指令操作。更进一步地，中央处理器1322可以设置为与存储介质1330通信，在服务器110上执行存储介质1330中的一系列指令操作。

服务器110还可以包括一个或一个以上电源1326，一个或一个以上有线或无线网络接口1350，一个或一个以上输入输出接口1358，和/或，一个或一个以上操作***1341，例如Windows ServerTM，Mac OS XTM，UnixTM ，LinuxTM，FreeBSDTM等等。

服务器110中的中央处理器1322可以用于执行本公开实施例的对象类别识别方法。

本公开实施例还提供一种存储介质，存储介质用于存储程序代码，程序代码用于执行前述各个实施例的对象类别识别方法。

本公开实施例还提供了一种计算机程序产品，该计算机程序产品包括计算机程序。计算机设备的处理器读取该计算机程序并执行，使得该计算机设备执行实现上述的对象类别识别方法。

本公开的说明书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本公开的实施例例如能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“包含”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、***、产品或装置不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或装置固有的其它步骤或单元。

应当理解，在本公开中，“至少一个(项)”是指一个或者多个，“多个”是指两个或两个以上。“和/或”，用于描述关联对象的关联关系，表示可以存在三种关系，例如，“A和/或B”可以表示：只存在A，只存在B以及同时存在A和B三种情况，其中A，B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项(个)”或其类似表达，是指这些项中的任意组合，包括单项(个)或复数项(个)的任意组合。例如，a，b或c中的至少一项(个)，可以表示：a，b，c，“a和b”，“a和c”，“b和c”，或“a和b和c”，其中a，b，c可以是单个，也可以是多个。

应了解，在本公开实施例的描述中，多个（或多项）的含义是两个以上，大于、小于、超过等理解为不包括本数，以上、以下、以内等理解为包括本数。

在本公开所提供的几个实施例中，应该理解到，所揭露的***，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本公开各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个取存储介质中。基于这样的理解，本公开的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机装置(可以是个人计算机，服务器，或者网络装置等)执行本公开各个实施例方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，简称ROM)、随机存取存储器(Random Access Memory，简称RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

还应了解，本公开实施例提供的各种实施方式可以任意进行组合，以实现不同的技术效果。

以上是对本公开的实施方式的具体说明，但本公开并不局限于上述实施方式，熟悉本领域的技术人员在不违背本公开精神的条件下还可作出种种等同的变形或替换，这些等同的变形或替换均包括在本公开权利要求所限定的范围内。

Claims (13)

1.一种对象类别识别方法，其特征在于，所述方法包括：

获取训练样本数据，所述训练样本数据包括样本对象的样本名称文本、所述样本对象的样本行为统计数据、所述样本对象的样本类别标签以及多个分类类别对应的类别标签文本；

基于第一神经网络模型对所述样本名称文本进行特征提取，得到样本名称文本特征，基于第二神经网络模型对所述样本行为统计数据进行特征提取，得到样本行为统计特征，对所述样本名称文本特征与所述样本行为统计特征进行特征融合，得到样本融合特征，基于第三神经网络模型对所述类别标签文本进行特征提取，得到样本标签文本特征，基于第四神经网络模型对所述样本融合特征进行维度调整，得到目标样本融合特征；

对所述目标样本融合特征与所述样本标签文本特征进行点积计算，得到样本分类结果，基于所述样本分类结果与所述样本类别标签计算损失值，并基于所述损失值对所述第一神经网络模型、所述第二神经网络模型、所述第三神经网络模型以及所述第四神经网络模型的参数进行调整；

循环执行获取训练样本数据并基于获取到的训练样本数据对所述第一神经网络模型、所述第二神经网络模型、所述第三神经网络模型以及所述第四神经网络模型的参数进行调整的步骤，直至所述第一神经网络模型、所述第二神经网络模型、所述第三神经网络模型以及所述第四神经网络模型收敛；

获取目标对象的名称文本、所述目标对象的行为统计数据以及多个分类类别对应的类别标签文本；

基于所述第一神经网络模型对所述名称文本进行特征提取，得到名称文本特征；

基于所述第二神经网络模型对所述行为统计数据进行特征提取，得到行为统计特征；

基于所述第三神经网络模型对所述类别标签文本进行特征提取，得到类别标签文本特征，所述第一神经网络模型、所述第二神经网络模型以及所述第三神经网络模型基于同一批训练样本数据同时训练得到；

根据所述名称文本特征、所述行为统计特征以及所述类别标签文本特征计算所述目标对象与每一分类类别对应的分类概率；

基于所述分类概率确定所述目标对象的目标对象类别。

2.根据权利要求1所述的方法，其特征在于，所述第二神经网络模型包括第一子模型和第二子模型，所述基于第二神经网络模型对所述行为统计数据进行特征提取，得到行为统计特征，包括：

基于所述第一子模型对所述行为统计数据对应的输入特征进行升维处理，得到高维特征；

基于所述第二子模型对所述高维特征进行特征变换，得到行为统计特征。

3.根据权利要求2所述的方法，其特征在于，所述基于所述第一子模型对所述行为统计数据对应的输入特征进行升维处理，得到高维特征，包括：

获取所述行为统计数据中的数值数据，并基于第一权重向量和第一偏置向量对所述数值数据进行升维处理，得到数值向量；

获取所述行为统计数据中的属性数据，并基于第二权重向量和第二偏置向量对所述属性数据对应的输入特征进行升维处理，得到属性向量；

对所述数值向量与所述属性向量进行堆叠，得到高维特征。

4.根据权利要求3所述的方法，其特征在于，所述获取所述行为统计数据中的属性数据，并基于第二权重向量和第二偏置向量对所述属性数据对应的输入特征进行升维处理，得到属性向量，包括：

获取所述行为统计数据中的属性数据，并对所述属性数据进行数值转换，得到转换数值数据；

基于第二权重向量和第二偏置向量对所述转换数值数据进行升维处理，得到属性向量。

5.根据权利要求1所述的方法，其特征在于，所述根据所述名称文本特征、所述行为统计特征以及所述类别标签文本特征计算所述目标对象与每一分类类别对应的分类概率，包括：

对所述名称文本特征与所述行为统计特征进行融合处理，得到融合特征；

计算所述融合特征与所述类别标签文本特征的点积结果；

根据所述点积结果确定所述目标对象与每一分类类别对应的分类概率。

6.根据权利要求5所述的方法，其特征在于，所述对所述名称文本特征与所述行为统计特征进行融合处理，得到融合特征，包括：

分别获取所述名称文本特征与所述行为统计特征对应的权重系数；

基于所述权重系数对所述名称文本特征与所述行为统计特征进行融合处理，得到融合特征。

7.根据权利要求6所述的方法，其特征在于，所述分别获取所述名称文本特征与所述行为统计特征对应的权重系数，包括：

对所述名称文本进行语义识别，得到语义识别结果；

基于所述语义识别结果确定所述名称文本特征与所述行为统计特征对应的权重系数。

8.根据权利要求5所述的方法，其特征在于，所述计算所述融合特征与所述类别标签文本特征的点积结果，包括：

基于所述类别标签文本特征的特征维度对所述融合特征进行维度转换，得到目标融合特征；

对所述目标融合特征与所述类别标签文本特征进行点积计算，得到点积结果。

9.根据权利要求1所述的方法，其特征在于，所述基于第一神经网络模型对所述名称文本进行特征提取，得到名称文本特征，包括：

按照预设文本长度对所述名称文本进行文本处理，得到目标文本；

基于第一神经网络模型对所述目标文本进行特征提取，得到名称文本特征。

10.根据权利要求9所述的方法，其特征在于，所述按照预设文本长度对所述名称文本进行文本处理，得到目标文本，包括：

当所述名称文本的文本长度小于预设文本长度时，基于所述预设文本长度对所述名称文本进行文本扩充，得到目标文本；

当所述名称文本的文本长度大于或等于所述预设文本长度时，按照所述预设文本长度对所述名称文本进行文本裁剪，得到目标文本。

11.一种对象类别识别装置，其特征在于，所述装置包括：

第一获取子单元，用于获取训练样本数据，所述训练样本数据包括样本对象的样本名称文本、所述样本对象的样本行为统计数据、所述样本对象的样本类别标签以及多个分类类别对应的类别标签文本；

第二提取子单元，用于基于第一神经网络模型对所述样本名称文本进行特征提取，得到样本名称文本特征；

第三提取子单元，用于基于第二神经网络模型对所述样本行为统计数据进行特征提取，得到样本行为统计特征；

第二融合子单元，用于对所述样本名称文本特征与所述样本行为统计特征进行特征融合，得到样本融合特征；

第四提取子单元，用于基于第三神经网络模型对所述类别标签文本进行特征提取，得到样本标签文本特征；

第一调整模块，用于基于第四神经网络模型对所述样本融合特征进行维度调整，得到目标样本融合特征；

第二计算模块，用于对所述目标样本融合特征与所述样本标签文本特征进行点积计算，得到样本分类结果；

第二调整模块，用于基于所述样本分类结果与所述样本类别标签计算损失值，并基于所述损失值对所述第一神经网络模型、所述第二神经网络模型、所述第三神经网络模型以及所述第四神经网络模型的参数进行调整；

执行子单元，用于循环执行获取训练样本数据并基于获取到的训练样本数据对所述第一神经网络模型、所述第二神经网络模型、所述第三神经网络模型以及所述第四神经网络模型的参数进行调整的步骤，直至所述第一神经网络模型、所述第二神经网络模型、所述第三神经网络模型以及所述第四神经网络模型收敛；

获取单元，用于获取目标对象的名称文本、所述目标对象的行为统计数据以及多个分类类别对应的类别标签文本；

第一提取单元，用于基于第一神经网络模型对所述名称文本进行特征提取，得到名称文本特征；

第二提取单元，用于基于第二神经网络模型对所述行为统计数据进行特征提取，得到行为统计特征；

第三提取单元，用于基于第三神经网络模型对所述类别标签文本进行特征提取，得到类别标签文本特征，所述第一神经网络模型、所述第二神经网络模型以及所述第三神经网络模型基于同一批训练样本数据同时训练得到；

计算单元，用于根据所述名称文本特征、所述行为统计特征以及所述类别标签文本特征计算所述目标对象与每一分类类别对应的分类概率；

确定单元，用于基于所述分类概率确定所述目标对象的目标对象类别。

12.一种存储介质，所述存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现根据权利要求1至10任意一项所述的对象类别识别方法。

13.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现根据权利要求1至10任意一项所述的对象类别识别方法。