CN111222722A - 针对业务对象进行业务预测的方法、神经网络模型和装置 - Google Patents
针对业务对象进行业务预测的方法、神经网络模型和装置 Download PDFInfo
- Publication number
- CN111222722A CN111222722A CN202010329614.XA CN202010329614A CN111222722A CN 111222722 A CN111222722 A CN 111222722A CN 202010329614 A CN202010329614 A CN 202010329614A CN 111222722 A CN111222722 A CN 111222722A
- Authority
- CN
- China
- Prior art keywords
- vector
- level
- ith
- matrix
- transformation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Business, Economics & Management (AREA)
- Evolutionary Computation (AREA)
- Economics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Strategic Management (AREA)
- Human Resources & Organizations (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Development Economics (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- General Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Game Theory and Decision Science (AREA)
- Molecular Biology (AREA)
- Health & Medical Sciences (AREA)
- Entrepreneurship & Innovation (AREA)
- Marketing (AREA)
- Operations Research (AREA)
- Quality & Reliability (AREA)
- Tourism & Hospitality (AREA)
- General Business, Economics & Management (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本说明书实施例提供一种针对业务对象进行业务预测的方法和神经网络模型。在该方法中,首先获取业务对象对应的初始特征矩阵,其中包括对应于该业务对象的N项特征的N个原始向量。然后,对初始特征矩阵进行多级处理,每级处理包括,对于本级待处理的第i特征向量,对初始特征矩阵中对应的第i原始向量和各个本级特征向量分别进行线性变换,得到第i变换向量和各个本级变换向量;根据该第i变换向量和各个本级变换向量之间的各个相关度,对其融合结果进行加权组合,由此确定该第i特征向量的下一级特征向量。根据最后一级处理得到的矩阵,得到该业务对象对应的表征向量,根据该表征向量,对业务对象进行业务预测。
Description
技术领域
本说明书一个或多个实施例涉及机器学习领域,尤其涉及针对业务对象进行业务预测的方法和装置。
背景技术
随着计算机技术的发展,机器学习已经应用到各种各样的技术领域,用于分析、预测各种业务数据。例如,可以根据用户的属性特征预测用户的分类,从而为用户提供定制化的个***;可以根据用户和物品的信息的综合,预测其间的推荐度,从而为用户推荐合适的物品;又例如,可以根据对用户访问网站时间的预测,可以预先确定流量高峰,从而提前部署好网络环境。
在针对各种业务对象的预测场景中,为了尽可能地提高模型预测的准确性,通常会引入丰富的不同维度的特征数据。不同维度的特征从不同角度刻画了业务场景的不同信息。绝大多数情况下,模型的拟合目标与各个基础特征之间并非简单的线性关系,因此,基于基础特征训练的模型仅能表达特征信息的线性组合,模型表达能力受限。因此,希望对特征进行有效的组合,来提升模型的表达能力。传统的特征组合工作是由工程人员根据业务经验手动设计的,成本高,业务扩展性差,而且受限于设计人员自身的业务理解。
由此,希望能有改进的方案,更为有效地对业务特征进行特征组合,避免对高阶特征的建模限制,提升模型的表达能力,从而提高模型的预测准确性。
发明内容
本说明书一个或多个实施例描述了一种针对业务对象进行业务预测的方法和神经网络模型,可以对业务对象的特征进行更有效的高阶组合,提升预测准确性。
根据第一方面,提供了一种针对业务对象进行业务预测的方法,包括:
获取第一业务对象对应的初始特征矩阵,所述初始特征矩阵包括,对所述第一业务对象的N项特征的特征值进行编码得到的N个原始向量;
对所述初始特征矩阵进行多级特征交叉处理,得到多级处理矩阵;其中,每级特征交叉处理包括,对于待处理的本级矩阵中任意的第i特征向量,对所述初始特征矩阵中对应位置的第i原始向量,和该本级矩阵中各个本级特征向量,分别进行线性变换,得到第i变换向量和各个本级变换向量;根据该第i变换向量和所述各个本级变换向量之间的各个相关度,对该第i变换向量分别与所述各个本级变换向量进行融合的融合结果进行加权组合,基于组合结果确定该第i特征向量在下一级处理矩阵中的特征向量;
根据所述多级处理矩阵中最后一级处理矩阵,得到该第一业务对象对应的表征向量;
根据该表征向量,对所述第一业务对象进行业务预测。
根据一种实施方式,第一业务对象可以是以下实体对象之一:用户,商户,商品,待推荐的物品;相应的,所述N项特征包括,所述实体对象的属性特征。
根据另一种实施方式,第一业务对象可以是业务事件,所述业务事件包括以下之一:支付事件,购买事件,推荐事件,登录事件;相应的,所述N项特征包括,所述业务事件的各个参与方各自的属性特征。
在一个实施例中,对所述初始特征矩阵中对应位置的第i原始向量,和该本级矩阵中各个本级特征向量,分别进行线性变换,具体包括:利用与当前级对应的本级参数矩阵,分别对第i变换向量和所述各个本级特征向量进行线性变换,得到第i变换向量和各个本级变换向量。
在另一实施例中,对所述初始特征矩阵中对应位置的第i原始向量,和该本级矩阵中各个本级特征向量,分别进行线性变换,具体包括:利用第一参数矩阵,对所述第i原始向量进行线性变换,得到第i变换向量;利用第二参数矩阵,对所述各个本级特征向量进行线性变换,得到各个本级变换向量。
根据一种实施方式,通过以下方式进行所述加权组合:确定该第i变换向量和所述各个本级变换向量之间的各个相关度;根据所述各个相关度,确定各个本级变换向量对应的各个权重因子;将该第i变换向量分别与所述各个本级变换向量进行融合操作,得到各个融合向量;根据所述各个权重因子,对所述各个融合向量进行加权组合,得到组合结果。
更进一步的,上述相关度可以通过以下方式确定:计算该第i变换向量和所述各个本级变换向量的余弦相似度,作为所述相关度;或者,计算该第i变换向量和所述各个本级变换向量的内积结果,作为所述相关度;或者,计算该第i变换向量和所述各个本级变换向量的向量距离,根据所述向量距离确定所述相关度。
在一个实施例中,所述融合操作包括以下之一:按位相乘,求和,求均值。
根据一种实施方式,所述基于组合结果确定该第i特征向量在下一级处理矩阵中的特征向量,具体包括:在所述组合结果基础上,添加偏移向量以及所述第i特征向量本身,作为其在下一级处理矩阵中的特征向量。
在一种实施方式中,所述表征向量通过以下方式得到:对所述最后一级处理矩阵进行池化处理,得到所述表征向量,所述池化处理包括以下之一:最大池化,平均池化,基于注意力的池化。
根据第二方面,提供了一种针对业务对象进行业务预测的神经网络模型,包括:
输入层,用于获取第一业务对象对应的初始特征矩阵,所述初始特征矩阵包括,对所述第一业务对象的N项特征的特征值进行编码得到的N个原始向量;
多级交叉处理层,用于对所述初始特征矩阵进行多级特征交叉处理,得到多级处理矩阵;其中,每级交叉处理层用于,对于待处理的本级矩阵中任意的第i特征向量,对所述初始特征矩阵中对应位置的第i原始向量,和该本级矩阵中各个本级特征向量,分别进行线性变换,得到第i变换向量和各个本级变换向量;根据该第i变换向量和所述各个本级变换向量之间的各个相关度,对该第i变换向量分别与所述各个本级变换向量进行融合的融合结果进行加权组合,基于组合结果确定该第i特征向量在下一级处理矩阵中的特征向量;
池化层,用于根据所述多级处理矩阵中最后一级处理矩阵,得到该第一业务对象对应的表征向量;
输出层,用于根据该表征向量,对所述第一业务对象进行业务预测。
根据第三方面,提供了一种针对业务对象进行业务预测的装置,包括:
获取单元,配置为获取第一业务对象对应的初始特征矩阵,所述初始特征矩阵包括,对所述第一业务对象的N项特征的特征值进行编码得到的N个原始向量;
多个交叉处理单元,配置为对所述初始特征矩阵进行多级特征交叉处理,得到多级处理矩阵;其中,每个交叉处理单元配置为,对于待处理的本级矩阵中任意的第i特征向量,对所述初始特征矩阵中对应位置的第i原始向量,和该本级矩阵中各个本级特征向量,分别进行线性变换,得到第i变换向量和各个本级变换向量;根据该第i变换向量和所述各个本级变换向量之间的各个相关度,对该第i变换向量分别与所述各个本级变换向量进行融合的融合结果进行加权组合,基于组合结果确定该第i特征向量在下一级处理矩阵中的特征向量;
池化单元,配置为根据所述多级处理矩阵中最后一级处理矩阵,得到该第一业务对象对应的表征向量;
预测单元,配置为根据该表征向量,对所述第一业务对象进行业务预测。
根据第四方面,提供了一种计算机可读存储介质,其上存储有计算机程序,当所述计算机程序在计算机中执行时,令计算机执行第一方面所述的方法。
根据第五方面,提供了一种计算设备,包括存储器和处理器,其特征在于,所述存储器中存储有可执行代码,所述处理器执行所述可执行代码时,实现第一方面的方法。
根据本说明书实施例提供的方法、装置和神经网络模型,在多级特征交叉处理中,采用各个特征向量之间非线性融合以及基于注意力的加权组合的方式,使得特征之间得到充分的交叉组合运算,得到更有表达力的高阶特征。基于这样的高阶特征执行业务预测,可以进一步提升业务预测的准确性。并且,基于注意力的组合方式,为业务预测结果的可解释性提供了基础和可能。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其它的附图。
图1为本说明书披露的一个实施例的实施场景示意图;
图2示出根据一个实施例的针对业务对象进行业务预测的方法;
图3示出根据一个实施例的第l级特征交叉处理过程;
图4示出在一个实施例中对变换向量进行融合,并对融合结果进行加权组合的过程步骤;
图5示出根据一个实施例的神经网络模型的结构示意图;
图6示出根据一个实施例的业务预测装置的示意性框图。
具体实施方式
下面结合附图,对本说明书提供的方案进行描述。
如前所述,为了提升模型对业务对象的特征表达能力,希望对特征进行更有效的组合。在一种方案中,利用多层神经网络,在网络的各个隐层中对特征进行高阶组合。例如,可以通过深度交叉网络(DCN,Deep & Cross Network),进行特征之间的高阶交叉组合。
具体的,深度交叉网络获取的原始输入由N个特征项构成,每个特征项用一个d维特征向量表示为X0 i,i=1,2…N。DCN首先将所有N个特征向量拼接,得到原始输入向量X0:
即,原始输入向量X0为各个特征项的特征向量的拼接。
然后,在各个特征交叉处理层,进行特征交叉组合,其中第l层的组合方式满足以下公式:
类似的,
为了进一步提升用于业务预测的神经网络模型的特征表达能力,提升其预测准确性,根据本发明书的实施例,提出进一步的特征交叉组合方式,避免高阶特征组合的线性退化。
图1为本说明书披露的一个实施例的实施场景示意图。如图所示,首先,该实施例的神经网络模型,将业务对象的原始特征整理为特征矩阵,而非特征向量。在各个交叉处理层进行各级特征交叉处理时,一方面,结合该原始特征矩阵,对矩阵中的各个特征向量进行融合,并且,基于注意力机制,对融合结果进行加权组合。以上的融合和基于注意力的组合均为非线性操作,这使得,最后一个交叉处理层输出的特征矩阵中,包含了各项特征向量之间的各种高阶组合方式,而不会退化为原始向量的线性缩放。如此,增强了神经网络模型的特征表达能力,有助于提升其对业务对象的预测准确性。
下面详细描述以上构思之下,针对业务对象进行业务预测的整个过程。
图2示出根据一个实施例的针对业务对象进行业务预测的方法。可以理解,该方法可以通过任何具有计算、处理能力的装置、设备、平台、设备集群来执行。在一个实施例中,该方法可以通过神经网络模型执行,该神经网络模型可以部署在任何具有计算、处理能力的装置、设备、平台、设备集群中。如图2所示,进行业务预测的方法至少包括以下步骤。
首先,在步骤21,获取待预测的第一业务对象对应的初始特征矩阵,所述初始特征矩阵包括,对所述第一业务对象的N项特征的特征值进行编码得到的N个原始向量。
在一种实施方式中,上述第一业务对象对应于单个实体对象,相应的,上述N项特征包括,该实体对象的属性特征。
例如,在一个例子中,上述实体对象为用户。此时,上述N项特征可以是该用户的属性特征,例如年龄,性别,注册时长,教育程度等基础属性特征,以及例如最近浏览历史,最近购物历史等行为属性特征。
在另一例子中,上述实体对象可以为商户。此时,上述N项特征可以是该商户的属性特征,例如,商户类别,注册时长,商品数量,销量,关注人数,等等。
在其他例子中,上述实体对象还可以是商品,或待推荐的物品(例如待推送的文章,音乐,电影,等等)。相应的,上述N项特征包括,对应商品或物品的属性特征。
在另一种实施方式中,上述有待预测的第一业务对象为业务事件,所述业务事件可以是,例如支付事件,购买事件,推荐事件,登录事件,等等。相应的,上述N项特征包括,业务事件的各个参与方各自的属性特征。
例如,在一个例子中,上述第一业务对象为推荐事件,其中涉及第一用户和第一物品。相应的,上述N项特征可以包括,第一用户的用户属性特征,和第一物品的物品属性特征。
例如,在又一例子中,上述第一业务对象为支付事件,其中涉及两个用户,第一用户和第二用户。相应的,上述N项特征可以包括,第一用户和第二用户各自的用户属性特征。其他业务事件情况下N项特征的例子,不再一一枚举。
对于以上举例的各种业务对象的N项特征,可以将其特征值分别编码为d维向量,从而形成N个d维向量。特征值的编码可以采用多种方式。例如,在一个例子中,对于某些特征项的特征值,可以采用独热(one-hot)编码;在另一例子中,还可以利用查找表,将特征值映射为d维向量。在一个例子中,还可以采用预定的词嵌入工具(例如word2vec),将其中的文本转化为d维向量。
于是,获取的N项特征对应于N个d维向量,构成一个N*d维的矩阵,称为初始特征矩阵。该初始特征矩阵对应于图1中的X0。
接着,在步骤22,对该初始特征矩阵进行多级特征交叉处理,得到多级处理矩阵。下面描述其中任意一级,记为第l级,特征交叉处理的过程。
图3示出根据一个实施例的第l级特征交叉处理过程,即图2中步骤22的子过程。可以理解,该第l级特征交叉处理,获取上一级输出的处理矩阵作为待处理的本级矩阵,对其进行特征交叉处理,输出下一级处理矩阵。为了描述的简单,下面描述针对该待处理的本级矩阵中任意的第i特征向量(对应于原始特征矩阵中第i项特征)的交叉处理。
如图3所示,针对第i特征向量的交叉处理包括以下过程:步骤31,对初始特征矩阵中对应位置的第i原始向量,和该本级矩阵中各个本级特征向量(可以记为),分别进行线性变换,得到第i变换向量和各个本级变换向量;然后,在步骤32,根据该第i变换向量和所述各个本级变换向量之间的各个相关度,对该第i变换向量分别与所述各个本级变换向量进行融合的融合结果进行加权组合;在步骤33,基于加权组合的组合结果,确定该第i特征向量在下一级处理矩阵中的特征向量。下面具体描述以上各个步骤的执行方式。
首先在步骤31,对第i原始向量和各个本级特征向量分别进行线性变换,得到第i变换向量和各个本级变换向量。上述线性变换可以使用参数矩阵来实现。具体的,可以对各个本级特征向量,和第i原始向量分别施加参数矩阵W,于是得到各个本级变换向量和第i变换向量。
在一个实施例中,上述参数矩阵W可以是多级特征交叉处理中统一的参数矩阵。
在又一实施例中,可以使用不同的参数矩阵,分别对第i原始向量和各个本级特征向量进行线性变换。例如,可以利用第一参数矩阵,对第i原始向量进行线性变换,得到第i变换向量;利用第二参数矩阵,对各个本级特征向量进行线性变换,得到各个本级变换向量。以上的第一参数矩阵和第二参数矩阵,可以逐级不同,也可以各级相同。
需要理解,以上各种参数矩阵中的元素值,均可以通过神经网络模型的训练而确定。
图4示出在一个实施例中对变换向量进行融合,并对融合结果进行加权组合的过程步骤,即以上步骤32的子步骤。
相关度计算函数f可以采用多种相关度计算方式。在一个例子中,该相关度计算函数f用于计算该第i变换向量和第j本级变换向量之间的余弦相似度。在另一例子中,该相关度计算函数f用于计算该第i变换向量和第j本级变换向量的内积结果(即向量点乘),作为其相关度。在又一例子中,该相关度计算函数f用于计算该第i变换向量和第j本级变换向量的向量距离,例如欧式距离,并根据所述向量距离确定相关度,使得相关度与向量距离负相关。相关度计算函数还可以采用计算形式。
然后,在步骤322,根据所述各个相关度,确定各个本级变换向量对应的各个权重因子。
在一个实施例中,将以上确定的各个本级变换向量与第i变换向量的相关度,直接作为对应的权重因子。
在另一实施例中,对各个本级变换向量对应的相关度进行归一化,将归一化后的数值作为权重因子。
在一个例子中,上述融合操作为,两个向量按位相乘。
在另一例子中,还可以采用其他融合方式,例如,求和,求均值等。需要理解的是,此处的融合操作需要使得融合后的向量维度不变。
需要理解,图3示出任意的第l级的特征交叉处理过程,其为图2中步骤22的子步骤。回到图2的步骤22,在其中,多级特征交叉处理中每级处理,均按照图3所示的方式执行,于是多级处理分别得到对应的多级处理矩阵,其中m为特征交叉处理的级数。由于每一级处理中针对每个特征向量,均采用向量之间非线性融合以及基于注意力的加权组合的方式,例如公式(9)到(11)所示,这使得特征之间进行充分的交叉组合运算,且得到的高阶特征不会简单地线性依赖于原始特征矩阵X0。
于是,接下来在图2的步骤23,根据多级处理矩阵中最后一级处理矩阵,得到第一业务对象对应的表征向量。在该步骤中,将得到的包含高阶特征的矩阵处理为向量的形式,以便于后续预测。
具体的,在一个实施例中,通过对最后一级处理矩阵进行池化处理,得到表征向量。该池化处理可以包括,最大池化,平均池化,基于注意力的池化,等等。在另一实施例中,也可以采用例如向量拼接等其他方式,将最后一级处理矩阵进一步处理为表征向量。
然后,在步骤24,根据上述表征向量,对第一业务对象进行业务预测。具体的,可以对上述表征向量施加例如softmax的预测函数,得到业务预测结果。在一个实施例中,业务预测结果可以是分类结果,即预测得到第一业务对象的分类,例如用户类别,商户类别,支付事件是否安全的二分类结果,等等。在另一实施例中,业务预测结果也可以是回归值,即预测得到第一业务对象的分值,例如物品的好评率分值,支付事件的安全度分值,推荐事件的推荐度分值,等等。
回顾以上过程,由于在多级特征交叉处理中,采用各个特征向量之间非线性融合以及基于注意力的加权组合的方式,使得特征之间得到充分的交叉组合运算,得到更有表达力的高阶特征。基于这样的高阶特征执行业务预测,可以进一步提升业务预测的准确性。并且,基于注意力的组合方式,为业务预测结果的可解释性提供了基础和可能。
根据另一方面的实施例,提供了一种用于对业务对象进行业务预测的神经网络模型。图5示出根据一个实施例的神经网络模型的结构示意图,该神经网络模型可以部署在任何具有数据存储、计算、处理能力的设备、平台或设备集群中。如图5所示,该用于对业务对象进行业务预测的神经网络模型500包括:
输入层51,用于获取第一业务对象对应的初始特征矩阵,所述初始特征矩阵包括,对所述第一业务对象的N项特征的特征值进行编码得到的N个原始向量;
多级交叉处理层52,用于对所述初始特征矩阵进行多级特征交叉处理,得到多级处理矩阵;其中,每级交叉处理层用于,对于待处理的本级矩阵中任意的第i特征向量,对所述初始特征矩阵中对应位置的第i原始向量,和该本级矩阵中各个本级特征向量,分别进行线性变换,得到第i变换向量和各个本级变换向量;根据该第i变换向量和所述各个本级变换向量之间的各个相关度,对该第i变换向量分别与所述各个本级变换向量进行融合的融合结果进行加权组合,基于组合结果确定该第i特征向量在下一级处理矩阵中的特征向量;
池化层53,用于根据所述多级处理矩阵中最后一级处理矩阵,得到该第一业务对象对应的表征向量;
输出层54,用于根据该表征向量,对所述第一业务对象进行业务预测。
根据一种实施方式,上述第一业务对象为以下实体对象之一:用户,商户,商品,待推荐的物品。相应的,所述N项特征包括,所述实体对象的属性特征。
根据另一种实施方式,上述第一业务对象为业务事件,所述业务事件包括以下之一:支付事件,购买事件,推荐事件,登录事件。相应的,所述N项特征包括,所述业务事件的各个参与方各自的属性特征。
在一个实施例中,多级交叉处理层52中每级交叉处理层中进行的线性变换具体包括:利用与当前级对应的本级参数矩阵,分别对第i变换向量和所述各个本级特征向量进行线性变换,得到第i变换向量和各个本级变换向量。
在另一实施例中,每级交叉处理层中的线性变换具体包括:利用第一参数矩阵,对所述第i原始向量进行线性变换,得到第i变换向量;利用第二参数矩阵,对所述各个本级特征向量进行线性变换,得到各个本级变换向量。
在一个实施例中,每级交叉处理层中进行的加权组合具体包括:
确定该第i变换向量和所述各个本级变换向量之间的各个相关度;
根据所述各个相关度,确定各个本级变换向量对应的各个权重因子;
将该第i变换向量分别与所述各个本级变换向量进行融合操作,得到各个融合向量;
根据所述各个权重因子,对所述各个融合向量进行加权组合,得到组合结果。
更具体的,在各个例子中,上述相关度通过以下方式确定:计算该第i变换向量和所述各个本级变换向量的余弦相似度,作为所述相关度;或者,计算该第i变换向量和所述各个本级变换向量的内积结果,作为所述相关度;或者,计算该第i变换向量和所述各个本级变换向量的向量距离,根据所述向量距离确定所述相关度。
在一个实施例中,上述融合操作包括以下之一:按位相乘,求和,求均值。
根据一个实施例,每级交叉处理层具体用于:在所述组合结果基础上,添加偏移向量以及所述第i特征向量本身,作为其在下一级处理矩阵中的特征向量。
根据一个实施例,所述池化层53可以通过若干全连接层实现。在具体例子中,该池化层53可以对所述最后一级处理矩阵进行池化处理,得到所述表征向量,所述池化处理包括以下之一:最大池化,平均池化,基于注意力的池化。
通过以上的神经网络模型,对业务对象的特征进行更为有效的交叉组合处理,得到更有表达力的高阶特征,从而提升业务预测的准确度。
根据又一方面的实施例,提供了一种用于对业务对象进行业务预测的装置,该装置可以实现为任何具有数据存储、计算、处理能力的设备、平台或设备集群。图6示出根据一个实施例的业务预测装置的示意性框图。如图6所示,该预测装置600包括:
获取单元61,配置为获取第一业务对象对应的初始特征矩阵,所述初始特征矩阵包括,对所述第一业务对象的N项特征的特征值进行编码得到的N个原始向量;
多个交叉处理单元62,配置为对所述初始特征矩阵进行多级特征交叉处理,得到多级处理矩阵;其中,每个交叉处理单元配置为,对于待处理的本级矩阵中任意的第i特征向量,对所述初始特征矩阵中对应位置的第i原始向量,和该本级矩阵中各个本级特征向量,分别进行线性变换,得到第i变换向量和各个本级变换向量;根据该第i变换向量和所述各个本级变换向量之间的各个相关度,对该第i变换向量分别与所述各个本级变换向量进行融合的融合结果进行加权组合,基于组合结果确定该第i特征向量在下一级处理矩阵中的特征向量;
池化单元63,配置为根据所述多级处理矩阵中最后一级处理矩阵,得到该第一业务对象对应的表征向量;
预测单元64,配置为根据该表征向量,对所述第一业务对象进行业务预测。
通过以上装置,对业务对象的特征进行更为有效的交叉组合处理,得到更有表达力的高阶特征,从而提升业务预测的准确度。
根据另一方面的实施例,还提供一种计算机可读存储介质,其上存储有计算机程序,当所述计算机程序在计算机中执行时,令计算机执行结合图2至图4所描述的方法。
根据再一方面的实施例,还提供一种计算设备,包括存储器和处理器,所述存储器中存储有可执行代码,所述处理器执行所述可执行代码时,实现结合图2至图4所述的方法。
本领域技术人员应该可以意识到,在上述一个或多个示例中,本发明所描述的功能可以用硬件、软件、固件或它们的任意组合来实现。当使用软件实现时,可以将这些功能存储在计算机可读介质中或者作为计算机可读介质上的一个或多个指令或代码进行传输。
以上所述的具体实施方式,对本发明的目的、技术方案和有益效果进行了进一步详细说明,所应理解的是,以上所述仅为本发明的具体实施方式而已,并不用于限定本发明的保护范围,凡在本发明的技术方案的基础之上,所做的任何修改、等同替换、改进等,均应包括在本发明的保护范围之内。
Claims (22)
1.一种针对业务对象进行业务预测的方法,包括:
获取第一业务对象对应的初始特征矩阵,所述初始特征矩阵包括,对所述第一业务对象的N项特征的特征值进行编码得到的N个原始向量;
对所述初始特征矩阵进行多级特征交叉处理,得到多级处理矩阵;其中,每级特征交叉处理包括,对于待处理的本级矩阵中任意的第i特征向量,对所述初始特征矩阵中对应位置的第i原始向量,和该本级矩阵中各个本级特征向量,分别进行线性变换,得到第i变换向量和各个本级变换向量;根据该第i变换向量和所述各个本级变换向量之间的各个相关度,对该第i变换向量分别与所述各个本级变换向量进行融合的融合结果进行加权组合,基于组合结果确定该第i特征向量在下一级处理矩阵中的特征向量;
根据所述多级处理矩阵中最后一级处理矩阵,得到该第一业务对象对应的表征向量;
根据该表征向量,对所述第一业务对象进行业务预测。
2.根据权利要求1所述的方法,其中,
所述第一业务对象为以下实体对象之一:用户,商户,商品,待推荐的物品;所述N项特征包括,所述实体对象的属性特征。
3.根据权利要求1所述的方法,其中,
所述第一业务对象为业务事件,所述业务事件包括以下之一:支付事件,购买事件,推荐事件,登录事件;所述N项特征包括,所述业务事件的各个参与方各自的属性特征。
4.根据权利要求1所述的方法,其中,对所述初始特征矩阵中对应位置的第i原始向量,和该本级矩阵中各个本级特征向量,分别进行线性变换,包括:
利用与当前级对应的本级参数矩阵,分别对第i变换向量和所述各个本级特征向量进行线性变换,得到第i变换向量和各个本级变换向量。
5.根据权利要求1所述的方法,其中,对所述初始特征矩阵中对应位置的第i原始向量,和该本级矩阵中各个本级特征向量,分别进行线性变换,包括:
利用第一参数矩阵,对所述第i原始向量进行线性变换,得到第i变换向量;利用第二参数矩阵,对所述各个本级特征向量进行线性变换,得到各个本级变换向量。
6.根据权利要求1所述的方法,其中,根据该第i变换向量和所述各个本级变换向量之间的各个相关度,对该第i变换向量分别与所述各个本级变换向量进行融合的融合结果进行加权组合,包括:
确定该第i变换向量和所述各个本级变换向量之间的各个相关度;
根据所述各个相关度,确定各个本级变换向量对应的各个权重因子;
将该第i变换向量分别与所述各个本级变换向量进行融合操作,得到各个融合向量;
根据所述各个权重因子,对所述各个融合向量进行加权组合,得到组合结果。
7.根据权利要求6所述的方法,其中,确定该第i变换向量和所述各个本级变换向量之间的各个相关度,包括:
计算该第i变换向量和所述各个本级变换向量的余弦相似度,作为所述相关度;或者,
计算该第i变换向量和所述各个本级变换向量的内积结果,作为所述相关度;或者,
计算该第i变换向量和所述各个本级变换向量的向量距离,根据所述向量距离确定所述相关度。
8.根据权利要求6所述的方法,其中,所述融合操作包括以下之一:
按位相乘,求和,求均值。
9.根据权利要求1所述的方法,其中,基于组合结果确定该第i特征向量在下一级处理矩阵中的特征向量,包括:
在所述组合结果基础上,添加偏移向量以及所述第i特征向量本身,作为其在下一级处理矩阵中的特征向量。
10.根据权利要求1所述的方法,其中,根据所述多级处理矩阵中最后一级处理矩阵,得到该第一业务对象对应的表征向量,包括:
对所述最后一级处理矩阵进行池化处理,得到所述表征向量,所述池化处理包括以下之一:最大池化,平均池化,基于注意力的池化。
11.一种针对业务对象进行业务预测的神经网络模型,包括:
输入层,用于获取第一业务对象对应的初始特征矩阵,所述初始特征矩阵包括,对所述第一业务对象的N项特征的特征值进行编码得到的N个原始向量;
多级交叉处理层,用于对所述初始特征矩阵进行多级特征交叉处理,得到多级处理矩阵;其中,每级交叉处理层用于,对于待处理的本级矩阵中任意的第i特征向量,对所述初始特征矩阵中对应位置的第i原始向量,和该本级矩阵中各个本级特征向量,分别进行线性变换,得到第i变换向量和各个本级变换向量;根据该第i变换向量和所述各个本级变换向量之间的各个相关度,对该第i变换向量分别与所述各个本级变换向量进行融合的融合结果进行加权组合,基于组合结果确定该第i特征向量在下一级处理矩阵中的特征向量;
池化层,用于根据所述多级处理矩阵中最后一级处理矩阵,得到该第一业务对象对应的表征向量;
输出层,用于根据该表征向量,对所述第一业务对象进行业务预测。
12.根据权利要求11所述的神经网络模型,其中,
所述第一业务对象为以下实体对象之一:用户,商户,商品,待推荐的物品;所述N项特征包括,所述实体对象的属性特征。
13.根据权利要求11所述的神经网络模型,其中,
所述第一业务对象为业务事件,所述业务事件包括以下之一:支付事件,购买事件,推荐事件,登录事件;所述N项特征包括,所述业务事件的各个参与方各自的属性特征。
14.根据权利要求11所述的神经网络模型,其中,所述每级交叉处理层中进行的线性变换具体包括:
利用与当前级对应的本级参数矩阵,分别对第i变换向量和所述各个本级特征向量进行线性变换,得到第i变换向量和各个本级变换向量。
15.根据权利要求11所述的神经网络模型,其中,所述每级交叉处理层中进行的线性变换具体包括:
利用第一参数矩阵,对所述第i原始向量进行线性变换,得到第i变换向量;利用第二参数矩阵,对所述各个本级特征向量进行线性变换,得到各个本级变换向量。
16.根据权利要求11所述的神经网络模型,其中,所述每级交叉处理层中进行的加权组合具体包括:
确定该第i变换向量和所述各个本级变换向量之间的各个相关度;
根据所述各个相关度,确定各个本级变换向量对应的各个权重因子;
将该第i变换向量分别与所述各个本级变换向量进行融合操作,得到各个融合向量;
根据所述各个权重因子,对所述各个融合向量进行加权组合,得到组合结果。
17.根据权利要求16所述的神经网络模型,其中,所述每级交叉处理层中进行的加权组合具体包括:
计算该第i变换向量和所述各个本级变换向量的余弦相似度,作为所述相关度;或者,
计算该第i变换向量和所述各个本级变换向量的内积结果,作为所述相关度;或者,
计算该第i变换向量和所述各个本级变换向量的向量距离,根据所述向量距离确定所述相关度。
18.根据权利要求16所述的神经网络模型,其中,所述融合操作包括以下之一:
按位相乘,求和,求均值。
19.根据权利要求11所述的神经网络模型,其中,每级交叉处理层具体用于:
在所述组合结果基础上,添加偏移向量以及所述第i特征向量本身,作为其在下一级处理矩阵中的特征向量。
20.根据权利要求11所述的神经网络模型,其中,所述池化层具体用于:
对所述最后一级处理矩阵进行池化处理,得到所述表征向量,所述池化处理包括以下之一:最大池化,平均池化,基于注意力的池化。
21.一种针对业务对象进行业务预测的装置,包括:
获取单元,配置为获取第一业务对象对应的初始特征矩阵,所述初始特征矩阵包括,对所述第一业务对象的N项特征的特征值进行编码得到的N个原始向量;
多个交叉处理单元,配置为对所述初始特征矩阵进行多级特征交叉处理,得到多级处理矩阵;其中,每个交叉处理单元配置为,对于待处理的本级矩阵中任意的第i特征向量,对所述初始特征矩阵中对应位置的第i原始向量,和该本级矩阵中各个本级特征向量,分别进行线性变换,得到第i变换向量和各个本级变换向量;根据该第i变换向量和所述各个本级变换向量之间的各个相关度,对该第i变换向量分别与所述各个本级变换向量进行融合的融合结果进行加权组合,基于组合结果确定该第i特征向量在下一级处理矩阵中的特征向量;
池化单元,配置为根据所述多级处理矩阵中最后一级处理矩阵,得到该第一业务对象对应的表征向量;
预测单元,配置为根据该表征向量,对所述第一业务对象进行业务预测。
22.一种计算设备,包括存储器和处理器,其特征在于,所述存储器中存储有可执行代码,所述处理器执行所述可执行代码时,实现权利要求1-10中任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010329614.XA CN111222722B (zh) | 2020-04-24 | 2020-04-24 | 针对业务对象进行业务预测的方法、神经网络模型和装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010329614.XA CN111222722B (zh) | 2020-04-24 | 2020-04-24 | 针对业务对象进行业务预测的方法、神经网络模型和装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111222722A true CN111222722A (zh) | 2020-06-02 |
CN111222722B CN111222722B (zh) | 2020-07-24 |
Family
ID=70831712
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010329614.XA Active CN111222722B (zh) | 2020-04-24 | 2020-04-24 | 针对业务对象进行业务预测的方法、神经网络模型和装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111222722B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113255908A (zh) * | 2021-05-27 | 2021-08-13 | 支付宝(杭州)信息技术有限公司 | 基于事件序列进行业务预测的方法、神经网络模型和装置 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20190188584A1 (en) * | 2017-12-19 | 2019-06-20 | Aspen Technology, Inc. | Computer System And Method For Building And Deploying Models Predicting Plant Asset Failure |
CN110046304A (zh) * | 2019-04-18 | 2019-07-23 | 腾讯科技(深圳)有限公司 | 一种用户推荐方法和装置 |
CN110263973A (zh) * | 2019-05-15 | 2019-09-20 | 阿里巴巴集团控股有限公司 | 预测用户行为的方法及装置 |
CN110751285A (zh) * | 2018-07-23 | 2020-02-04 | 第四范式(北京)技术有限公司 | 神经网络模型的训练方法和***以及预测方法和*** |
CN110751261A (zh) * | 2018-07-23 | 2020-02-04 | 第四范式(北京)技术有限公司 | 神经网络模型的训练方法和***以及预测方法和*** |
CN110929206A (zh) * | 2019-11-20 | 2020-03-27 | 腾讯科技(深圳)有限公司 | 点击率预估方法、装置、计算机可读存储介质和设备 |
-
2020
- 2020-04-24 CN CN202010329614.XA patent/CN111222722B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20190188584A1 (en) * | 2017-12-19 | 2019-06-20 | Aspen Technology, Inc. | Computer System And Method For Building And Deploying Models Predicting Plant Asset Failure |
CN110751285A (zh) * | 2018-07-23 | 2020-02-04 | 第四范式(北京)技术有限公司 | 神经网络模型的训练方法和***以及预测方法和*** |
CN110751261A (zh) * | 2018-07-23 | 2020-02-04 | 第四范式(北京)技术有限公司 | 神经网络模型的训练方法和***以及预测方法和*** |
CN110046304A (zh) * | 2019-04-18 | 2019-07-23 | 腾讯科技(深圳)有限公司 | 一种用户推荐方法和装置 |
CN110263973A (zh) * | 2019-05-15 | 2019-09-20 | 阿里巴巴集团控股有限公司 | 预测用户行为的方法及装置 |
CN110929206A (zh) * | 2019-11-20 | 2020-03-27 | 腾讯科技(深圳)有限公司 | 点击率预估方法、装置、计算机可读存储介质和设备 |
Non-Patent Citations (4)
Title |
---|
RUOXI WANG等: "Deep & Cross Network for Ad Click Predictions", 《HTTPS://ARXIV.ORG/PDF/1708.05123.PDF》 * |
WEIPING SONG等: "AutoInt: Automatic Feature Interaction Learning via Self-Attentive Neural Networks", 《CIKM"19》 * |
WENTAO OUYANG等: "Deep Spatio-Temporal Neural Networks for Click-Through Rate Prediction", 《KDD"19》 * |
菜鸡不得行: "推荐***-Deep&Cross Network模型", 《HTTPS://WWW.JIANSHU.COM/P/33F81E89FCD6》 * |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113255908A (zh) * | 2021-05-27 | 2021-08-13 | 支付宝(杭州)信息技术有限公司 | 基于事件序列进行业务预测的方法、神经网络模型和装置 |
CN113255908B (zh) * | 2021-05-27 | 2023-04-07 | 支付宝(杭州)信息技术有限公司 | 基于事件序列进行业务预测的方法、神经网络模型和装置 |
Also Published As
Publication number | Publication date |
---|---|
CN111222722B (zh) | 2020-07-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110598118A (zh) | 资源对象的推荐方法、装置及计算机可读介质 | |
CN111008335B (zh) | 一种信息处理方法、装置、设备及存储介质 | |
CN111177577B (zh) | 一种群组的项目推荐方法、智能终端以及存储装置 | |
CN111737578A (zh) | 一种推荐方法及*** | |
CN113255908B (zh) | 基于事件序列进行业务预测的方法、神经网络模型和装置 | |
CN112800342A (zh) | 基于异质信息的推荐方法、***、计算机设备和存储介质 | |
CN112633927B (zh) | 一种基于知识图谱规则嵌入的组合商品挖掘方法 | |
CN115482141A (zh) | 图像处理方法、装置、电子设备和存储介质 | |
CN113850616A (zh) | 基于深度图神经网络的客户生命周期价值预测方法 | |
CN111222722B (zh) | 针对业务对象进行业务预测的方法、神经网络模型和装置 | |
CN113779380A (zh) | 跨域推荐、内容推荐方法、装置及设备 | |
JP7414357B2 (ja) | テキスト処理方法、装置、デバイス及びコンピュータ読み取り可能な記憶媒体 | |
CN117036006A (zh) | 用户画像的生成方法及装置、存储介质、电子设备 | |
CN114491086A (zh) | 服饰个性化搭配推荐方法、***、电子设备及存储介质 | |
CN114996566A (zh) | 一种面向工业互联网平台的智能推荐***及方法 | |
CN112734519B (zh) | 一种基于卷积自编码器网络的商品推荐方法 | |
CN111445282B (zh) | 基于用户行为的业务处理方法、装置及设备 | |
CN115391638A (zh) | 基于社交网络的推荐模型训练方法及装置 | |
CN114817758A (zh) | 一种基于nsgc-gru集成模型的推荐***方法 | |
CN111784377B (zh) | 用于生成信息的方法和装置 | |
CN112132345A (zh) | 电商用户信息预测方法、装置、电子设备及存储介质 | |
CN112559640A (zh) | 图谱表征***的训练方法及装置 | |
CN113536252A (zh) | 账号识别方法和计算机可读存储介质 | |
CN111444331A (zh) | 基于内容的分布式特征提取方法、装置、设备及介质 | |
CN110659962A (zh) | 一种商品信息输出方法及相关装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |