CN111737546A - 确定实体业务属性的方法及装置 - Google Patents
确定实体业务属性的方法及装置 Download PDFInfo
- Publication number
- CN111737546A CN111737546A CN202010724053.3A CN202010724053A CN111737546A CN 111737546 A CN111737546 A CN 111737546A CN 202010724053 A CN202010724053 A CN 202010724053A CN 111737546 A CN111737546 A CN 111737546A
- Authority
- CN
- China
- Prior art keywords
- node
- vector
- entity
- attribute
- predicted
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 48
- 239000013598 vector Substances 0.000 claims abstract description 197
- 238000013528 artificial neural network Methods 0.000 claims abstract description 75
- 239000013604 expression vector Substances 0.000 claims abstract description 61
- 230000008569 process Effects 0.000 claims abstract description 18
- 230000004927 fusion Effects 0.000 claims description 39
- 238000012545 processing Methods 0.000 claims description 34
- 238000012549 training Methods 0.000 claims description 29
- 239000011159 matrix material Substances 0.000 claims description 10
- 238000010606 normalization Methods 0.000 claims description 4
- 230000009467 reduction Effects 0.000 claims description 4
- 238000004590 computer program Methods 0.000 claims description 3
- 230000002776 aggregation Effects 0.000 abstract description 3
- 238000004220 aggregation Methods 0.000 abstract description 3
- 230000000875 corresponding effect Effects 0.000 description 94
- 238000010586 diagram Methods 0.000 description 8
- 230000007246 mechanism Effects 0.000 description 7
- 210000002569 neuron Anatomy 0.000 description 7
- 230000002123 temporal effect Effects 0.000 description 7
- 230000006399 behavior Effects 0.000 description 5
- 230000008859 change Effects 0.000 description 5
- 230000006870 function Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 230000003247 decreasing effect Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 230000000306 recurrent effect Effects 0.000 description 2
- 101150053844 APP1 gene Proteins 0.000 description 1
- 101100189105 Homo sapiens PABPC4 gene Proteins 0.000 description 1
- 102100039424 Polyadenylate-binding protein 4 Human genes 0.000 description 1
- 102100038359 Xaa-Pro aminopeptidase 3 Human genes 0.000 description 1
- 101710081949 Xaa-Pro aminopeptidase 3 Proteins 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- XTKDAFGWCDAMPY-UHFFFAOYSA-N azaperone Chemical compound C1=CC(F)=CC=C1C(=O)CCCN1CCN(C=2N=CC=CC=2)CC1 XTKDAFGWCDAMPY-UHFFFAOYSA-N 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 238000007500 overflow downdraw method Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/906—Clustering; Classification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/35—Clustering; Classification
- G06F16/353—Clustering; Classification into predefined classes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N5/00—Computing arrangements using knowledge-based models
- G06N5/02—Knowledge representation; Symbolic representation
- G06N5/022—Knowledge engineering; Knowledge acquisition
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Computational Linguistics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Molecular Biology (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本说明书实施例提供一种确定实体业务属性的方法,一方面,利用时序神经网络处理待预测实体在不同历史时间点的表达向量,考虑待预测实体状态的时序特征,另一方面,单个历史时间点的表达向量基于按照相应的实体状态确定的关系网络,进行邻居节点的节点向量聚合,充分考虑与预测实体相关联的其他实体对预测实体状态的影响,从而对预测实体产生具有更好的表达能力的表达向量。通过这种对具有更好的表达能力的表达向量的分析,可以提高对实体的预定业务属性预测的准确度。
Description
技术领域
本说明书一个或多个实施例涉及计算机技术领域,尤其涉及利用计算机确定实体业务属性的方法及装置。
背景技术
随着计算机技术的发展,日常业务处理越来越离不开计算机的辅助。例如,在购物平台,计算机记录用户浏览、点击、购买的商品,以向用户推荐更感兴趣的商品,在终端的新闻APP中,终端记录用户搜索、浏览的页面,从而为用户推荐更合适的新闻,等等。尤其人工智能技术的发展,使得计算机能够更加智能地处理日常业务。例如,在购物平台,通过预测用户的某种业务属性(如性别),从而为用户推送符合相应业务属性的商品。
然而,实际应用中,所处理的实体的一些业务属性可以是固定的,例如用户的性别业务属性,另一些业务属性会根据突发事件改变。例如,用户的收入业务属性可能根据换工作、失业、精力状态等事件而改变;用户的金融逾期风险性业务属性会在职业发生变化、用户的家庭成员发生变化、用户的借款平台从银行转向小贷公司等事件发生时,产生比较大的改变;等等。因此,需要提供一种方案,将这种突发事件的影响融入到人工智能对实体的业务属性预测中,提高预测准确度。
发明内容
本说明书一个或多个实施例描述了一种确定实体业务属性的方法及装置,以解决背景技术中提到的一个或多个技术问题。
根据第一方面,提供一种确定实体业务属性的方法,用于针对待预测实体,确定其在预定业务属性上的属性状态或属性类别,所述方法包括:获取按照时间顺序依次排列的多个历史关系网络,其中,所述多个历史关系网络分别对应具有预定时间间隔的各个历史时间点,单个历史关系网络包括多个节点,各个节点分别对应包括所述待预测实体在内的多个实体,单个历史关系网络用于描述与相应历史时间点对应的、各个实体之间的关联关系,具有关联关系的实体之间通过连接边连接,各个节点对应有基于相应实体的描述信息提取的业务特征构成的节点向量;针对各个历史关系网络,分别利用邻居节点的向量融合,确定所述待预测实体的各个表达向量;利用预先训练的时序神经网络处理各个表达向量,得到输出结果;根据所述输出结果确定所述待预测实体在预定业务属性上的属性状态或属性类别。
根据一个实施例,所述时序神经网络通过以下方式训练:获取当前训练样本,所述当前训练样本对应有样本实体以及所述样本实体关于预定业务属性的属性标签;针对按照时间顺序依次排列的T个历史关系网络中的各个历史关系网络,分别执行邻居节点的节点向量融合操作,以确定所述样本实体在T个关系网络下分别对应的T个表达向量,所述T个历史关系网络按照具有所述预定时间间隔的T个时间点建立;将所述T个表达向量按照相应历史关系网络的时间顺序,依次输入到选定的时序神经网络,得到时序神经网络针对所述样本实体的样本输出结果;以所述样本输出结果与所述属性标签相一致为目标,调整模型参数,以训练所述时序神经网络。
根据一个实施例,单个节点对应的节点向量中的业务特征通过相应关系网络对应的历史时间点的描述信息提取,或者通过相应关系网络对应的历史时间点与前一个历史时间点之间的时间间隔内的描述信息提取。
根据一个实施例,在所述待预测实体是用户的情况下,单个历史关系网络中的实体包括多个用户,还包括以下中的至少一项:用户设备接入网络的IP标识或WIFI标识、用户设备上安装的应用。
根据一个实施例,所述多个历史关系网络包括第一关系网络,所述待预测实体在所述第一关系网络中对应第一节点,所述针对各个关系网络,分别利用邻居节点的向量融合,确定所述待预测实体的各个表达向量包括:通过多层图神经网络处理所述关系网络,所述多层图神经网络经当前层处理后对所述第一节点的节点向量基于以下结果进行更新:各个邻居节点的经上一层更新的节点向量与辅助权重矩阵的乘积的加权结果;将最后一层图神经网络更新后的所述第一节点的节点向量作为所述第一节点对应于所述第一关系网络的第一表达向量。
根据一个进一步的实施例,所述第一节点的邻居节点包括第二节点,在当前层,所述第二节点相对于所述第一节点的加权权重为:所述第一节点经上一层更新的节点向量与所述第二节点经上一层更新的节点向量的相似度,相对于所述第一节点经上一层更新的节点向量与各个邻居节点经上一层更新的节点向量的相似度的总和,进行指数形式的归一化结果。
根据一个更进一步的实施例,所述第一节点经上一层更新的节点向量与所述第二节点经上一层更新的节点向量的相似度通过以下方式确定:将所述第一节点经上一层更新的节点向量与所述第二节点经上一层更新的节点向量进行拼接形成拼接向量;利用空间辅助权重矩阵对所述拼接向量进行降维处理,得到预定维度的中间向量;用具有所述预定维度的辅助向量处理所述中间向量,得到所述第一节点经上一层更新的节点向量与所述第二节点经上一层更新的节点向量的相似度。
根据一个实施例,在所述输出结果为输出向量的情况下,所述根据所述输出结果确定所述待预测实体在预定业务属性上的属性状态或属性类别包括:
利用全连接神经网络处理所述输出向量;利用得到的处理结果确定所述待预测实体在预定业务属性上的属性状态或属性类别。
根据一个实施例,在所述输出结果为输出向量的情况下,所述待预测实体在预定业务属性上的属性状态或属性类别还可以分别对应有各个描述向量,所述根据所述输出结果确定所述待预测实体在预定业务属性上的属性状态或属性类别包括:确定所述输出向量与各个描述向量之间分别对应的各个相似度;将相似度最大的描述向量对应的属性状态或属性类别确定为所述待预测实体在预定业务属性预定时段的属性状态或属性类别。
根据第二方面,提供一种确定实体业务属性的装置,用于针对待预测实体,利用基于时间顺序的多个历史关系网络,确定其在预定业务属性上的属性状态或属性类别,所述装置包括:
确定单元,配置为获取按照时间顺序依次排列的多个历史关系网络,其中,所述多个历史关系网络分别对应具有预定时间间隔的各个历史时间点,单个关系网络包括多个节点,各个节点分别对应包括所述待预测实体在内的多个实体,单个历史关系网络用于描述与相应历史时间点对应的、各个实体之间的关联关系,具有关联关系的实体之间通过连接边连接,各个节点对应有基于相应实体的描述信息提取的业务特征构成的节点向量;
融合单元,配置为针对各个关系网络,分别利用邻居节点的向量融合,确定所述待预测实体的各个表达向量;
时序数据处理单元,配置为利用预先训练的时序神经网络处理各个表达向量,得到输出结果;
预测单元,配置为根据所述输出结果确定所述待预测实体在预定业务属性上的属性状态或属性类别。
根据第三方面,提供了一种计算机可读存储介质,其上存储有计算机程序,当所述计算机程序在计算机中执行时,令计算机执行第一方面的方法。
根据第四方面,提供了一种计算设备,包括存储器和处理器,其特征在于,所述存储器中存储有可执行代码,所述处理器执行所述可执行代码时,实现第一方面的方法。
通过本说明书实施例提供的方法和装置,一方面,利用时序神经网络处理待预测实体在不同历史时间点的表达向量,考虑待预测实体状态的时序特征,另一方面,单个历史时间点的表达向量基于按照相应历史时间点的实体状态确定的关系网络,进行邻居节点的节点向量聚合,充分挖掘邻居实体对当前实体状态的影响,从而对用户产生具有更好的表达能力的表达向量。进一步地,通过对具有时序特征的历史关系网络进行处理,可以提高对实体业务属性预测的准确度。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其它的附图。
图1示出本说明书的一个具体实施架构示意图;
图2示出一个具体例子的关系网络示意图;
图3示出根据一个实施例训练时序神经网络的方法流程图;
图4示出根据一个实施例的确定实体业务属性的方法流程图;
图5示出根据一个实施例的确定实体业务属性的装置的示意性框图。
具体实施方式
下面结合附图,对本说明书提供的方案进行描述。
首先,结合图1示出的一个具体实施架构进行说明。如图1所示,在本说明书的实施架构下,可以预先以多个时间点为参考点建立关系网络,关系网络中的节点可以为与待预测业务属性的实体相关联的各种实体。例如,待预测业务属性的实体为用户,则关系网络中的实体可以是多个用户以及与用户设备相关的实体。可以理解,这里的用户通常可以指示虚拟用户(区别于生物体的人),例如可以是终端用户,或者网络平台(网站或APP)的注册用户。通常,一个用户ID可以对应一个用户。这样的用户通常通过用户设备与服务器交互,也就是说,当用户和服务器产生交互行为时,往往依赖用户设备。用户设备相关的实体可以反映出用户的特征,即同时也是与用户相关联的。
同样,在待预测业务属性的实体是其他实体(例如商品、客服问题文本等)的情况下,待预测业务属性的实体的特征也可以根据实际情况由其他关联实体(如顾客、商户、提出客服问题的用户等)描述。因此,在本说明书的技术构思下,建立关系网络时,不仅可以设置与包括待预测业务属性的实体的各个实体一一对应的节点,还可以设置与其他关联实体一一对应的节点。节点对应的实体之间的关联关系可以通过节点之间的连接线表示。待预测业务属性的实体为用户的情况下,相关联的其他实体例如可以包括但不限于:用户设备上安装的应用、用户设备接入互联网的IP标识或者WiFi标识或通信基站标识、行为关联机构(如金融行为关联机构为银行或者小额高息贷款机构等)等等。
针对每个关系网络,都可以根据各个实体的相关描述信息提取其业务特征,用于表达相应实体。例如:对于用户来说,可以根据其性别、收入、工作单位、消费偏好(或资金流向)等描述信息提取相应业务特征,构成节点向量;对于用户设备接入互联网的IP标识或者WiFi标识或通信基站标识等可以根据其地理位置信息、接入人数等描述信息提取相应特征,构成节点向量;针对用户设备上安装的应用,可以根据其下载量、发布时间、应用类别(如购物类、游戏类等)等描述信息提取相应业务特征,构成节点向量;对于行为关联机构来说,可以根据其成立时间、用户量、资产类别、总资产份额、机构类别等等描述信息提取相应业务特征,构成节点向量;等等。
在可选的实施例中,还可以将各个节点的向量进行维度的统一,例如,各种类别的实体,相应节点分别对应相应维度的特征,每个节点向量的维度都是各种实体类别的维度之和,并在相应维度取值。具体而言,例如实体类别数有3种,用户、APP和行为关联机构,假设用户的业务特征有5维,APP的业务特征有4维,行为关联机构的业务特征3维,则各种实体类别的业务特征总维度为12维。此时,可以用12维的节点向量表示各个节点。对于具体的单个节点来说,仅在相应维度上具有有意义的特征值。如用户在12为节点向量的前5维上具有特征值,而后7维皆取预定值(如0),以此类推。
在本说明书的构思下,针对需要预测业务属性的实体,可以通过各个关系网络融合邻居节点的特征,确定其各个表达向量。然后,如图1所示,将各个按时间顺序排列的表达向量依次输入时序神经网络,得到输出结果。该输出结果可以对应到用户的预定业务属性。
下面详细介绍本说明书的技术构思。
可以理解,本说明书技术构思下,涉及的技术问题可以包括,关系网络的构建、在单个关系网络中的邻居节点向量融合,以及时序神经网络对各个表达向量的处理。以下对这些技术问题及其实施方案一一进行描述。
首先,对于本说明书涉及的关系网络,可以按照具有预定时间间隔的时间点采集相应实体的信息进行构建。这里的时间点可以看作数据截断的时间依据。预定时间间隔例如可以是一个月、一周,本说明书对此不做限定。具体采集的实体信息可以是关系网络对应的当前时间点的各项信息,也可以是当前时间点与前一时间点之间的时间间隔的实体信息。举例而言:对于与用户设备相关的实体APP而言,用户下载量的特征可以是相应时间点为止总的用户下载量,也可以是相应时间点与前一时间点之间的时间间隔内的用户下载量;对于用户而言,职业的特征可以是相应时间点所从事的职业,也可以是相应时间点之前的预定时间间隔内的所从事过的各种职业;等等。
本说明书中,可以通过与待预测业务属性的实体相关的各种实体,构建相应的关系网络。关系网络中的节点可以与各种实体一一对应。对于用户而言,可以与其他用户、当前用户登录的用户设备所安装的APP、接入互联网的WIFI地址或IP地址等实体产生关联关系。实体之间的关联关系可以通过连接边表示,也可以通过三元组中的预定标识表示。例如,一个用户实体与其他用户实体之间的关联关系可以是通过通讯录好友、转账、发红包等行为确定的关联关系,当两个用户之间具有这样的关联关系时,在关系网络中相应的两个实体可以通过连接边连接。
如图2所示,以待预测业务属性的实体是用户为例,给出了一个具体时间点对应的关系网络示意图。该示意图2中,所涉及的实体包括但不限于:用户、用户设备相关联的APP、用户设备接入互联网的WIFI等等。如图2所示,用户A与用户C、APP1、WIFI1均具有关联关系,用户B与APP1、APP2、APP3具有关联关系,用户C与APP2、用户E、用户A、WIFI2具有关联关系,用户E与用户C、APP3、WIFI2具有关联关系,用户D与APP1、APP2、WIFI1、WIFI2具有关联关系……图2示出的关系网络可以描述出用户与其他实体之间的关联关系。作为示例,图2中的其他关联实体包括APP、WIFI,实践中其他关联实体可以是与待预测实体相关的各种实体。
如前文所述,对于各个节点,都可以具有相应的描述信息。从这些描述信息中,可以提取出相应的业务特征,从而构成特征向量,作为初始的节点向量,来描述相应实体。
如此,对于各个具有预定间隔的时间点,都可以对应构建一个关系网络,用于描述各个实体之间的关联关系。而单个关系网络中,可以具有根据对相应实体的当前描述信息确定的节点向量。这样,可以刻画按照时间间隔划分的各个时间点下的实体状态,从而,对待预测业务属性的实体在不同时间的状态按照时间顺序进行描述。
其次是,在单个关系网络中的邻居节点向量融合。可以理解,节点与邻居节点之间可能存在各种关联,这种关联可以体现出实体的一些隐含性质。例如,用户与某个游戏APP具有关联关系,可以表明当前用户对该游戏APP有兴趣,而对该游戏APP有兴趣的用户可能具有某些共性,例如学生、无业、职业性质无压力等等。邻居节点向量融合是为了在各个节点上融合邻居节点的信息,从而增强节点向量对节点的表达能力。
在一个可选的实现方式中,可以将当前节点的预定阶数内的邻居节点的节点向量通过加权平均、取最大值等方式融合在一起,得到邻居融合结果,并将该邻居融合结果与当前节点的节点向量进一步融合,得到的融合向量作为当前节点的表达向量。具体实践中,这种邻居节点的融合方式还可以有多种形式。
在一个可选的实施例中,可以将当前节点作为其自身的邻居节点进行邻居节点向量融合;
在一个可选的实施例中,可以从邻居节点中选择部分节点行邻居节点向量融合;
在一个可选的实施例中,可以以由外向内层层递进的方式,融合当前节点的预定阶数的邻居节点的节点向量。例如,预定阶数为3,可以先对当前节点的第3阶邻居节点进行邻居节点向量融合,并利用融合后的第3阶邻居节点的节点向量,进行第2阶邻居节点进行邻居节点向量融合。接着,进行第1阶邻居节点进行邻居节点向量融合,最后,将进行邻居节点向量融合后的第1阶邻居节点的节点向量,融合到当前节点;
在一个可选的实施例中,可以遍历关系网络中的各个节点,以对各个节点分别进行邻居节点的节点向量融合,以更新各个节点的当前节点向量。通过多次迭代后,将当前节点的当前节点向量,作为当前节点在该单个关系网络中的表达向量;
等等。
在一个可选的实施方式中,可以通过图神经网络(Graph Neural Networks,GNN)处理单个关系网络,以对各个节点分别进行邻居节点的节点向量融合。可以理解,对于图神经网络来说,每层神经网络代表着对关系网络中各个节点进行遍历,并将每个节点的当前节点向量更新为其邻居节点向量的融合向量。
其中,表示第+1层更新后的节点u的节点向量,表示节点v在第+1层的图神经网络中对于节点u的重要度系数,表示第层更新后的节点u的节点向量,表示节点u的预定阶数(如1)内的全部或部分(如至多5个)邻居节点集合,通常,邻居节点可以包括节点u自身,表示第+1层图神经网络中的辅助权重矩阵,其可以用于改变节点向量的维度。可以理解,是可以通过训练样本的训练确定的模型参数。
其中,在单个关系网络下,考虑到不同的邻居节点对当前节点的影响程度是不同的,因此,可以利用重要度系数来区分各个邻居节点对于节点u的重要程度。例如,节点u本身,对自身的影响程度最大,可以具有较大的重要度系数。各个邻居节点的重要度系数例如可以是预先设定的,也可以是邻居节点与当前节点的节点表达向量的相似度,等等。在一个具体例子中,各个邻居节点的重要度系数可以是根据各个邻居节点与当前节点的相似性确定的注意力值。
例如,节点v和节点u的相似性通过相似度表示,节点v相对于节点u的重要度系数可以为,节点v和节点u的节点向量相似度值相对于节点u的各个邻居节点与节点u的节点向量相似度值的总和进行指数形式的归一化结果。例如:
其中,s(u,v)表示节点u和节点v之间的相似度值。在一个实施例中,该相似度值可以通过节点u和节点v分别对应的节点向量的点积表示。在另一个实施例中,该相似度值可以通过以下方式确定:
其中,“||”表示两个向量的拼接,表示向量空间辅助权重矩阵,用于降低向量维度或映射到具有预定维度的相应特征空间,通过辅助向量的处理,可以由降低向量维度或映射到相应特征空间的向量得到一个相似度值。其中,和是可以通过训练样本训练确定的模型参数。
这样,经过多层图神经网络,可以将多阶邻居的节点向量描述的业务特征融合到当前节点(节点u),从而,得到具有更好的表达能力的表达向量。
进一步地,针对每个时间点对应的关系网络,都可以得到待预测业务属性的实体的一个表达向量。由于各个时间点具有时间顺序,则各个表达向量也可以具有相应的时间顺序。
最后,是时序神经网络对各个表达向量的处理。可以理解,时序神经网络可以是用于处理具有时间顺序的各种数据的神经网络,例如循环神经网络(RNN,Recurrent NeuralNetworks)。RNN是一种时间递归神经网络,可用于处理序列数据。在RNN中,一个序列当前的输出与其前面的输出相关联。具体的,RNN会对前面的信息进行记忆并应用于当前输出的计算中,即隐藏层之间的节点是有连接的,并且隐藏层的输入不仅包括输入层的输出还包括上一时刻隐藏层的输出。如图3示出的循环神经网络时序示意图中,第t次的隐含层状态可以表示为:St=f(U*Xt+W*St-1) ;
其中,Xt为第t次输入层的状态,St-1为第t-1次隐含层状态,f为计算函数,W、U为权重。如此,RNN将之前的状态循环回当前输入,考虑了历史输入的影响,因而适合于具有时序的数据序列。
在进一步的实施例中,如图1所示,时序神经网络例如可以是LSTM。对于LSTM中的某个神经元,在t-1时刻、t时刻和t+1时刻,分别输入按顺序排列的待预测业务属性实体在相应时间段对应的关系网络中的表达向量,分别用Xt-1、Xt、Xt+1表示,S t-1、St、St+1分别表示t-1时刻、t时刻和t+1时刻该神经元的状态,而C t-1、Ct、Ct+1分别表示t-1时刻、t时刻和t+1时刻的输出,其中:
St=g(U*Xt+W*Ct-1+bs);
Ct=f(V*St-1+bc);
St+1=g(U*Xt+W*Ct+bs);
Ct+1=f(V*St+bc);
其中,U、W、V为权重。
可以看出,在LSTM模型中,每个神经元的当前状态由当前时刻的输入和前一时刻的输出共同决定,每个神经元的当前输出和前一时刻的状态相关。通过LSTM模型对实体在各个时间点上的表达向量进行分析,可以有选择地记忆信息,挖掘出长距离的数据依赖。
以上详细描述了本说明书技术构思下涉及的主要技术问题以及实施方案。下面结合具体实施例描述完整技术方案。
图3示出了本说明书实施例中对时序神经网络进行训练的流程。该流程的执行主体可以是具有一定计算能力的计算机、设备、服务器。可以理解,时序神经网络中的模型参数可以通过多个训练样本进行调整,以训练时序神经网络。如图3所示,对时序神经网络进行训练的流程包括以下步骤:步骤301,获取当前训练样本,当前训练样本对应有样本实体以及样本实体关于预定业务属性的属性标签;步骤302,针对按照时间顺序依次排列的T个历史关系网络中的各个历史关系网络,分别执行邻居节点的节点向量融合操作,以确定样本实体在T个历史关系网络下分别对应的T个表达向量,T个历史关系网络按照具有预定时间间隔的T个时间点建立;步骤303,将T个表达向量按照相应历史关系网络的时间顺序,依次输入选定的时序神经网络,得到时序神经网络针对当前样本实体的输出样本结果;步骤304,以输出样本结果与上述属性标签相一致为目标,调整模型参数,以训练时序神经网络。
首先,在步骤301,获取当前训练样本,当前训练样本对应有样本实体以及样本实体关于预定业务属性的属性标签。可以理解,有监督机器学习模型训练过程中,可以将训练样本分为多个批次,每个批次进行一次模型参数调整。其中,一个批次的训练样本可以是一个训练样本,也可以是多个训练样本,在此不作限定。这里,当前训练样本是当前批次的训练样本。当前批次中的“当前”与当前流程相对应,实践中,当前批次可以是任意批次。
一条训练样本可以对应一条实体数据。在样本实体为样本用户的情况下,一条实体数据可以指示一个样本用户,以及其在预定业务属性上的历史属性标签。这里,之所以说是历史属性标签,是因为对于训练样本来说,样本实体相应的在预定业务属性上的属性状态或属性类别已经可以获取。
接着,在步骤302,针对按照时间顺序依次排列的T个历史关系网络中的各个历史关系网络,分别执行邻居节点的节点向量融合操作,以确定样本实体在T个历史关系网络下分别对应的T个表达向量。其中,T为大于1的整数。
可以理解,每个历史关系网络描述了相应历史时间点各个实体的当前状态,为了通过T个历史时间点对应的实体状态,推测样本实体在预定业务属性上的属性状态(例如收入份额)或属性类别(例如性别属性类别为男等),需要挖掘该用户在预定业务属性上具有相应属性状态或属性类别之前的状态信息。因此,T个历史关系网络该样本实体在属性标签产生之前的T历史个时间点建立。而由于距离样本实体在属性标签产生时刻越近的关系网络,越能体现样本实体可能的属性状态或属性类别,因此,在一些实施例中,第T个历史关系网络对应的历史时间点距离样本实体的属性标签产生时刻不超过预定时间阈值。
在一个实施例中,可以先确定样本实体,以及其在预定业务属性的属性标签,然后按照以预定时间间隔向前类推的方式,建立T个历史关系网络。例如样本实体的属性标签对应的时刻为2020年6月1日,预定时间阈值为1周,预定时间间隔为1个月,则在2020年6月1日向前一周的时间段内,选择一个时间点作为第T个历史时间点,如选择2020年5月31日,则以预定时间间隔向前类推的方式继续选择T-1个历史时间点,如选择2020年4月30日、2020年3月31日……共T-1个时间点,和第T个时间点一起共T个时间点,分别建立相应的关系网络。其中,建立关系网络的方式如前文,在此不再赘述。
在可选的实施例中,还可以预先按照时间间隔建立各个时间点的关系网络。例如按照1个月的时间间隔,以每个月15日为时间点建立相应的关系网络。在确定样本用户的属性标签对应的时刻后,按照相应历史时间点距离该时刻由近到远的顺序,选择T个相应的历史关系网络。
进一步地,针对这T个历史关系网络中的每个关系网络,均可以按照前文描述的方式,从中确定出一个表达向量,共T个表达向量。可以理解,由于T个历史关系网络按照时间顺序排列,这T个表达向量也具有时序特征。在当前样本实体有多个的情况下,这多个样本实体对应的属性标签可以是不同时刻的,那么每一个样本实体都可以对应有各自的属性标签时刻。同样,每一个样本实体都可以对应有各自的T个历史关系网络,以及T个表达向量。
值得说明的是,对于这T个历史关系网络,可以通过一个图神经网络对其进行处理,也可以通过T个图神经网络分别对其进行处理,在此不作限定。图神经网络对关系网络的处理过程已在前文描述,在此不再赘述。
接着,在步骤303,将T个表达向量按照相应历史关系网络的时间顺序,依次输入选定的时序神经网络,得到时序神经网络针对样本实体的样本输出结果。
可以理解,时序神经网络可以处理具有时序特征的数据,这里,针对一个具体的训练样本,处理的数据为T个按照时序排列的表达向量。时序神经网络可以包括一个或多个神经元,该一个或多个神经元在T个不同的时刻分别接收T个表达向量,经过前文描述的处理方式,可以得到一个输出结果。这里的输出结果与上述样本实体对应,因此可以称为样本输出结果。该样本输出结果可以是上述一个或多个神经元在对第T个表达向量处理完成后的输出结果,也可以是对T次输出结果的综合得到的处理结果,在此不作限定。该输出结果可以是一个向量,一个分数,等等。这里的样本输出结果,可以指示时序神经网络针对样本实体在预定业务属性上的属性状态或属性类别的预测结果。可以理解的是,在一批训练样本包括多个样本实体的情况下,对各个样本实体都可以得到在预定业务属性上的属性状态或属性类别的预测结果。
然后,通过步骤304,以输出样本结果与上述属性标签相一致为目标,调整模型参数,以使训练时序神经网络。可以理解,根据输出样本结果与属性标签的形式,两者的一致性可以通过向量描述,也可以通过数值描述。
例如,在样本输出结果为向量的情况下,可以通过相应属性标签对应的向量与样本输出结果的向量之间的相似性(如用向量的点积表示的相似度),来描述样本输出结果与样本属性标签的一致性。
再例如,在样本输出结果为分数的情况下,可以按照样本属性标签对应的分数值与样本输出结果的分数的绝对差值来描述两者的相似性。通常,该绝对差值越小,两者越相似。
可以理解,如果样本输出结果与属性标签不一致,那么可以将它们之间的差距定义为损失,该损失可以通过模型参数描述,通过向损失减小的方向调整模型参数,可以训练时序神经网络。
在一个可选的实施例中,样本输出结果为一个分数,对模型参数的依次调整通过包括多个样本实体的一批训练样本进行,则可以通过交叉熵的方式确定损失。例如,以二分类结果(可以对应标准数值为0或1)为例,可以通过以下方式确定损失L:
其中,V表示当前批次的训练样本分别对应的样本实体集合,表示节点u(或样本实体u)对应的输出分数, 表示节点u(如样本用户u)对应的属性标签。可以理解,二分类结果由0或1表示的情况下,或1-之一为0,以为0为例,则为0,1-为1。于是,越接近1,log(1-)越接近0,损失越小。越接近0,log(1-)越接近负无穷,损失越大,损失与该项负相关。同理可以推测为1的情况,在此不再赘述。
在可能的设计中,步骤302中针对T个历史关系网络中的各个历史关系网络,分别执行的邻居节点的节点向量融合操作,所涉及的参数也需要调整,则可以将节点融合操作与时序神经网络拼接为一个整体机器学习模型,根据上述损失调整模型参数。
另一方面,图4示出了根据本说明书实施例的确定实体业务属性的流程。该流程用于针对待预测实体,利用基于时间顺序的多个关系网络,确定其在预定业务属性上的属性状态或属性类别。该流程的执行主体可以是具有一定计算能力的计算机、设备、服务器。可以理解,待预测实体的预定业务属性具有时间特性(或称为时效性),即该预定业务属性的属性状态或属性类别是针对某个时间点或时间段而言的。例如,在以绩效考核占主导的薪酬体系中,用户的收入业务属性可能仅针对某个月,在金融信贷领域,用户的借贷逾期风险性业务属性也可能仅针对当前月,甚至具体到最迟还款日。
如图4所示,针对待预测实体,确定其业务属性的流程可以包括:步骤401,获取按照时间顺序依次排列的多个历史关系网络,其中,多个历史关系网络分别对应具有预定时间间隔的各个历史时间点,单个历史关系网络包括多个节点,各个节点分别对应包括待预测实体在内的多个实体,单个历史关系网络用于描述与相应历史时间点对应的、各个实体之间的关联关系,具有关联关系的实体之间通过连接边连接,各个节点对应有基于相应实体的描述信息提取的业务特征构成的节点向量;步骤402,针对各个历史关系网络,分别利用邻居节点的向量融合,确定待预测实体的各个表达向量;步骤403,利用预先训练的时序神经网络处理各个表达向量,得到输出结果;步骤404,根据输出结果确定待预测实体在预定业务属性上的属性状态或属性类别。
首先,在步骤401,获取按照时间顺序依次排列的多个历史关系网络。其中,单个历史关系网络包括多个节点,各个节点分别对应多个实体,这多个实体中包括待预测实体。这些实体可以与待预测试题属于相同类别,也可以是相关联类别。例如待预测实体是用户的情况下,单个关系网络中的多个实体可以包括多个用户,还可以包括多个与用户相关联的其他实体,例如用户设备上安装的APP、用户设备接入网络的IP地址等。单个历史关系网络可以用于描述在相应历史时间点的、各个实体之间的关联关系,具有关联关系的实体之间通过连接边连接,各个节点对应有基于相应描述信息提取的业务特征构成的节点向量。关系网络的构建过程已在前文描述,在此不再赘述。
值得说明的是,由于待预测实体的预定业务属性具有时间特性,因此,这里的多个历史关系网络可以与待预测的业务属性的时间特性相关联。也就是说,这里的多个历史关系网络可以是距离当前时间较近的多个历史时间点分别对应的各个关系网络。可选地,这些历史时间点可以按照预定时间间隔选择,并且为了确保实效性,最后一个历史时间点距离当前时间可以不超过预定时间阈值。
值得说明的是,这里的多个历史关系网络可以预先按照预定时间间隔建立,并且在执行图4示出的流程时,按照时间特性从中选择,或者在执行图4示出的流程时,当前时间选取多个历史时间点建立。这里的历史关系网络数量可以是预先确定的,例如为图3所示流程中的T或其他数值。多个历史关系网络的确定过程与步骤302中描述的类似,在此不再赘述。
接着,在步骤402,针对各个历史关系网络,分别利用邻居节点的向量融合,确定待预测实体的各个表达向量。其中,邻居节点的向量融合方式如前文描述,在此不再赘述。
然后,通过步骤403,利用预先训练的时序神经网络处理各个表达向量,得到输出结果。在该步骤403中,可以利用图3所示的流程调整模型参数后的时序神经网络,按照各个历史关系网络分别对应的各个历史时间点的时间顺序,依次处理各个表达向量,从而得到时序神经网络的输出结果。该输出结果可以是时序神经网络的神经元在处理最后一个表达向量后的输出,也可以是对处理各个表达向量后的输出的融合结果,在此不作限定。
另外,时序神经网络的输出结果可以是向量,也可以是分数。例如:在一个实施例中,在二分类任务下,输出的分数表示分类到某个类别的概率;在另一个实施例中,各个类别通过向量表示,输出向量与各个类别向量的相似性描述所倾向的类别;在又一个实施例中,输出结果可以是一个向量,通过全连接网络处理,可以将该向量映射到一个具体的分类类别;等等。
进一步地,在步骤404中,根据输出结果确定待预测实体在预定业务属性上的属性状态或属性类别。可以理解,根据步骤403的描述可知,时序神经网络的输出结果可以是向量或分数。与输出结果相应地,根据输出结果确定待预测实体的预定业务属性的方式可以为:
在一个实施例中,在二分类任务下,输出结果为分数,表示分类到某个类别的概率,则可以按照预定的分数阈值,确定待预测实体在预定业务属性预定时段的属性状态或属性类别;
在另一个实施例中,各个类别通过向量表示,输出向量与各个类别向量的相似性描述所倾向的类别,此时,可以将与输出向量的相似度最高的类别向量,对应的属性状态或属性类别确定为待预测实体在预定业务属性上的属性状态或属性类别;
在又一个实施例中,输出结果可以是一个向量,可以全连接网络处理,将该向量映射到一个具体的分类类别;
在其他实施例中,还可以通过其他方式根据输出结果确定待预测实体在预定业务属性预定时段的属性状态或属性类别,例如,预定业务属性为收入份额,输出结果为一个分数,不同的分值可以对应不同的收入份额(如分数5对应收入为5千元等),等等。
回顾以上过程,本说明书实施例提供的方法,一方面,利用时序神经网络处理待预测实体在不同时间点的表达向量,考虑实体状态的时序特征,另一方面,单个时间点的表达向量基于按照相应历史时间点的实体状态确定的关系网络,进行邻居节点的节点向量聚合,充分考虑与待预测实体相关联的其他实体对实体状态的影响,从而对待预测实体产生具有更好的表达能力的表达向量。通过这种具有时序特征,并且融合有邻居节点特征的表达向量,可以充分挖掘环境变化对于实体属性的影响,从而可以提高对实体业务属性预测的准确度。
根据另一方面的实施例,还提供一种确定实体业务属性的装置。该装置可以用于针对待预测实体,利用基于时间顺序的多个历史关系网络,确定其在预定业务属性上的属性状态或属性类别。
如图5所述,确定实体业务属性的装置500可以包括:
确定单元51,配置为获取按照时间顺序依次排列的多个历史关系网络,其中,多个历史关系网络分别对应具有预定时间间隔的各个历史时间点,单个关系网络包括多个节点,各个节点分别对应包括待预测实体在内的多个实体,单个历史关系网络用于描述与相应历史时间点对应的、各个实体之间的关联关系,具有关联关系的实体之间通过连接边连接,各个节点对应有基于相应实体的描述信息提取的业务特征构成的节点向量;
融合单元52,配置为针对各个关系网络,分别利用邻居节点的向量融合,确定待预测实体的各个表达向量;
时序数据处理单元53,配置为利用预先训练的时序神经网络处理各个表达向量,得到输出结果;
预测单元54,配置为根据输出结果确定待预测实体在预定业务属性上的属性状态或属性类别。
根据一个实施例,单个节点对应节点向量中的业务特征通过相应关系网络对应的历史时间点的描述信息提取,或者通过相应关系网络对应的历史时间点与前一个历史时间点之间的时间间隔内的描述信息提取。
根据一个实施例,在待预测实体是用户的情况下,单个历史关系网络中的实体包括多个用户,还包括以下中的至少一项:用户设备接入网络的IP标识或WIFI标识、用户设备上安装的应用。
根据一个实施例,多个历史关系网络包括第一关系网络,待预测实体在第一关系网络中对应第一节点,融合单元52进一步配置为:
通过多层图神经网络处理关系网络,多层图神经网络经当前层处理后对第一节点的节点向量基于以下结果进行更新:各个邻居节点的经上一层更新的节点向量与辅助权重矩阵的乘积的加权结果;
将最后一层图神经网络更新后的第一节点的节点向量作为第一节点对应于第一关系网络的第一表达向量。
根据一个进一步的实施例,第一节点的邻居节点包括第二节点,在当前层,融合单元52还配置为将以下结果确定为第二节点相对于第一节点的加权权重:
第一节点经上一层更新的节点向量与第二节点经上一层更新的节点向量的相似度,相对于第一节点经上一层更新的节点向量与各个邻居节点经上一层更新的节点向量的相似度的总和,进行指数形式的归一化结果。
根据一个更进一步的实施例,融合单元52配置为通过以下方式确定第一节点经上一层更新的节点向量与第二节点经上一层更新的节点向量的相似度:
将第一节点经上一层更新的节点向量与第二节点经上一层更新的节点向量进行拼接形成拼接向量;
利用空间辅助权重矩阵对拼接向量进行降维处理,得到预定维度的中间向量;
用具有预定维度的辅助向量处理中间向量,得到第一节点经上一层更新的节点向量与第二节点经上一层更新的节点向量的相似度。
根据一个实施例,预测单元54进一步配置为:
利用全连接神经网络处理输出向量;
利用得到的处理结果确定待预测实体在预定业务属性上的属性状态或属性类别。
根据一个实施例,在输出结果为输出向量的情况下,待预测实体在预定业务属性上的属性状态或属性类别还可以分别对应有各个描述向量,预测单元54进一步配置为:
确定输出向量与各个描述向量之间分别对应的各个相似度;
将相似度最大的描述向量对应的属性状态或属性类别确定为待预测实体在预定业务属性预定时段的属性状态或属性类别。
值得说明的是,图5所示的装置500是与图4示出的方法实施例相对应的装置实施例,图4示出的方法实施例中的相应描述同样适用于装置500,在此不再赘述。
根据另一方面的实施例,还提供一种计算机可读存储介质,其上存储有计算机程序,当所述计算机程序在计算机中执行时,令计算机执行结合图3或图4所描述的方法。
根据再一方面的实施例,还提供一种计算设备,包括存储器和处理器,所述存储器中存储有可执行代码,所述处理器执行所述可执行代码时,实现结合图3或图4所述的方法。
本领域技术人员应该可以意识到,在上述一个或多个示例中,本说明书实施例所描述的功能可以用硬件、软件、固件或它们的任意组合来实现。当使用软件实现时,可以将这些功能存储在计算机可读介质中或者作为计算机可读介质上的一个或多个指令或代码进行传输。
以上所述的具体实施方式,对本说明书的技术构思的目的、技术方案和有益效果进行了进一步详细说明,所应理解的是,以上所述仅为本说明书的技术构思的具体实施方式而已,并不用于限定本说明书的技术构思的保护范围,凡在本说明书实施例的技术方案的基础之上,所做的任何修改、等同替换、改进等,均应包括在本说明书的技术构思的保护范围之内。
Claims (19)
1.一种确定实体业务属性的方法,用于针对待预测实体,确定其在预定业务属性上的属性状态或属性类别,所述方法包括:
获取按照时间顺序依次排列的多个历史关系网络,其中,所述多个历史关系网络分别对应具有预定时间间隔的各个历史时间点,单个历史关系网络包括多个节点,各个节点分别对应包括所述待预测实体在内的多个实体,单个历史关系网络用于描述与相应历史时间点对应的、各个实体之间的关联关系,具有关联关系的实体之间通过连接边连接,各个节点对应有基于相应实体的描述信息提取的业务特征构成的节点向量;
针对各个历史关系网络,分别利用邻居节点的向量融合,确定所述待预测实体的各个表达向量;
利用预先训练的时序神经网络处理各个表达向量,得到输出结果;
根据所述输出结果确定所述待预测实体在预定业务属性上的属性状态或属性类别。
2.根据权利要求1所述的方法,所述时序神经网络通过以下方式训练:
获取当前训练样本,所述当前训练样本对应有样本实体以及所述样本实体关于预定业务属性的属性标签;
针对按照时间顺序依次排列的T个历史关系网络中的各个历史关系网络,分别执行邻居节点的节点向量融合操作,以确定所述样本实体在T个关系网络下分别对应的T个表达向量,所述T个历史关系网络按照具有所述预定时间间隔的T个时间点建立;
将所述T个表达向量按照相应历史关系网络的时间顺序,依次输入到选定的时序神经网络,得到时序神经网络针对所述样本实体的样本输出结果;
以所述样本输出结果与所述属性标签相一致为目标,调整模型参数,以训练所述时序神经网络。
3.根据权利要求1所述的方法,其中,单个节点对应的节点向量中的业务特征通过相应关系网络对应的历史时间点的描述信息提取,或者通过相应关系网络对应的历史时间点与前一个历史时间点之间的时间间隔内的描述信息提取。
4.根据权利要求1所述的方法,其中,在所述待预测实体是用户的情况下,单个历史关系网络中的实体包括多个用户,还包括以下中的至少一项:用户设备接入网络的IP标识或WIFI标识、用户设备上安装的应用。
5.根据权利要求1所述的方法,其中,所述多个历史关系网络包括第一关系网络,所述待预测实体在所述第一关系网络中对应第一节点,所述针对各个关系网络,分别利用邻居节点的向量融合,确定所述待预测实体的各个表达向量包括:
通过多层图神经网络处理所述关系网络,所述多层图神经网络经当前层处理后对所述第一节点的节点向量基于以下结果进行更新:各个邻居节点的经上一层更新的节点向量与辅助权重矩阵的乘积的加权结果;
将最后一层图神经网络更新后的所述第一节点的节点向量作为所述第一节点对应于所述第一关系网络的第一表达向量。
6.根据权利要求5所述的方法,其中,所述第一节点的邻居节点包括第二节点,在当前层,所述第二节点相对于所述第一节点的加权权重为:所述第一节点经上一层更新的节点向量与所述第二节点经上一层更新的节点向量的相似度,相对于所述第一节点经上一层更新的节点向量与各个邻居节点经上一层更新的节点向量的相似度的总和,进行指数形式的归一化结果。
7.根据权利要求6所述的方法,其中,所述第一节点经上一层更新的节点向量与所述第二节点经上一层更新的节点向量的相似度通过以下方式确定:
将所述第一节点经上一层更新的节点向量与所述第二节点经上一层更新的节点向量进行拼接形成拼接向量;
利用空间辅助权重矩阵对所述拼接向量进行降维处理,得到预定维度的中间向量;
用具有所述预定维度的辅助向量处理所述中间向量,得到所述第一节点经上一层更新的节点向量与所述第二节点经上一层更新的节点向量的相似度。
8.根据权利要求1所述的方法,其中,在所述输出结果为输出向量的情况下,所述根据所述输出结果确定所述待预测实体在预定业务属性上的属性状态或属性类别包括:
利用全连接神经网络处理所述输出向量;
利用得到的处理结果确定所述待预测实体在预定业务属性上的属性状态或属性类别。
9.根据权利要求1所述的方法,其中,在所述输出结果为输出向量的情况下,所述待预测实体在预定业务属性上的属性状态或属性类别还可以分别对应有各个描述向量,所述根据所述输出结果确定所述待预测实体在预定业务属性上的属性状态或属性类别包括:
确定所述输出向量与各个描述向量之间分别对应的各个相似度;
将相似度最大的描述向量对应的属性状态或属性类别确定为所述待预测实体在预定业务属性预定时段的属性状态或属性类别。
10.一种确定实体业务属性的装置,用于针对待预测实体,利用基于时间顺序的多个历史关系网络,确定其在预定业务属性上的属性状态或属性类别,所述装置包括:
确定单元,配置为获取按照时间顺序依次排列的多个历史关系网络,其中,所述多个历史关系网络分别对应具有预定时间间隔的各个历史时间点,单个关系网络包括多个节点,各个节点分别对应包括所述待预测实体在内的多个实体,单个历史关系网络用于描述与相应历史时间点对应的、各个实体之间的关联关系,具有关联关系的实体之间通过连接边连接,各个节点对应有基于相应实体的描述信息提取的业务特征构成的节点向量;
融合单元,配置为针对各个关系网络,分别利用邻居节点的向量融合,确定所述待预测实体的各个表达向量;
时序数据处理单元,配置为利用预先训练的时序神经网络处理各个表达向量,得到输出结果;
预测单元,配置为根据所述输出结果确定所述待预测实体在预定业务属性上的属性状态或属性类别。
11.根据权利要求10所述的装置,其中,单个节点对应节点向量中的业务特征通过相应关系网络对应的历史时间点的描述信息提取,或者通过相应关系网络对应的历史时间点与前一个历史时间点之间的时间间隔内的描述信息提取。
12.根据权利要求10所述的装置,其中,在所述待预测实体是用户的情况下,单个历史关系网络中的实体包括多个用户,还包括以下中的至少一项:用户设备接入网络的IP标识或WIFI标识、用户设备上安装的应用。
13.根据权利要求10所述的装置,其中,所述多个历史关系网络包括第一关系网络,所述待预测实体在所述第一关系网络中对应第一节点,所述融合单元进一步配置为:
通过多层图神经网络处理所述关系网络,所述多层图神经网络经当前层处理后对所述第一节点的节点向量基于以下结果进行更新:各个邻居节点的经上一层更新的节点向量与辅助权重矩阵的乘积的加权结果;
将最后一层图神经网络更新后的所述第一节点的节点向量作为所述第一节点对应于所述第一关系网络的第一表达向量。
14.根据权利要求13所述的装置,其中,所述第一节点的邻居节点包括第二节点,在当前层,所述融合单元还配置为将以下结果确定为所述第二节点相对于所述第一节点的加权权重:
所述第一节点经上一层更新的节点向量与所述第二节点经上一层更新的节点向量的相似度,相对于所述第一节点经上一层更新的节点向量与各个邻居节点经上一层更新的节点向量的相似度的总和,进行指数形式的归一化结果。
15.根据权利要求14所述的装置,其中,所述融合单元配置为通过以下方式确定所述第一节点经上一层更新的节点向量与所述第二节点经上一层更新的节点向量的相似度:
将所述第一节点经上一层更新的节点向量与所述第二节点经上一层更新的节点向量进行拼接形成拼接向量;
利用空间辅助权重矩阵对所述拼接向量进行降维处理,得到预定维度的中间向量;
用具有所述预定维度的辅助向量处理所述中间向量,得到所述第一节点经上一层更新的节点向量与所述第二节点经上一层更新的节点向量的相似度。
16.根据权利要求10所述的装置,其中,所述预测单元进一步配置为:
利用全连接神经网络处理所述输出向量;
利用得到的处理结果确定所述待预测实体在预定业务属性上的属性状态或属性类别。
17.根据权利要求10所述的装置,其中,在所述输出结果为输出向量的情况下,所述待预测实体在预定业务属性上的属性状态或属性类别还可以分别对应有各个描述向量,所述预测单元进一步配置为:
确定所述输出向量与各个描述向量之间分别对应的各个相似度;
将相似度最大的描述向量对应的属性状态或属性类别确定为所述待预测实体在预定业务属性预定时段的属性状态或属性类别。
18.一种计算机可读存储介质,其上存储有计算机程序,当所述计算机程序在计算机中执行时,令计算机执行权利要求1-9中任一项的所述的方法。
19.一种计算设备,包括存储器和处理器,其特征在于,所述存储器中存储有可执行代码,所述处理器执行所述可执行代码时,实现权利要求1-9中任一项所述的方法。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010724053.3A CN111737546B (zh) | 2020-07-24 | 2020-07-24 | 确定实体业务属性的方法及装置 |
CN202011429718.4A CN112528110A (zh) | 2020-07-24 | 2020-07-24 | 确定实体业务属性的方法及装置 |
US17/358,039 US11227217B1 (en) | 2020-07-24 | 2021-06-25 | Entity transaction attribute determination method and apparatus |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010724053.3A CN111737546B (zh) | 2020-07-24 | 2020-07-24 | 确定实体业务属性的方法及装置 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011429718.4A Division CN112528110A (zh) | 2020-07-24 | 2020-07-24 | 确定实体业务属性的方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111737546A true CN111737546A (zh) | 2020-10-02 |
CN111737546B CN111737546B (zh) | 2020-12-01 |
Family
ID=72657594
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011429718.4A Pending CN112528110A (zh) | 2020-07-24 | 2020-07-24 | 确定实体业务属性的方法及装置 |
CN202010724053.3A Active CN111737546B (zh) | 2020-07-24 | 2020-07-24 | 确定实体业务属性的方法及装置 |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011429718.4A Pending CN112528110A (zh) | 2020-07-24 | 2020-07-24 | 确定实体业务属性的方法及装置 |
Country Status (2)
Country | Link |
---|---|
US (1) | US11227217B1 (zh) |
CN (2) | CN112528110A (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113095870A (zh) * | 2021-03-16 | 2021-07-09 | 支付宝(杭州)信息技术有限公司 | 一种预测方法、装置、计算机设备以及存储介质 |
CN113645107A (zh) * | 2021-07-27 | 2021-11-12 | 广州市威士丹利智能科技有限公司 | 一种基于智能家居的网关端冲突解决方法及*** |
CN114470790A (zh) * | 2022-02-09 | 2022-05-13 | 腾讯科技(深圳)有限公司 | 虚拟资源处理方法、装置、设备、计算机程序及存储介质 |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114648070B (zh) * | 2022-03-24 | 2023-06-13 | 支付宝(杭州)信息技术有限公司 | 关键行为抽取网络、关键属性抽取网络的训练方法及装置 |
CN114757723B (zh) * | 2022-06-13 | 2022-09-06 | 山东国赢大数据产业有限公司 | 用于资源要素交易平台的数据分析模型构建***及方法 |
CN115718870A (zh) * | 2022-09-08 | 2023-02-28 | 中国电信股份有限公司 | 检测方法、装置、设备及存储介质 |
CN116664292B (zh) * | 2023-04-13 | 2024-05-28 | 连连银通电子支付有限公司 | 一种交易异常预测模型的训练方法和交易异常预测方法 |
CN117474637B (zh) * | 2023-12-28 | 2024-04-16 | 中国海洋大学 | 基于时序图卷积网络的个性化商品推荐方法及*** |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20110131166A1 (en) * | 2009-12-01 | 2011-06-02 | Hulu Llc | Fuzzy users' attributes prediction based on users' behaviors |
CN104317822A (zh) * | 2014-09-29 | 2015-01-28 | 新浪网技术(中国)有限公司 | 网络用户的人口属性预测方法和装置 |
CN104991899A (zh) * | 2015-06-02 | 2015-10-21 | 广州酷狗计算机科技有限公司 | 用户属性的识别方法及装置 |
CN105069041A (zh) * | 2015-07-23 | 2015-11-18 | 合一信息技术(北京)有限公司 | 基于视频用户性别分类的广告投放方法 |
CN110009384A (zh) * | 2019-01-07 | 2019-07-12 | 阿里巴巴集团控股有限公司 | 预测业务指标的方法及装置 |
CN111369258A (zh) * | 2020-03-10 | 2020-07-03 | 支付宝(杭州)信息技术有限公司 | 实体对象类型的预测方法、装置及设备 |
Family Cites Families (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20030220860A1 (en) | 2002-05-24 | 2003-11-27 | Hewlett-Packard Development Company,L.P. | Knowledge discovery through an analytic learning cycle |
US7567914B2 (en) | 2003-04-30 | 2009-07-28 | Genworth Financial, Inc. | System and process for dominance classification for insurance underwriting suitable for use by an automated system |
US7383239B2 (en) | 2003-04-30 | 2008-06-03 | Genworth Financial, Inc. | System and process for a fusion classification for insurance underwriting suitable for use by an automated system |
US7529703B2 (en) | 2003-11-18 | 2009-05-05 | Citigroup Global Markets, Inc. | Method and system for artificial neural networks to predict price movements in the financial markets |
US9665822B2 (en) | 2010-06-30 | 2017-05-30 | International Business Machines Corporation | Canonical spiking neuron network for spatiotemporal associative memory |
US20150142713A1 (en) | 2013-11-04 | 2015-05-21 | Global Analytics, Inc. | Real-Time Adaptive Decision System And Method Using Predictive Modeling |
CN105849747B (zh) | 2013-11-30 | 2018-08-17 | 北京市商汤科技开发有限公司 | 用于人脸图像识别的方法和*** |
US20150332295A1 (en) | 2014-02-18 | 2015-11-19 | Mastercard International Incorporated | Method of Forecasting Resource Demand |
US20150332414A1 (en) | 2014-05-13 | 2015-11-19 | Mastercard International Incorporated | System and method for predicting items purchased based on transaction data |
US20150339769A1 (en) | 2014-05-22 | 2015-11-26 | C1 Bank | System and method for enforcing data integrity and loan approval automation by means of data aggregation and analysis |
US20160055427A1 (en) | 2014-10-15 | 2016-02-25 | Brighterion, Inc. | Method for providing data science, artificial intelligence and machine learning as-a-service |
US20160071017A1 (en) | 2014-10-15 | 2016-03-10 | Brighterion, Inc. | Method of operating artificial intelligence machines to improve predictive model training and performance |
US20160063502A1 (en) | 2014-10-15 | 2016-03-03 | Brighterion, Inc. | Method for improving operating profits with better automated decision making with artificial intelligence |
US20160086185A1 (en) | 2014-10-15 | 2016-03-24 | Brighterion, Inc. | Method of alerting all financial channels about risk in real-time |
JP6074553B1 (ja) | 2015-04-21 | 2017-02-01 | パナソニックIpマネジメント株式会社 | 情報処理システム、情報処理方法、およびプログラム |
US20170337481A1 (en) * | 2016-05-17 | 2017-11-23 | Xerox Corporation | Complex embeddings for simple link prediction |
US11042796B2 (en) | 2016-11-03 | 2021-06-22 | Salesforce.Com, Inc. | Training a joint many-task neural network model using successive regularization |
US20190311428A1 (en) | 2018-04-07 | 2019-10-10 | Brighterion, Inc. | Credit risk and default prediction by smart agents |
CN109902186B (zh) * | 2019-03-12 | 2021-05-11 | 北京百度网讯科技有限公司 | 用于生成神经网络的方法和装置 |
US11551044B2 (en) * | 2019-07-26 | 2023-01-10 | Optum Services (Ireland) Limited | Classification in hierarchical prediction domains |
-
2020
- 2020-07-24 CN CN202011429718.4A patent/CN112528110A/zh active Pending
- 2020-07-24 CN CN202010724053.3A patent/CN111737546B/zh active Active
-
2021
- 2021-06-25 US US17/358,039 patent/US11227217B1/en active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20110131166A1 (en) * | 2009-12-01 | 2011-06-02 | Hulu Llc | Fuzzy users' attributes prediction based on users' behaviors |
CN104317822A (zh) * | 2014-09-29 | 2015-01-28 | 新浪网技术(中国)有限公司 | 网络用户的人口属性预测方法和装置 |
CN104991899A (zh) * | 2015-06-02 | 2015-10-21 | 广州酷狗计算机科技有限公司 | 用户属性的识别方法及装置 |
CN105069041A (zh) * | 2015-07-23 | 2015-11-18 | 合一信息技术(北京)有限公司 | 基于视频用户性别分类的广告投放方法 |
CN110009384A (zh) * | 2019-01-07 | 2019-07-12 | 阿里巴巴集团控股有限公司 | 预测业务指标的方法及装置 |
CN111369258A (zh) * | 2020-03-10 | 2020-07-03 | 支付宝(杭州)信息技术有限公司 | 实体对象类型的预测方法、装置及设备 |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113095870A (zh) * | 2021-03-16 | 2021-07-09 | 支付宝(杭州)信息技术有限公司 | 一种预测方法、装置、计算机设备以及存储介质 |
CN113645107A (zh) * | 2021-07-27 | 2021-11-12 | 广州市威士丹利智能科技有限公司 | 一种基于智能家居的网关端冲突解决方法及*** |
CN113645107B (zh) * | 2021-07-27 | 2022-12-02 | 广州市威士丹利智能科技有限公司 | 一种基于智能家居的网关端冲突解决方法及*** |
CN114470790A (zh) * | 2022-02-09 | 2022-05-13 | 腾讯科技(深圳)有限公司 | 虚拟资源处理方法、装置、设备、计算机程序及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
US20220027730A1 (en) | 2022-01-27 |
CN111737546B (zh) | 2020-12-01 |
US11227217B1 (en) | 2022-01-18 |
CN112528110A (zh) | 2021-03-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111737546B (zh) | 确定实体业务属性的方法及装置 | |
Lalwani et al. | Customer churn prediction system: a machine learning approach | |
JP6913241B2 (ja) | 信用力があると判定された消費者にローンを発行するシステムおよび方法 | |
CN108648049B (zh) | 一种基于用户行为区别建模的序列推荐方法 | |
US11170395B2 (en) | Digital banking platform and architecture | |
WO2021027260A1 (zh) | 处理交互序列数据的方法及装置 | |
US10970350B2 (en) | Method and apparatus for processing user interaction sequence data | |
Makhtar et al. | Churn classification model for local telecommunication company based on rough set theory | |
Saitulasi et al. | Deep Belief Network and Sentimental analysis for extracting on multi-variable Features to predict Stock market Performance and accuracy | |
Adedoyin et al. | Predicting fraud in mobile money transfer using case-based reasoning | |
CN115545886A (zh) | 逾期风险识别方法、装置、设备及存储介质 | |
Sánchez et al. | Improving debt collection via contact center information: A predictive analytics framework | |
CN113159314A (zh) | 业务模型的训练方法、装置及*** | |
CN117291722A (zh) | 对象管理方法、相关设备及计算机可读介质 | |
US20240161117A1 (en) | Trigger-Based Electronic Fund Transfers | |
CN110717537A (zh) | 训练用户分类模型、执行用户分类预测的方法及装置 | |
CN115983982A (zh) | 信贷风险识别方法、装置、设备及计算机可读存储介质 | |
Soleiman-garmabaki et al. | Ensemble classification using balanced data to predict customer churn: a case study on the telecom industry | |
Zimal et al. | Customer churn prediction using machine learning | |
CN110727705A (zh) | 信息推荐方法、装置、电子设备及计算机可读存储介质 | |
US20240185369A1 (en) | Biasing machine learning model outputs | |
Alves et al. | Telco customer top‐ups: Stream‐based multi‐target regression | |
CN117473457B (zh) | 基于数字化业务的大数据挖掘方法及*** | |
Raman et al. | Deep Learning Solution to Various Issues of Finance, A Productive Research Approach | |
Anand et al. | Loan Approval Prediction Using Machine Learning |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
REG | Reference to a national code |
Ref country code: HK Ref legal event code: DE Ref document number: 40038756 Country of ref document: HK |