CN113095592A - 基于gnn执行预测的方法和***以及训练方法和*** - Google Patents

基于gnn执行预测的方法和***以及训练方法和*** Download PDF

Info

Publication number
CN113095592A
CN113095592A CN202110483604.6A CN202110483604A CN113095592A CN 113095592 A CN113095592 A CN 113095592A CN 202110483604 A CN202110483604 A CN 202110483604A CN 113095592 A CN113095592 A CN 113095592A
Authority
CN
China
Prior art keywords
graph
target node
samples
training
table data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110483604.6A
Other languages
English (en)
Inventor
赵欢
郭夏玮
全雨晗
姚权铭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
4Paradigm Beijing Technology Co Ltd
Original Assignee
4Paradigm Beijing Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 4Paradigm Beijing Technology Co Ltd filed Critical 4Paradigm Beijing Technology Co Ltd
Priority to CN202110483604.6A priority Critical patent/CN113095592A/zh
Publication of CN113095592A publication Critical patent/CN113095592A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q40/00—Finance; Insurance; Tax strategies; Processing of corporate or income taxes
    • G06Q40/03—Credit; Loans; Processing thereof

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Economics (AREA)
  • Strategic Management (AREA)
  • Mathematical Physics (AREA)
  • Accounting & Taxation (AREA)
  • General Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Development Economics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Resources & Organizations (AREA)
  • Computing Systems (AREA)
  • Finance (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Game Theory and Decision Science (AREA)
  • Quality & Reliability (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Tourism & Hospitality (AREA)
  • Technology Law (AREA)
  • Operations Research (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

提供了一种基于GNN执行预测的方法和***以及训练方法和***，其中，基于GNN执行预测的方法包括：获取包含待预测样本的表数据；基于表数据创建图，其中，图中的每个节点表示表数据中的一个样本，并且图中的边表示两个样本之间的相关性；基于创建的图利用GNN学习图中与所述待预测样本对应的目标节点的特征表示；基于学习的目标节点的特征表示执行预测来获得关于目标节点的预测结果。

Description

基于GNN执行预测的方法和***以及训练方法和***
技术领域
本申请总体说来涉及人工智能领域，更具体地，涉及一种基于图神经网络GNN执行预测的方法和***以及一种训练基于图神经网络GNN的机器学习模型的方法和***。
背景技术
表数据在工业界有广泛的应用，例如商品销售、网站浏览、交易流水、金融贷款等数据都可以以表数据的形式存储。对表数据进行学习，预测在已有数据中未知的值，在现实生活中有广泛的应用，例如销量预测、商品推荐、欺诈交易检测和贷款风险预测等。现有的基于表数据的有监督学习的模型普遍考虑基于已有的特征来构建新的有效的交叉特征，从而提高模型的性能，然而，仅考虑交叉特征对模型性能和预测效果的提升仍然欠佳。鉴于此，需要能够在表数据的学习中提高模型性能和预测效果的技术。
发明内容
本申请提供一种基于图神经网络GNN执行预测的方法和***、一种训练基于图神经网络GNN的机器学习模型的方法和***、一种存储指令的计算机可读存储介质以及一种包括至少一个计算装置和存储指令的至少一个存储装置的***，以至少解决相关技术中的上述问题。本申请的技术方案如下：
根据本申请的第一方面，提供了一种基于图神经网络GNN执行预测的方法，所述方法包括：获取包含待预测样本的表数据；基于表数据创建图，其中，图中的每个节点表示表数据中的一个样本，并且图中的边表示两个样本之间的相关性；基于创建的图利用GNN学习图中与所述待预测样本对应的目标节点的特征表示；基于学习的目标节点的特征表示执行预测来获得关于目标节点的预测结果。
可选地，所述图是能够反映表数据中样本之间在多个方面的相关性的多重图，其中，所述基于创建的图利用GNN学习图中与所述待预测样本对应的目标节点的特征表示，包括：通过将多重图中与目标节点有关的邻居节点和相关性分别抽取出来，获得与目标节点有关的多个子图，其中，每个子图反映样本之间在一方面的相关性；基于每个子图利用与每个子图对应的GNN分别学习目标节点的子特征表示；将目标节点的子特征表示进行聚合来获得目标节点的特征表示。
可选地，所述基于学习的目标节点的特征表示执行预测来获得关于目标节点的预测结果，包括：仅基于利用GNN学习的目标节点的特征表示执行预测来获得关于目标节点的预测结果；或者，将利用GNN学习的目标节点的特征表示与目标节点的原始特征表示或通过不同于GNN的其他方式学习的目标节点的特征表示进行拼接，并基于拼接后的特征表示执行预测来获得关于目标节点的预测结果。
可选地，所述基于表数据创建图，包括：根据表数据中的样本的特征选取能够构建样本之间的相关性的特征；基于选取的特征选择相关联的样本来创建图。
可选地，所述根据表数据的样本的特征选取能够构建样本之间的相关性的特征，包括：从样本的特征之中直接选择能够构建样本之间的相关性的特征；或者，将样本的至少两个离散特征进行组合来获得新的离散特征，作为能够构建样本之间的相关性的特征。
可选地，所述基于选取的特征选择相关联的样本来创建图，包括：在选取的特征是离散特征的情况下，将选取的特征的取值相同的样本确定为相关联的样本，并在相关联的样本之间构建边；在选取的特征是连续特征的情况下，将连续特征转化为离散特征，并将转化后的离散特征的取值相同的样本确定为相关联的样本，并在相关联的样本之间构建边。
可选地，基于每个子图利用与每个子图对应的GNN分别学习目标节点的子特征表示，包括：对由每个子图中的节点表示的样本的特征进行编码；基于编码后的特征，利用每个子图对应的GNN分别学习目标节点的子特征表示。
可选地，所述将目标节点的子特征表示进行聚合来获得目标节点的特征表示，包括：利用注意力网络将目标节点的子特征表示进行聚合来获得目标节点的特征表示。
可选地，所述仅基于学习的目标节点的特征表示执行预测来获得关于目标节点的预测结果，包括：基于学习的目标节点的特征表示，利用多层感知机执行预测来获得关于目标节点的预测结果。
可选地，所述基于拼接后的特征表示执行预测来获得关于目标节点的预测结果，包括：基于拼接后的特征表示，利用逻辑回归模型、梯度提升机GBM和DeepFM模型中的任何一个或其变体执行预测来获得关于目标节点的预测结果。
可选地，所述表数据涉及金融贷款数据、商品销售数据、网站浏览数据和交易流水数据中的一种。
根据本申请的第二方面，提供了一种训练基于图神经网络GNN的机器学习模型的方法，所述方法包括：获取训练表数据；基于训练表数据创建图，其中，图中的每个节点表示训练表数据中的一个训练样本，并且图中的边表示两个训练样本之间的相关性；基于创建的图利用GNN学习图中目标节点的特征表示；基于学习的目标节点的特征表示执行预测来获得关于目标节点的预测结果；通过将关于目标节点的预测结果和关于目标节点的真实标记进行比较来调整所述机器学习模型的参数。
可选地，所述图是能够反映训练表数据中训练样本之间在多个方面的相关性的多重图，其中，所述基于创建的图利用GNN学习图中目标节点的特征表示，包括：通过将多重图中与目标节点有关的邻居节点和相关性分别抽取出来，获得与目标节点有关的多个子图，其中，每个子图反映样本之间在一方面的相关性；基于每个子图利用与每个子图对应的GNN分别学习目标节点的子特征表示；将目标节点的子特征表示进行聚合来获得目标节点的特征表示。
可选地，所述基于学习的目标节点的特征表示执行预测来获得关于目标节点的预测结果，包括：仅基于学习的目标节点的特征表示执行预测来获得关于目标节点的预测结果；或者，将学习的目标节点的特征表示与目标节点的原始特征表示或通过不同于GNN的其他方式学习的目标节点的特征表示进行拼接，并基于拼接后的特征表示执行预测来获得关于目标节点的预测结果。
可选地，所述基于表数据创建图，包括：根据训练表数据中的训练样本的特征选取能够构建训练样本之间的相关性的特征；基于选取的特征选择相关联的训练样本来创建图。
可选地，所述根据训练表数据中的训练样本的特征选取能够构建训练样本之间的相关性的特征，包括：从训练样本的特征之中直接选择能够构建训练样本之间的相关性的特征；或者，将训练样本的至少两个离散特征进行组合来获得新的离散特征，作为能够构建训练样本之间的相关性的特征。
可选地，所述基于选取的特征选择相关联的训练样本来创建图，包括：在选取的特征是离散特征的情况下，将选取的特征的取值相同的训练样本确定为相关联的训练样本，并在相关联的训练样本之间构建边；在选取的特征是连续特征的情况下，将连续特征转化为离散特征，并将转化后的离散特征的取值相同的训练样本确定为相关联的训练样本，并在相关联的训练样本之间构建边。
可选地，基于每个子图利用与每个子图对应的GNN分别学习目标节点的子特征表示，包括：对由每个子图中的节点表示的训练样本的特征进行编码；基于编码后的特征，利用每个子图对应的GNN分别学习目标节点的子特征表示。
可选地，所述将目标节点的子特征表示进行聚合来获得目标节点的特征表示，包括：利用所述机器学习模型中包括的注意力网络将目标节点的子特征表示进行聚合来获得目标节点的特征表示。
可选地，所述仅基于学习的目标节点的特征表示执行预测来获得关于目标节点的预测结果，包括：基于学习的目标节点的特征表示，利用所述机器学习模型中包括的多层感知机执行预测来获得关于目标节点的预测结果。
可选地，所述基于拼接后的特征表示执行预测来获得关于目标节点的预测结果，包括：基于拼接后的特征表示，利用所述机器学习模型中包括的逻辑回归模型、梯度提升机GBM和DeepFM模型中的一个或其变体执行预测来获得关于目标节点的预测结果。
可选地，所述训练表数据涉及金融贷款数据、商品销售数据、网站浏览数据和交易流水数据中的一种。
根据本申请的第三方面，提供了一种基于图神经网络GNN执行预测的***，所述***包括：数据获取装置，被配置为获取包含待预测样本的表数据；图创建装置，被配置为基于表数据创建图，其中，图中的每个节点表示表数据中的一个样本，并且图中的边表示两个样本之间的相关性；预测装置，被配置为：基于创建的图利用GNN学习图中与所述待预测样本对应的目标节点的特征表示；并且基于学习的目标节点的特征表示执行预测来获得关于目标节点的预测结果。
可选地，所述图是能够反映表数据中样本之间在多个方面的相关性的多重图，其中，所述基于创建的图利用GNN学习图中与所述待预测样本对应的目标节点的特征表示，包括：通过将多重图中与目标节点有关的邻居节点和相关性分别抽取出来，获得与目标节点有关的多个子图，其中，每个子图反映样本之间在一方面的相关性；基于每个子图利用与每个子图对应的GNN分别学习目标节点的子特征表示；将目标节点的子特征表示进行聚合来获得目标节点的特征表示。
可选地，所述基于学习的目标节点的特征表示执行预测来获得关于目标节点的预测结果，包括：仅基于利用GNN学习的目标节点的特征表示执行预测来获得关于目标节点的预测结果；或者，将利用GNN学习的目标节点的特征表示与目标节点的原始特征表示或通过不同于GNN的其他方式学习的目标节点的特征表示进行拼接，并基于拼接后的特征表示执行预测来获得关于目标节点的预测结果。
可选地，所述基于表数据创建图，包括：根据表数据中的样本的特征选取能够构建样本之间的相关性的特征；基于选取的特征选择相关联的样本来创建图。
可选地，所述根据表数据的样本的特征选取能够构建样本之间的相关性的特征，包括：从样本的特征之中直接选择能够构建样本之间的相关性的特征；或者，将样本的至少两个离散特征进行组合来获得新的离散特征，作为能够构建样本之间的相关性的特征。
可选地，所述基于选取的特征选择相关联的样本来创建图，包括：在选取的特征是离散特征的情况下，将选取的特征的取值相同的样本确定为相关联的样本，并在相关联的样本之间构建边；在选取的特征是连续特征的情况下，将连续特征转化为离散特征，并将转化后的离散特征的取值相同的样本确定为相关联的样本，并在相关联的样本之间构建边。
可选地，基于每个子图利用与每个子图对应的GNN分别学习目标节点的子特征表示，包括：对由每个子图中的节点表示的样本的特征进行编码；基于编码后的特征，利用每个子图对应的GNN分别学习目标节点的子特征表示。
可选地，所述将目标节点的子特征表示进行聚合来获得目标节点的特征表示，包括：利用注意力网络将目标节点的子特征表示进行聚合来获得目标节点的特征表示。
可选地，所述仅基于学习的目标节点的特征表示执行预测来获得关于目标节点的预测结果，包括：基于学习的目标节点的特征表示，利用多层感知机执行预测来获得关于目标节点的预测结果。
可选地，所述基于拼接后的特征表示执行预测来获得关于目标节点的预测结果，包括：基于拼接后的特征表示，利用逻辑回归模型、梯度提升机GBM和DeepFM模型中的任何一个或其变体执行预测来获得关于目标节点的预测结果。
可选地，所述表数据涉及金融贷款数据、商品销售数据、网站浏览数据和交易流水数据中的一种。
根据本申请的第四方面，提供了一种训练基于图神经网络GNN的机器学习模型的***，所述***包括：数据获取装置，被配置为获取训练表数据；图创建装置，被配置为基于训练表数据创建图，其中，图中的每个节点表示训练表数据中的一个训练样本，并且图中的边表示两个训练样本之间的相关性；训练装置，被配置为：基于创建的图利用GNN学习图中目标节点的特征表示；基于学习的目标节点的特征表示执行预测来获得关于目标节点的预测结果；并且通过将关于目标节点的预测结果和关于目标节点的真实标记进行比较来调整所述机器学习模型的参数。
可选地，所述图是能够反映训练表数据中训练样本之间在多个方面的相关性的多重图，其中，所述基于创建的图利用GNN学习图中目标节点的特征表示，包括：通过将多重图中与目标节点有关的邻居节点和相关性分别抽取出来，获得与目标节点有关的多个子图，其中，每个子图反映样本之间在一方面的相关性；基于每个子图利用与每个子图对应的GNN分别学习目标节点的子特征表示；将目标节点的子特征表示进行聚合来获得目标节点的特征表示。
可选地，所述基于学习的目标节点的特征表示执行预测来获得关于目标节点的预测结果，包括：仅基于学习的目标节点的特征表示执行预测来获得关于目标节点的预测结果；或者，将学习的目标节点的特征表示与目标节点的原始特征表示或通过不同于GNN的其他方式学习的目标节点的特征表示进行拼接，并基于拼接后的特征表示执行预测来获得关于目标节点的预测结果。
可选地，所述基于表数据创建图，包括：根据训练表数据中的训练样本的特征选取能够构建训练样本之间的相关性的特征；基于选取的特征选择相关联的训练样本来创建图。
可选地，所述根据训练表数据中的训练样本的特征选取能够构建训练样本之间的相关性的特征，包括：从训练样本的特征之中直接选择能够构建训练样本之间的相关性的特征；或者，将训练样本的至少两个离散特征进行组合来获得新的离散特征，作为能够构建训练样本之间的相关性的特征。
可选地，所述基于选取的特征选择相关联的训练样本来创建图，包括：在选取的特征是离散特征的情况下，将选取的特征的取值相同的训练样本确定为相关联的训练样本，并在相关联的训练样本之间构建边；在选取的特征是连续特征的情况下，将连续特征转化为离散特征，并将转化后的离散特征的取值相同的训练样本确定为相关联的训练样本，并在相关联的训练样本之间构建边。
可选地，基于每个子图利用与每个子图对应的GNN分别学习目标节点的子特征表示，包括：对由每个子图中的节点表示的训练样本的特征进行编码；基于编码后的特征，利用每个子图对应的GNN分别学习目标节点的子特征表示。
可选地，所述将目标节点的子特征表示进行聚合来获得目标节点的特征表示，包括：利用所述机器学习模型中包括的注意力网络将目标节点的子特征表示进行聚合来获得目标节点的特征表示。
可选地，所述仅基于学习的目标节点的特征表示执行预测来获得关于目标节点的预测结果，包括：基于学习的目标节点的特征表示，利用所述机器学习模型中包括的多层感知机执行预测来获得关于目标节点的预测结果。
可选地，所述基于拼接后的特征表示执行预测来获得关于目标节点的预测结果，包括：基于拼接后的特征表示，利用所述机器学习模型中包括的逻辑回归模型LR、梯度提升机GBM和DeepFM模型中的一个或其变体执行预测来获得关于目标节点的预测结果。
可选地，所述训练表数据涉及金融贷款数据、商品销售数据、网站浏览数据和交易流水数据中的一种。
根据本申请的第五方面，提供了一种存储指令的计算机可读存储介质，其中，当所述指令被至少一个计算装置运行时，促使所述至少一个计算装置执行如上所述的方法。
根据本申请的第六方面，提供了一种包括至少一个计算装置和存储指令的至少一个存储装置的***，其中，所述指令在被所述至少一个计算装置运行时，促使所述至少一个计算装置执行如上所述的方法。
根据本申请示例性实施例的训练***和训练方法由于在训练过程中考虑了样本之间的相关性，因此可训练出模型性能更佳的机器学习模型，所述机器学习模型可被用于执行与表数据有关的预测。根据本申请示例性实施例的预测***和预测方法由于在预测过程中利用了样本之间的相关性，因此可有效地提高预测结果的准确性。
附图说明
从下面结合附图对本申请实施例的详细描述中，本申请的这些和/或其他方面和优点将变得更加清楚并更容易理解，其中：
图1是示出根据本申请示例性实施例的基于GNN执行预测的***的框图；
图2是示出表数据的示例的示图；
图3是示出根据本申请的基于GNN执行预测的示例的示意图；
图4是示出根据本申请示例性实施例的基于GNN执行预测的方法的流程图；
图5是示出根据本申请示例性实施例的训练基于图神经网络GNN的机器学习模型的***的框图；
图6是示出根据本申请示例性实施例的训练基于图神经网络GNN的机器学习模型的方法的流程图。
具体实施方式
为了使本领域技术人员更好地理解本申请，下面结合附图和具体实施方式对本申请的示例性实施例作进一步详细说明。
需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。以下实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。
如本申请背景技术所言，现有的基于表数据的有监督学习的模型普遍考虑基于已有的特征来构建新的有效的交叉特征，从而提高模型的性能，然而，仅考虑交叉特征对模型性能和预测效果的提升仍然欠佳。经本申请发明人研究发现，现有方法在预测过程中都忽略了样本之间的相关性，从而导致模型性能和预测效果仍然欠佳。事实上，在机器学习中，样本之间的相关性具有一定的价值，可以用来聚合相似的样本，从而提高对最终任务的效果。然而，目前尚无在表数据的监督学习中考虑样本之间的相关性的技术。针对此，本申请提出基于图神经网络(graph neural network,GNN)的表数据学习技术，在表数据的学习中考虑样本之间的相关性来提高模型性能和预测效果。
图(Graph)是现实世界和科学领域里非常普遍的一种数据模型，比如交通网络，社交网络等，都可以建模成图。基于图设计不同的神经网络，解决不同的任务，是GNN研究的问题。现有的GNN模型大多采用了一种邻居聚合的框架，通过聚合邻居的特征，来学习图上节点的表达。本申请提出了一种基于GNN来进行表数据学习的构思，通过选取表数据中至少一种能够描述样本相似性的特征来构造图，利用GNN对图进行学习，聚合相似的样本，获得每个样本的表征，并基于获得的表征获得预测结果。
以下，将参照图1至图6对本申请的构思进行详细描述。
图1是示出根据本申请示例性实施例的基于GNN执行预测的***(在下文中，为描述方便，将其简称为“预测***”)的框图。
如图1所示，预测***100可包括数据获取装置110、图创建装置120和预测装置130。
具体地，数据获取装置110可获取包含待预测样本的表数据。根据示例性实施例，表数据的每一行可以表示一个样本，每一列可以表示一维特征或一维属性，或者表数据的列还包括样本的标记。作为示例，表数据可涉及金融贷款数据、商品销售数据、网站浏览数据和交易流水数据中的一种，但不限于此。
图2是示出表数据的示例的示图。图2所示的表数据的示例涉及金融贷款数据，作为示例，图2所示的表数据中共有7个样本，每个样本可包括索引、用户ID、教育、年龄、城市、申请时间、申请金额、应还款金额、识别时间9个属性或特征，此外，样本还可包括样本标记“是否逾期”。如图2所示，前5个样本还包括已经的样本标记，其中，1表示逾期，0表示未逾期，而剩余两个样本是待预测样本，其标记未知，需要基于整个表数据来预测这两个待预测样本所对应的用户是否会逾期。
需要说明的是，图2仅是示出表数据的一个示例，根据本申请所应用场景的不同，表数据可以涉及不同种类的数据，并且表数据中所包括的样本的数量，每个样本所包括的特征或属性的数量和种类都可根据应用场景的不同而不同，本申请对此均无限制。
图创建装置120可基于表数据创建图。这里，图中的每个节点可以表示表数据中的一个样本，并且图中的边可以表示两个样本之间的相关性。作为示例，在本申请中，创建的图可以是简单图，简单图是能够反映表数据中样本之间在一方面的相关性的图，即，图中两个节点之间至多仅由一条类型的边连接，也就是说，两个样本之间仅存在一种相关性。可选地，在本申请中，创建的图可以是能够反映表数据中样本之间在多个方面的相关性的多重图，即，图中两个节点之间可以由多于一种类型的边连接。边的类型反映相关性的类型，即，边所连接的两个样本是靠哪种相关性联系起来的。
根据示例性实施例，图创建装置120可以根据表数据中的样本的特征选取能够构建样本之间的相关性的特征，并且基于选取的特征选择相关联的样本来创建图。例如，在图2中，当我们想要预测用户35360(表数据中第6行)是否能够按时偿还贷款时，那么那些与该用户具有相同教育水平的用户(例如，表数据中第1行的用户12841、表数据中第3行的用户28877以及表数据中第5行的用户40633)可以提供对于预测有用的信息，这是因为具有相同教育水平的人们的贷款偿还能力通常是相似的。但是，现有的特征交叉方法却忽略了样本之间的这些相关性。在本申请中，通过将表数据转化为能够表示样本之间相关性的图(简单图或多重图)，实现了将表数据中的样本之间的相关性转换为了图上的结构信息。例如，在如图2所示的表数据中，“教育”这一特征就可以是能够建立样本之间的相关性的特征，但不限于此。
具体而言，在根据表数据的样本的特征选取能够构建样本之间的相关性的特征时，可以从样本的特征之中直接选择能够构建样本之间的相关性的特征。例如，可以直接选择ID类特征(例如点击率预估场景下的用户id，商品id等)，作为能够构建样本之间的相关性特征，或者可以利用预先训练的分类器从表数据的样本的所有特征中选取重要度超过阈值的特征，作为能够构建样本之间的相关性的特征。可选地，在根据表数据的样本的特征选取能够构建样本之间的相关性的特征时，也可以将样本的至少两个离散特征进行组合来获得新的离散特征，作为能够构建样本之间的相关性的特征。例如，对于已经存在的离散特征，可以进行特征组合和交叉，例如计算笛卡尔积，获得新的离散特征。
在选取了能够构建样本之间的相关性的特征之后，可基于选取的特征选择相关联的样本来创建图。具体而言，在选取的特征是离散特征的情况下，可以将选取的特征的取值相同的样本确定为相关联的样本，并在相关联的样本之间构建边。在选取的特征是连续特征的情况下，可以将连续特征转化为离散特征，并将转化后的离散特征的取值相同的样本确定为相关联的样本，然后在相关联的样本之间构建边。例如，对于数值类的连续特征(例如，年龄)可以首先对其进行离散化、分桶等操作，将其转化为离散特征，然后，在将转化后的离散特征的取值相同的样本确定为相关联的样本，并在相关联的样本之间构建边。
图3是示出根据本申请的基于GNN执行预测的示例的示意图。如图3中所示，基于图2所示的表数据构建的图例如可以是表数据下方所示的多重图。在该多重图中，例如可以根据特征“年龄”和特征“教育”建立样本之间的相关性，并据此创建多重图，该多重图可以反映样本之间在年龄和教育这两方面的相关性。此外，创建的多重图中的边可以是具有方向性的边，或者也可以是无方向的边。例如，如果样本是具有时间发生先后顺序的序列样本，则可以根据样本中具有时间属性的特征(例如，图2中表数据的申请时间或识别时间)为图中的边赋予方向，使得先出现的样本指向后出现的样本。
需要说明的是，尽管以上给出了创建图的示例，然而，本申请的基于表数据创建图的方式不限于以上示例，而是可以根据实际情况选择合适的方式来定义样本之间的相关性，并相应地创建图。
假设表数据的样本中存在R方面的相关性，则可基于表数据创建多重图，该多重图可被表示为(v，ε1，ε2，…，εR)，其中，v是图中节点的集合，εr(r＝1，2，…，R)是样本之间第r方面的相关性。
在创建图之后，预测装置130可基于创建的图利用GNN学习图中与所述待预测样本对应的目标节点的特征表示，并且基于学习的目标节点的特征表示执行预测来获得关于目标节点的预测结果。
例如，如上所述，创建的图可以是能够反映表数据中样本之间在多个方面的相关性的多重图，在这种情况下，基于创建的图利用GNN学习图中与所述待预测样本对应的目标节点的特征表示可以包括：首先，通过将多重图中与目标节点有关的邻居节点和相关性分别抽取出来，获得与目标节点有关的多个子图，其中，每个子图反映样本之间在一方面的相关性；其次，基于每个子图利用与每个子图对应的GNN分别学习目标节点的子特征表示；最后，将目标节点的子特征表示进行聚合来获得目标节点的特征表示。
例如，图2所示的表数据中包括两个待预测样本，它们的用户ID分别是“35360”和“47533”，在图3以及下文中，为描述方便，将以它们的用户ID来分别指代这两个待预测样本对应的目标节点。例如，对于目标节点“35360”，可通过将多重图中与目标节点“35360”有关的邻居节点“28877”和邻居节点“26851”以及依据“年龄”建立的相关性(即，依据“年龄”构建的边)抽取出来，获得与目标节点“35360”有关的第一个子图。此外，对于目标节点“35360”，还可以通过将多重图中与目标节点“35360”有关的邻居节点“28877”、邻居节点“12841”和邻居节点“40633”以及依据“教育”建立的相关性(即，依据“年龄”构建的边)抽取出来，获得与目标节点“35360”有关的第二个子图。这里，第一个子图反映样本之间在“年龄”方面的相关性，第二个子图反映样本之间在“教育”方面的相关性。
需要说明的是，图3中为示意方便，仅示出了与目标节点“35360”有关的两个子图，然而，事实上，根据图3中所示的多重图可获得的与目标节点“35360”有关的子图并不限于图3中所示出的两个子图，而是还可以按照上述获得子图的方式获得其他子图，这里不再赘述。此外，对于与图2所示的表数据中的另一待预测样本对应的目标节点“47533”，可按照与以上描述的获得与目标节点“35360”有关的多个子图相同的方式来获得与目标节点“47533”有关的多个子图，这里不再赘述。
如图3所示，在获得了与目标节点有关的多个子图之后，可基于每个子图利用与每个子图对应的GNN分别学习目标节点的子特征表示。具体地，例如，可首先对由每个子图中的节点表示的样本的特征进行编码，然后，可基于编码后的特征，利用每个子图对应的GNN分别学习目标节点的子特征表示。例如，可以对子图中的所有节点的特征进行编码来获得每个子图中的样本的embedding(即，嵌入表示向量)，然后，将这些embedding输入每个GNN学习出目标节点的子特征表示。
具体地，对于表数据中的样本x，其具有的特征通常是多种类型，比如，用户的年龄是数字型特征，而用户的性别是类别型特征，因此，样本x的特征向量X不能被直接输入到GNN，而需要通过特征编码器将不同类型的特征转换为一个统一的特征空间，该特征空间可被表示为hx＝ENC(x)，其中，ENC(·)表示编码器的编码操作。
在通过编码获得了每个子图中的样本的embedding之后，GNN的运算过程可如以下等式(1)所示：
Figure BDA0003050062400000131
其中，x是表数据中的样本(即，图中的节点)，
Figure BDA0003050062400000132
是从第r方面的相关性学习出的样本(节点)的特征表示(即，通过反映第r方面的相关性的子图学习出的节点的特征表示)，
Figure BDA0003050062400000133
是GNN的由所有样本共享的可学习的权重矩阵，σ是非线性激活函数(例如，可以是sigmoid或ReLU)，AGG是GNN聚合器，其用于聚合同一子图中的相似样本，
Figure BDA0003050062400000134
Figure BDA0003050062400000135
其中，Nr(x)是依据第r方面的相关性(也被称为边类型r)连接的节点x的邻居节点的集合。
在基于每个子图利用与每个子图对应的GNN分别学习目标节点的子特征表示之后，可将目标节点的子特征表示进行聚合来获得目标节点的特征表示。作为示例，可利用注意力网络将目标节点的子特征表示进行聚合来获得目标节点的特征表示。
例如，可以通过注意力网络(例如，一层神经网络)按照以下等式(2)至等式(4)对通过各个子图获得的目标节点的子特征表示进行聚合：
Figure BDA0003050062400000136
Figure BDA0003050062400000137
Figure BDA0003050062400000138
其中，q，W，b以及{βr|r＝1，2，…，R}是注意力网络的参数，Zx是经过聚合获得的样本(节点)x的特征表示。
在获得目标节点的特征表示之后，可基于学习的目标节点的特征表示执行预测来获得关于目标节点的预测结果。根据示例性实施例，可仅基于利用GNN学习的目标节点的特征表示执行预测来获得关于目标节点的预测结果。例如，如图3所示，可基于学习的目标节点的特征表示，利用多层感知机(MLP)执行预测来获得关于目标节点的预测结果。需要说明的是，可基于学习的目标节点的特征表示，利用任何分类器模型执行预测来获得关于目标节点的预测结果，而不仅限于利用MLP执行预测来获得关于目标节点的预测结果。
可选地，根据另一示例性实施例，可将利用GNN学习的目标节点的特征表示与目标节点的原始特征表示或通过不同于GNN的其他方式学习的目标节点的特征表示进行拼接，并基于拼接后的特征表示执行预测来获得关于目标节点的预测结果。例如，如图3所示，可基于拼接后的特征表示，利用逻辑回归模型、梯度提升机GBM和DeepFM模型中的任何一个或其变体执行预测来获得关于目标节点的预测结果。需要说明的是，尽管以上提及利用逻辑回归模型、梯度提升机GBM和DeepFM模型中的任何一个或其变体执行预测来获得关于目标节点的预测结果，然而，本公开不限于此，事实上，可基于拼接的特征，利用目前已知的任何其他模型执行预测来获得关于目标节点的预测结果。
在以上示例性实施例中，与直接基于利用GNN学习的目标节点的特征表示执行预测来获得关于目标节点的预测结果相比，基于拼接后的特征表示执行预测来获得关于目标节点的预测结果可以获得更好的预测效果。
以上，已经参照图1至图3描述了根据本申请示例性实施例的预测***，该预测***由于在预测时充分利用了表数据中样本之间的相关性，因而可以针对表数据中的待预测样本提供更加准确的预测结果。
图4是示出根据本申请示例性实施例的基于GNN执行预测的方法(为描述方便，在下文中，将其简称为“预测方法”)的流程图。
这里，作为示例，图4所示的预测方法可由图1所示的预测***100来执行，也可完全通过计算机程序或指令以软件方式实现，还可通过特定配置的计算***或计算装置来执行，例如，可通过包括至少一个计算装置和至少一个存储指令的存储装置的***来执行，其中，所述指令在被所述至少一个计算装置运行时，促使所述至少一个计算装置执行上述预测方法。为了描述方便，假设图4所示的预测方法由图1所示的预测***100来执行，并假设预测***100可具有图1所示的配置。
参照图4，在步骤S410，数据获取装置110可获取包含待预测样本的表数据。这里，表数据可以涉及金融贷款数据、商品销售数据、网站浏览数据和交易流水数据中的一种，但不限于此。接下来，在步骤S420，图创建装置120可基于表数据创建图，这里，图中的每个节点可以表示表数据中的一个样本，并且图中的边可以表示两个样本之间的相关性。随后，在步骤S430，预测装置130可基于创建的图利用GNN学习图中与所述待预测样本对应的目标节点的特征表示。最后，在步骤S440，预测装置130可基于学习的目标节点的特征表示执行预测来获得关于目标节点的预测结果。
由于以上已经参照图1至3对预测***、表数据、基于GNN执行预测的示例等进行了描述，因此，这里不再对步骤S410至S440涉及的具体操作和细节进行赘述，相关内容可参见以上关于图1至图3的相关描述。事实上，由于图4所示的预测方法由图1所述的预测***100执行，因此，以上参照图1在描述预测***中包括的各个装置时所提及的内容均适用于这里，故关于以上步骤中所涉及的相关细节，均可参见图1至图3的相应描述，这里都不再赘述。
在下文中，将参照图5和图6对以上图1和图4中基于GNN执行预测所使用的基于GNN的机器学习模型的训练进行描述。
图5是示出根据本申请示例性实施例的训练基于图神经网络GNN的机器学习模型的***(在下文中，为描述方便，将其简称为“训练***”)的框图。
参照图5，训练***500可包括数据获取装置510、图创建装置520和训练装置530。
具体而言，数据获取装置510可获取训练表数据。作为示例，训练表数据可涉及金融贷款数据、商品销售数据、网站浏览数据和交易流水数据中的一种，但不限于此。以上已经参照图2对表数据进行过介绍，这里不再赘述，不同之处仅在于这里的训练表数据中的所有样本的标记都是已知的，而并不包括待预测样本。
图创建装置520可基于训练表数据创建图。这里，图中的每个节点可以表示训练表数据中的一个训练样本，并且图中的边可以表示两个训练样本之间的相关性。作为示例，创建的图可以是能够反映训练表数据中训练样本之间在多个方面的相关性的多重图。具体地，图创建装置520可根据训练表数据中的训练样本的特征选取能够构建训练样本之间的相关性的特征，并基于选取的特征选择相关联的训练样本来创建图。例如，图创建装置520可以从训练样本的特征之中直接选择能够构建训练样本之间的相关性的特征；或者，图创建装置520可以将训练样本的至少两个离散特征进行组合来获得新的离散特征，作为能够构建训练样本之间的相关性的特征。在选取的特征是离散特征的情况下，可以将选取的特征的取值相同的训练样本确定为相关联的训练样本，并在相关联的训练样本之间构建边；然而，在选取的特征是连续特征的情况下，将连续特征转化为离散特征，并将转化后的离散特征的取值相同的训练样本确定为相关联的训练样本，并在相关联的训练样本之间构建边。以上已经在图1至图3的描述中对基于表数据创建图进行过介绍，因此这里不再赘述。所不同的是，在上文中由于是在执行预测过程，表数据中既包括已知其标记的样本，也包括未知其标记的待预测样本，而在训练过程中创建图时所使用的都是已知标记的训练样本。
训练装置530可基于创建的图利用GNN学习图中目标节点的特征表示，基于学习的目标节点的特征表示执行预测来获得关于目标节点的预测结果，并且通过将关于目标节点的预测结果和关于目标节点的真实标记进行比较来调整所述机器学习模型的参数。以上已经在图1至图3的描述中对基于创建的图利用GNN学习图中目标节点的特征表示，基于学习的目标节点的特征表示执行预测来获得关于目标节点的预测结果进行了描述，这里不再赘述。所不同的是，在以上描述的执行预测的过程中的目标节点仅是与待预测样本对应的节点，而在以上训练过程中提及的目标节点是创建的图中的所有节点中的每个节点。也就是说，训练装置530基于创建的图利用GNN学习图中每个节点的特征表示，基于学习的每个节点的特征表示执行预测来获得关于每个节点的预测结果，并且通过将关于每个节点的预测结果和关于每个节点的真实标记进行比较来调整所述机器学习模型的参数。
如图3所示，根据本申请示例性实施例的基于GNN的机器学习模型例如可包括用于执行样本的特征表示学习的GNN、进行特征表示聚合的注意力网络以及基于聚合后的特征表示执行预测的模型(例如，MLP、逻辑回归模型、梯度提升机GBM和DeepFM模型中的一个或其变体)。
具体地，在创建的图是多重图的情况下，训练装置530可通过将多重图中与目标节点有关的邻居节点和相关性分别抽取出来，获得与目标节点有关的多个子图，其中，每个子图反映样本之间在一方面的相关性；随后，基于每个子图利用与每个子图对应的GNN分别学习目标节点的子特征表示；最后，将目标节点的子特征表示进行聚合来获得目标节点的特征表示。
例如，训练装置530可对由每个子图中的节点表示的训练样本的特征进行编码，并随后基于编码后的特征，利用每个子图对应的GNN分别学习目标节点的子特征表示。在学习到目标节点的子特征表示之后，例如，训练装置530可利用所述机器学习模型中包括的注意力网络将目标节点的子特征表示进行聚合来获得目标节点的特征表示。需要说明的是，尽管这里给出了基于GNN和注意力网络的训练方案来进行模型训练，然而，其它图神经网络也可以用来对创建的图进行训练，例如R-GCN，Geaph sage等。
在获得目标节点的特征表示之后，训练装置530可仅基于学习的目标节点的特征表示执行预测来获得关于目标节点的预测结果。例如，基于学习的目标节点的特征表示，利用所述机器学习模型中包括的多层感知机执行预测来获得关于目标节点的预测结果。或者，训练装置530可将学习的目标节点的特征表示与目标节点的原始特征表示或通过不同于GNN的其他方式学习的目标节点的特征表示进行拼接，并基于拼接后的特征表示执行预测来获得关于目标节点的预测结果。例如，基于拼接后的特征表示，利用所述机器学习模型中包括的逻辑回归模型、梯度提升机GBM和DeepFM模型中的一个或其变体执行预测来获得关于目标节点的预测结果。
在获得关于目标节点的预测结果之后，训练装置530通过将关于目标节点的预测结果和关于目标节点的真实标记进行比较来调整所述机器学习模型的参数。例如，训练装置530可通过以下等式(5)来计算交叉熵损失，并根据计算出的损失调整基于GNN的机器学习模型的参数，然而，计算预测损失的方式不限于此，还可采用其他损失计算方式。
∑x∈vl(yx，σ(WTzx+bO))， (5)
其中，l(·)是交叉熵损失，W和b0是所述机器学习模型中所包括的基于学习的目标节点的特征表示执行预测来获得关于目标节点的预测结果的模型(例如，MLP)的参数，Zx是经过聚合获得的样本(节点)x的特征表示，yx是样本(节点)x的真实标记，σ是非线性激活函数。
以上，已经参照图5对根据本申请示例性实施例的训练***进行了描述，由于该训练***在进行基于GNN的机器学习模型的过程中充分利用了样本之间的相关性，因此，可以有效地提高训练出的模型的性能，从而便于利用训练出的模型提供更准确的预测结果。
图6是示出根据本申请示例性实施例的训练基于图神经网络GNN的机器学习模型的方法(在下文中，为描述方便，将其简称为“训练方法”)的流程图。
这里，作为示例，图6所示的训练方法可由图5所示的训练***500来执行，也可完全通过计算机程序或指令以软件方式实现，还可通过特定配置的计算***或计算装置来执行，例如，可通过包括至少一个计算装置和至少一个存储指令的存储装置的***来执行，其中，所述指令在被所述至少一个计算装置运行时，促使所述至少一个计算装置执行上述训练方法。为了描述方便，假设图6所示的训练方法由图5所示的训练***500来执行，并假设训练***500可具有图5所示的配置。
参照图6，在步骤S610，数据获取装置510可获取训练表数据。在步骤S620，图创建装置520可基于训练表数据创建图。这里，图中的每个节点表示训练表数据中的一个训练样本，并且图中的边表示两个训练样本之间的相关性。接下来，在步骤S630，训练装置530可基于创建的图利用GNN学习图中目标节点的特征表示。随后，在步骤S640，训练装置530可基于学习的目标节点的特征表示执行预测来获得关于目标节点的预测结果。最后，在步骤S650，训练装置530可通过将关于目标节点的预测结果和关于目标节点的真实标记进行比较来调整所述机器学习模型的参数。
由于以上已经参照图5对训练***500所执行的操作进行了描述，因此，这里不再对步骤S610至S650涉及的具体操作和细节进行赘述，相关内容可参见以上关于图5的相关描述。事实上，由于图6所示的训练方法由图5所述的训练***100执行，因此，以上参照图5在描述训练***500中包括的各个装置时所提及的内容均适用于这里，故关于以上步骤中所涉及的相关细节，均可参见图5的相应描述，这里都不再赘述。
以上已参照图1至图6描述了根据本申请示例性实施例预测***和预测方法以及训练***和训练方法。然而，应理解的是：图1和图5所示出的***及其装置可被分别配置为执行特定功能的软件、硬件、固件或上述项的任意组合。例如，这些***或装置可对应于专用的集成电路，也可对应于纯粹的软件代码，还可对应于软件与硬件相结合的模块。此外，这些***或装置所实现的一个或多个功能也可由物理实体设备(例如，处理器、客户端或服务器等)中的组件来统一执行。
此外，上述方法可通过记录在计算机可读存储介质上的指令来实现，例如，根据本申请的示例性实施例，可提供一种存储指令的计算机可读存储介质，其中，当所述指令被至少一个计算装置运行时，促使所述至少一个计算装置执行以下步骤：获取包含待预测样本的表数据；基于表数据创建图，其中，图中的每个节点表示表数据中的一个样本，并且图中的边表示两个样本之间的相关性；基于创建的图利用GNN学习图中与所述待预测样本对应的目标节点的特征表示；基于学习的目标节点的特征表示执行预测来获得关于目标节点的预测结果。
此外，根据本申请的另一示例性实施例，可提供一种存储指令的计算机可读存储介质，其中，当所述指令被至少一个计算装置运行时，促使所述至少一个计算装置执行以下步骤：获取训练表数据；基于训练表数据创建图，其中，图中的每个节点表示训练表数据中的一个训练样本，并且图中的边表示两个训练样本之间的相关性；基于创建的图利用GNN学习图中目标节点的特征表示；基于学习的目标节点的特征表示执行预测来获得关于目标节点的预测结果；通过将关于目标节点的预测结果和关于目标节点的真实标记进行比较来调整所述机器学习模型的参数。
上述计算机可读存储介质中存储的指令可在诸如客户端、主机、代理装置、服务器等计算机设备中部署的环境中运行，应注意，所述指令还可在执行上述步骤时执行更为具体的处理，这些进一步处理的内容已经在参照图1至图6的描述中提及，因此这里为了避免重复将不再进行赘述。
应注意，根据本申请示例性实施例的预测***和训练***可完全依赖计算机程序或指令的运行来实现相应的功能，即，各个装置在计算机程序的功能架构中与各步骤相应，使得整个***通过专门的软件包(例如，lib库)而被调用，以实现相应的功能。
另一方面，当图1和图5所示的***和装置以软件、固件、中间件或微代码实现时，用于执行相应操作的程序代码或者代码段可以存储在诸如存储介质的计算机可读介质中，使得至少一个处理器或至少一个计算装置可通过读取并运行相应的程序代码或者代码段来执行相应的操作。
例如，根据本申请示例性实施例，可提供一种包括至少一个计算装置和存储指令的至少一个存储装置的***，其中，所述指令在被所述至少一个计算装置运行时，促使所述至少一个计算装置执行下述步骤：获取包含待预测样本的表数据；基于表数据创建图，其中，图中的每个节点表示表数据中的一个样本，并且图中的边表示两个样本之间的相关性；基于创建的图利用GNN学习图中与所述待预测样本对应的目标节点的特征表示；基于学习的目标节点的特征表示执行预测来获得关于目标节点的预测结果。
例如，根据本申请另一示例性实施例，可提供一种包括至少一个计算装置和存储指令的至少一个存储装置的***，其中，所述指令在被所述至少一个计算装置运行时，促使所述至少一个计算装置执行下述步骤：获取训练表数据；基于训练表数据创建图，其中，图中的每个节点表示训练表数据中的一个训练样本，并且图中的边表示两个训练样本之间的相关性；基于创建的图利用GNN学习图中目标节点的特征表示；基于学习的目标节点的特征表示执行预测来获得关于目标节点的预测结果；通过将关于目标节点的预测结果和关于目标节点的真实标记进行比较来调整所述机器学习模型的参数。
具体说来，上述***可以部署在服务器或客户端中，也可以部署在分布式网络环境中的节点上。此外，所述***可以是PC计算机、平板装置、个人数字助理、智能手机、web应用或其他能够执行上述指令集合的装置。此外，所述***还可包括视频显示器(诸如，液晶显示器)和用户交互接口(诸如，键盘、鼠标、触摸输入装置等)。另外，所述***的所有组件可经由总线和/或网络而彼此连接。
这里，所述***并非必须是单个***，还可以是任何能够单独或联合执行上述指令(或指令集)的装置或电路的集合体。所述***还可以是集成控制***或***管理器的一部分，或者可被配置为与本地或远程(例如，经由无线传输)以接口互联的便携式电子装置。
在所述***中，所述至少一个计算装置可包括中央处理器(CPU)、图形处理器(GPU)、可编程逻辑装置、专用处理器***、微控制器或微处理器。作为示例而非限制，所述至少一个计算装置还可包括模拟处理器、数字处理器、微处理器、多核处理器、处理器阵列、网络处理器等。计算装置可运行存储在存储装置之一中的指令或代码，其中，所述存储装置还可以存储数据。指令和数据还可经由网络接口装置而通过网络被发送和接收，其中，所述网络接口装置可采用任何已知的传输协议。
存储装置可与计算装置集成为一体，例如，将RAM或闪存布置在集成电路微处理器等之内。此外，存储装置可包括独立的装置，诸如，外部盘驱动、存储阵列或任何数据库***可使用的其他存储装置。存储装置和计算装置可在操作上进行耦合，或者可例如通过I/O端口、网络连接等互相通信，使得计算装置能够读取存储在存储装置中的指令。
以上描述了本申请的各示例性实施例，应理解，上述描述仅是示例性的，并非穷尽性的，本申请不限于所披露的各示例性实施例。在不偏离本申请的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。因此，本申请的保护范围应该以权利要求的范围为准。

Claims (10)

1.一种基于图神经网络GNN执行预测的方法，包括：
获取包含待预测样本的表数据；
基于表数据创建图，其中，图中的每个节点表示表数据中的一个样本，并且图中的边表示两个样本之间的相关性；
基于创建的图利用GNN学习图中与所述待预测样本对应的目标节点的特征表示；
基于学习的目标节点的特征表示执行预测来获得关于目标节点的预测结果。
2.如权利要求1所述的方法，其中，所述图是能够反映表数据中样本之间在多个方面的相关性的多重图，
其中，所述基于创建的图利用GNN学习图中与所述待预测样本对应的目标节点的特征表示，包括：
通过将多重图中与目标节点有关的邻居节点和相关性分别抽取出来，获得与目标节点有关的多个子图，其中，每个子图反映样本之间在一方面的相关性；
基于每个子图利用与每个子图对应的GNN分别学习目标节点的子特征表示；
将目标节点的子特征表示进行聚合来获得目标节点的特征表示。
3.如权利要求1或2所述的方法，其中，所述基于学习的目标节点的特征表示执行预测来获得关于目标节点的预测结果，包括：
仅基于利用GNN学习的目标节点的特征表示执行预测来获得关于目标节点的预测结果；或者
将利用GNN学习的目标节点的特征表示与目标节点的原始特征表示或通过不同于GNN的其他方式学习的目标节点的特征表示进行拼接，并基于拼接后的特征表示执行预测来获得关于目标节点的预测结果。
4.如权利要求1所述的方法，其中，所述基于表数据创建图，包括：
根据表数据中的样本的特征选取能够构建样本之间的相关性的特征；
基于选取的特征选择相关联的样本来创建图。
5.一种训练基于图神经网络GNN的机器学习模型的方法，包括：
获取训练表数据；
基于训练表数据创建图，其中，图中的每个节点表示训练表数据中的一个训练样本，并且图中的边表示两个训练样本之间的相关性；
基于创建的图利用GNN学习图中目标节点的特征表示；
基于学习的目标节点的特征表示执行预测来获得关于目标节点的预测结果；
通过将关于目标节点的预测结果和关于目标节点的真实标记进行比较来调整所述机器学习模型的参数。
6.如权利要求5所述的方法，其中，所述图是能够反映训练表数据中训练样本之间在多个方面的相关性的多重图，
其中，所述基于创建的图利用GNN学习图中目标节点的特征表示，包括：
通过将多重图中与目标节点有关的邻居节点和相关性分别抽取出来，获得与目标节点有关的多个子图，其中，每个子图反映样本之间在一方面的相关性；
基于每个子图利用与每个子图对应的GNN分别学习目标节点的子特征表示；
将目标节点的子特征表示进行聚合来获得目标节点的特征表示。
7.一种基于图神经网络GNN执行预测的***，包括：
数据获取装置，被配置为获取包含待预测样本的表数据；
图创建装置，被配置为基于表数据创建图，其中，图中的每个节点表示表数据中的一个样本，并且图中的边表示两个样本之间的相关性；
预测装置，被配置为：基于创建的图利用GNN学习图中与所述待预测样本对应的目标节点的特征表示；并且基于学习的目标节点的特征表示执行预测来获得关于目标节点的预测结果。
8.一种训练基于图神经网络GNN的机器学习模型的***，包括：
数据获取装置，被配置为获取训练表数据；
图创建装置，被配置为基于训练表数据创建图，其中，图中的每个节点表示训练表数据中的一个训练样本，并且图中的边表示两个训练样本之间的相关性；
训练装置，被配置为：基于创建的图利用GNN学习图中目标节点的特征表示；基于学习的目标节点的特征表示执行预测来获得关于目标节点的预测结果；并且通过将关于目标节点的预测结果和关于目标节点的真实标记进行比较来调整所述机器学习模型的参数。
9.一种存储指令的计算机可读存储介质，其中，当所述指令被至少一个计算装置运行时，促使所述至少一个计算装置执行如权利要求1至6中的任一权利要求所述的方法。
10.一种包括至少一个计算装置和存储指令的至少一个存储装置的***，其中，所述指令在被所述至少一个计算装置运行时，促使所述至少一个计算装置执行如权利要求1至6中的任一权利要求所述的方法。
CN202110483604.6A 2021-04-30 2021-04-30 基于gnn执行预测的方法和***以及训练方法和*** Pending CN113095592A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110483604.6A CN113095592A (zh) 2021-04-30 2021-04-30 基于gnn执行预测的方法和***以及训练方法和***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110483604.6A CN113095592A (zh) 2021-04-30 2021-04-30 基于gnn执行预测的方法和***以及训练方法和***

Publications (1)

Publication Number Publication Date
CN113095592A true CN113095592A (zh) 2021-07-09

Family

ID=76681207

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110483604.6A Pending CN113095592A (zh) 2021-04-30 2021-04-30 基于gnn执行预测的方法和***以及训练方法和***

Country Status (1)

Country Link
CN (1) CN113095592A (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111325340A (zh) * 2020-02-17 2020-06-23 南方科技大学 信息网络关系预测方法及***
CN111400560A (zh) * 2020-03-10 2020-07-10 支付宝(杭州)信息技术有限公司 一种基于异构图神经网络模型进行预测的方法和***

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111325340A (zh) * 2020-02-17 2020-06-23 南方科技大学 信息网络关系预测方法及***
CN111400560A (zh) * 2020-03-10 2020-07-10 支付宝(杭州)信息技术有限公司 一种基于异构图神经网络模型进行预测的方法和***

Similar Documents

Publication Publication Date Title
US11586880B2 (en) System and method for multi-horizon time series forecasting with dynamic temporal context learning
WO2020020088A1 (zh) 神经网络模型的训练方法和***以及预测方法和***
WO2019169756A1 (zh) 产品推荐方法、装置及存储介质
CN110097193B (zh) 训练模型的方法及***和预测序列数据的方法及***
US11640617B2 (en) Metric forecasting employing a similarity determination in a digital medium environment
CN110555469B (zh) 处理交互序列数据的方法及装置
US20190272553A1 (en) Predictive Modeling with Entity Representations Computed from Neural Network Models Simultaneously Trained on Multiple Tasks
CN112863683B (zh) 基于人工智能的病历质控方法、装置、计算机设备及存储介质
CN112256886B (zh) 图谱中的概率计算方法、装置、计算机设备及存储介质
CN110705719A (zh) 执行自动机器学习的方法和装置
US20220245424A1 (en) Microgenre-based hyper-personalization with multi-modal machine learning
CN114663198A (zh) 基于用户画像的产品推荐方法、装置、设备及存储介质
US20220414470A1 (en) Multi-Task Attention Based Recurrent Neural Networks for Efficient Representation Learning
CN110717597A (zh) 利用机器学习模型获取时序特征的方法和装置
WO2023284516A1 (zh) 基于知识图谱的信息推荐方法、装置、设备、介质及产品
CN112651467A (zh) 卷积神经网络的训练方法和***以及预测方法和***
WO2023050143A1 (zh) 一种推荐模型训练方法及装置
CN112507141B (zh) 调查任务生成方法、装置、计算机设备及存储介质
Ben-Assuli et al. Profiling readmissions using hidden markov model-the case of congestive heart failure
CN116578774A (zh) 一种预估排序方法、装置、计算机设备及存储介质
CN113095592A (zh) 基于gnn执行预测的方法和***以及训练方法和***
CN114692808A (zh) 图神经网络传播模型确定方法和***
CN112116441A (zh) 金融风险分类模型的训练方法、分类方法、装置及设备
CN117033757A (zh) 信息选取方法、装置、电子设备及存储介质
CN117709801A (zh) 客户数据处理方法、装置、计算机设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination