CN113536383A - 基于隐私保护训练图神经网络的方法及装置 - Google Patents

基于隐私保护训练图神经网络的方法及装置 Download PDF

Info

Publication number
CN113536383A
CN113536383A CN202110957071.0A CN202110957071A CN113536383A CN 113536383 A CN113536383 A CN 113536383A CN 202110957071 A CN202110957071 A CN 202110957071A CN 113536383 A CN113536383 A CN 113536383A
Authority
CN
China
Prior art keywords
node
graph
neighbor
sampling
nodes
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110957071.0A
Other languages
English (en)
Other versions
CN113536383B (zh
Inventor
熊涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alipay Hangzhou Information Technology Co Ltd
Original Assignee
Alipay Hangzhou Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alipay Hangzhou Information Technology Co Ltd filed Critical Alipay Hangzhou Information Technology Co Ltd
Priority to CN202110957071.0A priority Critical patent/CN113536383B/zh
Publication of CN113536383A publication Critical patent/CN113536383A/zh
Application granted granted Critical
Publication of CN113536383B publication Critical patent/CN113536383B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
    • G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
    • G06F21/6245—Protecting personal data, e.g. for financial or medical purposes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Mathematical Physics (AREA)
  • Molecular Biology (AREA)
  • Bioethics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Computing Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Computer Hardware Design (AREA)
  • Computer Security & Cryptography (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Complex Calculations (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本说明书实施例提供一种基于隐私保护训练图神经网络的方法和装置，该方法包括，首先获取原始关系网络图，图中任意的第一节点具有对应的邻居节点集。对于该邻居节点集中任意的第二节点，将该第二节点的节点信息，第一节点的节点信息，第二节点与第一节点的连接信息输入多层神经网络，得到该第二节点与第一节点的匹配度。然后，根据邻居节点集中各个邻居节点分别对应的匹配度，对该邻居节点集进行采样，得到第一节点的采样邻居节点集。接着，基于原图中各个节点各自对应的采样邻居节点集，形成稀疏关系网络图。于是，基于该稀疏关系网络图，训练图神经网络。

Description

基于隐私保护训练图神经网络的方法及装置
本申请为2021年1月27日提交的申请号为202110109491.3，名为“基于隐私保护训练图神经网络的方法及装置”的发明专利申请的分案申请。
技术领域
本说明书一个或多个实施例涉及计算机技术领域，尤其涉及通过计算机执行的基于差分保护训练图神经网络的方法和装置。
背景技术
关系网络图近来正逐渐变成机器学习的一大核心领域。基于关系网络图的数据挖掘和机器学习在众多领域发挥了越来越大的价值。例如，可以通过预测潜在的连接来理解社交网络的结构、可以基于图结构进行欺诈检测、理解电商用户的消费者行为或进行实时推荐等等。
与此同时，人们对隐私的重视也与日俱增。关系网络图中蕴藏着大量的信息，使用图信息的各种人工智能和机器学习(AI/ML)模型如果保护不当，存在着泄漏数据隐私的巨大风险。比如，随着IOT时代的到来，很多的AI/ML在云端利用大规模的图数据开发后部署到端上(手机/其它IOT设备)去做实时决策。这样的好处不言而喻，由于减少了从端上到云端的数据传输，保护了用户的隐私，也减少了数据传输的成本。然而，如果模型被窃取，用于训练模型的大规模的图数据信息也有被泄漏的风险。
因此，希望能有改进的方案，能够更为安全、更为有效的训练出可靠的图神经网络模型。
发明内容
本说明书一个或多个实施例描述了一种基于隐私保护训练图神经网络的方法和装置，使得训练出的图神经网络能够更好地保护图数据信息的隐私安全。
根据第一方面，提供了一种基于隐私保护训练图神经网络的方法，包括：
获取原始关系网络图，其中包括多个节点，所述多个节点中任意的第一节点，具有对应的第一邻居节点集；
对于所述第一邻居节点集中任意的第二节点，将该第二节点的节点信息，所述第一节点的节点信息，该第二节点与所述第一节点的连接信息输入多层神经网络，得到该第二节点与所述第一节点的匹配度；
根据所述第一邻居节点集中各个邻居节点分别对应的匹配度，对所述第一邻居节点集进行采样，得到第一节点的采样邻居节点集；
基于所述多个节点各自对应的采样邻居节点集，形成稀疏关系网络图；
基于所述稀疏关系网络图，训练图神经网络。
在一个实施例中，根据匹配度对第一邻居节点集进行采样，具体包括：将所述各个邻居节点分别对应的匹配度进行归一化，得到对应的匹配概率；根据所述匹配概率，对所述各个邻居节点进行采样。
在另一实施例中，根据匹配度对第一邻居节点集进行采样，具体包括：基于差分隐私的指数机制，根据第一隐私预算，以及所述第二节点与所述第一节点的匹配度，确定所述第二节点被采样的第一采样概率；根据所述第一邻居节点集中各个邻居节点分别对应的第一采样概率，对所述各个邻居节点进行采样。
进一步地，在一个例子中，可以根据第一采样概率，执行预定数目k次采样，从所述第一邻居节点集中采样出k个邻居节点，作为所述采样邻居节点集。
在又一实施例中，还可以将各个邻居节点分别对应的第一采样概率输入Gumbel-softmax函数，得到各个邻居节点分别对应的第二采样概率；根据所述各个邻居节点分别对应的第二采样概率，对所述各个邻居节点进行采样。
进一步地，在一个例子中，可以根据所述第二采样概率，执行预定数目k次采样，从所述第一邻居节点集中采样出k个邻居节点，作为所述采样邻居节点集。
根据一种实施方式，稀疏关系网络图包括具有标签的标注节点；所述基于所述稀疏关系网络图，训练图神经网络，包括：利用所述图神经网络，对所述稀疏关系网络图进行图嵌入，得到所述标注节点的节点嵌入向量；根据所述节点嵌入向量和所述标签，确定所述图神经网络的对应的第一梯度；根据所述第一梯度，更新所述图神经网络。
在一个实施例中，根据所述第一梯度，更新所述图神经网络，具体包括：利用差分隐私的噪声机制，在所述第一梯度上添加噪声，得到第一噪声梯度；根据所述第一噪声梯度，更新所述图神经网络的参数。
进一步的，在一个例子中，通过以下方式得到第一噪声梯度：基于预设的裁剪阈值，对所述第一梯度进行裁剪，得到裁剪梯度；利用基于所述裁剪阈值确定的高斯分布，确定用于实现差分隐私的高斯噪声，其中，所述高斯分布的方差与所述裁剪阈值的平方正相关；将所述高斯噪声与所述裁剪梯度叠加，得到所述第一噪声梯度。
在一个实施例中，对所述稀疏关系网络图进行图嵌入，得到所述标注节点的节点嵌入向量，具体包括：获取所述标注节点在所述稀疏关系网络图中的邻居节点，作为目标邻居节点；确定各目标邻居节点的聚合权重，所述聚合权重基于所述标注节点与各目标邻居节点的所述匹配度而确定；根据所述聚合权重，对所述各目标邻居节点的节点信息进行聚合，得到所述标注节点的节点嵌入向量。
进一步的，在一个例子中，确定各目标邻居节点的聚合权重，具体包括：获取各目标邻居节点被采样时的采样概率，所述采样概率利用Gumbel-softmax函数，基于各目标邻居节点与所述标注节点的所述匹配度而确定；根据所述采样概率，确定各目标邻居节点的聚合权重。
根据一种实施方式，基于所述稀疏关系网络图，训练图神经网络，还包括：根据所述节点嵌入向量和所述标签，确定所述多层神经网络对应的第二梯度；根据所述第二梯度，更新所述多层神经网络。
进一步地，可以利用差分隐私的方式，在所述第一梯度上添加第一噪声，得到第一噪声梯度；根据所述第一噪声梯度，更新所述图神经网络的参数；并且，利用差分隐私的方式，在所述第二梯度上添加第二噪声，得到第二噪声梯度；根据所述第二噪声梯度，更新所述多层神经网络的参数。
在各个实施例中，关系网络图中的多个节点可以包括以下中的至少一个：用户节点，商户节点，物品节点。
根据第二方面，提供了一种基于隐私保护训练图神经网络的装置，包括：
原始图获取单元，配置为获取原始关系网络图，其中包括多个节点，所述多个节点中任意的第一节点，具有对应的第一邻居节点集；
匹配度获取单元，配置为对于所述第一邻居节点集中任意的第二节点，将该第二节点的节点信息，所述第一节点的节点信息，该第二节点与所述第一节点的连接信息输入多层神经网络，得到该第二节点与所述第一节点的匹配度；
采样单元，配置为根据所述第一邻居节点集中各个邻居节点分别对应的匹配度，对所述第一邻居节点集进行采样，得到第一节点的采样邻居节点集；
稀疏图形成单元，配置为基于所述多个节点各自对应的采样邻居节点集，形成稀疏关系网络图；
训练单元，配置为基于所述稀疏关系网络图，训练图神经网络。
根据第三方面，提供了一种计算机可读存储介质，其上存储有计算机程序，当所述计算机程序在计算机中执行时，令计算机执行第一方面的方法。
根据第四方面，提供了一种计算设备，包括存储器和处理器，其特征在于，所述存储器中存储有可执行代码，所述处理器执行所述可执行代码时，实现第一方面的方法。
通过本说明书实施例提供的方法和装置，利用多层神经网络确定出的节点间的匹配度，对原始关系网络图中的邻居节点进行采样，得到稀疏关系网络图。基于采样出的稀疏关系网络图，训练图神经网络。由于稀疏关系网络图仅包含从原始关系网络图中采样出的部分连接边，基于如此训练的图神经网络难以反推出原始关系网络图中的准确图结构信息，从而保护了原始关系网络图的数据隐私。并且，可选的，在采样阶段和/或梯度传播阶段，可以引入差分隐私机制，从而为图神经网络的训练引入一定的随机性。通过引入差分隐私机制，在保证图神经网络的基本性能的基础上，进一步增强了原始关系网络图的隐私数据安全性。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
图1示出了根据本说明书技术构思的训练图神经网络的架构示意图；
图2示出根据一个实施例的基于隐私保护训练图神经网络的方法流程图；
图3示出关系网络图的示例性呈现；
图4示出在一个实施例中基于稀疏关系网络图训练图神经网络的步骤流程；
图5示出根据一个实施例的图神经网络的训练装置的示意性框图。
具体实施方式
下面结合附图，对本说明书提供的方案进行描述。
如前所述，图神经网络一般基于关系网络图进行训练。关系网络图是对现实世界中实体之间的关系的描述，一般可以表示为一个节点集合和一个边集合，节点表示现实世界中的实体，边表示现实世界中实体之间的联系。例如，在社交网络中，人就是实体，人和人之间的关系或联系就是边。关系网络图一般通过对大量用户相关数据进行采集和整理而形成，因此，往往包含用户的隐私数据。例如，社交网络图中会包含用户之间的社交互动记录等等。
基于一个特定的关系网络图训练好图神经网络之后，该图神经网络就可以用于预测与图中节点和/或边有关的任务，例如，预测节点之间的关系，预测节点的分类，等等。由于是基于关系网络图进行训练，该图神经网络中会携带有关系网络图的信息。因此，如果该图神经网络的模型参数保护不当，出现模型参数泄露或被窃取，那么相应的，用于训练图神经网络的关系网络图数据，也存在泄露的风险。
基于以上考虑，发明人提出了本说明书中的若干实施例的方案，其中通过对原关系网络图进行采样，使之稀疏化，并基于稀疏化的关系网络图，来训练图神经网络，从而达到保护原图隐私的效果。
图1示出了根据本说明书技术构思的训练图神经网络的架构示意图。如图1所示，首先获取原始关系网络图100。该原始关系网络图100可以是反映各种关联关系的网络图。一般地，原始关系网络图是比较稠密的图，其中的大部分节点都会存在较多数量的连接边，例如几十条连接边。通过连接边连接的节点，可称为邻居节点。于是，每个节点具有对应的邻居节点集。
针对原始关系网络图100中的各个节点，将其与邻居节点共同输入到多层神经网络10中。该多层神经网络10用于预测，输入的两个节点之间的匹配度。接着，可以根据存在连接边的节点之间的匹配度，对这些连接边进行采样，或者说，对邻居节点集中的邻居节点进行采样。通过采样，仅有部分连接边保留下来，从而将原始关系网络图进行稀疏化，得到稀疏关系网络图200。
于是，可以将稀疏关系网络图200输入到图神经网络20中，用于训练图神经网络20。由于稀疏关系网络图200仅包含原始关系网络图中的部分信息，通过如此训练的图神经网络难以反推出原始关系网络图中的准确图结构信息，从而保护了原始关系网络图的数据隐私。并且，通过以上的稀疏化，还能够加快图神经网络的训练速度，且使得如此得到的图神经网络具有更强的鲁棒性。
进一步的，还可以在以上训练过程中，引入差分隐私机制。例如，可以在采样阶段，通过差分隐私的指数机制确定某条连接边的采样概率，从而为采样过程引入一定的随机性。也可以在利用稀疏图来训练图神经网络的过程中，通过差分隐私的噪声机制，在反向传播的梯度中引入一定的噪声，从而为模型参数的确定引入一定的随机性。通过引入差分隐私机制，在保证图神经网络的基本性能的基础上，使得基于图神经网络更加难以推断出原始关系网络图的图信息，从而进一步保护了隐私数据安全。
下面描述以上构思的具体实现过程。
图2示出根据一个实施例的基于隐私保护训练图神经网络的方法流程图。可以理解，该方法可以通过任何具有计算、处理能力的装置、设备、平台、设备集群来执行。下面结合图1所示的实施架构和图2所示的方法流程，描述基于隐私保护的图神经网络的训练过程。
如图2所示，首先在步骤21，获取原始关系网络图。
在不同实施例中，原始关系网络图可以是反映各种关联关系的网络图。例如，在一个示例中，原始关系网络图为社交关系图，其中包含大量节点，每个节点代表一个用户；节点之间的连接边代表对应两个用户之间的社交联系行为，例如，通话、短信、其他社交互动。在另一示例中，原始关系网络图是反映用户行为习惯的异构图。在这样的异构图中，可以包含多种不同种类的节点，例如，除了包含用户节点，还可以包含商户节点，物品节点。当用户访问或者购买了某类物品(例如，看了某个电影，读了某本书，等等)，或者，用户在某个商户进行了交易，可以在相应节点之间建立连接边。关系网络图的具体示例不胜枚举，在此不一一举例描述。
在许多场景下，原始关系网络图中节点数量巨大，例如社交关系图中节点数可达几千万甚至上亿的量级；节点之间的连接关系一般也比较复杂，大部分节点都会有较多数量的连接边，例如几十条甚至上百条连接边。因此，原始关系网络图往往是比较稠密的图。
图3示出关系网络图的示例性呈现，其中左侧(a)部分示出原始关系网络图的示例。可以看到，节点之间的连接边的数量巨大，连接关系复杂而密集。
为此，根据本说明书的实施例，接下来要对上述稠密的原始关系网络图进行稀疏化。为了描述的简单和清楚，下面结合原始关系网络图中任意一个节点u进行描述，下文将其称为第一节点。相应的，通过连接边与第一节点相连接的节点，为第一节点u的邻居节点，这些邻居节点构成第一节点u的邻居节点集，称为第一邻居节点集，记为Nu。在关系网络图为有向图的情况下，第一邻居节点集可以根据需要，定义为指向第一节点的节点集合，或者，第一节点所指向的节点集合，或者以上两者。
接着，在步骤22，对于以上第一邻居节点集Nn中任意一个邻居节点v(称为第二节点)，将该第二节点v的节点信息N(v)，第一节点的节点信息N(u)，该第二节点v与第一节点u的连接信息A(u，v)输入多层神经网络10，得到该第二节点与第一节点的匹配度zu，v。该多层神经网络10可以实现为，例如多层感知机MLP，深度前馈神经网络DNN，多层卷积神经网络CNN等等。在实现为多层感知机MLP的情况下，以上匹配度zu，v可以表示为：
zu，υ＝MLP(N(u)，N(v)，A(u，v))
(1)
需要说明的是，以上节点信息N(u)和N(v)，根据节点自身代表的对象所具有的属性而确定。例如，在节点代表用户的情况下，N(u)可以包含用户u的基本属性信息，例如性别，年龄，注册时长，等等。A(u，v)可以根据原始关系网络图中，第一节点u和第二节点v之间的连接边的信息而确定。例如，在社交关系图中，连接边对应于社交互动；A(u，v)包含用户u和用户v之间社交互动的频次和/或方式信息。在一个实施例中，节点信息N(u)和N(v)，以及连接信息A(u，v)均编码为向量的形式，输入到多层神经网络。经过多层神经网络的运算，得到第一节点u和第二节点v的匹配度zu，v。
然后，在步骤23，根据第一邻居节点集Nu中各个邻居节点分别对应的匹配度，对第一邻居节点集进行采样，得到第一节点的采样邻居节点集。
在一个实施例中，多层神经网络所输出的匹配度zu，v本身，是在(0，1)范围内的数值。在这样的情况下，可以将各个邻居节点对应的匹配度作为匹配概率Pu，v，依据该匹配概率进行采样。
在另一实施例中，多层神经网络所输出的匹配度，是数值不限于(0，1)范围的匹配程度打分。在这样的情况下，可以首先将各个邻居节点分别对应的匹配度进行归一化，得到对应的匹配概率Pu，v；然后根据该匹配概率，对各个邻居节点进行采样。例如，可以依据各个节点的匹配概率，进行k次采样，得到k个邻居节点，作为第一节点的采样邻居节点集。
根据一种实施方式，在对邻居节点进行采样时，引入差分隐私的隐私保护机制，从而在采样过程引入一定随机性，增强隐私保护效果。
具体的，对于第一节点u及其任意邻居节点，例如第二节点v来说，可以基于差分隐私的指数机制，根据隐私预算∈，以及之前得到的第二节点v与第一节点u的匹配度zu，v，确定第二节点v被采样的采样概率πu，υ，称为第一采样概率。
在一个例子中，上述第一采样概率πu，v可以通过以下方式确定：
Figure BDA0003220717850000091
在以上公式(2)中，∈为隐私预算，Nu为第一节点u的邻居节点集，Δu为敏感度，表示对于相邻数据集进行函数运算时函数值(这里是匹配度)的最大差异。在多层神经网络输出的匹配度取值为(-1，1)的情况下，Δu取值为2。以上公式(2)表明，根据第一采样概率进行采样时，第二节点被采样的概率，与其和第一节点的匹配度zu，v正相关，且正相关于上述隐私运算∈。
通过对第一邻居节点集Nn中各个邻居节点进行上述公式的运算，可以得到各个邻居节点对应的第一采样概率。于是，可以根据第一邻居节点集Nn中各个邻居节点分别对应的第一采样概率，对各个邻居节点进行采样。
在一个具体示例中，可以预先设定稀疏图中每个节点的最大邻居节点数目k。相应的，在执行原图采样过程时，可以针对任意的第一节点u，根据上述第一采样概率πu，υ，执行k次采样，每次采样从第一邻居节点集Nu中采样出一个邻居节点，如此，从第一邻居节点集中采样出k个邻居节点，作为采样邻居节点集。当然，在特殊情况下，如果第一邻居节点集中原本的节点数目就不大于k，那么可以直接将原始的第一邻居节点集作为采样邻居节点集。该示例方案的优势在于，不管原始关系网络图有多稠密，都可以确保最终得到的稀疏关系图中各个节点的邻居节点数不超过k。
在另一具体示例中，可以预先设定稀疏图相对于原始图每个节点的采样比例r，例如20％。相应的，在执行原图采样过程时，针对任意的第一节点u，首先根据其第一邻居节点集Nu中节点的数目和上述采样比例r，确定出有待采样出的节点数目k。然后，根据上述第一采样概率πu，υ，执行k次采样，每次采样从第一邻居节点集Nn中采样出一个邻居节点，如此，从第一邻居节点集中采样出k个邻居节点，作为采样邻居节点集。通过这样的方式，不管原始关系网络图中各个节点的邻居节点数如何，都可以按照预定的比例进行采样和压缩，确保每个节点采样后的邻居节点集不同于原始邻居节点集。
进一步地，根据一种实施方式，为了更有利于多层神经网络和图神经网络联合训练时，梯度的有效反向传播，采用更有利于梯度求导的形式确定采样概率。具体的，在通过上述公式(2)求得第一采样概率πu，v的基础上，可以将各个邻居节点分别对应的第一采样概率输入Gumbel-softmax函数，得到各个邻居节点分别对应的第二采样概率xu，υ；然后根据各个邻居节点分别对应的第二采样概率xu，υ对各个邻居节点进行采样。
具体的，在一个示例中，可以通过以下公式(3)，基于第一采样概率πu，v确定第二采样概率xu，v；
Figure BDA0003220717850000111
∈υ＝-log(-log(s)) (3)
以上公式(3)中，s随机从(0，1)中采样选取。
基于第二采样概率进行邻居采样时，类似的，可以执行预定数目k次采样，从而从第一邻居节点集中采样出k个邻居节点，作为采样邻居节点集。或者，基于预定采样比例r进行采样。此处不再赘述。
通过对原始关系网络图中各个节点执行上述步骤22和23，可以得到各自对应的采样邻居节点集。于是，在步骤24，基于各个节点各自对应的采样邻居节点集，可以形成稀疏关系网络图。
图3右侧(b)部分示出对左侧的原始关系网络图进行采样后得到的稀疏关系网络图。可以直观看到，相对于原始关系网络图，稀疏关系网络图中连接边的数目大大减少，节点之间的连接关系极大地简化。
接下来，在步骤25，基于以上得到的稀疏关系网络图，训练图神经网络。
训练图神经网络的具体过程可以有多种实施方式。从随机性的角度，实施方式可以包括，基于原始梯度进行严格训练的方式，以及，基于差分隐私机制对梯度引入噪声的近似训练的方式；从联合训练的角度，实施方式又可以划分为，与多层神经网络各自单独训练的方式，以及与多层神经网络联合训练的实施方式。下面结合基于标注节点进行训练的典型过程，描述以上不同角度的实施例，以及组合出的实施例。
在典型的图神经网络训练中，可以对其中的部分节点进行标注，使之具有与预测任务对应的标签。例如，当预测任务是，基于用户社交关系图，预测用户的交易风险时，可以对社交关系图中风险状态已知的部分用户赋予标签，该标签示出其真实风险状况。在不同例子中，标签可以是分类标签(例如，高风险，中风险，低风险的类别)，也可以是数值标签(例如，具体风险分数)。标签与基于图神经网络执行的后续预测任务相关。通过图神经网络对标注节点的嵌入向量进行表征学习，可以对状态未知的无标签节点进行预测。
图4示出在一个实施例中基于稀疏关系网络图训练图神经网络的步骤流程，即上述步骤25的子步骤的一个示例。图4的训练方式基于标注节点进行，也就是说，在稀疏关系网络图中，包含具有标签的标注节点x，该节点具有标注的标签y。
如图4所示，在步骤251，利用图神经网络，对前述得到的稀疏关系网络图进行图嵌入，得到标注节点x的节点嵌入向量Ex。不同图神经网络会采用不同的算法进行图嵌入，得到各个节点的节点嵌入向量，有些图神经网络还会得到图中边的边嵌入向量。尽管具体算法有所不同，但是一般地，图神经网络在进行图嵌入时，针对待分析的目标节点，都会获取该目标节点的邻居节点的信息，并对邻居节点信息进行聚合，从而确定该目标节点的嵌入向量。当将标注节点x作为目标节点，可以得到其对应的节点嵌入向量Ex。
然后，在步骤252，根据节点嵌入向量Ex和标签y，确定图神经网络的对应的第一梯度。一般地，可以基于节点嵌入向量Ex，针对与标签对应的任务进行预测，得到预测结果y’。然后，基于预测结果y’和标签y，根据预设损失函数，得到预测损失L；接着，将预测损失L在图神经网络中反向传播，即从图神经网络从后向前的网络层方向，求取预测损失相对于各网络层的网络参数的偏导，得到图神经网络对应的第一梯度。
接着，在步骤253，根据上述第一梯度，更新图神经网络，即更新其中的网络参数。
以上描述了基于稀疏关系网络图中的标注节点，对图神经网络进行更新的基本步骤。下面描述基于以上基本步骤的各种实施方式。
如前所述，从随机性的角度，实施方式可以包括严格训练的实施方式A和近似训练的实施方式B。
在实施方式A中，在步骤253，基于上述第一梯度的原始值，更新图神经网络的网络参数。假定在第t次迭代中，得到的第一梯度为gt，那么对第t轮的当前网络参数θt的更新可以表示为：
θt+1＝θt-ηtgt (4)
其中，ηt表示学习步长，或者说学习率，为预先设定的超参数；θt+1表示经过第t轮训练得到的更新后的网络参数。
在实施方式B中，在步骤253，则利用差分隐私的噪声机制，在第一梯度上添加噪声，得到第一噪声梯度；然后根据第一噪声梯度，更新图神经网络的参数。
差分隐私的噪声机制，主要通过在查询结果中添加噪声而实现。噪声可以体现为拉普拉斯噪声，高斯噪声，等等。根据一个实施例，在该步骤253中，通过在梯度中添加高斯噪声，实现差分隐私。更具体的，可以首先基于预设的裁剪阈值，对上述第一梯度进行裁剪，得到裁剪梯度；然后利用基于裁剪阈值确定的高斯分布，确定用于实现差分隐私的高斯噪声，其中，高斯分布的方差与裁剪阈值的平方正相关；然后，可以将上述高斯噪声与裁剪梯度叠加，得到第一噪声梯度。
更具体的，作为一个示例，假设在第t次迭代中，得到的第一梯度为gt。为了对其添加高斯噪声，可以基于预设的裁剪阈值，对原始梯度进行梯度裁剪，得到裁剪梯度，再基于该裁剪阈值和预定的噪声缩放系数(预先设定的超参)，确定用于实现差分隐私的高斯噪声，然后将裁剪梯度与高斯噪声融合(例如求和)，得到包含噪声的梯度。可以理解的是，此种方式一方面对原始梯度进行裁剪，另一方面将裁剪后的梯度叠加，从而对梯度进行满足高斯噪声的差分隐私处理。
例如，将原始梯度gt进行梯度裁剪为：
Figure BDA0003220717850000141
其中，
Figure BDA0003220717850000142
表示裁剪后的梯度，C表示裁剪阈值，‖gt‖2表示gt的二阶范数。也就是说，在梯度小于或等于裁剪阈值C的情况下，保留原始梯度，而梯度大于裁剪阈值C的情况下，将原始梯度按照大于裁剪阈值C的比例裁剪到相应大小。
为裁剪后的梯度添加高斯噪声，得到包含噪声的梯度，例如为：
Figure BDA0003220717850000143
其中，
Figure BDA0003220717850000144
表示包含噪声的梯度；
Figure BDA0003220717850000145
表示概率密度符合以0为均值、σ2C2I为方差的高斯分布的高斯噪声；σ表示上述噪声缩放系数，为预先设定的超参，可以按需设定；C为上述裁剪阈值；I表示指示函数，可以取0或1，比如，可以设定在多轮训练中的偶数轮次取1，而奇数轮次取0。
于是，可以使用添加高斯噪声后的梯度，即第一噪声梯度，以最小化预测损失L为目标，将图神经网络的网络参数调整为：
Figure BDA0003220717850000146
在梯度添加的高斯噪声满足差分隐私的情况下，网络参数的调整满足差分隐私。如此，基于差分隐私的噪声机制，为图神经网络的更新引入一定随机性，在隐私保护在模型性能之间取得较好的平衡。
另一方面，从是否联合训练的角度，实施方式又可以包括单独训练的实施方式a和联合训练的实施方式b。
在实施方式a中，图1中的多层神经网络10是预先训练好的神经网络，具有固定的网络参数Θ1。训练方式可以是，预先标注节点之间的匹配度作为标签，对多层神经网络10进行训练。相应的，步骤251中通过图嵌入得到的嵌入向量Ex，仅仅是图神经网络20的网络参数Θ2的函数。后续，仅需要在步骤252确定出针对Θ2的第一梯度，并在步骤253，针对Θ2进行参数更新即可。
在实施方式b中，多层神经网络10和图神经网络20联合训练。二者的网络参数Θ1和Θ2，通过步骤251的图嵌入过程关联在一起。具体的，对于标注节点x来说，在步骤251，首先获取其在稀疏关系网络图中的邻居节点，作为目标邻居节点，然后确定各目标邻居节点的聚合权重w，其中聚合权重w基于标注节点x与各目标邻居节点i的匹配度zx,i而确定。接着，根据聚合权重w，对各目标邻居节点的节点信息进行聚合，得到标注节点x的节点嵌入向量Ex。如此，节点嵌入向量Ex不仅取决于图神经网络的网络参数Θ2，还通过聚合权重w依赖于匹配度zx,i，而匹配度zx,i是由多层神经网络10输出的，是网络参数Θ1的函数，因此，节点嵌入向量Ex是网络参数Θ1和Θ2共同的函数。相应的，根据节点嵌入向量Ex和标签y确定出的预测损失L，也是网络参数Θ1和Θ2共同的函数。
在这样的情况下，在步骤252确定出用于网络参数Θ2的第一梯度后，还将预测损失(根据节点嵌入向量Ex和标签而确定)继续反向传播至多层神经网络10，确定出多层神经网络10对应的第二梯度；然后，根据第二梯度，更新多层神经网络10中的网络参数Θ1，实现多层神经网络10和图神经网络20的联合训练。
以上根据匹配度zx,i确定聚合权重w，可以有多种实施方式。在一个例子中，可以将归一化后的匹配度作为聚合权重。在另一例子中，可以获取目标邻居节点被采样时的第一采样概率，该第一采样概率利用公式(2)确定，然后根据第一采样概率确定聚合权重w。在又一例子中，可以获取各目标邻居节点被采样时的第二采样概率，该第二采样概率利用Gumbel-softmax函数，基于各目标邻居节点与标注节点的匹配度而确定。例如，第二采样概率可以利用前述公式(3)确定。然后根据该第二采样概率，确定各目标邻居节点的聚合权重w。Gumbel-softmax函数的形式更便于梯度求导，从而更有利于从图神经网络20向多层神经网络10的梯度传播。
以上从两个不同角度，随机性角度和联合训练角度，描述了图神经网络训练过程的不同实施方式。由于这两个角度互相独立，因此，以上的实施方式A，B与实施方式a，b可以进行多种组合，得到更多具体实施例。
当实施方式B和实施方式b相组合，即，在联合训练的情况下引入差分隐私机制时，在一个例子中，可以在用于图神经网络20的第一梯度和用于多层神经网络10的第二梯度上均添加噪声。具体的，可以利用差分隐私的方式，在第一梯度上添加第一噪声，得到第一噪声梯度；根据第一噪声梯度，更新图神经网络的参数；此外，利用差分隐私的方式，在第二梯度上添加第二噪声，得到第二噪声梯度；根据该第二噪声梯度，更新多层神经网络的参数。噪声的添加过程可以参见前述对实施方式B的描述，在此不再赘述。在另一例子中，也可以仅针对第一梯度和第二梯度之一添加噪声。
回顾以上过程，通过多种方式，基于采样出的稀疏关系网络图，训练得到图神经网络。由于稀疏关系网络图仅包含从原始关系网络图中采样出的部分连接边，基于如此训练的图神经网络难以反推出原始关系网络图中的准确图结构信息，从而保护了原始关系网络图的数据隐私。并且，可选的，在采样阶段和/或梯度传播阶段，可以引入差分隐私机制，从而为图神经网络的训练引入一定的随机性。通过引入差分隐私机制，在保证图神经网络的基本性能的基础上，进一步增强了原始关系网络图的隐私数据安全性。
根据另一方面的实施例，还提供一种基于隐私保护训练图神经网络的装置，该装置可以部署在任何具有计算、处理能力的装置、设备、平台、设备集群中。图5示出根据一个实施例的图神经网络的训练装置的示意性框图。
如图5所示，训练装置500包括：
原始图获取单元51，配置为获取原始关系网络图，其中包括多个节点，所述多个节点中任意的第一节点，具有对应的第一邻居节点集；
匹配度获取单元52，配置为对于所述第一邻居节点集中任意的第二节点，将该第二节点的节点信息，所述第一节点的节点信息，该第二节点与所述第一节点的连接信息输入多层神经网络，得到该第二节点与所述第一节点的匹配度；
采样单元53，配置为根据所述第一邻居节点集中各个邻居节点分别对应的匹配度，对所述第一邻居节点集进行采样，得到第一节点的采样邻居节点集；
稀疏图形成单元54，配置为基于所述多个节点各自对应的采样邻居节点集，形成稀疏关系网络图；
训练单元55，配置为基于所述稀疏关系网络图，训练图神经网络。
根据一种实施方式，所述采样单元53配置为：将所述各个邻居节点分别对应的匹配度进行归一化，得到对应的匹配概率；根据所述匹配概率，对所述各个邻居节点进行采样。
根据另一实施方式，所述采样单元53包括(未示出)：
第一概率确定模块，配置为基于差分隐私的指数机制，根据第一隐私预算，以及所述第二节点与所述第一节点的匹配度，确定所述第二节点被采样的第一采样概率；
邻居采样模块，配置为根据所述第一邻居节点集中各个邻居节点分别对应的第一采样概率，对所述各个邻居节点进行采样。
进一步的，在一个实施例中，所述邻居采样模块配置为：根据所述第一采样概率，执行预定数目k次采样，从所述第一邻居节点集中采样出k个邻居节点，作为所述采样邻居节点集。
在另一实施例中，所述邻居采样模块配置为：将各个邻居节点分别对应的第一采样概率输入Gumbel-softmax函数，得到各个邻居节点分别对应的第二采样概率；根据所述各个邻居节点分别对应的第二采样概率，对所述各个邻居节点进行采样。
更进一步的，所述邻居采样模块可以根据所述第二采样概率，执行预定数目k次采样，从所述第一邻居节点集中采样出k个邻居节点，作为所述采样邻居节点集。
根据一种实施方式，所述稀疏关系网络图包括具有标签的标注节点；所述训练单元55包括(未示出)：
图嵌入模块，配置为利用所述图神经网络，对所述稀疏关系网络图进行图嵌入，得到所述标注节点的节点嵌入向量；
第一梯度确定模块，配置为根据所述节点嵌入向量和所述标签，确定所述图神经网络的对应的第一梯度；
第一更新模块，配置为根据所述第一梯度，更新所述图神经网络。
在一个实施例中，所述第一更新模块配置为：利用差分隐私的噪声机制，在所述第一梯度上添加噪声，得到第一噪声梯度；根据所述第一噪声梯度，更新所述图神经网络的参数。
进一步的，在一个例子中，第一更新模块具体配置为：基于预设的裁剪阈值，对所述第一梯度进行裁剪，得到裁剪梯度；利用基于所述裁剪阈值确定的高斯分布，确定用于实现差分隐私的高斯噪声，其中，所述高斯分布的方差与所述裁剪阈值的平方正相关；将所述高斯噪声与所述裁剪梯度叠加，得到所述第一噪声梯度。
在一个实施例中，所述图嵌入模块配置为：获取所述标注节点在所述稀疏关系网络图中的邻居节点，作为目标邻居节点；确定各目标邻居节点的聚合权重，所述聚合权重基于所述标注节点与各目标邻居节点的所述匹配度而确定；根据所述聚合权重，对所述各目标邻居节点的节点信息进行聚合，得到所述标注节点的节点嵌入向量。
进一步的，在一个例子中，所述图嵌入模块配置为，通过以下方式确定各目标邻居节点的聚合权重：获取各目标邻居节点被采样时的采样概率，所述采样概率利用Gumbel-softmax函数，基于各目标邻居节点与所述标注节点的所述匹配度而确定；根据所述采样概率，确定各目标邻居节点的聚合权重。
根据一种实施方式，训练单元55还包括：
第二梯度确定模块，配置为根据所述节点嵌入向量和所述标签，确定所述多层神经网络对应的第二梯度；
第二更新模块，配置为根据所述第二梯度，更新所述多层神经网络。
进一步的，在一个实施例中，所述第一更新模块配置为：利用差分隐私的方式，在所述第一梯度上添加第一噪声，得到第一噪声梯度；根据所述第一噪声梯度，更新所述图神经网络的参数；并且，所述第二更新模块配置为：利用差分隐私的方式，在所述第二梯度上添加第二噪声，得到第二噪声梯度；根据所述第二噪声梯度，更新所述多层神经网络的参数。
在各个实施例中，原始关系网络图中的多个节点可以包括以下中的至少一个：用户节点，商户节点，物品节点。
值得说明的是，图5所示的装置500是与图2示出的方法实施例相对应的装置实施例，图2示出的方法实施例中的相应描述同样适用于装置500，在此不再赘述。
通过以上装置500训练得到的图神经网络，可以有效保护原图数据隐私安全。
根据又一方面的实施例，还提供一种计算机可读存储介质，其上存储有计算机程序，当所述计算机程序在计算机中执行时，令计算机执行结合图2所描述的方法。
根据再一方面的实施例，还提供一种计算设备，包括存储器和处理器，所述存储器中存储有可执行代码，所述处理器执行所述可执行代码时，实现结合图2所述的方法。
本领域技术人员应该可以意识到，在上述一个或多个示例中，本说明书实施例所描述的功能可以用硬件、软件、固件或它们的任意组合来实现。当使用软件实现时，可以将这些功能存储在计算机可读介质中或者作为计算机可读介质上的一个或多个指令或代码进行传输。
以上所述的具体实施方式，对本说明书的技术构思的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本说明书的技术构思的具体实施方式而已，并不用于限定本说明书的技术构思的保护范围，凡在本说明书实施例的技术方案的基础之上，所做的任何修改、等同替换、改进等，均应包括在本说明书的技术构思的保护范围之内。

Claims (15)

1.一种基于隐私保护训练图神经网络的方法，包括：
获取原始关系网络图，其中包括多个节点，所述多个节点中任意的第一节点，具有对应的第一邻居节点集；
对于所述第一邻居节点集中任意的第二节点，将该第二节点的节点信息，所述第一节点的节点信息，该第二节点与所述第一节点的连接信息输入多层神经网络，得到该第二节点与所述第一节点的匹配度；
根据所述第一邻居节点集中各个邻居节点分别对应的匹配度，对所述第一邻居节点集进行采样，得到第一节点的采样邻居节点集；
基于所述多个节点各自对应的采样邻居节点集，形成稀疏关系网络图；
基于所述稀疏关系网络图，训练图神经网络以及所述多层神经网络。
2.根据权利要求1所述的方法，其中，根据所述第一邻居节点集中各个邻居节点分别对应的匹配度，对所述第一邻居节点集进行采样，包括：
将所述各个邻居节点分别对应的匹配度进行归一化，得到对应的匹配概率；
根据所述匹配概率，对所述各个邻居节点进行采样。
3.根据权利要求1所述的方法，其中，根据所述第一邻居节点集中各个邻居节点分别对应的匹配度，对所述第一邻居节点集进行采样，包括：
基于差分隐私的指数机制，根据第一隐私预算，以及所述第二节点与所述第一节点的匹配度，确定所述第二节点被采样的第一采样概率；
根据所述第一邻居节点集中各个邻居节点分别对应的第一采样概率，对所述各个邻居节点进行采样。
4.根据权利要求3所述的方法，其中，根据所述第一邻居节点集中各个邻居节点分别对应的第一采样概率，对所述各个邻居节点进行采样，包括：
根据所述第一采样概率，执行预定数目k次采样，从所述第一邻居节点集中采样出k个邻居节点，作为所述采样邻居节点集。
5.根据权利要求3所述的方法，其中，根据所述第一邻居节点集中各个邻居节点分别对应的第一采样概率，对所述各个邻居节点进行采样，包括：
将各个邻居节点分别对应的第一采样概率输入Gumbel-softmax函数，得到各个邻居节点分别对应的第二采样概率；
根据所述各个邻居节点分别对应的第二采样概率，对所述各个邻居节点进行采样。
6.根据权利要求5所述的方法，其中，根据所述各个邻居节点分别对应的第二采样概率，对所述各个邻居节点进行采样，包括：
根据所述第二采样概率，执行预定数目k次采样，从所述第一邻居节点集中采样出k个邻居节点，作为所述采样邻居节点集。
7.根据权利要求1所述的方法，其中，所述稀疏关系网络图包括具有标签的标注节点；
所述基于所述稀疏关系网络图，训练图神经网络以及所述多层神经网络，包括：
利用所述图神经网络，对所述稀疏关系网络图进行图嵌入，得到所述标注节点的节点嵌入向量；
根据所述节点嵌入向量和所述标签，确定所述图神经网络的对应的第一梯度，以及所述多层神经网络对应的第二梯度；
根据所述第一梯度，更新所述图神经网络；
根据所述第二梯度，更新所述多层神经网络。
8.根据权利要求7所述的方法，其中，根据所述第一梯度，更新所述图神经网络，包括：
利用差分隐私的噪声机制，在所述第一梯度上添加噪声，得到第一噪声梯度；
根据所述第一噪声梯度，更新所述图神经网络的参数。
9.根据权利要求8所述的方法，其中，利用差分隐私的噪声机制，在所述第一梯度上添加噪声，得到第一噪声梯度，包括：
基于预设的裁剪阈值，对所述第一梯度进行裁剪，得到裁剪梯度；
利用基于所述裁剪阈值确定的高斯分布，确定用于实现差分隐私的高斯噪声，其中，所述高斯分布的方差与所述裁剪阈值的平方正相关；
将所述高斯噪声与所述裁剪梯度叠加，得到所述第一噪声梯度。
10.根据权利要求7所述的方法，其中，利用所述图神经网络，对所述稀疏关系网络图进行图嵌入，得到所述标注节点的节点嵌入向量，包括：
获取所述标注节点在所述稀疏关系网络图中的邻居节点，作为目标邻居节点；
确定各目标邻居节点的聚合权重，所述聚合权重基于所述标注节点与各目标邻居节点的所述匹配度而确定；
根据所述聚合权重，对所述各目标邻居节点的节点信息进行聚合，得到所述标注节点的节点嵌入向量。
11.根据权利要求10所述的方法，其中，确定各目标邻居节点的聚合权重，包括：
获取各目标邻居节点被采样时的采样概率，所述采样概率利用Gumbel-softmax函数，基于各目标邻居节点与所述标注节点的所述匹配度而确定；
根据所述采样概率，确定各目标邻居节点的聚合权重。
12.根据权利要求7所述的方法，其中，
根据所述第一梯度，更新所述图神经网络，包括：利用差分隐私的方式，在所述第一梯度上添加第一噪声，得到第一噪声梯度；根据所述第一噪声梯度，更新所述图神经网络的参数；
根据所述第二梯度，更新所述多层神经网络，包括：利用差分隐私的方式，在所述第二梯度上添加第二噪声，得到第二噪声梯度；根据所述第二噪声梯度，更新所述多层神经网络的参数。
13.根据权利要求1所述的方法，其中，所述多个节点包括以下中的至少一个：用户节点，商户节点，物品节点。
14.一种基于隐私保护训练图神经网络的装置，包括：
原始图获取单元，配置为获取原始关系网络图，其中包括多个节点，所述多个节点中任意的第一节点，具有对应的第一邻居节点集；
匹配度获取单元，配置为对于所述第一邻居节点集中任意的第二节点，将该第二节点的节点信息，所述第一节点的节点信息，该第二节点与所述第一节点的连接信息输入多层神经网络，得到该第二节点与所述第一节点的匹配度；
采样单元，配置为根据所述第一邻居节点集中各个邻居节点分别对应的匹配度，对所述第一邻居节点集进行采样，得到第一节点的采样邻居节点集；
稀疏图形成单元，配置为基于所述多个节点各自对应的采样邻居节点集，形成稀疏关系网络图；
训练单元，配置为基于所述稀疏关系网络图，训练图神经网络以及所述多层神经网络。
15.一种计算设备，包括存储器和处理器，其特征在于，所述存储器中存储有可执行代码，所述处理器执行所述可执行代码时，实现权利要求1-13中任一项所述的方法。
CN202110957071.0A 2021-01-27 2021-01-27 基于隐私保护训练图神经网络的方法及装置 Active CN113536383B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110957071.0A CN113536383B (zh) 2021-01-27 2021-01-27 基于隐私保护训练图神经网络的方法及装置

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202110957071.0A CN113536383B (zh) 2021-01-27 2021-01-27 基于隐私保护训练图神经网络的方法及装置
CN202110109491.3A CN112464292B (zh) 2021-01-27 2021-01-27 基于隐私保护训练图神经网络的方法及装置

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN202110109491.3A Division CN112464292B (zh) 2021-01-27 2021-01-27 基于隐私保护训练图神经网络的方法及装置

Publications (2)

Publication Number Publication Date
CN113536383A true CN113536383A (zh) 2021-10-22
CN113536383B CN113536383B (zh) 2023-10-27

Family

ID=74802376

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202110109491.3A Active CN112464292B (zh) 2021-01-27 2021-01-27 基于隐私保护训练图神经网络的方法及装置
CN202110957071.0A Active CN113536383B (zh) 2021-01-27 2021-01-27 基于隐私保护训练图神经网络的方法及装置

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN202110109491.3A Active CN112464292B (zh) 2021-01-27 2021-01-27 基于隐私保护训练图神经网络的方法及装置

Country Status (1)

Country Link
CN (2) CN112464292B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114491629A (zh) * 2022-01-25 2022-05-13 哈尔滨工业大学（深圳） 一种隐私保护的图神经网络训练方法及***
CN115081024A (zh) * 2022-08-16 2022-09-20 杭州金智塔科技有限公司 基于隐私保护的去中心化业务模型训练方法及装置
WO2023213233A1 (zh) * 2022-05-06 2023-11-09 墨奇科技（北京）有限公司 任务处理方法、神经网络的训练方法、装置、设备和介质

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113298116B (zh) * 2021-04-26 2024-04-02 上海淇玥信息技术有限公司 基于注意力权重的图嵌入特征提取方法、装置及电子设备
CN113190841A (zh) * 2021-04-27 2021-07-30 中国科学技术大学 一种使用差分隐私技术防御图数据攻击的方法
CN113095490B (zh) * 2021-06-07 2021-09-14 华中科技大学 一种基于差分隐私聚合的图神经网络构建方法及构建***
CN113361658B (zh) * 2021-07-15 2022-06-14 支付宝(杭州)信息技术有限公司 一种基于隐私保护的图模型训练方法、装置及设备
CN113642717B (zh) * 2021-08-31 2024-04-02 西安理工大学 一种基于差分隐私的卷积神经网络训练方法
CN113837382B (zh) * 2021-09-26 2024-05-07 杭州网易云音乐科技有限公司 图神经网络的训练方法和***

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090262664A1 (en) * 2008-04-18 2009-10-22 Bonnie Berger Leighton Method for identifying network similarity by matching neighborhood topology
CN103020163A (zh) * 2012-11-26 2013-04-03 南京大学 一种网络中基于节点相似度的网络社区划分方法
CN106302104A (zh) * 2015-06-26 2017-01-04 阿里巴巴集团控股有限公司 一种用户关系识别方法及装置
US20170140262A1 (en) * 2012-03-09 2017-05-18 Nara Logics, Inc. Systems and methods for providing recommendations based on collaborative and/or content-based nodal interrelationships
CN108022654A (zh) * 2017-12-20 2018-05-11 深圳先进技术研究院 一种基于隐私保护的关联规则挖掘方法、***及电子设备
CN109614975A (zh) * 2018-10-26 2019-04-12 桂林电子科技大学 一种图嵌入方法、装置及存储介质
US20190147188A1 (en) * 2017-11-16 2019-05-16 Microsoft Technology Licensing, Llc Hardware protection for differential privacy
CN110009093A (zh) * 2018-12-07 2019-07-12 阿里巴巴集团控股有限公司 用于分析关系网络图的神经网络***和方法
CN110866190A (zh) * 2019-11-18 2020-03-06 支付宝(杭州)信息技术有限公司 训练用于表征知识图谱的图神经网络模型的方法及装置
CN111091005A (zh) * 2019-12-20 2020-05-01 北京邮电大学 一种基于元结构的无监督异质网络表示学习方法
CN112085172A (zh) * 2020-09-16 2020-12-15 支付宝(杭州)信息技术有限公司 图神经网络的训练方法及装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10825219B2 (en) * 2018-03-22 2020-11-03 Northeastern University Segmentation guided image generation with adversarial networks

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090262664A1 (en) * 2008-04-18 2009-10-22 Bonnie Berger Leighton Method for identifying network similarity by matching neighborhood topology
US20170140262A1 (en) * 2012-03-09 2017-05-18 Nara Logics, Inc. Systems and methods for providing recommendations based on collaborative and/or content-based nodal interrelationships
CN103020163A (zh) * 2012-11-26 2013-04-03 南京大学 一种网络中基于节点相似度的网络社区划分方法
CN106302104A (zh) * 2015-06-26 2017-01-04 阿里巴巴集团控股有限公司 一种用户关系识别方法及装置
US20190147188A1 (en) * 2017-11-16 2019-05-16 Microsoft Technology Licensing, Llc Hardware protection for differential privacy
CN108022654A (zh) * 2017-12-20 2018-05-11 深圳先进技术研究院 一种基于隐私保护的关联规则挖掘方法、***及电子设备
CN109614975A (zh) * 2018-10-26 2019-04-12 桂林电子科技大学 一种图嵌入方法、装置及存储介质
CN110009093A (zh) * 2018-12-07 2019-07-12 阿里巴巴集团控股有限公司 用于分析关系网络图的神经网络***和方法
CN110866190A (zh) * 2019-11-18 2020-03-06 支付宝(杭州)信息技术有限公司 训练用于表征知识图谱的图神经网络模型的方法及装置
CN111091005A (zh) * 2019-12-20 2020-05-01 北京邮电大学 一种基于元结构的无监督异质网络表示学习方法
CN112085172A (zh) * 2020-09-16 2020-12-15 支付宝(杭州)信息技术有限公司 图神经网络的训练方法及装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
王婷婷;龙士工;丁红发;: "大型社交网络的差分隐私保护算法", 计算机工程与设计, no. 06 *
黄茜茜;蒋千越;蒋琳;熊圳天;: "基于差分隐私的社交网络隐私保护", 信息技术与网络安全, no. 06 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114491629A (zh) * 2022-01-25 2022-05-13 哈尔滨工业大学（深圳） 一种隐私保护的图神经网络训练方法及***
WO2023213233A1 (zh) * 2022-05-06 2023-11-09 墨奇科技（北京）有限公司 任务处理方法、神经网络的训练方法、装置、设备和介质
CN115081024A (zh) * 2022-08-16 2022-09-20 杭州金智塔科技有限公司 基于隐私保护的去中心化业务模型训练方法及装置

Also Published As

Publication number Publication date
CN112464292A (zh) 2021-03-09
CN113536383B (zh) 2023-10-27
CN112464292B (zh) 2021-08-20

Similar Documents

Publication Publication Date Title
CN112464292B (zh) 基于隐私保护训练图神经网络的方法及装置
Balle et al. Reconstructing training data with informed adversaries
Yu et al. Learning deep network representations with adversarially regularized autoencoders
US11522873B2 (en) Detecting network attacks
CN110941855B (zh) 一种AIoT场景下的神经网络模型窃取防御方法
Wang et al. Fusing heterogeneous data: A case for remote sensing and social media
He et al. Quantifying and mitigating privacy risks of contrastive learning
CN111444410B (zh) 一种基于知识图谱的关联交易挖掘识别方法及装置
Ding et al. Privacy-preserving feature extraction via adversarial training
CN115378733B (zh) 一种基于动态图嵌入的多步攻击场景构建方法及***
US20220269928A1 (en) Stochastic noise layers
WO2021012263A1 (en) Systems and methods for end-to-end deep reinforcement learning based coreference resolution
Rozsa et al. Improved adversarial robustness by reducing open space risk via tent activations
JP2020016935A (ja) 画像認識学習装置、画像認識装置、方法、及びプログラム
Huang Network Intrusion Detection Based on an Improved Long‐Short‐Term Memory Model in Combination with Multiple Spatiotemporal Structures
CN114064928A (zh) 一种知识图谱的知识推理方法、装置、设备及存储介质
Yoon et al. Robust probabilistic time series forecasting
CN111353554A (zh) 预测缺失的用户业务属性的方法及装置
Mohammed Quantum cryptography in Convolution neural network approach in Smart cities
Deng et al. MDHE: A malware detection system based on trust hybrid user-edge evaluation in IoT network
CN116846645A (zh) 基于自监督协作对比学习的网络入侵检测方法及应用
Kim et al. Network anomaly detection based on domain adaptation for 5g network security
Xie et al. Research and application of intrusion detection method based on hierarchical features
Zhang et al. Construct new graphs using information bottleneck against property inference attacks
Undirwade et al. Image anonymization using deep convolutional generative adversarial network

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant