CN112541574B - 保护隐私的业务预测方法及装置 - Google Patents

保护隐私的业务预测方法及装置 Download PDF

Info

Publication number
CN112541574B
CN112541574B CN202011400182.3A CN202011400182A CN112541574B CN 112541574 B CN112541574 B CN 112541574B CN 202011400182 A CN202011400182 A CN 202011400182A CN 112541574 B CN112541574 B CN 112541574B
Authority
CN
China
Prior art keywords
model
neurons
sub
prediction
disturbance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011400182.3A
Other languages
English (en)
Other versions
CN112541574A (zh
Inventor
曹佳炯
丁菁汀
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alipay Hangzhou Information Technology Co Ltd
Original Assignee
Alipay Hangzhou Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alipay Hangzhou Information Technology Co Ltd filed Critical Alipay Hangzhou Information Technology Co Ltd
Priority to CN202011400182.3A priority Critical patent/CN112541574B/zh
Publication of CN112541574A publication Critical patent/CN112541574A/zh
Application granted granted Critical
Publication of CN112541574B publication Critical patent/CN112541574B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
    • G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
    • G06F21/6245—Protecting personal data, e.g. for financial or medical purposes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Medical Informatics (AREA)
  • Bioethics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Databases & Information Systems (AREA)
  • Computer Hardware Design (AREA)
  • Computer Security & Cryptography (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本说明书实施例提供一种保护隐私的业务预测方法及装置，在业务预测方法中，在针对待预测业务对象进行业务预测时，先从业务预测模型的N个子模型中随机选取M个子模型。之后，分别在M个子模型中随机选取部分神经元，并对该部分神经元的输出施加预定限制，形成M个子模型的M个扰动子模型。最后将待预测业务对象分别对应输入M个子模型的M个扰动子模型，得到M个扰动子模型对待预测业务对象的M个模糊预测结果，以及对M个模糊预测结果进行融合，得到目标预测结果。

Description

保护隐私的业务预测方法及装置
技术领域
本说明书一个或多个实施例涉及计算机技术领域，尤其涉及一种保护隐私的业务预测方法及装置。
背景技术
随着机器学习技术的不断发展与普及，越来越多的领域采用通过机器学习算法生成的业务预测模型，针对业务对象进行业务预测。比如，基于预先生成的人脸识别模型进行人脸识别，以及基于商品推荐模型向某用户推荐某商品等。
然而在上述业务预测模型发布上线之后，往往会有恶意攻击者对其进行攻击。比如，恶意攻击者可能会盗取模型的结构/权重，而一旦模型的结构/权重被盗取，业务预测模型将会彻底暴露，进而引发一系列的安全问题。因此，如何实现模型的隐私保护，成为了近年来的热门课题。
目前主流的模型隐私保护方法，主要停留在对模型结构/权重本身的保护，例如模型加密和模型混淆等技术。然而，仅仅从模型结构/权重本身着手，还不足以抵御多种多样的攻击方式。
发明内容
本说明书一个或多个实施例描述了一种保护隐私的业务预测方法及装置，可以从输入输出维度实现模型的隐私保护。
第一方面，提供了一种保护隐私的业务预测方法，包括：
获取预先训练的业务预测模型，其包括具有不同网络结构的N个子模型；
从所述N个子模型中随机选取M个子模型；
对于所述M个子模型中任意的第一子模型，在所述第一子模型中随机选取部分神经元，并对该部分神经元的输出施加预定限制，形成所述第一子模型的扰动子模型；
将待预测业务对象分别对应输入所述M个子模型的M个扰动子模型，得到所述M个扰动子模型对所述待预测业务对象的M个模糊预测结果；
对所述M个模糊预测结果进行融合，得到目标预测结果。
第二方面，提供了一种保护隐私的业务预测装置，包括：
获取单元，用于获取预先训练的业务预测模型，其包括具有不同网络结构的N个子模型；
选取单元，用于从所述N个子模型中随机选取M个子模型；
处理单元，用于对于所述M个子模型中任意的第一子模型，在所述第一子模型中随机选取部分神经元，并对该部分神经元的输出施加预定限制，形成所述第一子模型的扰动子模型；
输入单元，用于将待预测业务对象分别对应输入所述M个子模型的M个扰动子模型，得到所述M个扰动子模型对所述待预测业务对象的M个模糊预测结果；
融合单元，用于对所述M个模糊预测结果进行融合，得到目标预测结果。
第三方面，提供了一种计算机存储介质，其上存储有计算机程序，当所述计算机程序在计算机中执行时，令计算机执行第一方面的方法。
第四方面，提供了一种计算设备，包括存储器和处理器，所述存储器中存储有可执行代码，所述处理器执行所述可执行代码时，实现第一方面的方法。
本说明书一个或多个实施例提供的保护隐私的业务预测方法及装置，在针对待预测业务对象进行业务预测时，先从业务预测模型的N个子模型中随机选取M个子模型。之后，分别在M个子模型中随机选取部分神经元，并对该部分神经元的输出施加预定限制，形成M个子模型的M个扰动子模型。最后将待预测业务对象分别对应输入M个子模型的M个扰动子模型，得到M个扰动子模型对待预测业务对象的M个模糊预测结果，以及对M个模糊预测结果进行融合，得到目标预测结果。也即本说明书提供的方案，在针对业务对象进行业务预测时，一方面会随机地对各子模型的部分神经元的输出进行干扰，另一方面会对各子模型的输出进行融合，由此可以在确保业务预测结果准确的情况下，针对业务预测结果引入随机性，进而可以从输入输出维度实现模型的隐私保护。
附图说明
为了更清楚地说明本说明书实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本说明书的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
图1为本说明书提供的保护隐私的业务预测方法示意图；
图2为本说明书提供的子模型训练方法流程图；
图3为本说明书一个实施例提供的保护隐私的业务预测方法流程图；
图4为本说明书提供的保护隐私的人脸识别方法流程图；
图5为本说明书一个实施例提供的保护隐私的业务预测装置示意图。
具体实施方式
下面结合附图，对本说明书提供的方案进行描述。
如前所述，传统的模型隐私保护方法，主要停留在对模型结构/权重本身的保护，例如模型加密和模型混淆等技术。其中模型加密是指对模型进行加密处理，只有对应的解密算法才能解密出算法模型。模型混淆是指在模型中***额外的不改变最终结果的操作，使得模型的结构变得更加复杂和难以窃取。
本申请的发明人经研究发现，模型的输入输出对也会造成模型的隐私泄露问题。比如，攻击者可以先盗取一定量的目标模型的输出输出对，之后通过该一定量的输入输出对，在本地训练得到新模型。训练得到的新模型具有一定的目标模型的特征。由于该新模型具有一定的目标模型的特性，从而同样也会造成模型的隐私泄露。
为此，本申请的发明人提出从输入输出维度对模型进行隐私保护。具体地，在针对待预测业务对象进行业务预测时，先从业务预测模型的N个子模型中随机选取M个子模型。之后，分别在M个子模型中随机选取部分神经元，并对该部分神经元的输出施加预定限制，形成M个子模型的M个扰动子模型。最后将待预测业务对象分别对应输入M个子模型的M个扰动子模型，得到M个扰动子模型对待预测业务对象的M个模糊预测结果，以及对M个模糊预测结果进行融合，得到目标预测结果。
也即本说明书提供的方案，在针对业务对象进行业务预测时，一方面会随机地对各子模型的部分神经元的输出进行干扰，另一方面会对各子模型的输出进行融合，由此可以在确保业务预测结果准确的情况下，针对业务预测结果引入随机性，进而可以从输入输出维度实现模型的隐私保护。
图1为本说明书提供的保护隐私的业务预测方法示意图。图1中，在针对待预测业务对象进行业务预测时，先从业务预测模型的N个子模型中随机选取M个子模型。之后，分别在M个子模型中随机选取部分神经元，并对该部分神经元的输出施加预定限制，形成M个子模型的M个扰动子模型。最后将待预测业务对象分别对应输入M个子模型的M个扰动子模型，得到M个扰动子模型对待预测业务对象的M个模糊预测结果，以及对M个模糊预测结果进行融合，得到目标预测结果。
为便于理解，先对上述方法的实际应用场景进行介绍。
在一个示例性场景中，上述业务对象和业务预测可以分别为用户和人脸识别。相应地，用于对用户进行人脸识别的业务预测模型可称为人脸识别模型。该人脸识别模型可以是基于历史刷脸业务中采集的人脸数据而训练得到。这里的人脸数据可以包括拍摄的人脸图片和对应用户的身份标识(如手机号或***分配的唯一编号)。
在另一个示例性场景中，上述业务对象可以包括用户和商品，上述业务预测可以为商品推荐，也就是判断是否向某用户推荐某商品。相应地，用于进行商品推荐的业务预测模型可以称为商品推荐模型。该商品推荐模型可以是基于用户对网站或应用App的操作行为数据训练得到。这里的操作行为数据可以包括浏览、点击或者关闭等。
在再一个示例性场景中，上述业务对象可以包括登录事件，上述业务预测可以为事件风险识别，也就是判断某个登录事件是否存在风险。相应地，用于识别事件风险的业务预测模型可以称为事件风险识别模型。该事件风险识别模型可以基于用户的登录行为数据训练得到。这里的登录行为数据可以包括登录时刻、登录耗时、是否登录成功等。
在又一个示例性场景中，上述业务对象和业务预测可以分别为工业设备和异常检测。相应地，用于识别设备异常的业务预测模型可以称为异常检测模型。该异常检测模型可以基于传感器数据以及因发生异常而产生的告警数据训练得到。其中传感器可以包括温度传感器、湿度传感器或压力传感器等，相应采集的传感器数据可以包括温度、湿度或压力等。
在还一个示例性场景中，上述业务对象和业务预测可以分别为商户和商户经营风险评估。相应地，用于评估商户经营风险的业务预测模型可以称为商户风险评估模型。该商户风险评估模型可以基于交易信息训练得到。这里的交易信息可以包括交易方、交易时间、交易金额、交易网络环境、交易商品信息等。
需要理解，以上场景仅作为示例，实际上，上述业务对象还可以包括访问事件等其他业务事件等。总的来说，上述业务预测模型可以用于预测上述业务对象的分类或回归值。
在本说明书中，当业务预测模型用于预测业务对象的分类时，该业务预测模型可以包括N个具有不同结构的分类模型。当业务预测模型用于预测业务对象的回归值时，该业务预测模型可以包括N个具有不同结构的回归模型。其中，N为正整数。在以下描述中，将上述分类模型或回归模型统称为业务预测模型的子模型。以下对该子模型的训练过程进行说明。
图2为本说明书提供的子模型训练方法流程图。需要说明的是，本说明书所述的子模型可以通过对对应初始模型进行多轮迭代更新得到。图2示出其中任一轮迭代更新包括的步骤。如图2所示，该方法可以包括：
步骤202，在当前模型中随机选取部分神经元，并对该部分神经元施加预定限制，形成当前模型的扰动模型。
需要说明的是，在该轮迭代为首轮迭代时，当前模型为初始模型。在一个实施例中，这里的初始模型可以是指决策树模型、贝叶斯模型等，在另一个实施例中，上述该初始模型也可以是指神经网络模型。在该轮迭代为非首轮迭代时，当前模型为在上一轮迭代更新后的当前模型。
上述在当前模型中随机选取部分神经元可以包括：在当前模型的每层网络中，按照第二预定概率，随机选取若干神经元。在每层网络中选取的各神经元共同组成上述部分神经元。这里的第二预定概率例如可以为0.1。
在一个例子中，按照第二预定概率，随机选取若干神经元的步骤具体可以为：针对该层网络中的每个神经元，随机生成0-1之间的数值。若该随机生成的数值小于第二预定概率，则对该神经元施加预定限制，否则不作任何处理。
在另一个例子中，上述对该部分神经元施加预定限制具体可以包括：将该部分神经元的输出设定为不超过预定值的数值。这里的数值例如可以为0或者0.1等。
还需要说明的是，由于在该轮迭代中，部分神经元是在当前模型中随机选取的，从而在各轮迭代所选取的部分神经元可不同。
步骤204，将对应于多个业务对象的多个当前样本输入当前模型的扰动模型，得到当前预测结果。
以业务预测模型用于预测业务对象的分类为例来说，这里的当前预测结果可以包括对应于各预定分类的多个打分。其中，每个打分表示该当前样本对应于预定分类的概率。
步骤206，根据当前预测结果，更新当前模型。
具体地，可以基于当前预测结果以及当前样本的标签，使用损失函数，确定预测损失。之后，根据预测损失，更新当前模型。
在一个例子中，在初始模型或当前模型为分类模型时，上述损失函数可以为softmax函数。
通过重复执行上述步骤202-步骤206，可以实现对初始模型的多轮迭代更新。之后将最后一轮迭代更新后的当前模型，作为最终使用的子模型。
应理解，上述仅针对业务预测模型中的一个子模型的训练过程进行了说明，类似地，可以训练得到其它各子模型。训练得到的各子模型最终可以组成业务预测模型。以下对基于该业务预测模型对业务对象的业务预测过程进行说明。
图3为本说明书一个实施例提供的保护隐私的业务预测方法流程图。所述方法的执行主体可以为具有处理能力的设备：服务器或者***或者装置。如图3所示，所述方法具体可以包括：
步骤302，获取预先训练的业务预测模型，其包括具有不同网络结构的N个子模型。
这里的N个子模型中的每个子模型，可以是基于图2所示的各步骤训练得到。其可以为分类模型，也可以为回归模型。具体地，当业务预测模型用于预测业务对象的分类时，上述子模型可以为分类模型。而当业务预测模型用于预测业务对象的回归值时，上述子模型可以为回归模型。
需要强调的是，该N个子模型可以基于相同的损失函数(如，softmax函数)训练得到，且各子模型之间的性能指标相接近。比如，在各子模型均为分类模型时，那么各子模型的准确率相接近。再比如，在各子模型均为回归模型时，那么各子模型的回归误差相接近。
步骤304，从N个子模型中随机选取M个子模型。
其中，M为正整数，且M≤N。
应理解，这里选取的M个子模型是针对当前待预测业务对象选取的。当针对下一待预测业务对象进行业务预测时，则可以重新从N个子模型中随机选取M个子模型。且针对下一待预测业务对象选取的M个子模型可以与针对当前待预测业务对象选取的M个子模型不同。
步骤306，对于M个子模型中任意的第一子模型，在第一子模型中随机选取部分神经元，并对该部分神经元的输出施加预定限制，形成第一子模型的扰动子模型。
其中，在第一子模型中随机选取部分神经元可以包括：在第一子模型中随机选取若干层网络。在若干层网络的每层网络中，按照第一预定概率，随机选取若干神经元。在每层网络中随机选取的各神经元共同组成部分神经元。这里的第一预定概率可以大于上述第二预定概率，其例如可以为0.2。
在一个例子中，按照第一预定概率，随机选取若干神经元的步骤具体可以为：针对该层网络中的每个神经元，随机生成0-1之间的数值。若该随机生成的数值小于第一预定概率，则对该神经元施加预定限制，否则不作任何处理。
在另一个例子中，上述对该部分神经元施加预定限制具体可以包括：将该部分神经元的输出设定为不超过预定值的数值。这里的数值例如可以为0或者0.1等。
应理解，这里扰动子模型是针对当前待预测业务对象形成的。当针对下一待预测业务对象进行业务预测时，则可以重新形成第一子模型的扰动子模型。且针对下一待预测业务对象形成的扰动子模型可以与针对当前待预测业务对象形成的扰动子模型不同。
需要说明的是，与形成第一子模型的扰动子模型类似地，可以形成其它各子模型各自的扰动子模型，从而可以得到M个扰动子模型。
步骤308，将待预测业务对象分别对应输入M个子模型的M个扰动子模型，得到M个扰动子模型对待预测业务对象的M个模糊预测结果。
具体地，若业务预测模型用于预测业务对象的分类，那么这里的M个模糊预测结果中的每个预测结果可以包括对应于各预定分类的多个打分。其中，每个打分表示该业务对象属于对应预定分类的概率。
以业务对象为用户为例来说，M个模糊预测结果中的每个预测结果可以为对应于各预定用户的多个打分。其中每个打分表示当前用户为对应预定用户的概率。
步骤310，对M个模糊预测结果进行融合，得到目标预测结果。
具体地，可以对M个模糊预测结果进行求平均或者求加权平均，得到目标预测结果。
还以业务预测模型用于预测业务对象的分类为例来说，可以对各模糊预测结果中对应于同一预定分类的各打分，进行求平均或者求加权平均，得到对应于各预定分类的多个综合分。这里的综合分也称为原始打分。应理解，在该例子中，对应于各预定分类的多个原始打分形成目标预测结果。
综合以上，本说明书实施例提供的方案，在针对业务对象进行业务预测时，一方面，会随机地对各子模型的部分神经元的输出进行干扰。另一方面会对各子模型的输出进行融合。由此可以在确保业务预测结果准确的情况下，针对目标预测结果引入随机性，进而可以从输入输出维度实现模型的隐私保护。
为了更进一步地对模型的隐私进行保护，本说明书提供的实施例还可以包括如下步骤：
采用随机化算法，在多个原始打分上叠加随机噪声，得到多个原始打分分别对应的扰动打分。该随机化算法使得基于多个原始打分预测的待预测对象的分类，与基于多个扰动打分预测的待预测对象的分类相同。输出多个原始打分分别对应的扰动打分。
在一个例子中，上述随机噪声可以通过从标准高斯分布中采集得到。
上述在多个原始打分上叠加随机噪声可以表示为如下公式：O’＝O+N(0,1)，其中，O为某个原始打分，O’为原始打分对应的扰动打分，N(0,1)为从标准高斯分布中采集得到随机噪声。
应理解，通过在原始打分上叠加随机噪声，可以进一步对目标预测结果进行模糊化，进而可以更进一步地对模型进行隐私保护。
以下以业务对象为用户，业务预测为人脸识别以及业务预测模型为人脸识别模型为例，对本说明书实施例提供的方法作进一步说明。
图4为本说明书提供的保护隐私的人脸识别方法流程图。如图4所示，所述方法可以包括：
步骤402，获取预先训练的人脸识别模型，其包括具有不同网络结构的N个分类模型。
这里的N个分类模型中的每个分类模型，可以是基于图2所示的各步骤训练得到。
需要强调的是，该N个分类模型可以基于相同的损失函数(如，softmax函数)训练得到，且各分类模型之间的性能指标相接近。这里的性能指标例如可以为准确率等。
步骤404，从N个分类模型中随机选取M个分类模型。
其中，M为正整数，且M≤N。
应理解，这里选取的M个分类模型是针对当前用户选取的。当针对下一用户进行人脸识别时，则可以重新从N个分类模型中随机选取M个分类模型。且针对下一用户选取的M个分类模型可以与针对当前用户选取的M个分类模型不同。
步骤406，对于M个分类模型中任意的第一分类模型，在第一分类模型中随机选取部分神经元，并对该部分神经元的输出施加预定限制，形成第一分类模型的扰动模型。
其中，在第一分类模型中随机选取部分神经元可以包括：在第一分类模型中随机选取若干层网络。在若干层网络的每层网络中，按照第一预定概率，随机选取若干神经元。在每层网络中随机选取的各神经元共同组成部分神经元。这里的第一预定概率可以大于上述第二预定概率，其例如可以为0.2。
在一个例子中，按照第一预定概率，随机选取若干神经元的步骤具体可以为：针对该层网络中的每个神经元，随机生成0-1之间的数值。若该随机生成的数值小于第一预定概率，则对该神经元施加预定限制，否则不作任何处理。
在另一个例子中，上述对该部分神经元施加预定限制具体可以包括：将该部分神经元的输出设定为不超过预定值的数值。这里的数值例如可以为0或者0.1等。
应理解，这里扰动模型是针对当前用户形成的。当针对下一用户进行人脸时，则可以重新形成第一分类模型的扰动模型。且针对下一用户形成的扰动模型可以与针对当前用户形成的扰动模型不同。
需要说明的是，与形成第一分类模型的扰动模型类似地，可以形成其它各分类模型各自的扰动模型，从而可以得到M个扰动模型。
步骤408，将当前用户的人脸图像分别对应输入M个分类模型的M个扰动模型，得到M个扰动模型对当前用户的M个模糊分类结果。
具体地，这里的M个模糊分类结果中的每个分类结果可以包括对应于各预定用户的多个打分。其中，每个打分表示当前用户为对应预定用户的概率。
步骤410，对M个模糊分类结果进行融合，得到目标分类结果。
具体地，可以对各模糊分类结果中对应于同一预定用户的各打分，进行求平均或者求加权平均，得到对应于各预定用户的多个综合分。应理解，在该例子中，对应于各预定用户的多个综合分形成目标分类结果。
在获取到上述目标分类结果之后，可以判断多个综合分中的最大综合分是否大于预定阈值。如果是，则将当前用户识别为对应于最大综合分的预定用户，并将其作为最终的人脸识别结果。
综上，本说明书实施例提供的人脸识别方法，可以在确保人脸识别结果准确的情况下，针对目标分类结果引入随机性，进而可以从输入输出维度实现人脸识别模型的隐私保护。
与上述保护隐私的业务预测方法对应地，本说明书一个实施例还提供的一种保护隐私的业务预测装置，如图5所示，该装置可以包括：
获取单元502，用于获取预先训练的业务预测模型，其包括具有不同网络结构的N个子模型。
该N个子模型中任意的第一子模型通过对对应初始模型进行多轮迭代更新得到。其中任一轮迭代更新包括，在当前模型中随机选取部分神经元，并对该部分神经元施加预定限制，形成当前模型的扰动模型。将对应于多个业务对象的多个当前样本输入当前模型的扰动模型，得到当前预测结果。根据当前预测结果，更新当前模型。将达到迭代结束条件时的当前模型作为第一子模型。
选取单元504，用于从N个子模型中随机选取M个子模型。
处理单元506，用于对于M个子模型中任意的第一子模型，在第一子模型中随机选取部分神经元，并对该部分神经元的输出施加预定限制，形成第一子模型的扰动子模型。
处理单元506具体可以用于：
在第一子模型中随机选取若干层网络。
在若干层网络的每层网络中，按照第一预定概率，随机选取若干神经元。
在每层网络中随机选取的各神经元共同组成部分神经元。
处理单元506还具体可以用于：
将该部分神经元的输出设定为不超过预定值的数值。
输入单元508，用于将待预测业务对象分别对应输入M个子模型的M个扰动子模型，得到M个扰动子模型对待预测业务对象的M个模糊预测结果。
这里的待预测业务对象可以包括以下之一：用户、商户、商品以及事件。此外，上述业务预测模型用于预测待预测业务对象的分类或回归值。
融合单元510，用于对M个模糊预测结果进行融合，得到目标预测结果。
融合单元510具体可以用于：
对M个模糊预测结果进行求平均或者求加权平均，得到目标预测结果。
可选地，上述业务预测模型可以用于预测待预测业务对象的分类，上述目标预测结果包括对应于各预定分类的多个原始打分，该原始打分表示待预测业务对象属于对应预定分类的概率。该装置还可以包括：
叠加单元512，用于采用随机化算法，在多个原始打分上叠加随机噪声，得到多个原始打分分别对应的扰动打分。该随机化算法使得基于多个原始打分预测的分类，与基于多个扰动打分预测的分类相同。
输出单元514，用于输出多个原始打分分别对应的扰动打分。
在一个例子中，该随机噪声通过从标准高斯分布中采集得到。
本说明书上述实施例装置的各功能模块的功能，可以通过上述方法实施例的各步骤来实现，因此，本说明书一个实施例提供的装置的具体工作过程，在此不复赘述。
本说明书一个实施例提供的保护隐私的业务预测装置，可以从输入输出维度实现人脸识别模型的隐私保护。
另一方面，本说明书的实施例提供了一种计算机可读存储介质，其上存储有计算机程序，当所述计算机程序在计算机中执行时，令计算机执行图3或图4所示的方法。
另一方面，本说明书的实施例提供一种计算设备，包括存储器和处理器，所述存储器中存储有可执行代码，所述处理器执行所述可执行代码时，实现图3或图4所示的方法。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于设备实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
结合本说明书公开内容所描述的方法或者算法的步骤可以硬件的方式来实现，也可以是由处理器执行软件指令的方式来实现。软件指令可以由相应的软件模块组成，软件模块可以被存放于RAM存储器、闪存、ROM存储器、EPROM存储器、EEPROM存储器、寄存器、硬盘、移动硬盘、CD-ROM或者本领域熟知的任何其它形式的存储介质中。一种示例性的存储介质耦合至处理器，从而使处理器能够从该存储介质读取信息，且可向该存储介质写入信息。当然，存储介质也可以是处理器的组成部分。处理器和存储介质可以位于ASIC中。另外，该ASIC可以位于服务器中。当然，处理器和存储介质也可以作为分立组件存在于服务器中。
本领域技术人员应该可以意识到，在上述一个或多个示例中，本发明所描述的功能可以用硬件、软件、固件或它们的任意组合来实现。当使用软件实现时，可以将这些功能存储在计算机可读介质中或者作为计算机可读介质上的一个或多个指令或代码进行传输。计算机可读介质包括计算机存储介质和通信介质，其中通信介质包括便于从一个地方向另一个地方传送计算机程序的任何介质。存储介质可以是通用或专用计算机能够存取的任何可用介质。
上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
以上所述的具体实施方式，对本说明书的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本说明书的具体实施方式而已，并不用于限定本说明书的保护范围，凡在本说明书的技术方案的基础之上，所做的任何修改、等同替换、改进等，均应包括在本说明书的保护范围之内。

Claims (18)

1.一种保护隐私的业务预测方法，包括：
获取预先训练的业务预测模型，其包括具有不同网络结构的N个子模型；
从所述N个子模型中随机选取M个子模型；
对于所述M个子模型中任意的第一子模型，在所述第一子模型中随机选取部分神经元，并对该部分神经元的输出施加预定限制，形成所述第一子模型的扰动子模型；
将待预测业务对象分别对应输入所述M个子模型的M个扰动子模型，得到所述M个扰动子模型对所述待预测业务对象的M个模糊预测结果；
对所述M个模糊预测结果进行融合，得到目标预测结果。
2.根据权利要求1所述的方法，所述从所述第一子模型中随机选取部分神经元，包括：
在所述第一子模型中随机选取若干层网络；
在所述若干层网络的每层网络中，按照第一预定概率，随机选取若干神经元；
在每层网络中随机选取的各神经元共同组成所述部分神经元。
3.根据权利要求1所述的方法，所述对该部分神经元的输出施加预定限制，包括：
将该部分神经元的输出设定为不超过预定值的数值。
4.根据权利要求1所述的方法，所述业务预测模型用于预测所述待预测业务对象的分类；所述目标预测结果包括对应于各预定分类的多个原始打分；所述原始打分表示所述待预测业务对象属于对应预定分类的概率；还包括：
采用随机化算法，在所述多个原始打分上叠加随机噪声，得到所述多个原始打分分别对应的扰动打分；所述随机化算法使得基于所述多个原始打分预测的分类，与基于所述多个扰动打分预测的分类相同；
输出所述多个原始打分分别对应的扰动打分。
5.根据权利要求4所述的方法，所述随机噪声通过从标准高斯分布中采集得到。
6.根据权利要求1所述的方法，
所述第一子模型通过对对应初始模型进行多轮迭代更新得到；其中任一轮迭代更新包括，在当前模型中随机选取部分神经元，并对该部分神经元施加预定限制，形成当前模型的扰动模型；将对应于多个业务对象的多个当前样本输入当前模型的扰动模型，得到当前预测结果；根据当前预测结果，更新当前模型；将达到迭代结束条件时的当前模型作为所述第一子模型。
7.根据权利要求1所述的方法，所述对所述M个模糊预测结果进行融合，得到目标预测结果，包括：
对所述M个模糊预测结果进行求平均或者求加权平均，得到所述目标预测结果。
8.根据权利要求1所述的方法，所述待预测业务对象包括以下之一：用户、商户、商品以及事件；所述业务预测模型用于预测所述待预测业务对象的分类或回归值。
9.一种保护隐私的业务预测装置，包括：
获取单元，用于获取预先训练的业务预测模型，其包括具有不同网络结构的N个子模型；
选取单元，用于从所述N个子模型中随机选取M个子模型；
处理单元，用于对于所述M个子模型中任意的第一子模型，在所述第一子模型中随机选取部分神经元，并对该部分神经元的输出施加预定限制，形成所述第一子模型的扰动子模型；
输入单元，用于将待预测业务对象分别对应输入所述M个子模型的M个扰动子模型，得到所述M个扰动子模型对所述待预测业务对象的M个模糊预测结果；
融合单元，用于对所述M个模糊预测结果进行融合，得到目标预测结果。
10.根据权利要求9所述的装置，所述处理单元具体用于：
在所述第一子模型中随机选取若干层网络；
在所述若干层网络的每层网络中，按照第一预定概率，随机选取若干神经元；
在每层网络中随机选取的各神经元共同组成所述部分神经元。
11.根据权利要求9所述的装置，所述处理单元还具体用于：
将该部分神经元的输出设定为不超过预定值的数值。
12.根据权利要求9所述的装置，所述业务预测模型用于预测所述待预测业务对象的分类；所述目标预测结果包括对应于各预定分类的多个原始打分；所述原始打分表示所述待预测业务对象属于对应预定分类的概率；还包括：
叠加单元，用于采用随机化算法，在所述多个原始打分上叠加随机噪声，得到所述多个原始打分分别对应的扰动打分；所述随机化算法使得基于所述多个原始打分预测的分类，与基于所述多个扰动打分预测的分类相同；
输出单元，用于输出所述多个原始打分分别对应的扰动打分。
13.根据权利要求12所述的装置，所述随机噪声通过从标准高斯分布中采集得到。
14.根据权利要求9所述的装置，
所述第一子模型通过对对应初始模型进行多轮迭代更新得到；其中任一轮迭代更新包括，在当前模型中随机选取部分神经元，并对该部分神经元施加预定限制，形成当前模型的扰动模型；将对应于多个业务对象的多个当前样本输入当前模型的扰动模型，得到当前预测结果；根据当前预测结果，更新当前模型；将达到迭代结束条件时的当前模型作为所述第一子模型。
15.根据权利要求9所述的装置，所述融合单元具体用于：
对所述M个模糊预测结果进行求平均或者求加权平均，得到所述目标预测结果。
16.根据权利要求9所述的装置，所述待预测业务对象包括以下之一：用户、商户、商品以及事件；所述业务预测模型用于预测所述待预测业务对象的分类或回归值。
17.一种计算机可读存储介质，其上存储有计算机程序，当所述计算机程序在计算机中执行时，令计算机执行权利要求1-8中任一项所述的方法。
18.一种计算设备，包括存储器和处理器，所述存储器中存储有可执行代码，所述处理器执行所述可执行代码时，实现权利要求1-8中任一项所述的方法。
CN202011400182.3A 2020-12-03 2020-12-03 保护隐私的业务预测方法及装置 Active CN112541574B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011400182.3A CN112541574B (zh) 2020-12-03 2020-12-03 保护隐私的业务预测方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011400182.3A CN112541574B (zh) 2020-12-03 2020-12-03 保护隐私的业务预测方法及装置

Publications (2)

Publication Number Publication Date
CN112541574A CN112541574A (zh) 2021-03-23
CN112541574B true CN112541574B (zh) 2022-05-17

Family

ID=75015751

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011400182.3A Active CN112541574B (zh) 2020-12-03 2020-12-03 保护隐私的业务预测方法及装置

Country Status (1)

Country Link
CN (1) CN112541574B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113205230A (zh) * 2021-05-31 2021-08-03 平安科技（深圳）有限公司 基于模型集合的数据预测方法、装置、设备及存储介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109564636A (zh) * 2016-05-31 2019-04-02 微软技术许可有限责任公司 使用一个神经网络来训练另一个神经网络
CN110334539A (zh) * 2019-06-12 2019-10-15 北京邮电大学 一种基于随机响应的个性化隐私保护方法及装置
CN110874484A (zh) * 2019-10-16 2020-03-10 众安信息技术服务有限公司 基于神经网络和联邦学习的数据处理方法和***
CN110889117A (zh) * 2019-11-28 2020-03-17 支付宝(杭州)信息技术有限公司 一种模型攻击的防御方法及装置
CN111368337A (zh) * 2020-05-27 2020-07-03 支付宝(杭州)信息技术有限公司 保护隐私的样本生成模型构建、仿真样本生成方法及装置
CN111475852A (zh) * 2020-06-19 2020-07-31 支付宝(杭州)信息技术有限公司 基于隐私保护针对业务模型进行数据预处理的方法及装置
CN111539769A (zh) * 2020-04-27 2020-08-14 支付宝(杭州)信息技术有限公司 基于差分隐私的异常检测模型的训练方法及装置
CN111800411A (zh) * 2020-07-02 2020-10-20 支付宝(杭州)信息技术有限公司 保护隐私的业务预测模型联合更新方法及装置

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2570433A (en) * 2017-09-25 2019-07-31 Nissan Motor Mfg Uk Ltd Machine vision system
CN109495476B (zh) * 2018-11-19 2020-11-20 中南大学 一种基于边缘计算的数据流差分隐私保护方法及***
CN111814165B (zh) * 2020-07-07 2024-01-26 重庆大学 一种基于深度神经网络中间层的图像隐私保护方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109564636A (zh) * 2016-05-31 2019-04-02 微软技术许可有限责任公司 使用一个神经网络来训练另一个神经网络
CN110334539A (zh) * 2019-06-12 2019-10-15 北京邮电大学 一种基于随机响应的个性化隐私保护方法及装置
CN110874484A (zh) * 2019-10-16 2020-03-10 众安信息技术服务有限公司 基于神经网络和联邦学习的数据处理方法和***
CN110889117A (zh) * 2019-11-28 2020-03-17 支付宝(杭州)信息技术有限公司 一种模型攻击的防御方法及装置
CN111539769A (zh) * 2020-04-27 2020-08-14 支付宝(杭州)信息技术有限公司 基于差分隐私的异常检测模型的训练方法及装置
CN111368337A (zh) * 2020-05-27 2020-07-03 支付宝(杭州)信息技术有限公司 保护隐私的样本生成模型构建、仿真样本生成方法及装置
CN111475852A (zh) * 2020-06-19 2020-07-31 支付宝(杭州)信息技术有限公司 基于隐私保护针对业务模型进行数据预处理的方法及装置
CN111800411A (zh) * 2020-07-02 2020-10-20 支付宝(杭州)信息技术有限公司 保护隐私的业务预测模型联合更新方法及装置

Also Published As

Publication number Publication date
CN112541574A (zh) 2021-03-23

Similar Documents

Publication Publication Date Title
Reddy et al. Deep neural network based anomaly detection in Internet of Things network traffic tracking for the applications of future smart cities
US9213990B2 (en) Method of reducing financial fraud by user devices patronizing commercial websites
US10019744B2 (en) Multi-dimensional behavior device ID
CN111800411B (zh) 保护隐私的业务预测模型联合更新方法及装置
CN111818093B (zh) 用于进行风险评估的神经网络***、方法及装置
Gaurav et al. A novel approach for DDoS attacks detection in COVID-19 scenario for small entrepreneurs
CN112580952A (zh) 用户行为风险预测方法、装置、电子设备及存储介质
Bidgoly et al. Modelling and quantitative verification of reputation systems against malicious attackers
CN116647411A (zh) 游戏平台网络安全的监测预警方法
Bordel et al. Stochastic and information theory techniques to reduce large datasets and detect cyberattacks in Ambient Intelligence Environments
Gu et al. Multistage quality control in manufacturing process using blockchain with machine learning technique
Zhao et al. Cyber threat prediction using dynamic heterogeneous graph learning
Nia et al. Detecting new generations of threats using attribute‐based attack graphs
Mohammadi et al. An efficient hybrid self-learning intrusion detection system based on neural networks
CN112541574B (zh) 保护隐私的业务预测方法及装置
Ozkan-Ozay et al. A Comprehensive Survey: Evaluating the Efficiency of Artificial Intelligence and Machine Learning Techniques on Cyber Security Solutions
Wei et al. Toward identifying APT malware through API system calls
CN115238827A (zh) 保护隐私的样本检测***训练方法及装置
Al‐Karaki et al. Probabilistic analysis of security attacks in cloud environment using hidden Markov models
Wang et al. Phishing scams detection via temporal graph attention network in Ethereum
Kaushik Blockchain enabled artificial intelligence for cybersecurity systems
Rajagopal et al. Adopting artificial intelligence in ITIL for information security management—way forward in industry 4.0
Subashini et al. Website Phishing Detection of Machine Learning Approach using SMOTE method
Nair Unraveling the Decision-making Process Interpretable Deep Learning IDS for Transportation Network Security.
Al-Sada et al. Analysis and Characterization of Cyber Threats Leveraging the MITRE ATT&CK Database

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40048345

Country of ref document: HK

GR01 Patent grant
GR01 Patent grant