CN111539769A - 基于差分隐私的异常检测模型的训练方法及装置 - Google Patents

基于差分隐私的异常检测模型的训练方法及装置 Download PDF

Info

Publication number
CN111539769A
CN111539769A CN202010343419.2A CN202010343419A CN111539769A CN 111539769 A CN111539769 A CN 111539769A CN 202010343419 A CN202010343419 A CN 202010343419A CN 111539769 A CN111539769 A CN 111539769A
Authority
CN
China
Prior art keywords
vector
gradient
sample
evaluation
noise
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010343419.2A
Other languages
English (en)
Inventor
熊涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alipay Hangzhou Information Technology Co Ltd
Original Assignee
Alipay Hangzhou Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alipay Hangzhou Information Technology Co Ltd filed Critical Alipay Hangzhou Information Technology Co Ltd
Priority to CN202010343419.2A priority Critical patent/CN111539769A/zh
Publication of CN111539769A publication Critical patent/CN111539769A/zh
Priority to TW110110603A priority patent/TWI764640B/zh
Priority to PCT/CN2021/089398 priority patent/WO2021218828A1/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0207—Discounts or incentives, e.g. coupons or rebates
    • G06Q30/0225—Avoiding frauds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Accounting & Taxation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Strategic Management (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Development Economics (AREA)
  • Finance (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Game Theory and Decision Science (AREA)
  • Probability & Statistics with Applications (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • General Business, Economics & Management (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本说明书实施例提供一种基于差分隐私的异常检测模型的训练方法，包括：将训练集中任意样本的第一向量输入自编码网络，通过编码器输出降维的第二向量，通过解码器输出复原的第三向量。然后，基于第二向量构建评估向量，输入到评估网络，并获取评估网络输出的该样本属于混合高斯分布中K个子高斯分布的子分布概率。然后，根据训练集中各样本对应的评估向量和子分布概率，得到该任意样本在混合高斯分布中的第一概率。据此确定预测损失，其与各样本对应的第一概率负相关，且与第一向量和第三向量之间的相似度负相关。进而，利用差分隐私的方式，在基于预测损失得到的原始梯度上添加噪声，利用包含噪声的梯度，调整异常检测模型的模型参数。

Description

基于差分隐私的异常检测模型的训练方法及装置
技术领域
本说明书一个或多个实施例涉及计算机技术领域，尤其涉及通过计算机执行的基于差分隐私的异常检测模型的训练方法和装置。
背景技术
随着计算机技术的发展，安全性成为日益关注的问题，例如计算机数据的安全性，电子支付的交易安全性，网络访问的安全性，等等。为此，在许多场景下，需要从大量样本中发现有可能影响安全性的异常样本，并针对这些异常样本采取措施。
例如，希望从大量交易操作样本中发现异常交易操作，从而提前防范欺诈交易；希望从网络访问的样本中检测异常访问，从而发现不安全的访问，例如黑客攻击；希望从进行各种操作的用户账户中发现异常账户，从而锁定涉嫌进行高风险操作(欺诈交易、刷单等虚假交易、网络攻击)的账户；希望从大量权益领取操作(例如，领取营销红包、奖励金、优惠券等操作)中发现异常操作，从而防范恶意领取优惠权益的“黑产”操作，等等。
然而，在许多情况下，异常样本的标定非常耗费时间和人力，并且通常异常样本的数量较少，这使得常规典型的有监督学习方法难以发挥作用。因此，提出了一些无监督的方式，试图从大量样本中检测出异常样本。无监督的异常检测通常是基于样本的分布概率或密度估计，从统计意义上寻找出偏离多数常规样本的那些离群样本，作为异常样本。
然而，现有的无监督异常检测模型，往往存在泄露训练样本的风险，以及因为过拟合造成的鲁棒性不足，泛化能力不足的缺点。因此，希望能有改进的方案，能够得到更为安全、更为有效的异常检测模型。
发明内容
本说明书一个或多个实施例描述了一种基于差分隐私的异常检测模型的训练方法，用以得到保护隐私且具有鲁棒性的异常检测模型。
根据第一方面，提供了一种基于差分隐私的异常检测模型的训练方法，所述异常检测模型包括自编码网络和评估网络，所述自编码网络包括编码器和解码器；所述方法包括：
将训练集中任意业务样本对应的第一特征向量输入所述自编码网络，通过所述编码器输出对所述第一特征向量降维的第二特征向量，通过所述解码器输出基于所述第二特征向量对所述第一特征向量进行复原的第三特征向量；
基于所述第二特征向量，构建评估向量，输入所述评估网络；
获取所述评估网络输出的该任意业务样本属于混合高斯分布中K个子高斯分布的子分布概率；
根据所述训练集中各个业务样本对应的所述评估向量和所述子分布概率，得到该任意业务样本在所述混合高斯分布中的第一概率；
确定所述训练集对应的预测损失，所述预测损失与所述各个业务样本对应的所述第一概率负相关，且与所述各个业务样本对应的第一特征向量和第三特征向量之间的相似度负相关；
利用差分隐私的方式，在基于所述预测损失得到的原始梯度上添加噪声，利用包含噪声的梯度，调整所述异常检测模型的模型参数。
在一个实施例中，所述评估向量即为所述第二特征向量。
在另一实施例中，评估向量通过以下方式构建：基于所述第一特征向量和所述第三特征向量，得到重构误差向量；将所述第二特征向量和所述重构误差向量相组合，作为所述评估向量。
根据一种实施方式，第一概率通过以下方式确定得到：根据所述各个业务样本的所述评估向量和所述子分布概率，确定所述K个子高斯分布中各个子高斯分布的均值、协方差，以及该子高斯分布在所述K个子高斯分布中的出现概率；根据各个子高斯分布的均值、协方差和出现概率，重构所述混合高斯分布；将所述任意业务样本的评估向量代入重构的混合高斯分布，得到所述第一概率。
在一个实施例中，确定所述训练集对应的预测损失的步骤可以包括：根据所述各个业务样本对应的所述第一概率，确定第一损失项，所述第一损失项与各个业务样本的所述第一概率负相关；根据所述各个业务样本对应的第一特征向量和第三特征向量之间的相似度，确定第二损失项，所述第二损失项与所述相似度负相关；根据预设权重因子，对所述第一损失项和第二损失项加权求和，得到所述预测损失。
根据一种实施方式，利用差分隐私的方式，在基于所述预测损失得到的原始梯度上添加噪声，具体可以包括：根据所述预测损失，确定使得预测损失减小的原始梯度；基于预设的裁剪阈值，对所述原始梯度进行裁剪，得到裁剪梯度；利用基于所述裁剪阈值确定的高斯分布，确定用于实现差分隐私的高斯噪声，其中，所述高斯分布的方差与所述裁剪阈值的平方正相关；将所述高斯噪声与所述裁剪梯度叠加，得到所述包含噪声的梯度。
在一个实施例中，通过梯度反向传播，分别确定对应于所述评估网络的第一原始梯度，和对应于所述自编码网络的第二原始梯度；利用差分隐私的方式，在所述第一原始梯度和第二原始梯度中分别添加噪声，得到第一噪声梯度和第二噪声梯度；利用所述第一噪声梯度，调整所述评估网络的参数；利用所述第二噪声梯度，调整所述自编码网络的参数。
在另一实施例中，在通过梯度反向传播，分别确定第一原始梯度和第二原始梯度的基础上，利用差分隐私的方式，在所述第二原始梯度中添加噪声，得到第二噪声梯度；利用所述第一原始梯度，调整所述评估网络的参数；利用所述第二噪声梯度，调整所述自编码网络的参数。
在各个实施例中，所述任意业务样本可以包括以下之一：样本用户，样本商户，样本事件。
根据第二方面，提供了一种预测异常样本的方法，包括：
获取根据第一方面的方法训练得到的基于差分隐私的异常检测模型，所述异常检测模型包括自编码网络和评估网络，所述自编码网络包括编码器和解码器；
将待测的目标业务样本对应的第一目标向量输入所述自编码网络，通过所述编码器输出对所述第一目标向量降维的第二目标向量；
基于所述第二目标向量，构建目标评估向量；
将所述目标评估向量输入所述评估网络构建的混合高斯分布中，得到该目标业务样本在所述混合高斯分布中的目标概率；
根据所述目标概率，确定所述目标业务样本是否为异常样本。
根据第三方面，提供了一种基于差分隐私的异常检测模型的训练装置，所述异常检测模型包括自编码网络和评估网络，所述自编码网络包括编码器和解码器；所述装置包括：
第一输入单元，配置为将训练集中任意业务样本对应的第一特征向量输入所述自编码网络，通过所述编码器输出对所述第一特征向量降维的第二特征向量，通过所述解码器输出基于所述第二特征向量对所述第一特征向量进行复原的第三特征向量；
第二输入单元，配置为基于所述第二特征向量，构建评估向量，输入所述评估网络；
子分布获取单元，配置为获取所述评估网络输出的该任意业务样本属于混合高斯分布中K个子高斯分布的子分布概率；
概率确定单元，配置为根据所述训练集中各个业务样本对应的所述评估向量和所述子分布概率，得到该任意业务样本在所述混合高斯分布中的第一概率；
损失确定单元，配置为确定所述训练集对应的预测损失，所述预测损失与所述各个业务样本对应的所述第一概率负相关，且与所述各个业务样本对应的第一特征向量和第三特征向量之间的相似度负相关；
参数调整单元，配置为利用差分隐私的方式，在基于所述预测损失得到的原始梯度上添加噪声，利用包含噪声的梯度，调整所述异常检测模型的模型参数。
根据第四方面，提供了一种预测异常样本的装置，包括：
模型获取单元，配置为获取根据第三方面的装置训练得到的基于差分隐私的异常检测模型，所述异常检测模型包括自编码网络和评估网络，所述自编码网络包括编码器和解码器；
输入单元，配置为将待测的目标业务样本对应的第一目标向量输入所述自编码网络，通过所述编码器输出对所述第一目标向量降维的第二目标向量；
向量构建单元，配置为基于所述第二目标向量，构建目标评估向量；
概率确定单元，配置为将所述目标评估向量输入所述评估网络构建的混合高斯分布中，得到该目标业务样本在所述混合高斯分布中的目标概率；
异常判断单元，配置为根据所述目标概率，确定所述目标业务样本是否为异常样本。
根据第五方面，提供了一种计算机可读存储介质，其上存储有计算机程序，当所述计算机程序在计算机中执行时，令计算机执行第一方面或第二方面的方法。
根据第六方面，提供了一种计算设备，包括存储器和处理器，其特征在于，所述存储器中存储有可执行代码，所述处理器执行所述可执行代码时，实现第一方面或第二方面的方法。
通过本说明书实施例提供的方法和装置，通过差分隐私的梯度下降方式，在异常检测模型中引入了差分隐私。如此得到的异常检测模型，至少具有两方面的优势。其一，由于引入了差分隐私，难以基于公开的模型反推或识别出训练样本的信息，为模型提供了隐私保护。此外，无监督的异常检测模型的训练过程，其目标是要拟合训练样本的分布。常规训练往往造成对一些样本的过拟合的情况出现，特别是，训练集中有时候也存在一些噪声样本，当模型针对这些噪声样本进行过拟合时，往往造成模型本身的预测性能的下降。而由于差分隐私的引入，在梯度中也添加了噪声，这使得模型可以对抗噪声样本的影响，避免出现过拟合的情况，从而提高异常检测模型的鲁棒性和预测性能。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
图1示出了根据本说明书技术构思的异常检测模型的架构示意图；
图2示出根据一个实施例的基于差分隐私的异常检测模型的训练方法的流程图；
图3示出在一个实施例对业务样本进行异常检测的方法流程图；
图4示出根据一个实施例的异常检测模型的训练装置的示意性框图；
图5示出根据一个实施例的预测异常样本的装置的示意性框图。
具体实施方式
下面结合附图，对本说明书提供的方案进行描述。
图1示出了根据本说明书技术构思的异常检测模型的架构示意图。如图1所示，异常检测模型整体上包括自编码网络100和评估网络200，自编码网络100包括编码器110和解码器120。编码器110用于将输入的业务样本的高维特征向量x编码为低维向量zc，解码器120基于该低维向量zc，输出用于还原高维特征向量x的解码向量x’。经过训练的自编码网络，编码器得到的低维向量zc可以很好地表征原始高维特征向量x的核心特征，起到向量降维的作用。
对样本集中各个样本的分布统计基于降维后的低维向量zc而进行。具体的，可以将编码器输出的各个样本的低维向量zc输入评估网络200。根据本说明书的实施例，评估网络200为基于混合高斯分布模型GMM(Gaussian Mixture Model)的网络，其假定多个样本整体上服从混合高斯分布，该混合高斯分布为K个子高斯分布的组合。于是，评估网络200可以针对各个样本输出其分别属于K个子高斯分布的子分布概率。而多个样本的子分布概率整体，又可以用于重构上述混合高斯分布，从而实现GMM无监督的训练和学习。
进一步的，为了增强模型的隐私安全性和鲁棒性，可以在异常检测模型，特别是在编码器110中，引入差分隐私。具体的，可以通过在训练过程中，采用基于差分隐私的梯度下降，在梯度中添加噪声，从而获得基于差分隐私的编码器。如此，一方面保护隐私数据安全，避免从训练得到的异常检测模型中反推出训练样本，另一方面，差分隐私的引入，避免模型对于一些样本(特别是本身就有噪声干扰的样本)产生过拟合，从而提高异常检测模型的鲁棒性。
下面描述以上构思的具体实现过程。
图2示出根据一个实施例的基于差分隐私的异常检测模型的训练方法的流程图。可以理解，该方法可以通过任何具有计算、处理能力的装置、设备、平台、设备集群来执行。下面结合图1所示的异常检测模型的架构和图2所示的方法流程，描述基于差分隐私的异常检测模型的训练过程。
首先，在步骤21，将训练集中任意的第一业务样本对应的第一特征向量x输入自编码网络，通过编码器输出对第一特征向量x降维的第二特征向量zc，以及通过解码器输出基于第二特征向量z对第一特征向量x进行复原的第三特征向量x’。
具体而言，训练集可以是对业务样本随机采样得到的样本集，各个业务样本并没有人为打标的异常/正常的标注。在不同实施例中，业务样本可以是样本用户，样本商户，样本事件等等，其中样本事件又可以包括，例如交易事件，登录事件，购买事件，社交交互事件，等等。
假定训练集中包含N个业务样本，上述第一业务样本可以是其中任意一条业务样本。取决于业务样本的具体实例，第一特征向量x可以包含不同的内容。例如，当业务样本为用户时，第一特征向量x可以包含用户的属性特征，例如年龄，性别，注册时长，教育程度等基础属性特征，以及例如最近浏览历史，最近购物历史等行为属性特征。又例如，当业务样本为商户时，第一特征向量x可以包含商户的属性特征，例如，商户类别，注册时长，商品数量，销量，关注人数，等等。或者，在一个例子中，上述业务样本为业务事件，例如登录事件，相应的第一特征向量x可以包括，登录用户的属性特征，登录行为的行为特征，登录所使用的设备的设备特征，等等。
通常来说，为了更好地刻画业务样本，第一特征向量x可以是维度较高的特征向量，例如几百维，甚至更高。高维向量为样本分布统计带来一定的困难。因此，在本说明书的实施例中，采用自编码网络对其进行降维。
具体的，将上述第一特征向量x输入如图1所示的编码器110。编码器110具体可以实现为多层感知机，各层神经元数目逐层递减，在其输出层得到第二特征向量zc，又称为编码向量。编码向量zc的维度d远远小于输入的第一特征向量x的维度D，从而实现对输入向量的降维。例如，可以将几百维的特征向量x，压缩为几十维，甚至几维的编码向量zc。
该编码向量zc被进一步输入到解码器120。解码器120结构与编码器110对称，其算法和模型参数与编码器110中对应关联(例如为其逆运算)。因此，解码器120可以根据该编码向量zc，对第一特征向量x进行还原，输出第三特征向量x’。可以理解，编码向量zc对第一特征向量x进行了降维，该降维操作的信息损失越小，或者说，降维后的编码向量zc信息含量越高，越容易还原出输入的特征向量x，即第一特征向量x和还原的第三特征向量x’之间的相似度越高。这一性质可以在后续用于训练自编码网络。
接下来，在步骤22，基于上述降维得到的第二特征向量zc，构建评估向量z，输入到评估网络。
在一个实施例中，可以直接将第二特征向量zc作为评估向量z，输入图1的评估网络200。
在另一实施例中，可以基于上述第一特征向量x和还原的第三特征向量x’，得到重构误差向量zr，然后将第二特征向量zc和该重构误差向量zr相组合，作为评估向量z。这一过程可以表示为：
zr＝f(x,x’) (1)
z＝[zc,zr] (2)
其中，上述公式(1)中的f表示计算重构误差向量zr的函数。在不同例子中，函数f可以是，计算第一特征向量x和第三特征向量x’的绝对欧式距离，相对欧氏距离，余弦相似度，等等。
公式(2)中将第二特征向量zc和重构误差向量zr相组合，可以包括，拼接，求和，加权求和等等。
通过以上各种方式，可以得到评估向量z，该评估向量z的维度远小于原始的第一特征向量x。然后，将该评估向量z输入评估网络200。
如前所述，评估网络200基于混合高斯分布模型GMM。根据GMM，假定样本分布服从混合高斯分布，该混合高斯分布可以分解为K个子高斯分布的组合。当将第一业务样本对应的评估向量z输入评估网络200，在步骤23，评估网络200可以基于该评估向量z，输出该第一业务样本分别在K个子高斯分布中的子分布概率
Figure BDA0002469298080000091
其中
Figure BDA0002469298080000092
为K维向量，其中第k个元素为该第一业务样本在第k子高斯分布中的概率。在一个例子中，上述子分布概率
Figure BDA0002469298080000093
为使用softmax函数归一化后的分布概率，其中K个元素之和为1。
可以理解，以上第一业务样本为训练集所包含的N个样本中任意的一个。对于N个样本中的每个样本i，均可以通过上述步骤21-23，得到其评估向量zi和子分布概率
Figure BDA0002469298080000101
于是，在步骤24，可以根据训练集的N个样本中各个业务样本对应的评估向量和子分布概率，重构所述混合高斯分布，进而得到上述第一业务样本在混合高斯分布中的第一概率。
在一个实施例中，可以首先根据各个业务样本i的评估向量zi和对应的子分布概率
Figure BDA0002469298080000102
确定K个子高斯分布中任意的第k子高斯分布的出现概率、均值和协方差，其中出现概率为该第k子高斯分布在K个子高斯分布中的出现概率。
具体的，在一个例子中，可以通过以下公式(3)确定第k子高斯分布在K个子高斯分布中的出现概率
Figure BDA0002469298080000103
Figure BDA0002469298080000104
其中，
Figure BDA0002469298080000105
表示N个样本中的样本i在第k子高斯分布中的概率，换而言之，其为样本i对应的子分布概率向量
Figure BDA0002469298080000106
中的第k个元素。通过对N个样本在第k子高斯分布中的概率求和，得到第k子高斯分布在K个子高斯分布中的出现概率
Figure BDA0002469298080000107
根据高斯分布的均值和协方差的定义，可以通过以下公式(4)确定第k子高斯分布的均值
Figure BDA0002469298080000108
通过以下公式(5)确定第k子高斯分布的协方差
Figure BDA0002469298080000109
Figure BDA00024692980800001010
Figure BDA00024692980800001011
以上公式(4)和(5)中，
Figure BDA00024692980800001012
表示N个样本中的样本i在第k子高斯分布中的概率，zi为样本i的评估向量。
如此，基于训练集中N个样本各自的评估向量和子分布概率，得到各个子高斯分布的出现概率，均值和协方差。通过各个子高斯分布的均值和协方差，可以重构各个子高斯分布；进一步结合各个子高斯分布的出现概率，可以重构得到混合高斯分布。具体的，混合高斯分布可以是，以出现概率为权重，将各个子高斯分布组合在一起得到的总分布。
基于重构的混合高斯分布，可以得到上述第一业务样本在混合高斯分布中的第一概率P：
Figure BDA0002469298080000111
也就是，将第一业务样本的评估向量z，代入混合高斯分布中，即得到上述第一概率P。
接着，在步骤25，根据解码器对训练集中各个样本输出的第三特征向量对第一特征向量的还原度，以及如上方式得到的各个样本的第一概率，确定训练集对应的预测损失L，所述预测损失L与各个业务样本对应的第一概率P负相关，且与各个业务样本对应的第一特征向量和第三特征向量之间的相似度负相关。
具体的，在一个实施例中，可以根据各个样本的第一概率，确定第一损失项L1，该第一损失项L1与各个样本的第一概率负相关。例如，设定上述任意的第一业务样本对应的概率损失为E(z)(或者称为样本能量)，该概率损失E(z)负相关于该样本对应的第一概率P。例如，在一个例子中：
E(z)＝-logP，即：
Figure BDA0002469298080000112
如此，第一损失项L1可以是N个样本的概率损失之和或均值，例如：
Figure BDA0002469298080000113
需要理解，以上先基于各个样本在各个子高斯分布中的子分布概率重构了混合高斯分布，然后又得到各个样本在重构的混合高斯分布中的概率，因此，上述N个样本的第一概率整体，可以反映混合高斯分布对该N个样本分布的拟合状况，该第一损失项L1实际上对应于，N个样本整体拟合混合高斯分布的拟合损失。
另一方面，可以根据各个业务样本对应的第一特征向量和第三特征向量之间的相似度，确定第二损失项L2，该第二损失项L2与相似度负相关。例如，设定上述任意的第一业务样本对应的向量重构损失为Lr(x,x’)，该向量重构损失负相关于x与x’之间的相似度，即，x与x’越相似，Lr值越小。两个向量之间的相似度可以通过多种方式计算和衡量，例如余弦相似度，欧式距离等等。如此，第二损失项L2可以是N个样本的向量重构损失之和或均值，例如：
Figure BDA0002469298080000121
然后，根据预设权重因子，对上述第一损失项L1和第二损失项L2加权求和，得到训练集的总预测损失L。在一个例子中，预测损失L可以写为：
Figure BDA0002469298080000122
其中，λ1为权重因子，可以为超参数。
在另一实施例中，还可以将预测损失L设置为：
Figure BDA0002469298080000123
公式(11)中，λ1和λ2为权重因子，最后一项用于表示对协方差矩阵
Figure BDA0002469298080000124
的对角元素的操作函数，用于防止该矩阵不可逆。
如此，通过以上方式，得到了针对训练集的预测损失。接下来，可以基于该预测损失，确定使得损失减小的模型参数梯度，用以对模型参数进行更新和调优。
创新性的，在本说明书的实施例中，在步骤26，根据以上预测损失得到原始梯度的基础上，利用差分隐私的方式，在原始梯度上添加噪声，利用包含噪声的梯度，调整该异常检测模型的模型参数。
差分隐私(differential privacy)是密码学中的一种手段，旨在提供一种当从统计数据库查询时，最大化数据查询的准确性，同时最大限度减少识别其记录的机会。设有随机算法M，PM为M所有可能的输出构成的集合。对于任意两个邻近数据集D和D＇以及PM的任何子集SM，若随机算法M满足：Pr[M(D)∈SM]<＝eε×Pr[M(D＇)∈SM]，则称算法M提供ε-差分隐私保护，其中参数ε称为隐私保护预算，用于平衡隐私保护程度和准确度。ε通常可以预先设定。ε越接近0，eε越接近1，随机算法对两个邻近数据集D和D＇的处理结果越接近，隐私保护程度越强。
差分隐私的实现方式包括，噪声机制、指数机制等。为了在模型中引入差分隐私，根据本说明书的实施例，在此利用噪声机制，通过在参数梯度中添加噪声的方式，实现差分隐私。根据噪声机制，噪声可以体现为拉普拉斯噪声，高斯噪声，等等。根据一个实施例，在该步骤26中，通过在梯度中添加高斯噪声，实现差分隐私。具体过程可以包括如下步骤。
首先，可以根据前述预测损失L，确定使得预测损失减小的原始梯度；然后，基于预设的裁剪阈值，对原始梯度进行裁剪，得到裁剪梯度；接着，利用基于裁剪阈值确定的高斯分布，确定用于实现差分隐私的高斯噪声，其中，高斯分布的方差与裁剪阈值的平方正相关；然后，将由此得到的高斯噪声与前述裁剪梯度叠加，得到包含噪声的梯度。
更具体的，作为一个示例，假设针对上述训练集，得到的原始梯度为：
Figure BDA0002469298080000131
其中，t表示当前为第t轮次的迭代训练，X表示当前轮次使用的训练集，gt(X)表示针对该批训练集得到的损失梯度，θt表示第t轮训练开始时的模型参数，L(θt,X)表示前述预测损失。
如前所述，对上述原始梯度添加实现差分隐私的噪声，可以通过诸如拉普拉斯噪声、高斯噪声等方式实现。在一个实施例中，以高斯噪声为例，可以基于预设的裁剪阈值，对原始梯度进行梯度裁剪，得到裁剪梯度，再基于该裁剪阈值和预定的噪声缩放系数(预先设定的超参)，确定用于实现差分隐私的高斯噪声，然后将裁剪梯度与高斯噪声融合(例如求和)，得到包含噪声的梯度。可以理解的是，此种方式一方面对原始梯度进行裁剪，另一方面将裁剪后的梯度叠加，从而对梯度进行满足高斯噪声的差分隐私处理。
例如，将原始梯度进行梯度裁剪为：
Figure BDA0002469298080000141
其中，
Figure BDA0002469298080000142
表示裁剪后的梯度，C表示裁剪阈值，||g(X)||2表示gt(X)的二阶范数。也就是说，在梯度小于或等于裁剪阈值C的情况下，保留原始梯度，而梯度大于裁剪阈值C的情况下，将原始梯度按照大于裁剪阈值C的比例裁剪到相应大小。
为裁剪后的梯度添加高斯噪声，得到包含噪声的梯度，例如为：
Figure BDA0002469298080000143
其中，
Figure BDA0002469298080000144
表示包含噪声的梯度；
Figure BDA0002469298080000145
表示概率密度符合以0为均值、σ2C2:为方差的高斯分布的高斯噪声；σ表示上述噪声缩放系数，为预先设定的超参，可以按需设定；C为上述裁剪阈值；:表示指示函数，可以取0或1，比如，可以设定在多轮训练中的偶数轮次取1，而奇数轮次取0。
于是，可以使用添加高斯噪声后的梯度，以最小化前述预测损失L为目标，将模型参数调整为：
Figure BDA0002469298080000146
其中，ηt表示学习步长，或者说学习率，为预先设定的超参数，例如为0.5、0.3等；θt+1表示经过第t轮训练得到的调整后模型参数。在梯度添加高斯噪声满足差分隐私的情况下，模型参数的调整满足差分隐私。
以上描述了在梯度中添加噪声，以及根据含有噪声的梯度更新模型参数的实现方式。
另一方面，如图1所示，本方案中的异常检测模型包含自编码网络和评估网络，相应的，模型参数可以划分为自编码网络参数和评估网络参数，这两部分参数分别根据对应的梯度进行更新。通常，在通过多层神经网络实现的模型中，梯度一般通过反向传播来逐层确定。因此，在如图1所示的异常检测模型中，在根据模型输出得到预测损失后，通过梯度反向传播，首先确定出评估网络对应的第一原始梯度，然后继续回传，确定出自编码网络对应的第二原始梯度。在基于差分隐私对梯度添加噪声时，可以从第一原始梯度开始就添加噪声，也可以仅针对第二原始梯度添加噪声。
具体的，在一个实施例中，在分别确定出对应于评估网络的第一原始梯度，和对应于自编码网络的第二原始梯度基础上，利用差分隐私的方式，在第一原始梯度和第二原始梯度中分别添加噪声，得到第一噪声梯度和第二噪声梯度。然后，利用第一噪声梯度，调整评估网络的参数；利用第二噪声梯度，调整自编码网络的参数。如此，在整个异常检测模型中引入差分隐私。
在另一实施例中，在分别确定出对应于评估网络的第一原始梯度，和对应于自编码网络的第二原始梯度基础上，利用差分隐私的方式，在第二原始梯度中添加噪声，得到第二噪声梯度。然后，利用第一原始梯度，调整评估网络的参数；利用第二噪声梯度，调整自编码网络的参数。对自编码器网络的模型参数进行调整的核心是调整编码器的模型参数，因为解码器的参数与编码器相对应关联。如此，在编码器中引入了差分隐私。
需要理解，在正向对业务样本进行处理时，编码器位于整个网络模型的最上游。在编码器中引入差分隐私，就使得后续处理均具有差分隐私的特性，同样可以起到使得整个异常检测模型具有差分隐私特性的效果。
如此，通过差分隐私的梯度下降方式，在异常检测模型中引入了差分隐私。如此得到的异常检测模型，至少具有两方面的优势。其一，由于引入了差分隐私，难以基于公开的模型反推或识别出训练样本的信息，为模型提供了隐私保护。此外，无监督的异常检测模型的训练过程，其目标是要拟合训练样本的分布。常规训练往往造成对一些样本的过拟合的情况出现，特别是，训练集中有时候也存在一些噪声样本，当模型针对这些噪声样本进行过拟合时，往往造成模型本身的预测性能的下降。而由于差分隐私的引入，在梯度中也添加了噪声，这使得模型可以对抗噪声样本的影响，避免出现过拟合的情况，从而提高异常检测模型的鲁棒性和预测性能。
利用以上训练方式得到的基于差分隐私的异常检测模型，就可以对待测的目标样本进行异常检测了。图3示出在一个实施例对业务样本进行异常检测的方法流程图。类似的，该方法可以通过任何具有计算、处理能力的装置、设备、平台、设备集群来执行。
如图3所示，在步骤31，首先获取根据以上方式训练得到的基于差分隐私的异常检测模型。如图1所示，该异常检测模型包括自编码网络和评估网络，所述自编码网络包括编码器和解码器。通过前述的训练过程，评估网络已构建出可以较好的拟合业务样本分布的混合高斯模型。并且，该异常检测模型是引入有差分隐私的模型。更具体的，至少其中的编码器具有差分隐私的特性。
在步骤32，将待测的目标业务样本对应的第一目标向量xt输入所述自编码网络，通过编码器输出对第一目标向量降维的第二目标向量。这一过程与图2的步骤21相似，不复赘述。
然后在步骤33，基于所述第二目标向量，构建目标评估向量zt。需要理解，目标评估向量的构建方式与训练阶段相对应。在一种情况下，直接将第二目标向量作为目标评估向量。在另一种情况下，获取解码器输出的第三目标向量x’t；基于第一目标向量xt和第三目标向量x’t，得到重构误差向量；然后将第二目标向量和重构误差向量相组合，作为目标评估向量zt。
接着，在步骤34，将目标评估向量zt输入评估网络构建的混合高斯分布中，得到该目标业务样本在所述混合高斯分布中的目标概率。具体的，可以直接将目标评估向量zt代入前述公式(6)中，其中混合高斯分布的参数为评估网络通过训练过程确定好的参数。
于是，在步骤35，根据该目标概率，确定目标业务样本是否为异常样本。具体的，可以将目标概率与预先设定的概率阈值进行比较，当小于该概率阈值时，则认为当前的目标业务样本为异常样本。
在另一例子中，也可以将目标概率进一步代入前述公式(7)中(或者也可以认为是直接将目标评估向量直接代入该公式(7)中)，得到该业务样本的概率损失E(zt)。当该概率损失大于一定阈值，认为当前的目标业务样本为异常样本。如此，实现了业务样本的异常检测。
根据另一方面的实施例，还提供一种基于差分隐私的异常检测模型的训练装置，该装置可以部署在任何具有计算、处理能力的装置、设备、平台、设备集群中。图4示出根据一个实施例的异常检测模型的训练装置的示意性框图。如图4所示，训练装置400包括：
第一输入单元41，配置为将训练集中任意业务样本对应的第一特征向量输入所述自编码网络，通过所述编码器输出对所述第一特征向量降维的第二特征向量，通过所述解码器输出基于所述第二特征向量对所述第一特征向量进行复原的第三特征向量；
第二输入单元42，配置为基于所述第二特征向量，构建评估向量，输入所述评估网络；
子分布获取单元43，配置为获取所述评估网络输出的该任意业务样本属于混合高斯分布中K个子高斯分布的子分布概率；
概率确定单元44，配置为根据所述训练集中各个业务样本对应的所述评估向量和所述子分布概率，得到该任意业务样本在所述混合高斯分布中的第一概率；
损失确定单元45，配置为确定所述训练集对应的预测损失，所述预测损失与所述各个业务样本对应的所述第一概率负相关，且与所述各个业务样本对应的第一特征向量和第三特征向量之间的相似度负相关；
参数调整单元46，配置为利用差分隐私的方式，在基于所述预测损失得到的原始梯度上添加噪声，利用包含噪声的梯度，调整所述异常检测模型的模型参数。
在一个实施例中，第二输入单元42配置为：将所述第二特征向量作为所述评估向量。
在另一实施例中，第二输入单元42配置为：基于所述第一特征向量和所述第三特征向量，得到重构误差向量；将所述第二特征向量和所述重构误差向量相组合，作为所述评估向量。
根据一种实施方式，概率确定单元44配置为：根据所述各个业务样本的所述评估向量和所述子分布概率，确定所述K个子高斯分布中各个子高斯分布的均值、协方差，以及该子高斯分布在所述K个子高斯分布中的出现概率；根据各个子高斯分布的均值、协方差和出现概率，重构所述混合高斯分布；将所述任意业务样本的评估向量代入重构的混合高斯分布，得到所述第一概率。
在一个实施例中，所述损失确定单元45配置为：根据所述各个业务样本对应的所述第一概率，确定第一损失项，所述第一损失项与各个业务样本的所述第一概率负相关；根据所述各个业务样本对应的第一特征向量和第三特征向量之间的相似度，确定第二损失项，所述第二损失项与所述相似度负相关；根据预设权重因子，对所述第一损失项和第二损失项加权求和，得到所述预测损失。
根据一种实施方式，所述参数调整单元46配置为：根据所述预测损失，确定使得预测损失减小的原始梯度；基于预设的裁剪阈值，对所述原始梯度进行裁剪，得到裁剪梯度；利用基于所述裁剪阈值确定的高斯分布，确定用于实现差分隐私的高斯噪声，其中，所述高斯分布的方差与所述裁剪阈值的平方正相关；将所述高斯噪声与所述裁剪梯度叠加，得到所述包含噪声的梯度。
在一个实施例中，所述参数调整单元46可以配置为：
通过梯度反向传播，分别确定对应于所述评估网络的第一原始梯度，和对应于所述自编码网络的第二原始梯度；利用差分隐私的方式，在所述第一原始梯度和第二原始梯度中分别添加噪声，得到第一噪声梯度和第二噪声梯度；
利用所述第一噪声梯度，调整所述评估网络的参数；利用所述第二噪声梯度，调整所述自编码网络的参数。
在另一实施例中，所述参数调整单元46可以配置为：
通过梯度反向传播，分别确定对应于所述评估网络的第一原始梯度，和对应于所述自编码网络的第二原始梯度；利用差分隐私的方式，在所述第二原始梯度中添加噪声，得到第二噪声梯度；
利用所述第一原始梯度，调整所述评估网络的参数；利用所述第二噪声梯度，调整所述自编码网络的参数。
在不同实施例中，业务样本可以包括以下之一：样本用户，样本商户，样本事件。
值得说明的是，图4所示的装置400是与图2示出的方法实施例相对应的装置实施例，图2示出的方法实施例中的相应描述同样适用于装置400，在此不再赘述。
根据另一方面的实施例，还提供一种预测异常样本的装置，该装置可以部署在任何具有计算、处理能力的装置、设备、平台、设备集群中。图5示出根据一个实施例的预测异常样本的装置的示意性框图。如图5所示，预测装置500包括：
模型获取单元51，配置为获取根据图4的装置训练得到的基于差分隐私的异常检测模型，所述异常检测模型包括自编码网络和评估网络，所述自编码网络包括编码器和解码器；
输入单元52，配置为将待测的目标业务样本对应的第一目标向量输入所述自编码网络，通过所述编码器输出对所述第一目标向量降维的第二目标向量；
向量构建单元53，配置为基于所述第二目标向量，构建目标评估向量；
概率确定单元54，配置为将所述目标评估向量输入所述评估网络构建的混合高斯分布中，得到该目标业务样本在所述混合高斯分布中的目标概率；
异常判断单元55，配置为根据所述目标概率，确定所述目标业务样本是否为异常样本。
在一个实施例中，上述向量构建单元53具体配置为：获取所述解码器输出的第三目标向量；基于所述第一目标向量和第三目标向量，得到重构误差向量；将所述第二目标向量和所述重构误差向量相组合，作为所述目标评估向量。
根据又一方面的实施例，还提供一种计算机可读存储介质，其上存储有计算机程序，当所述计算机程序在计算机中执行时，令计算机执行结合图2所描述的方法。
根据再一方面的实施例，还提供一种计算设备，包括存储器和处理器，所述存储器中存储有可执行代码，所述处理器执行所述可执行代码时，实现结合图2所述的方法。
本领域技术人员应该可以意识到，在上述一个或多个示例中，本说明书实施例所描述的功能可以用硬件、软件、固件或它们的任意组合来实现。当使用软件实现时，可以将这些功能存储在计算机可读介质中或者作为计算机可读介质上的一个或多个指令或代码进行传输。
以上所述的具体实施方式，对本说明书的技术构思的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本说明书的技术构思的具体实施方式而已，并不用于限定本说明书的技术构思的保护范围，凡在本说明书实施例的技术方案的基础之上，所做的任何修改、等同替换、改进等，均应包括在本说明书的技术构思的保护范围之内。

Claims (23)

1.一种基于差分隐私的异常检测模型的训练方法，所述异常检测模型包括自编码网络和评估网络，所述自编码网络包括编码器和解码器；所述方法包括：
将训练集中任意业务样本对应的第一特征向量输入所述自编码网络，通过所述编码器输出对所述第一特征向量降维的第二特征向量，通过所述解码器输出基于所述第二特征向量对所述第一特征向量进行复原的第三特征向量；
基于所述第二特征向量，构建评估向量，输入所述评估网络；
获取所述评估网络输出的该任意业务样本属于混合高斯分布中K个子高斯分布的子分布概率；
根据所述训练集中各个业务样本对应的所述评估向量和所述子分布概率，得到该任意业务样本在所述混合高斯分布中的第一概率；
确定所述训练集对应的预测损失，所述预测损失与所述各个业务样本对应的所述第一概率负相关，且与所述各个业务样本对应的第一特征向量和第三特征向量之间的相似度负相关；
利用差分隐私的方式，在基于所述预测损失得到的原始梯度上添加噪声，利用包含噪声的梯度，调整所述异常检测模型的模型参数。
2.根据权利要求1所述的方法，其中，基于所述第二特征向量，构建评估向量，包括：将所述第二特征向量作为所述评估向量。
3.根据权利要求1所述的方法，其中，基于所述第二特征向量，构建评估向量，包括：
基于所述第一特征向量和所述第三特征向量，得到重构误差向量；
将所述第二特征向量和所述重构误差向量相组合，作为所述评估向量。
4.根据权利要求1所述的方法，其中，根据所述训练集中各个业务样本对应的所述评估向量和所述子分布概率，得到该任意业务样本在所述混合高斯分布中的第一概率，包括：
根据所述各个业务样本的所述评估向量和所述子分布概率，确定所述K个子高斯分布中各个子高斯分布的均值、协方差，以及该子高斯分布在所述K个子高斯分布中的出现概率；
根据各个子高斯分布的均值、协方差和出现概率，重构所述混合高斯分布；
将所述任意业务样本的评估向量代入重构的混合高斯分布，得到所述第一概率。
5.根据权利要求1所述的方法，其中，确定所述训练集对应的预测损失，包括：
根据所述各个业务样本对应的所述第一概率，确定第一损失项，所述第一损失项与各个业务样本的所述第一概率负相关；
根据所述各个业务样本对应的第一特征向量和第三特征向量之间的相似度，确定第二损失项，所述第二损失项与所述相似度负相关；
根据预设权重因子，对所述第一损失项和第二损失项加权求和，得到所述预测损失。
6.根据权利要求1所述的方法，其中，利用差分隐私的方式，在基于所述预测损失得到的原始梯度上添加噪声，包括：
根据所述预测损失，确定使得预测损失减小的原始梯度；
基于预设的裁剪阈值，对所述原始梯度进行裁剪，得到裁剪梯度；
利用基于所述裁剪阈值确定的高斯分布，确定用于实现差分隐私的高斯噪声，其中，所述高斯分布的方差与所述裁剪阈值的平方正相关；
将所述高斯噪声与所述裁剪梯度叠加，得到所述包含噪声的梯度。
7.根据权利要求1所述的方法，其中，利用差分隐私的方式，在基于所述预测损失得到的原始梯度上添加噪声，包括：通过梯度反向传播，分别确定对应于所述评估网络的第一原始梯度，和对应于所述自编码网络的第二原始梯度；利用差分隐私的方式，在所述第一原始梯度和第二原始梯度中分别添加噪声，得到第一噪声梯度和第二噪声梯度；
利用包含噪声的梯度，调整所述异常样本检测模型的模型参数，包括：
利用所述第一噪声梯度，调整所述评估网络的参数；利用所述第二噪声梯度，调整所述自编码网络的参数。
8.根据权利要求1所述的方法，其中，利用差分隐私的方式，在基于所述预测损失得到的原始梯度上添加噪声，包括：通过梯度反向传播，分别确定对应于所述评估网络的第一原始梯度，和对应于所述自编码网络的第二原始梯度；利用差分隐私的方式，在所述第二原始梯度中添加噪声，得到第二噪声梯度；
利用包含噪声的梯度，调整所述异常样本检测模型的模型参数，包括：
利用所述第一原始梯度，调整所述评估网络的参数；利用所述第二噪声梯度，调整所述自编码网络的参数。
9.根据权利要求1所述的方法，其中，所述任意业务样本包括以下之一：样本用户，样本商户，样本事件。
10.一种预测异常样本的方法，包括：
获取根据权利要求1的方法训练得到的基于差分隐私的异常检测模型，所述异常检测模型包括自编码网络和评估网络，所述自编码网络包括编码器和解码器；
将待测的目标业务样本对应的第一目标向量输入所述自编码网络，通过所述编码器输出对所述第一目标向量降维的第二目标向量；
基于所述第二目标向量，构建目标评估向量；
将所述目标评估向量输入所述评估网络构建的混合高斯分布中，得到该目标业务样本在所述混合高斯分布中的目标概率；
根据所述目标概率，确定所述目标业务样本是否为异常样本。
11.根据权利要求10所述的方法，其中，基于所述第二目标向量，构建目标评估向量，包括：
获取所述解码器输出的第三目标向量；
基于所述第一目标向量和第三目标向量，得到重构误差向量；
将所述第二目标向量和所述重构误差向量相组合，作为所述目标评估向量。
12.一种基于差分隐私的异常检测模型的训练装置，所述异常检测模型包括自编码网络和评估网络，所述自编码网络包括编码器和解码器；所述装置包括：
第一输入单元，配置为将训练集中任意业务样本对应的第一特征向量输入所述自编码网络，通过所述编码器输出对所述第一特征向量降维的第二特征向量，通过所述解码器输出基于所述第二特征向量对所述第一特征向量进行复原的第三特征向量；
第二输入单元，配置为基于所述第二特征向量，构建评估向量，输入所述评估网络；
子分布获取单元，配置为获取所述评估网络输出的该任意业务样本属于混合高斯分布中K个子高斯分布的子分布概率；
概率确定单元，配置为根据所述训练集中各个业务样本对应的所述评估向量和所述子分布概率，得到该任意业务样本在所述混合高斯分布中的第一概率；
损失确定单元，配置为确定所述训练集对应的预测损失，所述预测损失与所述各个业务样本对应的所述第一概率负相关，且与所述各个业务样本对应的第一特征向量和第三特征向量之间的相似度负相关；
参数调整单元，配置为利用差分隐私的方式，在基于所述预测损失得到的原始梯度上添加噪声，利用包含噪声的梯度，调整所述异常检测模型的模型参数。
13.根据权利要求12所述的装置，其中，第二输入单元配置为：将所述第二特征向量作为所述评估向量。
14.根据权利要求12所述的装置，其中，第二输入单元配置为：
基于所述第一特征向量和所述第三特征向量，得到重构误差向量；
将所述第二特征向量和所述重构误差向量相组合，作为所述评估向量。
15.根据权利要求12所述的装置，其中，所述概率确定单元配置为：
根据所述各个业务样本的所述评估向量和所述子分布概率，确定所述K个子高斯分布中各个子高斯分布的均值、协方差，以及该子高斯分布在所述K个子高斯分布中的出现概率；
根据各个子高斯分布的均值、协方差和出现概率，重构所述混合高斯分布；
将所述任意业务样本的评估向量代入重构的混合高斯分布，得到所述第一概率。
16.根据权利要求12所述的装置，其中，所述损失确定单元配置为：
根据所述各个业务样本对应的所述第一概率，确定第一损失项，所述第一损失项与各个业务样本的所述第一概率负相关；
根据所述各个业务样本对应的第一特征向量和第三特征向量之间的相似度，确定第二损失项，所述第二损失项与所述相似度负相关；
根据预设权重因子，对所述第一损失项和第二损失项加权求和，得到所述预测损失。
17.根据权利要求12所述的装置，其中，所述参数调整单元配置为：
根据所述预测损失，确定使得预测损失减小的原始梯度；
基于预设的裁剪阈值，对所述原始梯度进行裁剪，得到裁剪梯度；
利用基于所述裁剪阈值确定的高斯分布，确定用于实现差分隐私的高斯噪声，其中，所述高斯分布的方差与所述裁剪阈值的平方正相关；
将所述高斯噪声与所述裁剪梯度叠加，得到所述包含噪声的梯度。
18.根据权利要求12所述的装置，其中，所述参数调整单元配置为：
通过梯度反向传播，分别确定对应于所述评估网络的第一原始梯度，和对应于所述自编码网络的第二原始梯度；利用差分隐私的方式，在所述第一原始梯度和第二原始梯度中分别添加噪声，得到第一噪声梯度和第二噪声梯度；
利用所述第一噪声梯度，调整所述评估网络的参数；利用所述第二噪声梯度，调整所述自编码网络的参数。
19.根据权利要求12所述的装置，其中，所述参数调整单元配置为：
通过梯度反向传播，分别确定对应于所述评估网络的第一原始梯度，和对应于所述自编码网络的第二原始梯度；利用差分隐私的方式，在所述第二原始梯度中添加噪声，得到第二噪声梯度；
利用所述第一原始梯度，调整所述评估网络的参数；利用所述第二噪声梯度，调整所述自编码网络的参数。
20.根据权利要求12所述的装置法，其中，所述任意业务样本包括以下之一：样本用户，样本商户，样本事件。
21.一种预测异常样本的装置，包括：
模型获取单元，配置为获取根据权利要求12的装置训练得到的基于差分隐私的异常检测模型，所述异常检测模型包括自编码网络和评估网络，所述自编码网络包括编码器和解码器；
输入单元，配置为将待测的目标业务样本对应的第一目标向量输入所述自编码网络，通过所述编码器输出对所述第一目标向量降维的第二目标向量；
向量构建单元，配置为基于所述第二目标向量，构建目标评估向量；
概率确定单元，配置为将所述目标评估向量输入所述评估网络构建的混合高斯分布中，得到该目标业务样本在所述混合高斯分布中的目标概率；
异常判断单元，配置为根据所述目标概率，确定所述目标业务样本是否为异常样本。
22.根据权利要求21所述的装置，其中，所述向量构建单元配置为：
获取所述解码器输出的第三目标向量；
基于所述第一目标向量和第三目标向量，得到重构误差向量；
将所述第二目标向量和所述重构误差向量相组合，作为所述目标评估向量。
23.一种计算设备，包括存储器和处理器，其特征在于，所述存储器中存储有可执行代码，所述处理器执行所述可执行代码时，实现权利要求1-11中任一项所述的方法。
CN202010343419.2A 2020-04-27 2020-04-27 基于差分隐私的异常检测模型的训练方法及装置 Pending CN111539769A (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202010343419.2A CN111539769A (zh) 2020-04-27 2020-04-27 基于差分隐私的异常检测模型的训练方法及装置
TW110110603A TWI764640B (zh) 2020-04-27 2021-03-24 基於差分隱私的異常檢測模型的訓練方法及裝置
PCT/CN2021/089398 WO2021218828A1 (zh) 2020-04-27 2021-04-23 基于差分隐私的异常检测模型的训练

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010343419.2A CN111539769A (zh) 2020-04-27 2020-04-27 基于差分隐私的异常检测模型的训练方法及装置

Publications (1)

Publication Number Publication Date
CN111539769A true CN111539769A (zh) 2020-08-14

Family

ID=71977322

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010343419.2A Pending CN111539769A (zh) 2020-04-27 2020-04-27 基于差分隐私的异常检测模型的训练方法及装置

Country Status (3)

Country Link
CN (1) CN111539769A (zh)
TW (1) TWI764640B (zh)
WO (1) WO2021218828A1 (zh)

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112101946A (zh) * 2020-11-20 2020-12-18 支付宝(杭州)信息技术有限公司 联合训练业务模型的方法及装置
CN112434213A (zh) * 2020-10-15 2021-03-02 中国科学院深圳先进技术研究院 网络模型的训练方法、信息推送方法及相关装置
CN112446040A (zh) * 2020-11-24 2021-03-05 平安科技（深圳）有限公司 基于选择性梯度更新的联邦建模方法及相关设备
CN112541574A (zh) * 2020-12-03 2021-03-23 支付宝(杭州)信息技术有限公司 保护隐私的业务预测方法及装置
CN113052693A (zh) * 2021-06-02 2021-06-29 北京轻松筹信息技术有限公司 数据处理方法、装置、电子设备及计算机可读存储介质
CN113055930A (zh) * 2021-03-09 2021-06-29 Oppo广东移动通信有限公司 数据处理方法、通信设备、服务器及存储介质
CN113127931A (zh) * 2021-06-18 2021-07-16 国网浙江省电力有限公司信息通信分公司 基于瑞丽散度进行噪声添加的联邦学习差分隐私保护方法
CN113591479A (zh) * 2021-07-23 2021-11-02 深圳供电局有限公司 电力计量的命名实体识别方法、装置和计算机设备
WO2021218828A1 (zh) * 2020-04-27 2021-11-04 支付宝(杭州)信息技术有限公司 基于差分隐私的异常检测模型的训练
CN113762967A (zh) * 2021-03-31 2021-12-07 北京沃东天骏信息技术有限公司 风险信息确定方法、模型训练方法、设备、程序产品
CN113779045A (zh) * 2021-11-12 2021-12-10 航天宏康智能科技(北京)有限公司 工控协议数据异常检测模型的训练方法和训练装置
CN114297036A (zh) * 2022-01-05 2022-04-08 腾讯科技（深圳）有限公司 数据处理方法、装置、电子设备及可读存储介质
CN116150622A (zh) * 2023-02-17 2023-05-23 支付宝(杭州)信息技术有限公司 一种模型训练方法、装置、存储介质及电子设备
CN116188834A (zh) * 2022-12-08 2023-05-30 赛维森(广州)医疗科技服务有限公司 基于自适应训练模型的全切片图像分类方法及装置
CN116756656A (zh) * 2023-08-11 2023-09-15 北京航空航天大学 一种工程结构异常识别方法、***、电子设备及存储介质

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114186583B (zh) * 2021-12-02 2022-12-27 国家石油天然气管网集团有限公司 一种储油罐罐壁腐蚀检测异常信号恢复方法及***
CN114283306A (zh) * 2021-12-23 2022-04-05 福州大学 一种工业控制网络异常检测方法及***
TWI781874B (zh) * 2022-01-19 2022-10-21 中華電信股份有限公司 基於自編碼機神經網路模型偵測電信網路的異常的電子裝置及方法
CN115184054B (zh) * 2022-05-30 2022-12-27 深圳技术大学 机械设备半监督故障检测分析方法、装置、终端及介质
CN114974220A (zh) * 2022-06-17 2022-08-30 中国电信股份有限公司 网络模型的训练方法、语音对象的性别识别方法及装置
CN115238827B (zh) * 2022-09-16 2022-11-25 支付宝(杭州)信息技术有限公司 保护隐私的样本检测***训练方法及装置
CN115842812B (zh) * 2022-11-21 2024-04-12 浪潮通信信息***有限公司 基于pca和集成自编码器的用户感知评估方法及***
CN115564577B (zh) * 2022-12-02 2023-04-07 成都新希望金融信息有限公司 一种异常用户识别方法、装置、电子设备及存储介质
CN117474464B (zh) * 2023-09-28 2024-05-07 光谷技术有限公司 多业务处理模型训练方法、多业务处理方法和电子设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101792520B1 (ko) * 2016-12-30 2017-11-03 한라대학교 산학협력단 비밀 분산 기법을 이용한 디퍼렌셜 프라이버시 방법
CN107368752A (zh) * 2017-07-25 2017-11-21 北京工商大学 一种基于生成式对抗网络的深度差分隐私保护方法
CN110334548A (zh) * 2019-07-16 2019-10-15 桂林电子科技大学 一种基于差分隐私的数据异常检测方法
CN110796497A (zh) * 2019-10-31 2020-02-14 支付宝(杭州)信息技术有限公司 检测异常操作行为的方法以及装置

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7779268B2 (en) * 2004-12-07 2010-08-17 Mitsubishi Electric Research Laboratories, Inc. Biometric based user authentication and data encryption
US20190244138A1 (en) * 2018-02-08 2019-08-08 Apple Inc. Privatized machine learning using generative adversarial networks
CN109033854B (zh) * 2018-07-17 2020-06-09 阿里巴巴集团控股有限公司 基于模型的预测方法和装置
CN109886388B (zh) * 2019-01-09 2024-03-22 平安科技（深圳）有限公司 一种基于变分自编码器的训练样本数据扩充方法和装置
CN111046433B (zh) * 2019-12-13 2021-03-05 支付宝(杭州)信息技术有限公司 一种基于联邦学习的模型训练方法
CN111539769A (zh) * 2020-04-27 2020-08-14 支付宝(杭州)信息技术有限公司 基于差分隐私的异常检测模型的训练方法及装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101792520B1 (ko) * 2016-12-30 2017-11-03 한라대학교 산학협력단 비밀 분산 기법을 이용한 디퍼렌셜 프라이버시 방법
CN107368752A (zh) * 2017-07-25 2017-11-21 北京工商大学 一种基于生成式对抗网络的深度差分隐私保护方法
CN110334548A (zh) * 2019-07-16 2019-10-15 桂林电子科技大学 一种基于差分隐私的数据异常检测方法
CN110796497A (zh) * 2019-10-31 2020-02-14 支付宝(杭州)信息技术有限公司 检测异常操作行为的方法以及装置

Cited By (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021218828A1 (zh) * 2020-04-27 2021-11-04 支付宝(杭州)信息技术有限公司 基于差分隐私的异常检测模型的训练
CN112434213A (zh) * 2020-10-15 2021-03-02 中国科学院深圳先进技术研究院 网络模型的训练方法、信息推送方法及相关装置
CN112434213B (zh) * 2020-10-15 2023-09-29 中国科学院深圳先进技术研究院 网络模型的训练方法、信息推送方法及相关装置
CN112101946A (zh) * 2020-11-20 2020-12-18 支付宝(杭州)信息技术有限公司 联合训练业务模型的方法及装置
CN112446040A (zh) * 2020-11-24 2021-03-05 平安科技（深圳）有限公司 基于选择性梯度更新的联邦建模方法及相关设备
CN112541574A (zh) * 2020-12-03 2021-03-23 支付宝(杭州)信息技术有限公司 保护隐私的业务预测方法及装置
CN112541574B (zh) * 2020-12-03 2022-05-17 支付宝(杭州)信息技术有限公司 保护隐私的业务预测方法及装置
CN113055930A (zh) * 2021-03-09 2021-06-29 Oppo广东移动通信有限公司 数据处理方法、通信设备、服务器及存储介质
CN113762967A (zh) * 2021-03-31 2021-12-07 北京沃东天骏信息技术有限公司 风险信息确定方法、模型训练方法、设备、程序产品
CN113052693A (zh) * 2021-06-02 2021-06-29 北京轻松筹信息技术有限公司 数据处理方法、装置、电子设备及计算机可读存储介质
CN113127931B (zh) * 2021-06-18 2021-09-03 国网浙江省电力有限公司信息通信分公司 基于瑞丽散度进行噪声添加的联邦学习差分隐私保护方法
CN113127931A (zh) * 2021-06-18 2021-07-16 国网浙江省电力有限公司信息通信分公司 基于瑞丽散度进行噪声添加的联邦学习差分隐私保护方法
CN113591479A (zh) * 2021-07-23 2021-11-02 深圳供电局有限公司 电力计量的命名实体识别方法、装置和计算机设备
CN113779045A (zh) * 2021-11-12 2021-12-10 航天宏康智能科技(北京)有限公司 工控协议数据异常检测模型的训练方法和训练装置
CN114297036A (zh) * 2022-01-05 2022-04-08 腾讯科技（深圳）有限公司 数据处理方法、装置、电子设备及可读存储介质
CN114297036B (zh) * 2022-01-05 2023-06-09 腾讯科技（深圳）有限公司 数据处理方法、装置、电子设备及可读存储介质
CN116188834A (zh) * 2022-12-08 2023-05-30 赛维森(广州)医疗科技服务有限公司 基于自适应训练模型的全切片图像分类方法及装置
CN116188834B (zh) * 2022-12-08 2023-10-20 赛维森(广州)医疗科技服务有限公司 基于自适应训练模型的全切片图像分类方法及装置
CN116150622A (zh) * 2023-02-17 2023-05-23 支付宝(杭州)信息技术有限公司 一种模型训练方法、装置、存储介质及电子设备
CN116150622B (zh) * 2023-02-17 2023-08-11 支付宝(杭州)信息技术有限公司 一种模型训练方法、装置、存储介质及电子设备
CN116756656A (zh) * 2023-08-11 2023-09-15 北京航空航天大学 一种工程结构异常识别方法、***、电子设备及存储介质

Also Published As

Publication number Publication date
TW202143146A (zh) 2021-11-16
WO2021218828A1 (zh) 2021-11-04
TWI764640B (zh) 2022-05-11

Similar Documents

Publication Publication Date Title
CN111539769A (zh) 基于差分隐私的异常检测模型的训练方法及装置
Razavi et al. A practical feature-engineering framework for electricity theft detection in smart grids
Benchaji et al. Enhanced credit card fraud detection based on attention mechanism and LSTM deep model
EP3723008A1 (en) Method for protecting a machine learning model against extraction
Maamar et al. A Hybrid Model for Anomalies Detection in AMI System Combining K-means Clustering and Deep Neural Network.
Afriyie et al. A supervised machine learning algorithm for detecting and predicting fraud in credit card transactions
CN111523668B (zh) 基于差分隐私的数据生成***的训练方法及装置
Roseline et al. Autonomous credit card fraud detection using machine learning approach☆
Ashofteh et al. A conservative approach for online credit scoring
Singh et al. Energy theft detection for AMI using principal component analysis based reconstructed data
US20060236395A1 (en) System and method for conducting surveillance on a distributed network
Óskarsdóttir et al. Social network analytics for supervised fraud detection in insurance
Giudici et al. Artificial Intelligence risk measurement
Bazán et al. Power and reversal power links for binary regressions: An application for motor insurance policyholders
Madhure et al. Cnn-lstm based electricity theft detector in advanced metering infrastructure
Zhang et al. The optimized anomaly detection models based on an approach of dealing with imbalanced dataset for credit card fraud detection
CN114782161A (zh) 识别风险用户的方法、装置、存储介质及电子装置
CN114548241A (zh) 被盗账户检测方法、装置、电子设备
El-Toukhy et al. Electricity theft detection using deep reinforcement learning in smart power grids
Ashofteh et al. A non-parametric-based computationally efficient approach for credit scoring
CN116823428A (zh) 一种反欺诈检测方法、装置、设备及存储介质
CN114003960A (zh) 一种神经网络模型的训练方法
CN116911882B (zh) 一种基于机器学习的保险防欺诈预测方法及***
Xiang et al. A bonus-malus framework for cyber risk insurance and optimal cybersecurity provisioning
CN115345727B (zh) 一种识别欺诈贷款申请的方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40035499

Country of ref document: HK