CN112200380A - 优化风险检测模型的方法及装置 - Google Patents

Abstract

本说明书实施例提供一种优化风险检测模型的方法和装置，该方法包括，首先获取样本集，其中包括具有第一标签值的正常样本和具有第二标签值的原始风险样本。对于各个原始风险样本，根据训练风险检测模型使用的损失函数以及当前的风险检测模型，确定攻击者对该原始风险样本进行潜在攻击变换而得到的对抗风险样本。然后基于损失函数，确定风险检测模型针对各个对抗风险样本的第一预测损失，以及针对各个正常样本的第二预测损失；并至少基于该第一和第二预测损失，确定总预测损失。接着，以总预测损失最小化为目标，调整风险检测模型的模型参数，以优化该风险检测模型。

Description

优化风险检测模型的方法及装置

技术领域

本说明书一个或多个实施例涉及机器学习领域，尤其涉及优化风险检测模型的方法和装置。

背景技术

机器学习的迅猛发展使得各种机器学习的模型在各种各样的业务场景得到应用。例如在安全和风控场景中，已经通过机器学习训练出一些风险检测模型，用于识别出有风险或有安全隐患的对象。例如，通过风险检测模型识别垃圾账号，识别高风险的交易，识别高风险操作，等等。在识别出这样的风险对象后往往会对其进行拦截，以确保***和用户的安全。

鉴于已有的风险检测模型常常在鲁棒性方面存在不足，希望能有改进的方案，可以针对风险检测模型进行优化，以提升其鲁棒性，更好地适用于风险检测场景中的攻防特点。

发明内容

本说明书一个或多个实施例描述了一种优化风险检测模型的方法和装置，可以从攻防对抗的角度对风险检测模型进行优化，增强其鲁棒性和安全性。

根据第一方面，提供了一种优化风险检测模型的方法，包括：

获取样本集，所述样本集中包括具有第一标签值的正常样本和具有第二标签值的原始风险样本；

对于所述样本集中各个原始风险样本，根据训练所述风险检测模型使用的损失函数以及当前的风险检测模型，确定攻击者对该原始风险样本进行潜在攻击变换而得到的对抗风险样本；

基于所述损失函数，确定所述风险检测模型针对各个对抗风险样本的第一预测损失，以及针对各个正常样本的第二预测损失；

至少基于所述第一预测损失和第二预测损失，确定针对所述样本集的总预测损失；

以所述总预测损失最小化为目标，调整所述风险检测模型的模型参数，以优化所述风险检测模型。

根据一种实施方式，对抗风险样本相对于对应的原始风险样本，利用所述损失函数针对第一标签值计算的损失值减小。

在一个实施例中，确定攻击者对该原始风险样本进行潜在攻击变换而得到的对抗风险样本，具体包括：确定用于生成变换的变换生成函数，该变换生成函数使得施加所述变换后的对抗风险样本针对第一标签值计算的损失值达到最小；利用所述变换生成函数，针对该原始风险样本，生成所述攻击变换，得到对应的对抗风险样本。

进一步的，在一个例子中，确定上述变换生成函数可以包括：针对所述样本集中任意的第一原始风险样本，利用当前生成函数生成第一中间变换，并通过在第一原始风险样本上叠加所述第一中间变换得到第一中间样本；利用当前的风险检测模型计算第一中间样本的预测值，并将该预测值与所述第一标签值代入所述损失函数，得到所述第一中间样本针对第一标签值的对抗损失；确定目标函数，其至少包括各个原始风险样本对应的中间样本的对抗损失之和；以所述目标函数最小化为目标，调整所述当前生成函数中的参数，将调整后的当前生成函数确定为所述变换生成函数。

更进一步的，在一个具体例子中，上述目标函数还包括，各个原始风险样本对应的中间变换的变换量绝对值之和或平方和。

根据另一种实施方式，所述对抗风险样本相对于对应的原始风险样本，利用所述损失函数针对第二标签值计算的损失值增大。

在一个实施例中，基于所述损失函数相对于该原始风险样本的特征梯度，确定对应的对抗风险样本，使得当前的风险检测模型针对该对抗风险样本的预测值与所述第二标签值之间的损失值达到最大。

进一步的，在一个例子中，确定对应的对抗风险样本具体包括：获取所述原始风险样本的样本特征的原始特征值；确定所述损失函数相对于所述样本特征的特征梯度；利用符号函数，根据所述特征梯度和预设的变换边界，确定所述攻击变换；在所述原始特征值上叠加所述攻击变换，得到对应的对抗风险样本。

在另一例子中，确定对应的对抗风险样本可以包括，执行多次迭代，根据所述多次迭代后得到的特征值得到对应的对抗风险样本，其中每次迭代包括：获取所述原始风险样本的样本特征在前次迭代中的前次特征值；确定所述损失函数相对于样本特征的本次特征梯度；根据所述前次特征值，本次特征梯度和预设的投影函数，确定本次迭代后更新的特征值。

在一个实施例中，上述方法还包括，基于所述损失函数，确定所述风险检测模型针对各个原始风险样本的第三预测损失；在这样的情况下，可以将所述总预测损失确定为，所述第一预测损失，第二预测损失和第三预测损失的加权和。

根据一个实施例，调整风险检测模型的模型参数具体包括：确定所述总预测损失相对于所述模型参数的参数梯度；沿所述参数梯度下降的方向，调整所述模型参数的参数值。

在不同实施例中，上述样本可以为以下之一：账号、交易、文本片段、用户操作。

根据第二方面，提供了一种优化风险检测模型的装置，包括：

样本集获取单元，配置为获取样本集，所述样本集中包括具有第一标签值的正常样本和具有第二标签值的原始风险样本；

对抗样本确定单元，配置为对于所述样本集中各个原始风险样本，根据训练所述风险检测模型使用的损失函数以及当前的风险检测模型，确定攻击者对该原始风险样本进行潜在攻击变换而得到的对抗风险样本；

预测单元，配置为基于所述损失函数，确定所述风险检测模型针对各个对抗风险样本的第一预测损失，以及针对各个正常样本的第二预测损失；

总损失确定单元，配置为至少基于所述第一预测损失和第二预测损失，确定针对所述样本集的总预测损失；

调整单元，配置为以所述总预测损失最小化为目标，调整所述风险检测模型的模型参数，以优化所述风险检测模型。

根据第三方面，提供了一种计算机可读存储介质，其上存储有计算机程序，当所述计算机程序在计算机中执行时，令计算机执行第一方面的方法。

根据第四方面，提供了一种计算设备，包括存储器和处理器，其特征在于，所述存储器中存储有可执行代码，所述处理器执行所述可执行代码时，实现第一方面的方法。

根据本说明书实施例提供的方法和装置，在风险检测的对抗场景中，通过模拟攻击者对黑样本可能进行的攻击变换，得到相应的对抗黑样本，然后基于对抗黑样本，对风险检测模型进行优化。如此优化后的风险检测模型，可以提高对于对抗黑样本的识别效能，从而更好地防御对抗黑样本的对抗攻击，鲁棒性和安全性均得到增强。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。

图1示出根据一个实施例的优化风险检测模型的示意图；

图2示出根据一个实施例的优化风险检测模型的方法流程图；

图3示出在一个实施例中确定变换生成函数的步骤；

图4示出根据一个实施例的优化装置示意图。

具体实施方式

下面结合附图，对本说明书提供的方案进行描述。

如前所述，在安全和风控场景中，为了识别出高风险的业务对象，已经通过机器学习训练出一些风险检测模型，用于检测风险对象，从而对其进行拦截或进一步安全处理。

尽管已有的各种风险检测模型在特征处理的全面性、预测准确性等多方面获得了不错的效果，然而，发明人意识到，风险检测场景实际上是一种攻防对抗的博弈场景：一方面，模型算法试图对业务对象进行全面的分析来进行风险对象的识别，另一方面，试图通过风险对象牟利的团伙，则会努力绕开模型的分析算法，或者对模型进行攻击，以试图突破模型的识别。因此，发明人提出，从攻防角度对风险检测模型进行优化，以提升其鲁棒性，更好地抵御潜在的模型攻击，提升攻防安全性。

图1示出根据一个实施例的优化风险检测模型的示意图。如图1所示，风险检测模型基于训练样本集而训练得到。为了有较好的训练效果，一般而言，训练样本集中会包括一些正常样本，或称为白样本，以及一些风险样本，或称为黑样本，以便从正负样本不同角度进行学习。上述样本可以对应于待检测的对象，例如账号、交易、用户操作、文本等等。基于这样的样本集，可以得到初步训练的风险检测模型M0。

在风险检测的对抗场景中，假定攻击者一般会对黑样本进行变换，以期使得风险检测模型识别不出其为黑样本。因此，根据本说明书的实施例，可以基于当前的风险检测模型，模拟攻击者可能进行的攻击变换，得到相应的对抗黑样本。这样的对抗黑样本是攻击者有可能使用的、使得风险检测模型检测效能降低的对抗样本。

在此基础上，基于原始样本集中的样本，以及上述获得的对抗黑样本，对风险检测模型进行优化，优化目标包括，降低对上述对抗黑样本的预测损失，从而提高对于对抗黑样本的识别效能。如此，优化后的风险检测模型M1鲁棒性得到增强，可以更好地对抗攻击者的攻击。

下面描述以上发明构思的实现过程。

需要理解，在对风险检测模型进行优化之前，首先会基于样本集对模型进行训练，得到经过初步训练的、当前的风险检测模型。

可以将样本集中任意的第i个样本记为(x_i,y_i)，其中x_i表示该第i个样本的样本特征，y_i表示对应的标签值，用于示出该样本是否为风险样本。一般地，用两个不同的标签值，即第一标签值和第二标签值，分别表示正常样本和风险样本。典型的，在识别风险样本的场景下，通常用0表示白样本，用1表示黑样本。

上述样本可以为各种待检测的业务对象，例如账号、交易、文本、用户操作等等。

在一个具体例子中，样本为账号。相应的，风险样本可以是，垃圾账号、水军账号、被盗用账号等等。对于账号样本来说，样本特征可以包括，例如账号的注册时长、注册信息、最近一段时间的使用频次、发表评论的频次，等等。

在另一例子中，样本为交易。相应的，风险样本可以是，欺诈、套现等高风险交易。对于交易样本来说，样本特征可以包括，例如交易金额、交易时间、支付渠道、交易双方属性信息等等。

在又一例子中，样本为文本。相应的，风险样本可以是，垃圾邮件/短信、广告邮件/短信、非法内容文本，等等。对于文本样本来说，样本特征主要包括，文本中的字符、文本发布时间、来源，等等。

在其他例子中，样本还可以是其他业务对象。在此不一一具体描述。

基于以上的包含黑白样本的样本集，可以对风险检测模型进行初步的训练。风险检测模型的算法过程可以用分类函数f_θ(x)表示，该分类函数的参数(即模型参数)用θ表示，该函数的输入为样本特征x，输出为针对该样本的分类预测值。

在训练上述风险检测模型过程中，会使用损失函数L来衡量模型当前的预测损失情况。具体的，损失函数L的输入包括模型针对样本的预测值，和该样本的标签值y，其输出的损失值反映预测值与标签值之间的差异。在不同实施例中，损失函数L的具体形式可以包括，均方差损失，交叉熵损失等多种形式，在此不做限定。

模型训练过程中，通过不断调整分类函数f_θ(x)中的模型参数值θ，使得利用上述损失函数L计算的、针对批量样本的损失值趋于极小值，此时，完成模型的初步训练，得到当前的风险检测模型。

在此基础上，可以基于攻防对抗博弈的思想，对风险检测模型进行进一步优化。图2示出根据一个实施例的优化风险检测模型的方法流程图。可以理解，该方法可以通过任何具有计算、处理能力的装置、设备、平台、设备集群来执行。如图2所示，该方法包括以下步骤。

首先在步骤21，获取样本集，其中包括具有第一标签值的正常样本和具有第二标签值的原始风险样本。如前所述，样本集中任意样本可以记为(x_i,y_i)，当y_i为第一标签值时，示出该样本i为正常样本或白样本，当y_i为第二标签值时，示出该样本i为风险样本或黑样本。典型的，第一标签值可以取0，第二标签值可以取1。在后续描述中，将正常样本构成的集合记为W(白样本)，风险样本构成的集合记为B(黑样本)。

接着，在步骤22，对于各个原始风险样本，根据训练风险检测模型使用的损失函数L以及当前的风险检测模型，确定攻击者对该原始风险样本进行潜在攻击变换而得到的对抗风险样本。

在该步骤中，假定攻击者的攻击目的是，使得风险检测模型对于黑样本的识别能力下降。这可以体现为，使得生成的对抗风险样本相对于对应的原始风险样本，利用损失函数L针对白样本标签值计算的损失值减小，或者针对黑样本标签值计算的损失值增大。因此，可以以此为目标，模拟攻击者对原始风险样本的攻击变换，得到潜在的对抗风险样本。

接着，在步骤23，利用损失函数L，确定风险检测模型针对各个对抗风险样本的第一预测损失，以及针对各个正常样本的第二预测损失。

然后，在步骤24，至少基于所述第一预测损失和第二预测损失，确定针对样本集的总预测损失。

可选的，还可以确定风险检测模型针对各个原始风险样本的第三预测损失，并基于第一预测损失、第二预测损失和第三预测损失，得到上述总预测损失。

于是，在步骤25，以所述总预测损失最小化为目标，调整风险检测模型的模型参数，以优化所述风险检测模型。

下面结合具体例子，描述各个步骤的具体执行方式。

根据一种实施方式，在步骤22中，模拟对抗风险样本的目标是，使得利用损失函数针对白样本标签值计算的损失值减小，如此使得，风险检测模型针对对抗风险样本的预测值更接近于白样本标签值，从而更容易将其识别为白样本。

在一个实施例中，在上述目标下对攻击者的行为进行建模，假定攻击者采用一个变换生成函数来生成变换，该变换生成函数使得施加变换后得到的对抗风险样本针对白样本标签值计算的损失值达到最小。该变换生成函数可以表示为ρ_s(x)，其中，s为变换生成函数的参数，x为原始黑样本的样本特征。

如此，步骤22中确定对抗风险样本的过程可以包括，首先通过模拟攻击者的行为，确定出上述变换生成函数；然后，利用该变换生成函数，针对各个原始风险样本，生成攻击变换，于是得到对应的对抗风险样本。

根据上述变换生成函数的变换目标，可以通过多种方式确定出变换生成函数ρ_s(x)。图3示出在一个实施例中确定变换生成函数的步骤。

如图3所示，在步骤31，针对样本集中任意的原始风险样本i(其样本特征为x_i)，利用当前生成函数生成中间变换ρ_s(x_i)，并通过在原始样本特征x_i上叠加该中间变换得到中间样本x_i+ρ_s(x_i)。

在步骤32，利用当前的风险检测模型f_θ计算该中间样本的预测值，即f_θ(x_i+ρ_s(x_i))，并将该预测值与白样本标签值代入损失函数L，得到该中间样本针对白样本标签值的对抗损失。

在步骤33，在此基础上确定目标函数J，其至少包括各个原始风险样本对应的中间样本的对抗损失之和。

具体的，在一个例子中，假定白样本标签值和黑样本标签值一个为0，一个为1，上述目标函数J可以表示为:

以上公式(1)中，(x_i,y_i)∈B表明运算针对的是黑样本集合B中的黑样本i，因此y_i为黑样本标签值，1-y_i为白样本标签值；ρ_s(x_i)为中间变换，f_θ(x_i+ρ_s(x_i))为当前风险检测模型针对中间样本的预测值，L为损失函数。因此，上述目标函数反映了，利用损失函数L计算的、各个黑样本对应的中间样本针对白样本标签值的对抗损失之和。

于是，在步骤34，可以在目标函数J减小的方向，不断调整生成函数ρ_s中的参数s，使得目标函数J趋于达到最小值。如此调整后的生成函数，可以作为所需的变换生成函数。

在另一例子中，上述目标函数J可以表示为：

公式(2)中，c为预设常数，‖.‖₂为二阶范数，可以指示出向量的大小,相应的，‖ρ_s(x_i)‖₂可以指示出中间变换的变换量绝对值。可以看到，在公式(2)中针对各个样本计算其中间变换的范数的平方，在其他例子中，也可以只取二阶范数本身(即一次方)。

在目标函数中包含中间变换的范数项，相当于对变换生成函数ρ_s施加了附加约束。这样的目标函数除了要求变换生成函数生成的变换使得上述对抗损失越小越好，同时还要求，所生成的变换量越小越好。

通过在目标函数减小的方向不断调整变换生成函数的参数s，可以得到所需的变换生成函数。在一个例子中，利用上述目标函数J对参数s求梯度，并通过梯度下降的方式，对参数s进行迭代更新，得到最终的变换生成函数。

在确定出攻击者采用的变换生成函数ρ_s的基础上，就可以针对各个原始风险样本，生成对应的攻击变换，于是得到对应的对抗风险样本。

回到图2，在接下来的步骤23-24，可以利用损失函数L，确定风险检测模型针对包含对抗风险样本的样本集的总预测损失Loss。

在一个具体例子中，总预测损失Loss可以表示为：

公式(3)的总损失中的第一项，针对原始样本集中的全部样本(即白样本W和黑样本B的并集)进行计算。在其他实施例中，该第一项也可以简化为，仅针对白样本进行运算，得到前述的第二预测损失。

公式(3)的第二项对应于前述的第一预测损失，其中λ为预设的权重系数，x_i+ρ_s(x_i)即为通过变换生成函数施加攻击变换后得到的对抗风险样本。需要注意，公式(3)为风险检测模型的优化所使用的Loss，针对各样本进行损失计算的标签值为原始标签值，相应的，第二项中的标签值为黑样本标签值。

于是接着在步骤25，可以上述公式(3)所示的总预测损失Loss最小化为目标，调整风险检测模型f_θ的模型参数θ，以优化该风险检测模型。具体的，在一个例子中，可以对模型参数θ求偏导得到其梯度，并采用梯度下降方式，对模型参数θ进行调整更新，以优化该模型。

根据另一种实施方式，在步骤22中，模拟对抗风险样本的目标是，使得利用损失函数针对黑样本标签值计算的损失值增大，如此使得，风险检测模型针对对抗风险样本的预测值远离其真实的黑样本标签值，从而检测效能下降。

在一个实施例中，在上述目标下对攻击者的行为进行建模，假定攻击者分别针对各个黑样本进行攻击变换δ*，且该攻击变换δ*使得，如此得到的对抗风险样本针对黑样本标签值计算的损失值分别达到最大。换而言之，假定攻击者针对各个黑样本分别进行的攻击变换，对于当前的风险检测模型来说为“最坏情况”下的攻击变换。

对于原始黑样本x_i，该“最坏情况”下的攻击变换

可以表示为：

其中，S为预定义的变换空间。

为了确定出该“最坏情况”的攻击变换，在一个实施例中，可以基于前述损失函数L相对于原始风险样本的特征梯度，确定对应的对抗风险样本，使得利用该损失函数计算的、当前的风险检测模型针对该对抗风险样本的预测值与黑样本标签值之间的损失值达到最大。

更具体的，在一个例子中，可以采用快速梯度符号法FGSM，针对各个黑样本确定出最坏情况下的对抗风险样本。具体而言，该过程可以包括，对于某个风险样本，获取其样本特征x的原始特征值；确定损失函数L相对于所述样本特征的特征梯度

该步骤中，将模型参数θ作为常数，将样本特征x作为变量进行求解。然后利用符号函数，根据特征梯度

和预设的变换边界∈，确定出攻击变换；在原始特征值上叠加该攻击变换，得到对应的对抗风险样本。

在一个具体例子中，对抗风险样本可以表示为：

其中，∈为预设的变换边界，用于定义前述的变换空间；变换空间S中所有变换δ均需满足，无穷阶范数不大于该变换边界，即：

sgn为符号函数，根据输入是否大于零，输出+1或-1。

在另一例子中，可以采用投影梯度法PGD，针对各个黑样本确定出最坏情况下的对抗风险样本。梯度投影法可以视为，分多步迭代地执行FGSM。具体而言，该过程的多步迭代中任意的第t+1次迭代可以包括，对于某个风险样本，获取其样本特征x在前次迭代(第t次迭代)中的前次特征值xt；确定损失函数L相对于样本特征的本次特征梯度

该步骤中，将模型参数θ作为常数，将样本特征x作为变量，求解梯度表示后将前次特征值xt代入而得到本次特征梯度值。然后根据前次特征值xt，本次特征梯度

和预设的投影函数，确定本次迭代后更新的特征值x^t+1。

在一个具体例子中，上述第t+1次迭代过程可以表示为：

其中，α为学习率，相当于单步变换边界；∏_x+S(.)为投影函数，用于在变换过大超出预定变换空间S时，将变换映射至变换空间S。

在其他例子中，还可以采用其他公式、算法，基于损失函数L对样本特征x的特征梯度，确定出使得损失值达到最大的对抗风险样本。例如，还可以采用动量迭代MI-FGSM方式，在每步迭代中引入动量值，基于动量值和梯度值两者，进行特征迭代。

如此，通过以上多种方式，可以确定出“最坏情况下”的对抗风险样本。

于是在接下来的步骤23-24，可以利用损失函数L，确定风险检测模型针对包含对抗风险样本的样本集的总预测损失Loss。

在一个具体例子中，总预测损失Loss可以表示为：

公式(7)中的第一项，针对原始样本集中的白样本W进行计算，得到前述的第二预测损失。在其他实施例中，该第一项也可以扩展为，针对原始样本集中所有样本，包括白样本和黑样本，均进行运算。即，在公式(7)基础上附加针对原始黑样本的第三预测损失。

公式(7)的第二项对应于前述的第一预测损失，其中的

通过公式(4)定义。在一个实施例中，可以针对公式(7)的第一项和第二项设置权重因子，于是，总预测损失Loss为各项预测损失的加权和。

于是接着在步骤25，可以上述公式(7)所示的总预测损失Loss最小化为目标，调整风险检测模型f_θ的模型参数θ，以优化该风险检测模型。在一个实施例中，可以将上述总预测损失对模型参数θ求偏导得到参数梯度。具体的，基于公式(7)的参数梯度

可以表示为：

于是，可以基于上述参数梯度，采用梯度下降方式，对模型参数θ进行调整更新，以优化该模型。

回顾以上过程可以看到，在风险检测的对抗场景中，通过模拟攻击者对黑样本可能进行的攻击变换，得到相应的对抗黑样本，然后基于对抗黑样本，对风险检测模型进行优化。如此优化后的风险检测模型，可以提高对于对抗黑样本的识别效能，从而更好地防御对抗黑样本的对抗攻击，鲁棒性和安全性均得到增强。

根据另一方面的实施例，还提供一种优化风险检测模型的装置，上述装置可以部署在任何具有计算、处理能力的设备或平台上。图4示出根据一个实施例的优化装置示意图。如图4所示，该优化装置400包括：

样本集获取单元41，配置为获取样本集，所述样本集中包括具有第一标签值的正常样本和具有第二标签值的原始风险样本；

对抗样本确定单元42，配置为对于所述样本集中各个原始风险样本，根据训练所述风险检测模型使用的损失函数以及当前的风险检测模型，确定攻击者对该原始风险样本进行潜在攻击变换而得到的对抗风险样本；

预测单元43，配置为基于所述损失函数，确定所述风险检测模型针对各个对抗风险样本的第一预测损失，以及针对各个正常样本的第二预测损失；

总损失确定单元44，配置为至少基于所述第一预测损失和第二预测损失，确定针对所述样本集的总预测损失；

调整单元45，配置为以所述总预测损失最小化为目标，调整所述风险检测模型的模型参数，以优化所述风险检测模型。

根据一种实施方式，所述对抗风险样本相对于对应的原始风险样本，利用所述损失函数针对第一标签值计算的损失值减小。

在一个实施例中，所述对抗样本确定单元42包括(未示出)：

变换函数确定模块，配置为确定用于生成攻击变换的变换生成函数，该变换生成函数使得施加所述变换后的对抗风险样本针对第一标签值计算的损失值达到最小；

对抗样本生成模块，配置为利用所述变换生成函数，针对该原始风险样本，生成所述攻击变换，得到对应的对抗风险样本。

进一步的，在一个例子中，上述变换函数确定模块具体配置为：

针对所述样本集中任意的第一原始风险样本，利用当前生成函数生成第一中间变换，并通过在第一原始风险样本上叠加所述第一中间变换得到第一中间样本；

利用当前的风险检测模型计算第一中间样本的预测值，并将该预测值与所述第一标签值代入所述损失函数，得到所述第一中间样本针对第一标签值的对抗损失；

确定目标函数，其至少包括各个原始风险样本对应的中间样本的对抗损失之和；

以所述目标函数最小化为目标，调整所述当前生成函数中的参数，将调整后的当前生成函数确定为所述变换生成函数。

更进一步的，在一个具体例子中，所述目标函数还包括，各个原始风险样本对应的中间变换的变换量绝对值之和或平方和。

根据另一种实施方式，所述对抗风险样本相对于对应的原始风险样本，利用所述损失函数针对第二标签值计算的损失值增大。

在一个实施例中，所述对抗样本确定单元42配置为：

基于所述损失函数相对于该原始风险样本的特征梯度，确定对应的对抗风险样本，使得当前的风险检测模型针对该对抗风险样本的预测值与所述第二标签值之间的损失值达到最大。

进一步的，在一个例子中，所述对抗样本确定单元42具体配置为：

获取所述原始风险样本的样本特征的原始特征值；

确定所述损失函数相对于所述样本特征的特征梯度；

利用符号函数，根据所述特征梯度和预设的变换边界，确定所述攻击变换；

在所述原始特征值上叠加所述攻击变换，得到对应的对抗风险样本。

在另一例子中，所述对抗样本确定单元42具体配置为：执行多次迭代，根据所述多次迭代后得到的特征值得到对应的对抗风险样本，其中每次迭代包括：

获取所述原始风险样本的样本特征在前次迭代中的前次特征值；

确定所述损失函数相对于样本特征的本次特征梯度；

根据所述前次特征值，本次特征梯度和预设的投影函数，确定本次迭代后更新的特征值。

在一个实施例中，上述预测单元43还配置为，基于所述损失函数，确定所述风险检测模型针对各个原始风险样本的第三预测损失；所述总损失确定单元44配置为，将所述总预测损失确定为，所述第一预测损失，第二预测损失和第三预测损失的加权和。

根据一个实施例，所述调整单元45配置为：

确定所述总预测损失相对于所述模型参数的参数梯度；

沿所述参数梯度下降的方向，调整所述模型参数的参数值。

通过以上的装置，可以从攻防对抗的角度对风险检测模型进行优化，增强其鲁棒性和安全性。

根据另一方面的实施例，还提供一种计算机可读存储介质，其上存储有计算机程序，当所述计算机程序在计算机中执行时，令计算机执行结合图2所描述的方法。

根据再一方面的实施例，还提供一种计算设备，包括存储器和处理器，所述存储器中存储有可执行代码，所述处理器执行所述可执行代码时，实现结合图2所述的方法。

本领域技术人员应该可以意识到，在上述一个或多个示例中，本发明所描述的功能可以用硬件、软件、固件或它们的任意组合来实现。当使用软件实现时，可以将这些功能存储在计算机可读介质中或者作为计算机可读介质上的一个或多个指令或代码进行传输。

以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的技术方案的基础之上，所做的任何修改、等同替换、改进等，均应包括在本发明的保护范围之内。

Claims (26)

1.一种优化风险检测模型的方法，包括：

获取样本集，所述样本集中包括具有第一标签值的正常样本和具有第二标签值的原始风险样本；

对于所述样本集中各个原始风险样本，根据训练所述风险检测模型使用的损失函数以及当前的风险检测模型，确定攻击者对该原始风险样本进行潜在攻击变换而得到的对抗风险样本；

基于所述损失函数，确定所述风险检测模型针对各个对抗风险样本的第一预测损失，以及针对各个正常样本的第二预测损失；

至少基于所述第一预测损失和第二预测损失，确定针对所述样本集的总预测损失；

以所述总预测损失最小化为目标，调整所述风险检测模型的模型参数，以优化所述风险检测模型。

2.根据权利要求1所述的方法，其中，所述对抗风险样本相对于对应的原始风险样本，利用所述损失函数针对第一标签值计算的损失值减小。

3.根据权利要求2所述的方法，其中，确定攻击者对该原始风险样本进行潜在攻击变换而得到的对抗风险样本，包括：

确定用于生成变换的变换生成函数，该变换生成函数使得施加所述变换后的对抗风险样本针对第一标签值计算的损失值达到最小；

利用所述变换生成函数，针对该原始风险样本，生成所述攻击变换，得到对应的对抗风险样本。

4.根据权利要求3所述的方法，其中，确定用于生成变换的变换生成函数，包括：

针对所述样本集中任意的第一原始风险样本，利用当前生成函数生成第一中间变换，并通过在第一原始风险样本上叠加所述第一中间变换得到第一中间样本；

利用当前的风险检测模型计算第一中间样本的预测值，并将该预测值与所述第一标签值代入所述损失函数，得到所述第一中间样本针对第一标签值的对抗损失；

确定目标函数，其至少包括各个原始风险样本对应的中间样本的对抗损失之和；

以所述目标函数最小化为目标，调整所述当前生成函数中的参数，将调整后的当前生成函数确定为所述变换生成函数。

5.根据权利要求4所述的方法，其中，所述目标函数还包括，各个原始风险样本对应的中间变换的变换量绝对值之和或平方和。

6.根据权利要求1所述的方法，其中，所述对抗风险样本相对于对应的原始风险样本，利用所述损失函数针对第二标签值计算的损失值增大。

7.根据权利要求6所述的方法，其中，确定攻击者对该原始风险样本进行潜在攻击变换而得到的对抗风险样本，包括：

基于所述损失函数相对于该原始风险样本的特征梯度，确定对应的对抗风险样本，使得当前的风险检测模型针对该对抗风险样本的预测值与所述第二标签值之间的损失值达到最大。

8.根据权利要求7所述的方法，其中，确定对应的对抗风险样本，包括：

获取所述原始风险样本的样本特征的原始特征值；

确定所述损失函数相对于所述样本特征的特征梯度；

利用符号函数，根据所述特征梯度和预设的变换边界，确定所述攻击变换；

在所述原始特征值上叠加所述攻击变换，得到对应的对抗风险样本。

9.根据权利要求7所述的方法，其中，确定对应的对抗风险样本包括，执行多次迭代，根据所述多次迭代后得到的特征值得到对应的对抗风险样本，其中每次迭代包括：

获取所述原始风险样本的样本特征在前次迭代中的前次特征值；

确定所述损失函数相对于样本特征的本次特征梯度；

根据所述前次特征值，本次特征梯度和预设的投影函数，确定本次迭代后更新的特征值。

10.根据权利要求1所述的方法，还包括，基于所述损失函数，确定所述风险检测模型针对各个原始风险样本的第三预测损失；

确定针对所述样本集的总预测损失包括，将所述总预测损失确定为，所述第一预测损失，第二预测损失和第三预测损失的加权和。

11.根据权利要求1所述的方法，其中，调整所述风险检测模型的模型参数，包括：

确定所述总预测损失相对于所述模型参数的参数梯度；

沿所述参数梯度下降的方向，调整所述模型参数的参数值。

12.根据权利要求1-11中任一项的方法，其中，所述样本为以下之一：账号、交易、文本片段、用户操作。

13.一种优化风险检测模型的装置，包括：

样本集获取单元，配置为获取样本集，所述样本集中包括具有第一标签值的正常样本和具有第二标签值的原始风险样本；

对抗样本确定单元，配置为对于所述样本集中各个原始风险样本，根据训练所述风险检测模型使用的损失函数以及当前的风险检测模型，确定攻击者对该原始风险样本进行潜在攻击变换而得到的对抗风险样本；

预测单元，配置为基于所述损失函数，确定所述风险检测模型针对各个对抗风险样本的第一预测损失，以及针对各个正常样本的第二预测损失；

总损失确定单元，配置为至少基于所述第一预测损失和第二预测损失，确定针对所述样本集的总预测损失；

调整单元，配置为以所述总预测损失最小化为目标，调整所述风险检测模型的模型参数，以优化所述风险检测模型。

14.根据权利要求13所述的装置，其中，所述对抗风险样本相对于对应的原始风险样本，利用所述损失函数针对第一标签值计算的损失值减小。

15.根据权利要求14所述的装置，其中，所述对抗样本确定单元，包括：

变换函数确定模块，配置为确定用于生成变换的变换生成函数，该变换生成函数使得施加所述变换后的对抗风险样本针对第一标签值计算的损失值达到最小；

对抗样本生成模块，配置为利用所述变换生成函数，针对该原始风险样本，生成所述攻击变换，得到对应的对抗风险样本。

16.根据权利要求15所述的装置，其中，所述变换函数确定模块具体配置为：

针对所述样本集中任意的第一原始风险样本，利用当前生成函数生成第一中间变换，并通过在第一原始风险样本上叠加所述第一中间变换得到第一中间样本；

利用当前的风险检测模型计算第一中间样本的预测值，并将该预测值与所述第一标签值代入所述损失函数，得到所述第一中间样本针对第一标签值的对抗损失；

确定目标函数，其至少包括各个原始风险样本对应的中间样本的对抗损失之和；

以所述目标函数最小化为目标，调整所述当前生成函数中的参数，将调整后的当前生成函数确定为所述变换生成函数。

17.根据权利要求16所述的装置，其中，所述目标函数还包括，各个原始风险样本对应的中间变换的变换量绝对值之和或平方和。

18.根据权利要求13所述的装置，其中，所述对抗风险样本相对于对应的原始风险样本，利用所述损失函数针对第二标签值计算的损失值增大。

19.根据权利要求18所述的装置，其中，所述对抗样本确定单元配置为：

基于所述损失函数相对于该原始风险样本的特征梯度，确定对应的对抗风险样本，使得当前的风险检测模型针对该对抗风险样本的预测值与所述第二标签值之间的损失值达到最大。

20.根据权利要求19所述的装置，其中，所述对抗样本确定单元具体配置为：

获取所述原始风险样本的样本特征的原始特征值；

确定所述损失函数相对于所述样本特征的特征梯度；

利用符号函数，根据所述特征梯度和预设的变换边界，确定所述攻击变换；

在所述原始特征值上叠加所述攻击变换，得到对应的对抗风险样本。

21.根据权利要求19所述的方法，其中，所述对抗样本确定单元具体配置为：执行多次迭代，根据所述多次迭代后得到的特征值得到对应的对抗风险样本，其中每次迭代包括：

获取所述原始风险样本的样本特征在前次迭代中的前次特征值；

确定所述损失函数相对于样本特征的本次特征梯度；

根据所述前次特征值，本次特征梯度和预设的投影函数，确定本次迭代后更新的特征值。

22.根据权利要求13所述的装置，所述预测单元还配置为，基于所述损失函数，确定所述风险检测模型针对各个原始风险样本的第三预测损失；

所述总损失确定单元配置为，将所述总预测损失确定为，所述第一预测损失，第二预测损失和第三预测损失的加权和。

23.根据权利要求1所述的方法，其中，所述调整单元配置为：

确定所述总预测损失相对于所述模型参数的参数梯度；

沿所述参数梯度下降的方向，调整所述模型参数的参数值。

24.根据权利要求13-23中任一项的方法，其中，所述样本为以下之一：账号、交易、文本片段、用户操作。

25.一种计算机可读存储介质，其上存储有计算机程序，当所述计算机程序在计算机中执行时，令计算机执行权利要求1-12中任一项的所述的方法。

26.一种计算设备，包括存储器和处理器，其特征在于，所述存储器中存储有可执行代码，所述处理器执行所述可执行代码时，实现权利要求1-12中任一项所述的方法。

Images