CN111241291B - 利用对抗生成网络生成对抗样本的方法及装置 - Google Patents

利用对抗生成网络生成对抗样本的方法及装置 Download PDF

Info

Publication number
CN111241291B
CN111241291B CN202010329630.9A CN202010329630A CN111241291B CN 111241291 B CN111241291 B CN 111241291B CN 202010329630 A CN202010329630 A CN 202010329630A CN 111241291 B CN111241291 B CN 111241291B
Authority
CN
China
Prior art keywords
vector
sample
ith
category
generator
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010329630.9A
Other languages
English (en)
Other versions
CN111241291A (zh
Inventor
任彦昆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alipay Hangzhou Information Technology Co Ltd
Original Assignee
Alipay Hangzhou Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alipay Hangzhou Information Technology Co Ltd filed Critical Alipay Hangzhou Information Technology Co Ltd
Priority to CN202010329630.9A priority Critical patent/CN111241291B/zh
Publication of CN111241291A publication Critical patent/CN111241291A/zh
Application granted granted Critical
Publication of CN111241291B publication Critical patent/CN111241291B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/35—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Probability & Statistics with Applications (AREA)
  • Databases & Information Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本说明书实施例提供一种利用对抗生成网络生成对抗样本的方法，其中对抗生成网络包括：预先训练好的、用于针对业务对象执行N分类任务的分类器，用于生成对应于各类别真实样本的模拟样本的生成器，以及对应于N个类别的N个判别器，其中第i个判别器用于判别输入其中的样本是否属于第i个类别下的真实样本。在该方法中，可以实现对生成器和判别器的训练，进而利用其中训练好的生成器生成具有指定真实类别，但会被上述分类器预测为其他类别的对抗样本，同时，可以实现高效、快捷地生成大批量的优质对抗样本。

Description

利用对抗生成网络生成对抗样本的方法及装置
技术领域
本说明书实施例涉及计算机技术领域，具体地，涉及利用对抗生成网络生成对抗样本的方法及装置。
背景技术
对抗样本是指在数据集中故意添加细微的干扰所形成的，导致机器学习模型以高置信度输出错误结果的输入样本。例如，在文本分类场景下，原来被文本分类模型识别为违规的文本内容，在略作修改且在人类看来语义基本不变的情况下，被误分类为不违规。又例如，在图像识别场景下，原来被图像处理模型识别为熊猫的图片，在加入一点细微的甚至人眼无法察觉的改动后，被误分类为长臂猿。
对抗样本可能被攻击者用于对机器学习模型进行攻击，导致机器学习模型的预测准确率低。因此，需要提前生成大量的对抗样本，并用这些对抗样本训练机器学习模型，以使模型能够对这些对抗样本进行正确分类，从而抵御外界攻击。
然而，目前生成对抗样本通常需要较多的人工干预，并且，所生成对抗样本的数量和质量十分有限。因此，需要一种方案，可以快捷、高效地生成大批量的高质量对抗样本。
发明内容
本说明书中的一个或多个实施例提供一种利用对抗生成网络生成对抗样本的方法，可以实现快捷、高效地生成大批量的高质量对抗样本。
根据第一方面，提供一种利用对抗生成网络生成对抗样本的方法，所述对抗生成网络包括预先训练的分类器，用于针对业务对象执行N个类别的分类任务；所述对抗生成网络还包括生成器和对应于所述N个类别的N个判别器，其中N为大于1的正整数。该方法包括：
获取第一噪声向量，以及获取对应于第i个类别的第i个类别向量，其中i为不大于N的正整数；将所述第一噪声向量和第i个类别向量共同输入所述生成器中，得到对应第i个类别真实样本的第一模拟样本；将所述第一模拟样本输入所述第i个判别器中，得到该第一模拟样本属于第i类别下真实样本的第一概率；将获取的属于第i个类别的第一真实样本输入所述第i个判别器中，得到该第一真实样本为第i个类别下真实样本的第二概率；以减小第一概率，增大第二概率为目标，训练所述第i个判别器；将所述第一模拟样本输入所述分类器中，得到该第一模拟样本属于第i个类别的第三概率；以增大第一概率，减小第三概率为目标，训练所述生成器，训练后的生成器用于生成目标对抗样本，其模拟目标类别真实样本但被所述分类器预测为其他类别。
在一个实施例中，其中获取第一噪声向量，包括：对符合高斯分布的噪声空间进行随机采样，得到所述第一噪声向量。
在一个实施例中，其中获取对应于所述第i个类别的第i个类别向量，包括：获取N个类别标签，并对所述N个类别标签进行独热编码，对应得到N个独热编码向量；将所述N个独热编码向量作为N个类别向量，其中包括所述第i个类别向量。
在一个实施例中，其中将所述第一噪声向量和第i个类别向量共同输入所述生成器中，包括：对所述第一噪声向量和所述第i个类别向量进行拼接，得到拼接向量，并将所述拼接向量输入所述生成器中；或，对所述第一噪声向量和所述第i个类别向量进行加和，得到加和向量，并将所述加和向量输入所述生成器中。
在一个实施例中，其中所述业务对象为文本，所述生成器为循环神经网络RNN；其中，将所述第一噪声向量和第i个类别向量共同输入所述生成器中，得到对应第i个类别真实样本的第一模拟样本，包括：对所述第一噪声向量和第i个类别向量进行融合处理，得到融合向量，作为RNN网络中隐层的初始状态向量；将针对文本字符的通配符作为所述RNN网络的初始输入，得到所述第一模拟样本。
在一个实施例中，所述业务对象为文本或图片或音频，所述训练后的生成器用于生成文本对抗样本或图片对抗样本或音频对抗样本。
在一个实施例中，其中在训练所述生成器，之后，所述方法还包括：获取第二噪声向量，以及获取对应于目标类别的目标类别向量，所述目标类别属于所述N个类别；将所述第二噪声向量和所述目标类别向量共同输入所述训练后的生成器中，得到所述目标对抗样本。
根据第二方面，提供一种利用对抗生成网络生成对抗样本的装置，所述对抗生成网络包括预先训练的分类器，用于针对业务对象执行N个类别的分类任务；所述对抗生成网络还包括生成器和对应于所述N个类别的N个判别器，其中N为大于1的正整数；所述装置包括：
噪声向量获取单元，配置为获取第一噪声向量；类别向量获取单元，配置为获取对应于第i个类别的第i个类别向量，其中i为不大于N的正整数；模拟样本生成单元，配置为将所述第一噪声向量和第i个类别向量共同输入所述生成器中，得到对应第i个类别真实样本的第一模拟样本；模拟样本判别单元，配置为将所述第一模拟样本输入所述第i个判别器中，得到该第一模拟样本属于第i类别下真实样本的第一概率；真实样本判别单元，配置为将获取的属于第i个类别的第一真实样本输入所述第i个判别器中，得到该第一真实样本为第i个类别下真实样本的第二概率；判别器训练单元，配置为以减小第一概率，增大第二概率为目标，训练所述第i个判别器；模拟样本分类单元，配置为将所述第一模拟样本输入所述分类器中，得到该第一模拟样本属于第i个类别的第三概率；生成器训练单元，配置为以增大第一概率，减小第三概率为目标，训练所述生成器，训练后的生成器用于生成目标对抗样本，其模拟目标类别真实样本但被所述分类器预测为其他类别。
根据第三方面，提供一种计算机可读存储介质，其上存储有计算机程序，当所述计算机程序在计算机中执行时，令计算机执行第一方面或第二方面中提供的方法。
根据第四方面，提供一种计算设备，包括存储器和处理器，所述存储器中存储有可执行代码，所述处理器执行所述可执行代码时，实现第一方面或第二方面中提供的方法。
综上，通过采用本说明书实施例提供的上述生成对抗样本的方法及装置，可以实现生成具有指定真实类别，但会被分类器预测为其他类别的对抗样本。并且，利用上述训练后的生成器，可以实现高效、快捷地生成大批量优质对抗样本。
附图说明
为了更清楚地说明本说明书披露的多个实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本说明书披露的多个实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
图1示出根据一个例子的文本对抗样本的内容示意图；
图2示出根据一个实施例的对抗生成网络的应用架构示意图；
图3示出根据一个实施例的利用对抗生成网络生成对抗样本的方法流程示意图；
图4示出根据一个实施例的RNN网络的结构示意图；
图5示出根据一个实施例的利用对抗生成网络生成对抗样本的装置结构示意图。
具体实施方式
下面结合附图，对本说明书披露的多个实施例进行描述。
如前所述，目前生成对抗样本通常需要较多的人工干预，并且，所生成对抗样本的数量和质量十分有限。比如，在自然语言领域中，目前主要通过对原文中的个别单词进行替换来生成对抗样本。在一个例子中，图1示出根据一个例子的文本对抗样本的内容示意图，其中被划掉的文字为原文，其被替换成其他文字后，得到文本对抗样本（或称自然语言对抗样本）。这种替换不会考虑待替换单词的上下文，因此替换后的句子常常变得不符合语法规则并且阅读起来不通顺。此外，修改单词后，可能会使得文本的含义发生巨大变化，使得人类对修改后文本的分类也发生改变，这是违背对抗样本生成原则的，因此，当前的这种替换方式下生成的对抗样本质量欠佳。并且，采用这种替换方式生成对抗样本时，往往需要大量的尝试和验证，却只能得到少量的文本对抗样本。
再比如，目前在图像处理领域，主要通过快速梯度法或迭代梯度法，生成对抗样本。具体地，其中快速梯度法包括给定一张图像，将其输入意图攻击的模型，得到预测结果，然后用梯度下降法修改原图使得预测结果变差，而迭代梯度法是指针对一张图像，多次重复快速梯度法的过程后，将最后一次修改得到的图片作为对抗样本。然而，其中快速梯度法得到的对抗样本质量不高，虽然其被分到正确类别的置信度降低，但也难以以较高置信度输出为其他类别，而迭代梯度法生成对抗样本需要的计算量偏大。
此外，发明人还发现，目前生成对抗样本的方式，难以快速生成指定真实类别（对应于人脑的分类结果）的优质对抗样本。
基于以上观察，发明人设计一种特定的对抗生成网络，进而提出一种利用该对抗生成网络生成对抗样本的方法，用以实现快捷、高效地生成大批量的高质量对抗样本。需要注意，对抗生成网络中的“对抗”和对抗样本中的“对抗”是两个不同的概念。
具体地，图2示出根据一个实施例的对抗生成网络的应用架构示意图，其中对抗生成网络用于处理与业务对象相关的数据，如图2所示，该对抗生成网络中包括预先训练的用于执行N（为大于1的正整数）分类任务的分类器，和用于生成业务对象样本的生成器，以及对应于N个类别的N个判别器，其中各个判别器用于判别输入样本是对应类别下的真实样本还是生成器生成的假样本。基于上述对抗生成网络进行训练，可得到训练后的生成器和训练后的N个判别器，进一步地，利用其中训练后的生成器，可生成与N个类别中任意指定类别的真实样本具有高相似度，但会被上述分类器识别为其他类别的对抗样本。
为了便于理解，下面先对上述对抗生成网络进行具体介绍。
在一个实施例中，上述对抗生成网络针对的上述业务对象可以为文本，相应地，上述分类器、生成器和判别器分别为文本分类器、文本生成器和文本判别器，利用训练后的生成器生成的对抗样本为文本对抗样本。在一个具体的实施例中，上述文本可以包括社交平台中的用户发布文本，相应的分类任务可以为识别该用户发布文本中是否包含违规内容，且对应设定的N个类别中可以包括违规和不违规等，或者，相应的分类任务可以为识别文本中蕴含的用户情感，且对应设定的N个类别中可以包括开心、生气和平静等。在另一个具体的实施例中，上述文本可以包括内容资讯平台中的资讯文本，相应的分类任务可以为确定资讯文本所属的领域类别，对应设定的N个类别中可以包括体育类、娱乐类、科普类等，或者，相应的分类任务可以为识别用户对资讯文本的感兴趣程度，对应设定的N个类别中可以包括不感兴趣、非常感兴趣等。
在另一个实施例中，上述业务对象可以为图片，相应地，上述分类器、生成器和判别器分别为图片分类器、图片生成器和图片判别器，利用训练后的生成器生成的对抗样本为图片对抗样本。在一个具体的实施例中，上述图片可以包括动植物图片，相应的分类任务可以为确定动植物所属的种类，对应设定的N个类别中可以包括熊猫、老虎、狮子等。在另一个具体的实施例中，上述图片可以包括人脸图像，相应的分类任务可以为识别人脸图像中的人脸身份，对应设定的N个类别可以为N个不同的用户身份，其中用户身份可以用手机号、身份证号等进行唯一标识。
在又一个实施例中，上述业务对象可以为音频，相应地，上述分类器、生成器和判别器分别为音频分类器、音频生成器和音频判别器，利用训练后的生成器生成的对抗样本为音频对抗样本。在一个具体的实施例中，上述音频可以为客服服务中录制的用户咨询语音，相应的分类任务可以为确定用户咨询语音对应的标准用户问题，对应设定的N个类别中可以包括对应于怎么开通花呗，怎么调整花呗额度等用户标问。在另一个具体的实施例中，上述音频可以是用作登录密码的验证语音，相应的分类任务可以为识别验证语音对应的用户身份。
在还一个实施例中，上述业务对象还可以为用户、商户、商品、业务事件等。在一个具体的实施例中，其中业务事件可以包括社交事件（如通过即时通讯软件发起的会话，或通过支付平台发起的转账）、登录事件等。
由上可知，上述对抗生成网络可用于处理文本、图片、音频、用户、商户、业务事件等业务对象的相关数据。
另一方面，在一个实施例中，上述对抗生成网络中的分类器、生成器和判别器可以基于卷积神经网络（ConvolutionalNeuralNetworks，CNN）或深度神经网络（DeepNeuralNetworks，DNN）而实现。在一个实施例中，上述N个判别器所具有的网络结构可以相同，也可以不同。
以上对对抗生成网络进行介绍。下面结合实施例，描述利用该对抗生成网络生成对抗样本方法。具体地，图3示出根据一个实施例的利用对抗生成网络生成对抗样本的方法流程示意图，所述方法的执行主体可以为任何具有计算、处理能力的装置或设备或***或平台等。如图3所示，所述方法包括以下步骤：
步骤S310，获取第一噪声向量，以及获取对应于第i个类别的第i个类别向量，其中i为不大于N的正整数；步骤S320，将该第一噪声向量和第i个类别向量共同输入所述生成器中，得到对应第i个类别真实样本的第一模拟样本；步骤S330，将所述第一模拟样本输入所述第i个判别器中，得到该第一模拟样本属于第i类别下真实样本的第一概率；步骤S340，将获取的属于第i个类别的第一真实样本输入所述第i个判别器中，得到该第一真实样本为第i个类别下真实样本的第二概率；步骤S350，以减小第一概率，增大第二概率为目标，训练所述第i个判别器；步骤S360，将所述第一模拟样本输入所述分类器中，得到该第一模拟样本属于第i个类别的第三概率；步骤S370，以增大第一概率，减小第三概率为目标，训练该生成器，训练后的生成器用于生成目标对抗样本，其模拟目标类别真实样本但被所述分类器预测为其他类别。
针对以上步骤，首先需要说明的是，其中“第一噪声向量”、“第一模拟样本”等中的“第一”，“第二概率”中的“第二”，以及其他类似用语，仅用于区分同类事物，不具有其他限定作用。
以上步骤具体如下：
首先，在步骤S310，获取第一噪声向量，以及获取对应于所述第i个类别的第i个类别向量，其中i为不大于N的正整数。
为便于描述，将本步骤中获取到的某个噪声向量称为第一噪声向量。具体地，可以对符合特定分布的噪声空间进行随机采样，得到第一噪声向量。在一个实施例中，其中特定分布可以为高斯分布（或称标准正态分布）。在另一个实施例中，其中特定分布可以为拉普拉斯分布。
另一方面，对于上述第i个类别向量的获取，在一个实施例中，可以包括：首先，获取N个类别标签，并对所述N个类别标签进行独热编码，对应得到N个独热编码向量；然后，将所述N个独热编码向量作为N个类别向量，其中包括所述第i个类别向量。
在一个具体的实施例中，上述N个类别标签可以为N个类别标识，其中各个类别标识用于唯一标识对应类别。在一个例子中，类别标签可以由字母、数字或符号等组成。在另一个具体的实施例中，上述N个类别标签可以为N个类别的类别名称，如“低风险”、“中风险”和“高风险”等。
需要理解，上述独热编码，即 One-Hot 编码，又称一位有效编码，其编码方法是使用M（为正整数）位状态寄存器来对M个状态进行编码，每个状态都有它独立的寄存器位，并且在任意时候，其中只有一位有效。基于此，可以将获取的各个类别标签编码为N维向量，其中有一个维度的数值与其余维度的数值不同。在一个例子中，假定上述N个类别标签包括类别编号1、2和3，则可以依次将这3类标签编码为（1，0，0）、（0，1，0）和（0，0，1）这三个独热编码向量。
在另一个实施例中，可以随机地为N个类别分配N个类别向量，只需N个类别向量之间互不相同即可。如此可以得到N个类别对应地N个类别向量，进而从中获取第i个类别对应的第i个类别向量。
在以上获取第一噪声向量和第i个类别向量后，接着在步骤S320，将所述第一噪声向量和第i个类别向量共同输入所述生成器中，得到对应第i个类别真实样本的第一模拟样本。
具体地，可以对第一噪声向量和第i个类别向量进行融合处理，得到融合向量，再将该融合向量输入生成器中。在一个实施例中，其中融合处理可以为拼接处理，相应得到的融合向量为拼接向量。在另一个实施例中，其中融合处理可以为加和处理，相应得到的融合向量为加和向量。
在一种实施方式中，在上述业务对象为文本的情况下，生成器可以采用循环神经网络（Recurrent Neural Network，RNN），图4示出根据一个实施例的RNN网络的结构示意图，如图4所示，RNN网络基于隐层状态向量ht和输入单词wordt，可以预测下一个单词wordt+1，其中t为自然数。特别地，如果给定一个初始状态向量h0，以及使用一个通配符<Go>（表示句子开始的特殊符号）作为句子的第一个单词word1，那么RNN网络在经过训练后可以依次生成一个句子的每个单词，得到一段自然语言的句子，并且该句子符合真实世界的自然语言。
基于此，本步骤中可以包括：给定上述融合向量作为RNN网络中隐层的上述初始状态向量，并将针对文本字符的通配符（如上述通配符<Go>）作为RNN网络的初始输入，得到RNN网络输出的一段自然语言文本，即上述第一模拟样本。将如此得到的模拟文本作为文本对抗样本，会使得该文本对抗样本更加符合人类的语言习惯，更加符合语法、更加通顺。
需要说明，在业务对象为文本的情况下，生成器还可以采用基于RNN网络改进得到的其他神经网络，如长短期记忆（Long Short-Term Memory，LSTM）网络或门循环单元（Gate Recurrent Unit，GRU）网络。
以上，可以得到模拟第i个类别真实样本的第一模拟样本。然后，在步骤S330，将所述第一模拟样本输入所述第i个判别器中，得到该第一模拟样本属于第i类别下真实样本的第一概率。并且，在步骤S340，将获取的属于第i个类别的第一真实样本输入所述第i个判别器中，得到该第一真实样本为第i个类别下真实样本的第二概率。在一个实施例中，可以从第i个类别对应的真实样本集中随机采样，得到该第一真实样本。在另一个实施例中，可以从N个类别对应的真实样本总集中，获取属于第i个类别的若干真实样本，作为上述第一真实样本。
需要说明，第i个判别器的目的在于，尽可能区分第i个类别的真实样本和生成器生成的模拟第i个类别真实样本的模拟样本（或称假样本）。在一个实施例中，判别器输出的是输入其中的样本属于真实样本的概率，相应地，可以将判别器的输出概率直接作为对应样本属于真实样本的概率。在另一个实施例中，判别器输出的是输入其中的样本属于假样本的概率，相应地，将利用1减去判别器的输出概率而得到的数值，作为对应样本属于真实样本的概率。据此在步骤S350，以减小上述第一概率，增大上述第二概率为目标，训练所述第i个判别器。
具体地，根据第一概率和第二概率，确定第i个判别器的判别训练损失，再利用该判别训练损失调整该第i个判别器中的模型参数。在一个实施例中，其中判别训练损失可以通过下式确定：
Figure 498235DEST_PATH_IMAGE001
（1）
其中，
Figure 631145DEST_PATH_IMAGE002
表示第i个判别器对应的判别函数，
Figure 839273DEST_PATH_IMAGE003
和
Figure 339524DEST_PATH_IMAGE004
分别表示上述第一真实样本和第一模拟样本，
Figure 42032DEST_PATH_IMAGE005
和
Figure 311339DEST_PATH_IMAGE006
分别表示上述第二概率和第一概率，
Figure 159210DEST_PATH_IMAGE007
表示
Figure 881178DEST_PATH_IMAGE003
符合第i个类别真实样本的真实样本分布
Figure 839907DEST_PATH_IMAGE008
，
Figure 698141DEST_PATH_IMAGE009
表示
Figure 716913DEST_PATH_IMAGE004
符合针对第i个类别的模拟样本的模拟样本分布
Figure 175445DEST_PATH_IMAGE010
，
Figure 937865DEST_PATH_IMAGE011
表示求取期望值。
需要说明，其中判别训练损失还可以通过计算Wasserstein距离来确定，具体不作赘述。
以上可以实现对第i个判别器的训练，以此类推，可以实现对N个判别器中各个类别器的训练。
另一方面，还需训练生成器。需要说明，生成器的目的在于，尽可能欺骗判别器，使得判别网络将生成器输出的模拟样本判别为真实样本。如此判别器和生成器相互对抗，不断调整参数，最终使判别器无法判断生成器输出的模拟样本是否真实。此外，希望生成的模拟第i类别真实样本的第一模拟样本，尽可能被分类器分为除第i个类别以外的其他类别。据此，在步骤S360，将所述第一模拟样本输入所述分类器中，得到该第一模拟样本属于第i个类别的第三概率。然后，在步骤S370，以增大上述第一概率，减小上述第三概率为目标，训练所述生成器。
具体地，根据第一概率和第三概率，确定生成器的生成训练损失，再利用该生成训练损失调整生成器中的模型参数。在一个实施例中，其中生成损失可以通过下式确定：
Figure 916185DEST_PATH_IMAGE012
（2）
其中，
Figure 840279DEST_PATH_IMAGE013
表示上述第一噪声向量，
Figure 536839DEST_PATH_IMAGE014
表示上述第i个类别向量，
Figure 837370DEST_PATH_IMAGE015
表示生成器对应的生成函数，
Figure 935776DEST_PATH_IMAGE016
表示上述第一模拟样本，
Figure 109400DEST_PATH_IMAGE002
表示第i个判别器对应的判别函数，
Figure 604841DEST_PATH_IMAGE017
表示上述第一概率，
Figure 505801DEST_PATH_IMAGE018
表示
Figure 927555DEST_PATH_IMAGE013
符合上述噪声空间
Figure 272080DEST_PATH_IMAGE019
的空间分布，
Figure 615336DEST_PATH_IMAGE020
表示上述分类器对应的分类函数，
Figure 959468DEST_PATH_IMAGE021
表示上述第i个类别，
Figure 32466DEST_PATH_IMAGE022
表示第一模拟样本
Figure 813471DEST_PATH_IMAGE023
被分类为
Figure 644024DEST_PATH_IMAGE021
的上述第三概率，
Figure 152366DEST_PATH_IMAGE011
表示求取期望值。
需要说明，还可以采用其他形式的损失函数，确定生成训练损失。
由上，重复上述步骤S310-步骤S370，可以实现对上述对抗生成网络中判别器和生成器的多轮迭代训练。进一步地，可以利用经过多轮迭代训练后训练好的生成器，生成模拟目标类别的真实样本、而被分类器预测为其他类别的目标对抗样本。具体地，在一个实施例中，在上述步骤S370之后，所述方法还包括：获取第二噪声向量，以及获取对应于目标类别的目标类别向量，所述目标类别属于所述N个类别；再将该第二噪声向量和目标类别向量共同输入所述训练后的生成器中，得到上述目标对抗样本。如此，可以实现生成具有指定真实类别的对抗样本。
此外需要说明，对于上述判别器和生成器的训练，可以使用端到端的训练方法，每次训练中对判别器和生成器均进行调参；或者，也可以先固定其中生成器中的模型参数，多次训练判别器，再固定判别器中的模型参数，训练生成器，如此循环迭代，完成多轮迭代训练。并且，迭代次数可以是人工设定的超参，也可以不预先设定迭代次数，而是迭代至模型收敛。
在以上实施方式中，第一概率和第二概率，都是指对应样本属于真实样本的概率。在其他实施方式中，第一概率和第二概率还可以指对应样本属于假样本的概率，需理解，此种实施方式也涵盖在前述权利要求的保护范围内。
综上，通过采用本说明书实施例提供的利用对抗生成网络生成对抗样本的方法，可以实现生成具有指定真实类别，但会被分类器预测为其他类别的对抗样本。并且，利用上述训练后的生成器，可以实现高效、快捷地生成大批量优质对抗样本。
与上述生成方法相对应的，本说明书实施例还披露一种生成装置。具体地，图5示出根据一个实施例的利用对抗生成网络生成对抗样本的装置结构示意图，其中对抗生成网络包括预先训练的分类器，用于针对业务对象执行N个类别的分类任务；所述对抗生成网络还包括生成器和对应于所述N个类别的N个判别器，其中N为大于1的正整数。
上述装置可以通过任何具有计算能力的处理平台、服务器集群等实现，如图5所示，所述装置500包括：
噪声向量获取单元510，配置为获取第一噪声向量；类别向量获取单元520，配置为获取对应于第i个类别的第i个类别向量，其中i为不大于N的正整数；模拟样本生成单元530，配置为将所述第一噪声向量和第i个类别向量共同输入所述生成器中，得到对应第i个类别真实样本的第一模拟样本；模拟样本判别单元540，配置为将所述第一模拟样本输入所述第i个判别器中，得到该第一模拟样本属于第i类别下真实样本的第一概率；真实样本判别单元550，配置为将获取的属于第i个类别的第一真实样本输入所述第i个判别器中，得到该第一真实样本为第i个类别下真实样本的第二概率；判别器训练单元560，配置为以减小第一概率，增大第二概率为目标，训练所述第i个判别器；模拟样本分类单元570，配置为将所述第一模拟样本输入所述分类器中，得到该第一模拟样本属于第i个类别的第三概率；生成器训练单元580，配置为以增大第一概率，减小第三概率为目标，训练该生成器，训练后的生成器用于生成目标对抗样本，其模拟目标类别真实样本但被所述分类器预测为其他类别。
在一个实施例中，噪声向量获取单元510具体配置为：对符合高斯分布的噪声空间进行随机采样，得到所述第一噪声向量。
在一个实施例中，类别向量获取单元520具体配置为：获取N个类别标签，并对所述N个类别标签进行独热编码，对应得到N个独热编码向量；将所述N个独热编码向量作为N个类别向量，其中包括所述第i个类别向量。
在一个实施例中，模拟样本生成单元530具体配置为：对所述第一噪声向量和所述第i个类别向量进行拼接，得到拼接向量，并将所述拼接向量输入所述生成器中，得到所述第一模拟样本；或，对所述第一噪声向量和所述第i个类别向量进行加和，得到加和向量，并将所述加和向量输入所述生成器中，得到所述第一模拟样本。
在一个实施例中，所述业务对象为文本，所述生成器为循环神经网络RNN；模拟样本生成单元530具体配置为：对所述第一噪声向量和第i个类别向量进行融合处理，得到融合向量，作为RNN网络中隐层的初始状态向量；将针对文本字符的通配符作为所述RNN网络的初始输入，得到所述第一模拟样本。
在一个实施例中，所述业务对象为文本或图片或音频，所述训练后的生成器用于生成文本对抗样本或图片对抗样本或音频对抗样本。
在一个实施例中，所述装置500还包括对抗样本生成单元590，配置为：获取第二噪声向量，以及获取对应于目标类别的目标类别向量，所述目标类别属于所述N个类别；将所述第二噪声向量和所述目标类别向量共同输入所述训练后的生成器中，得到所述目标对抗样本。
综上，通过采用本说明书实施例提供的利用对抗生成网络生成对抗样本的装置，可以实现生成具有指定真实类别，但会被分类器预测为其他类别的对抗样本。并且，利用上述训练后的生成器，可以实现高效、快捷地生成大批量优质对抗样本。
如上，根据又一方面的实施例，还提供一种计算机可读存储介质，其上存储有计算机程序，当所述计算机程序在计算机中执行时，令计算机执行结合图3所描述的方法。
根据又一方面的实施例，还提供一种计算设备，包括存储器和处理器，所述存储器中存储有可执行代码，所述处理器执行所述可执行代码时，实现结合图3所描述的方法。
本领域技术人员应该可以意识到，在上述一个或多个示例中，本说明书披露的多个实施例所描述的功能可以用硬件、软件、固件或它们的任意组合来实现。当使用软件实现时，可以将这些功能存储在计算机可读介质中或者作为计算机可读介质上的一个或多个指令或代码进行传输。
以上所述的具体实施方式，对本说明书披露的多个实施例的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本说明书披露的多个实施例的具体实施方式而已，并不用于限定本说明书披露的多个实施例的保护范围，凡在本说明书披露的多个实施例的技术方案的基础之上，所做的任何修改、等同替换、改进等，均应包括在本说明书披露的多个实施例的保护范围之内。

Claims (16)

1.一种利用对抗生成网络生成对抗样本的方法，所述对抗生成网络包括预先训练的分类器，用于针对业务对象执行N个类别的分类任务；所述对抗生成网络还包括生成器和对应于所述N个类别的N个判别器，其中N为大于1的正整数；所述方法包括：
获取第一噪声向量，以及获取对应于第i个类别的第i个类别向量，其中i为不大于N的正整数；
将所述第一噪声向量和第i个类别向量共同输入所述生成器中，得到对应第i个类别真实样本的第一模拟样本；
将所述第一模拟样本输入第i个判别器中，得到该第一模拟样本属于第i类别下真实样本的第一概率；
将获取的属于第i个类别的第一真实样本输入所述第i个判别器中，得到该第一真实样本为第i个类别下真实样本的第二概率；
以减小第一概率，增大第二概率为目标，训练所述第i个判别器；
将所述第一模拟样本输入所述分类器中，得到该第一模拟样本属于第i个类别的第三概率；
以增大第一概率，减小第三概率为目标，训练所述生成器，训练后的生成器用于生成目标对抗样本，其模拟目标类别真实样本但被所述分类器预测为其他类别。
2.根据权利要求1所述的方法，其中，获取第一噪声向量，包括：
对符合高斯分布的噪声空间进行随机采样，得到所述第一噪声向量。
3.根据权利要求1所述的方法，其中，获取对应于所述第i个类别的第i个类别向量，包括：
获取N个类别标签，并对所述N个类别标签进行独热编码，对应得到N个独热编码向量；
将所述N个独热编码向量作为N个类别向量，其中包括所述第i个类别向量。
4.根据权利要求1所述的方法，其中，将所述第一噪声向量和第i个类别向量共同输入所述生成器中，包括：
对所述第一噪声向量和所述第i个类别向量进行拼接，得到拼接向量，并将所述拼接向量输入所述生成器中；或，
对所述第一噪声向量和所述第i个类别向量进行加和，得到加和向量，并将所述加和向量输入所述生成器中。
5.根据权利要求1所述的方法，其中，所述业务对象为文本，所述生成器为循环神经网络RNN；其中，将所述第一噪声向量和第i个类别向量共同输入所述生成器中，得到对应第i个类别真实样本的第一模拟样本，包括：
对所述第一噪声向量和第i个类别向量进行融合处理，得到融合向量，作为RNN网络中隐层的初始状态向量；
将针对文本字符的通配符作为所述RNN网络的初始输入，得到所述第一模拟样本。
6.根据权利要求1所述的方法，其中，所述业务对象为文本或图片或音频，所述训练后的生成器用于生成文本对抗样本或图片对抗样本或音频对抗样本。
7.根据权利要求1所述的方法，其中，在训练所述生成器，之后，所述方法还包括：
获取第二噪声向量，以及获取对应于目标类别的目标类别向量，所述目标类别属于所述N个类别；
将所述第二噪声向量和所述目标类别向量共同输入所述训练后的生成器中，得到所述目标对抗样本。
8.一种利用对抗生成网络生成对抗样本的装置，所述对抗生成网络包括预先训练的分类器，用于针对业务对象执行N个类别的分类任务；所述对抗生成网络还包括生成器和对应于所述N个类别的N个判别器，其中N为大于1的正整数；所述装置包括：
噪声向量获取单元，配置为获取第一噪声向量；
类别向量获取单元，配置为获取对应于第i个类别的第i个类别向量，其中i为不大于N的正整数；
模拟样本生成单元，配置为将所述第一噪声向量和第i个类别向量共同输入所述生成器中，得到对应第i个类别真实样本的第一模拟样本；
模拟样本判别单元，配置为将所述第一模拟样本输入第i个判别器中，得到该第一模拟样本属于第i类别下真实样本的第一概率；
真实样本判别单元，配置为将获取的属于第i个类别的第一真实样本输入所述第i个判别器中，得到该第一真实样本为第i个类别下真实样本的第二概率；
判别器训练单元，配置为以减小第一概率，增大第二概率为目标，训练所述第i个判别器；
模拟样本分类单元，配置为将所述第一模拟样本输入所述分类器中，得到该第一模拟样本属于第i个类别的第三概率；
生成器训练单元，配置为以增大第一概率，减小第三概率为目标，训练所述生成器，训练后的生成器用于生成目标对抗样本，其模拟目标类别真实样本但被所述分类器预测为其他类别。
9.根据权利要求8所述的装置，其中，噪声向量获取单元具体配置为：
对符合高斯分布的噪声空间进行随机采样，得到所述第一噪声向量。
10.根据权利要求8所述的装置，其中，类别向量获取单元具体配置为：
获取N个类别标签，并对所述N个类别标签进行独热编码，对应得到N个独热编码向量；
将所述N个独热编码向量作为N个类别向量，其中包括所述第i个类别向量。
11.根据权利要求8所述的装置，其中，模拟样本生成单元具体配置为：
对所述第一噪声向量和所述第i个类别向量进行拼接，得到拼接向量，并将所述拼接向量输入所述生成器中，得到所述第一模拟样本；或，
对所述第一噪声向量和所述第i个类别向量进行加和，得到加和向量，并将所述加和向量输入所述生成器中，得到所述第一模拟样本。
12.根据权利要求8所述的装置，其中，所述业务对象为文本，所述生成器为循环神经网络RNN；模拟样本生成单元具体配置为：
对所述第一噪声向量和第i个类别向量进行融合处理，得到融合向量，作为RNN网络中隐层的初始状态向量；
将针对文本字符的通配符作为所述RNN网络的初始输入，得到所述第一模拟样本。
13.根据权利要求8所述的装置，其中，所述业务对象为文本或图片或音频，所述训练后的生成器用于生成文本对抗样本或图片对抗样本或音频对抗样本。
14.根据权利要求8所述的装置，其中，所述装置还包括对抗样本生成单元，配置为：
获取第二噪声向量，以及获取对应于目标类别的目标类别向量，所述目标类别属于所述N个类别；
将所述第二噪声向量和所述目标类别向量共同输入所述训练后的生成器中，得到所述目标对抗样本。
15.一种计算机可读存储介质，其上存储有计算机程序，其中，当所述计算机程序在计算机中执行时，令计算机执行权利要求1-7中任一项的所述的方法。
16.一种计算设备，包括存储器和处理器，其中，所述存储器中存储有可执行代码，所述处理器执行所述可执行代码时，实现权利要求1-7中任一项所述的方法。
CN202010329630.9A 2020-04-24 2020-04-24 利用对抗生成网络生成对抗样本的方法及装置 Active CN111241291B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010329630.9A CN111241291B (zh) 2020-04-24 2020-04-24 利用对抗生成网络生成对抗样本的方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010329630.9A CN111241291B (zh) 2020-04-24 2020-04-24 利用对抗生成网络生成对抗样本的方法及装置

Publications (2)

Publication Number Publication Date
CN111241291A CN111241291A (zh) 2020-06-05
CN111241291B true CN111241291B (zh) 2023-01-03

Family

ID=70873601

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010329630.9A Active CN111241291B (zh) 2020-04-24 2020-04-24 利用对抗生成网络生成对抗样本的方法及装置

Country Status (1)

Country Link
CN (1) CN111241291B (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111753091A (zh) * 2020-06-30 2020-10-09 北京小米松果电子有限公司 分类方法、分类模型的训练方法、装置、设备及存储介质
CN112464548B (zh) * 2020-07-06 2021-05-14 中国人民解放军军事科学院评估论证研究中心 对抗单位的动态分配装置
CN112069795B (zh) * 2020-08-28 2023-05-30 平安科技（深圳）有限公司 基于掩码语言模型的语料检测方法、装置、设备及介质
CN112085279B (zh) * 2020-09-11 2022-09-06 支付宝(杭州)信息技术有限公司 训练交互预测模型、预测交互事件的方法及装置
CN112181952B (zh) * 2020-11-30 2021-12-14 中国电力科学研究院有限公司 数据模型的构建方法、***、设备及存储介质
CN112966112B (zh) * 2021-03-25 2023-08-08 支付宝(杭州)信息技术有限公司 基于对抗学习的文本分类模型训练和文本分类方法及装置
CN113220553B (zh) * 2021-05-13 2022-06-17 支付宝(杭州)信息技术有限公司 一种文本预测模型性能的评估方法和装置
CN113204974B (zh) * 2021-05-14 2022-06-17 清华大学 对抗文本的生成方法、装置、设备及存储介质
CN113988908A (zh) * 2021-10-14 2022-01-28 同盾科技有限公司 营销人群的投放方法、装置、电子设备和存储介质
CN114782670A (zh) * 2022-05-11 2022-07-22 中航信移动科技有限公司 一种多模态敏感信息鉴别方法、设备及介质

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108520282B (zh) * 2018-04-13 2020-04-03 湘潭大学 一种基于Triple-GAN的分类方法
CN109697694B (zh) * 2018-12-07 2023-04-07 山东科技大学 基于多头注意力机制的高分辨率的图片的生成方法
CN109948660A (zh) * 2019-02-26 2019-06-28 长沙理工大学 一种改进辅助分类器gan的图像分类方法
CN110647927A (zh) * 2019-09-18 2020-01-03 长沙理工大学 一种基于acgan图像半监督分类算法
CN111027439B (zh) * 2019-12-03 2022-07-29 西北工业大学 基于辅助分类生成对抗网络的sar目标识别方法

Also Published As

Publication number Publication date
CN111241291A (zh) 2020-06-05

Similar Documents

Publication Publication Date Title
CN111241291B (zh) 利用对抗生成网络生成对抗样本的方法及装置
CN111401558B (zh) 数据处理模型训练方法、数据处理方法、装置、电子设备
US20230041233A1 (en) Image recognition method and apparatus, computing device, and computer-readable storage medium
CN108228686B (zh) 用于实现图文匹配的方法、装置和电子设备
CN105426356B (zh) 一种目标信息识别方法和装置
CN111667066B (zh) 网络模型的训练、文字识别方法、装置和电子设备
CN110580500A (zh) 一种面向人物交互的网络权重生成少样本图像分类方法
CN111241287A (zh) 用于生成对抗文本的生成模型的训练方法及装置
CN112395979B (zh) 基于图像的健康状态识别方法、装置、设备及存储介质
CN111209878A (zh) 跨年龄人脸识别方法及装置
CN112784929B (zh) 一种基于双元组扩充的小样本图像分类方法及装置
CN110246198B (zh) 选字验证码生成方法、装置、电子设备及存储介质
Singh et al. Steganalysis of digital images using deep fractal network
Ra et al. DeepAnti-PhishNet: Applying deep neural networks for phishing email detection
CN113011884A (zh) 账户特征的提取方法、装置、设备及可读存储介质
Jami et al. Biometric template protection through adversarial learning
CN117558270B (zh) 语音识别方法、装置、关键词检测模型的训练方法和装置
Nida et al. Video augmentation technique for human action recognition using genetic algorithm
CN114826681A (zh) 一种dga域名检测方法、***、介质、设备及终端
CN111062019A (zh) 用户攻击检测方法、装置、电子设备
CN110674370A (zh) 域名识别方法及装置、存储介质及电子设备
CN111488950B (zh) 分类模型信息输出方法及装置
CN113435264A (zh) 基于寻找黑盒替代模型的人脸识别对抗攻击方法及装置
CN112364198A (zh) 一种跨模态哈希检索方法、终端设备及存储介质
Wang et al. Latent coreset sampling based data-free continual learning

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant