CN111783982B - 攻击样本的获取方法、装置、设备及介质 - Google Patents

攻击样本的获取方法、装置、设备及介质 Download PDF

Info

Publication number
CN111783982B
CN111783982B CN202010610570.8A CN202010610570A CN111783982B CN 111783982 B CN111783982 B CN 111783982B CN 202010610570 A CN202010610570 A CN 202010610570A CN 111783982 B CN111783982 B CN 111783982B
Authority
CN
China
Prior art keywords
data
attack
training data
initial
attack sample
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010610570.8A
Other languages
English (en)
Other versions
CN111783982A (zh
Inventor
刘彦宏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ping An International Smart City Technology Co Ltd
Original Assignee
Ping An International Smart City Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An International Smart City Technology Co Ltd filed Critical Ping An International Smart City Technology Co Ltd
Priority to CN202010610570.8A priority Critical patent/CN111783982B/zh
Publication of CN111783982A publication Critical patent/CN111783982A/zh
Application granted granted Critical
Publication of CN111783982B publication Critical patent/CN111783982B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/22Matching criteria, e.g. proximity measures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明涉及数据处理技术,揭露了一种攻击样本的获取方法,包括:获取分类模型及分类模型的训练数据及训练数据对应的数据标签;利用攻击算法生成与训练数据对应的扰动数据;利用分类模型对扰动数据进行预测,得到预测标签;当预测标签与训练数据对应的数据标签不一致时,确定扰动数据为初始攻击样本;利用梯度下降算法对初始攻击样本进行预设次数的迭代计算,并且计算迭代产生的所有初始更新攻击样本与训练数据的距离值,获取最小距离值对应的初始更新攻击样本为标准攻击样本。此外,本发明还涉及区块链技术,训练数据可存储于区块链节点中。本发明可以提高获取到的攻击数据的质量。

Description

攻击样本的获取方法、装置、设备及介质
技术领域
本发明涉及大数据处理技术领域,尤其涉及一种攻击样本的获取方法、装置、电子设备及计算机可读存储介质。
背景技术
随着深度神经网络的出现,智能识别技术得到了飞速的发展,然而,深度神经网络面临抵抗攻击的性能不高。例如,具有图像分类功能的深度神经网络在图像分类的过程中,图像中微小像素的改变都会导致图像分类结果的不同。
目前对于提高深度神经网络攻击性的方法多为在深度神经网络训练的过程中加入攻击数据,从而提高深度神经网络的鲁棒性和准确性。但若是攻击数据的质量不高,无法达到提高深度神经网络的鲁棒性和准确性的目的。因此,如何获取高质量的攻击数据成为了亟待解决的问题。
发明内容
本发明提供一种攻击样本的获取方法、装置、电子设备及计算机可读存储介质,其主要目的在于提供一种提高获取到的攻击数据的质量的方法。
为实现上述目的,本发明提供的一种攻击样本的获取方法,包括:
获取分类模型及获取所述分类模型的训练数据及所述训练数据对应的数据标签;
利用攻击算法生成与所述训练数据对应的扰动数据;
利用所述分类模型对所述扰动数据进行预测,得到预测标签;
当所述预测标签与所述训练数据对应的数据标签不一致时,确定所述扰动数据为初始攻击样本;
利用梯度下降算法对所述初始攻击样本进行预设次数的迭代计算,并且计算迭代产生的所有初始更新攻击样本与所述训练数据的距离值,获取最小距离值对应的初始更新攻击样本为标准攻击样本。
可选地,所述利用攻击算法生成与所述训练数据对应的扰动数据,包括:
利用攻击算法对所述训练数据加入扰动因子,得到所述扰动数据。
可选地,所述训练数据为训练图像,所述攻击算法为:
Trans=(δR+xR)+(δG+xG)+(δB+xB)
其中,Trans为扰动数据,xR、xG、xB为所述训练图像中任一像素点的三分量,δR、δG、δB为扰动因子中任一像素点的三分量,所述扰动因子是与所述训练图像大小相同的图像。
可选地,所述利用梯度下降算法对所述初始攻击样本进行预设次数的迭代计算,包括:
设置迭代参数,其中,所述迭代参数包括但不限于迭代次数,学习率,范数更新因子,扰动图像的范数;
初始化迭代参数,将所述分类模型自带的权重参数固定,对所述分类模型中的损失函数求梯度;
利用所述梯度对所述初始攻击样本进行更新,得到多个初始更新攻击样本;
将所述多个初始攻击样本投影到预设半径的范数球的球面上;
对所述范数球上的范数进行裁剪,裁剪到预设像素区间内;
利用裁剪后的范数再次生成初始攻击样本并输入至所述分类模型中进行判定,直至达到迭代的次数达到预设的迭代次数。
可选地,所述计算迭代产生的所有初始更新攻击样本与所述训练数据的距离值,包括:
利用如下距离算法计算迭代产生的所有初始更新攻击样本与所述训练数据的距离值:
其中,L(X,Y)为所述距离值,x为所述训练数据,y为所述训练数据对应的数据标签,f(x+δ)为初始更新攻击样本生成的预测标签。
可选地,所述利用梯度下降算法对所述初始攻击样本进行预设次数的迭代计算之后,所述方法还包括:
将每次迭代后产生的迭代结果存储至备份数据库所在的本地端;
将每次迭代后产生的迭代结果进行镜像复制,得到镜像迭代结果,将所述镜像迭代结果存储至所述备份数据库的服务器所在的异地端。
可选地,所述获取所述分类模型的训练数据,包括:
利用悲观锁的方式从用于存储训练数据的区块链中获取所述训练数据。
为了解决上述问题,本发明还提供一种攻击样本的获取装置,所述装置包括:
数据获取模块,用于获取分类模型,获取所述分类模型的训练数据及所述训练数据对应的数据标签;
扰动数据生成模块,用于利用攻击算法生成与所述训练数据对应的扰动数据;
标签预测模块,用于利用所述分类模型对所述扰动数据进行预测,得到预测标签;
初始攻击样本生成模块,用于当所述预测标签与所述训练数据对应的数据标签不一致时,确定所述扰动数据为初始攻击样本;
标准攻击样本生成模块,用于利用梯度下降算法对所述初始攻击样本进行预设次数的迭代计算,并且计算迭代产生的所有初始更新攻击样本与所述训练数据的距离值,获取最小距离值对应的初始更新攻击样本为标准攻击样本。
为了解决上述问题,本发明还提供一种电子设备,所述电子设备包括:
存储器,存储至少一个指令;及
处理器,执行所述存储器中存储的指令以实现上述中任意一项所述的攻击样本的获取方法。
为了解决上述问题,本发明还提供一种计算机可读存储介质,包括存储数据区和存储程序区,存储数据区存储创建的数据,存储程序区存储有计算机程序;其中,所述计算机程序被处理器执行时实现上述中任意一项所述的攻击样本的获取方法。
本发明实施例中,获取分类模型及所述分类模型的训练数据及所述训练数据对应的数据标签;利用攻击算法生成与所述训练数据对应的扰动数据;利用所述分类模型对所述扰动数据进行预测,得到预测标签;当所述预测标签与所述训练数据对应的数据标签不一致时,确定所述扰动数据为初始攻击样本;利用梯度下降算法对所述初始攻击样本进行预设次数的迭代计算,并且计算迭代产生的所有初始更新攻击样本与所述训练数据的距离值,获取最小距离值对应的初始更新攻击样本为标准攻击样本。通过生成扰动数据,进而根据条件确定扰动数据为初始攻击样本,提高攻击样本的数量,减少因攻击样本数量少导致的偶然性误差,有利于提高获取到的标准攻击样本的质量;通过对初始攻击样本进行迭代计算,并计算迭代产生的初始攻击样本与训练数据的距离值,基于距离值对所述初始攻击样本进行筛选,可筛选出可靠性更好的标准攻击样本,从而提高获取到的标准攻击样本的质量。因此,本发明提出的攻击样本的获取方法、装置、设备及介质可实现提高获取攻击数据的质量。
附图说明
图1为本发明一实施例提供的攻击样本的获取方法的流程示意图;
图2为本发明一实施例提供的攻击样本的获取装置的模块示意图;
图3为本发明一实施例提供的实现攻击样本的获取方法的电子设备的内部结构示意图;
本发明目的的实现、功能特点及优点将结合实施例,参照附图做进一步说明。
具体实施方式
应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
本申请实施例提供的攻击样本的获取方法的执行主体包括但不限于服务端、终端等能够被配置为执行本申请实施例提供的该方法的电子设备中的至少一种。换言之,所述攻击样本的获取方法可以由安装在终端设备或服务端设备的软件或硬件来执行,所述软件可以是区块链平台。所述服务端包括但不限于:单台服务器、服务器集群、云端服务器或云端服务器集群等。
本发明提供一种攻击样本的获取方法。参照图1所示,为本发明一实施例提供的攻击样本的获取方法的流程示意图。该方法可以由一个装置执行,该装置可以由软件和/或硬件实现。
在本实施例中,攻击样本的获取方法包括:
S1、获取分类模型及获取所述分类模型的训练数据及所述训练数据对应的数据标签。
本发明实施例中,所述分类模型包括但不限于图像分类模型、数据分类模型。所述分类模型的训练数据是用于训练所述分类模型时所使用的数据集,所述数据集包括训练数据及所述训练数据对应的数据标签。
本发明实施例可利用悲观锁的方式从用于存储训练数据的区块链中获取所述训练数据,利用区块链的高吞吐性可实现一次性获取大量的训练数据,提高获取训练数据的效率。
所述悲观锁方式是指每次获取训练数据时,可能会有其他程序修改该训练数据中的内容,因此,在每次获取该训练数据时都对该训练数据进行锁定,使得其他程序无法修改该训练数据中的内容,保证获取到的训练数据中内容的准确性。
本实施例中,训练数据的数量为一个或多个,当有多个训练数据时,获取多个训练数据对应的多个数据标签,即获取每个训练数据对应的数据标签。
本实施例中,数据标签是对训练数据分类的结果标识。
本发明一可选实施例中,数据标签为预先存储的。
较佳地,本发明另一可选实施例中,在获取到分类模型和训练数据之后,将训练数据输入至分类模型中,得到训练数据对应的数据标签。例如,将训练图像x输入至图像分类模型,即得到训练图像x对应的图像标签f(x)。
在接下来的实施方式中,以分类模型为图像分类模型以及训练数据为训练所述图像分类模型的训练图像集为例,对本发明进行说明。
本发明实施例中,所述图像分类模型为一个具有图像分类功能的卷积神经网络,所述卷积神经网络包括卷积层、池化层和全连接层。具体的:
卷积层,用于对图像进行卷积处理,对于图片中的每一个特征首先局部感知,然后更高层次对局部进行综合操作,从而得到全局信息;
池化层,对卷积后的图像进行池化处理,主要用于特征降维,训练数据和参数的数量,减小过拟合,同时提高模型的容错性;
全连接层,全连接层由于其巨大的参数量易过拟合以及不符合人类对图像的局部感知原理,用于最后的线性分类,相当于在提取的高层特征向量上进行线性组合并且输出最后的图像分类结果。
S2、利用攻击算法生成与所述训练数据对应的扰动数据。
本发明实施例中,所述利用攻击算法生成与所述训练数据对应的扰动数据,包括:
利用攻击算法对所述训练数据加入扰动因子,得到所述扰动数据。
本发明实施例中,若训练数据为多个,可以利用预设的攻击算法对多个训练数据中分别加入扰动因子,从而得到多个扰动数据。例如,利用预设的攻击算法对训练图像x加入扰动因子δ,得到扰动图像(即扰动数据),其中,所述扰动因子δ是与所述训练图像x同样大小的图像。
详细地,当训练数据为训练图像时,所述攻击算法为:
Trans=(δR+xR)+(δG+xG)+(δB+xB)
其中,Trans为扰动数据,xR、xG、xB为所述训练图像中任一像素点的三分量,δR、δG、δB为扰动因子中任一像素点的三分量,所述扰动因子是与所述训练图像大小相同的图像。
当多张训练图像中所有像素的像素值均根据攻击算法完成转化后,即可得到多张扰动图像。
S3、利用所述分类模型对所述扰动数据进行预测,得到预测标签。
在通过攻击算法得到扰动数据之后,将扰动数据输入至分类模型,通过分类模型对扰动数据进行预测,得到对扰动数据的预测结果,即预测标签。
例如,将扰动图像x+δ输入至图像分类模型中,即可得到扰动图像的预测标签f(x+δ)。
S4、当所述预测标签与所述训练数据对应的数据标签不一致时,确定所述扰动数据为初始攻击样本。
本实施例中,通过将预测标签与训练数据对应的数据标签进行匹配,从而判断预测标签与训练数据是否一致。
例如,判断扰动图像的预测标签f(x+δ)与训练图像对应的标签f(x)是否相同;若相同,则确定扰动图像不是所述初始攻击样本;若不相同,则确定所述扰动图像为初始攻击样本。
进一步的,若扰动图像不是初始攻击样本时,可以重新生成该训练图像对应的扰动图像。
S5、利用梯度下降算法对所述初始攻击样本进行预设次数的迭代计算,并且计算迭代产生的所有初始更新攻击样本与所述训练数据的距离值,获取最小距离值对应的初始更新攻击样本为标准攻击样本。
本发明实施例中,当训练数据为训练图像时,所述利用梯度下降算法对所述初始攻击样本进行预设次数的迭代计算,包括:
(1)设置迭代参数:迭代次数K,学习率α,范数更新因子γ,迭代索引k对应第k次迭代产生的扰动图像δk,扰动图像的范数∈k
其中,所述迭代次数K用于确定所述迭代训练的次数上限,防止所述分类模型进行过多不必要的训练次数;所述学习率α是分类模型自带的参数,用于表示分类模型的参数更新效率;所述范数更新因子γ表示每次迭代对所述初始攻击样本的更新程度,所述迭代索引k用于标记第k次迭代产生的扰动因子图像δk,所述扰动图像的范数∈k表示基于L2范数利用欧氏距离度量出的训练图像和所述初始攻击样本的距离值。
(2)初始化迭代参数:δ0←0,∈0←1,k←1,将所述分类模型自带的权重参数θ固定,对所述分类模型中的损失函数J(x+δk-1,y,θ)中的δk-1(即初始攻击样本)求梯度g;
(3)利用所述梯度值g对所述初始攻击样本δk-1进行更新,得到初始更新攻击样本δk=δk-1+g,其中,本发明实施例多次重复上述更新攻击样本的生成步骤,生成多个初始更新攻击样本;
需要强调的是,本发明实施例在利用所述梯度值g对所述初始攻击样本δk-1进行更新时,若f(x+δk-1)≠y,将初始攻击样本δk-1向减小范数的方向移动∈k=(1-γ)∈k-1;若f(x+δk-1)=y,将初始攻击样本δk-1向增大范数的方向移动∈k=(1+γ)∈k-1
(4)将所述多个初始攻击样本投影到半径为∈k的范数球的球面上;
(5)对所述范数球上的范数进行裁剪,裁剪到预设像素区间内[0,M](M通常为255,表示正常的像素范围);
(6)利用裁剪后的范数再次生成初始攻击样本并输入至所述分类模型中进行判定,直至达到迭代的次数k达到预设的迭代次数K。
具体地,本发明实施例利用预设的距离算法计算迭代过程中产生的初始更新攻击样本与训练数据的距离值,确定最小距离值对应的初始攻击样本为标准攻击样本。
较佳地,所述计算迭代产生的所有初始更新攻击样本与所述训练数据的距离值,包括:
利用如下距离算法计算迭代产生的所有初始更新攻击样本与所述训练数据的距离值:
其中,L(X,Y)为所述距离值,x为所述训练数据,y为所述训练数据对应的数据标签,f(x+δ)为初始更新攻击样本生成的预测标签。
利用上述计算距离值的方法,能够更直观的显示出所述初始攻击样本与所述训练图像的相似程度,有利于按照计算得出的距离值选择得到标准攻击样本。
进一步地,本发明实施例还包括,在利用梯度下降算法对所述初始攻击样本进行预设次数的迭代计算后,将每一步的迭代结果进行存储。
具体的,所述利用梯度下降算法对所述初始攻击样本进行预设次数的迭代之后,所述方法还包括:
将每次迭代后产生的迭代结果存储至备份数据库所在的本地端;
将每次迭代后产生的迭代结果进行镜像复制,得到镜像迭代结果,以及将所述镜像迭代结果存储至所述备份数据库的服务器所在的异地端。
本实施例中,每次迭代后产生的迭代结果包括初始更新攻击样本。
本实施例中,备份数据库的服务器所在的异地端是指备份数据库的本地服务器;备份数据库的服务器所在的异地端是指备份数据库的远端服务器。
具体的,将所述迭代结果存储到备份数据库所在的本地端,将所述迭代结果复制一份得到镜像迭代结果,通过寻址方法找到备份数据库的远端服务器,将所述镜像迭代结果存储到备份数据库的远端服务器,即备份数据库的服务器所在的异地端。
当迭代过程中任何一步出现卡死,宕机等异常时,可直接从所述本地端和/或所述异地端调用上一步的迭代结果继续执行,避免了数据的丢失。
本实施例中,由于在标准攻击样本的获取过程中可能会出现一些异常,因此,为了减少所述异常出现时导致需要重新执行等情况,通过迭代结果进行存储可以避免数据丢失,提高攻击样本获取的稳定性。
本发明实施例中,获取分类模型及所述分类模型的训练数据及所述训练数据对应的数据标签;利用攻击算法生成与所述训练数据对应的扰动数据;利用所述分类模型对所述扰动数据进行预测,得到预测标签;当所述预测标签与所述训练数据对应的数据标签不一致时,确定所述扰动数据为初始攻击样本;利用梯度下降算法对所述初始攻击样本进行预设次数的迭代计算,并且计算迭代产生的所有初始更新攻击样本与所述训练数据的距离值,获取最小距离值对应的初始更新攻击样本为标准攻击样本。通过生成扰动数据,进而根据条件确定扰动数据为初始攻击样本,提高攻击样本的数量,减少因攻击样本数量少导致的偶然性误差,有利于提高获取到的标准攻击样本的质量;通过对初始攻击样本进行迭代计算,并计算迭代产生的初始攻击样本与训练数据的距离值,基于距离值对所述初始攻击样本进行筛选,可筛选出可靠性更好的标准攻击样本,从而提高获取到的标准攻击样本的质量。因此,本发明提出的攻击样本的获取方法可实现提高获取到的攻击数据的质量。
如图2所示,是本发明攻击样本的获取装置的模块示意图。
本发明所述攻击样本的获取装置100可以安装于电子设备中。根据实现的功能,所述攻击样本的获取装置可以包括数据获取模块101、扰动数据生成模块102、标签预测模块103、初始攻击样本生成模块104和标准攻击样本生成模块105。本发所述模块也可以称之为单元,是指一种能够被电子设备处理器所执行,并且能够完成固定功能的一系列计算机程序段,其存储在电子设备的存储器中。
在本实施例中,关于各模块/单元的功能如下:
所述数据获取模块101,用于获取分类模型,获取所述分类模型的训练数据及所述训练数据对应的数据标签;
所述扰动数据生成模块102,用于利用攻击算法生成与所述训练数据对应的扰动数据;
所述标签预测模块103,用于利用所述分类模型对所述扰动数据进行预测,得到预测标签;
所述初始攻击样本生成模块104,用于当所述预测标签与所述训练数据对应的数据标签不一致时,确定所述扰动数据为初始攻击样本;
所述标准攻击样本生成模块105,用于利用梯度下降算法对所述初始攻击样本进行预设次数的迭代计算,并且计算迭代产生的所有初始更新攻击样本与所述训练数据的距离值,获取最小距离值对应的初始更新攻击样本为标准攻击样本。
详细地,所述攻击样本的获取装置各模块的具体实施方式如下:
所述数据获取模块101,用于获取分类模型及所述分类模型的训练数据及所述训练数据对应的数据标签。
本发明实施例中,所述分类模型包括但不限于图像分类模型、数据分类模型。所述分类模型的训练数据是用于训练所述分类模型时所使用的数据集,所述数据集包括训练数据及所述训练数据对应的数据标签。
所述数据获取模块101可利用悲观锁的方式从用于存储训练数据的区块链中获取所述训练数据,利用区块链的高吞吐性可实现一次性获取大量的训练数据,提高获取训练数据的效率。
所述悲观锁方式是指每次获取训练数据时,可能会有其他程序修改该训练数据中的内容,因此,在每次获取该训练数据时都对该训练数据进行锁定,使得其他程序无法修改该训练数据中的内容,保证获取到的训练数据中内容的准确性。
本实施例中,训练数据的数量为一个或多个,当有多个训练数据时,获取多个训练数据对应的多个数据标签,即获取每个训练数据对应的数据标签。
本实施例中,数据标签是对训练数据分类的结果标识。
本发明一可选实施例中,数据标签为预先存储的。
较佳地,所述数据获取模块101在获取到分类模型和训练数据之后,将训练数据输入至分类模型中,得到训练数据对应的数据标签。例如,将训练图像x输入至图像分类模型,即得到训练图像x对应的图像标签f(x)。
在接下来的实施方式中,以分类模型为图像分类模型以及训练数据为训练所述图像分类模型的训练图像集为例,对本发明进行说明。
本发明实施例中,所述图像分类模型为一个具有图像分类功能的卷积神经网络,所述卷积神经网络包括卷积层、池化层和全连接层。具体的:
卷积层,用于对图像进行卷积处理,对于图片中的每一个特征首先局部感知,然后更高层次对局部进行综合操作,从而得到全局信息;
池化层,对卷积后的图像进行池化处理,主要用于特征降维,训练数据和参数的数量,减小过拟合,同时提高模型的容错性;
全连接层,全连接层由于其巨大的参数量易过拟合以及不符合人类对图像的局部感知原理,用于最后的线性分类,相当于在提取的高层特征向量上进行线性组合并且输出最后的图像分类结果。
所述扰动数据生成模块102,用于利用攻击算法生成与所述训练数据对应的扰动数据。
本发明实施例中,所述扰动数据生成模块102具体用于
利用攻击算法对所述训练数据加入扰动因子,得到所述扰动数据。
本发明实施例中,若训练数据为多个,可以利用预设的攻击算法对多个训练数据中分别加入扰动因子,从而得到多个扰动数据。例如,利用预设的攻击算法对训练图像x加入扰动因子δ,得到扰动图像(即扰动数据),其中,所述扰动因子δ是与所述训练图像x同样大小的图像。
详细地,当训练数据为训练图像时,所述攻击算法为:
Trans=(δR+xR)+(δG+xG)+(δB+xB)
其中,Trans为扰动数据,xR、xG、xB为所述训练图像中任一像素点的三分量,δR、δG、δB为扰动因子中任一像素点的三分量,所述扰动因子是与所述训练图像大小相同的图像。
当多张训练图像中所有像素的像素值均根据攻击算法完成转化后,即可得到多张扰动图像。
所述标签预测模块103,用于利用所述分类模型对所述扰动数据进行预测,得到预测标签。
在通过攻击算法得到扰动数据之后,所述标签预测模块103将扰动数据输入至分类模型,通过分类模型对扰动数据进行预测,得到对扰动数据的预测结果,即预测标签。
例如,将扰动图像x+δ输入至图像分类模型中,即可得到扰动图像的预测标签f(x+δ)。
所述初始攻击样本生成模块104,用于当所述预测标签与所述训练数据对应的数据标签不一致时,确定所述扰动数据为初始攻击样本。
本实施例中,所述初始攻击样本生成模块104通过将预测标签与训练数据对应的数据标签进行匹配,从而判断预测标签与训练数据是否一致。
例如,判断扰动图像的预测标签f(x+δ)与训练图像对应的标签f(x)是否相同;若相同,则确定扰动图像不是所述初始攻击样本;若不相同,则确定所述扰动图像为初始攻击样本。
进一步的,若扰动图像不是初始攻击样本时,可以重新生成该训练图像对应的扰动图像。
所述标准攻击样本生成模块105,用于利用梯度下降算法对所述初始攻击样本进行预设次数的迭代计算,并且计算迭代产生的所有初始更新攻击样本与所述训练数据的距离值,获取最小距离值对应的初始更新攻击样本为标准攻击样本。
本发明实施例中,当训练数据为训练图像时,所述标准攻击样本生成模块105利用梯度下降算法对所述初始攻击样本进行预设次数的迭代计算,包括:
(1)设置迭代参数:迭代次数K,学习率α,范数更新因子γ,迭代索引k对应第k次迭代产生的扰动图像δk,扰动图像的范数∈k
其中,所述迭代次数K用于确定所述迭代训练的次数上限,防止所述分类模型进行过多不必要的训练次数;所述学习率α是分类模型自带的参数,用于表示分类模型的参数更新效率;所述范数更新因子γ表示每次迭代对所述初始攻击样本的更新程度,所述迭代索引k用于标记第k次迭代产生的扰动因子图像δk,所述扰动图像的范数∈k表示基于L2范数利用欧氏距离度量出的训练图像和所述初始攻击样本的距离值。
(2)初始化迭代参数:δ0←0,∈0←1,k←1,将所述分类模型自带的权重参数θ固定,对所述分类模型中的损失函数J(x+δk-1,y,θ)中的δk-1(即初始攻击样本)求梯度g;
(3)利用所述梯度值g对所述初始攻击样本δk-1进行更新,得到初始更新攻击样本δk=δk-1+g,其中,本发明实施例多次重复上述更新攻击样本的生成步骤,生成多个初始更新攻击样本;
需要强调的是,本发明实施例在利用所述梯度值g对所述初始攻击样本δk-1进行更新时,若f(x+δk-1)≠y,将初始攻击样本δk-1向减小范数的方向移动∈k=(1-γ)∈k-1;若f(x+δk-1)=y,将初始攻击样本δk-1向增大范数的方向移动∈k=(1+γ)∈k-1
(4)将所述多个初始攻击样本投影到半径为∈k的范数球的球面上;
(5)对所述范数球上的范数进行裁剪,裁剪到预设像素区间内[0,M](M通常为255,表示正常的像素范围);
(6)利用裁剪后的范数再次生成初始攻击样本并输入至所述分类模型中进行判定,直至达到迭代的次数k达到预设的迭代次数K。
具体地,本发明实施例利用预设的距离算法计算迭代过程中产生的初始更新攻击样本与训练数据的距离值,确定最小距离值对应的初始攻击样本为标准攻击样本。
具体地,本发明实施例利用预设的距离算法计算迭代过程中产生的初始更新攻击样本与训练数据的距离值,确定最小距离值对应的初始攻击样本为标准攻击样本。
较佳地,所述计算迭代产生的所有初始更新攻击样本与所述训练数据的距离值,包括:
利用如下距离算法计算迭代产生的所有初始更新攻击样本与所述训练数据的距离值:
其中,L(X,Y)为所述距离值,x为所述训练数据,y为所述训练数据对应的数据标签,f(x+δ)为初始更新攻击样本生成的预测标签。
利用上述距离算法,能够更直观的显示出所述初始攻击样本与所述训练图像的相似程度,有利于按照计算得出的距离值选择得到标准攻击样本。
进一步地,所述攻击样本的获取装置还包括备份模块,用于:
将每次迭代后产生的迭代结果存储至备份数据库所在的本地端;
将每次迭代后产生的迭代结果进行镜像复制,得到镜像迭代结果,以及将所述镜像迭代结果存储至所述备份数据库的服务器所在的异地端。
本实施例中,每次迭代后产生的迭代结果包括初始更新攻击样本。
本实施例中,备份数据库的服务器所在的异地端是指备份数据库的本地服务器;备份数据库的服务器所在的异地端是指备份数据库的远端服务器。
具体的,将所述迭代结果存储到备份数据库所在的本地端,将所述迭代结果复制一份得到镜像迭代结果,通过寻址方法找到备份数据库的远端服务器,将所述镜像迭代结果存储到备份数据库的远端服务器,即备份数据库的服务器所在的异地端。
当迭代过程中任何一步出现卡死,宕机等异常时,可直接从所述本地端和/或所述异地端调用上一步的迭代结果继续执行,避免了数据的丢失。
本实施例中,由于在标准攻击样本的获取过程中可能会出现一些异常,因此,为了减少所述异常出现时导致需要重新执行等情况,通过迭代结果进行存储可以避免数据丢失,提高攻击样本获取的稳定性。
本发明实施例中,获取分类模型及所述分类模型的训练数据及所述训练数据对应的数据标签;利用攻击算法生成与所述训练数据对应的扰动数据;利用所述分类模型对所述扰动数据进行预测,得到预测标签;当所述预测标签与所述训练数据对应的数据标签不一致时,确定所述扰动数据为初始攻击样本;利用梯度下降算法对所述初始攻击样本进行预设次数的迭代计算,并且计算迭代产生的所有初始更新攻击样本与所述训练数据的距离值,获取最小距离值对应的初始更新攻击样本为标准攻击样本。通过生成扰动数据,进而根据条件确定扰动数据为初始攻击样本,提高攻击样本的数量,减少因攻击样本数量少导致的偶然性误差,有利于提高获取到的标准攻击样本的质量;通过对初始攻击样本进行迭代计算,并计算迭代产生的初始攻击样本与训练数据的距离值,基于距离值对所述初始攻击样本进行筛选,可筛选出可靠性更好的标准攻击样本,从而提高获取到的标准攻击样本的质量。因此,本发明提出的攻击样本的获取装置可实现提高获取到的攻击数据的质量。
如图3所示,是本发明实现攻击样本的获取方法的电子设备的结构示意图。
所述电子设备1可以包括处理器10、存储器11和总线,还可以包括存储在所述存储器11中并可在所述处理器10上运行的计算机程序,如攻击样本的获取程序12。
其中,所述存储器11至少包括一种类型的可读存储介质,所述可读存储介质包括闪存、移动硬盘、多媒体卡、卡型存储器(例如:SD或DX存储器等)、磁性存储器、磁盘、光盘等。所述存储器11在一些实施例中可以是电子设备1的内部存储单元,例如该电子设备1的移动硬盘。所述存储器11在另一些实施例中也可以是电子设备1的外部存储设备,例如电子设备1上配备的插接式移动硬盘、智能存储卡(Smart Media Card,SMC)、安全数字(SecureDigital,SD)卡、闪存卡(Flash Card)等。进一步地,所述存储器11还可以既包括电子设备1的内部存储单元也包括外部存储设备。所述存储器11不仅可以用于存储安装于电子设备1的应用软件及各类数据,例如攻击样本的获取程序12的代码等,还可以用于暂时地存储已经输出或者将要输出的数据。
所述处理器10在一些实施例中可以由集成电路组成,例如可以由单个封装的集成电路所组成,也可以是由多个相同功能或不同功能封装的集成电路所组成,包括一个或者多个中央处理器(Central Processing unit,CPU)、微处理器、数字处理芯片、图形处理器及各种控制芯片的组合等。所述处理器10是所述电子设备的控制核心(Control Unit),利用各种接口和线路连接整个电子设备的各个部件,通过运行或执行存储在所述存储器11内的程序或者模块(例如执行攻击样本的获取程序等),以及调用存储在所述存储器11内的数据,以执行电子设备1的各种功能和处理数据。
所述总线可以是外设部件互连标准(peripheral component interconnect,简称PCI)总线或扩展工业标准结构(extended industry standard architecture,简称EISA)总线等。该总线可以分为地址总线、数据总线、控制总线等。所述总线被设置为实现所述存储器11以及至少一个处理器10等之间的连接通信。
图3仅示出了具有部件的电子设备,本领域技术人员可以理解的是,图3示出的结构并不构成对所述电子设备1的限定,可以包括比图示更少或者更多的部件,或者组合某些部件,或者不同的部件布置。
例如,尽管未示出,所述电子设备1还可以包括给各个部件供电的电源(比如电池),优选地,电源可以通过电源管理装置与所述至少一个处理器10逻辑相连,从而通过电源管理装置实现充电管理、放电管理、以及功耗管理等功能。电源还可以包括一个或一个以上的直流或交流电源、再充电装置、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。所述电子设备1还可以包括多种传感器、蓝牙模块、Wi-Fi模块等,在此不再赘述。
进一步地,所述电子设备1还可以包括网络接口,可选地,所述网络接口可以包括有线接口和/或无线接口(如WI-FI接口、蓝牙接口等),通常用于在该电子设备1与其他电子设备之间建立通信连接。
可选地,该电子设备1还可以包括用户接口,用户接口可以是显示器(Display)、输入单元(比如键盘(Keyboard)),可选地,用户接口还可以是标准的有线接口、无线接口。可选地,在一些实施例中,显示器可以是LED显示器、液晶显示器、触控式液晶显示器以及OLED(Organic Light-Emitting Diode,有机发光二极管)触摸器等。其中,显示器也可以适当的称为显示屏或显示单元,用于显示在电子设备1中处理的信息以及用于显示可视化的用户界面。
应该了解,所述实施例仅为说明之用,在专利申请范围上并不受此结构的限制。
所述电子设备1中的所述存储器11存储的攻击样本的获取程序12是多个指令的组合,在所述处理器10中运行时,可以实现:
获取分类模型,获取所述分类模型的训练数据及所述训练数据对应的数据标签;
利用攻击算法生成与所述训练数据对应的扰动数据;
利用所述分类模型对所述扰动数据进行预测,得到预测标签;
当所述预测标签与所述训练数据对应的数据标签不一致时,确定所述扰动数据为初始攻击样本;
利用梯度下降算法对所述初始攻击样本进行预设次数的迭代计算,并且计算迭代产生的所有初始更新攻击样本与所述训练数据的距离值,获取最小距离值对应的初始更新攻击样本为标准攻击样本。
进一步地,所述电子设备1集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。所述计算机可读介质可以包括:能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM,Read-Only Memory)。
进一步地,所述计算机可用存储介质可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作***、至少一个功能所需的应用程序等;存储数据区可存储根据区块链节点的使用所创建的数据等。
在本发明所提供的几个实施例中,应该理解到,所揭露的设备,装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述模块的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式。
所述作为分离部件说明的模块可以是或者也可以不是物理上分开的,作为模块显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
另外,在本发明各个实施例中的各功能模块可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用硬件加软件功能模块的形式实现。
对于本领域技术人员而言,显然本发明不限于上述示范性实施例的细节,而且在不背离本发明的精神或基本特征的情况下,能够以其他的具体形式实现本发明。
因此,无论从哪一点来看,均应将实施例看作是示范性的,而且是非限制性的,本发明的范围由所附权利要求而不是上述说明限定,因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本发明内。不应将权利要求中的任何附关联图表记视为限制所涉及的权利要求。
本发明所指区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链(Blockchain),本质上是一个去中心化的数据库,是一串使用密码学方法相关联产生的数据块,每一个数据块中包含了一批次网络交易的信息,用于验证其信息的有效性(防伪)和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层等。
此外,显然“包括”一词不排除其他单元或步骤,单数不排除复数。***权利要求中陈述的多个单元或装置也可以由一个单元或装置通过软件或者硬件来实现。第二等词语用来表示名称,而并不表示任何特定的顺序。
最后应说明的是,以上实施例仅用以说明本发明的技术方案而非限制,尽管参照较佳实施例对本发明进行了详细说明,本领域的普通技术人员应当理解,可以对本发明的技术方案进行修改或等同替换,而不脱离本发明技术方案的精神和范围。

Claims (8)

1.一种攻击样本的获取方法,其特征在于,所述方法包括:
获取分类模型及获取所述分类模型的训练数据及所述训练数据对应的数据标签;
利用攻击算法生成与所述训练数据对应的扰动数据;
利用所述分类模型对所述扰动数据进行预测,得到预测标签;
当所述预测标签与所述训练数据对应的数据标签不一致时,确定所述扰动数据为初始攻击样本;
利用梯度下降算法对所述初始攻击样本进行预设次数的迭代计算,并且计算迭代产生的所有初始更新攻击样本与所述训练数据的距离值,获取最小距离值对应的初始更新攻击样本为标准攻击样本;
其中,所述利用梯度下降算法对所述初始攻击样本进行预设次数的迭代计算,包括:设置迭代参数,其中,所述迭代参数包括迭代次数;初始化迭代参数,将所述分类模型自带的权重参数固定,对所述分类模型中的损失函数求梯度;利用所述梯度对所述初始攻击样本进行更新,得到多个初始更新攻击样本;将所述初始攻击样本投影到预设半径的范数球的球面上;对所述范数球上的范数进行裁剪,裁剪到预设像素区间内;利用裁剪后的范数再次生成初始攻击样本并输入至所述分类模型中进行判定,直至达到迭代的次数达到预设的迭代次数;
所述计算迭代产生的所有初始更新攻击样本与所述训练数据的距离值,包括:利用如下距离算法计算迭代产生的所有初始更新攻击样本与所述训练数据的距离值:
其中,L(X,Y)为所述距离值,x为所述训练数据,y为所述训练数据对应的数据标签,f(x+δ)为初始更新攻击样本生成的预测标签。
2.如权利要求1所述的攻击样本的获取方法,其特征在于,所述利用攻击算法生成与所述训练数据对应的扰动数据,包括:
利用攻击算法对所述训练数据加入扰动因子,得到所述扰动数据。
3.如权利要求2所述的攻击样本的获取方法,其特征在于,所述训练数据为训练图像,所述攻击算法为:
Trans=(δR+xR)+(δG+xG)+(δB+xB)
其中,Trans为扰动数据,xR、xG、xB为所述训练图像中任一像素点的三分量,δR、δG、δB为扰动因子中任一像素点的三分量,所述扰动因子是与所述训练图像大小相同的图像。
4.如权利要求1至3中任一项所述的攻击样本的获取方法,其特征在于,所述利用梯度下降算法对所述初始攻击样本进行预设次数的迭代计算之后,所述方法还包括:
将每次迭代后产生的迭代结果存储至备份数据库所在的本地端;
将每次迭代后产生的迭代结果进行镜像复制,得到镜像迭代结果,将所述镜像迭代结果存储至所述备份数据库的服务器所在的异地端。
5.如权利要求1所述的攻击样本的获取方法,其特征在于,所述获取所述分类模型的训练数据,包括:
利用悲观锁的方式从用于存储训练数据的区块链中获取所述训练数据。
6.一种攻击样本的获取装置,用于实现如权利要求1至5中任一项所述的攻击样本的获取方法,其特征在于,所述装置包括:
数据获取模块,用于获取分类模型及获取所述分类模型的训练数据及所述训练数据对应的数据标签;
扰动数据生成模块,用于利用攻击算法生成与所述训练数据对应的扰动数据;
标签预测模块,用于利用所述分类模型对所述扰动数据进行预测,得到预测标签;
初始攻击样本生成模块,用于当所述预测标签与所述训练数据对应的数据标签不一致时,确定所述扰动数据为初始攻击样本;
标准攻击样本生成模块,用于利用梯度下降算法对所述初始攻击样本进行预设次数的迭代计算,并且计算迭代产生的所有初始更新攻击样本与所述训练数据的距离值,获取最小距离值对应的初始更新攻击样本为标准攻击样本。
7.一种电子设备,其特征在于,所述电子设备包括:
至少一个处理器;以及,
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行如权利要求1至5中任一所述的攻击样本的获取方法。
8.一种计算机可读存储介质,包括存储数据区和存储程序区,存储数据区存储创建的数据,存储程序区存储有计算机程序;其中,所述计算机程序被处理器执行时实现如权利要求1至5中任一所述的攻击样本的获取方法。
CN202010610570.8A 2020-06-30 2020-06-30 攻击样本的获取方法、装置、设备及介质 Active CN111783982B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010610570.8A CN111783982B (zh) 2020-06-30 2020-06-30 攻击样本的获取方法、装置、设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010610570.8A CN111783982B (zh) 2020-06-30 2020-06-30 攻击样本的获取方法、装置、设备及介质

Publications (2)

Publication Number Publication Date
CN111783982A CN111783982A (zh) 2020-10-16
CN111783982B true CN111783982B (zh) 2024-06-04

Family

ID=72760334

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010610570.8A Active CN111783982B (zh) 2020-06-30 2020-06-30 攻击样本的获取方法、装置、设备及介质

Country Status (1)

Country Link
CN (1) CN111783982B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112215292B (zh) * 2020-10-19 2022-03-29 电子科技大学 一种基于迁移性的图像对抗样本生成装置及方法
CN112419820B (zh) * 2020-11-04 2022-04-26 武汉大学 一种区块链攻防虚拟仿真实验教学***及方法
CN112446025A (zh) * 2020-11-23 2021-03-05 平安科技(深圳)有限公司 联邦学习防御方法、装置、电子设备及存储介质
CN112910865B (zh) * 2021-01-20 2022-04-05 西安电子科技大学 一种基于因子图的推断攻击阶段最大似然估计方法及***
CN112836764B (zh) * 2021-03-02 2023-07-28 中山大学 一种面向目标分类***的通用目标攻击方法及装置
CN114241268A (zh) * 2021-12-21 2022-03-25 支付宝(杭州)信息技术有限公司 一种模型的训练方法、装置及设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107248996A (zh) * 2017-06-29 2017-10-13 南京邮电大学 一种dns放大攻击的检测与过滤方法
CN110334742A (zh) * 2019-06-10 2019-10-15 浙江大学 一种基于强化学习的通过添加虚假节点的图对抗样本生成方法
CN111027060A (zh) * 2019-12-17 2020-04-17 电子科技大学 基于知识蒸馏的神经网络黑盒攻击型防御方法
CN111209370A (zh) * 2019-12-27 2020-05-29 同济大学 一种基于神经网络可解释性的文本分类方法
CN111340180A (zh) * 2020-02-10 2020-06-26 中国人民解放军国防科技大学 指定标签的对抗样本生成方法、装置、电子设备及介质

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102048918B1 (ko) * 2014-12-18 2020-01-08 에이에스엠엘 네델란즈 비.브이. 기계 학습에 의한 피처 검색

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107248996A (zh) * 2017-06-29 2017-10-13 南京邮电大学 一种dns放大攻击的检测与过滤方法
CN110334742A (zh) * 2019-06-10 2019-10-15 浙江大学 一种基于强化学习的通过添加虚假节点的图对抗样本生成方法
CN111027060A (zh) * 2019-12-17 2020-04-17 电子科技大学 基于知识蒸馏的神经网络黑盒攻击型防御方法
CN111209370A (zh) * 2019-12-27 2020-05-29 同济大学 一种基于神经网络可解释性的文本分类方法
CN111340180A (zh) * 2020-02-10 2020-06-26 中国人民解放军国防科技大学 指定标签的对抗样本生成方法、装置、电子设备及介质

Also Published As

Publication number Publication date
CN111783982A (zh) 2020-10-16

Similar Documents

Publication Publication Date Title
CN111783982B (zh) 攻击样本的获取方法、装置、设备及介质
CN112257774B (zh) 基于联邦学习的目标检测方法、装置、设备及存储介质
CN111814962B (zh) 识别模型的参数获取方法、装置、电子设备及存储介质
CN111932562B (zh) 基于ct序列的图像识别方法、装置、电子设备及介质
CN111914939B (zh) 识别模糊图像的方法、装置、设备及计算机可读存储介质
CN113327136B (zh) 归因分析方法、装置、电子设备及存储介质
CN112699775A (zh) 基于深度学习的证件识别方法、装置、设备及存储介质
CN111694844B (zh) 基于配置算法的企业运行数据分析方法、装置及电子设备
CN112137591B (zh) 基于视频流的目标物位置检测方法、装置、设备及介质
CN111476760B (zh) 医学图像的生成方法、装置、电子设备及介质
CN112528633A (zh) 文本纠错方法、装置、电子设备及计算机可读存储介质
CN112990374B (zh) 图像分类方法、装置、电子设备及介质
CN114494800B (zh) 预测模型训练方法、装置、电子设备及存储介质
CN114913371A (zh) 多任务学习模型训练方法、装置、电子设备及存储介质
CN112101481B (zh) 目标物的影响因子筛选方法、装置、设备及存储介质
CN115049836B (zh) 图像分割方法、装置、设备及存储介质
CN116630712A (zh) 基于模态组合的信息分类方法、装置、电子设备及介质
CN116664949A (zh) 目标物缺陷检测方法、装置、设备及存储介质
CN113705686B (zh) 图像分类方法、装置、电子设备及可读存储介质
CN113627394B (zh) 人脸提取方法、装置、电子设备及可读存储介质
CN116680580A (zh) 基于多模态训练的信息匹配方法、装置、电子设备及介质
CN112215336B (zh) 基于用户行为的数据标注方法、装置、设备及存储介质
CN112561500B (zh) 基于用户数据的薪酬数据生成方法、装置、设备及介质
CN112233194B (zh) 医学图片优化方法、装置、设备及计算机可读存储介质
CN113705461B (zh) 人脸清晰度检测方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant