CN109951484A - 针对机器学习产品进行攻击的测试方法及*** - Google Patents

针对机器学习产品进行攻击的测试方法及*** Download PDF

Info

Publication number
CN109951484A
CN109951484A CN201910213571.6A CN201910213571A CN109951484A CN 109951484 A CN109951484 A CN 109951484A CN 201910213571 A CN201910213571 A CN 201910213571A CN 109951484 A CN109951484 A CN 109951484A
Authority
CN
China
Prior art keywords
machine learning
access
learning product
characterization factor
malicious
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910213571.6A
Other languages
English (en)
Other versions
CN109951484B (zh
Inventor
钟倩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sichuan Changhong Electric Co Ltd
Original Assignee
Sichuan Changhong Electric Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sichuan Changhong Electric Co Ltd filed Critical Sichuan Changhong Electric Co Ltd
Priority to CN201910213571.6A priority Critical patent/CN109951484B/zh
Publication of CN109951484A publication Critical patent/CN109951484A/zh
Application granted granted Critical
Publication of CN109951484B publication Critical patent/CN109951484B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明公开了一种针对机器学习产品进行攻击的测试方法，包括以下步骤:采用恶意样本测试集对机器学习产品进行周期性的攻击访问；机器学习产品获取恶意样本测试集中多条恶意访问数据的特征因子，并对所述特征因子进行分析，根据分析结果对所述特征因子进行分类管理；再次采用恶意样本测试集中的一条恶意访问数据对机器学习产品进行攻击访问，机器学习产品对该条恶意访问数据中的特征因子进行分析，并与已经分类的正常访问特征值库和异常访问特征值库中的特征因子进行对比，判断其为正常访问还是异常访问；输出判断结果；本发明还公开了一种针对机器学习产品进行攻击的测试***，本发明进一步提高了机器学习产品的安全性。

Description

针对机器学习产品进行攻击的测试方法及***
技术领域
本发明涉及互联网安全测试技术领域，特别是一种针对机器学习产品进行攻击的测试方法及***。
背景技术
随着互联网的快速发展，互联网的安全现如今已愈加被人们所重视，互联网的攻击和防护手段也在逐渐升级，机器学习的兴起与运用给安全测试带来了一大挑战。经过长期的发展，机器学习的运用已在各个领域崭露头角。由于机器学习所做的网络应用模块还未有效果显著的测试方法，一种网络攻击者利用机器学习产品进行攻击的测试方法就应运而生了。
目前在进行机器学习产品的安全测试的时候，存在测试方法传统、单一、缺乏显著的测试结果等局限性。
发明内容
为解决现有技术中存在的问题，本发明的目的是提供一种针对机器学习产品进行攻击的测试方法及***，本发明通过搜集大量的恶意访问数据对使用机器学习的目标网络进行访问，促使恶意样本集中的恶意访问数据变成机器学习的判断规则并绕过机器学习的检测规则，导致机器学习***被污染，使攻击者有机可乘；安全研究员预测机器学习最终将基于测试方法和结果来实时修改代码以避免此危害。
为实现上述目的，本发明采用的技术方案是：一种针对机器学习产品进行攻击的测试方法，包括以下步骤:
步骤一、采用恶意样本测试集对机器学习产品进行周期性的攻击访问，所述恶意测试样本集中包括多条恶意访问数据；
步骤二、机器学习产品获取恶意样本测试集中多条恶意访问数据的特征因子，并对所述特征因子进行分析，根据分析结果对所述特征因子进行分类管理，判断将其放入正常访问特征值库还是异常访问特征值库；
步骤三、再次采用恶意样本测试集中的一条恶意访问数据对机器学习产品进行攻击访问，机器学习产品对该条恶意访问数据中的特征因子进行分析，并与已经分类的正常访问特征值库和异常访问特征值库中的特征因子进行对比，判断其为正常访问还是异常访问；
步骤四、输出判断结果。
作为一种优选的实施方式，所述步骤四中，若输出的判断结果为正常访问，则说明该机器学习产品存在漏洞，若输出的判断结果为异常访问，则说明该机器学习产品正常。
作为另一种优选的实施方式，所述步骤一中，对机器学习产品进行攻击访问的恶意访问数据的数量大于同一时期机器学习产品的正常访问量。
作为另一种优选的实施方式，所述步骤一中，恶意样本测试集对机器学习产品攻击访问的周期大于该机器学习产品防御算法的周期。
本发明还提供一种针对机器学习产品进行攻击的测试***，包括：
样本模块，用于存储进行攻击访问的恶意样本测试集并训练恶意样本集中恶意访问数据的特征因子；
算法模块，用于机器学习产品获取恶意访问数据的特征因子，并对获取的特征因子进行分析与分类，以及预测判断模块的建立与完善；
预测判断模块，包括正常访问特征值库和异常访问特征值库，用于存储分类后的特征因子，实时监控机器学习产品服务器上的访问日志，并与正常访问特征值库和异常访问特征值库已经存储的特征因子进行对比，发现异常访问行为则进行预测输出；
恶意访问模块，用于采用一条恶意访问数据对机器学习产品进行攻击访问，该恶意访问数据中包括待预测的特征因子；
预测结果模块，用于接收预测判断模块的预测输出结果，并判断恶意访问模块中的恶意访问数据对机器学习产品进行攻击访问的测试是否成功。
作为一种优选的实施方式，所述的恶意样本集为人工提供的恶意访问数据。
本发明的有益效果是：本发明从网络攻击者利用机器学习产品进行攻击的测试，角度新颖，能从绕过机器学习算法这一角度攻击被测试的机器学习产品，给安全研究员提供了一种新的测试思路，为即时发现机器学习产品漏洞提供有效手段，安全研究员最终将基于测试方法和结果来实时修改代码以避免此危害，保证了产品和用户的信息安全，进一步提高了机器学习产品的安全性；通过本发明的测试，发现基于DQN(DeepQ-Learning)算法(深度学习deeplearning与强化学习reinforcementlearning相结合)、TRPO(Trust RegionPolicy Optimization)信赖域策略优化以及A3C(Actor-Critic Algorithm)算法的机器学产品均被恶意访问数据攻击成功，说明基于此类算法的机器学习产品还存在漏洞，方便安全研究员修改代码提高机器学习产品的安全性。
附图说明
图1为本发明实施例的流程框图；
图2为本发明实施例的***框图。
具体实施方式
下面结合附图对本发明的实施例进行详细说明。
实施例：
如图1所示，一种针对机器学习产品进行攻击的测试方法，包括以下步骤：
预置条件：被攻击的机器学习产品服务器(以防火墙为例)、操作***为WIN7或WIN8或WIN10或Linux的PC；
步骤一、采用恶意样本测试集对机器学习产品进行周期性的攻击访问，所述恶意测试样本集中包括多条恶意访问数据；其中，对机器学习产品进行攻击访问的恶意访问数据的数量大于同一时期机器学习产品的正常访问量，恶意样本测试集对机器学习产品攻击访问的周期大于该机器学习产品防御算法的周期；
步骤二、机器学习产品获取恶意样本测试集中多条恶意访问数据的特征因子，并对所述特征因子进行分析，根据分析结果对所述特征因子进行分类管理，判断将其放入正常访问特征值库还是异常访问特征值库；在本实施例中，大量的恶意访问数据通过长时间访问被测试的机器学习产品，使得机器学习产品获取大量的恶意访问数据信息，并且分析所有的恶意访问数据，由于恶意访问数据的数量巨大，机器学习产品将恶意访问数据判断为正常访问数据，并提取它们的特征因子放入正常访问特征值库中；
步骤三、再次采用恶意样本测试集中的一条恶意访问数据(例如：<script>alert('xss')；</script>)对机器学习产品进行攻击访问，机器学习产品对该条恶意访问数据中的特征因子进行分析，并与已经分类的正常访问特征值库和异常访问特征值库中的特征因子进行对比，判断其为正常访问还是异常访问；
步骤四、输出判断结果；本实施例中输出为正常访问数据，说明此恶意访问数据可以以正常数据的身份进行访问，成功的绕过了机器学习产品的WAF(Web ApplicationFirewall)防火墙***，并弹出XSS的弹框，攻击者攻击成功，通过该方法对机器学习产品的测试结果说明该机器学习产品存在漏洞。
如图2所示，本实施例还提供一种针对机器学习产品进行攻击的测试***，包括：
样本模块，用于存储进行攻击访问的恶意样本测试集并训练恶意样本集中恶意访问数据的特征因子；
算法模块，用于机器学习产品获取恶意访问数据的特征因子，并对获取的特征因子进行分析与分类，以及预测判断模块的建立与完善；本实施例中，算法模块中攻击者通过长时间，大量的访问被测试的机器学习产品，使得算法模块获取大量的恶意访问数据信息，并且分析所有的恶意访问数据，由于恶意访问数据的数量巨大，算法模块判断恶意数据为正常访问数据，并提取它们的特征值放入预测判断模块；
预测判断模块，包括正常访问特征值库和异常访问特征值库，用于存储分类后的特征因子，实时监控机器学习产品服务器上的访问日志，并与正常访问特征值库和异常访问特征值库已经存储的特征因子进行对比，发现异常访问行为则进行预测输出；本实施例中，当再次采用恶意样本测试集中的一条恶意访问数据(例如：<script>alert('xss')；</script>)对机器学习产品进行攻击访问时，预测判断模块将异常的恶意访问数据放入了正常访问特征值库中；
恶意访问模块，用于采用一条恶意访问数据对机器学习产品进行攻击访问，该恶意访问数据中包括待预测的特征因子；
预测结果模块，用于接收预测判断模块的预测输出结果，并判断恶意访问模块中的恶意访问数据对机器学习产品进行攻击访问的测试是否成功；在本实施例中，预测结果模块监控预测判断模块的预测输出为正常访问数据、此恶意数据可以以正常数据的身份进行访问，成功的绕过了机器学习产品的WAF(Web Application Firewall)防火墙***，并弹出XSS的弹框，攻击者攻击成功。通过该***对机器学习产品的测试结果说明该机器学习产品存在漏洞。
以上所述实施例仅表达了本发明的具体实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。

Claims (6)

1.一种针对机器学习产品进行攻击的测试方法，其特征在于，包括以下步骤:
步骤一、采用恶意样本测试集对机器学习产品进行周期性的攻击访问，所述恶意测试样本集中包括多条恶意访问数据；
步骤二、机器学习产品获取恶意样本测试集中多条恶意访问数据的特征因子，并对所述特征因子进行分析，根据分析结果对所述特征因子进行分类管理，判断将其放入正常访问特征值库还是异常访问特征值库；
步骤三、再次采用恶意样本测试集中的一条恶意访问数据对机器学习产品进行攻击访问，机器学习产品对该条恶意访问数据中的特征因子进行分析，并与已经分类的正常访问特征值库和异常访问特征值库中的特征因子进行对比，判断其为正常访问还是异常访问；
步骤四、输出判断结果。
2.根据权利要求1所述的针对机器学习产品进行攻击的测试方法，其特征在于，所述步骤四中，若输出的判断结果为正常访问，则说明该机器学习产品存在漏洞，若输出的判断结果为异常访问，则说明该机器学习产品正常。
3.根据权利要求1所述的针对机器学习产品进行攻击的测试方法，其特征在于，所述步骤一中，对机器学习产品进行攻击访问的恶意访问数据的数量大于同一时期机器学习产品的正常访问量。
4.根据权利要求1所述的针对机器学习产品进行攻击的测试方法，其特征在于，所述步骤一中，恶意样本测试集对机器学习产品攻击访问的周期大于该机器学习产品防御算法的周期。
5.一种针对机器学习产品进行攻击的测试***，其特征在于，包括：
样本模块，用于存储进行攻击访问的恶意样本测试集并训练恶意样本集中恶意访问数据的特征因子；
算法模块，用于机器学习产品获取恶意访问数据的特征因子，并对获取的特征因子进行分析与分类，以及预测判断模块的建立与完善；
预测判断模块，包括正常访问特征值库和异常访问特征值库，用于存储分类后的特征因子，实时监控机器学习产品服务器上的访问日志，并与正常访问特征值库和异常访问特征值库已经存储的特征因子进行对比，发现异常访问行为则进行预测输出；
恶意访问模块，用于采用一条恶意访问数据对机器学习产品进行攻击访问，该恶意访问数据中包括待预测的特征因子；
预测结果模块，用于接收预测判断模块的预测输出结果，并判断恶意访问模块中的恶意访问数据对机器学习产品进行攻击访问的测试是否成功。
6.根据权利要求5所述的针对机器学习产品进行攻击的测试***，其特征在于，所述的恶意样本集为人工提供的恶意访问数据。
CN201910213571.6A 2019-03-20 2019-03-20 针对机器学习产品进行攻击的测试方法及*** Active CN109951484B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910213571.6A CN109951484B (zh) 2019-03-20 2019-03-20 针对机器学习产品进行攻击的测试方法及***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910213571.6A CN109951484B (zh) 2019-03-20 2019-03-20 针对机器学习产品进行攻击的测试方法及***

Publications (2)

Publication Number Publication Date
CN109951484A true CN109951484A (zh) 2019-06-28
CN109951484B CN109951484B (zh) 2021-01-26

Family

ID=67010277

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910213571.6A Active CN109951484B (zh) 2019-03-20 2019-03-20 针对机器学习产品进行攻击的测试方法及***

Country Status (1)

Country Link
CN (1) CN109951484B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112311733A (zh) * 2019-07-30 2021-02-02 四川大学 一种基于强化学习优化xss检测模型防御对抗攻击的方法
CN112968891A (zh) * 2021-02-19 2021-06-15 山东英信计算机技术有限公司 网络攻击防御方法、装置及计算机可读存储介质

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105282091A (zh) * 2014-06-05 2016-01-27 腾讯科技（深圳）有限公司 安全应用的服务器检测方法及其***
CN106713335A (zh) * 2016-12-30 2017-05-24 山石网科通信技术有限公司 恶意软件的识别方法及装置
CN107294993A (zh) * 2017-07-05 2017-10-24 重庆邮电大学 一种基于集成学习的web异常流量监测方法
US20180159871A1 (en) * 2016-12-02 2018-06-07 F-Secure Corporation Machine Learning Based Malware Detection System
US20180219896A1 (en) * 2017-02-01 2018-08-02 Splunk Inc. Computer-implemented system and method for creating an environment for detecting malicious content
CN108491717A (zh) * 2018-03-28 2018-09-04 四川长虹电器股份有限公司 一种基于机器学习的xss防御***及其实现方法
US20180255022A1 (en) * 2017-03-01 2018-09-06 Cujo LLC Detecting malicious network addresses within a local network
CN108566392A (zh) * 2018-04-11 2018-09-21 四川长虹电器股份有限公司 基于机器学习的防御cc攻击***与方法
US20180373832A1 (en) * 2017-06-27 2018-12-27 Grail, Inc. Detecting cross-contamination in sequencing data
CN109167798A (zh) * 2018-11-01 2019-01-08 四川长虹电器股份有限公司 一种基于机器学习的家用物联网设备DDoS检测方法
CN109274677A (zh) * 2018-10-11 2019-01-25 四川长虹电器股份有限公司 基于机器学习的ip分类方法及***
CN109472390A (zh) * 2018-09-12 2019-03-15 郑颖尔 基于机器学习的规划方案智能生成方法及***
US10237298B1 (en) * 2014-06-17 2019-03-19 Wells Fargo Bank, N.A. Session management

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105282091A (zh) * 2014-06-05 2016-01-27 腾讯科技（深圳）有限公司 安全应用的服务器检测方法及其***
US10237298B1 (en) * 2014-06-17 2019-03-19 Wells Fargo Bank, N.A. Session management
US20180159871A1 (en) * 2016-12-02 2018-06-07 F-Secure Corporation Machine Learning Based Malware Detection System
CN106713335A (zh) * 2016-12-30 2017-05-24 山石网科通信技术有限公司 恶意软件的识别方法及装置
US20180219896A1 (en) * 2017-02-01 2018-08-02 Splunk Inc. Computer-implemented system and method for creating an environment for detecting malicious content
US20180255022A1 (en) * 2017-03-01 2018-09-06 Cujo LLC Detecting malicious network addresses within a local network
US20180373832A1 (en) * 2017-06-27 2018-12-27 Grail, Inc. Detecting cross-contamination in sequencing data
CN107294993A (zh) * 2017-07-05 2017-10-24 重庆邮电大学 一种基于集成学习的web异常流量监测方法
CN108491717A (zh) * 2018-03-28 2018-09-04 四川长虹电器股份有限公司 一种基于机器学习的xss防御***及其实现方法
CN108566392A (zh) * 2018-04-11 2018-09-21 四川长虹电器股份有限公司 基于机器学习的防御cc攻击***与方法
CN109472390A (zh) * 2018-09-12 2019-03-15 郑颖尔 基于机器学习的规划方案智能生成方法及***
CN109274677A (zh) * 2018-10-11 2019-01-25 四川长虹电器股份有限公司 基于机器学习的ip分类方法及***
CN109167798A (zh) * 2018-11-01 2019-01-08 四川长虹电器股份有限公司 一种基于机器学习的家用物联网设备DDoS检测方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112311733A (zh) * 2019-07-30 2021-02-02 四川大学 一种基于强化学习优化xss检测模型防御对抗攻击的方法
CN112968891A (zh) * 2021-02-19 2021-06-15 山东英信计算机技术有限公司 网络攻击防御方法、装置及计算机可读存储介质

Also Published As

Publication number Publication date
CN109951484B (zh) 2021-01-26

Similar Documents

Publication Publication Date Title
Ding et al. Intrusion detection system for NSL-KDD dataset using convolutional neural networks
CN105247532B (zh) 使用硬件特征的对异常进程的无监督的检测
Caltagirone et al. The diamond model of intrusion analysis
Moustafa et al. Data analytics-enabled intrusion detection: Evaluations of ToN_IoT linux datasets
Kato et al. An intelligent ddos attack detection system using packet analysis and support vector machine
CN110336835A (zh) 恶意行为的检测方法、用户设备、存储介质及装置
Al-Khateeb et al. Awareness model for minimizing the effects of social engineering attacks in web applications
Shiva Darshan et al. Windows malware detection system based on LSVC recommended hybrid features
CN109951484A (zh) 针对机器学习产品进行攻击的测试方法及***
Veprytska et al. AI powered attacks against AI powered protection: Classification, scenarios and risk analysis
Yadav et al. Comparative study of datasets used in cyber security intrusion detection
Sun et al. Mate! Are you really aware? An explainability-guided testing framework for robustness of malware detectors
Khan et al. A dynamic method of detecting malicious scripts using classifiers
Liu et al. VulnerGAN: a backdoor attack through vulnerability amplification against machine learning-based network intrusion detection systems
Khade et al. Mitigating Cross-Site Request Forgery Threats in the Web
Alshammari et al. Scalable and robust intrusion detection system to secure the iot environments using software defined networks (SDN) enabled architecture
Maslan et al. Ddos detection on network protocol using neural network with feature extract optimization
Swarnalatha Detect and classify the unpredictable cyber-attacks by using DNN model
Deshpande et al. Detection and Notification of Zero-Day attack to Prevent Cybercrime
Noppel et al. Backdooring explainable machine learning
Musa et al. Improving Internet Firewall Using Machine Learning Techniques
Onotu et al. Accurate shellcode recognition from network traffic data using artificial neural nets
Meeran et al. Resilient Detection of Cyber Attacks in Industrial Devices
Kodati et al. Ensemble Framework of Artificial immune system based on Network Intrusion Detection System for Network Security Sustainability
CN113569250B (zh) 一种恶意智能合约识别方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant