CN110784455B - 基于线性递减权重粒子群算法优化Xgboost模型方法 - Google Patents

基于线性递减权重粒子群算法优化Xgboost模型方法 Download PDF

Info

Publication number
CN110784455B
CN110784455B CN201910983161.XA CN201910983161A CN110784455B CN 110784455 B CN110784455 B CN 110784455B CN 201910983161 A CN201910983161 A CN 201910983161A CN 110784455 B CN110784455 B CN 110784455B
Authority
CN
China
Prior art keywords
particle
value
optimal
fitness value
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910983161.XA
Other languages
English (en)
Other versions
CN110784455A (zh
Inventor
王晋
刘畅
喻潇
舒欣
杜丰夷
徐江珮
周亮
王文娜
杜仙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
State Grid Corp of China SGCC
Electric Power Research Institute of State Grid Hubei Electric Power Co Ltd
Original Assignee
State Grid Corp of China SGCC
Electric Power Research Institute of State Grid Hubei Electric Power Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by State Grid Corp of China SGCC, Electric Power Research Institute of State Grid Hubei Electric Power Co Ltd filed Critical State Grid Corp of China SGCC
Priority to CN201910983161.XA priority Critical patent/CN110784455B/zh
Publication of CN110784455A publication Critical patent/CN110784455A/zh
Application granted granted Critical
Publication of CN110784455B publication Critical patent/CN110784455B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/004—Artificial life, i.e. computing arrangements simulating life
    • G06N3/006—Artificial life, i.e. computing arrangements simulating life based on simulated virtual individual or collective life forms, e.g. social simulations or particle swarm optimisation [PSO]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
    • H04L63/1416—Event detection, e.g. attack signature detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Computer Security & Cryptography (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Hardware Design (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Evolutionary Biology (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明提供一种基于线性递减权重粒子群算法优化Xgboost模型方法，通过分析Xgboost模型参数的含义，选取了对模型影响较大的4个参数进行优化，并将优化后的模型应用于NSL‑KDD数据集中，在一定程度上可以找出较优参数，从而提高入侵检测的准确率，通过本发明线性递减权重粒子群优化参数后的Xgboost模型应用于NSL‑KDD测试集数据，能够有效的优化Xgboost模型参数，提升模型的性能。

Description

基于线性递减权重粒子群算法优化Xgboost模型方法
技术领域
本发明涉及网络入侵检测领域，具体是一种基于线性递减权重粒子群算法优化Xgboost模型方法。
背景技术
近年来随着计算机技术、大数据技术的发展，网络空间的规模呈现大幅度地增长，一系列网络安全问题也随之产生。网络入侵检测领域一直是学术界和工业界关注的重点，网络入侵检测的方法是将入侵行为转换为分类和识别的问题，通过有效的算法来准确的识别其攻击类型使得入侵检测***能够更好地应对攻击。随着机器学习技术的日渐成熟，相关领域的学者已成功将其应用于网络入侵检测中，但是识别的准确率还有待提升。
Xgboost模型是集成学习算法中的一种，将Xgboost模型应用于网络入侵检测数据集NSL-KDD中，识别的效果很大程度上取决于参数的选择。如果使用默认的参数，虽然取得的效果还不错，但是还有很大提升的空间，Xgboost模型由于其参数数量较多，人工进行调参的工作量巨大。目前机器学习模型的参数往往是根据人们的经验来进行调整，参数可调整的局限性较大，当参数数量较多时，人工调参基本是不太可行的方案。现有使用较多的一种优化参数的方法是网格搜索，该方法通过对所有的参数组合进行穷举来寻找效果最佳的参数组合，但是非常耗时，并且最后搜索的参数是预先指定的。
本申请的发明人在实现本发明的过程中经过研究发现：线性递减权重粒子群优化(Linear Decrement Weight Particle Swarm Optimization，LDWPSO)算法采用群体智能策略，在基本粒子群算法(Particle Swarm Optimization，PSO)的基础上引入惯性权重因子，在搜索空间内具有的良好的搜索能力和更快的收敛速度，因此本发明提出了使用线性递减权重粒子群优化算法去自适应地优化Xgboost模型的参数，并将其应用于网络入侵检测领域中，使模型能够取得更好的识别和分类的效果。
线性递减权重粒子群算法LDWPSO：
Vid＝ωVid+C1random(0,1)(Pid-Xid)+C2random(0,1)(Pgd-Xid)
Xid＝Xid+Vid
Figure GDA0003140109010000021
其中C1和C2分别为个体和社会学习因子，Pid为第i个粒子个体极值的第d维，Pgd为全局最优解的第d维，ω为非负的惯性因子，其中iter为最大迭代次数，iteri为当前迭代次数，ωmax为ω的最大值，ωmin为ω的最小值。
Xgboost算法：
Xgboost模型共包含三大类参数，其主要的参数及其解释如下：
eta：学习率，通过减少每一步的权重，可以提高模型的稳定性。通过设置eta可以过拟合；
min_child_weight：最小叶子节点权重和，如果在一次***中，叶子节点上所有样本的权重和小于min_child_weight则停止***，能够有效的防止过拟合，防止学到特殊样本；
max_depth：最大树深度，防止树模型过于复杂；
max_leaf_nodes：树上叶子节点数；
gamma：惩罚项和叶子节点结合的项；
subsample：每棵树随机采样的样本的比例，减小这个参数的值，算法会更加保守，避免过拟合。如果值设置得过小，也可能会导致欠拟合；
colsample_bytree：用来控制每棵随机采样的列数的占比；
lambda：权重的L2正则化项；
alpha：权重的L1正则化项；
objective：定义损失函数；
其算法原理公式如下所示：
Figure GDA0003140109010000031
Figure GDA0003140109010000032
其中obj(t)表示Xgboost模型第t轮的目标函数，其中l表示第t轮的损失项，constant表示常数项，Ω表示模型的正则项，γ和λ都是Xgboost自定义参数。
发明内容
本发明的目的是为了解决在网络入侵检测中使用机器学习模型人工调参工作量大的问题，提出了一种基于线性递减权重粒子群算法优化Xgboost模型方法，本发明分析了Xgboost模型参数的含义，选取了对模型影响较大的4个参数进行优化，并将优化后的模型应用于NSL-KDD数据集中。
一种基于线性递减权重粒子群算法优化Xgboost模型方法，包括：
步骤一：选取对Xgboost模型影响较大的4个参数，分别为学习率eta、最大树深度max_depth、最小叶子节点权重和min_child_weight以及gamma值，根据要优化的参数数量确定粒子的维度为4，并初始化每个粒子的位置和速度；
步骤二：根据下面等式来更新每个粒子的速度Vid和位置Xid：
Vid＝ωVid+C1random(0,1)(Pid-Xid)+C2random(0,1)(Pgd-Xid) (1)
Xid＝Xid+Vid (2)
其中C1和C2分别为个体和社会学习因子，Pid为第i个粒子个体极值的第d维，Pgd为全局最优解的第d维；
并根据下面等式对惯性权重因子ω进行变换：
Figure GDA0003140109010000033
其中ω为非负的惯性权重因子，iter为最大迭代次数，iteri为当前迭代次数，ωmax为ω的最大值，ωmin为ω的最小值；
步骤三：将粒子的新位置作为参数并赋值给Xgboost模型并计算验证集上的适应度值，然后将新的适应度值与之前进行比较来确定哪些粒子的个体最优值需要进行更新，并更新全局最优值；
步骤四：线性递减权重粒子群算法进行迭代并且在满足最大迭代次数或收敛时终止，得到算法的最优适应度值和对应的最优位置，并且最优位置的4个分量分别对应eta、max_depth、min_child_weight和gamma四个参数，然后使用四个最优参数值来构造LDWPSO-Xgboost模型，并将其通过网络入侵数据集NSL-KDD拟合后，应用到测试集上，计算在测试集上的各项指标。
进一步的，所述步骤二具体为：
在4维搜索空间中，某时刻t，第i个粒子的位置为
Xi(t)＝[Xi1,Xi2,Xi3,Xi4]，
将Xi1到Xi4分别赋值给eta、max_depth、min_child_weight和gamma四个参数，并根据PR曲线面积指标计算第i个粒子此参数下模型的适应度值Fi(t)；在t+1时刻，对第i个粒子的4个维度均进行速度分量的生成，速度分量中采用随机数的方式保证随机性，粒子添加速度分量后的位置可表示为Xi(t+1)＝[Xi1+Vi1,Xi2+Vi2,Xi3+Vi3,Xi4+Vi4]，并计算第i个粒子新的适应度值Fi(t+1)，如果Fi(t+1)＞Fi(t)，则更新第i个粒子的个体最优值；对所有的粒子均进行相同的操作，并从所有粒子中找出使适应度值最大所对应最优的参数，一旦某个粒子所计算的适应度值最大，则其他的粒子朝着该粒子的位置移动。
进一步的，所述步骤三具体为：
第i个粒子在t时刻的适应度值为Fi(t)，并且其个体最优适应度值为Pi(t)，粒子群的全局最优适应度值为Gt，若Fi(t)≤Pi(t)，则t时刻不对该粒子的个体最优值和全局最优进行更新；在t+1时刻，更新第i个粒子的位置后，计算出来新的适应度值为Fi(t+1)，该粒子的个体最优适应度值为Pi(t)并且全局最优为Gt，若Fi(t+1)≥Pi则更新该粒子的个体最优值，在t+1时刻这一轮对所有粒子均进行相同的操作，在t+1时刻结束后，全局最优值Gt+1＝max(Fk(t+1)),k＝1,2,...,M，其中M为粒子群的数目。
进一步的，所述步骤四中的网络入侵数据集NSL-KDD中共包含5种类型，分别为Normal(正常)、Dos(拒绝服务攻击)、R2L(远程主机未授权访问)、U2R(未授权本地超级用户特权访问)和Probe(端口监视或扫描)，LDWPSO-Xgboost模型首先通过训练集进行训练，使得该模型能够较好的挖掘出数据中潜在的规律，然后使用训练好的模型对测试集进行类别预测，根据预测的准确率来评价模型的好坏。
本发明通过群体智能的搜索策略，在一定程度上可以找出较优参数，从而提高入侵检测的准确率，通过本发明线性递减权重粒子群优化参数后的Xgboost模型应用于NSL-KDD测试集数据，能够有效的优化Xgboost模型参数，提升模型的性能。
附图说明
图1是本发明基于线性递减权重粒子群算法优化Xgboost模型方法的流程示意图；
图2是本发明LDWPSO-Xgboost模型与现有Xgboost模型的mAP曲线对照图；
图3是本发明LDWPSO-Xgboost模型和现有网格搜索(GridSearch)优化mAP曲线对照图。
具体实施方式
下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述。
请参阅图1，本发明实施例提出的基于线性递减权重粒子群算法优化Xgboost模型参数的方法，其步骤为：
步骤一：本发明选取了对Xgboost模型影响较大的4个参数，分别为学习率(eta)、最大树深度(max_depth)、最小叶子节点权重和(min_child_weight)和gamma值(惩罚项和叶子节点结合的项)，根据要优化的参数数量确定粒子的维度为4，并初始化每个粒子的位置和速度。
由于不同参数其有效的范围不同，因此需要分别对每个参数进行初始化操作。在N维搜索空间中，在时间t，第i个粒子的位置可以表示为：Xi(t)＝[Xi,1,Xi,2,…,Xi,N],i＝1,2,…,M，其中M是粒子数。粒子的个体最佳位置是：Pi(t)＝[Pi,1,Pi,2,…,Pi,N]，粒子群的全局最优位置是：G(t)＝[G1,G2,…,GN]，全局最佳位置从个体的最佳位置中找到。对于每个粒子，其速度在每个维度上均进行(0，1)初始化，然后将粒子的每个维度的初始位置值赋值给Xgboost模型的相应参数，并且将其在NSL-KDD验证集上P-R曲线与X轴围成的面积作为初始适应值，同时，初始化全局最优值和个体最优值。
步骤二：根据下面等式来更新每个粒子的速度Vid和位置Xid：
Vid＝ωVid+C1random(0,1)(Pid-Xid)+C2random(0,1)(Pgd-Xid) (1)
Xid＝Xid+Vid (2)
其中C1和C2分别为个体和社会学习因子，Pid为第i个粒子个体极值的第d维，Pgd为全局最优解的第d维；
并根据下面等式对惯性权重因子ω进行变换：
Figure GDA0003140109010000061
其中ω为非负的惯性权重因子，iter为最大迭代次数，iteri为当前迭代次数，ωmax为ω的最大值，ωmin为ω的最小值。
在4维搜索空间中，某时刻t，第i个粒子的位置为Xi(t)＝[Xi1,Xi2,Xi3,Xi4]，将Xi1到Xi4分别赋值给eta、max_depth、min_child_weight和gamma四个参数，并根据PR曲线面积指标计算第i个粒子此参数下模型的适应度值Fi(t)；在t+1时刻，对第i个粒子的4个维度均进行速度分量的生成，速度分量中采用随机数的方式保证随机性，粒子添加速度分量后的位置可表示为Xi(t+1)＝[Xi1+Vi1,Xi2+Vi2,Xi3+Vi3,Xi4+Vi4]，并计算第i个粒子新的适应度值Fi(t+1)，如果Fi(t+1)＞Fi(t)，则更新第i个粒子的个体最优值；对所有的粒子均进行相同的操作，并从所有粒子中找出使适应度值最大所对应最优的参数，一旦某个粒子所计算的适应度值最大，则其他的粒子朝着该粒子的位置移动；
步骤三：将粒子的新位置作为参数并赋值给Xgboost模型并计算验证集上的适应度值，然后将新的适应度值与之前进行比较来确定哪些粒子的个体最优值需要进行更新，并更新全局最优值。
第i个粒子在t时刻的适应度值为Fi(t)，并且其个体最优适应度值为Pi(t)，粒子群的全局最优适应度值为Gt，若Fi(t)≤Pi(t)，则t时刻不对该粒子的个体最优值和全局最优进行更新；在t+1时刻，更新第i个粒子的位置后，计算出来新的适应度值为Fi(t+1)，该粒子的个体最优适应度值为Pi(t)并且全局最优为Gt，若Fi(t+1)≥Pi则更新该粒子的个体最优值。在t+1时刻这一轮对所有粒子均进行相同的操作，在t+1时刻结束后，全局最优值Gt+1＝max(Fk(t+1)),k＝1,2,...,M，其中M为粒子群的数目。
步骤四：线性递减权重粒子群算法进行迭代并且在满足最大迭代次数或收敛时终止，得到算法的最优适应度值和对应的最优位置，并且最优位置的4个分量分别对应eta、max_depth、min_child_weight和gamma四个参数，然后使用四个最优参数值来构造LDWPSO-Xgboost模型，并将其通过NSL-KDD训练集拟合后，应用到测试集上，计算在测试集上的各项指标。
网络入侵数据集NSL-KDD中共包含5种类型，分别为Normal(正常)、Dos(拒绝服务攻击)、R2L(远程主机未授权访问)、U2R(未授权本地超级用户特权访问)和Probe(端口监视或扫描)，LDWPSO-Xgboost模型首先需要通过训练集进行训练，使得该模型能够较好的挖掘出数据中潜在的规律，然后使用训练好的模型对测试集进行类别预测，根据预测的准确率来评价模型的好坏。LDWPSO-Xgboost模型能够较好的提升分类的效果。
最终线性递减权重粒子群优化算法适应度值收敛于85.68，其最优的参数分别是eta为0.49，max_depth为4，min_child_weight为16，gamma值为0.74。
目前国内相关领域学者已将多种机器学***衡数据集会降低检测准确率，尤其体现在少数类，并且大部分机器学习算法都需要人为的根据经验来设置参数，因此本发明的提出的线性递减权重粒子群优化Xgboost的方法，通过群体智能的搜索策略，在一定程度上可以找出较优参数，从而提高入侵检测的准确率。
实际效果验证：
将本发明线性递减权重粒子群优化参数后的Xgboost模型应用于NSL-KDD测试集数据，并与未优化的Xgboost和网格搜索参数的方式进行对比。分析比较的评价指标采用mAP(mean Average Precision)值，该值表示模型对各类别PR曲线与X轴围成面积即AP值(Average Precision)的综合度量，mAP值越大则表示模型在数据集上的效果越好。
测得的5组mAP值如表1所示，由于机器学习的随机性较大，结果存在不稳定性，综合5组的mAP值结果可看出，LDWPSO-Xgboost模型的表现效果优于Xgboost模型和网格搜索的方法。第5组对比结果如图2和图3所示，从图中可知，未优化参数的Xgboost模型的mAP值为0.60，网格搜索优化后的Xgboost模型mAP值为0.61，线性递减权重粒子群优化参数后的Xgboost模型的mAP值为0.63。结果表明，使用本发明线性递减权重粒子群优化算法能够有效的优化Xgboost模型参数，提升模型的性能。
表1三个模型的mAP值对比
第1组 第2组 第3组 第4组 第5组 Average
LDWPSO-Xgboost 0.62 0.62 0.62 0.62 0.63 0.622
Xgboost 0.60 0.60 0.59 0.60 0.60 0.598
GridSearch 0.61 0.60 0.60 0.62 0.61 0.608

Claims (4)

1.一种基于线性递减权重粒子群算法优化Xgboost模型方法，其特征在于：包括
步骤一：选取对Xgboost模型影响较大的4个参数，分别为学习率eta、最大树深度max_depth、最小叶子节点权重和min_child_weight以及gamma值，根据要优化的参数数量确定粒子的维度为4，并初始化每个粒子的位置和速度；
步骤二：根据下面等式来更新每个粒子的速度Vid和位置Xid：
Vid＝ωVid+C1random(0,1)(Pid-Xid)+C2random(0,1)(Pgd-Xid) (1)
Xid＝Xid+Vid (2)
其中C1和C2分别为个体和社会学习因子，Pid为第i个粒子个体最优值的第d维，Pgd为全局最优值的第d维；
并根据下面等式对惯性权重因子ω进行变换：
Figure FDA0003140107000000011
其中ω为非负的惯性权重因子，iter为最大迭代次数，iteri为当前迭代次数，ωmax为ω的最大值，ωmin为ω的最小值；
步骤三：将粒子的新位置作为参数并赋值给Xgboost模型并计算验证集上的适应度值，然后将新的适应度值与之前进行比较来确定哪些粒子的个体最优值需要进行更新，并更新全局最优值；
步骤四：线性递减权重粒子群算法进行迭代并且在满足最大迭代次数或收敛时终止，得到算法的最优适应度值和对应的最优位置，并且最优位置的4个分量分别对应eta、max_depth、min_child_weight和gamma四个参数，然后使用四个最优参数值来构造LDWPSO-Xgboost模型，并将其通过网络入侵数据集NSL-KDD拟合后，应用到测试集上，计算在测试集上的各项指标。
2.如权利要求1所述的基于线性递减权重粒子群算法优化Xgboost模型方法，其特征在于：所述步骤二具体为：
在4维搜索空间中，某时刻t，第i个粒子的位置为
Xi(t)＝[Xi1,Xi2,Xi3,Xi4]，
将Xi1到Xi4分别赋值给eta、max_depth、min_child_weight和gamma四个参数，并根据PR曲线面积指标计算第i个粒子此参数下模型的适应度值Fi(t)；在t+1时刻，对第i个粒子的4个维度均进行速度分量的生成，速度分量中采用随机数的方式保证随机性，粒子添加速度分量后的位置可表示为Xi(t+1)＝[Xi1+Vi1,Xi2+Vi2,Xi3+Vi3,Xi4+Vi4]，并计算第i个粒子新的适应度值Fi(t+1)，如果Fi(t+1)＞Fi(t)，则更新第i个粒子的个体最优值；对所有的粒子均进行相同的操作，并从所有粒子中找出使适应度值最大所对应最优的参数，一旦某个粒子所计算的适应度值最大，则其他的粒子朝着该粒子的位置移动。
3.如权利要求1所述的基于线性递减权重粒子群算法优化Xgboost模型方法，其特征在于：所述步骤三具体为：
第i个粒子在t时刻的适应度值为Fi(t)，并且其个体最优适应度值为Pi(t)，粒子群的全局最优适应度值为Gt，若Fi(t)≤Pi(t)，则t时刻不对该粒子的个体最优值和全局最优值进行更新；在t+1时刻，更新第i个粒子的位置后，计算出来新的适应度值为Fi(t+1)，该粒子的个体最优适应度值为Pi(t)并且全局最优适应度值为Gt，若Fi(t+1)≥Pi则更新该粒子的个体最优值，在t+1时刻这一轮对所有粒子均进行相同的操作，在t+1时刻结束后，全局最优适应度值Gt+1＝max(Fk(t+1)),k＝1,2,...,M，其中M为粒子群的数目。
4.如权利要求1所述的基于线性递减权重粒子群算法优化Xgboost模型方法，其特征在于：所述步骤四中的网络入侵数据集NSL-KDD中共包含5种类型，分别为Normal(正常)、Dos(拒绝服务攻击)、R2L(远程主机未授权访问)、U2R(未授权本地超级用户特权访问)和Probe(端口监视或扫描)，LDWPSO-Xgboost模型首先通过训练集进行训练，使得该模型能够较好的挖掘出数据中潜在的规律，然后使用训练好的模型对测试集进行类别预测，根据预测的准确率来评价模型的好坏。
CN201910983161.XA 2019-10-16 2019-10-16 基于线性递减权重粒子群算法优化Xgboost模型方法 Active CN110784455B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910983161.XA CN110784455B (zh) 2019-10-16 2019-10-16 基于线性递减权重粒子群算法优化Xgboost模型方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910983161.XA CN110784455B (zh) 2019-10-16 2019-10-16 基于线性递减权重粒子群算法优化Xgboost模型方法

Publications (2)

Publication Number Publication Date
CN110784455A CN110784455A (zh) 2020-02-11
CN110784455B true CN110784455B (zh) 2021-09-07

Family

ID=69385603

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910983161.XA Active CN110784455B (zh) 2019-10-16 2019-10-16 基于线性递减权重粒子群算法优化Xgboost模型方法

Country Status (1)

Country Link
CN (1) CN110784455B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111967343B (zh) * 2020-07-27 2023-07-28 广东工业大学 基于简单神经网络和极端梯度提升模型融合的检测方法
CN112801140A (zh) * 2021-01-07 2021-05-14 长沙理工大学 一种基于飞蛾扑火优化算法的XGBoost乳腺癌快速诊断方法
CN113553760A (zh) * 2021-06-25 2021-10-26 太原理工大学 一种汽轮机末级排汽焓软测量方法
CN113503750B (zh) * 2021-06-25 2022-07-29 太原理工大学 一种直接空冷机组最佳背压确定方法
CN113887130B (zh) * 2021-09-23 2024-06-11 江苏省特种设备安全监督检验研究院 一种基于集成学习的工业锅炉运行优化方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108664988A (zh) * 2018-03-24 2018-10-16 西安电子科技大学 基于改进粒子群算法的入侵检测***分类器优化方法
CN108986470A (zh) * 2018-08-20 2018-12-11 华南理工大学 粒子群算法优化lstm神经网络的行程时间预测方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106603531A (zh) * 2016-12-15 2017-04-26 中国科学院沈阳自动化研究所 一种基于工业控制网络的入侵检测模型的自动建立方法及装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108664988A (zh) * 2018-03-24 2018-10-16 西安电子科技大学 基于改进粒子群算法的入侵检测***分类器优化方法
CN108986470A (zh) * 2018-08-20 2018-12-11 华南理工大学 粒子群算法优化lstm神经网络的行程时间预测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
线性递减权重粒子群优化人工神经网络算法的光伏***谐波检测;马建伟，陈珊珊;《低压电器》;20140228(第4期);第60-68页 *

Also Published As

Publication number Publication date
CN110784455A (zh) 2020-02-11

Similar Documents

Publication Publication Date Title
CN110784455B (zh) 基于线性递减权重粒子群算法优化Xgboost模型方法
CN110298663B (zh) 基于序列宽深学习的欺诈交易检测方法
CN114969995B (zh) 一种基于改进麻雀搜索与声发射的滚动轴承早期故障智能诊断方法
CN107392919B (zh) 基于自适应遗传算法的灰度阈值获取方法、图像分割方法
CN106817248A (zh) 一种apt攻击检测方法
CN107579846A (zh) 一种云计算故障数据检测方法及***
CN112529685A (zh) 一种基于bas-fnn的贷款用户信用评级方法及***
CN115525038A (zh) 一种基于联邦分层优化学习的设备故障诊断方法
CN106296434B (zh) 一种基于pso-lssvm算法的粮食产量预测方法
CN109657147A (zh) 基于萤火虫和加权极限学习机的微博异常用户检测方法
CN113379536A (zh) 一种基于引力搜索算法优化递归神经网络的违约概率预测方法
CN110245740A (zh) 一种基于序列近似优化的粒子群优化方法
CN112765902A (zh) 基于TentFWA-GD的RBF神经网络软测量建模方法及其应用
CN114880806A (zh) 基于粒子群优化的新能源汽车销量预测模型参数优化方法
CN109492816B (zh) 一种基于混合智能的煤与瓦斯突出动态预测方法
CN113407425B (zh) 基于BiGAN与OTSU的内部用户行为检测方法
CN117370766A (zh) 一种基于深度学习的卫星任务规划方案评估方法
CN117155701A (zh) 一种网络流量入侵检测方法
Wang et al. Network intrusion detection based on xgboost model improved by quantum-behaved particle swarm optimization
CN110598914A (zh) 一种多因素影响下矿井灾害气体浓度区间预测方法及***
CN112446435B (zh) 一种城市数据分类方法及***
CN115659323A (zh) 一种基于信息熵理论结合卷积神经网络的入侵检测方法
Wang et al. Improved particle swarm optimization algorithm based on dynamic change speed attenuation factor and inertia weight factor
CN115018007A (zh) 一种基于改进id3决策树的敏感数据分类方法
CN111553385B (zh) 一种改进烟花算法结合svm的网络入侵检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20201211

Address after: 430077 no.227 Xudong street, Hongshan District, Wuhan City, Hubei Province

Applicant after: STATE GRID HUBEI ELECTRIC POWER CO., LTD. ELECTRIC POWER Research Institute

Address before: 430077 no.227 Xudong street, Hongshan District, Wuhan City, Hubei Province

Applicant before: STATE GRID HUBEI ELECTRIC POWER CO., LTD. ELECTRIC POWER Research Institute

Applicant before: STATE GRID CORPORATION OF CHINA

TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20210818

Address after: 430077 no.227 Xudong street, Hongshan District, Wuhan City, Hubei Province

Applicant after: STATE GRID HUBEI ELECTRIC POWER CO., LTD. ELECTRIC POWER Research Institute

Applicant after: STATE GRID CORPORATION OF CHINA

Address before: 430077 no.227 Xudong street, Hongshan District, Wuhan City, Hubei Province

Applicant before: STATE GRID HUBEI ELECTRIC POWER CO., LTD. ELECTRIC POWER Research Institute

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant