CN112200293A - 基于cart-amv改进的随机森林算法 - Google Patents
基于cart-amv改进的随机森林算法 Download PDFInfo
- Publication number
- CN112200293A CN112200293A CN202011201843.XA CN202011201843A CN112200293A CN 112200293 A CN112200293 A CN 112200293A CN 202011201843 A CN202011201843 A CN 202011201843A CN 112200293 A CN112200293 A CN 112200293A
- Authority
- CN
- China
- Prior art keywords
- algorithm
- random forest
- decision tree
- node
- data set
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/004—Artificial life, i.e. computing arrangements simulating life
- G06N3/006—Artificial life, i.e. computing arrangements simulating life based on simulated virtual individual or collective life forms, e.g. social simulations or particle swarm optimisation [PSO]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N5/00—Computing arrangements using knowledge-based models
- G06N5/01—Dynamic search techniques; Heuristics; Dynamic trees; Branch-and-bound
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- Data Mining & Analysis (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Computational Linguistics (AREA)
- Mathematical Physics (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种基于CART‑AMV改进的随机森林算法,该改进算法改进了现有随机森林算法的算法复杂度高、无法解决回归类问题、决策树不具有剪枝过程、对于噪声比较大的数据集,容易陷入过拟合、对于决策树的数量较多的随机森林,计算强度高,计算时间长的上述问题,为工业互联网的入侵检测提供了新的方法。
Description
技术领域
本发明涉及随机森林算法、CART算法、AMV算法、数据集的分类及其应用领域,尤其是用来实现工业互联网入侵检测的基于CART-AMV改进的随机森林算法。
背景技术
随机森林算法的出现,改进了集成学***衡的数据集而言,它可以平衡误差,这是随机森林算法的优点。其缺陷是在生成决策树时的算法复杂度高,只能解决分类问题,而无法解决回归类问题,生成的决策树不具有剪枝过程,对于噪声比较大的数据集,容易陷入过拟合,对于决策树的数量较多的随机森林,计算强度高,计算时间长。
发明内容
本发明是为了解决随机森林算法算法复杂度高,分类精度低的问题。对于要求生成决策树数量较大的随机森林,随机森林算法在构建决策树时,其对信息增益的计算需要大量的对数运算,导致了算法复杂度高;对于噪声比较大的数据集,由于随机森林算法简单多数投票法的局限性,容易陷入过拟合,降低分类精度。
实现本发明目的的具体技术方案是:
首先使用CART算法通过对训练数据集的特征标签的基尼系数的计算,来构建二叉决策树,而不是随机森林算法的多叉决策树;这样相当于将随机森林算法基于信息增益构建决策树(如C4.5算法,ID3算法)使用的对数运算改进为了二次运算,从而降低了算法的复杂度。接着对生成的二叉决策树进行剪枝处理,通过增加剪枝的过程,剔除了影响较小的特征标签,进一步降低算法的复杂度,降低决策树数量较多的随机森林的计算强度和计算时间。最后使用AMV算法将剪枝后的二叉决策树组合成随机森林;AMV算法即AbsoluteMajority Vote,绝对多数投票算法,算法按照少数服从多数的原则进行投票,且要求得多数投票者的票数不少于随机森林中决策树数量的二分之一。若得多数投票者的票数不满足以上条件,则重新生成随机森林中的二叉决策树。这样可以避免对噪声比较大的数据集分类时,出现过拟合的情况。
附图说明
通过参考以下结合附图的说明及权利要求书的内容,并且随着本发明专利的更全面理解,本发明专利的其它目的及结果将更加明白及易于理解。在附图中:
图1为基于CART-AMV算法改进的随机森林算法流程图;
图2为不同算法对Sati_mage数据集数据集处理的检测精度对比图;
图3为不同算法对Optical_digits数据集数据集数据集处理的检测精度对比图
具体实施方式
(1)输入训练数据集D,设定基尼系数的阈值ε1,样本个数的阈值ε2,从根节点开始,使用CART算法,递归建立二叉分类决策树。
(2)对于当前节点的训练数据集D,如果样本个数小于样本个数的阈值ε2或没有特征标签,则返回决策子树,当前节点停止递归。
(3)计算训练数据集D的基尼系数Gini(D),如果基尼系数Gini(D)小于基尼系数的阈值ε1,则返回决策树子树,当前节点停止递归。
(4)在计算出来的各个特征标签的各个特征值对于训练数据集D计算出的基尼系数中,选择基尼系数最小的特征标签A和对应的特征值a。根据这个最优特征标签和最优特征值,把数据集划分成两部分D1和D2,同时建立当前节点的左右节点,左节点的数据集D为D1,右节点的数据集D为D2。
(5)对左右节点的子节点递归调用(1)至(4),生成最终的二叉分类决策树。其中,如果在对生成的决策树做预测的时候,测试数据集里的样本A落到了某个叶子节点,而节点里有多个训练样本,则对于A的类别预测采用的是这个叶子节点里概率最大的类别。
(6)输入使用CART算法得到原始二叉分类决策树T,初始化αmin=∞,最优子树集合ω={T}。
(9)得到最优子树集合ω=ωυTk,并更新集合M=M-{αk}。
(10)如果集合M为非空集,则返回(8);若集合M为空集,则得到所有的可选最优子树集合ω。
(11)使用交叉验证策略,在集合ω选择最优子树Tα,作为剪枝后的最优二叉分类决策树。
(12)将得到的全部最优二叉分类决策树按照绝对多数投票法(即最多票数者票数应超过投票数的二分之一)组合生成随机森林。
(13)将改进的算法应用于工业互联网入侵检测中,并通过在网络入侵检测数据集上的实验,进一步验证了本发明的可用性。
Claims (3)
1.基于CART-AMV改进的随机森林算法,其特征在于:通过CART-AMV改进的随机森林算法可以有效地降低算法复杂度,提升算法的检测精度,改进效果明显。
2.根据权利要求1所述的基于CART-AMV改进的随机森林算法,其特征在于:首先使用CART算法通过对训练数据集的特征标签的基尼系数的计算,来构建二叉决策树,而不是随机森林算法的多叉决策树;这样相当于将随机森林算法基于信息增益构建决策树(如C4.5算法,ID3算法)使用的对数运算改进为了二次运算,从而降低了算法的复杂度,接着对生成的二叉决策树进行剪枝处理,通过增加剪枝的过程,剔除了影响较小的特征标签,进一步降低算法的复杂度,降低决策树数量较多的随机森林的计算强度和计算时间,最后使用AMV算法将剪枝后的二叉决策树组合成随机森林;AMV算法即Absolute Majority Vote,绝对多数投票算法,算法按照少数服从多数的原则进行投票,且要求得多数投票者的票数不少于随机森林中决策树数量的二分之一,若得多数投票者的票数不满足以上条件,则重新生成随机森林中的二叉决策树,这样可以避免对噪声比较大的数据集分类时,出现过拟合的情况。
3.根据权利要求2所述的基于CART-AMV改进的随机森林算法,其特征在于:
(1)输入训练数据集D,设定基尼系数的阈值ε1,样本个数的阈值ε2,从根节点开始,使用CART算法,递归建立二叉分类决策树;
(2)对于当前节点的训练数据集D,如果样本个数小于样本个数的阈值ε2或没有特征标签,则返回决策子树,当前节点停止递归;
(3)计算训练数据集D的基尼系数Gini(D),如果基尼系数Gini(D)小于基尼系数的阈值ε1,则返回决策树子树,当前节点停止递归;
(4)在计算出来的各个特征标签的各个特征值对于训练数据集D计算出的基尼系数中,选择基尼系数最小的特征标签A和对应的特征值a;根据这个最优特征标签和最优特征值,把数据集划分成两部分D1和D2,同时建立当前节点的左右节点,左节点的数据集D为D1,右节点的数据集D为D2;
(5)对左右节点的子节点递归调用(1)至(4),生成最终的二叉分类决策树;其中,如果在对生成的决策树做预测的时候,测试数据集里的样本A落到了某个叶子节点,而节点里有多个训练样本,则对于A的类别预测采用的是这个叶子节点里概率最大的类别;
(6)输入使用CART算法得到原始二叉分类决策树T,初始化αmin=∞,最优子树集合ω={T};
(9)得到最优子树集合ω=ωυTk,并更新集合M=M-{αk};
(10)如果集合M为非空集,则返回(8);若集合M为空集,则得到所有的可选最优子树集合ω;
(11)使用交叉验证策略,在集合ω选择最优子树Tα,作为剪枝后的最优二叉分类决策树;
(12)将得到的全部最优二叉分类决策树按照绝对多数投票法(即最多票数者票数应超过投票数的二分之一)组合生成随机森林。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011201843.XA CN112200293A (zh) | 2020-11-02 | 2020-11-02 | 基于cart-amv改进的随机森林算法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011201843.XA CN112200293A (zh) | 2020-11-02 | 2020-11-02 | 基于cart-amv改进的随机森林算法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN112200293A true CN112200293A (zh) | 2021-01-08 |
Family
ID=74010713
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011201843.XA Pending CN112200293A (zh) | 2020-11-02 | 2020-11-02 | 基于cart-amv改进的随机森林算法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112200293A (zh) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113509176A (zh) * | 2021-07-23 | 2021-10-19 | 深圳数联天下智能科技有限公司 | 基于多路压电传感器的睡姿识别方法、装置和设备 |
CN113839926A (zh) * | 2021-08-31 | 2021-12-24 | 哈尔滨工业大学 | 一种基于灰狼算法特征选择的入侵检测***建模方法、***及装置 |
CN114299633A (zh) * | 2021-12-28 | 2022-04-08 | 中国电信股份有限公司 | 汽车驾驶事故预测方法、装置、电子设备及存储介质 |
CN117574278A (zh) * | 2023-12-15 | 2024-02-20 | 南通大学 | 基于变分模态分解与随机森林的闪电脉冲识别方法 |
CN117932482A (zh) * | 2024-03-21 | 2024-04-26 | 泰安北航科技园信息科技有限公司 | 一种用于围巾加热的碳纳米加热方法 |
-
2020
- 2020-11-02 CN CN202011201843.XA patent/CN112200293A/zh active Pending
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113509176A (zh) * | 2021-07-23 | 2021-10-19 | 深圳数联天下智能科技有限公司 | 基于多路压电传感器的睡姿识别方法、装置和设备 |
CN113839926A (zh) * | 2021-08-31 | 2021-12-24 | 哈尔滨工业大学 | 一种基于灰狼算法特征选择的入侵检测***建模方法、***及装置 |
CN113839926B (zh) * | 2021-08-31 | 2023-09-22 | 哈尔滨工业大学 | 一种基于灰狼算法特征选择的入侵检测***建模方法、***及装置 |
CN114299633A (zh) * | 2021-12-28 | 2022-04-08 | 中国电信股份有限公司 | 汽车驾驶事故预测方法、装置、电子设备及存储介质 |
CN117574278A (zh) * | 2023-12-15 | 2024-02-20 | 南通大学 | 基于变分模态分解与随机森林的闪电脉冲识别方法 |
CN117932482A (zh) * | 2024-03-21 | 2024-04-26 | 泰安北航科技园信息科技有限公司 | 一种用于围巾加热的碳纳米加热方法 |
CN117932482B (zh) * | 2024-03-21 | 2024-06-11 | 泰安北航科技园信息科技有限公司 | 一种用于围巾加热的碳纳米加热方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112200293A (zh) | 基于cart-amv改进的随机森林算法 | |
CN110163261B (zh) | 不平衡数据分类模型训练方法、装置、设备及存储介质 | |
US11741361B2 (en) | Machine learning-based network model building method and apparatus | |
Dogru et al. | Deep learning-based classification of news texts using doc2vec model | |
Nigam et al. | Impact of noisy labels in learning techniques: a survey | |
Yin et al. | A novel classifier ensemble method with sparsity and diversity | |
CN111582396B (zh) | 一种基于改进卷积神经网络的故障诊断方法 | |
CN113378938B (zh) | 一种基于边Transformer图神经网络的小样本图像分类方法及*** | |
CN109800853B (zh) | 融合卷积神经网络和显式反馈的矩阵分解方法、装置及电子设备 | |
CN113435509A (zh) | 基于元学习的小样本场景分类识别方法及*** | |
Wankhade et al. | Data stream classification: a review | |
Mohammed et al. | Feature reduction based on hybrid efficient weighted gene genetic algorithms with artificial neural network for machine learning problems in the big data | |
CN113505225A (zh) | 一种基于多层注意力机制的小样本医疗关系分类方法 | |
Karrar | The effect of using data pre-processing by imputations in handling missing values | |
JP2024503036A (ja) | 改善された深層学習モデルのための方法およびシステム | |
CN112527959A (zh) | 基于无池化卷积嵌入和注意分布神经网络的新闻分类方法 | |
CN115812210A (zh) | 用于增强机器学习分类任务的性能的方法和设备 | |
CN112489689B (zh) | 基于多尺度差异对抗的跨数据库语音情感识别方法及装置 | |
Dewi et al. | Ensemble learning for predicting mortality rates affected by air quality | |
Xia et al. | A Model‐Free Feature Selection Technique of Feature Screening and Random Forest‐Based Recursive Feature Elimination | |
CN116245139A (zh) | 图神经网络模型训练方法和装置、事件检测方法和装置 | |
CN115062602A (zh) | 对比学习的样本构造方法、装置、计算机设备及存储介质 | |
CN114626485A (zh) | 一种基于改进knn算法的数据标签分类方法及装置 | |
CN114048796A (zh) | 一种改进型硬盘故障预测方法及装置 | |
CN114121296A (zh) | 基于数据驱动的临床信息规则提取方法、存储介质及设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |