CN108509996A - 基于Filter和Wrapper选择算法的特征选择方法 - Google Patents

Abstract

本发明公开了一种基于Filter和Wrapper选择算法的特征选择方法，其包括导入全部特征子集，采用方差法筛选发散特征，采用Pearson相关系数法筛选非冗余特征，采用特征空间搜索方法生成新的特征子集，采用神经网络训练学习模型，构建特征子集的评价标准，输出特征子集。本发明结合了Filter选择算法和Wrapper选择算法的优点，利用二者的互补特性，提高了算法效率的同时，减少了计算成本。

Description

基于Filter和Wrapper选择算法的特征选择方法

技术领域

本发明属于机器学习技术领域，具体涉及一种基于Filter和Wrapper选择算法的特征选择方法。

背景技术

特征选择是机器学习、模式识别和统计学等领域的重要研究课题之一。特征选择是指选择获得相应模型和算法最好性能的特征集。通常我们构建机器学习算法时，可以收集很多维度的数据信息，但是当特征维度达到一定量级后，将全部特征放入到算法中会带来维度灾难，算法在有限的计算能力和时间内很难达到收敛，甚至可能会计算溢出。面对这种问题时，特征选择就变得十分重要。

一般来说，数据和特征决定了机器学习的上限，而模型和算法只是逼近这个上限而已，所以，特征选择在机器学习中占有相当重要的地位。随着计算机技术在人类社会各个领域的应用，如社交网络、组合化学等，现实中越来越多的数据集合具有成千上万维的特征空间。但是，在实际情况下，真正能够表征事物本质的特征只是其中一小部分，这一小部分特征被湮没在大量的不相关、冗余特征之中，严重地影响了机器学习算法的性能。迄今为止，研究人员将特征选择与机器学习进行结合，在视频事件监测、生物医疗诊断等领域进行了广泛的应用。

根据与机器学习算法相结合的方式，特征选择算法可以分为三类：Filter模式、Wrapper模式和Embedded模式。从特征选择算法的输出形式上可以分为特征排序(FeatureRanking)和子集选择(Subset Selection)两大类。特征排序是根据一定的度量标准(如距离、相关性等)给出特征重要程度的先后顺序，后续学习算法通过设定阈值等方法截取最前面的多个特征作为输入。例如Relief系列特征选择算法均属于此类。特征子集选择是从规定的特征空间中选取与给定模型相符的最优特征子集。

Wrapper模式(包裹法)就是选定特定算法，然后再根据算法效果来比较特征集合。即通过不断的启发式方法来搜索特征子集，将每次搜索的特征子集放入学习模型中训练，根据模型的比较特征子集的优劣。

Embedded模式(嵌入法)中特征选择算法作为机器学习的内部组成，特征选择过程与模型学习过程同步完成。例如在决策树问题中，算法在选取决策特征时，使用子树的信息增益标准选择分类能力最强的特征。

Filter模式(过滤法)特征选择算法与具体的算法是相互独立的，如图2所示。按照发散性或相关性对各个特征进行评分，设定阈值或者选择阈值的个数，完成特征选择。主要的方法有方差法、相关系数法、相互性方法等。

现有技术具有以下缺陷：

1.Embedded模式的方法依赖于机器学习算法，适用性不高。

2.Wrapper选择算法效率较低，因为其需要用每一个候选特征子集训练模型进行评估。在该模式中，由于穷举所有特征集合是不可能实现的，因此启发式搜索翻翻被广泛地用于特征子集的快速搜索，但是这种方法搜索的结果并不能保证最优。例如：采用前向搜索方法，给定特征集合中{X1，X2，···，Xn}，对这n个特征子集进行评价假定{X2}最优，于是将{X2}作为第一轮的候选集；然后在上一轮的选定集中加入一个特征，构成包含两个特征的候选子集，假定在这n-1个候选特征子集中发现{X2，X3}最优，且由于{X2}；于是将{X2，X3}作为本轮的选定集；假如在第三轮时发现X5优于X6，于是选定集为{X2，X3，X5},然而第四轮却可能是{X2，X3，X6，X9}比所有的{X2，X3，X5，Xi}都更优。

3.Filter选择算法效率较高，但是其很难完全剔除冗余特征，并且容易将一些内部依赖性特征当作冗余特征剔除，即一些特征作为单个处理时其区分性能不高，而作为整体却具备很强的区分能力。

发明内容

本发明的发明目的是：为了解决现有技术中的以上问题，本发明提出了一种基于Filter和Wrapper选择算法的特征选择方法。

本发明的技术方案是：一种基于Filter和Wrapper选择算法的特征选择方法，包括以下步骤：

A、导入全部特征子集，设置初始参数；

B、采用方差法计算数据集中每个特征的均值和方差，剔除特征不发散的特征；

C、采用Pearson相关系数法计算步骤B筛选后特征变量与目标变量的Pearson相关系数，剔除冗余特征；

D、将步骤C筛选后的全部特征子集作为完整的特征空间，采用改进的LVW特征选择算法进行处理；

E、采用特征空间搜索方法生成新的特征子集；

F、采用神经网络训练学习模型；

G、采用交叉验证法计算步骤E生成的新的特征子集在步骤F生成的学习模型中产生的误差；

H、将当前特征子集的误差作为评价标准比较步骤G得到的误差；

I、判断当前特征子集是否为空集；若是，则将方差阈值递进一个方差步长、相关系数递进一个相关系数步长，返回步骤B；若否，则得到完成选择的特征子集。

进一步地，所述步骤B中采用方差法计算数据集中每个特征的均值和方差的计算公式具体为：

其中，表示特征的均值，X_i表示第i个特征，S²表示特征的方差，n表示特征数量。

进一步地，所述步骤B中剔除特征不发散的特征具体为：判断特征的方差是否小于设定的方差阈值；若是，则将该特征从数据集中删除；若否，则保留该特征。

进一步地，所述步骤C中采用Pearson相关系数法计算步骤B筛选后特征变量与目标变量的Pearson相关系数的计算公式具体为：

其中，cov(X,Y)表示特征变量X与目标变量Y的协方差，ρ_X,Y表示特征变量X与目标变量Y的Pearson相关系数，σ_Xσ_Y分别表示特征变量X与目标变量Y的标准差。

进一步地，所述步骤C中剔除冗余特征具体为：判断特征与目标变量的Pearson相关系数是否小于设定的相关系数阈值；若是，则将该特征从数据集中删除；若否，则保留该特征。

进一步地，所述步骤E采用特征空间搜索方法生成新的特征子集具体为：采用随机搜索方法，判断计数参数是否大于设定的停止条件控制参数；若是，则进行步骤I；若否，则进行下一步骤。

进一步地，所述步骤H将当前特征子集的误差作为评价标准比较步骤G得到的误差，具体包括以下分步骤：

H1、判断新的特征子集的误差是否小于当前特征子集的误差且新的特征子集的特征个数小于学习模型允许的最大特征个数；若是，则将计数参数归零、当前特征子集的误差设定为新的特征子集的误差、当前特征子集的特征个数设定为新的特征子集的特征个数、新的特征子集作为当前特征子集；若否，则将计数参数递进1，返回步骤E；

H2、判断新的特征子集的误差是否等于当前特征子集的误差且新的特征子集的特征个数小于当前特征子集的的特征个数；若是，则将计数参数归零、当前特征子集的误差设定为新的特征子集的误差、当前特征子集的特征个数设定为新的特征子集的特征个数、新的特征子集作为当前特征子集；若否，则将计数参数递进1，返回步骤E。

本发明具有以下有益效果：

(1)本发明采用两阶段特征选择方法能为多种学习算法提供特征选择支持；

(2)本发明结合了Filter选择算法和Wrapper选择算法的优点，利用二者的互补特性，提高了算法效率的同时，减少了计算成本。

(3)本发明对LVW算法进行了改进，避免在训练模型时出现过拟合的情况。

附图说明

图1是本发明的基于Filter和Wrapper选择算法的特征选择方法的流程示意图。

图2是本发明实施例中基于Filter和Wrapper选择算法的特征选择方法的具体流程示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

如图1所示，为本发明的基于Filter和Wrapper选择算法的特征选择方法的流程示意图。一种基于Filter和Wrapper选择算法的特征选择方法，包括以下步骤：

A、导入全部特征子集，设置初始参数；

B、采用方差法计算数据集中每个特征的均值和方差，剔除特征不发散的特征；

C、采用Pearson相关系数法计算步骤B筛选后特征变量与目标变量的Pearson相关系数，剔除冗余特征；

D、将步骤C筛选后的全部特征子集作为完整的特征空间，采用改进的LVW特征选择算法进行处理；

E、采用特征空间搜索方法生成新的特征子集；

F、采用神经网络训练学习模型；

G、采用交叉验证法计算步骤E生成的新的特征子集在步骤F生成的学习模型中产生的误差；

H、将当前特征子集的误差作为评价标准比较步骤G得到的误差；

I、判断当前特征子集是否为空集；若是，则将方差阈值递进一个方差步长、相关系数递进一个相关系数步长，返回步骤B；若否，则得到完成选择的特征子集。

如图2所示，为本发明实施例中基于Filter和Wrapper选择算法的特征选择方法的具体流程示意图。

在本发明的一个可选实施例中，上述步骤A设置初始参数包括方差法中的方差阈值A，方差步长为a；Pearson相关系数法的相关系数阈值为B，相关系数步长为b；停止条件控制参数T，计数参数初始值t为零；允许出现的学习模型的最大误差E_max；为了避免训练的模型出现过拟合的情况，模型允许的最大特征个数N_max，中间参数k，初始值与N_max相同，中间参数E，初始值与E_max相同。

本发明基于Filter和Wrapper选择算法的特征选择方法包括两个阶段：阶段一包括采用方差法和Pearson相关系数法处理得到特征子集，阶段二包括采用特征空间的搜索方法、模型学习算法及特征子集的评价标准进行处理，最终得到选择的特征子集。

在本发明的一个可选实施例中，上述步骤B采用方差法计算数据集中每个特征的均值和方差，计算公式具体为：

其中，表示特征的均值，X_i表示第i个特征，S²表示特征的方差，n表示特征数量。

再根据步骤A中设置的方差阈值A剔除特征不发散的特征，具体为：判断特征的方差是否小于设定的方差阈值；若是，则将该特征从数据集中删除；若否，则保留该特征。由于第二阶段会对第一阶段筛选后的特征进行更深一步的剔除，为了避免剔除掉特征发散的特征，本发明将方差阈值设置尽可能小，从而剔除方差小于方差阈值的特征。

在本发明的一个可选实施例中，上述步骤C中特征变量是指学习模型中的输入变量，目标变量是指学习模型中的输出变量。采用Pearson相关系数法计算步骤B筛选后特征变量与目标变量的Pearson相关系数，计算公式具体为：

其中，cov(X^,Y)表示特征变量X与目标变量Y的协方差，ρ_X,Y表示特征变量X与目标变量Y的Pearson相关系数，σ_Xσ_Y分别表示特征变量X与目标变量Y的标准差。

再根据步骤A中设置的Pearson相关系数法的相关系数阈值B剔除冗余特征，具体为：判断特征与目标变量的Pearson相关系数是否小于设定的相关系数阈值；若是，则将该特征从数据集中删除；若否，则保留该特征。由于第二阶段会对第一阶段筛选后的特征进行更深一步的剔除，所以设定一个尽可能小的相关系数阈值B，剔除掉相关系数比阈值小的特征。这里设定的阈值需尽可能小，避免将一些内部依赖性特征当作冗余特征剔除。

在本发明的一个可选实施例中，上述步骤D将步骤B和C筛选后剩余的全部特征子集作为完整的特征(记为M)空间输入到改进的的LVW(Las Vegas Wrapper)特征选择算法中。

在本发明的一个可选实施例中，上述步骤E采用特征空间搜索方法生成新的特征子集具体为：采用随机搜索方法随机产生新的特征子集，记为H，特征个数记为m；为了减少计算成本，设置停止条件控制参数T，判断计数参数是否大于设定的停止条件控制参数；若是，则进行步骤I；若否，则进行下一步骤。

在本发明的一个可选实施例中，上述步骤F采用神经网络训练学习模型，本发明不限制模型的学习算法使用等，包括贝叶斯网络、遗传算法等。

在本发明的一个可选实施例中，上述步骤G采用交叉验证法计算步骤E生成的新的特征子集在步骤F生成的学习模型中产生的误差，记为E_H，输出子集记为H*。

在本发明的一个可选实施例中，上述步骤H将当前特征子集的误差作为评价标准比较步骤G得到的误差，具体包括以下分步骤：

H1、判断新的特征子集H的误差E_H是否小于当前特征子集的误差E且新的特征子集的特征个数m小于学习模型允许的最大特征个数N_max；若是，则将计数参数t归零(t＝0)、当前特征子集的误差E设定为新的特征子集的误差E_H(E＝E_H)、当前特征子集的特征个数k设定为新的特征子集的特征个数m(k＝m)、新的特征子集H作为当前选择的特征子集H*(H*＝H)；若否，则将计数参数t递进1(t＝t+1)，返回步骤E；

H2、判断新的特征子集H的误差E_H是否等于当前特征子集的误差E且新的特征子集的特征个数m小于当前特征子集的的特征个数k；若是，则将计数参数t归零(t＝0)、当前特征子集的误差E设定为新的特征子集的误差E_H(E＝E_H)、当前特征子集的特征个数k设定为新的特征子集的特征个数m(k＝m)、新的特征子集H作为当前选择的特征子集H*(H*＝H)；若否，则将计数参数t递进1(t＝t+1)，返回步骤E；

在本发明的一个可选实施例中，上述步骤I判断当前特征子集H*是否为空集；若是，则将方差阈值A递进一个方差步长a(A＝A+a)、相关系数递B进一个相关系数步长b(B＝B+b)，返回步骤B；若否，则得到完成选择的特征子集H*。

本发明提出的两阶段特征选择方法，结合了Filter选择算法和Wrapper选择算法的优点。因为第二阶段Wrapper选择算法将对第一阶段筛选后的特征进行更深一步的剔除，可以减少第一阶段Filter选择算法在选择过程中将内部依赖性特征当作冗余特征剔除情况的出现；同时第一阶段采用方差法和Pearson相关系数法剔除特征不发散的特征和冗余的特征，以此弥补Wrapper选择算法效率低的缺点。

本发明第二阶段采用Wrapper选择算法，其中采用随机搜索策略搜索子集空间，而每次搜索的特征子集评价都需要训练模型，为了减少计算成本，本发明在第一阶段采用了方差法和Pearson相关系数法对特征进行初步的剔除，并且在第二阶段的算法中设置了条件控制参数T。

本发明提出的两阶段选择方法，不限制模型学习算法的使用，包括支持向量机、蚁群算法等。

本发明提出的两阶段特征选择方法，第二阶段在Wrapper模式中的LVW(Las VegasWrapper)选择算法的基础上，加入一个限制条件参数N_max限制输出特征子集的特征个数，避免Wrapper选择算法容易出现的过拟合的情况。

本领域的普通技术人员将会意识到，这里所述的实施例是为了帮助读者理解本发明的原理，应被理解为本发明的保护范围并不局限于这样的特别陈述和实施例。本领域的普通技术人员可以根据本发明公开的这些技术启示做出各种不脱离本发明实质的其它各种具体变形和组合，这些变形和组合仍然在本发明的保护范围内。

Claims (7)

1.一种基于Filter和Wrapper选择算法的特征选择方法，其特征在于，包括以下步骤：

A、导入全部特征子集，设置初始参数；

B、采用方差法计算数据集中每个特征的均值和方差，剔除特征不发散的特征；

C、采用Pearson相关系数法计算步骤B筛选后特征变量与目标变量的Pearson相关系数，剔除冗余特征；

D、将步骤C筛选后的全部特征子集作为完整的特征空间，采用改进的LVW特征选择算法进行处理；

E、采用特征空间搜索方法生成新的特征子集；

F、采用神经网络训练学习模型；

G、采用交叉验证法计算步骤E生成的新的特征子集在步骤F生成的学习模型中产生的误差；

H、将当前特征子集的误差作为评价标准比较步骤G得到的误差；

I、判断当前特征子集是否为空集；若是，则将方差阈值递进一个方差步长、相关系数递进一个相关系数步长，返回步骤B；若否，则得到完成选择的特征子集。

2.如权利要求1所述的基于Filter和Wrapper选择算法的特征选择方法，其特征在于，所述步骤B中采用方差法计算数据集中每个特征的均值和方差的计算公式具体为：

其中，表示特征的均值，X_i表示第i个特征，S²表示特征的方差，n表示特征数量。

3.如权利要求2所述的基于Filter和Wrapper选择算法的特征选择方法，其特征在于，所述步骤B中剔除特征不发散的特征具体为：判断特征的方差是否小于设定的方差阈值；若是，则将该特征从数据集中删除；若否，则保留该特征。

4.如权利要求3所述的基于Filter和Wrapper选择算法的特征选择方法，其特征在于，所述步骤C中采用Pearson相关系数法计算步骤B筛选后特征变量与目标变量的Pearson相关系数的计算公式具体为：

其中，cov(X,Y)表示特征变量X与目标变量Y的协方差，ρ_X,Y表示特征变量X与目标变量Y的Pearson相关系数，σ_Xσ_Y分别表示特征变量X与目标变量Y的标准差。

5.如权利要求4所述的基于Filter和Wrapper选择算法的特征选择方法，其特征在于，所述步骤C中剔除冗余特征具体为：判断特征与目标变量的Pearson相关系数是否小于设定的相关系数阈值；若是，则将该特征从数据集中删除；若否，则保留该特征。

6.如权利要求5所述的基于Filter和Wrapper选择算法的特征选择方法，其特征在于，所述步骤E采用特征空间搜索方法生成新的特征子集具体为：采用随机搜索方法，判断计数参数是否大于设定的停止条件控制参数；若是，则进行步骤I；若否，则进行下一步骤。

7.如权利要求6所述的基于Filter和Wrapper选择算法的特征选择方法，其特征在于，所述步骤H将当前特征子集的误差作为评价标准比较步骤G得到的误差，具体包括以下分步骤：

H1、判断新的特征子集的误差是否小于当前特征子集的误差且新的特征子集的特征个数小于学习模型允许的最大特征个数；若是，则将计数参数归零、当前特征子集的误差设定为新的特征子集的误差、当前特征子集的特征个数设定为新的特征子集的特征个数、新的特征子集作为当前特征子集；若否，则将计数参数递进1，返回步骤E；

H2、判断新的特征子集的误差是否等于当前特征子集的误差且新的特征子集的特征个数小于当前特征子集的的特征个数；若是，则将计数参数归零、当前特征子集的误差设定为新的特征子集的误差、当前特征子集的特征个数设定为新的特征子集的特征个数、新的特征子集作为当前特征子集；若否，则将计数参数递进1，返回步骤E。