CN109840551B - 一种用于机器学习模型训练的优化随机森林参数的方法 - Google Patents

Abstract

本发明公开了一种用于机器学***台下，寻优计算速度快，加速效果明显，可以作为云计算平台的下一代参数优化器。

Description

一种用于机器学习模型训练的优化随机森林参数的方法

技术领域

本发明属于大规模机器学习模型训练领域，涉及一种用于机器学习模型训练的优化随机森林参数的方法，具体是涉及一种用于机器学习模型训练的基于Spark的并行蚁狮算法优化随机森林参数的方法。

背景技术

近年来随着信息数据的急剧增长，机器学***与所求解问题的函数形式密切相关。群智能算法作为一种模仿生物群体行为的随机搜索算法，自从提出以来一直受到广泛的关注和应用。不同种群智能算法具有不同的理论依据以及实现步骤，蚁狮算法(The Ant Lion Optimizer，ALO)是Seyedali Mirjalili于2015年提出的一种新型元启发式群智能算法。该算法的灵感来自于大自然中蚁狮幼虫的觅食行为，主要通过蚂蚁围绕在随机选择的蚁狮周围进行随机游走从而实现全局搜索。在国外已被成功应用于杆系结构优化、无用功的配电问题、多层神经网络训练、对线性离散滤波器进行高效建模以及无人机的航线规划问题等领域。

而随机森林作为一种新型集成分类器，不仅实现简单，而且还可以处理高维数据并快速得到分类结果。算法中需要用户设置的参数相对较少，相对于其他传统分类方法具有良好的鲁棒性，因而在分类问题中受到广泛关注。但为了进一步提高分类精度和效率，通过对随机森林算法关键参数进行优化，可以实现在随机森林分类运行效率可接受范围内的更高分类精度。因此随机森林分类的参数优化成为提高分类精度的一个可行途径。

但是由于传统智能算法在单处理器环境下,只能以串行方式实现并行搜索,这种方式已经不适合大数据时代下大规模增长的数据集。云计算技术的兴起为蚁狮算法的并行化实现提供了一个很好解决思路,其融合了并行计算和分布式计算等技术,并且在大规模异构数据存储和逻辑计算方面具有卓越的性能表现。

发明内容

为了克服上述现有技术的不足，本发明旨在提供一种用于机器学习模型训练的基于Spark的并行蚁狮算法优化随机森林参数的方法。

本发明的方法所采用的技术方案是：一种用于机器学习模型训练的优化随机森林参数的方法，其特征在于，包括以下步骤：

步骤1：将采集到的训练集数据存储到分布式文件***中，其存储路径为变量path；

步骤2：采用蚁狮算法对随机森林的参数进行全局优化寻优，得到优化的参数组合；

具体实现包括以下子步骤：

步骤2.1：在主节点Spark Drive上，初始化整个种群的信息，包括初始蚂蚁种群数量、初始蚁狮种群数量以及种群的最大迭代次数；

步骤2.2：初始化SparkContext为变量sc，并利用spark函数textFile读取数据集路径path获得分布式训练数据集，为变量DataRDD；

步骤2.3：针对初始蚁狮种群，根据适应值函数计算每个蚁狮个体适应值，并选择最大适应值个体为初代精英蚁狮；

步骤2.4：利用spark函数parallelize将整个初始蚂蚁种群并行化为分布式蚁群，为变量antRDD；

步骤2.5：将每一个蚂蚁子种群对应变量antRDD中的每一个分区，并在每一个分区中指定独立进化；

步骤2.6：在从节点Worker上进行并行蚂蚁子种群寻优求解，完成整个蚂蚁种群的位置信息更新；

步骤3：将各分区的蚂蚁子种群从各个从节点Worker汇集到主节点Spark Driver上进行合并，得到更新后的下一代蚂蚁种群；

步骤4：根据适应值所决定的规则，在主节点Spark Driver上比较蚁狮种群和蚂蚁种群的适应值，进而完成整个蚁狮种群位置的更新，生成优胜劣汰后的下一代蚁狮群体，同时判断精英蚁狮个体是否需要更新；

步骤5：将更新后的蚁狮种群和精英蚁狮的信息重新广播到各个从节点Worker上；

步骤6：判断蚁狮种群迭代是否达到最大迭代次数；

若否，则重新返回步骤2.4；

若是，则返回最后的精英蚁狮，即为当前蚁狮算法寻找到的最优解。

本发明利用Spark集群基于内存分布式运算的特性，把蚂蚁种群划分成多个蚂蚁子种群分布在集群各个节中实现并行运算。相比于传统的网格搜索，基于Spark的并行蚁狮算法可以高效找到更优参数组合以提高随机森林的分类精度，且在大数据分布式Spark平台下，寻优计算速度快，加速效果明显，可以作为云计算平台的下一代参数优化器。

附图说明

图1为本发明实施例的流程图；

图2为本发明实施例的并行搜索流程图；

图3为本发明实施例的基于Spark的蚁狮算法架构图；

图4为本发明实施例的基于Spark的蚁狮算法中随机森林原理图。

具体实施方式

为了便于本领域普通技术人员理解和实施本发明，下面结合附图及实施例对本发明作进一步的详细描述，应当理解，此处所描述的实施示例仅用于说明和解释本发明，并不用于限定本发明。

请见图1和图2，本发明提供的一种用于机器学习模型训练的优化随机森林参数的方法，其特征在于，包括以下步骤：

步骤1：将采集到的训练集数据存储到HDFS分布式文件***中，其存储路径为变量path，以美国一家信用贷款公司LendingClub为例，其借贷数据可以从官网获得；

步骤2：采用蚁狮算法对随机森林的参数进行全局优化寻优，得到优化的参数组合；

具体实现包括以下子步骤：

步骤2.1：在主节点Spark Drive上，初始化整个种群的信息，包括初始蚂蚁种群数量、初始蚁狮种群数量以及种群的最大迭代次数；

步骤2.2：初始化SparkContext为变量sc，并利用spark函数textFile读取数据集路径path获得分布式训练数据集，为变量DataRDD；

步骤2.3：针对初始蚁狮种群，根据适应值函数计算每个蚁狮个体适应值，并选择最大适应值个体为初代精英蚁狮；

具体实现包括以下子步骤：

步骤2.3.1：利用spark函数broadcast广播需要计算适应值的种群pop到各个从节点Worker上，为变量popbro；

步骤2.3.2：在分布式数据集DataRDD上，获得当前分区中的所有数据的特征值X和对应的数据标签Y；

步骤2.3.3：在分布式数据集DataRDD上，在当前分区中从广播变量popbro获取整个种群，为变量pop；

步骤2.3.4：在每个分区中依次遍历种群pop，使用随机森林计算每个个体的适应值；在计算适应值时，采用如下适应值函数：

fitness＝w₁*OOB_score+w₂*feature^-1

其中：w₁表示分类精度的权重；OOB_score为随机森林特征子集划分的OOB评分；w₂表示特征比例编码倒数的权重；feature为特征比例编码；这样设计的意义在于，所的参数在大规模数据集上训练模型时希望能兼顾模型的准确率和模型的训练速度；

步骤2.3.6：对针对每个个体，利用函数reduce对所有分区的适应值取平均值，作为最后个体的适应值；

步骤2.3.7：对当前蚁狮适应度值按照降序排列，将排名第一的蚁狮信息记录初代精英蚁狮；

步骤2.4：利用spark函数parallelize将整个初始蚂蚁种群并行化为分布式蚁群，为变量antRDD；

具体实现包括以下子步骤：

步骤2.4.1：利用spark函数broadcast广播初代蚁狮种群和对应的适应值；

步骤2.4.2：按照蚁群规模，创建对每个蚂蚁个体创建编号，为[1,2,3,4…n]；

步骤2.4.3：利用spark函数parallelize将蚁群并行化为分布式蚂蚁种群，为变量antRDD。

步骤2.5：将每一个蚂蚁子种群对应变量antRDD中的一个分区，并在每一个分区中指定独立进化；

具体实现包括以下子步骤：

步骤2.5.1：在分布式蚂蚁种群antRDD上利用spark函数mapPartitionsWithIndex进行各分区并行全局寻优；

步骤2.5.2：在各个分区上根据蚁狮适应值，由轮盘赌获得捕食者蚁狮RA；

步骤2.5.3：根据阿基米德螺线公式，模拟蚂蚁被蚁狮沿着旋涡状收敛路线逐渐被捕获的场景：

式中:

为第t代捕获蚂蚁的蚁狮第j维的位置；

为蚂蚁

与捕获它的蚁狮

以及精英蚁狮

之间权重距离和；w₁和w₂分别为捕食者蚁狮和精英蚁狮的距离影响因子；b为螺旋曲线常数；t为当前代迭代次数；T为最大迭代次数；rand为[0,1]之间的随机数；t′∈[-2,1]，且随迭代次数t变化；

步骤2.5.4：利用spark函数collectc将从节点Worker各个分区中更新后的结果返回到主节点Spark Driver，各分区结果包含键值对(partitionIndex，Antpop)，其中partitionIndex为分区号，Antpop为更新后的子种群；

步骤2.5.5：合并蚂蚁子种群，在主节点Spark Driver上比较蚁狮种群和蚂蚁种群的适应值，完成蚁狮种群位置的更新。

步骤2.6：在从节点Worker上进行并行蚂蚁子种群寻优求解，完成整个蚂蚁种群的位置信息更新；

步骤3：将各分区的蚂蚁子种群从各个从节点Worker汇集到主节点Spark Driver上进行合并，得到更新后的下一代蚂蚁种群；

步骤4：根据适应值所决定的规则，在主节点Spark Driver上比较蚁狮种群和蚂蚁种群的适应值，进而完成整个蚁狮种群位置的更新，生成优胜劣汰后的下一代蚁狮群体，同时判断精英蚁狮个体是否需要更新；

步骤5：将更新后的蚁狮种群和精英蚁狮的信息重新广播到各个从节点Worker上；

步骤6：判断蚁狮种群迭代是否达到最大迭代次数；

若否，则重新返回步骤2.4；

若是，则返回最后的精英蚁狮，即为当前蚁狮算法寻找到的最优解。

请见图3，为本实施例的基于Spark的蚁狮算法架构图。第一层是计算所需数据的采集；第二层是Hadoop HDFS提供的大规模分布式文件存储服务；第三层包含了Spark最核心的功能和分布式算子，其中涵盖支持结构化数据查询与分析的查询引擎Spark SQL、分布式机器学习库Spark MLlib、并行图计算框架Graph X、流计算框架Spark Streaming四个模块；第四层则是蚁狮算法针对随机森林进行超参数寻优,各子种群并行搜索交换信息，最后完成最优蚁狮寻找的过程。

请见图4，为本实施例的基于Spark的蚁狮算法中随机森林原理图，首先从输入的训练集中采取有放回的抽样，构造子数据集。然后利用子数据集来构建单颗子决策树。最后针对新的测试数据需要通过随机森林得到分类结果，按照子决策树的判断结果，选择出现次数最多的类别为最终随机森林的输出结果了。

应当理解的是，本说明书未详细阐述的部分均属于现有技术。

应当理解的是，上述针对较佳实施例的描述较为详细，并不能因此而认为是对本发明专利保护范围的限制，本领域的普通技术人员在本发明的启示下，在不脱离本发明权利要求所保护的范围情况下，还可以做出替换或变形，均落入本发明的保护范围之内，本发明的请求保护范围应以所附权利要求为准。

Claims (3)

1.一种用于机器学习模型训练的优化随机森林参数的方法，其特征在于，包括以下步骤：

步骤1：将采集到的训练集数据存储到分布式文件***中，其存储路径为变量path；

步骤2：采用蚁狮算法对随机森林的参数进行全局优化寻优，得到优化的参数组合；

具体实现包括以下子步骤：

步骤2.1：在主节点Spark Drive上，初始化整个种群的信息，包括初始蚂蚁种群数量、初始蚁狮种群数量以及种群的最大迭代次数；

步骤2.2：初始化SparkContext为变量sc，并利用spark函数textFile读取数据集路径path获得分布式训练数据集，为变量DataRDD；

步骤2.3：针对初始蚁狮种群，根据适应值函数计算每个蚁狮个体适应值，并选择最大适应值个体为初代精英蚁狮；

步骤2.3的具体实现包括以下子步骤：

步骤2.3.1：利用spark函数broadcast广播需要计算适应值的种群pop到各个从节点Worker上，为变量popbro；

步骤2.3.2：在分布式数据集DataRDD上，获得当前分区中的所有数据的特征值X和对应的数据标签Y；

步骤2.3.3：在分布式数据集DataRDD上，在当前分区中从广播变量popbro获取整个种群，为变量pop；

步骤2.3.4：在每个分区中依次遍历种群变量pop，使用随机森林计算每个个体的适应值；在计算适应值时，采用如下适应值函数：

fitness＝w₁*OOB_score+w₂*feature^-1

其中：w₁表示分类精度的权重；OOB_score为随机森林特征子集划分的OOB评分；w₂表示特征比例编码倒数的权重；feature为特征比例编码；

步骤2.3.6：对针对每个个体，利用函数reduce对所有分区的适应值取平均值，作为最后个体的适应值；

步骤2.3.7：对当前蚁狮适应度值按照降序排列，将排名第一的蚁狮信息记录初代精英蚁狮；

步骤2.4：利用spark函数parallelize将整个初始蚂蚁种群并行化为分布式蚂蚁种群，为变量antRDD；

步骤2.5：将每一个蚂蚁子种群对应变量antRDD中的每一个分区，并在每一个分区中指定独立进化；

步骤2.6：在从节点Worker上进行并行蚂蚁子种群寻优求解，完成整个蚂蚁种群的位置信息更新；

步骤3：将各分区的蚂蚁子种群从各个从节点Worker汇集到主节点Spark Driver上进行合并，得到更新后的下一代蚂蚁种群；

步骤4：根据适应值所决定的规则，在主节点Spark Driver上比较蚁狮种群和蚂蚁种群的适应值，进而完成整个蚁狮种群位置的更新，生成优胜劣汰后的下一代蚁狮群体，同时判断精英蚁狮个体是否需要更新；

步骤5：将更新后的蚁狮种群和精英蚁狮的信息重新广播到各个从节点Worker上；

步骤6：判断蚁狮种群迭代是否达到最大迭代次数；

若否，则重新返回步骤2.4；

若是，则返回最后的精英蚁狮，即为当前蚁狮算法寻找到的最优解。

2.根据权利要求1所述的用于机器学习模型训练的优化随机森林参数的方法，其特征在于，步骤2.4的具体实现包括以下子步骤：

步骤2.4.1：利用spark函数broadcast广播初代蚁狮种群和对应的适应值；

步骤2.4.2：按照蚁群规模，创建对每个蚂蚁个体创建编号，为[1,2,3,4…n]；

步骤2.4.3：利用spark函数parallelize将蚁群并行化为分布式蚂蚁种群，为变量antRDD。

3.根据权利要求1所述的用于机器学习模型训练的优化随机森林参数的方法，其特征在于，步骤2.5的具体实现包括以下子步骤：

步骤2.5.1：在分布式蚂蚁种群antRDD上利用spark函数mapPartitionsWithIndex进行各分区并行全局寻优；

步骤2.5.2：在各个分区上根据蚁狮适应值，由轮盘赌获得捕食者蚁狮RA；

步骤2.5.3：根据阿基米德螺线公式，模拟蚂蚁被蚁狮沿着旋涡状收敛路线逐渐被捕获的场景：

式中:

为第t代捕获蚂蚁的蚁狮第j维的位置；

为蚂蚁

与捕获它的蚁狮

以及精英蚁狮

之间权重距离和；w₁和w₂分别为捕食者蚁狮和精英蚁狮的距离影响因子；b为螺旋曲线常数；t为当前代迭代次数；T为最大迭代次数；rand为[0,1]之间的随机数；t′∈[-2,1],且随迭代次数t变化；

步骤2.5.4：利用spark函数collectc将从节点Worker各个分区中更新后的结果返回到主节点Spark Driver，各分区结果包含键值对(partitionIndex，Antpop)，其中partitionIndex为分区号，Antpop为更新后的子种群；

步骤2.5.5：合并蚂蚁子种群，在主节点Spark Driver上比较蚁狮种群和蚂蚁种群的适应值，完成蚁狮种群位置的更新。

Images