CN109784578A - 一种结合业务规则的在线学习停滞预测*** - Google Patents

Abstract

本发明涉及一种结合业务规则的在线学习停滞预测***，包括：数据加载模块、数据标记模块、特征工程模块、模型训练模块和结果预测模块；数据加载模块：从数据库中读取学生数据；从规则库中读取学习停滞判定规则；数据标记模块：依据学习停滞判定规则标记学生数据，符合学习停滞判定规则的，标记为停滞生；否则，标记为非停滞生；特征工程模块：对学生数据进行特征工程处理，包括特征选择、特征处理和特征归一化；模型训练模块：选择机器学习模型对特征工程处理后的学生数据进行训练，然后根据模型评价指标，选择性能最优的机器学习模型作为学习停滞预测模型；结果预测模块：将待预测学生数据输入到学习停滞预测模型中进行计算，得到预测结果。

Description

一种结合业务规则的在线学习停滞预测***

技术领域

本发明涉及一种结合业务规则的在线学习停滞预测***，属于软件技术领域。

背景技术

在线学习借助互联网技术突破了传统教学在时间和空间上的限制，使学生可以自由、合理安排学习时间，从而使学习效能最大化。然而，在线学习模式以学生的主观能动性为主要驱动力，对学习活动缺乏必要的监督和监管，学生往往容易产生怠学情绪，最终演变成辍学的严重后果。如何对学生的学习行为进行及时评估，提前发现学习趋于停滞的迹象并及时预警，对于提升在线学习效能、推动在线学习模式健康发展具有重要意义。

关于在线学习停滞预测问题的研究可大体分为两类，一类是研究预测模型，如Amnueypornsakul等人使用学习者的点击流数据预测学生是否会停滞学习，采用SVM模型对活跃、弃学、不活跃三种类型的学习者分别进行预测，取得较高的预测准确率(参见文献：Amnueypornsakul B,Bhat S,Chinprutthiwong P.Predicting Attrition Along theWay:The UIUC Model[C]//EMNLP 2014 Workshop on Analysis of Large Scale SocialInteraction in Moocs.2014:55-59.)。卢晓航等人通过构建滑动窗口模型，在SVM和LSTM方法上取得较好效果(参见文献：卢晓航,王胜清,黄俊杰,等.一种基于滑动窗口模型的MOOCs辍学率预测方法[J].数据分析与知识发现,2017,1(4):67-75.)。另一类是研究预测特征，如Sharkey等人详细描述了使用机器学习技术预测学习停滞的迭代过程，并通过研究得出带有预测性的特征以及它们的相对权重(参见文献：Sharkey M,Sanders R.A Processfor Predicting MOOC Attrition[C]//EMNLP 2014 Workshop on Analysis of LargeScale Social Interaction in Moocs.2014:50-54.)。Taylor等人采用多种机器学习方法预测学习停滞，发现合作社交相关的特征如wiki和论坛等在预测中十分重要(参见文献：Taylor C,Veeramachaneni K,O'Reilly U M.Likely to stop？Predicting Stopout inMassive Open Online Courses[J].Computer Science,2014.)。

上述方法大多单纯依据学生的学习行为进行预测，当观测到学习行为有所衰减并达到一定阈值后，即判定该学生将大概率产生学习停滞现象。但关于学习行为衰减到哪种程度可判定为停滞并没有公认有效的方法，一定程度上影响了这些方法的适用性和扩展性。

发明内容

本发明的技术解决问题：克服现有技术的不足，提供一种结合业务规则的在线学习停滞预测***，利用业务规则明确定义学习停滞人群，进而采用有监督学习算法更准确的学习停滞人群和非停滞人群的特征；并且，以业务规则而非传统方法中学习行为衰减来定义学习停滞人群，能够有效避免由于特殊原因造成学习行为暂时停滞的“假停滞”，提高***预测的准确性。

本发明的技术解决方案：结合业务规则的在线学习停滞预测***，如图1所示，包括：

数据加载模块：从数据库中读取学生数据，包括学生的在线学习行为数据和基本属性数据；从规则库中读取学习停滞判定规则。

数据标记模块：依据学习停滞判定规则标记学生数据。符合学习停滞判定规则的，标记为停滞生；否则，标记为非停滞生。

特征工程模块：对学生数据进行特征工程处理，包括特征选择、特征处理和特征归一化。

模型训练模块：选择机器学习模型对特征工程处理后的学生数据进行训练，然后根据模型评价指标，选择性能最优的机器学习模型作为本发明***的学习停滞预测模型。

结果预测模块：将待预测学生数据输入到学习停滞预测模型中进行计算，得到预测结果。

所述的特征工程模块实现过程如下：

(1)特征选择。从学生的在线学习行为数据和基本属性数据中选择典型数据作为数据特征。在线学习行为数据的数据类型为数值型，称为数值型特征。学生基本属性，如性别、婚姻状况等，其取值为离散的可枚举的数据，称为类别型特征。

(2)特征处理。对数值型特征和类别型特征分别进行特征处理。

本发明***中数值型特征的特征处理即是对在线学习行为数据的操作处理。在线学习行为数据是对一定时期内(称为一个在线学习行为统计周期)某项在线学习行为的统计数据，一个在线学习行为数据对应一个在线学习行为的统计指标。如“登录次数”和“登录天数”是“登录在线学习***”这一在线学习行为的两个统计指标，对应两个在线学习行为数据。若存在i个在线学习行为统计周期，、j个在线学习行为的统计指标，则每个在线学习行为统计周期含有j个在线学习行为数据，每个在线学习行为的统计指标对应i个在线学习行为数据。

本发明***数值型特征的特征处理过程描述如下：

1)拼接。将i个在线学习行为统计周期统计的i*j个在线学习行为数据拼接在一起，得到i*j维特征。

2)平均。对于每一个在线学***均值，作为一个新特征。j个在线学习行为的统计指标可得到j维特征。

3)加权平均。对于每一个在线学***均值，作为一个新特征。j个在线学习行为的统计指标可得到j维特征。

4)按登录次数取平均。对每个在线学***均值，作为一个新特征。j-1个在线学习行为的统计指标可得j-1维特征。

5)求方差。对于每一个在线学习行为的统计指标，将i个在线学习行为统计周期统计的i个在线学习行为数据求方差，作为一个新特征。j个在线学习行为的统计指标可得到j维特征。

6)最大最小归一化。对于每一个在线学习行为的统计指标，将i个在线学习行为统计周期统计的i个在线学习行为数据做最大最小归一化处理，可得i个最大最小归一化特征。j个在线学习行为的统计指标可得到i*j维特征。

最大最小归一化计算公式为：(val-min)/(max-min)

其中，val为某在线学习行为统计指标对应的第k个在线学习行为数据(0<k≤i)，min、max分别为该在线学习行为统计指标对应的i个在线学习行为数据中的最小值和最大值。

7)加权方差。对于每一个在线学习行为的统计指标，将i个在线学习行为统计周期统计的i个在线学习行为数据加权求方差，作为一个新特征。j个在线学习行为的统计指标可得到j维特征。

8)排序。对于每一个在线学习行为的统计指标，将i个在线学习行为统计周期统计的i个在线学习行为数据排序，将i个在线学习行为数据在序列中的位置作为独立特征，可得i维特征。j个在线学习行为的统计指标可得到i*j维特征。

对于类别型特征的处理操作包括：

1)独热编码(one-hot)。根据类别型特征的取值个数将类别型特征扩展为相应维度的特征。

2)区间映射联合独热编码(one-hot)。“年龄”是一类比较特殊的属性，其取值范围较大，取值个数较多。本发明先将年龄数据映射到预先划定好的年龄区间，减少“年龄”这一属性的取值个数，然后再做one-hot处理。

特征处理操作完成后，每一条学生数据可得到一组n维特征，m个学生的m条学生数据可得到一个m*n的特征矩阵。该矩阵中，每一行表示一个学生对应的n维特征，每一列表示该维特征下m个学生对应的m个取值。

(3)特征归一化。对m*n特征矩阵中的数值型特征做归一化处理。

本发明采用0均值标准化的方式实现，公式如下：

其中，x为第k维特征的取值(0<k≤n)，μ、σ分别为该维特征对应的m个取值的均值和方差。

所述的模型训练模块实现过程如下：

(1)选择Logistic Regression、SVM、XGboost、Random Forest、LSTM五个机器学习模型，对特征工程处理后的学生数据进行训练，分别得到5个机器学习模型的最优解。

(2)以准确率(accuracy)、精准率(precision)、召回率(recall)、f1值、roc-auc为模型评价指标，对上述机器学习模型进行评估，选择性能最优的机器学习模型作为本发明***的学习停滞预测模型。

本发明与现有技术相比的优势在于：

(1)基于规则准确标识学习停滞人群，利用有监督的机器学习算法更准确的学习停滞人群和非停滞人群的特征，为训练学习停滞预测模型提供更有利的依据。

(2)围绕在线学习的学生数据展开了丰富的特征处理操作，扩展了数据的特征维度，增加了模型训练数据的信息量。

(3)本发明***同时调用多个机器学习模型进行训练，并以多种模型评价指标对多个机器学习模型进行综合评估，选择性能最优的机器学习模型作为学习停滞预测模型，保障了学习停滞预测模型的有效性和可靠性。

附图说明

图1本发明***体系结构图；

图2本发明***中在线学习停滞预测概念图；

图3本发明***中特征工程模块实现过程；

图4本发明***中模型训练模块实现过程。

具体实施方式

以下结合具体实例对本发明进行详细说明。

本发明以学生是否缴纳学费这一属性作为判定学生学习是否停滞的重要条件，定义以下学习停滞判定规则及相关概念：

定义一 缴费周期

学生在学习过程中应该在某个时间周期内完成缴费，这个时间周期即为缴费周期。每个学生的缴费周期相同。缴费周期的长短可根据实际业务需要确定。

定义二 停滞生

连续w个缴费周期没有缴费的学生，称为停滞生。数值w可根据实际业务需要确定。

规则一 学习停滞判定规则

若某个学生连续w个缴费周期没有缴费，则可判定该学生学习停滞，成为停滞生。

如图2所示，本发明***即是在学生出现l(0<l<w)个缴费周期没有缴费的情况下，预测其w个缴费周期都不缴费的概率。

本实例以Python语言作为数据预处理和算法编程语言。实例中设定学习停滞判定规则参数w＝2，即连续2个缴费周期没有缴费的学生判定为停滞生，并将缴费周期设定为6个月。同时设定在线学习行为数据的统计周期为“月”。

如图1所示，本发明***包含数据加载模块、数据标记模块、特征工程模块、模型训练模块和结果预测模块及一个数据库。数据库用于存储学生数据和计算结果。学生数据包括学生的在线学习行为数据和基本属性数据等***输入的原始数据。计算结果包括样本数据的标记结果、特征工程处理后的特征值、模型训练得到的模型参数，以及***最终的预测结果。

数据加载模块，从数据库中读取学生的基本属性数据和第一个缴费周期记录的在线学习行为数据。基本属性数据包括入学方式、就读院校、就读专业、年级、婚姻状况、性别、学生来源类型、学习类型、所在省份、年龄和当前连续未缴费周期个数。在线学习行为数据包括每月课程问答发回帖数量、每月课件点击次数、每月栏目点击次数、每月登录时长、每月登录天数、每月登录次数。

数据标记模块，根据在线学习停滞判定规则将学生标记为“停滞生”或“非停滞生”。本实例中，读取每个学生的“当前连续未缴费周期个数”属性，若其值大于等于2，则将该学生的“标记结果”属性置为“停滞生”，否则，置为“非停滞生”。

特征工程模块，对数据加载模块加载的数据进行特征选择、特征处理和特征归一化操作，实现过程如图3所示：

(1)特征选择，从学生的在线学习行为数据和基本属性数据中选择典型数据作为数据特征，并根据特征的数据类型分为数值型特征和类别型特征，如表1所示。

表1数据特征表

序号	特征名称	说明	特征类型
				1	KCWD_NUM	每月课程问答发回帖数量	数值型
2	KJ_CLICK_NUM	每月课件点击次数	数值型
				3	LM_CLICK_NUM	每月栏目点击次数	数值型
4	LOGIN_DURATION	每月登录时长	数值型
				5	LOG_DAY	每月登录天数	数值型
6	LOGIN_NUM	每月登录次数	数值型
				7	ENTRANCETYPE	入学方式	类别型
8	UNIVERSITY	就读院校	类别型
				9	MAJOR	就读专业	类别型
10	GRADE	年级	类别型
				11	MARRIAGE	婚姻状况	类别型
12	SEX	性别	类别型
				13	STUDENTSOURCE	学生来源类型	类别型
14	STUDYMODE	学年/学分制	类别型
				15	PROVINCE_NAME	所在省份	类别型
16	AGE	年龄	类别型

(2)特征处理。对每个数值型特征，完成以下操作：

1)拼接。以“每月课件点击次数KJ_CLICK_NUM”为例，把每个月的课件点击次数作为一个独立的特征，一个缴费周期(6个月)可得到6个维度的特征。表一中1-6号特征共可获得36个维度的特征。

2)平均。计算6个月的平均值作为一个新特征。表一中1-6号特征共可获得6个维度的特征。

3)加权平均。计算6个月的加权平均值作为一个新特征。设定前三个月的权重为1，第四、五个月的权重为2，最后一个月的权重为6。表一中1-6号特征共可获得6个维度的特征。

4)按登录次数取平均。首先求出6个月的总登录次数，然后1-5号特征根据总登录次数取平均，可获得5个维度的特征。

5)求方差。计算6个月的方差作为一个新特征。表一中1-6号特征可获得6个维度的特征。

6)最大最小归一化。以“每月课件点击次数KJ_CLICK_NUM”为例，若一个用户6个月的课件点击次数分别为8，3，5，6，2，4，将其做最大最小归一化处理((val-min)/(max-min))后，可得1，1/6，1/2，2/3，0，1/3。将这6个值分别作为独立的特征。表一中1-6号特征可获得36个维度的特征。

7)加权方差。计算6个月的加权方差作为一个新特征。设定前三个月的权重为1，第四、五个月的权重为2，最后一个月的权重为6。表一中1-6号特征共可获得6个维度的特征。

8)排序。以“每月课件点击次数KJ_CLICK_NUM”为例，若一个用户6个月的课件点击次数分别为8，3，5，6，2，4，取当前值在排序后所在的位置，可得到6，2，4，5，1，3，将这6个数分别作为独立的特征。表一中1-6号特征共可获得36个维度的特征。

对每个类别型特征，完成以下操作：

1)one-hot。以“婚姻状况MARRIAGE”为例，特征取值为(已婚，未婚，其他)。one-hot处理为一个3维的特征。即若用户已婚，其特征为(1,0,0)；若未婚，其特征为(0,1,0)；若为其他，其特征为(0,0,1)。

2)区间映射联合one-hot。对于“年龄AGE”特征，首先根据年龄的取值，将其映射到预先设定的年龄区间[小于30岁]、[30岁(含)到40岁(不含)之间]、[40岁(含)到50岁(不含)之间]、[大于50岁(含)]，然后one-hot处理为一个4维的特征。例如，用户年龄为35岁，其年龄特征表示为(0,1,0,0)。

(3)根据公式一对全部数值型特征做特征归一化处理。

模型训练模块，如图4所示，该模块以特征工程模块处理后的特征数据为输入，采用五折交叉验证的方式，将输入数据分为5份。选定Logistic Regression、SVM、XGboost、Random Forest、LSTM五个机器学***均值作为最终的模型评价指标结果。根据模型评价指标结果，选择性能最优的模型作为学习停滞预测模型，并将模型及其参数存储在数据库中。

结果预测模块，以满足条件“0<当前连续未缴费周期个数<2”的学生为待预测学生，将其基本属性数据和未缴费周期中的在线学习行为数据输入到学习停滞预测模型中，得到该学生学习停滞的预测结果，并将结果存储在数据库中。

以上虽然描述了本发明的具体实施方法，但是本领域的技术人员应当理解，这些仅是举例说明，在不背离本发明原理和实现的前提下，可以对这些实施方案做出多种变更或修改，因此，本发明的保护范围由所附权利要求书限定。

Claims (8)

1.一种结合业务规则的在线学习停滞预测***，其特征在于，包括：数据加载模块、数据标记模块、特征工程模块、模型训练模块和结果预测模块；

数据加载模块：从数据库中读取学生数据，所述学生数据包括：学生的在线学习行为数据和基本属性数据；从规则库中读取学习停滞判定规则；

数据标记模块：依据学习停滞判定规则标记学生数据，对于符合学习停滞判定规则的学生数据，标记为停滞生；否则，标记为非停滞生；

特征工程模块：对学生数据进行特征工程处理，所述特征工程处理包括：特征选择、特征处理和特征归一化，得到特征工程处理后的学生数据；

模型训练模块：选择机器学习模型对特征工程处理后的学生数据进行训练，然后根据模型评价指标，选择性能最优的机器学习模型作为学习停滞预测模型；

结果预测模块：将待预测学生数据输入到学习停滞预测模型中进行计算，得到预测结果。

2.根据权利要求1所述的一种结合业务规则的在线学习停滞预测***，其特征在于：所述的特征工程模块实现如下：

(1)特征选择，从学生的在线学习行为数据和基本属性数据中选择能够表征学生在线学习趋势的数据作为数据特征，在线学习行为数据的数据类型为数值型，称为数值型特征；学生基本属性，取值为离散的可枚举的数据，称为类别型特征；

(2)特征处理，对数值型特征和类别型特征分别进行特征处理，得到m*n特征矩阵，其中，m表示m个学生的m条学生数据；n表示经特征处理后每条学生数据对应的n维特征；

(3)特征归一化，对m*n特征矩阵中的数值型特征做归一化处理。

3.根据权利要求2所述的一种结合业务规则的在线学习停滞预测***，其特征在于：所述数值型特征的特征处理即是对在线学习行为数据的操作处理，在线学习行为数据是对一定时期内，即称为一个在线学习行为统计周期中，某项在线学习行为的统计数据，一个在线学习行为数据对应一个在线学习行为的统计指标；登录次数和登录天数是登录在线学习***这一在线学习行为的两个统计指标，所述两个指标对应两个在线学习行为数据；若存在i个在线学习行为统计周期，j个在线学习行为的统计指标，则每个在线学习行为统计周期含有j个在线学习行为数据，每个在线学习行为的统计指标对应i个在线学习行为数据。

4.根据权利要求2所述的一种结合业务规则的在线学习停滞预测***，其特征在于：所述数值型特征的特征处理过程如下：

步骤1.拼接，将i个在线学习行为统计周期统计的i*j个在线学习行为数据拼接在一起，得到i*j维特征；

步骤2.平均，对于每一个在线学***均值，作为一个新特征，j个在线学习行为的统计指标得到j维特征；

步骤3.加权平均，对于每一个在线学***均值，作为一个新特征，j个在线学习行为的统计指标得到j维特征；

步骤4.按登录次数取平均，对每个在线学***均值，作为一个新特征；j-1个在线学习行为的统计指标得到j-1维特征；

步骤5.求方差，对于每一个在线学习行为的统计指标，将i个在线学习行为统计周期统计的i个在线学习行为数据求方差，作为一个新特征，j个在线学习行为的统计指标得到到j维特征；

步骤6.最大最小归一化，对于每一个在线学习行为的统计指标，将i个在线学习行为统计周期统计的i个在线学习行为数据做最大最小归一化处理，得到i个最大最小归一化特征，j个在线学习行为的统计指标可得到i*j维特征；

步骤7.加权方差，对于每一个在线学习行为的统计指标，将i个在线学习行为统计周期统计的i个在线学习行为数据加权求方差，作为一个新特征，j个在线学习行为的统计指标得到j维特征；

步骤8.排序，对于每一个在线学习行为的统计指标，将i个在线学习行为统计周期统计的i个在线学习行为数据排序，将i个在线学习行为数据在序列中的位置作为独立特征，得到i维特征，j个在线学习行为的统计指标得到i*j维特征。

5.根据权利要求4所述的一种结合业务规则的在线学习停滞预测***，其特征在于：所述步骤6中，最大最小归一化计算公式为：(val-min)/(max-min)，其中，val为某在线学习行为统计指标对应的第k个在线学习行为数据，0<k≤i，min、max分别为该在线学习行为统计指标对应的i个在线学习行为数据中的最小值和最大值。

6.根据权利要求2所述的一种结合业务规则的在线学习停滞预测***，其特征在于：所述类别型特征的处理包括以下步骤：

(1)独热编码(one-hot)，根据类别型特征的取值个数将类别型特征扩展为相应维度的特征；

(2)区间映射联合独热编码(one-hot)，“年龄”是一类比较特殊的属性，其取值范围较大，取值个数较多，先将年龄数据映射到预先划定好的年龄区间，减少“年龄”这一属性的取值个数，然后再做one-hot处理。

7.根据权利要求2所述的一种结合业务规则的在线学习停滞预测***，其特征在于：所述特征归一化用0均值标准化的方式实现，公式如下：

其中，x为第k维特征的取值，0<k≤n，μ、σ分别为第k维特征对应的m个取值的均值和方差。

8.根据权利要求1所述的一种结合业务规则的在线学习停滞预测***，其特征在于：所述模型训练模块实现如下：

(1)选择Logistic Regression、SVM、XGboost、Random Forest、LSTM五个机器学习模型，对特征工程处理后的学生数据进行训练，分别得到5个机器学习模型的最优解；

(2)以准确率(accuracy)、精准率(precision)、召回率(recall)、f1值、roc-auc为模型评价指标，对上述5个机器学习模型进行评估，选择性能最优的机器学习模型作为学习停滞预测模型。