CN112801362A - 一种基于人工神经网络与lstm网络的学业预警方法 - Google Patents
一种基于人工神经网络与lstm网络的学业预警方法 Download PDFInfo
- Publication number
- CN112801362A CN112801362A CN202110101091.8A CN202110101091A CN112801362A CN 112801362 A CN112801362 A CN 112801362A CN 202110101091 A CN202110101091 A CN 202110101091A CN 112801362 A CN112801362 A CN 112801362A
- Authority
- CN
- China
- Prior art keywords
- information
- student
- weight
- early warning
- vector
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 31
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 27
- 238000012549 training Methods 0.000 claims abstract description 23
- 238000012545 processing Methods 0.000 claims abstract description 12
- 230000005284 excitation Effects 0.000 claims abstract description 11
- 230000003044 adaptive effect Effects 0.000 claims abstract description 9
- 239000013598 vector Substances 0.000 claims description 47
- 230000006870 function Effects 0.000 claims description 46
- 238000004422 calculation algorithm Methods 0.000 claims description 26
- 230000008859 change Effects 0.000 claims description 23
- 238000004140 cleaning Methods 0.000 claims description 8
- 230000008569 process Effects 0.000 claims description 8
- PHTXVQQRWJXYPP-UHFFFAOYSA-N ethyltrifluoromethylaminoindane Chemical compound C1=C(C(F)(F)F)C=C2CC(NCC)CC2=C1 PHTXVQQRWJXYPP-UHFFFAOYSA-N 0.000 claims description 7
- 238000010606 normalization Methods 0.000 claims description 7
- 238000000605 extraction Methods 0.000 claims description 4
- 238000013507 mapping Methods 0.000 claims description 4
- 230000004913 activation Effects 0.000 claims description 3
- 238000004458 analytical method Methods 0.000 claims description 3
- 238000003491 array Methods 0.000 claims description 3
- 239000000969 carrier Substances 0.000 claims description 3
- 239000011159 matrix material Substances 0.000 claims description 3
- 238000012216 screening Methods 0.000 claims description 3
- 230000003203 everyday effect Effects 0.000 claims description 2
- 238000001514 detection method Methods 0.000 abstract description 5
- 238000010801 machine learning Methods 0.000 description 6
- 238000012706 support-vector machine Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 230000008034 disappearance Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 238000007637 random forest analysis Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 125000004122 cyclic group Chemical group 0.000 description 1
- 238000013506 data mapping Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
- G06Q50/20—Education
- G06Q50/205—Education administration or guidance
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Business, Economics & Management (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Strategic Management (AREA)
- Artificial Intelligence (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Tourism & Hospitality (AREA)
- Economics (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Human Resources & Organizations (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- General Business, Economics & Management (AREA)
- Educational Administration (AREA)
- Educational Technology (AREA)
- Marketing (AREA)
- Probability & Statistics with Applications (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Primary Health Care (AREA)
- Evolutionary Biology (AREA)
- Development Economics (AREA)
- Game Theory and Decision Science (AREA)
- Entrepreneurship & Innovation (AREA)
- Operations Research (AREA)
- Quality & Reliability (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明公开了一种基于人工神经网络与LSTM网络的学业预警方法,其特征在于,包括如下步骤:1)基于RBF核的缺失数据处理;2)基于多维正态分布的自适应特征提取;3)基于细化网络的人工神经网络训练;4)自适应激励函数LSTM网络训练;5)与软件平台结合。这种方法普适性好、误检率低、预测准确度高。
Description
技术领域
本发明涉及大数据处理、机器学习领域,具体是一种基于人工神经网络与LSTM网络的学业预警方法。
背景技术
学业预警具有能预测学生未来成绩趋势与是否可以毕业的功能,学业预警在高校内具有非常好的应用价值。目前已经有部分高校使用了学业预警***来辅助学校提升学生的毕业率以及降低不及格率。随着高校招生规模提高,学生人数过多,人工跟踪学生学业完成度已经不太现实,所以利用现代先进的深度学习算法对海量数据进行训练,形成预测精准的学业预警***,提前为学生学业做出预警,让高校学生提前意识到可能无法正常完成学业的危险,能够有效减少学生学业不及格情况的发生。
在传统基于机器学习的学业预警方法中,如支持向量机(SVM),随机森林(Randomforest)等算法在学业预警***中应用的缺陷是无法使用高校学生的成绩、图书馆阅读时长等的时间特征,不能将前后的时间线有效的联系起来,如前置课程对后置课程的影响,也不能很好处理有缺失的数据,而理想的学业预警算法是通过成绩、图书馆阅读时间等特征来预测高校学生的学业完成情况或是否可以正常毕业,因为这些特征的关系在时间线上是具有相关性,可以相互影响的,所以除了考虑空间上的影响,还需要考虑时间上的影响,否则无法充分提取特征,发挥学业预警效果。近年来,上海水产大学提出“学业预警”机制,引入“学业预警”概念,通过学业预警机制对学业完成度低的学生进行不同程度的预警。
Seep Hochreiter等人提出了长短期记忆网络(LSTM)算法,解决了循环神经网络(RNN)的无法“遗忘”信息和无法长时间“记忆”信息等问题;Tao等人提出了基于KFCM改进SVM的算法,并将改进SVM的算法应用于学业预警领域,改进了传统的机器学习的算法,得到较好预测效果;Ren等人提出了基于FT_BP神经网络的算法,使用了深度学习并对传统的BP网络进行了改进,将其应用于学业预警领域。
虽然近年来这些研究能一定程度上解决学业预警中的某些问题,但是仍有诸多不足之处。首先,学业预警具有条件复杂、数据不统一的情况,现有方法的应用场景狭窄、要求有统一标准的数据作为支撑,而如上述方法的重点都是在算法上,没有考虑到数据集本身的重要性和不同特征之间的时间和空间上的关联;其次,KFCM-SVM算法是机器学习算法在应对较少数量的数据集时,有很好的效果,但对于大数据和数据复杂的场景就显得力不从心,而且机器学习由于算法本身特性限制具有误检率高、准确率有待进一步提高的问题。
发明内容
本发明的目的是针对现有技术的不足,而提供一种基于人工神经网络与LSTM网络的学业预警方法。这种方法普适性好、误检率低、预测准确度高。
实现本发明目的的技术方案是:
一种基于人工神经网络与LSTM网络的学业预警方法,包括如下步骤:
1)基于RBF核的缺失数据处理:首先对学生数据进行清洗:对于数据完整的学生信息进行x'=(x-μ)/(Max-Min)的归一化处理;然后,对于数据缺失的学生信息采用RBF核函数对学生信息原数据通过K(v1,v2)=exp(-γ||v1-v2||)2的方式映射将学生信息原从低维空间映射到高维空间,这样做的好处是完整保留了原始数据的全部信息、不用考虑缺失值、不用考虑线性不可分之类的问题,映射过程如公式(1)所示:
其中,x′,y′为学生信息数据数组,y′为对应数组标签,α为RBF核参数gamma值,α值越小影响越大,值越大影响越小,由此得到高维空间的每一个元素为:
进而得到数据K(v1,v2,v3...)向量,再对数据K(v1,v2,v3...)向量采用x=(y-μ)/(Max-Min)的归一化处理,其中,y为要归一化的学生信息数据数组,x为归一化后的学生信息数组;
2)基于多维正态分布的自适应特征提取:提取步骤1)经过数据清洗处理、归一化后的学生数据中的成绩信息向量G(x1,x2,x3...)进行多元正态分布筛选,定义成绩信息向量G(x1,x2,x3...)中的n维成绩信息若x1,x2,x3...,xn的任意线性组合Y=a1x1+a2x2+...+anxn服从正态分布,存在随机向量Z=[Z1,...,ZM]T,其中,每个元素服从正态分布以及随机向量μ=[μ1,...,μN]T和N*M的矩阵A满足X=AZ+μ;若n维成绩信息向量G(x1,x2,x3...)满足上述三个条件则称其满足多元正态分布,即成绩信息向量G(x1,x2,x3...)服从fx,对于成绩满足多元正态分布的学生信息规划为标准类、不满足的学生信息规划为奇异类,如公式(2)所示:
这里,x为归一化后的学生信息数组,μ为平均值,k为常数指数;
3)基于细化网络的人工神经网络训练:采用人工神经网络对步骤2)得到的学生成绩信息相关数据进行训练,训练采用弹性反向传播即Rprop算法,在一般的反向传播算法中,学习过程中权重的改变量是由误差函数对该权重的偏导即梯度所决定,而在Rprop算法中,权重的变化量Δwi,j直接等于学习率ηi,j(t),因此误差函数的梯度并不影响权重的变化值,在Rprop算法中梯度仅仅影响权重变化值的符号,即影响权重变化的方向,训练过程中权重的改变量直接等于每个权重对应的学习率,而权重的改变量的符号则取决于误差函数的梯度的符号,误差函数得梯度只决定权值更新的方向,不决定权值更新的强度,如果误差函数的梯度为正,则就需要降低相应的权重,可以使wi,j减去ηi,j(t),如果梯度为负数,则就应该增大相应的权重来使误差函数逼近最小值,如公式(3)所示::
至此已经明确权重如何更新,接下来说明一下学习率ηi,j(t)如何更新,此时首先应当考虑一下任何t和(t-1)两个时间点的梯度的符号会如何变化,总共有两种情况:如果(t-1)和t两个时间点误差函数的梯度符号不同,表明在t时已经越过了最小值,表明上一次权值的更新步跨太大,则ηi,j(t)就应当比ηi,j(t-1)更小来使得对于最低值的搜索更加精确,在数学层面上,使上一步的学习率和一个大于0小于1的值ηup相乘来得到当前的学习率,然而,当两次的符号相同,表明还未到达误差函数的最低点,可以使相应的学习率增加一些来加快学习的步伐,因此可以使上一步的学习率乘以一个大于1的ηdown来得到当前的学习率,如公式(4)所示:
4)自适应激励函数LSTM网络训练:采用LSTM网络对学生的每日一卡通消费相关信息进行训练,并将训练结果与人工神经网络级联输出最终的毕业概率结果,现有技术中LSTM网络结构为:LSTM模块设有三个输入分别为:ct-1、ht-1和xt,经过LSTM模块输出分别是ct、ht和yt,其中xt表示本轮的输入,ht-1表示上一轮的状态量输出,ct-1表示上一轮全局一个信息的载体,yt表示本轮的输出,ht表示本轮的状态量输出,ct表示本轮全局的一个信息载体,将xt和ht-1合并成一个向量再乘以向量W,外面再包一层tanh函数,得到向量z;采用激活函数sigmoid将现有技术中LSTM网络结构中的xt和ht-1合并成一个向量,再分别乘以矩阵Wf、Wi和Wo得到zf、zi和zo,Wf,Wi,Wo分别为遗忘门、输入门、输出门权重矩阵,用于乘以各门输入的变量,zf,zi,zo为乘以权重W加上偏置后的各门输出,然后用这些向量由公式(5)得ct:
ct=zfct-1+ziz (5),
由公式(6)得到ht:ht=zotanh(ct) (6),
由公式(7)得到本轮的输出yt:yt=σ(Wht) (7),
将原本的tanh激励函数变为自适应激励函数Relu+tanh的加权平均函数,对于LSTM的每一个门传入的数据x采用u+v=1的形式进行激励,有效地避免了tanh梯度消失的问题,且能够保持tanh的非线性化特点,从而利用LSTM对学生一卡通消费相关信息进行训练,对每个学生进行预警分类,为每个学生针对性的生成个人分析报告,如果为高危预警会收到相应的预警信息并将预警信息与步骤3)中的人工神经网络进行级联从而预测该学生毕业概率;
5)与软件平台结合:利用现有的预警算法软件创建适用上述步骤的软件平台,用户端口分为教师端与学生端,学生有权查看自己个人学习成绩与个人相关信息、自己所在班级相关成绩信息、班级年级上的对应学科排名,如果为高危预警学生端会收到相应的预警信息;教师端有权查看该教师所带课程的所有学生的信息、查看班级各类信息、年级各类信息,若学生收到预警,则教师也会收到学生预警的提示,方便教师进行对学生成绩的关注,同时生成学生个人、班级、课程的图表,方便教师实时跟踪每个学生的学习情况与状况。
本技术方案采用神经网络与LSTM网络算法相结合,对数据进行数据清洗、基于RBF核的缺失数据映射、数据归一化处理以及基于多维正态分布的自适应特征提取、采用细化后的主次人工神经网络训练、基于自适应激励函数的LSTM网络训练,采用人工神经网络与LSTM网络级联的方式预测,同时与软件平台结合具有良好的可视化界面,能够为学生与教师提供直观的预警数据信息图及预测图和报表,能够自动对学生划分预警等级,提供相应的预警建议功能。
这种方法通过对学生各类数据进行清洗,缺失数据映射处理,归一化处理,基于多维正态分布的自适应特征提取,再利用人工神经网络与LSTM网络分布训练,级联预测的方式有效地提高预警的准确度,能在特征数据少的情况下做到高的准确度。
这种方法普适性好、误检率低、预测准确度高。
附图说明
图1为实施例方法流程示意图;
图2为实施例方法预测精度与其他方法预测精度对比示意图;
图3为现有技术中LSTM模块结构示意图;
图4为实施例中LSTM模块结构示意图。
具体实施方式
下面结合附图和实施例对本发明的内容作进一步的阐述,但不是对本发明的限定。
实施例:
参照图1,一种基于人工神经网络与LSTM网络的学业预警方法,包括如下步骤:
1)基于RBF核的缺失数据处理:首先对学生数据进行清洗:对于数据完整的学生信息进行x'=(x-μ)/(Max-Min)的归一化处理;然后,对于数据缺失的学生信息采用RBF核函数对学生信息原数据通过K(v1,v2)=exp(-γ||v1-v2||)2的方式映射将学生信息原从低维空间映射到高维空间,这样做的好处是完整保留了原始数据的全部信息、不用考虑缺失值、不用考虑线性不可分之类的问题,映射过程如公式(1)所示:
进而得到数据K(v1,v2,v3...)向量,再对数据K(v1,v2,v3...)向量采用x=(y-μ)/(Max-Min)的归一化处理,其中,y为要归一化的学生信息数据数组,x为归一化后的学生信息数组;
2)基于多维正态分布的自适应特征提取:提取步骤1)经过数据清洗处理、归一化后的学生数据中的成绩信息向量G(x1,x2,x3...)进行多元正态分布筛选,定义成绩信息向量G(x1,x2,x3...)中的n维成绩信息若x1,x2,x3...,xn的任意线性组合Y=a1x1+a2x2+...+anxn服从正态分布,存在随机向量Z=[Z1,...,ZM]T,其中,每个元素服从正态分布以及随机向量μ=[μ1,...,μN]T和N*M的矩阵A满足X=AZ+μ;若n维成绩信息向量G(x1,x2,x3...)满足上述三个条件则称其满足多元正态分布,即成绩信息向量G(x1,x2,x3...)服从fx,对于成绩满足多元正态分布的学生信息规划为标准类、不满足的学生信息规划为奇异类,如公式(2)所示:
这里,x为归一化后的学生信息数组,μ为平均值;
3)基于细化网络的人工神经网络训练:采用人工神经网络对步骤2)得到的学生成绩信息相关数据进行训练,训练采用弹性反向传播即Rprop算法,在一般的反向传播算法中,学习过程中权重的改变量是由误差函数对该权重的偏导即梯度所决定,而在Rprop算法中,权重的变化量Δwi,j直接等于学习率ηi,j(t),因此误差函数的梯度并不影响权重的变化值,在Rprop算法中梯度仅仅影响权重变化值的符号,即影响权重变化的方向,训练过程中权重的改变量直接等于每个权重对应的学习率,而权重的改变量的符号则取决于误差函数的梯度的符号,误差函数得梯度只决定权值更新的方向,不决定权值更新的强度,如果误差函数的梯度为正,则就需要降低相应的权重,可以使wi,j减去ηi,j(t),如果梯度为负数,则就应该增大相应的权重来使误差函数逼近最小值,如公式(3)所示::
至此已经明确权重如何更新,接下来说明一下学习率ηi,j(t)如何更新,此时首先应当考虑一下任何t和(t-1)两个时间点的梯度的符号会如何变化,总共有两种情况:如果(t-1)和t两个时间点误差函数的梯度符号不同,表明在t时已经越过了最小值,表明上一次权值的更新步跨太大,则ηi,j(t)就应当比ηi,j(t-1)更小来使得对于最低值的搜索更加精确,在数学层面上,使上一步的学习率和一个大于0小于1的值ηup相乘来得到当前的学习率,然而,当两次的符号相同,表明还未到达误差函数的最低点,可以使相应的学习率增加一些来加快学习的步伐,因此可以使上一步的学习率乘以一个大于1的ηdown来得到当前的学习率,如公式(4)所示:
4)自适应激励函数LSTM网络训练:采用LSTM网络对学生的每日一卡通消费相关信息进行训练,并将训练结果与人工神经网络级联输出最终的毕业概率结果,如图3所示,现有技术中LSTM网络结构为:LSTM模块设有三个输入分别为:ct-1、ht-1和xt,经过LSTM模块输出分别是ct、ht和yt,其中xt表示本轮的输入,ht-1表示上一轮的状态量输出,ct-1表示上一轮全局一个信息的载体,yt表示本轮的输出,ht表示本轮的状态量输出,ct表示本轮全局的一个信息载体,将xt和ht-1合并成一个向量再乘以向量W,外面再包一层tanh函数,得到向量z;采用激活函数sigmoid将现有技术中LSTM网络结构中的xt和ht-1合并成一个向量,再分别乘以矩阵Wf、Wi和Wo得到zf、zi和zo,Wf,Wi,Wo分别为遗忘门、输入门、输出门权重矩阵,用于乘以各门输入的变量,zf,zi,zo为乘以权重W加上偏置后的各门输出,然后用这些向量由公式(5)得ct:
ct=zfct-1+ziz (5),
由公式(6)得到ht:ht=zotanh(ct) (6),
由公式(7)得到本轮的输出yt:yt=σ(Wht) (7),
如图4所示,本例中的LSTM网络结构对图3基础的网络结构改动之处在于将原本的tanh激励函数变为自适应激励函数Relu+tanh的加权平均函数,对于LSTM的每一个门传入的数据x采用u+v=1的形式进行激励,有效地避免了tanh梯度消失的问题,且能够保持tanh的非线性化特点,从而利用LSTM对学生一卡通消费相关信息进行训练,对每个学生进行预警分类,为每个学生针对性的生成个人分析报告,如果为高危预警会收到相应的预警信息并将预警信息与步骤3)中的人工神经网络进行级联从而预测该学生毕业概率;
5)与软件平台结合:利用现有的预警算法软件创建适用上述步骤的软件平台,用户端口分为教师端与学生端,学生有权查看自己个人学习成绩与个人相关信息、自己所在班级相关成绩信息、班级年级上的对应学科排名,如果为高危预警学生端会收到相应的预警信息;教师端有权查看该教师所带课程的所有学生的信息、查看班级各类信息、年级各类信息,若学生收到预警,则教师也会收到学生预警的提示,方便教师进行对学生成绩的关注,同时生成学生个人、班级、课程的图表,方便教师实时跟踪每个学生的学习情况与状况。
经过多次考量与测试,本例方法的准确度稳定可达94.21%,最高可达98.17%,且平均误检率稳定在1.97%,如图2所示,相比与现有的机器学习算法SVM,RF准确度具有明显的提升。
Claims (1)
1.一种基于人工神经网络与LSTM网络的学业预警方法,其特征在于,包括如下步骤:
1)基于RBF核的缺失数据处理:首先对学生数据进行清洗:对于数据完整的学生信息进行x'=(x-μ)/(Max-Min)的归一化处理;然后,对于数据缺失的学生信息采用RBF核函数对学生信息原数据通过K(v1,v2)=exp(-γ||v1-v2||)2的方式映射将学生信息原从低维空间映射到高维空间,映射过程如公式(1)所示:
其中,x′,y′为学生信息数据数组,y′为对应数组标签,α为RBF核参数gamma值,由此得到高维空间的每一个元素为:进而得到数据K(v1,v2,v3...)向量,再对数据K(v1,v2,v3...)向量采用x=(y-μ)/(Max-Min)的归一化处理,其中,y为要归一化的学生信息数据数组,x为归一化后的学生信息数组,μ为平均值,Max,Min为所有x元素中的最大与最小值;
2)基于多维正态分布的自适应特征提取:提取步骤1)经过数据清洗处理、归一化后的学生数据中的成绩信息向量G(x1,x2,x3...)进行多元正态分布筛选,定义成绩信息向量G(x1,x2,x3...)中的n维成绩信息若x1,x2,x3...,xn的任意线性组合Y=a1x1+a2x2+...+anxn服从正态分布,存在随机向量Z=[Z1,...,ZM]T,其中,每个元素服从正态分布以及随机向量μ=[μ1,...,μN]T和N*M的矩阵A满足X=AZ+μ;若n维成绩信息向量G(x1,x2,x3...)满足上述三个条件则称其满足多元正态分布,即成绩信息向量G(x1,x2,x3...)服从fx,对于成绩满足多元正态分布的学生信息规划为标准类、不满足的学生信息规划为奇异类,如公式(2)所示:
其中,x为归一化后的学生信息数组,μ为平均值,k为常数指数;
3)基于细化网络的人工神经网络训练:采用人工神经网络对步骤2)得到的学生成绩信息相关数据进行训练,训练采用弹性反向传播即Rprop算法,在Rprop算法中,权重的变化量Δwi,j直接等于学习率ηi,j(t),误差函数的梯度不影响权重的变化值,在Rprop算法中误差函数的梯度仅仅影响权重变化值的符号,即影响权重变化的方向,训练过程中权重的改变量直接等于每个权重对应的学习率,而权重的改变量的符号则取决于误差函数的梯度的符号,误差函数得梯度只决定权值更新的方向,不决定权值更新的强度,如果误差函数的梯度为正,则就降低相应的权重,使wi,j减去ηi,j(t),如果梯度为负数,则就增大相应的权重来使误差函数逼近最小值,如公式(3)所示::
至此明确权重如何更新,接下来学习率ηi,j(t)更新,任何t和(t-1)两个时间点的梯度的符号会变化,变化总共有两种情况:如果(t-1)和t两个时间点误差函数的梯度符号不同,表明在t时已经越过了最小值,表明上一次权值的更新步跨太大,则ηi,j(t)比ηi,j(t-1)更小使上一步的学习率和一个大于0小于1的值ηup相乘得到当前的学习率,当两次的符号相同,表明还未到达误差函数的最低点,使上一步的学习率乘以一个大于1的ηdown得到当前的学习率,如公式(4)所示:
4)自适应激励函数LSTM网络训练:采用LSTM网络对学生的每日一卡通消费相关信息进行训练,并将训练结果与人工神经网络级联输出最终的毕业概率结果,现有技术中LSTM网络结构为:LSTM模块设有三个输入分别为:ct-1、ht-1和xt,LSTM模块输出分别是ct、ht和yt,其中xt表示本轮的输入,ht-1表示上一轮的状态量输出,ct-1表示上一轮全局一个信息的载体,yt表示本轮的输出,ht表示本轮的状态量输出,ct表示本轮全局的一个信息载体,将xt和ht-1合并成一个向量再乘以向量W,外面再包一层tanh函数,得到向量z,采用激活函数sigmoid将现有技术中LSTM网络结构中的xt和ht-1合并成一个向量,再分别乘以矩阵Wf、Wi和Wo得到zf、zi和zo,Wf,Wi,Wo分别为遗忘门、输入门、输出门权重矩阵,用于乘以各门输入的变量,zf,zi,zo为乘以权重W加上偏置后的各门输出,由公式(5)得ct:
ct=zfct-1+ziz (5),
由公式(6)得到ht:ht=zotanh(ct) (6),
由公式(7)得到本轮的输出yt:yt=σ(Wht) (7),
将原本的tanh激励函数变为自适应激励函数Relu+tanh的加权平均函数,对于LSTM的每一个门传入的数据x采用u+v=1的形式进行激励,从而通过LSTM对学生一卡通消费相关信息进行训练,对每个学生进行预警分类,为每个学生针对性的生成个人分析报告,如果为高危预警会收到相应的预警信息并将预警信息与步骤3)中的人工神经网络进行级联从而预测该学生毕业概率;
5)与软件平台结合:利用现有的预警算法软件创建适用上述步骤的软件平台,用户端口分为教师端与学生端,学生有权查看自己个人学习成绩与个人相关信息、自己所在班级相关成绩信息、班级年级上的对应学科排名,如果为高危预警学生端会收到相应的预警信息;教师端有权查看该教师所带课程的所有学生的信息、查看班级各类信息、年级各类信息,若学生收到预警,则教师也会收到学生预警的提示,方便教师进行对学生成绩的关注,同时生成学生个人、班级、课程的图表,方便教师实时跟踪每个学生的学习情况与状况。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110101091.8A CN112801362B (zh) | 2021-01-26 | 2021-01-26 | 一种基于人工神经网络与lstm网络的学业预警方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110101091.8A CN112801362B (zh) | 2021-01-26 | 2021-01-26 | 一种基于人工神经网络与lstm网络的学业预警方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112801362A true CN112801362A (zh) | 2021-05-14 |
CN112801362B CN112801362B (zh) | 2022-03-22 |
Family
ID=75811697
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110101091.8A Expired - Fee Related CN112801362B (zh) | 2021-01-26 | 2021-01-26 | 一种基于人工神经网络与lstm网络的学业预警方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112801362B (zh) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110110939A (zh) * | 2019-05-15 | 2019-08-09 | 杭州华网信息技术有限公司 | 基于深度学习学生序列化行为的学业成绩预测预警方法 |
CN111260230A (zh) * | 2020-01-19 | 2020-06-09 | 西北大学 | 一种基于提升树模型的学业预警方法 |
US20200302296A1 (en) * | 2019-03-21 | 2020-09-24 | D. Douglas Miller | Systems and method for optimizing educational outcomes using artificial intelligence |
US20200356852A1 (en) * | 2019-05-07 | 2020-11-12 | Samsung Electronics Co., Ltd. | Model training method and apparatus |
CN112257935A (zh) * | 2020-10-26 | 2021-01-22 | 中国人民解放军空军工程大学 | 一种基于lstm—rbf神经网络模型的航空安全预测方法 |
-
2021
- 2021-01-26 CN CN202110101091.8A patent/CN112801362B/zh not_active Expired - Fee Related
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20200302296A1 (en) * | 2019-03-21 | 2020-09-24 | D. Douglas Miller | Systems and method for optimizing educational outcomes using artificial intelligence |
US20200356852A1 (en) * | 2019-05-07 | 2020-11-12 | Samsung Electronics Co., Ltd. | Model training method and apparatus |
CN110110939A (zh) * | 2019-05-15 | 2019-08-09 | 杭州华网信息技术有限公司 | 基于深度学习学生序列化行为的学业成绩预测预警方法 |
CN111260230A (zh) * | 2020-01-19 | 2020-06-09 | 西北大学 | 一种基于提升树模型的学业预警方法 |
CN112257935A (zh) * | 2020-10-26 | 2021-01-22 | 中国人民解放军空军工程大学 | 一种基于lstm—rbf神经网络模型的航空安全预测方法 |
Non-Patent Citations (2)
Title |
---|
宋楚平等: "一种RBF神经网络改进算法在高校学习预警中的应用", 《计算机应用与软件》 * |
肖逸枫: "数据挖掘技术用于高校学生留级预警的研究", 《中国优秀硕士学位论文全文数据库 (信息科技辑)》 * |
Also Published As
Publication number | Publication date |
---|---|
CN112801362B (zh) | 2022-03-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2022077587A1 (zh) | 一种数据预测方法、装置及终端设备 | |
CN110599336B (zh) | 一种金融产品购买预测方法及*** | |
Liang et al. | Multi-scale dynamic adaptive residual network for fault diagnosis | |
US11704570B2 (en) | Learning device, learning system, and learning method | |
CN109284662B (zh) | 一种基于迁移学习的水下声音信号分类方法 | |
CN111340107A (zh) | 基于卷积神经网络代价敏感学习的故障诊断方法及*** | |
CN112149884A (zh) | 一种面向大规模学员的学业预警监测方法 | |
Liu et al. | Stock price trend prediction model based on deep residual network and stock price graph | |
CN109063750B (zh) | 基于cnn和svm决策融合的sar目标分类方法 | |
CN112489689B (zh) | 基于多尺度差异对抗的跨数据库语音情感识别方法及装置 | |
CN111462817B (zh) | 一种分类模型构建方法、装置、分类模型及分类方法 | |
CN112801362B (zh) | 一种基于人工神经网络与lstm网络的学业预警方法 | |
CN117011219A (zh) | 物品质量检测方法、装置、设备、存储介质和程序产品 | |
CN112085079B (zh) | 一种基于多尺度多任务学习的滚动轴承故障诊断方法 | |
CN113010687B (zh) | 一种习题标签预测方法、装置、存储介质以及计算机设备 | |
CN115345257A (zh) | 飞行轨迹分类模型训练方法、分类方法、装置及存储介质 | |
CN111291838B (zh) | 实体对象分类结果的解释方法和装置 | |
CN111382761B (zh) | 一种基于cnn的检测器、图像检测方法及终端 | |
CN112381338A (zh) | 事件概率预测模型训练、事件概率预测方法及相关装置 | |
US20210133556A1 (en) | Feature-separated neural network processing of tabular data | |
CN110647630A (zh) | 检测同款商品的方法及装置 | |
CN116405368B (zh) | 一种高维不平衡数据条件下的网络故障诊断方法、*** | |
Tomar | A critical evaluation of activation functions for autoencoder neural networks | |
CN113469450B (zh) | 一种数据分类方法、装置、计算机设备及存储介质 | |
CN113240000B (zh) | 机器状态监测方法、可读存储介质及电子设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20220322 |