CN116227729A - 基于机器学习的学习评价方法及装置、设备 - Google Patents
基于机器学习的学习评价方法及装置、设备 Download PDFInfo
- Publication number
- CN116227729A CN116227729A CN202310276474.8A CN202310276474A CN116227729A CN 116227729 A CN116227729 A CN 116227729A CN 202310276474 A CN202310276474 A CN 202310276474A CN 116227729 A CN116227729 A CN 116227729A
- Authority
- CN
- China
- Prior art keywords
- learning
- evaluation
- user
- current
- model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000011156 evaluation Methods 0.000 title claims abstract description 136
- 238000010801 machine learning Methods 0.000 title claims abstract description 37
- 238000000034 method Methods 0.000 claims abstract description 48
- 238000012549 training Methods 0.000 claims abstract description 29
- 238000012417 linear regression Methods 0.000 claims abstract description 19
- 230000008451 emotion Effects 0.000 claims description 48
- 238000002372 labelling Methods 0.000 claims description 17
- 238000007637 random forest analysis Methods 0.000 claims description 10
- 238000006243 chemical reaction Methods 0.000 claims description 8
- 238000013210 evaluation model Methods 0.000 claims description 8
- 238000004590 computer program Methods 0.000 claims description 6
- 230000008569 process Effects 0.000 abstract description 25
- 230000006399 behavior Effects 0.000 abstract description 12
- 238000012545 processing Methods 0.000 abstract description 3
- 238000004364 calculation method Methods 0.000 description 8
- 238000004422 calculation algorithm Methods 0.000 description 6
- 238000004458 analytical method Methods 0.000 description 5
- 238000003066 decision tree Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 5
- 238000012360 testing method Methods 0.000 description 5
- 238000010606 normalization Methods 0.000 description 4
- 238000013278 delphi method Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000011835 investigation Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 230000003872 anastomosis Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000001364 causal effect Effects 0.000 description 1
- 230000008094 contradictory effect Effects 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000007418 data mining Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
- G06Q10/063—Operations research, analysis or management
- G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
- G06Q10/06393—Score-carding, benchmarking or key performance indicator [KPI] analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
- G06Q50/20—Education
- G06Q50/205—Education administration or guidance
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation
Landscapes
- Business, Economics & Management (AREA)
- Engineering & Computer Science (AREA)
- Human Resources & Organizations (AREA)
- Strategic Management (AREA)
- Economics (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Tourism & Hospitality (AREA)
- Educational Administration (AREA)
- General Physics & Mathematics (AREA)
- Marketing (AREA)
- General Business, Economics & Management (AREA)
- Entrepreneurship & Innovation (AREA)
- Development Economics (AREA)
- Quality & Reliability (AREA)
- Operations Research (AREA)
- Game Theory and Decision Science (AREA)
- Educational Technology (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Primary Health Care (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本发明属于学情数据处理技术领域，公开了一种基于机器学习的学习评价方法，通过获取历史学情数据标注后对线性回归模型进行有监督训练获得评分模型，并在学习过程中根据预设学习总时长、用户的当前学习时长以及多个当前学情数据，将用户的多个当前学情数据换算成一一对应的多个学情目标预测值，该学情目标预测值视为基于当前学习行为和进度得到的最终学情数据预测，再将多个学情目标预测值输入评分模型预测得到用户的评价分数，从而无论学习进度如何，均可进行与当前进度相符的学习评价，用户在学习过程中能够随时了解当前学习行为的评价结果，也即可以实现嵌入学习过程的实时评价，进而提高学习评价的有效性。
Description
技术领域
本发明属于学情数据处理技术领域，具体涉及一种基于机器学习的学习评价方法及装置、设备、存储介质。
背景技术
现有学***均分析方法、基于模糊理论分析方法等。其中，线性加权平均分析方法为学习评价各个指标在归一化原则下设置权重，通过简单的算法，可计算得出结果。而基于模糊理论的分析方法则将评价目标看成是由多种因素组成的模糊集合，再设定这些因素所能选取的评审等级，组成评判集，分别求出各单一因素对各个评审等级的归属程度，即模糊矩阵，然后根据各个因素在评价目标中的权重分配，通过模糊矩阵合成，求出评价的定量解值。
但是传统基于统计的评价方法已不能满足海量数据的分析需求。上述两种方法的指标权重一般为相关领域的教育专家直接赋值分配。一方面在学习评价因素权重的设计上，教育专家指定权重的方式会因为主观因素而带来不确定性，在评价指标较多时，还容易引起混淆或者权重模糊的问题，且工作量巨大。另一方面，基于统计的学习评价方法需要足够多的数据样本，而这些数据样本必须来自于同一分布，因此过于依赖数据分布和给定的数据集。
目前，在大数据环境以及人工智能技术发展支持下，以数据挖掘、机器学习为代表的大数据分析方法可成为基于教育大数据的有效评估工具。机器学习方法从大类上可分为无监督算法与有监督算法，无监督算法基于特征之间的内在联系，适合海量数据集的快速分类，但不适宜精准的目标预测。有监督算法可以根据训练数据中表达的特征，实现数据隐含价值的深入挖掘，在训练数据足够大的环境中，能够获得很好的分类效果。
但在实践中发现，现有的基于机器学习的自动评价都是终结性评价，即在学生的线上或线下学习行为在完成一个学习阶段后，对所有学情数据进行综合评价。研究嵌入式过程性评价的基本上都是教师基于学生的学习过程进行人工评价及指导，缺乏嵌入学习过程的实时性自动学习评价方法。在当前学习型社会以及自主学习背景下，学生在学习过程中无法随时了解当前学习行为的评价结果，容易让自主学习陷入迷茫甚至导致放弃学习。可见，现有基于机器学习的学习评价方法无法实现嵌入学习过程的实时评价，导致学习评价最终的有效性不够。
发明内容
本发明的目的在于提供一种基于机器学习的学习评价方法及装置、设备、存储介质，可以实现嵌入学习过程的实时评价，进而提高学习评价的有效性。
本发明第一方面公开一种基于机器学习的学习评价方法，包括：
对若干历史学情数据进行标注，获得每个历史学情数据的标签信息；
根据所述历史学情数据及其标签信息，对线性回归模型进行有监督训练获得评分模型；
获取用户的当前学习时长以及多个当前学情数据；
根据预设学习总时长、所述当前学习时长和所述当前学情数据，计算获得用户的多个学情目标预测值；其中，多个学情目标预测值与多个当前学情数据一一对应；
利用所述评分模型根据多个学情目标预测值，计算获得用户的评价分数。
本发明第二方面公开一种基于机器学习的学习评价装置，包括：
标注单元，用于对若干历史学情数据进行标注，获得每个历史学情数据的标签信息；
训练单元，用于根据所述历史学情数据及其标签信息，对线性回归模型进行有监督训练获得评分模型；
获取单元，用于获取用户的当前学习时长以及多个当前学情数据；
换算单元，用于根据预设学习总时长、所述当前学习时长和所述当前学情数据，计算获得用户的多个学情目标预测值；其中，多个学情目标预测值与多个当前学情数据一一对应；
评分单元，用于利用所述评分模型根据多个学情目标预测值，计算获得用户的评价分数。
本发明第三方面公开一种电子设备，包括存储有可执行程序代码的存储器以及与所述存储器耦合的处理器；所述处理器调用所述存储器中存储的所述可执行程序代码，用于执行第一方面公开的基于机器学习的学习评价方法。
本发明第四方面公开一种计算机可读存储介质，所述计算机可读存储介质存储计算机程序，其中，所述计算机程序使得计算机执行第一方面公开的基于机器学习的学习评价方法。
本发明的有益效果在于，所提供的基于机器学习的学习评价方法及装置、设备、存储介质，通过获取若干历史学情数据标注后对线性回归模型进行有监督训练获得评分模型，并在学习过程中根据预设学习总时长、用户的当前学习时长以及多个当前学情数据，将用户的多个当前学情数据换算成一一对应的多个学情目标预测值，该学情目标预测值视为基于当前学习行为和进度得到最终学情数据预测，再将用户的多个学情目标预测值输入训练好的评分模型预测获得用户的评价分数，从而无论学习进度如何，均可进行与当前进度相符的学习评价，用户在学习过程中能够随时了解当前学习行为的评价结果，也即，可以实现嵌入学习过程的实时评价，进而提高学习评价的有效性。
附图说明
此处的附图，示出了本发明所述技术方案的具体实例，并与具体实施方式构成说明书的一部分，用于解释本发明的技术方案、原理及效果。
除非特别说明或另有定义，不同附图中，相同的附图标记代表相同或相似的技术特征，对于相同或相似的技术特征，也可能会采用不同的附图标记进行表示。
图1是本发明公开的一种基于机器学习的学习评价方法的流程图；
图2是本发明公开的一种基于机器学习的学习评价装置的结构示意图；
图3是本发明公开的一种电子设备的结构示意图。
附图标记说明：
201、标注单元；202、训练单元；203、获取单元；204、换算单元；205、评分单元；301、存储器；302、处理器。
具体实施方式
为了便于理解本发明，下面将参照说明书附图对本发明的具体实施例进行更详细的描述。
除非特别说明或另有定义，本文所使用的所有技术和科学术语与所属技术领域的技术人员通常理解的含义相同。在结合本发明的技术方案以现实的场景的情况下，本文所使用的所有技术和科学术语也可以具有与实现本发明的技术方案的目的相对应的含义。本文所使用的“第一、第二…”仅仅是用于对名称的区分，不代表具体的数量或顺序。本文所使用的术语“和/或”包括一个或多个相关的所列项目的任意的和所有的组合。
需要说明的是，当元件被认为“固定于”另一个元件，它可以是直接固定在另一个元件上，也可以是存在居中的元件；当一个元件被认为是“连接”另一个元件，它可以是直接连接到另一个元件，也可以是同时存在居中元件；当一个元件被认为是“安装在”另一个元件，它可以是直接安装在另一个元件，也可以是同时存在居中元件。当一个元件被认为是“设在”另一个元件，它可以是直接设在另一个元件，也可以是同时存在居中元件。
除非特别说明或另有定义，本文所使用的“所述”、“该”为相应位置之前所提及或描述的技术特征或技术内容，该技术特征或技术内容与其所提及的技术特征或技术内容可以是相同的，也可以是相似的。此外，本文所使用的术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、***、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。
毫无疑义，与本发明的目的相违背，或者明显矛盾的技术内容或技术特征，应被排除在外。
如图1所示，本发明实施例公开一种基于机器学***板电脑等电子设备，或内嵌于电子设备中的基于机器学习的学习评价装置，本发明对此不作限定。该方法包括以下步骤110～150：
110、对若干历史学情数据进行标注，获得每个历史学情数据的标签信息。
在该步骤中，收集历史学情数据，形成包括涵盖情感态度、课程学习、协作学习、学习结果方面的相关20个评价有关指标的指标特征值。评价指标实现自动获取并且量化，消除人为主观性以及大量劳动带来的不稳定性，保证了评价的适应面和可操作性。然后，通过专家标注，即根据教师经验以及实际学习情况，给出评价结果(即标注信息)，作为训练模型和测试模型的依据。
优选的，在获取用户对每个历史学情数据的标注信息之后，可以根据标注信息生成每个历史学情数据的独热(one-hot)编码作为标签信息。该独热编码可表示为：OneHotEncoder().fit_transform(ya.reshape(-1，1))。通过采用独热编码进行数据的分类标注，可以让特征之间的距离计算更加合理，避免不同标签信息之间干扰计算，使计算结果更加准确。
由于数据并不一定满足正态分布，可通过Normalization特征正则化处理normalize(X,axis＝0,norm＝'max')，将数据归到制定的区间[0，1]内，该Normalization特征正则化方法不受任何特定分布的约束，可以在一定程度上抑制了异常值的影响。正则化处理公式如式(1)所示：
其中X为原始数据(即历史学情数据中的各个指标特征值)，Xmin和Xmax为其中的最大值和最小值，Xnorm为正则化结果。
在正则化处理后，将历史学情数据划分：train_test_split(X,y,test_size＝0.2,random_state＝1)，将80％的历史学情数据作为训练集用于模型训练，20％的历史学情数据作为测试集用于模型测试。
120、根据历史学情数据及其标签信息，对线性回归模型进行有监督训练获得评分模型。
其中，评分模型用于评价学生的总评分，采用多级线性回归模型Multi_level_LinearRegression()。线性回归的基本思想是建立评价指标与评价得分的线性关系。在评分模型中，多级线性回归可以用于拟合不同级别的特征，特征包括一级指标和二级指标，将这些特征映射到对应的分数上；多级评分将影响评价结论的一级指标再细分二级指标，先对二级指标评价得到各个一级指标结论，再对一级指标综合评价得带最终结论。
例如，当我们需要对一个学生的学***台时长、观看视频总时长、近三次作业平均分、观看视频个数以及笔记测评完成作业次数、预***均分、学习进度、学习反思总字数、拓展知识完成度、回答问题被点赞数等二级指标综合评分。
线性回归模型的可解释性非常好，可以帮助理解模型对于评价结果的贡献，从而对模型进行改进和优化。线性回归模型通过对现有样本进行回归，进而计算出回归系数以确定线性的评分模型，最后使用该评分模型对未知样本进行预测。其中，该线性回归模型如式(2)所示：
其中xi表示第i个特征值(即一级指标或二级指标的值)，wi表示第i个特征对应的权重系数，b表示偏置值，y表示预测分数。
在具体实践中，可以使用LinearRegression类创建了一个线性回归模型，并使用fit()方法对该线性回归模型进行训练。在训练完成后，通过访问模型的coef_属性和intercept_属性来获取模型的参数。其中，coef_属性包含输入的特征的权重系数；intercept_属性包含模型的截距参数，也就是模型的偏置值。
在训练完成后，得到的每个一级指标相应的二级指标特征回归系数和偏置值如表1所示。一级指标特征回归系数和偏置值如表2所示。
表1二级指标线性回归系数表
表2一级指标线性回归系数表
作为一种可选的实施例，在执行步骤110之后，还可以根据历史学情数据及其标签信息，对随机森林模型RandomForestRegressor()进行有监督训练获得评级模型。该评级模型用于评价学生的总评等级。
随机森林是一种基于决策树的集成学***均，从而得到最终的评价结果。相对于单一的决策树模型，随机森林具有更好的鲁棒性和稳定性，可以有效避免过拟合问题，并且可以处理不平衡数据集的情况。
随机森林算法的基本思想是：通过集成学习的思想将多棵树集成，它的基本单元是决策树，每棵决策树都是一个分类器，对于一个输入样本，N棵树会有N个分类结果。而随机森林集成了所有的分类投票结果，将投票次数最多的类别指定为最终的输出。
在训练评级模型的过程中，可以采用测试集对模型性能进行评估，以保证训练模型的有效性。优选的，用于性能评估的评估指标包括均方误差(mean-squareerror，MSE)和决定系数R2。其中，均方误差MSE，是指模型预测结果与实际观测值之间差的平方的均值。它衡量了模型的预测值和真实值之间的平均偏差程度，因此可以用来评估模型的准确性。具体来说，均方误差越小，表示模型预测结果与实际观测值越接近，模型的拟合效果越好。
均方误差MSE的计算如式(3)所示：
MSE取值范围[0,+∞)，m为元素个数，当标注值yi与预测值
完全吻合时等于0，即完美模型；误差越大，该值越大。本模型得到的训练模型MSE值为0.002，测试模型MSE值为0.011。
决定系数R2，如式(4)所示：
其中，yi为标准值、
为预测值、/>
为预测值均值。R2值为0-1，代表模型的好坏程度。本模型得到的训练模型R2值为0.070。/>
均方差可以评估模型的准确性，而决定系数可以评估模型的解释能力。同时使用这两个指标，可以更全面地评估模型的拟合效果。
从评估结果可以看出，本学习评价模型具有很好的有效性。
130、获取用户的当前学习时长以及多个当前学情数据。
在实际应用中，可以以预设时间间隔获取用户的当前学习时长以及多个当前学情数据，进行学习评价。或者，也可以在检测到用户输入的学习评价指令时，获取用户的当前学习时长以及多个当前学情数据，进行学习评价。
140、根据预设学习总时长、当前学习时长和当前学情数据，计算获得用户的多个学情目标预测值。其中，多个学情目标预测值与多个当前学情数据一一对应。
为保证评价可以嵌入学习过程，即在学习过程中随时可以对当前学习行为进行评价，需要实时采集到的用户的当前学情数据进行换算处理。也即，在学习过程中，将需要累积的用户的多个当前学情数据换算成一一对应的多个学情目标预测值，该学情目标预测值视为基于当前学习行为和进度得到最终学情数据预测。
其中，需要累积的多个当前学情数据包括表1中的多个二级指标的值。如表1中的：登录次数、学***台时长、观看视频总时长、观看视频个数以及笔记测评完成作业次数、参与小组任务次数、担任任务组长次数、回答问题次数、查看问题次数、学习进度、学习反思总字数、回答问题被点赞数。
其余的特定二级指标，包括近三次作业平均分、预***均分、拓展知识完成度则不需要换算。其对应的值可以直接作为其对应的学情目标预测值参与评分计算。
因此在执行步骤140之前，还可以先判断多个当前学情数据是否包括上述的特定二级指标，该特定二级指标携带有无需换算的提示信息；若属于，则直接将各个当前学情数据作为其对应的学情目标预测值；若不属于，则执行步骤140，对当前学情数据进行换算处理。
对于各个二级指标的值进行换算，可获得各个二级指标对应的学情目标预测值，以此进行学习行为评价，作为指导下一步学习的依据。具体的，可以通过以下公式(5)计算获得用户的多个学情目标预测值：
其中，Df为学情目标预测值，Dn为当前学情数据(即二级指标的值)，Tf为预设学习总时长，Tn为当前学习时长。一般预设学习总时长为教学总天数，例如一个学期18周共126天，而当前学习时长为当前开课天数。
如评价某同学某科目的总评价时，该科目学习总时长Tf即教学总天数为18周共126天，当前日期为4月23日，距离开学日2月17日共67天，即当前学习时长Tn为67。下面分别以表1所示的以下三个二级指标“观看视频总时长”、“回答问题次数”和“学习反思总字数”进行举例说明。
举例来说，在换算“观看视频总时长”指标时，同学A当前观看视频累计350分钟，则其“观看视频总时长”指标的学情目标预测值为
(分钟)；同学B在同日观看视频累计320分钟，同理则其“观看视频总时长”指标的学情目标预测值为602分钟；过了10天，同学A的观看视频时长没有增加，而当前学习时长增加了10天，则其观看视频预测时长的学情目标预测值会随着教学时间进度推进下降为/>
(分钟)。
再举例来说，在换算“回答问题次数”指标时，同学A当前回答问题次数为12次，则其“回答问题次数”指标的学情目标预测值为
次；过了10天，同学A的回答问题次数为15次，则其“回答问题次数”指标的学情目标预测值随着学习行为变化，预测为
次。
又举例来说，在换算“学习反思总字数”指标时，同学A当前学习反思字数为2800字，则其“学习反思总字数”指标的学情目标预测值为
字；过了10天，同学A的学习反思字数为2900字，则其“学习反思总字数”指标的学情目标预测值随着学习行为变化，预测为/>
字。
由上述指标数据换算预处理过程可见，在学生学习过程中，针对各个二级指标的学情目标预测值随着学习行为变化不断变化，最终的预测学习评价也会不同，从而实现嵌入式的学习评价，帮助指导调整学习行为。
作为一种可选的实施方式，在执行步骤140之前，还可以先在用户操作界面上输出评分提示信息和评级提示信息；若在预设时长(如10秒或20秒)内检测到用户输入的针对评分提示信息的选择指令时，执行步骤140。
进一步优选的，若在预设时长内检测到用户输入的针对评级提示信息的选择指令时，则利用上述对随机森林模型进行有监督训练所获得的评级模型、根据多个学情目标预测值计算获得用户的总评等级。
150、利用评分模型根据多个学情目标预测值，计算获得用户的评价分数。
在实际应用中，可能采集的某一用户的多个当前学情数据未包括表1中所列的全部二级指标，例如仅包括表1所列的部分二级指标时。可以仅针对采集到的二级指标的值进行计算。
具体的在步骤150中，可包括以下步骤1501～1504：
1501、确定各个学情目标预测值对应的学情类别。
其中，用户的多个当前学情数据包括多个二级指标的值，相应的，学情类别可包括多个二级指标对应的一级指标。
1502、根据评分模型的模型参数，确定各个学情类别对应的第一偏置值、各个学情目标预测值对应的第一权重系数、各个学情类别对应的第二权重系数、第二偏置值。
1503、根据各个学情类别对应的第一偏置值、各个学情目标预测值及其对应的第一权重系数，计算获得用户在各个学情类别下的类别指标值。
各个一级指标的值(即类别指标值)由其包含的二级指标的值进行计算。步骤1503中，可根据式(2)得到下式(6)，通过式(6)计算用户在各个学情类别下的类别指标值，也即，将各个学情类别下的各个学情目标预测值作为特征值、以及表1中相应的一级指标的偏置值，输入式(6)计算获得用户在各个学情类别下的类别指标值，该类别指标值指的是对应的一级指标的值。
式中，wj代表第j个一级指标的值，b1j代表第j个一级指标对应的第一偏置值，wi代表第j个一级指标下的第i个二级指标的值，xi代表第j个一级指标下的第i个二级指标的值对应的第一权重系数。
1504、根据第二偏置值、各个类别指标值及其对应的第二权重系数，计算获得用户的评价分数。
步骤1504中，可根据式(2)得到下式(7)，通过式(7)计算用户的评价分数。也即，将各个类别指标值作为特征值、以及表2中的偏置值输入式(7)计算获得用户的评价分数。
式中，s代表用户的评价分数，b2代表第二偏置值，wj代表第j个一级指标的值，xj代表第j个一级指标对应的第二权重系数。
为了验证评价结果的准确度，由教育专家和任课教师组成10人专家小组对学情数据进行评判，得出评价结果，与训练模型得到的评价结果相比对。
专家组评价采用delphi方法，也就是专家调查法。delphi方法利用专家的知识和经验，在对新技术进行评估时是一种有效的方法，也是唯一可选用的调查方法。
首先将学情数据中考虑的4个一级指标和20个二级指标向专家组介绍，明确本次评价的目标是得出总的学习评价得分与等级。然后专家组每位专家独立匿名评价。收集专家组的评价，对其中评价结果有较大差异的部分学情数据打乱，再次分别征询意见、收集评价结果。如此反复进行三轮匿名评价。最后对所有专家所有学情数据的末次评价整理统计，采用中位数法，得到专家组的最终评价得分与等级。
delphi方法能使每一位专家独立自由地作出自己的判断，经过预测过程几轮反馈，使专家的意见逐渐趋同。克服了在专家会议法中经常发生的专家们不能充分发表意见、权威人物的意见左右其他人的意见等弊病，各位专家能真正充分地发表自己的预测意见。
基于随机森林模型得到的评价等级结果和专家组得到的评价等级结果采用一一比较的方式，具有93.3％的一致性。
基于多级线性回归模型得到的评价评分结果和专家组得到的评价评分结果采用值方差(value square deviation,VSD)方法验证得分的相似程度。值方差计算公式如式(8)所示，值越小序列越相似。
其中n为评价人数，A、B为分别存放两种评价结果的两个数列，A[i]、B[i]分别表示数列A和数列B中的第i位的数字。经计算，本评分结果与专家评分结果的值方差为0.51，准确程度高。
由此可见，实施本发明实施例，采用机器学习的方法实现嵌入学习过程的学习评分模型和分级模型，无论学习进度如何，均可进行与当前进度相符的学习评价，用户在学习过程中能够随时了解当前学习行为的评价结果，也即，可以实现嵌入学习过程的实时评价，进而提高学习评价的有效性。除此之外，还能够充分考虑评价指标与评价结果的相关性，而不考虑因果关系，更符合现实；而且采用多级评价模型，将评价指标分类，分类评价，再汇总评价，能够实现评价指标的精细化处理。
如图2所示，本发明实施例公开一种基于机器学习的学习评价装置，包括标注单元201、训练单元202、获取单元203、换算单元204、评分单元205，其中，
标注单元201，用于对若干历史学情数据进行标注，获得每个历史学情数据的标签信息；
训练单元202，用于根据历史学情数据及其标签信息，对线性回归模型进行有监督训练获得评分模型；
获取单元203，用于获取用户的当前学习时长以及多个当前学情数据；
换算单元204，用于根据预设学习总时长、当前学习时长和当前学情数据，计算获得用户的多个学情目标预测值；其中，多个学情目标预测值与多个当前学情数据一一对应；
评分单元205，用于利用评分模型根据多个学情目标预测值，计算获得用户的评价分数。
作为一种可选的实施方式，基于机器学习的学习评价装置还可以包括未图示的提示单元，用于在评分单元205利用评分模型根据多个学情目标预测值，计算获得用户的评价分数之前，在用户操作界面上输出评分提示信息和评级提示信息；以及，若在预设时长内检测到用户输入的针对评分提示信息的选择指令，触发评分单元205执行利用评分模型根据多个学情目标预测值，计算获得用户的评价分数的操作。
相应的，基于机器学习的学习评价装置还可以包括未图示的评级单元，用于在提示单元在用户操作界面上输出评分提示信息和评级提示信息之后，若在预设时长内检测到用户输入的针对评级提示信息的选择指令，利用评级模型根据多个学情目标预测值计算获得用户的总评等级；其中，评级模型根据历史学情数据及其标签信息，对随机森林模型进行有监督训练所获得。
进一步优选的，标注单元201具体用于获取用户对每个历史学情数据的标注信息；根据所述标注信息，生成每个历史学情数据的独热编码作为标签信息。
进一步优选的，评分单元205，具体包括以下未图示的子单元：
分类子单元，用于确定各个学情目标预测值对应的学情类别；
确定子单元，用于根据所述评分模型的模型参数，确定各个学情类别对应的第一偏置值、各个学情目标预测值对应的第一权重系数、各个学情类别对应的第二权重系数、第二偏置值；
第一计算子单元，用于根据各个学情类别对应的第一偏置值、各个学情目标预测值及其对应的第一权重系数，计算获得用户在各个学情类别下的类别指标值；
第二计算子单元，用于根据所述第二偏置值、各个类别指标值及其对应的第二权重系数，计算获得用户的评价分数。
如图3所示，本发明实施例公开一种电子设备，包括存储有可执行程序代码的存储器301以及与存储器301耦合的处理器302；
其中，处理器302调用存储器301中存储的可执行程序代码，执行上述各实施例中描述的基于机器学习的学习评价方法。
本发明实施例还公开一种计算机可读存储介质，其存储计算机程序，其中，该计算机程序使得计算机执行上述各实施例中描述的基于机器学习的学习评价方法。
以上实施例的目的，是对本发明的技术方案进行示例性的再现与推导，并以此完整的描述本发明的技术方案、目的及效果，其目的是使公众对本发明的公开内容的理解更加透彻、全面，并不以此限定本发明的保护范围。
以上实施例也并非是基于本发明的穷尽性列举，在此之外，还可以存在多个未列出的其他实施方式。在不违反本发明构思的基础上所作的任何替换与改进，均属本发明的保护范围。
Claims (10)
1.基于机器学习的学习评价方法，其特征在于，包括：
对若干历史学情数据进行标注，获得每个历史学情数据的标签信息；
根据所述历史学情数据及其标签信息，对线性回归模型进行有监督训练获得评分模型；
获取用户的当前学习时长以及多个当前学情数据；
根据预设学习总时长、所述当前学习时长和所述当前学情数据，计算获得用户的多个学情目标预测值；其中，多个学情目标预测值与多个当前学情数据一一对应；
利用所述评分模型根据多个学情目标预测值，计算获得用户的评价分数。
2.如权利要求1所述的基于机器学习的学习评价方法，其特征在于，利用所述评分模型根据多个学情目标预测值，计算获得用户的评价分数之前，所述方法还包括：
在用户操作界面上输出评分提示信息和评级提示信息；
若在预设时长内检测到用户输入的针对所述评分提示信息的选择指令，执行所述利用所述评分模型根据多个学情目标预测值计算获得用户的评价分数的步骤。
3.如权利要求2所述的基于机器学习的学习评价方法，其特征在于，在用户操作界面上输出评分提示信息和评级提示信息之后，所述方法还包括：
若在预设时长内检测到用户输入的针对所述评级提示信息的选择指令，利用评级模型根据多个学情目标预测值计算获得用户的总评等级；其中，所述评级模型根据所述历史学情数据及其标签信息，对随机森林模型进行有监督训练所获得。
4.如权利要求1至3任一项所述的基于机器学习的学习评价方法，其特征在于，对若干历史学情数据进行标注获得每个历史学情数据的标签信息，包括：
获取用户对每个历史学情数据的标注信息；
根据所述标注信息，生成每个历史学情数据的独热编码作为标签信息。
5.如权利要求1至3任一项所述的基于机器学习的学习评价方法，其特征在于，利用所述评分模型根据多个学情目标预测值，计算获得用户的评价分数，包括：
确定各个学情目标预测值对应的学情类别；
根据所述评分模型的模型参数，确定各个学情类别对应的第一偏置值、各个学情目标预测值对应的第一权重系数、各个学情类别对应的第二权重系数、第二偏置值；
根据各个学情类别对应的第一偏置值、各个学情目标预测值及其对应的第一权重系数，计算获得用户在各个学情类别下的类别指标值；
根据所述第二偏置值、各个类别指标值及其对应的第二权重系数，计算获得用户的评价分数。
6.如权利要求1至3任一项所述的基于机器学习的学习评价方法，其特征在于，所述获取用户的当前学习时长以及多个当前学情数据，包括：
当检测到用户输入的学习评价指令时，获取用户的当前学习时长以及多个当前学情数据。
7.如权利要求1至3任一项所述的基于机器学习的学习评价方法，其特征在于，根据预设学习总时长、所述当前学习时长和所述当前学情数据，计算获得用户的多个学情目标预测值，包括：
通过以下公式计算获得用户的多个学情目标预测值：
其中，Df为学情目标预测值，Dn为当前学情数据，Tf为预设学习总时长，Tn为当前学习时长。
8.基于机器学习的学习评价装置，其特征在于，包括：
标注单元，用于对若干历史学情数据进行标注，获得每个历史学情数据的标签信息；
训练单元，用于根据所述历史学情数据及其标签信息，对线性回归模型进行有监督训练获得评分模型；
获取单元，用于获取用户的当前学习时长以及多个当前学情数据；
换算单元，用于根据预设学习总时长、所述当前学习时长和所述当前学情数据，计算获得用户的多个学情目标预测值；其中，多个学情目标预测值与多个当前学情数据一一对应；
评分单元，用于利用所述评分模型根据多个学情目标预测值，计算获得用户的评价分数。
9.电子设备，其特征在于，包括存储有可执行程序代码的存储器以及与所述存储器耦合的处理器；所述处理器调用所述存储器中存储的所述可执行程序代码，用于执行权利要求1至7任一项所述的基于机器学习的学习评价方法。
10.计算机可读存储介质，其特征在于，所述计算机可读存储介质存储计算机程序，其中，所述计算机程序使得计算机执行权利要求1至7任一项所述的基于机器学习的学习评价方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310276474.8A CN116227729B (zh) | 2023-03-20 | 2023-03-20 | 基于机器学习的学习评价方法及装置、设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310276474.8A CN116227729B (zh) | 2023-03-20 | 2023-03-20 | 基于机器学习的学习评价方法及装置、设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116227729A true CN116227729A (zh) | 2023-06-06 |
| CN116227729B CN116227729B (zh) | 2023-10-10 |
Family
ID=86591114
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310276474.8A Active CN116227729B (zh) | 2023-03-20 | 2023-03-20 | 基于机器学习的学习评价方法及装置、设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116227729B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117273389A (zh) * | 2023-11-02 | 2023-12-22 | 永信至诚科技集团股份有限公司 | 一种基于网络靶场的学情管理方法及装置 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106779166A (zh) * | 2016-11-23 | 2017-05-31 | 北京师范大学 | 一种基于数据驱动的知识点掌握状态的预测***及方法 |
| CN106779079A (zh) * | 2016-11-23 | 2017-05-31 | 北京师范大学 | 一种基于多模型数据驱动的知识点掌握状态的预测***及方法 |
| CN109272164A (zh) * | 2018-09-29 | 2019-01-25 | 清华大学深圳研究生院 | 学习行为动态预测方法、装置、设备及存储介质 |
| CN111626372A (zh) * | 2020-05-29 | 2020-09-04 | 安徽医学高等专科学校 | 一种线上教学监督管理方法及*** |
| CN111882247A (zh) * | 2020-08-07 | 2020-11-03 | 成都理工大学 | 一种基于综合模糊评价模型的在线学习***评价方法 |
| CN112435152A (zh) * | 2020-12-04 | 2021-03-02 | 北京师范大学 | 一种在线学习投入动态评价方法及*** |
| KR102406416B1 (ko) * | 2021-08-20 | 2022-06-08 | (주)뤼이드 | 학습 실력 평가 방법, 학습 실력 평가 장치 및 학습 실력 평가 시스템 |
| CN115455186A (zh) * | 2022-09-16 | 2022-12-09 | 北京师范大学 | 一种基于多模型的学情分析方法 |
-
2023
- 2023-03-20 CN CN202310276474.8A patent/CN116227729B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106779166A (zh) * | 2016-11-23 | 2017-05-31 | 北京师范大学 | 一种基于数据驱动的知识点掌握状态的预测***及方法 |
| CN106779079A (zh) * | 2016-11-23 | 2017-05-31 | 北京师范大学 | 一种基于多模型数据驱动的知识点掌握状态的预测***及方法 |
| CN109272164A (zh) * | 2018-09-29 | 2019-01-25 | 清华大学深圳研究生院 | 学习行为动态预测方法、装置、设备及存储介质 |
| CN111626372A (zh) * | 2020-05-29 | 2020-09-04 | 安徽医学高等专科学校 | 一种线上教学监督管理方法及*** |
| CN111882247A (zh) * | 2020-08-07 | 2020-11-03 | 成都理工大学 | 一种基于综合模糊评价模型的在线学习***评价方法 |
| CN112435152A (zh) * | 2020-12-04 | 2021-03-02 | 北京师范大学 | 一种在线学习投入动态评价方法及*** |
| KR102406416B1 (ko) * | 2021-08-20 | 2022-06-08 | (주)뤼이드 | 학습 실력 평가 방법, 학습 실력 평가 장치 및 학습 실력 평가 시스템 |
| CN115455186A (zh) * | 2022-09-16 | 2022-12-09 | 北京师范大学 | 一种基于多模型的学情分析方法 |
Non-Patent Citations (4)
| Title |
|---|
| YUNI YAMASARI等: "Predicting the Students Performance using Regularization-based Linear Regression", 《2021 FOURTH INTERNATIONAL CONFERENCE ON VOCATIONAL EDUCATION AND ELECTRICAL ENGINEERING (ICVEE)》, pages 1 - 5 * |
| 成亚玲;谭爱平;: "在线开放课程学习质量评价指标体系构建与应用", 当代职业教育, no. 01 * |
| 王涛涛;毛晨蕾;: "基于学习分析的在线课程学习效果评价研究", 中国成人教育, no. 17 * |
| 韦健;方宝;: "网络学习平台的学习成效评价问题及对策研究", 湖北开放职业学院学报, no. 13 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117273389A (zh) * | 2023-11-02 | 2023-12-22 | 永信至诚科技集团股份有限公司 | 一种基于网络靶场的学情管理方法及装置 |
| CN117273389B (zh) * | 2023-11-02 | 2024-07-19 | 永信至诚科技集团股份有限公司 | 一种基于网络靶场的学情管理方法及装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116227729B (zh) | 2023-10-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109919810B (zh) | 在线学习***中的学生建模与个性化课程推荐方法 | |
| CN111274411A (zh) | 课程推荐方法、装置、电子设备及可读存储介质 | |
| Iyanda et al. | Predicting student academic performance in computer science courses: a comparison of neural network models. | |
| Yu | Academic Performance Prediction Method of Online Education using Random Forest Algorithm and Artificial Intelligence Methods. | |
| Yuhana et al. | Combining fuzzy signature and rough sets approach for predicting the minimum passing level of competency achievement | |
| CN116227729B (zh) | 基于机器学习的学习评价方法及装置、设备 | |
| Kour et al. | Analysis of student performance using Machine learning Algorithms | |
| Stanković et al. | Artificial neural network model for prediction of students’ success in learning programming | |
| Costa et al. | Automatic classification of computational thinking skills in elementary school math questions | |
| OROZOVA et al. | Generalized net model for dynamic decision making and prognoses | |
| IONIŢĂ | Data mining techniques for e-learning. | |
| Putra | The Implementation of Data Mining Techniques for Predicting Student Study Period Using the C4. 5 Algorithm: Penerapan Teknik Data Mining Terhadap Prediksi Masa Studi Mahasiswa Menggunakan Algoritma C4. 5 | |
| CN112766765A (zh) | 基于区间中智理论的专业学习能力评价方法及*** | |
| Ogunkunle et al. | A data mining based optimization of selecting learning material in an intelligent tutoring system for advancing STEM education | |
| Mahboob et al. | A comparative study of engineering students pedagogical progress | |
| Sohail et al. | Hybrid fuzzy-statistical system for learning analytics | |
| Nordbotten | Editing and imputation by means of neural networks | |
| Wang | Exploration of Educational Management Strategies and Innovative Development Directions of History Courses in Colleges and Universities in the Digital Era | |
| CN117726485B (zh) | 一种基于大数据的智适应教育学习方法及*** | |
| Sulton | ELEMENTS OF ARTIFICIAL INTELLIGENCE COURSE CURRICULUM AND CONTENT IN GENERAL SECONDARY SCHOOLS | |
| Shana et al. | Educational data mining: An intelligent system to predict student graduation AGPA | |
| Shifrin et al. | Development of the model of external control of quality indicators of electronic courses | |
| Stanton | USING ANALYTICS TO PREDICT STUDENT CLASSROOM ACHIEVEMENT | |
| Li | Research on Online Education Quality Evaluation of E-Commerce Logistics Based on Entropy Weight TOPSIS | |
| He et al. | The problem difficulty impact on machine solving of math word problems |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20240517 Address after: Unit 02, 11th Floor, Unit 1, Building 2, Yunsheng Science Park, No. 11 Spectral Middle Road, Huangpu District, Guangzhou City, Guangdong Province, 510700 Patentee after: Guangdong Liyun Technology Co.,Ltd. Country or region after: China Address before: No.465 Huanshi East Road, Yuexiu District, Guangzhou City, Guangdong Province 510000 Patentee before: GUANGZHOU INSTITUTE OF TECHNOLOGY Country or region before: China |
|
| TR01 | Transfer of patent right |