CN113822316A - 一种在交互式在线题库中预测学生表现的方法及设备 - Google Patents

一种在交互式在线题库中预测学生表现的方法及设备 Download PDF

Info

Publication number
CN113822316A
CN113822316A CN202110676427.3A CN202110676427A CN113822316A CN 113822316 A CN113822316 A CN 113822316A CN 202110676427 A CN202110676427 A CN 202110676427A CN 113822316 A CN113822316 A CN 113822316A
Authority
CN
China
Prior art keywords
student
question
questions
pointing device
statistical
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110676427.3A
Other languages
English (en)
Other versions
CN113822316B (zh
Inventor
李昊天
王勇
危欢
屈华民
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hong Kong University of Science and Technology HKUST
Original Assignee
Hong Kong University of Science and Technology HKUST
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hong Kong University of Science and Technology HKUST filed Critical Hong Kong University of Science and Technology HKUST
Publication of CN113822316A publication Critical patent/CN113822316A/zh
Application granted granted Critical
Publication of CN113822316B publication Critical patent/CN113822316B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B7/00—Electrically-operated teaching apparatus or devices working with questions and answers
    • G09B7/02—Electrically-operated teaching apparatus or devices working with questions and answers of the type wherein the student is expected to construct an answer to the question which is presented or wherein the machine gives an answer to the question presented by a student
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B7/00—Electrically-operated teaching apparatus or devices working with questions and answers
    • G09B7/02—Electrically-operated teaching apparatus or devices working with questions and answers of the type wherein the student is expected to construct an answer to the question which is presented or wherein the machine gives an answer to the question presented by a student
    • G09B7/04—Electrically-operated teaching apparatus or devices working with questions and answers of the type wherein the student is expected to construct an answer to the question which is presented or wherein the machine gives an answer to the question presented by a student characterised by modifying the teaching programme in response to a wrong answer, e.g. repeating the question, supplying a further explanation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133—Distances to prototypes
    • G06F18/24137—Distances to cluster centroïds
    • G06F18/2414—Smoothing the distance, e.g. radial basis function networks [RBFN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/18—Complex mathematical operations for evaluating statistical data, e.g. average values, frequency distributions, probability functions, regression analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/20—Education
    • G06Q50/205—Education administration or guidance

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Computing Systems (AREA)
  • Educational Technology (AREA)
  • Educational Administration (AREA)
  • Strategic Management (AREA)
  • Human Resources & Organizations (AREA)
  • Tourism & Hospitality (AREA)
  • Economics (AREA)
  • Operations Research (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Pure & Applied Mathematics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Marketing (AREA)
  • Evolutionary Biology (AREA)
  • General Business, Economics & Management (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Development Economics (AREA)
  • Game Theory and Decision Science (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Databases & Information Systems (AREA)

Abstract

一种在交互式在线题库中预测学生表现的方法，包括:一数据处理和特征提取模块，用于:从历史分数数据中提取统计学生特征，反映过去在问题上的学生表现；及统计问题特征，显示每个问题的受欢迎程度以及关于每个问题的平均学生分数；以及从指向装置移动数据中提取代表学生问题解决行为的特征的多个交互边特征；一个网络构建模块，用于:执行Edge2Node变换，将交互边特征变换为一个或多个交互节点；及构建学生‑交互‑问题(SIQ)网络；及一个预测模块，用于处理SIQ网络，使用通过残差关系图神经网络以预测学生在未尝试问题上的分数。

Description

一种在交互式在线题库中预测学生表现的方法及设备
技术领域
本发明总体上涉及使用深度神经网络来预测学生在交互式问题中的测试表现的技术。
背景技术
图神经网络(Graph Neural Network，GNN)是从广泛使用的卷积神经网络(Convolutional Neural Network，CNN)改编且被专门设计成用于图和图形数据的深度神经网络。它们在处理图中的复杂关系时展示强大的能力，并且一些代表性工作被记录在例如以下的论文中：Thomas N.Kipf和Max Welling的“利用图卷积网络的半监督分类(Semi-supervised Classification with Graph Convolutional Networks)”，《国际学习表征会议(The International Conference on Learning Representations)》，2017年；WilliamL.Hamilton、Zhitao Ying和Jure Leskovec的“大型图的归纳表征学习(InductiveRepresentation Learning On Large Graphs)”，《神经信息处理***会议(Conference onNeural Information Processing Systems)》，2017年；Michael Sejr Schlichtkrull、Thomas N.Kipf、Peter Bloem、Rianne van den Berg、Ivan Titov和Max Welling的“利用图卷积网络对关系数据进行建模(Modeling Relational Data With GraphConvolutional Networks)”，《扩展语义网会议(Extended Semantic Web Conference)》，第593至607页，2018年；Justin Gilmer、Samuel S.Schoenholz、Patrick F.Riley、OriolVinyals和George E.Dahl的“量子化学的神经消息传递(Neural Message Passing forQuantum Chemistry)”，《国际机器学习会议(The International Conference on MachineLearning)》，第1263至1272页，2017年；Yujia Li、Daniel Tarlow、Marc Brockschmidt和Richard S.Zemel的“门控图序列神经网络(Gated Graph Sequence Neural Networks)”，《国际学习表征会议(The International Conference on Learning Representations)》，2016年；以及Xiao Wang、Houye Ji、Chuan Shi、Bai Wang、Yanfang Ye、Peng Cui和PhilipS.Yu的“异构图注意力网络(Heterogeneous Graph Attention Network)”，《万维网会议(The World Wide Web Conference)》，第2022至2032页，2019年。这些论文以全文引用的方式并入本文中。在这些论文当中，一些工作被专门设计成用于处理异构图，而其它工作旨在对具有多维边特征的图进行图卷积。然而，对于具有多维边特征的异构图的工作却很少。
GNN已应用于例如推荐***、社交网络分析和分子性质预测等各种应用中。在在线学习和教育的领域中可能发现极少应用。Qian Hu和Huzefa Rangwala关于大学教育的最近工作“利用基于注意力的图卷积网络的学业表现估计(Academic performance estimationwith attention-based graph convolutional networks)”，《教育数据挖掘(EducationData Mining)》，2019年，提出了一种被称为基于注意力的图卷积网络(Attention-basedGraph Convolutional Network，AGCN)的基于GNN的方法，所述方法利用GCN来学习频繁获取的先前课程的网络的图嵌入，然后应用注意力机制来生成最终预测成绩的加权嵌入。然而，此方法限于处理仅具有一种类型的节点(即，课程)和边(即，连续两个学期所修课程的连接)的图，此方法归因于交互式在线题库在问题和学生之间的本质上复杂的关系而无法应用于交互式在线题库中的学生表现预测。
学生表现预测是教育数据挖掘中的一项重要任务。例如，它可有助于推荐学***台中的学生保留率。根据在Qian Hu和Huzefa Rangwala的“利用基于注意力的图卷积网络的学业表现估计”，《教育数据挖掘》，2019年中记录的研究，关于学生表现预测的先前研究主要包含静态模型和顺序模型。并且静态模型是指学习学生特征的静态模式且进一步对学生表现进行预测的传统机器学习模型。另一方面，提出顺序模型以更好地捕获学生知识的时间演变或学习材料之间的基本关系。
循环神经网络(recurrent neural network，RNN)还可以用于从一系列学生问题解决记录中提取隐藏知识并且对学生的知识演变进行建模。然而，顺序模型无法直接应用于交互式在线题库中特定问题的学生表现预测，这是因为顺序模型旨在追踪学生在某一领域的知识演变并预测学生在所述领域的一系列问题中的表现。因此，如果这些顺序模型将用于预测问题层级表现，则每一领域可以仅由一个问题组成且因此追踪学生的知识演变不适用。在不具有学生知识水平的信息的情况下，预测变得不准确。
在Huan Wei、Haotian Li、Meng Xia、Yong Wang和Huamin Qu的“使用鼠标交互特征预测交互式在线题库中的学生表现(Predicting Student Performance inInteractive Online Question Pools Using Mouse Interaction Features)”，ArXiv:2001.03012，2020年中记录的最新研究通过基于学生鼠标移动交互引入新特征以划定问题之间的相似性来预测交互式在线题库中的学生表现。然而，此方法隐含地要求问题必须具有相似问题结构设计且涉及可能并不总是存在的鼠标拖放交互。
因此，对于交互式在线题库中的学生表现预测的更通用方法的需求尚未得到满足，所述方法可适用于具有数百或数千个不同类型问题的题库。
发明内容
根据本发明的各种实施例，提供一种基于新颖GNN的方法以预测交互式在线题库中的学生表现。该新颖GNN是残差关系图神经网络(residual relational graph neuralnetwork，R2GCN)。模型架构是从关系GCN(relational-GCN，R-GCN)改编且进一步将残差连接并入到不同卷积层和原始特征。
更具体来说，在实现本发明的过程中，建立包括多个问题、多个学生的代表性数据以及学生与问题之间的交互数据的异构大型图，以广泛地对不同学生和问题之间的复杂关系进行建模。然后，将学生表现预测形式化为对于此异构图的半监督节点分类问题。分类结果是每个问题的学生分数水平(即，4个分数水平)。另外，引入用户指向装置(即，鼠标、轨迹垫、轨迹球等)移动特征以更好地划定学生-问题交互。
附图说明
下文中参考附图更详细地描述本发明的实施例，在附图中：
图1描绘根据本发明的实施例，用于交互式在线题库中的学生表现预测的方法的逻辑块和数据流图；
图2描绘根据本发明的实施例，通过用于交互式在线题库中的学生表现预测的方法处理的指向装置移动轨迹中的示例性指向装置移动的图示；
图3A描绘示例性问题解决节点网络的图示；
图3B描绘另一示例性问题解决节点网络的图示，其中，“Q”代表问题；“S”代表学生；
图3C描绘根据本发明的实施例，示例性学生-交互-问题(student-interaction-question，SIQ)节点网络的图示；
图3D描绘根据本发明的实施例的另一示例性学生-交互-问题(SIQ)节点网络的图示，其中，“Q”代表问题；“I”代表交互；“S”代表学生；
图4描绘根据本发明的实施例，R2GCN的逻辑架构图；
图5A描绘需要指向装置拖放动作的示例***互式问题；
图5B描绘需要指向装置单击动作的另一示例***互式问题；
图6描绘使用根据本发明的实施例，R2GCN和两个其它GNN的学生在交互式问题上的分数的预测结果的示意图；
图7描绘预测准确度随着在实验中实现的根据本发明实施例的R2GCN的训练标签大小的变化而变化的图表；以及
图8描绘在训练、验证和测试数据集之间的拓扑距离与预测准确度之间的关系的示意图。
具体实施方式
在以下描述中，用于交互式在线题库中的学生表现预测的方法等被阐述为优选示例。本领域技术人员将能理解到，可以在不脱离本揭露内容的范围和精神的情况下进行修改，包括添加和/或替换。特定细节可以省略，目的为避免使本揭露内容模糊不清；然而，本揭露内容是为了使本领域技术人员能够在不进行过度实验的情况下，实现本揭露内容中的教示。
根据本发明的一个方面，提供一种用于交互式在线题库中的学生表现预测的方法，所述方法是同伴启发式的，这在于其广泛地考虑学生和他/她的同伴(即，忙于题库的其他学生)两者的历史问题解决记录，以更好地对学生、问题和学生表现之间的复杂关系进行建模，并进一步增强学生表现预测。图1展示所述方法的框架，所述框架包括三个主要逻辑过程执行模块：数据处理和特征提取模块(101)、节点网络构建模块(102)和预测模块(103)。数据处理和特征提取模块(101)用于预处理相关数据并从历史学生问答分数数据记录(101a)以及对应于历史学生问答分数数据记录的指向装置(即，鼠标、轨迹垫、轨迹球等)移动数据记录(101b)中提取特征(101c)，以在节点网络构建和学生表现预测中进一步处理。提取并考虑三种类型的特征：反映学生过去在回答问题时的表现的统计学生特征(被展示为学生节点特征(102a))、指示每个问题的问题受欢迎程度以及关于每个问题的平均学生分数的统计问题特征(被展示为问题节点特征(102b))，以及表示学生问题解决行为的特性的交互边特征(102c)。网络构建模块(102)从三种类型的特征建立网络(102f)，以广泛地对不同学生针对不同问题的各种表现进行建模。最后，将所构建的网络输入到预测模块(103)中。预测模块(103)包括使用残差关系图神经网络(R2GCN)(103a)，其模型架构是从关系-GCN(R-GCN)改编，以通过将残差连接与隐藏状态相加来预测学生在交互式在线题库中的未尝试问题上的分数水平。
根据本发明的另一方面，用于交互式在线题库中的学生表现预测的方法是由一种设备执行，所述设备包括：一个或多个计算机可读介质；以及一个或多个处理器，其耦合到一个或多个计算机可读介质。一个或多个处理器然后被配置成执行数据处理和特征提取模块(101)、节点网络构建模块(102)和预测模块(103)。
根据一个示例性实施例，分别在下表1和表2中列出的统计学生特征和统计问题特征是从历史分数记录中提取的。统计学生特征主要包括学生过去在各种类型的问题上的表现，以反映学生在特定类型的问题上的能力，例如，初次测验等级8和难度3的数字题的平均分数。统计问题特征展示它们的受欢迎程度和实际难度水平，例如，在问题上获得4的测验比例。
表1
Figure BDA0003120712270000051
表2
Figure BDA0003120712270000052
根据本发明的一个实施例，等级指示学生关于特定问题的目标等级。难度是表示特定问题从易到难的指数。数学维度是表示在特定问题中测试的知识主题的模糊数学概念。
根据本发明的一个实施例，在与交互式在线题库中的问题交互时考虑两种类型的指向装置移动：单击和拖放。然而，尽管两者存在差异，但它们都以移动事件“按下鼠标”开始并以移动事件“松开鼠标”结束，如图2所示。因此，当学生与问题交互(即，回答问题)时，在指向装置移动轨迹中出现一对必要的“按下鼠标”和“松开鼠标”指向装置移动事件可以被概括为“一般单击”(general click，GC)，并且提供一组交互式边特征，如下表3中所列出。
表3
Figure BDA0003120712270000061
这些特征主要被设计成用于反映学生在试图回答问题时进行的第一次GC。第一次GC可以显示问题的信息，例如所需类型的指向装置移动交互。而且，它们反映学生的问题解决和学习行为，例如在回答之前首先阅读描述、在详细地阅读问题描述之前首先猜测答案、在回答问题之前的时间思考。
对在交互式在线题库中的问题之间的关系进行建模具有挑战性，这是因为没有每个学生都需要遵循的课程或预定义问题顺序，所述课程或预定义问题顺序将会有助于对问题之间的关系进行建模。
因此，学生与所尝试问题的指向装置移动交互用作构建不同问题之间的相依性关系并建立问题解决网络的桥梁。当对学生进行表现预测时，他/她的同伴(即，其他学生)的指向装置移动记录都被考虑在内。图3A和3B示出问题解决网络，所述问题解决网络是具有包括学生节点(S)、问题节点(Q)的多维边特征以及带有上述多维指向装置移动特征的交互边的异构网络。
然而，不存在被设计成用于此类异构网络的GNN模型。通过以下文档中公开的分解边并将同构网络变换成二分网络的技术的启发，执行Edge2Node变换(102d)以将学生和问题之间的指向装置移动(交互边特征(102c))变换成“伪节点”(交互节点(102e))：JieZhou、Ganqu Cui、Zhengyan Zhang、Cheng Yang、Zhiyuan Liu和Maosong Sun的“图神经网络：方法和应用的综述(Graph Neural Networks:A Review of Methods andApplications)”，ArXiv:1812.08434，2018年(其公开内容以全文引用的方式并入本文中)。根据本发明的一个实施例，交互节点(102e)以及学生节点(102a)和问题节点(102b)然后用于建立学生-交互-问题(SIQ)网络(102f)，以对不同学生、问题和其交互之间的复杂关系进行建模，这还展示在图3C和3D中。SIQ网络(102f)形成将R2GCN应用于交互式在线题库中的学生表现预测的基础。
图4展示根据本发明的一个实施例的R2GCN的逻辑架构。R2GCN包括：一个或多个并行输入层，其用于不同类型的节点成为相同形状的节点(即，从具有不同特征长度的节点到具有相同特征长度的节点)的特征变换；一个或多个后续R-GCN层，其用于消息传递；与一个或多个隐藏状态和原始特征的一个或多个残差连接，其用于捕获不同级别的信息；以及输出层，其用于最终预测。在下文中，n(也如图4中所展示)、p(也如图4中所展示)和R(图4中未展示)分别表示在输入异构网络中的节点类型的数目、节点的目标类型以及所有边类型的集合。
在R2GCN中，提供消息函数以用于在消息传递中从所有相邻节点Ni到中心节点i传输和聚合消息。在每个R-GCN层中，层l+1中的节点ⅰ所接收的消息Mi (l+1)被定义为：
Figure BDA0003120712270000071
其中Wr是关系r的权重矩阵；hj (l)是在层l之后的节点j的隐藏状态；并且wi,j指示来自节点j的消息的权重。平均函数用于减少在相同类型的边上传输的消息。求和函数用于减少在不同类型的边上传输的消息。wi,j被设置为Ni r中的节点数目的乘法逆。
在R2GCN中，提供更新函数，以在消息传递中利用由方程式(1)生成的消息Mi (l+1)来更新在层l之后中心节点i的隐藏状态hi (l)。为了保持中心节点i的原始隐藏状态，更新函数被定义为：
Figure BDA0003120712270000072
其中W0表示中心节点i的隐藏状态的权重矩阵；b表示偏置；并且σ是激活函数。
在R2GCN中，提供读出函数以将最终隐藏状态变换成预测结果。不同于原始R-GCN模型，R2GCN的读出函数将残差连接与隐藏状态和原始特征两者相加。用于类型p的节点pi的读出函数被定义为：
Figure BDA0003120712270000073
其中
Figure BDA0003120712270000074
是预测结果，f是用于将级联隐藏状态变换成最终结果的函数；
Figure BDA0003120712270000075
表示对应问题节点的原始输入特征；并且k表示后续R-GCN层的数目。
实施例
本发明的实施例是在从被称为LearnLex(https://www.learnlex.com)的交互式在线题库收集的现实世界数据集上实施并实验的。
数据描述：
在实施并执行实验时，LearnLex含有约1,700个交互式数学题且自2017年以来已经为20,000多个K-12学生提供服务。与大多数其它大规模开放式在线课程(Massive OpenOnline Course，MOOC)平台上提供的问题不同，学生可以在不具有预定义顺序的情况下自由地浏览和回答交互式问题，并且所述交互式问题仅被分配有模糊标签、等级、难度和数学维度。等级指示学生的目标等级且在0到12的范围内。难度是由问题开发者分配的表示从易到难的五个级别(即，1到5)的指数。数学维度是表示在问题中测试的知识的模糊数学概念。
除了这些标签之外，还收集了学生在其问题解决过程中的指向装置(鼠标)移动交互。根据在实验中进行的经验观测，在学生的问题解决过程中，主要存在两种类型的鼠标移动交互：拖放和单击。图5A展示需要将顶部处的块拖动到适当位置的指向装置动作的示例性问题。图5B展示要求学生单击按钮以完成给定任务的另一示例性问题。
当学生完成问题时，LearnLex平台会给提交的问题分配介于0到100之间的离散分数。问题的可能分数是取决于学生正确回答问题的百分比的固定数目个离散值，并且大多数问题最多有四个可能分数值。因此，将历史分数记录中的原始分数映射到四个分数水平(0-3)，以确保跨问题的分数标记一致。而且，实验中仅考虑学生对问题的第一次测验的分数。
在实验中，收集历史分数记录和鼠标移动记录两者。在历史分数记录中，从2017年9月13日到2020年1月7日共有973,676个条目，并且每个条目包含分数值、学生ID、问题ID和时间戳。鼠标移动记录含有从2019年4月12日到2020年1月6日致力于交互式在线题库的所有学生的原始装置事件(即，鼠标移动、松开鼠标和按下鼠标)、对应时间戳以及鼠标事件的位置。鼠标轨迹是学生的问题解决过程中生成的一系列原始鼠标事件。总共收集到4,020个学生对1,617个问题所进行的104,113个指向装置轨迹。
数据处理
在实验中，提取具有从2019年4月12日到2019年6月27日的记录的原始数据集的部分(被表示为“短期”数据集)，以在预测准确度、标记数据集大小的影响以及训练、验证和测试集中的问题之间的拓扑距离的影响方面广泛地评估所提出的方法。在短期数据集中，总共存在3,008个学生对1,611个问题所进行的43,274个鼠标轨迹。考虑到标记数据太少会使GNN模型的训练变得困难，仅对已完成至少70个问题的学生进行实验。因此，在短期数据集中对47个学生进行计数。另外，使用从2019年4月12日到2020年1月6日的所有记录(被表示为长期数据集)来进一步评估本发明实施例的表现。筛选出的学生的范围扩大至包含那些已完成至少20个问题的学生。因此，此数据集中存在总共1,235个学生。
对于每个学生s，他/她在早期时间段中的70％问题解决记录用作训练数据集，接下来的15％记录用作验证集，并且最后的15％记录用作测试集。在处理数据集期间，训练集和验证集之间的拆分时间戳被记录为t1 s，并且验证集和测试集之间的拆分时间戳被记录为t2 s。通过两个时间戳，然后利用2019年4月12日到t1 s之间所有学生的问题解决记录来建立学生的SIQ网络。因此，每个学生具有不同大小的个性化网络，这有助于为不同的学生提供更好的表现预测。当构建SIQ网络时，仅考虑在2019年4月12日到t1 s之间的时间段中回答过一次的问题。利用2019年4月12日到t1 s之间所有可用学生的记录来建立他们的SIQ网络。利用在2019年4月12日之前的记录来构建SIQ网络中分配给学生和问题节点的所有统计特征。由于t1 s总是晚于所述日期，因此避免了训练过程中验证和测试数据的泄漏。
基线
将本发明与最先进的GNN模型和用于学生表现预测的其它传统机器学习方法两者进行比较，以便广泛地评估本发明的表现。这些基线如下：
R-GCN：针对具有各种类型的边的网络提出的经典GNN模型。参考图6，利用输入网络的两种变体测试R-GCN。R-GCN(无E2N)表示R-GCN模型的输入是无边特征的问题解决网络；R-GCN(有E2N)表示输入是有Edge2Node变换的SIQ网络。
GBDT：利用树集合体的树模型。为了校验在我们的方法中将同伴信息整合到学生表现预测中的有效性，仅考虑GBDT中的学生和问题的统计特征。
SVM：构建一个或多个超平面以区分样本的模型。与GBDT相似，仅将学生和问题的统计特征馈送到SVM中。
LR：具有用于对因变量进行建模的逻辑函数的经典线性模型。仅将统计特征用于LR。
详细实施方案
根据本发明的实施例且用于实验中的GNN模型是主要使用PyTorch和DGL进行实施，而GBDT、LR和SVM是利用Sci-kit Learn进行实施。对于在实验中实施和使用的R2GCN，三个并行输入层用于变换三种类型的节点的原始特征，这与图4中所示出的情形相似。然后使用隐藏大小为128的三个依序R-GCN层。R2GCN的最后两个层是隐藏大小为128的完全连接的神经网络。所使用的激活函数是ReLU。所有基于GNN的模型都使用Adam作为优化器并使用交叉熵作为损失函数。根据经验将学***均表现。
评估度量
三个不同度量用于全面地评估模型。此处，s、nc s、ns、W-F1s用于表示学生、他/她的正确预测问题数目、他/她的测试集中的问题数目，以及他/她的预测结果的加权F1。
平均个人准确度(AP-Acc)评估模型对不同学生的平均预测准确度：
Figure BDA0003120712270000101
总准确度(O-Acc)评估模型对所有预测问题的平均预测准确度：
Figure BDA0003120712270000102
平均个人加权F1(APW-F1)评估模型对不同学生的平均加权F1分数：
Figure BDA0003120712270000103
短期数据集
预测准确度
下表4展示所进行的实验的结果。在所有方法当中，R2GCN模型跨不同的度量表现最佳，这证实了本发明的实施例的有效性且优于所有传统机器学习模型。
表4
模型 AP-Acc O-Acc APW-F1
R<sup>2</sup>GCN 0.6642 0.6662 0.6148
R-GCN(有E2N) 0.6302 0.6331 0.5737
R-GCN(无E2N) 0.6151 0.6198 0.5508
GBDT 0.5687 0.5750 0.4398
SVM 0.5734 0.5805 0.4470
LR 0.5928 0.5961 0.5414
图6进一步利用束流显示器展示盒形图，以展示47个学生在R2GCN、R-GCN(有E2N)和R-GCN(无E2N)模型下的详细准确度分布。盒右侧的点表示学生，且其相应竖直位置表示近似准确度。可以看出，R2GCN模型以最高中值准确度实现最佳表现，并且准确度低于0.4的学生数目最少，这指示极不准确的案例较少。
标签数据的大小
进一步研究训练数据大小对最终预测准确度的影响。为维持网络结构、测试集和验证集的一致性，实验中在训练数据集中保留了40％、60％和80％的训练标签。图7中展示在R2GCN模型下实现的AP-Acc和O-Acc随训练标签大小的变化而变化。不难发现，随着训练数据集大小的增大，预测准确度提高，并且最终达到约0.66的相对稳定的预测准确度。这个结果是合理的，这是因为当完成更多问题时，有更多的真值标签来指导GNN的训练。
训练、验证和测试集之间的拓扑距离
除了训练标签的数目之外，学生表现预测还可能受到测试集与训练或验证集之间的拓扑距离的影响。因此，在SIQ网络中计算训练数据集、测试集和验证集中的问题之间的平均最短距离。这些平均距离分别由
Figure BDA0003120712270000111
和
Figure BDA0003120712270000112
表示。由于交互节点是从交互边导出的，因此为了简化分析，去除那些节点，并且使用例如图3A和3B中所示出的问题解决网络，以利用NetworkX计算最短路径距离。平均最短距离被计算如下：
Figure BDA0003120712270000113
其中X和Y表示两组问题，并且
Figure BDA0003120712270000114
是xi与yj之间的最短路径距离。
平行坐标图(parallel coordinates plot，PCP)用于展示平均距离对学生表现预测准确度的影响，如图8中所示。五个平行y轴分别用于分别对三个平均距离和两个准确度分数(即，测试准确度和验证准确度)进行编码。每条线表示数据集中的学生。浅到深颜色方案用于对
Figure BDA0003120712270000115
进行编码，其中浅线指示较低
Figure BDA0003120712270000116
且深线指示高
Figure BDA0003120712270000117
容易认识到，在从测试到验证集
Figure BDA0003120712270000118
的平均距离与准确度acc之间存在负相关性。并且，可以注意到，具有较大
Figure BDA0003120712270000119
的学生的测试准确度通常低于其验证准确度。此类观测很可能是因为测试集中的问题与验证集中的问题之间的平均距离较大，这表明它们之间的非相似性，从而使得提前停止点并不总是为达到最佳测试准确度的最佳点。
长期数据集
为了进一步评估其有效性和可推广性，将本发明的实验实施例的表现与长期数据集上的基线方法进行比较，所述长期数据集相较于短期数据集覆盖了更多学生的问题解决记录。下表5中的结果表明，当标记数据的数目有限时，本发明的实施例仍然可以实现高准确度和F1分数。
表5
模型 AP-Acc O-Acc APW-F1
R<sup>2</sup>GCN 0.5507 0.5671 0.5050
R-GCN(有E2N) 0.5100 0.5313 0.4605
R-GCN(无E2N) 0.5119 0.5296 0.4535
GBDT 0.4836 0.4610 0.3686
SVM 0.4973 0.4718 0.3801
LR 0.4881 0.4904 0.4322
本文公开的实施例可以使用特定配置的计算装置、计算机处理器或电子电路来实现，包含但不限于数字信号处理器(digital signal processor，DSP)、图形处理单元(graphical processing unit，GPU)、专用集成电路(application specific integratedcircuit，ASIC)、现场可编程门阵列(field programmable gate array，FPGA)，以及根据本公开的教示而配置或编程的其它可编程逻辑装置。基于本公开的教导，软件或电子领域的技术人员可以容易地准备在通用或专用计算设备、计算机处理器或可编程逻辑设备中运行的计算机指令或软件代码。
在一些实施例中，本发明包含计算机可读介质，所述计算机可读介质具有存储于其中的计算机执行指令或软件代码，所述计算机执行指令或软件代码可以用于配置计算装置、计算机处理器或电子电路***以执行本发明的过程中的任一个。计算机可读介质可以包含但不限于ROM、RAM、快闪存储器装置，或者适于存储指令、代码和/或数据的任何类型的介质或装置。
提供本发明的前述描述是为了说明和描述的目的。并不旨在穷举或将本发明限制为所公开的明确形式。许多修改和变化对于本领域技术人员将是显而易见的。
以上所选择和描述的实施例是为了最好地解释本揭露内容的原理及其实际应用，从而使本领域的其他技术人员能够理解本揭露内容的各种实施方式以及具有适合于预期的特定用途的各种修改。本发明的范围旨在由所附权利要求及其等效物来定义。

Claims (10)

1.一种在交互式在线题库中预测学生成绩的方法，其特征在于，包括:
执行一数据处理和特征提取逻辑过程执行模块，其包括:
接收多个学生对具有多个问题的交互式在线题库中的多个历史学生问答分数数据记录；
接收多个指向装置移动数据记录，所述多个指向装置移动数据记录含有对应于所述历史学生问答分数数据记录的由所述学生进行的一个或多个指向装置移动的数据；
从所述历史学生问答分数数据记录中提取:
统计学生特征，其反映所述学生过去在所述问题上的表现；及
统计问题特征，其指示每个所述问题的受欢迎程度以及关于每个所述问题的平均学生分数；以及
从所述指向装置移动数据记录中提取表示所述学生的问题解决行为的一个或多个特征的多个交互边特征；
执行一节点网络构建逻辑过程执行模块，其包括:
执行Edge2Node变换以将所述交互边特征变换为一个或多个交互节点；及
构建来自所述统计学生节点特征的一个或多个学生节点、来自所述统计问题节点特征的一个或多个问题节点以及所述交互节点的异构学生-交互-问题(SIQ)网络；及
执行一预测逻辑过程执行模块，其包括:
通过残差关系图神经网络(R2GCN)处理所述SIQ网络，以预测所述学生在所述交互式在线题库中的一个或多个未尝试问题上的分数；
其中所述R2GCN包括:
一个或多个并行输入层，其用于将所述SIQ网络中的不同类型的节点成为相同形状的节点的特征变换；
一个或多个后续关系图神经网络(R-GCN)层，其用于消息传递；
与一个或多个隐藏状态、所述统计学生特征、所述统计问题特征和所述交互边特征的一个或多个残差连接，其用于捕获不同级别的信息；以及
一个输出层，其用于所述学生在所述交互式在线题库中的所述未尝试问题上的分数的最终预测。
2.根据权利要求1所述的方法，其特征在于，所述统计学生特征包括：
所述学生对所述问题进行的总测验的次数；
所述学生对所述问题进行的第二次测验的次数；
所述学生在特定数学维度、等级和难度问题上的总测验百分比；以及
所述学生在特定数学维度、等级和难度的问题上的第一次测验的平均分数。
3.根据权利要求1所述的方法，其特征在于，所述统计问题特征包括：
问题的数学维度；
问题的等级；
问题的难度；
所述学生对问题进行的测验的总数；
所述学生对问题进行的第二次测验的总数；以及
在所述学生达到的每个分数级别中由所述学生对问题进行的测验百分比。
4.根据权利要求1所述的方法，其特征在于，所述交互式边特征包括：
在第一次向所述学生展示问题时与在所述学生对所述问题进行第一次一般单击时之间的时间长度；
所述第一次一般单击的时间长度占所述学生回答问题花费的总时间长度的百分比；
在第一次向所述学生展示问题时以及在所述学生对所述问题进行第一次一般单击之前的指向装置移动事件的数目；
在第一次向所述学生展示问题时以及在所述学生对所述问题进行第一次一般单击之前进行的指向装置移动事件的百分比；
在所述第一次一般单击结束之前由所述学生对问题进行的所述指向装置移动事件的数目；
对所述学生回答的问题进行的一般单击的总数；
每秒对所述学生回答的问题进行的一般单击的平均数；
对所述学生回答的问题进行的一般单击之间的平均时间长度；
对所述学生回答的问题进行的一般单击之间的中值时间长度；
对所述学生回答的问题进行的一般单击之间的时间长度标准偏差；
由所述学生产生的总指向装置轨迹长度；以及
所述学生回答问题的时间点；
其中一般单击属于当所述学生正与问题交互时在指向装置移动轨迹中的一对必要的指向装置移动事件。
5.根据权利要求1所述的方法，其特征在于，所述R2GCN进一步包括：
消息函数，其用于在所述消息传递中从所述SIQ网络的所有相邻节点到中心节点传输和聚合消息；
一平均函数，其用于减少在相同类型的边上传输的消息；
一求和函数，其用于减少在不同类型的边上传输的消息；
一更新函数，其用于在每个所述R-GCN层之后更新中心节点的隐藏状态；以及
一读出函数，其用于将最终隐藏状态变换成所述最终预测。
6.一种用于预测交互式在线题库中的学生表现的设备，其特征在于，包括：
一个或多个计算机可读介质；以及
一个或多个处理器，所述一个或多个处理器耦合到所述一个或多个计算机可读介质且被配置成执行：
一数据处理和特征提取逻辑过程执行模块，其用于：
接收多个学生对具有多个问题的交互式在线题库的多个历史学生问答分数数据记录；
接收多个指向装置移动数据记录，所述多个指向装置移动数据记录含有对应于所述历史学生问答分数数据记录的由所述学生进行的一个或多个指向装置移动的数据；
从历史学生问答分数数据记录中提取：
统计学生特征，其反映所述学生过去在所述问题上的表现；以及
统计问题特征，其指示每个所述问题的问题受欢迎程度以及关于每个所述问题的平均学生分数；以及
从所述指向装置移动数据记录中提取表示所述学生的问题解决行为的一个或多个特性的多个交互边特征；
一节点网络构建逻辑过程执行模块，其用于：
执行Edge2Node变换以将所述交互式边特征变换成一个或多个交互节点；以及
构建来自所述统计学生节点特征的一个或多个学生节点、来自所述统计问题节点特征的一个或多个问题节点以及所述交互节点的异构学生交互问题(SIQ)网络；以及
一预测逻辑过程执行模块，其用于：
通过残差关系图神经网络(R2GCN)处理所述SIQ网络，以预测学生在所述交互式在线题库中的一个或多个未尝试问题上的分数；
其中所述R2GCN包括：
一个或多个并行输入层，其用于所述SIQ网络中的不同类型的节点成为相同形状的节点的特征变换；
一个或多个后续关系图神经网络(R-GCN)层，其用于消息传递；
与一个或多个隐藏状态、所述统计学生特征、所述统计问题特征和所述交互边特征的一个或多个残差连接，其用于捕获不同级别的信息；以及
一输出层，其用于所述学生在所述交互式在线题库中的所述未尝试问题上的分数的最终预测。
7.根据权利要求6所述的设备，其特征在于，所述统计学生特征包括：
所述学生对所述问题进行的总测验的次数；
所述学生对所述问题进行的第二次测验的次数；
所述学生在特定数学维度、等级和难度问题上的总测验百分比；以及
所述学生在特定数学维度、等级和难度的问题上的第一次测验的平均分数。
8.根据权利要求6所述的设备，其特征在于，所述统计问题特征包括：
问题的数学维度；
问题的等级；
问题的难度；
所述学生对问题进行的测验的总数；
所述学生对问题进行的第二次测验的总数；以及
在所述学生达到的每个分数级别中由所述学生对问题进行的测验百分比。
9.根据权利要求6所述的设备，其特征在于，所述交互边特征包括：
在第一次向学生展示问题时与在所述学生对所述问题进行第一次一般单击时之间的时间长度；
所述第一次一般单击的时间长度占所述学生回答问题花费的总时间长度的百分比；
在第一次向学生展示问题时以及在所述学生对所述问题进行第一次一般单击之前的指向装置移动事件的数目；
在第一次向学生展示问题时以及在学生对所述问题进行所述第一次一般单击之前进行的所述指向装置移动事件的百分比；
在所述第一次一般单击结束之前由所述学生对问题进行的指向装置移动事件的数目；
对所述学生回答的问题进行的一般单击的总数；
每秒对所述学生回答的问题进行的一般单击的平均数；
对所述学生回答的问题进行的一般单击之间的平均时间长度；
对所述学生回答的问题进行的一般单击之间的中值时间长度；
对所述学生回答的问题进行的一般单击之间的时间长度标准偏差；
由所述学生产生的总指向装置轨迹长度；以及
所述学生回答问题的时间点；
其中所述一般单击属于当所述学生正与所述问题交互时在所述指向装置移动轨迹中的一对必要的指向装置移动事件。
10.根据权利要求6所述的设备，其特征在于，所述R2GCN进一步包括：
消息函数，其用于在所述消息传递中从所述SIQ网络的所有相邻节点到中心节点传输和聚合消息；
一平均函数，其用于减少在相同类型的边上传输的消息；
一求和函数，其用于减少在不同类型的边上传输的消息；
一更新函数，其用于在每个所述R-GCN层之后更新中心节点的隐藏状态；以及一读出函数，其用于将最终隐藏状态变换成所述最终预测。
CN202110676427.3A 2020-06-18 2021-06-18 一种在交互式在线题库中预测学生表现的方法及设备 Active CN113822316B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US202063102509P 2020-06-18 2020-06-18
US63/102,509 2020-06-18
US17/343,769 2021-06-10
US17/343,769 US20210398439A1 (en) 2020-06-18 2021-06-10 Peer-inspired student performance prediction in interactive online question pools with graph neural network

Publications (2)

Publication Number Publication Date
CN113822316A true CN113822316A (zh) 2021-12-21
CN113822316B CN113822316B (zh) 2024-01-12

Family

ID=78923894

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110676427.3A Active CN113822316B (zh) 2020-06-18 2021-06-18 一种在交互式在线题库中预测学生表现的方法及设备

Country Status (2)

Country Link
US (1) US20210398439A1 (zh)
CN (1) CN113822316B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11829871B2 (en) * 2019-08-20 2023-11-28 Lg Electronics Inc. Validating performance of a neural network trained using labeled training data
CN114595897B (zh) * 2022-03-17 2023-04-18 四川大学 基于动态异构图卷积的多价值链汽车配件需求预测方法
CN115017276B (zh) * 2022-03-28 2022-11-29 连芷萱 政务咨询多轮对话方法、***、政务机器人和存储介质
CN114861065B (zh) * 2022-05-31 2023-06-06 山东省人工智能研究院 基于多行为的级联残差图卷积网络的个性化推荐方法
CN115660324B (zh) * 2022-10-09 2023-06-13 浙江大学 基于图强化学习的电网多断面越限调控方法和***
CN116151329B (zh) * 2023-04-23 2023-07-18 山东师范大学 基于反事实图学习的学生知识状态追踪方法及***
CN116166998B (zh) * 2023-04-25 2023-07-07 合肥师范学院 一种联合全局和局部特征的学生表现预测方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180068404A1 (en) * 2015-05-30 2018-03-08 The Power Player Inc. Student data aggregation system
CN109816009A (zh) * 2019-01-18 2019-05-28 南京旷云科技有限公司 基于图卷积的多标签图像分类方法、装置及设备
US10354544B1 (en) * 2015-02-20 2019-07-16 Snapwiz Inc. Predicting student proficiencies in knowledge components
US20190294970A1 (en) * 2018-03-23 2019-09-26 The Governing Council Of The University Of Toronto Systems and methods for polygon object annotation and a method of training an object annotation system
CN110717627A (zh) * 2019-09-29 2020-01-21 浙江大学 一种基于对偶图框架的全量交通预测方法
CN110909942A (zh) * 2019-11-27 2020-03-24 第四范式（北京）技术有限公司 训练模型的方法及***和预测序列数据的方法及***
WO2020058174A1 (en) * 2018-09-21 2020-03-26 Deepmind Technologies Limited Machine learning for determining protein structures
CN111126262A (zh) * 2019-12-24 2020-05-08 中国科学院自动化研究所 基于图神经网络的视频精彩片段检测方法及装置

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10354544B1 (en) * 2015-02-20 2019-07-16 Snapwiz Inc. Predicting student proficiencies in knowledge components
US20180068404A1 (en) * 2015-05-30 2018-03-08 The Power Player Inc. Student data aggregation system
US20190294970A1 (en) * 2018-03-23 2019-09-26 The Governing Council Of The University Of Toronto Systems and methods for polygon object annotation and a method of training an object annotation system
WO2020058174A1 (en) * 2018-09-21 2020-03-26 Deepmind Technologies Limited Machine learning for determining protein structures
CN112585684A (zh) * 2018-09-21 2021-03-30 渊慧科技有限公司 确定蛋白结构的机器学习
CN109816009A (zh) * 2019-01-18 2019-05-28 南京旷云科技有限公司 基于图卷积的多标签图像分类方法、装置及设备
CN110717627A (zh) * 2019-09-29 2020-01-21 浙江大学 一种基于对偶图框架的全量交通预测方法
CN110909942A (zh) * 2019-11-27 2020-03-24 第四范式（北京）技术有限公司 训练模型的方法及***和预测序列数据的方法及***
CN111126262A (zh) * 2019-12-24 2020-05-08 中国科学院自动化研究所 基于图神经网络的视频精彩片段检测方法及装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
危欢等: "Predicting Student Performance in Interactive Online Question Pools Using Mouse Interaction Features", 《10TH INTERNATIONAL CONFERENCE ON LEARNING ANALYTICS AND KNOWLEDGE (LAK)》 *
徐幼祥;原玲;范宝杰;: "基于图卷积慕课成绩预测模型", 电视技术, no. 18 *

Also Published As

Publication number Publication date
US20210398439A1 (en) 2021-12-23
CN113822316B (zh) 2024-01-12

Similar Documents

Publication Publication Date Title
CN113822316B (zh) 一种在交互式在线题库中预测学生表现的方法及设备
Brownlee Statistical methods for machine learning: Discover how to transform data into knowledge with Python
Hodnett et al. R Deep Learning Essentials: A step-by-step guide to building deep learning models using TensorFlow, Keras, and MXNet
Du et al. An integrated framework based on latent variational autoencoder for providing early warning of at-risk students
Drozdova et al. Quantifying the qualitative: Information theory for comparative case analysis
Klaas Machine learning for finance: principles and practice for financial insiders
Ni et al. HHSKT: A learner–question interactions based heterogeneous graph neural network model for knowledge tracing
Romaszko Signal correlation prediction using convolutional neural networks
Alsabhan Student cheating detection in higher education by implementing machine learning and LSTM techniques
Rai Advanced deep learning with R: Become an expert at designing, building, and improving advanced neural network models using R
Talebi et al. Ensemble models based on CNN and LSTM for dropout prediction in MOOC
Ozdemir Feature engineering bookcamp
Huang et al. Response speed enhanced fine-grained knowledge tracing: A multi-task learning perspective
Dangeti et al. Numerical Computing with Python: Harness the power of Python to analyze and find hidden patterns in the data
Saleh The The Deep Learning with PyTorch Workshop: Build deep neural networks and artificial intelligence applications with PyTorch
Lodhi et al. Deep Neural Network for Recognition of Enlarged Mathematical Corpus
Hodnett et al. Deep Learning with R for Beginners: Design neural network models in R 3.5 using TensorFlow, Keras, and MXNet
Maisuradze Predictive analysis on the example of employee turnover
Kaçmaz et al. An application on technology addiction with c4. 5 classification algorithm
Acquaviva Machine learning for physics and astronomy
Ghosh et al. Understanding machine learning
Ahmad et al. Machine learning based stream selection of secondary school students in bangladesh
Baumhauer et al. Bounded logit attention: Learning to explain image classifiers
Villa-Torrano et al. Early prediction of students' efficiency during online assessments using a Long-Short Term Memory architecture.
Tekchandani et al. Applied Deep Learning: Design and implement your own Neural Networks to solve real-world problems (English Edition)

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40059111

Country of ref document: HK

GR01 Patent grant
GR01 Patent grant