CN113902129A - 多模态的统一智能学习诊断建模方法、***、介质、终端 - Google Patents

多模态的统一智能学习诊断建模方法、***、介质、终端 Download PDF

Info

Publication number
CN113902129A
CN113902129A CN202111263507.2A CN202111263507A CN113902129A CN 113902129 A CN113902129 A CN 113902129A CN 202111263507 A CN202111263507 A CN 202111263507A CN 113902129 A CN113902129 A CN 113902129A
Authority
CN
China
Prior art keywords
learner
learning
parameter
exercise
diagnosis
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111263507.2A
Other languages
English (en)
Inventor
王志锋
严文星
王艳凤
左明章
罗恒
闵秋莎
董石
田元
夏丹
叶俊民
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Central China Normal University
Original Assignee
Central China Normal University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Central China Normal University filed Critical Central China Normal University
Priority to CN202111263507.2A priority Critical patent/CN113902129A/zh
Publication of CN113902129A publication Critical patent/CN113902129A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/20—Education
    • G06Q50/205—Education administration or guidance

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Strategic Management (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Tourism & Hospitality (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Economics (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • General Business, Economics & Management (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Electrically Operated Instructional Devices (AREA)

Abstract

本发明属于教育大数据挖掘技术领域，公开了一种多模态的统一智能学习诊断建模方法、***、介质、终端，通过构建多通道的认知诊断模型，对学习者进行初步诊断，对学习资源进行参数估计，得到学习资源参数集与学习者参数集；对学习资源与学习者进行建模，获取深度表征特征；引入自注意力机制对学习者特征与学习资源特征进行融合；将融合特征作为用来预测学习者表现情况的数据基础，构建学习者表现预测网络得到对学习者作答正确概率的预测值；通过学习者与练习题目的特征信息诊断学习者的总体知识点掌握情况，获取练习题目的参数表征。本发明有利于融合多通道认知诊断模型的优点，并设计神经网络对学习者进行智能学习诊断，具有可扩展性。

Description

多模态的统一智能学习诊断建模方法、***、介质、终端
技术领域
本发明属于教育大数据挖掘技术领域，尤其涉及一种多模态的统一智能学习诊断建模方法、***、介 质、终端。
背景技术
近年来，随着人工智能等信息技术的快速发展，教育行业也在不断地朝着智慧化、信息化方向飞跃， 现代信息技术与传统教学模式以及教育方式相融合形成了“互联网+教育”服务新业态。互联网教育能够 实现个性化导学、智能学习评价等新教学方式，为教师和学习者提供精准而有效的指导信息，提升教学与 学习效果。
认知诊断评价是实现智慧教育的一种辅助方法，具体即通过分析学***进行挖掘与诊断，从而为学习者提出具有针对性的改进意见。目 前，相关研究者从不同角度出发，提出了多种认知诊断模型，按其不同的理论基础可分为两大类：
(1)基于参数估计的认知诊断方法；
(2)基于非参数的人工智能方法。
基于参数估计的认知诊断方法以潜在特质模型、潜在分类模型为主要代表，潜在特征模型以项目反 应理论为基础，假设学习者有一种“潜在特质”，一般是指连续的潜在能力，并且模型认为学习者在练习 题目上的反应和成绩不仅与题目自身因素有关，还与学习者的潜在特质有特殊的关系，通过建模学习者潜 在特征、题目因素与作答反应间的关系对学习者进行知识状态诊断；潜在分类模型假定能力值是不连续的， 潜在知识空间由K个二分变量组成，共有2K种掌握状态，并根据学习者的答题结果将学习者划分到这些 掌握状态中去，从而区分其知识认知结构。潜在分类模型有时并不能完全拟合实际情况，经常会有一些学 习者并不能准确地被划分在有限的假设类别中。
基于非参数的人工智能方法引入深度学习方法，以练习题目与学习者作答记录数据为基础，通过循 环神经网络、卷积网络等建模学习者的学习过程以及其知识掌握状态，具有较高的准确性。但由于深度学 习方法的黑盒特性，通常基于非参数的人工智能方法的可解释性不强，所得结果有时无法使人完全信服。
通过上述分析，现有技术存在的问题及缺陷为：
(1)传统认知诊断模型建模角度及参数较为单一，无法从多个不同维度运用不同方法进行综合考量， 导致诊断结果较为片面，准确性不高。
(2)传统认知诊断模型对数据规模要求较为严格，规模小诊断结果准确性低，规模太大则效率也会 大大降低。
(3)现有基于非参数的人工智能诊断方法属于黑盒方法，无法很好地赋予其结果以教育学上的解释 意义，可用性受到了一定的限制。
解决以上问题及缺陷的难度为：
(1)如何灵活地集多种传统认知诊断模型的思想于一体，以构建一种包容性较强的诊断框架，从而 在诊断结果准确性上实现提升。
(2)如何利用深度学习方法的高维空间表征性能，充分挖掘教育数据中的可用信息，对学习者及学 习资源进行建模并实现准确的学习者学习诊断。
(3)如何将深度学习方法与基于统计的传统认知诊断方法进行有机地融合，各取所长，在提高诊断 结果准确性的基础上兼顾其在教育领域的解释意义。
解决以上问题及缺陷的意义为：
(1)本发明充分挖掘了学习者学习数据中的潜在信息，能够深层全面地对学习者进行认知诊断与表 现预测，为其后续学习提供参考及指导信息。
(2)本发明能够提供一种灵活的诊断方法，根据不同需要选用不同的诊断通道，适用于多种场景。
(3)本发明提出的一种多模态的统一智能学习诊断建模方法在传统认知诊断模型基础上，采用深度 学习方法建模学习者与学习资源，提高了诊断结果准确性及诊断效率。
发明内容
针对现有技术存在的问题，本发明提供了一种多模态的统一智能学习诊断建模方法、***、介质、终 端。
本发明是这样实现的，一种多模态的统一智能学习诊断建模方法，所述多模态的统一智能学习诊断建 模方法包括以下步骤：
步骤一，基于学习者历史学习记录及学习资源信息，构建多通道的认知诊断模型，形成可扩展的诊断 框架；在此框架内对学习者进行初步诊断，并对学习资源进行参数估计，得到学习资源参数集与学习者参 数集；
步骤二，结合深度自编码器以构建学习者特征表征网络与学习资源特征表征网络，基于原始参数集分 别对学习资源与学习者进行建模，并获取深度表征特征；
步骤三，引入自注意力机制对学习者特征与学习资源特征进行融合，挖掘各维度特征间的相关性及重 要程度信息，根据不同重要程度予以不同权值，对最有效的部分特征予以更多关注；
步骤四，将融合特征作为用来预测学习者表现情况的数据基础，构建学习者表现预测网络得到对学习 者作答正确概率的预测值；通过学习者与练习题目的特征信息诊断学习者的总体知识点掌握情况，获取练 习题目的参数表征。
进一步，步骤一中，所述基于学习者历史学习记录及学习资源信息，构建多通道的认知诊断模型，形 成可扩展的诊断框架；在此框架内对学习者进行初步诊断，并对学习资源进行参数估计，得到学习资源参 数集与学习者参数集，包括：
(1)构建学习资源集合与学习者历史学习数据集合：
S＝{s1，s2，...，sN}
E＝{e1，e2，...，eM}
K＝{k1，k2，...，kL}；
其中，S为学习者集合，E为练习题目集合，K为知识点集合。
(2)用答题矩阵R记录学生历史答题结果，每一行表示一个学生，每一列表示一道习题；如果学生 s答对习题e，则Rse＝1，否则Rse＝0；用习题-知识点矩阵Q表示习题和所考察的知识点之间的 关系，每一行表示一道题目，每一列表示一个知识点；如果习题e考察知识点k，则Qek＝1，否则Qek＝0。
(3)构建多通道认知诊断模型，利用Q矩阵和R矩阵，估计学习者及学习资源参数，得到原始参数 表征信息，并据此构建学习者及学习资源参数集；
其中，所述参数包括：学***参数，练习题目的难度、区分度、猜 测率和失误率。
所述学习者参数集、学习资源参数集定义为：
STUDENT＝{SF1，SF2，...，SFn}
EXERCISE＝{EF1，EF2，...，EFm}；
其中，SFi代表学习者的某项特征参数，EFj代表学习资源的某项特征参数。
进一步，步骤二中，所述结合深度自编码器以构建学习者特征表征网络与学习资源特征表征网络，基 于原始参数集分别对学习资源与学习者进行建模，并获取深度表征特征，包括：
(1)对学习者及学习资源参数进行预处理。首先对所有参数分别进行分段处理，将连续的参数值按 其大小映射为若干离散值，再采用One-Hot方式编码，生成学习者及学习资源参数向量：
studentF＝(SF1，SF2，...，SFn)
exerciseF＝(EF1，EF2，...，EFm)；
其中，SFi为学习者的某项参数经过One-Hot编码得到的特征向量；EFj为学习资源的某项参数经 过One-Hot编码得到的特征向量。
(2)设计学习者特征深度自编码器，由一个编码器与一个解码器构成，编码器把高维输入编码成低 维的隐变量，学习最具信息量的特征；解码器把隐藏层的隐向量还原到初始维度，最佳状态就是解码器的 输出能够完全地或者近似恢复为原来的输入，从而使隐向量表征输入信息，并达到降维作用。
(3)设计学习资源特征深度自编码器，所述学习资源特征深度自编码器的组成结构与学习者特征深 度自编码器类似。
进一步，步骤(2)中，所述利用深度自编码器获取隐特征向量，包括：
2.1)构建编码器获取隐层学习者特征向量：
studentH1＝g(Ws1×studentF+bs1)
studentH2＝g(Ws2×studentH1+bs2)；
其中，g为tanh激活函数，Ws1，Ws2是编码层节点权重参数，bs1，bs2为相应的偏置 参数；
2.2)构建解码器完成对编码特征的解码，得到输入特征的重构特征：
studentD1＝g(Ws3×studentH2+bs3)
studentD2＝g(Ws4×studentD1+bs4)；
其中，g为tanh激活函数，Ws1，Ws2是解码层节点权重参数，bs1，bs2为相应的偏置 参数；
2.3)提取隐层的特征向量studentH2作为学习者深度表征特征。
步骤(3)中，所述设计学习资源特征深度自编码器，包括：
3.1)构建编码器获取隐层学习者特征向量：
exerciseH1＝g(We1×exerciseF+be1)
exerciseH2＝g(We2×exerciseH1+be2)；
其中，g为tanh激活函数，We1，We2是编码层节点权重参数，be1，be2为相应的偏置 参数；
3.2)构建解码器完成对编码特征的解码，得到输入特征的重构特征：
exerciseD1＝g(We3×exerciseH2+be3)
exerciseD2＝g(We4×exerciseD1+be4)；
其中，g为tanh激活函数，We1，We2是解码层节点权重参数，be1，be2为相应的偏置 参数；
3.3)提取隐层的特征向量exerciseH2作为学习资源深度表征特征。
进一步，步骤三中，所述引入自注意力机制对学习者特征与学习资源特征进行融合，挖掘各维度特征 间的相关性及重要程度信息，根据不同重要程度予以不同权值，对最有效的部分特征予以更多关注，包括：
(1)拼接学习者与练习题目两个维度的特征：
F＝{studentD2，exerciseD}；
(2)结合自注意力机制对学习者与练习题目特征进行有效地融合；其中，所述结合自注意力机制进 行特征融合，包括：
1)将拼接后的特征输入卷积核大小为1的卷积层获取查询向量矩阵Query、键向量矩阵Key和值向 量矩阵Value：
Query＝Conv(F)
Key＝Conv(F)
Value＝Conv(F)；
2)通过计算查询向量矩阵与键向量矩阵间的点积的方式计算特征中的每一个数据的权值，该权值表 示所要查询的任务与每一个输入数据之间的关联度：
similarity(Query，Keyi)＝Query·Keyi；
3)引入SoftMax对关联度进行数值转换；通过归一化将原始计算分值整理成权重之和为1的概率 分布；通过SoftMax的内在机制突出重要元素的权重：
Figure BDA0003326346210000051
4)对输入数据进行加权求和得到融合后的特征数据：
Figure BDA0003326346210000052
进一步，步骤四中，所述将融合特征作为用来预测学习者表现情况的数据基础，构建学习者表现预测 网络得到对学习者作答正确概率的预测值；通过学习者与练习题目的特征信息诊断学习者的总体知识点掌 握情况，获取练习题目的参数表征，包括：
(1)构建卷积网络层预测学习者作答结果，将融合后的特征向量输入卷积层提取其空间信息，卷积 核尺寸设为3，步长为1：
Fc＝Conv(Fa)；
(2)添加Relu激活函数，减少参数间依存关系，避免过拟合：
Fre＝Relu(Fc)；
(3)通过最大池化层降低特征维度：
Fp＝MaxPool(Fre)；
(4)将降维后的特征输入全连接层，预测学习者在特定学习任务下的作答结果：
p＝σ(W3×Fp+b3)；
其中，W3，b3表示要学习的参数，W3是权重参数，b3为相应的偏置参数；σ为sigmoid为激活函数。
(5)学习者知识点掌握情况评估方式为：
studentknowledge-proficiency＝σ(W4×studentH+b4)；
studentH为高维学习者特征向量，W4，b4表示要学习的权重与偏置参数，studentknowledge-proficiency为学习者知识点掌握情况评估结果。
(6)练习题目参数表征结果即为向量exercise。
本发明的另一目的在于提供一种应用所述的多模态的统一智能学习诊断建模方法的多模态的统一智 能学习诊断建模***，所述多模态的统一智能学习诊断建模***包括：
参数集构建模块，用于基于学习者历史学习记录及学习资源信息，构建多通道的认知诊断模型，形成 可扩展的诊断框架；在此框架内对学习者进行初步诊断，并对学习资源进行参数估计，得到学习资源参数 集与学习者参数集；
特征表征网络构建模块，用于结合深度自编码器以构建学习者特征表征网络与学习资源特征表征网 络，基于原始参数集分别对学习资源与学习者进行建模，并获取深度表征特征；
特征融合模块，用于引入自注意力机制对学习者特征与学习资源特征进行融合，挖掘各维度特征间的 相关性及重要程度信息，根据不同重要程度予以不同权值，对最有效的部分特征予以更多关注；
学习诊断及参数表征模块，用于将融合特征作为用来预测学习者表现情况的数据基础，构建学习者表 现预测网络得到对学习者作答正确概率的预测值；通过学习者与练习题目的特征信息诊断学习者的总体知 识点掌握情况，获取练习题目的参数表征。
本发明的另一目的在于提供一种计算机设备，所述计算机设备包括存储器和处理器，所述存储器存储 有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如下步骤：
基于学习者历史学习记录及学习资源信息，构建多通道的认知诊断模型，形成可扩展的诊断框架；在 此框架内对学习者进行初步诊断，并对学习资源进行参数估计，得到学习资源参数集与学习者参数集；结 合深度自编码器以构建学习者特征表征网络与学习资源特征表征网络，基于原始参数集分别对学习资源与 学习者进行建模，并获取深度表征特征；
引入自注意力机制对学习者特征与学习资源特征进行融合，挖掘各维度特征间的相关性及重要程度信 息，根据不同重要程度予以不同权值，对最有效的部分特征予以更多关注；将融合特征作为用来预测学习 者表现情况的数据基础，构建学习者表现预测网络得到对学习者作答正确概率的预测值；通过学习者与练 习题目的特征信息诊断学习者的总体知识点掌握情况，获取练习题目的参数表征，为学习者的个性化学习 提供参考。
本发明的另一目的在于提供一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器 执行时，使得所述处理器执行如下步骤：
基于学习者历史学习记录及学习资源信息，构建多通道的认知诊断模型，形成可扩展的诊断框架；在 此框架内对学习者进行初步诊断，并对学习资源进行参数估计，得到学习资源参数集与学习者参数集；结 合深度自编码器以构建学习者特征表征网络与学习资源特征表征网络，基于原始参数集分别对学习资源与 学习者进行建模，并获取深度表征特征；
引入自注意力机制对学习者特征与学习资源特征进行融合，挖掘各维度特征间的相关性及重要程度信 息，根据不同重要程度予以不同权值，对最有效的部分特征予以更多关注；将融合特征作为用来预测学习 者表现情况的数据基础，构建学习者表现预测网络得到对学习者作答正确概率的预测值；通过学习者与练 习题目的特征信息诊断学习者的总体知识点掌握情况，获取练习题目的参数表征，为学习者的个性化学习 提供参考。
本发明的另一目的在于提供一种信息数据处理终端，所述信息数据处理终端用于实现所述的多模态的 统一智能学习诊断建模***。
结合上述的所有技术方案，本发明所具备的优点及积极效果为：
本发明提供的多模态的统一智能学习诊断建模方法，充分挖掘了学习者学习数据中的潜在信息，能够 深层全面地对学习者进行认知诊断与表现预测，为其后续学习提供参考及指导信息；
本发明有利于融合多通道认知诊断模型的优点，能够制定灵活的诊断策略，从不同角度建模学习者与 学习资源，适用于多种场景；
本发明提出的多模态的统一智能学习诊断建模方法在传统的基于统计方法认知诊断模型基础上，使用 深度自编码器建模学习者与学习资源，并引入自注意力机制处理得到的深度特征，能够更加准确、高效地 对学习者进行学习诊断；
本发明设计卷积神经网络来预测学习者作答情况，从学习者与学习资源的空间特征中抽取有效信息， 据此获得对于学习者作答情况更加准确的预测值。
对比的技术效果或者实验效果，包括：
本发明将一种多模态的统一智能学习诊断建模方法与其他学习诊断分析方法进行对比，对比指标曲线 下面积AUC和均方根误差RMSE。AUC和为学习者表现预测评估提供了可靠的指标，0.5的AUC值代表 随机可获得的得分，越高的AUC分数代表预测结果越准确。均方根误差(Root Mean Square Error,RMSE) 用来衡量估计值与真实值之间的偏差，其值越小则表明挖掘结果越接近真实值。计算公式为：
Figure BDA0003326346210000071
本发明将本方法与传统学习诊断方法进行了比较。为了进行客观的比较，将所有方法都调整为最佳状 态，一种多模态的统一智能学习诊断建模方法与传统学习诊断方法在数据集MATH下的AUC、RMSE对 比结果如表1所示。
表1实验结果对比
Figure BDA0003326346210000072
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例中所需要使用的附图做简单的介 绍，显而易见地，下面所描述的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付 出创造性劳动的前提下还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的多模态的统一智能学习诊断建模方法流程图。
图2是本发明实施例提供的多模态的统一智能学习诊断建模方法原理图。
图3是本发明实施例提供的多模态的统一智能学习诊断建模***结构框图；
图中：1、参数集构建模块；2、特征表征网络构建模块；3、特征融合模块；4、学习诊断及参数表征 模块。
图4是本发明实施例提供的实验结果对比图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说 明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
针对现有技术存在的问题，本发明提供了一种多模态的统一智能学习诊断建模方法及***，下面结合 附图对本发明作详细的描述。
如图1所示，本发明实施例提供的多模态的统一智能学习诊断建模方法，包括以下步骤：
S101，基于学***)；
S102，结合深度自编码器以构建学习者特征表征网络与学习资源特征表征网络，基于原始参数集分别 对学习资源与学习者进行建模，获取深度表征特征；
S103，引入自注意力机制对学习者特征与学习资源特征进行融合，挖掘各维度特征间的相关性及重要 程度信息，根据不同重要程度予以不同权值，对最有效的部分特征予以更多关注；
S104，将融合特征作为用来预测学习者表现情况的数据基础，构建学习者表现预测网络得到对学习者 作答正确概率的预测值；通过学习者与练习题目的特征信息诊断学习者的总体知识点掌握情况，获取练习 题目的参数表征。
本发明实施例提供的多模态的统一智能学习诊断建模方法原理图见图2。
如图3所示，本发明实施例提供的多模态的统一智能学习诊断建模***，包括：
参数集构建模块1，用于基于学习者历史学习记录及学习资源信息，构建多通道的认知诊断模型，形 成可扩展的诊断框架；在此框架内对学习者进行初步诊断，并对学习资源进行参数估计，得到学习资源参 数集与学习者参数集；
特征表征网络构建模块2，用于结合深度自编码器以构建学习者特征表征网络与学习资源特征表征网 络，基于原始参数集分别对学习资源与学习者进行建模，并获取深度表征特征；
特征融合模块3，用于引入自注意力机制对学习者特征与学习资源特征进行融合，挖掘各维度特征间 的相关性及重要程度信息，根据不同重要程度予以不同权值，对最有效的部分特征予以更多关注；
学习诊断及参数表征模块4，用于将融合特征作为用来预测学习者表现情况的数据基础，构建学习者 表现预测网络得到对学习者作答正确概率的预测值；通过学习者与练习题目的特征信息诊断学习者的总体 知识点掌握情况，获取练习题目的参数表征。
下面结合具体实施例对本发明的技术方案作进一步描述。
实施例1
如图2所示，本发明实施例提供的多模态的统一智能学习诊断建模方法，包括以下步骤：
(1)基于学习者历史学习记录及学习资源信息，构建多通道的认知诊断模型，形成可扩展的诊断框 架；在此框架内对学习者进行初步诊断，并对学习资源进行参数估计，得到学习资源参数集与学习者参数 集；
(2)结合深度自编码器以构建学习者特征表征网络与学习资源特征表征网络，基于原始参数集分别 对学习资源与学习者进行建模，获取深度表征特征；
(3)引入自注意力机制对学习者特征与学习资源特征进行融合，挖掘各维度特征间的相关性及重要 程度信息，根据不同重要程度予以不同权值，对最有效的部分特征予以更多关注；
(4)将融合特征作为用来预测学习者表现情况的数据基础，构建学习者表现预测网络得到对学习者 作答正确概率的预测值；通过学习者与练习题目的特征信息诊断学习者的总体知识点掌握情况，获取练习 题目的参数表征。
步骤(1)中，本发明实施例提供的基于学习者历史学习记录及学习资源信息，构建多通道的认知诊 断模型，形成可扩展的诊断框架。在此框架内对学习者进行初步诊断，并对学习资源进行参数估计，从而 得到学习资源参数集与学习者参数集包括：
(1.1)构建学习资源集合与学习者历史学习数据集合：
S＝{s1，s2，...，sN}
E＝{e1，e2，...，eM}
K＝{k1，k2，...，kL}
其中，S为学习者集合，E为练习题目集合，K为知识点集合。
(1.2)用答题矩阵R记录学生历史答题结果，其每一行表示一个学生，每一列表示一道习题，如果 学生s答对习题e，那么Rse＝1，否则Rse＝0；用习题-知识点矩阵Q表示习题和所考察的知识点 之间的关系，每一行表示一道题目，每一列表示一个知识点，如果习题e考察了知识点k，那么Qek＝1， 否则Qek＝0。
(1.3)构建多通道认知诊断模型，利用Q矩阵和R矩阵，估计学习者及学习资源参数，得到原始参 数表征信息，并据此构建学习者及学习资源参数集。本实施例中采用DINA与IRT模型构建多通道认知诊 断模型。作为本发明实施例，可扩展的认知诊断框架中，以融合IRT模型与Dina模型为实例，其参数获 取及网络构建具体方法为：
(1.2.1)DINA模型中，以Q矩阵和R矩阵为输入，估计学习者及试题参数。包括：学习者-对于各 个知识点的掌握向量Sα；练习题-猜测率eguess、失误率eslip。
(1.2.2)将每个学生描述为一个知识点掌握程度向量，其中每一维对应一个知识点。在已知学生的知 识点掌握向量的情况下，对于学生未作答的试题，可以根据下式获得学生对试题的潜在作答情况：
Figure BDA0003326346210000101
即当学生掌握了正确回答试题所需的全部知识点时，ηuv＝1。
(1.2.3)引入失误率s和猜测率g两种题目参数，其定义为：
学生掌握了回答试题所需的全部知识点，但是由于某些原因回答错误。即失误参数：
Sj＝P(Ruv＝0|ηuv＝1)
学生没有掌握回答试题所需的全部知识点，甚至一个知识点都没掌握，但是回答正确。即猜测参数：
gj＝P(Ruv＝1|ηuv＝0)
(1.2.4)实际响应矩阵的概率模型为：
Figure BDA0003326346210000102
(1.2.5)由此得到DINA模型的总似然函数：
Figure BDA0003326346210000103
其中，L＝2V。
(1.2.6)引入EM算法，采用极大边缘似然估计的方法求解：
E步：利用上一轮得到的sv与gv估计值计算矩阵P(R|α)＝[P(Ru|αl)]U×L的值，并利用P(R|α)计算 矩阵P(α|R)＝[P(αl|Ru)]L×U的值。
M步：分别令
Figure BDA0003326346210000104
和
Figure BDA0003326346210000105
可得
Figure BDA0003326346210000106
其中
Figure BDA0003326346210000107
表示属于第l种知识 点掌握模式的学生中缺乏至少一个第v题所需知识点的人数期望，
Figure BDA0003326346210000108
表示
Figure BDA0003326346210000109
中回答正确第v题的人数期 望，
Figure BDA00033263462100001010
和
Figure BDA00033263462100001011
的含义与
Figure BDA00033263462100001012
和
Figure BDA00033263462100001013
相似，不同之处在于
Figure BDA00033263462100001014
与
Figure BDA00033263462100001015
是在学生掌握所有第v题所需知识点的情形 下的期望。故可由E步中得到的估计，计算
Figure BDA00033263462100001016
和
Figure BDA00033263462100001017
的值，并由此得到新的sv与gv估计值。
(1.2.7)IRT模型中，根据R矩阵估计学习者及试题参数。包括：学习者-能力值sθ；练习题-难 度edifficulty、区分度ediscrimination。
(1.2.8)记题目v的参数为δv，学习者k的能力参数为πk，另记总题目参数向量为δ，记所有学 习者的能力参数πk的取值集合为π，则学习者k作答反应为rk的条件概率为：
Figure BDA0003326346210000111
其中，P(πk|δj)为学习者k正确回答题目j的概率。
(1.2.9)由此得到IRT模型的总似然函数：
Figure BDA0003326346210000112
其中，p(πk|π)为学习者能力值为πk的概率。
(1.2.10)引入EM算法进行参数估计：
E步：利用上一轮迭代得到的δ与π计算能力水平为πk的人数nk以及水平为πk的且答对题目 的人数rjk的期望值
M步：令
Figure RE-GDA0003402258930000113
可得
Figure RE-GDA0003402258930000114
令
Figure RE-GDA0003402258930000115
即求解方程
Figure RE-GDA0003402258930000116
可得
Figure RE-GDA0003402258930000117
(1.2.11)将学习者与学习资源两类参数分别组合起来得到两个参数集student、exercise：
student＝{sθ，sα}
exercise＝{edifficulty，ediscrimin ation，eguess，eslip}
步骤(2)中，本发明实施例提供的结合深度自编码器以构建学习者特征表征网络与学习资源特征表 征网络，基于原始参数集分别对学习资源与学习者进行建模，并获取其深度表征特征：
(2.1)由学习者及学习资源参数集构建学习者参数向量及学习资源参数向量：
studentF＝(sθ，sα)
exerciseF＝(edifficulty，ediscrinmin ation，eguess，eslip)
(2.2)对学习者及学习资源参数向量进行预处理。首先对所有参数分别进行分段处理，将连续的参数 值按其大小映射为若干离散值，再采用One-Hot方式编码，生成64维学习者及40维学习资源参数向量：
studentF＝(SF1，SF2)
exerciseF＝(EF1，EF2，EF3，EF4)
其中，SFi为学习者的某项参数经过One-Hot编码得到的特征向量；EFj为学习资源的某项参数经 过One-Hot编码得到的特征向量。
(2.3)设计学习者特征深度自编码器，由一个编码器与一个解码器构成，编码器把高维输入编码成低 维的隐变量，学习最具信息量的特征；解码器把隐藏层的隐向量还原到初始维度，最佳状态就是解码器的 输出能够完全地或者近似恢复为原来的输入，从而使隐向量能够很好地表征输入信息，并达到降维作用：
所述利用深度自编码器获取隐特征向量具体包括：
(2.3.1)构建编码器获取隐层学习者特征向量：
studentH1＝g(Ws1×studentF+bs1)
studentH2＝g(Ws2×studentH1+bs2)
其中，g为tanh激活函数，Ws1，Ws2是编码层节点权重参数，bs1，bs2为相应的偏置参数；
(2.3.2)构建解码器完成对编码特征的解码，得到输入特征的重构特征：
studentD1＝g(Ws3×studentH2+bs3)
studentD2＝g(Ws4×studentD1+bs4)
其中，g为tanh激活函数，Ws1，Ws2是解码层节点权重参数，bs1，bs2为相应的偏置参数；
(2.3.3)提取隐层的32维特征向量studentH2作为学习者深度表征特征。
(2.4)同样地，设计学习资源特征深度自编码器，其组成结构与学习者特征深度自编码器类似：
(2.4.1)构建编码器获取隐层学习者特征向量：
exerciseH1＝g(We1×exerciseF+be1)
exerciseH2＝g(We2×exerciseH1+be2)
其中，g为tanh激活函数，We1，We2是编码层节点权重参数，be1，be2为相应的偏置参数；
(2.4.2)构建解码器完成对编码特征的解码，得到输入特征的重构特征：
exerciseD1＝g(We3×exerciseH2+be3)
exerciseD2＝g(We4×exerciseD1+be4)
其中，g为tanh激活函数，We1，We2是解码层节点权重参数，be1，be2为相应的偏置参数；
(2.4.3)提取隐层的32维特征向量exerciseH2作为学习资源深度表征特征。
进一步，S103中，本发明实施例提供的引入自注意力机制对学习者特征与学习资源特征进行有效地融 合，充分挖掘各维度特征间的相关性及重要程度信息，根据不同重要程度对其予以不同权值，对最有效的 一部分特征予以更多关注包括：
(3.1)拼接学习者与练习题目两个维度的特征，得到64维整体特征：
F＝{studentH2，exerciseH2}
(3.2)结合自注意力机制对学习者与练习题目特征进行有效地融合；
其中，所述结合自注意力机制进行特征融合的具体方法包括：
(3.2.1)将拼接后的特征输入卷积核大小为1的卷积层获取查询向量矩阵Query、键向量矩阵Key、 值向量矩阵Value：
Query＝Conv(F)
Key＝Conv(F)
Value＝Cony(F)
(3.2.2)通过计算查询向量矩阵与键向量矩阵间的点积的方式计算特征中的每一个数据的权值，该权 值表示所要查询的任务与每一个输入数据之间的关联度：
similarity(Query，Keyi)＝Query·Keyi
(3.2.3)引入SoftMax对关联度进行数值转换，一方面可以进行归一化，将原始计算分值整理成 权重之和为1的概率分布；另一方面也可以通过SoftMax的内在机制更加突出重要元素的权重：
Figure BDA0003326346210000131
(3.2.4)对输入数据进行加权求和得到融合后的特征数据：
Figure BDA0003326346210000132
步骤(4)中，本发明实施例提供的将融合特征作为用来预测学习者表现情况的数据基础，构建学习 者表现预测网络得到对学习者作答正确概率的预测值；通过学习者与练习题目的特征信息诊断学习者的总 体知识点掌握情况，并获取练习题目的参数表征，为学习者的个性化学习提供参考包括：
(4.1)构建卷积网络层预测学习者作答结果，将融合后的特征向量输入卷积层提取其空间信息，卷积 核尺寸设为3，步长为1：
Fc＝Conv(Fa)
(4.2)添加Relu激活函数，减少参数间依存关系，避免过拟合：
Fre＝Relu(Fc)
(4.3)通过最大池化层降低特征维度：
Fp＝MaxPool(Fre)
(4.4)将降维后的特征输入全连接层，预测学习者在特定学习任务下的作答结果：
p＝σ(W3×Fp+b3)
其中，W3，b3表示要学习的参数，W3是权重参数，b3为相应的偏置参数；σ为sigmoid为激活函数。
(4.5)学习者知识点掌握情况评估方式为：
studentknowledge-proficiency＝σ(W4×studentH+b4)
studentH为高维学习者特征向量，W4，b4表示要学习的权重与偏置参数，studentknowledge-proficiency为学习者知识点掌握情况评估结果。
(4.6)练习题目参数表征结果即为向量exercise。
实施例2
本发明实施例提供的多模态的统一智能学习诊断建模方法具体包括：
(1)基于学习者历史学习记录及学习资源信息，构建多通道的认知诊断模型，形成可扩展的诊断框 架。在此框架内对学习者进行初步诊断，并对学习资源进行参数估计，从而得到学习资源参数集与学习者 参数集；
(2)结合深度自编码器以构建学习者特征表征网络与学习资源特征表征网络，基于原始参数集分别 对学习资源与学习者进行建模，并获取其深度表征特征；
(3)引入自注意力机制对学习者特征与学习资源特征进行有效地融合，充分挖掘各维度特征间的相 关性及重要程度信息，根据不同重要程度对其予以不同权值，对最有效的一部分特征予以更多关注；
(4)将融合特征作为用来预测学习者表现情况的数据基础，构建学习者表现预测网络得到对学习者 作答正确概率的预测值；通过学习者与练习题目的特征信息诊断学习者的总体知识点掌握情况，并获取练 习题目的参数表征，为学习者的个性化学习提供参考。
作为本发明优选实施例，基于学习者历史学习记录及学习资源信息，构建多通道的认知诊断模型，形 成可扩展的诊断框架。在此框架内对学习者进行初步诊断，并对学习资源进行参数估计，从而得到学习资 源参数集与学习者参数集包括：
(1.1)构建学习资源集合与学习者历史学习数据集合：
S＝{s1，s2，...，sN}
E＝{e1，e2，...，eM}
K＝{k1，k2，...，kL}
其中，S为学习者集合，E为练习题目集合，K为知识点集合。
用答题矩阵R记录学生历史答题结果，其每一行表示一个学生，每一列表示一道习题，如果学生s答 对习题e，那么Rse＝1，否则Rse＝0；用习题-知识点矩阵Q表示习题和所考察的知识点之间的关 系，每一行表示一道题目，每一列表示一个知识点，如果习题e考察了知识点k，那么Qek＝1，否则 Qek＝0。
(1.2)根据Q矩阵和R矩阵以及多种认知诊断模型，估计学***参数等；练习题目的难度、区分度、猜测率、失误率等。
(1.3)采用从在线教育平台智学网中收集到的MATH数据集，其包含的数据信息如表2所示。
表2 MATH数据集描述
学生数 14209
练习数 15(客观题)
知识点个数 11
作为本发明优选实施例，可扩展的认知诊断框架中，以融合IRT模型与Dina模型为实例，其参数获 取及网络构建具体方法为：
(1.2.1)DINA模型中，以Q矩阵和R矩阵为输入，估计学习者及试题参数。包括：学习者-对于各 个知识点的掌握向量sα；练习题-猜测率eguess、失误率eslip。
(1.2.2)将每个学生描述为一个知识点掌握程度向量，其中每一维对应一个知识点。在已知学生的知 识点掌握向量的情况下，对于学生未作答的试题，可以根据下式获得学生对试题的潜在作答情况：
Figure BDA0003326346210000151
即当学生掌握了正确回答试题所需的全部知识点时，ηuv＝1。
(1.2.3)引入失误率s和猜测率g两种题目参数，其定义为：
学生掌握了回答试题所需的全部知识点，但是由于某些原因回答错误。即失误参数：
Sj＝P(Ruv＝0|ηuv＝1)
学生没有掌握回答试题所需的全部知识点，甚至一个知识点都没掌握，但是回答正确。即猜测参数：
gj＝P(Ruv＝1|ηuv＝0)
(1.2.4)实际响应矩阵的概率模型为：
Figure BDA0003326346210000152
(1.2.5)由此得到DINA模型的总似然函数：
Figure BDA0003326346210000153
其中，L＝2V。
(1.2.6)引入EM算法，采用极大边缘似然估计的方法求解：
E步：利用上一轮得到的sv与gv估计值计算矩阵P(R|α)＝[Ｐ(Ru|αl)]U×L的值，并利用Ｐ(R|α)计算 矩阵Ｐ(α|R)＝[Ｐ(αl|Ru)]L×U的值。
M步：分别令
Figure BDA0003326346210000154
和
Figure BDA0003326346210000155
可得
Figure BDA0003326346210000156
其中
Figure BDA0003326346210000157
表示属于第l种知识 点掌握模式的学生中缺乏至少一个第v题所需知识点的人数期望，
Figure BDA0003326346210000158
表示
Figure BDA0003326346210000159
中回答正确第v题的人数期 望，
Figure BDA0003326346210000161
和
Figure BDA0003326346210000162
的含义与
Figure BDA0003326346210000163
和
Figure BDA0003326346210000164
相似，不同之处在于
Figure BDA0003326346210000165
与
Figure BDA0003326346210000166
是在学生掌握所有第v题所需知识点的情形 下的期望。故可由E步中得到的估计，计算
Figure BDA0003326346210000167
和
Figure BDA0003326346210000168
的值，并由此得到新的sv与gv估计值。
(1.2.7)IRT模型中，根据R矩阵估计学习者及试题参数。包括：学习者-能力值Sθ；练习题-难 度edifficulty、区分度ediscrimination。
(1.2.8)记题目v的参数为δv，学习者k的能力参数为πk，另记总题目参数向量为δ，记所有学 习者的能力参数πk的取值集合为π，则学习者k作答反应为rk的条件概率为：
Figure BDA0003326346210000169
其中，P(πk|δj)为学习者k正确回答题目j的概率。
(1.2.9)由此得到IRT模型的总似然函数：
Figure BDA00033263462100001610
其中，p(πk|π)为学习者能力值为πk的概率。
(1.2.10)引入EM算法进行参数估计：
E步：利用上一轮迭代得到的δ与π计算能力水平为πk的人数nk以及水平为πk的且答对题目 的人数rjk的期望值
M步：令
Figure RE-GDA00034022589300001611
可得
Figure RE-GDA00034022589300001612
令
Figure RE-GDA00034022589300001613
即求解方程
Figure RE-GDA00034022589300001614
可得
Figure RE-GDA00034022589300001615
作为本发明优选实施例，结合深度自编码器以构建学习者特征表征网络与学习资源特征表征网络，基 于原始参数集分别对学习资源与学习者进行建模，并获取其深度表征特征包括：
(2.1)由学习者及学习资源参数集构建学习者参数向量及学习资源参数向量：
studentF＝(sθ，sα)
exerciseF＝(edifficulty，ediscrimin ation，eguess，eslip)
(2.2)对学习者及学习资源参数向量进行预处理。首先对所有参数分别进行分段处理，将连续的参数 值按其大小映射为若干离散值，再采用One-Hot方式编码，生成学习者及学习资源参数向量：
studentF＝(SF1，SF2)
exerciseF＝(EF1，EF2，EF3，EF4)
其中，SFi为学习者的某项参数经过One-Hot编码得到的特征向量；EFj为学习资源的某项参数经 过One-Hot编码得到的特征向量。
(2.3)设计学习者特征深度自编码器，由一个编码器与一个解码器构成，编码器把高维输入编码成低 维的隐变量，学习最具信息量的特征；解码器把隐藏层的隐向量还原到初始维度，最佳状态就是解码器的 输出能够完全地或者近似恢复为原来的输入，从而使隐向量能够很好地表征输入信息，并达到降维作用； 所述利用深度自编码器获取隐特征向量具体包括：
(2.3.1)构建编码器获取隐层学习者特征向量：
studentH1＝g(Ws1×studentF+bs1)
studentH2＝g(Ws2×studentH1+bs2)
其中，g为tanh激活函数，Ws1，Ws2是编码层节点权重参数，bs1，bs2为相应的偏置参数；
(2.3.2)构建解码器完成对编码特征的解码，得到输入特征的重构特征：
studentD1＝g(Ws3×studentH2+bs3)
studentD2＝g(Ws4×studentD1+bs4)
其中，g为tanh激活函数，Ws1，Ws2是解码层节点权重参数，bs1，bs2为相应的偏置参数；
(2.3.3)提取隐层的特征向量studentH2作为学习者深度表征特征。
(2.4)同样地，设计学习资源特征深度自编码器，其组成结构与学习者特征深度自编码器类似：
(2.4.1)构建编码器获取隐层学习者特征向量：
exerciseH1＝g(We1×exerciseF+be1)
exerciseH2＝g(We2×exerciseH1+be2)
其中，g为tanh激活函数，We1，We2是编码层节点权重参数，be1，be2为相应的偏置参数；
(2.4.2)构建解码器完成对编码特征的解码，得到输入特征的重构特征：
exerciseD1＝g(We3×exerciseH2+be3)
exerciseD2＝g(We4×exerciseD1+be4)
其中，g为tanh激活函数，We1，We2是解码层节点权重参数，be1，be2为相应的偏置参数；
(2.4.3)提取隐层的特征向量exerciseH2作为学习资源深度表征特征。
作为本发明优选实施例，引入自注意力机制对学习者特征与学习资源特征讲行有效地融合，充分挖掘 各维度特征间的相关性及重要程度信息，根据不同重要程度对其予以不同权值，对最有效的一部分特征予 以更多关注包括：
(3.1)拼接学习者与练习题目两个维度的特征：
F＝{studentH2，exerciseH2}
(3.2)结合自注意力机制对学习者与练习题目特征进行有效地融合；
其中，所述结合自注意力机制进行特征融合的具体方法包括：
(3.2.1)将拼接后的特征输入卷积核大小为1的卷积层获取查询向量矩阵Query、键向量矩阵Key、 值向量矩阵Value：
Query＝Conv(F)
Key＝Conv(F)
Value＝Conv(F)
(3.2.2)通过计算查询向量矩阵与键向量矩阵间的点积的方式计算特征中的每一个数据的权值，该权 值表示所要查询的任务与每一个输入数据之间的关联度：
similarity(Query，Keyi)＝Query·Keyi
(3.2.3)引入SoftMax对关联度进行数值转换，一方面可以进行归一化，将原始计算分值整理成 权重之和为1的概率分布；另一方面也可以通过SoftMax的内在机制更加突出重要元素的权重：
Figure BDA0003326346210000181
(3.2.4)对输入数据进行加权求和得到融合后的特征数据：
Figure BDA0003326346210000182
作为本发明优选实施例，将融合特征作为用来预测学习者表现情况的数据基础，构建学习者表现预测 网络得到对学习者作答正确概率的预测值；通过学习者与练习题目的特征信息诊断学习者的总体知识点掌 握情况，并获取练习题目的参数表征，为学习者的个性化学习提供参考包括：
(4.1)构建卷积网络层预测学习者作答结果，将融合后的特征向量输入卷积层提取其空间信息，卷积 核尺寸设为3，步长为1：
Fc＝Conv(Fa)
(4.2)添加Relu激活函数，减少参数间依存关系，避免过拟合：
Fre＝Relu(Fc)
(4.3)通过最大池化层降低特征维度：
Fp＝MaxPool(Fre)
(4.4)将降维后的特征输入全连接层，预测学习者在特定学习任务下的作答结果：
p＝σ(W3×Fp+b3)
其中，W3，b3表示要学习的参数，W3是权重参数，b3为相应的偏置参数；σ为sigmoid为激活函数。
(4.5)学习者知识点掌握情况评估方式为：
studentknowledge-proficiency＝σ(W4×studentH+b4)
studentH为高维学习者特征向量，W4，b4表示要学习的权重与偏置参数，studentknowledge-proficiency为学习者知识点掌握情况评估结果。
(4.6)练习题目参数表征结果即为向量exercise。
此外，实验平台采用Pycharm中的Pytorch框架，以及诸如numpy、pandas、skleam等工具包来实现 数据的预处理、模型构建与训练及结果输出等功能。
本发明将本方法与传统学习诊断方法进行了对比。为了比较结果的客观性，将每种方法都调整到最佳 的状态，一种多模态的统一智能学习诊断建模方法与传统学习诊断方法在数据集MATH下的AUC、对比 结果如表3所示。
表3实验结果对比
Figure BDA0003326346210000191
由实验结果可以看出，本发明提出的多模态的统一智能学习诊断建模方法在数据集MATH上的AUC 较传统方法分别提升了7.67％、12.76％、10.01％，RMSE下降了0.0562、0.0052、0.04，比传统方法的准 确性更高。说明本发明基于学习者历史学习记录及学习资源信息，在融合多个认知诊断模型的可扩展的诊 断框架内，对学习者进行初步诊断，对练习题目进行参数估计，再从学习者与练习题目两个维度构建网络， 即学习者参数网络和题目参数网络，能够更好地对练习题目与学习者进行建模，更加充分地挖掘二者的高 维特征。结合自注意力机制对学习者与练习题目两方面特征进行有效地融合，从而更加精准地预测学习者 表现情况，并准确地诊断学习者的知识掌握情况。
在本发明的描述中，除非另有说明，“多个”的含义是两个或两个以上；术语“上”、“下”、“左”、 “右”、“内”、“外”、“前端”、“后端”、“头部”、“尾部”等指示的方位或位置关系为基于附 图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必 须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、 “第二”、“第三”等仅用于描述目的，而不能理解为指示或暗示相对重要性。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用全部或部 分地以计算机程序产品的形式实现，所述计算机程序产品包括一个或多个计算机指令。在计算机上加载或 执行所述计算机程序指令时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是 通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存 储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可 以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL)或 无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输)。所述 计算机可读取存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服 务器、数据中心等数据存储设备。所述可用介质可以是磁性介质(例如软盘、硬盘、磁带)、光介质(例 如DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的 技术人员在本发明揭露的技术范围内，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等， 都应涵盖在本发明的保护范围之内。

Claims (10)

1.一种多模态的统一智能学习诊断建模方法，其特征在于，所述多模态的统一智能学习诊断建模方法包括以下步骤：
步骤一，基于学习者历史学习记录及学习资源信息，构建多通道的认知诊断模型，形成可扩展的诊断框架；在此框架内对学习者进行初步诊断，并对学习资源进行参数估计，得到学习资源参数集与学习者参数集；
步骤二，结合深度自编码器以构建学习者特征表征网络与学习资源特征表征网络，基于原始参数集分别对学习资源与学习者进行建模，并获取深度表征特征；
步骤三，引入自注意力机制对学习者特征与学习资源特征进行融合，挖掘各维度特征间的相关性及重要程度信息，根据不同重要程度予以不同权值，对最有效的部分特征予以更多关注；
步骤四，将融合特征作为用来预测学习者表现情况的数据基础，构建学习者表现预测网络得到对学习者作答正确概率的预测值；通过学习者与练习题目的特征信息诊断学习者的总体知识点掌握情况，获取练习题目的参数表征。
2.如权利要求1所述的多模态的统一智能学习诊断建模方法，其特征在于，步骤一中，所述基于学习者历史学习记录及学习资源信息，构建多通道的认知诊断模型，形成可扩展的诊断框架；在此框架内对学习者进行初步诊断，并对学习资源进行参数估计，得到学习资源参数集与学习者参数集，包括：
(1)构建学习资源集合与学习者历史学习数据集合：
S＝{s1，s2，...，sN}
E＝{e1，e2，...，eM}
K＝{k1，k2，...，kL}；
其中，S为学习者集合，E为练习题目集合，K为知识点集合；
(2)用答题矩阵R记录学生历史答题结果，每一行表示一个学生，每一列表示一道习题；如果学生s答对习题e，则Rse＝1，否则Rse＝0；用习题-知识点矩阵Q表示习题和所考察的知识点之间的关系，每一行表示一道题目，每一列表示一个知识点；如果习题e考察知识点k，则Qek＝1，否则Qek＝0；
(3)构建多通道认知诊断模型，利用Q矩阵和R矩阵，估计学习者及学习资源参数，得到原始参数表征信息，并据此构建学习者及学习资源参数集；
其中，所述参数包括：学***参数，练习题目的难度、区分度、猜测率和失误率；
所述学习者参数集、学习资源参数集定义为：
STUDENT＝{SF1，SF2，...，SFn}
EXERCISE＝{EF1，EF2，...，EFm}；
其中，SFi代表学习者的某项特征参数，EFj代表学习资源的某项特征参数。
3.如权利要求1所述的多模态的统一智能学习诊断建模方法，其特征在于，步骤二中，所述结合深度自编码器以构建学习者特征表征网络与学习资源特征表征网络，基于原始参数集分别对学习资源与学习者进行建模，并获取深度表征特征，包括：
(1)对学习者及学习资源参数进行预处理；先对所有参数分别进行分段处理，将连续的参数值按其大小映射为若干离散值，再采用One-Hot方式编码，生成学习者及学习资源参数向量：
studentF＝(SF1，SF2，...，SFn)
exerciseF＝(EF1，EF2，...，EFm)；
其中，SFi为学习者的某项参数经过One-Hot编码得到的特征向量；EFj为学习资源的某项参数经过One-Hot编码得到的特征向量；
(2)设计学习者特征深度自编码器，由一个编码器与一个解码器构成，编码器把高维输入编码成低维的隐变量，学习最具信息量的特征；解码器把隐藏层的隐向量还原到初始维度，最佳状态就是解码器的输出能够完全地或者近似恢复为原来的输入，从而使隐向量表征输入信息，并达到降维作用；
(3)设计学习资源特征深度自编码器，所述学习资源特征深度自编码器的组成结构与学习者特征深度自编码器类似。
4.如权利要求3所述的多模态的统一智能学习诊断建模方法，其特征在于，步骤(2)中，所述利用深度自编码器获取隐特征向量，包括：
2.1)构建编码器获取隐层学习者特征向量：
studentH1＝g(Ws1×studentF+bs1)
studentH2＝g(Ws2×studentH1+bs2)；
其中，g为tanh激活函数，Ws1，Ws2是编码层节点权重参数，bs1，bs2为相应的偏置参数；
2.2)构建解码器完成对编码特征的解码，得到输入特征的重构特征：
studentD1＝g(Ws3×studentH2+bs3)
studentD2＝g(Ws4×studentD1+bs4)；
其中，g为tanh激活函数，Ws3，Ws4是解码层节点权重参数，bs3，bs4为相应的偏置参数；
2.3)提取隐层的特征向量studentH2作为学习者深度表征特征；
步骤(3)中，所述设计学习资源特征深度自编码器，包括：
3.1)构建编码器获取隐层学习者特征向量：
exerciseH1＝g(We1×exerciseF+be1)
exerciseH2＝g(We2×exerciseH1+be2)；
其中，g为tanh激活函数，We1，We2是编码层节点权重参数，be1，be2为相应的偏置参数；
3.2)构建解码器完成对编码特征的解码，得到输入特征的重构特征：
exerciseD1＝g(We3×exerciseH2+be3)
exerciseD2＝g(We4×exerciseD1+be4)；
其中，g为tanh激活函数，We3，We4是解码层节点权重参数，be3，be4为相应的偏置参数；
3.3)提取隐层的特征向量exerciseH2作为学习资源深度表征特征。
5.如权利要求1所述的多模态的统一智能学习诊断建模方法，其特征在于，步骤三中，所述引入自注意力机制对学习者特征与学习资源特征进行融合，挖掘各维度特征间的相关性及重要程度信息，根据不同重要程度予以不同权值，对最有效的部分特征予以更多关注，包括：
(1)拼接学习者与练习题目两个维度的特征：
F＝{studentD2，exerciseD}；
(2)结合自注意力机制对学习者与练习题目特征进行有效地融合；其中，所述结合自注意力机制进行特征融合，包括：
1)将拼接后的特征输入卷积核大小为1的卷积层获取查询向量矩阵Query、键向量矩阵Key和值向量矩阵Value：
Query＝Conv(F)
Key＝Conv(F)
Value＝Conv(F)；
2)通过计算查询向量矩阵与键向量矩阵间的点积的方式计算特征中的每一个数据的权值，该权值表示所要查询的任务与每一个输入数据之间的关联度：
similarity(Query，Keyi)＝Query·Keyi；
3)引入SoftMax对关联度进行数值转换；通过归一化将原始计算分值整理成权重之和为1的概率分布；通过SoftMax的内在机制突出重要元素的权重：
Figure FDA0003326346200000041
4)对输入数据进行加权求和得到融合后的特征数据：
Figure FDA0003326346200000042
6.如权利要求1所述的多模态的统一智能学习诊断建模方法，其特征在于，步骤四中，所述将融合特征作为用来预测学习者表现情况的数据基础，构建学习者表现预测网络得到对学习者作答正确概率的预测值；通过学习者与练习题目的特征信息诊断学习者的总体知识点掌握情况，获取练习题目的参数表征，包括：
(1)构建卷积网络层预测学习者作答结果，将融合后的特征向量输入卷积层提取其空间信息，卷积核尺寸设为3，步长为1：
Fc＝Conv(Fa)；
(2)添加Relu激活函数，减少参数间依存关系，避免过拟合：
Fre＝Relu(Fc)；
(3)通过最大池化层降低特征维度：
Fp＝MaxPool(Fre)；
(4)将降维后的特征输入全连接层，预测学习者在特定学习任务下的作答结果：
p＝σ(W3×Fp+b3)；
其中，W3，b3表示要学习的参数，W3是权重参数，b3为相应的偏置参数；σ为sigmoid为激活函数；
(5)学习者知识点掌握情况评估方式为：
studentknowledge-proficiency＝σ(W4×studentH+b4)；
studentH为高维学习者特征向量，W4，b4表示要学习的权重与偏置参数，studentknowledge-proficiency为学习者知识点掌握情况评估结果；
(6)练习题目参数表征结果即为向量exercise。
7.一种应用如权利要求1～6任意一项所述的多模态的统一智能学习诊断建模方法的多模态的统一智能学习诊断建模***，其特征在于，所述多模态的统一智能学习诊断建模***包括：
参数集构建模块，用于基于学习者历史学习记录及学习资源信息，构建多通道的认知诊断模型，形成可扩展的诊断框架；在此框架内对学习者进行初步诊断，并对学习资源进行参数估计，得到学习资源参数集与学习者参数集；
特征表征网络构建模块，用于结合深度自编码器以构建学习者特征表征网络与学习资源特征表征网络，基于原始参数集分别对学习资源与学习者进行建模，并获取深度表征特征；
特征融合模块，用于引入自注意力机制对学习者特征与学习资源特征进行融合，挖掘各维度特征间的相关性及重要程度信息，根据不同重要程度予以不同权值，对最有效的部分特征予以更多关注；
学习诊断及参数表征模块，用于将融合特征作为用来预测学习者表现情况的数据基础，构建学习者表现预测网络得到对学习者作答正确概率的预测值；通过学习者与练习题目的特征信息诊断学习者的总体知识点掌握情况，获取练习题目的参数表征。
8.一种计算机设备，其特征在于，所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如下步骤：
基于学习者历史学习记录及学习资源信息，构建多通道的认知诊断模型，形成可扩展的诊断框架；在此框架内对学习者进行初步诊断，并对学习资源进行参数估计，得到学习资源参数集与学习者参数集；结合深度自编码器以构建学习者特征表征网络与学习资源特征表征网络，基于原始参数集分别对学习资源与学习者进行建模，并获取深度表征特征；
引入自注意力机制对学习者特征与学习资源特征进行融合，挖掘各维度特征间的相关性及重要程度信息，根据不同重要程度予以不同权值，对最有效的部分特征予以更多关注；将融合特征作为用来预测学习者表现情况的数据基础，构建学习者表现预测网络得到对学习者作答正确概率的预测值；通过学习者与练习题目的特征信息诊断学习者的总体知识点掌握情况，获取练习题目的参数表征，为学习者的个性化学习提供参考。
9.一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行如下步骤：
基于学习者历史学习记录及学习资源信息，构建多通道的认知诊断模型，形成可扩展的诊断框架；在此框架内对学习者进行初步诊断，并对学习资源进行参数估计，得到学习资源参数集与学习者参数集；结合深度自编码器以构建学习者特征表征网络与学习资源特征表征网络，基于原始参数集分别对学习资源与学习者进行建模，并获取深度表征特征；
引入自注意力机制对学习者特征与学习资源特征进行融合，挖掘各维度特征间的相关性及重要程度信息，根据不同重要程度予以不同权值，对最有效的部分特征予以更多关注；将融合特征作为用来预测学习者表现情况的数据基础，构建学习者表现预测网络得到对学习者作答正确概率的预测值；通过学习者与练习题目的特征信息诊断学习者的总体知识点掌握情况，获取练习题目的参数表征，为学习者的个性化学习提供参考。
10.一种信息数据处理终端，其特征在于，所述信息数据处理终端用于实现如权利要求7所述的多模态的统一智能学习诊断建模***。
CN202111263507.2A 2021-10-28 2021-10-28 多模态的统一智能学习诊断建模方法、***、介质、终端 Pending CN113902129A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111263507.2A CN113902129A (zh) 2021-10-28 2021-10-28 多模态的统一智能学习诊断建模方法、***、介质、终端

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111263507.2A CN113902129A (zh) 2021-10-28 2021-10-28 多模态的统一智能学习诊断建模方法、***、介质、终端

Publications (1)

Publication Number Publication Date
CN113902129A true CN113902129A (zh) 2022-01-07

Family

ID=79027206

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111263507.2A Pending CN113902129A (zh) 2021-10-28 2021-10-28 多模态的统一智能学习诊断建模方法、***、介质、终端

Country Status (1)

Country Link
CN (1) CN113902129A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114971095A (zh) * 2022-08-02 2022-08-30 合肥综合性国家科学中心人工智能研究院(安徽省人工智能实验室) 在线教育效果预测方法、装置、设备及存储介质
CN116344042A (zh) * 2023-05-31 2023-06-27 北京智精灵科技有限公司 基于多模态分析的认知储备干预提升方法及***
CN116738371A (zh) * 2023-08-14 2023-09-12 广东信聚丰科技股份有限公司 基于人工智能的用户学习画像构建方法及***
CN117763361A (zh) * 2024-02-22 2024-03-26 泰山学院 一种基于人工智能的学生成绩预测方法及***

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114971095A (zh) * 2022-08-02 2022-08-30 合肥综合性国家科学中心人工智能研究院(安徽省人工智能实验室) 在线教育效果预测方法、装置、设备及存储介质
CN114971095B (zh) * 2022-08-02 2022-11-08 合肥综合性国家科学中心人工智能研究院(安徽省人工智能实验室) 在线教育效果预测方法、装置、设备及存储介质
CN116344042A (zh) * 2023-05-31 2023-06-27 北京智精灵科技有限公司 基于多模态分析的认知储备干预提升方法及***
CN116344042B (zh) * 2023-05-31 2023-12-01 北京智精灵科技有限公司 基于多模态分析的认知储备干预提升方法及***
CN116738371A (zh) * 2023-08-14 2023-09-12 广东信聚丰科技股份有限公司 基于人工智能的用户学习画像构建方法及***
CN116738371B (zh) * 2023-08-14 2023-10-24 广东信聚丰科技股份有限公司 基于人工智能的用户学习画像构建方法及***
CN117763361A (zh) * 2024-02-22 2024-03-26 泰山学院 一种基于人工智能的学生成绩预测方法及***
CN117763361B (zh) * 2024-02-22 2024-04-30 泰山学院 一种基于人工智能的学生成绩预测方法及***

Similar Documents

Publication Publication Date Title
Chen et al. Prerequisite-driven deep knowledge tracing
CN113902129A (zh) 多模态的统一智能学习诊断建模方法、***、介质、终端
CN111695779B (zh) 一种知识追踪方法、装置及存储介质
CN110516116B (zh) 一种多步分层的学***挖掘方法及***
CN109753571B (zh) 一种基于二次主题空间投影的场景图谱低维空间嵌入方法
CN113793239B (zh) 融合学习行为特征的个性化知识追踪方法与***
CN114913729B (zh) 一种选题方法、装置、计算机设备和存储介质
CN113591988B (zh) 知识认知结构分析方法、***、计算机设备、介质、终端
CN113764034B (zh) 基因组序列中潜在bgc的预测方法、装置、设备及介质
CN114385801A (zh) 一种基于分层细化lstm网络的知识追踪方法及***
CN113239699B (zh) 一种融合多特征的深度知识追踪方法及***
CN113283488B (zh) 一种基于学习行为的认知诊断方法及***
CN114298299A (zh) 基于课程学习的模型训练方法、装置、设备及存储介质
CN117540104A (zh) 一种基于图神经网络的学习群体差异评价方法与***
CN112560440A (zh) 一种基于深度学习的面向方面级情感分析的句法依赖方法
Thompson Bayesian psychometrics for diagnostic assessments: A proof of concept
CN116777695A (zh) 融合项目反应的时序卷积知识追踪方法
Oka et al. Scalable Bayesian approach for the DINA Q-matrix estimation combining stochastic optimization and variational inference
CN112288145B (zh) 基于多视角认知诊断的学生成绩预测方法
CN114491050A (zh) 一种基于认知诊断的学习能力评估方法及***
CN117132003B (zh) 一种基于自训练-半监督学***台学生学业表现的早预测办法
Jiang et al. Preference Cognitive Diagnosis for Predicting Examinee Performance
Bu et al. Probabilistic model with evolutionary optimization for cognitive diagnosis
CN116975595B (zh) 一种无监督概念提取方法、装置、电子设备及存储介质
Ackerman et al. Theory and Practice of Quality Assurance for Machine Learning Systems An Experiment Driven Approach

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination