CN116976434B - 一种基于知识点扩散表示的知识追踪方法及存储介质 - Google Patents
一种基于知识点扩散表示的知识追踪方法及存储介质 Download PDFInfo
- Publication number
- CN116976434B CN116976434B CN202310817995.XA CN202310817995A CN116976434B CN 116976434 B CN116976434 B CN 116976434B CN 202310817995 A CN202310817995 A CN 202310817995A CN 116976434 B CN116976434 B CN 116976434B
- Authority
- CN
- China
- Prior art keywords
- knowledge point
- representation
- knowledge
- state
- weight
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 113
- 238000009792 diffusion process Methods 0.000 title claims abstract description 101
- 238000010586 diagram Methods 0.000 claims abstract description 54
- 239000011159 matrix material Substances 0.000 claims description 53
- 239000013598 vector Substances 0.000 claims description 12
- 238000011835 investigation Methods 0.000 claims description 10
- 230000002776 aggregation Effects 0.000 claims description 9
- 238000004220 aggregation Methods 0.000 claims description 9
- 230000004931 aggregating effect Effects 0.000 claims description 7
- 238000013507 mapping Methods 0.000 claims description 7
- 230000003993 interaction Effects 0.000 claims description 6
- 238000004590 computer program Methods 0.000 claims description 5
- 238000004364 calculation method Methods 0.000 claims description 4
- 230000000694 effects Effects 0.000 claims description 4
- 230000007246 mechanism Effects 0.000 claims description 3
- 238000006243 chemical reaction Methods 0.000 claims description 2
- 230000008569 process Effects 0.000 abstract description 23
- 238000012512 characterization method Methods 0.000 abstract description 5
- 230000008859 change Effects 0.000 description 5
- 230000004913 activation Effects 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000004927 fusion Effects 0.000 description 3
- 230000006872 improvement Effects 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 238000012549 training Methods 0.000 description 3
- 230000006399 behavior Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000012804 iterative process Methods 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 239000000523 sample Substances 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N5/00—Computing arrangements using knowledge-based models
- G06N5/02—Knowledge representation; Symbolic representation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/36—Creation of semantic tools, e.g. ontology or thesauri
- G06F16/367—Ontology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Databases & Information Systems (AREA)
- Animal Behavior & Ethology (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Devices For Executing Special Programs (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明公开了一种基于知识点扩散表示的知识追踪方法，包括：获取t时刻的作答序列及知识点表示图、知识点状态图；计算权重以更新知识点表示图和知识点状态图，并获得知识点表示和知识点状态表示；前向扩散得到知识点表示和知识点状态表示；逆扩散得到知识点表示，知识点状态表示和知识点状态关系；依据逆扩散结果，得到t+1时刻的知识点表示图和知识点掌握状态，并依据知识点掌握状态得到t+1时刻的知识点状态图；通过知识点掌握状态，预测学习者对习题的表现情况。本发明聚合知识点及其相互关系和知识点状态及其相互关系，推导学习者的知识状态，建模过程中增加了知识点关系和知识点状态关系的表征，对于知识状态的建模具有更好的有效性和解释性。
Description
技术领域
本发明涉及知识追踪技术领域，更具体地，涉及一种基于知识点扩散表示的知识追踪方法及存储介质。
背景技术
近年来，知识追踪模型在建模学习者的知识状态以及对预测习题的作答正确性方面取得了显著进展。深度知识追踪（Deep Knowledge Tracing ，DKT）是这一类模型的代表，通过习题信息进行习题表征，用隐藏向量来表示知识状态。随后的相关工作在DKT的基础上进行了改进，将习题考查的知识点纳入考虑，并引入新的模型结构来提高知识点表征和知识状态的表示能力。先从习题信息得到相应的知识点表征，再通过知识点推导出学习者的知识状态。为了进一步提升知识状态的建模效果，后续的研究在习题表征的基础上引入了知识点与知识点状态之间的映射过程。这些方法先将习题表示为知识点，然后建立知识点表示与知识点状态的关联，最终推导出知识状态。
当前的知识追踪研究虽然已经取得了一定的进展，但仍存在一些问题与挑战。其中，如贝叶斯知识追踪（Bayesian Knowledge Tracing, BKT）、深度知识追踪（DeepKnowledge Tracing ，DKT)以及动态键值记忆网络（Dynamic Key-Value Memory Networksfor Knowledge Tracing, DKVMN)为代表的经典知识追踪主要刻画知识点的表示或建模单个知识点状态，在一定条件下取得了较好的结果，但是他们忽略了知识点状态之间的关系。后续的部分研究虽然考虑了知识点状态之间的关系，但是在建模过程中并未与知识点表示等相关信息融合，推导出的知识状态表示能力受限，导致模型的预测精度仍存在提升的空间。
发明内容
针对现有技术的至少一个缺陷或改进需求，本发明提供了一种基于知识点扩散表示的知识追踪方法及存储介质，通过扩散模型协同聚合知识点及其相互关系和知识点状态及其相互关系，从而推导学习者的知识状态，建模过程中增加了知识点关系和知识点状态关系的表征，对于知识状态的建模具有更好的有效性和解释性。
为实现上述目的，按照本发明的第一个方面，提供了一种基于知识点扩散表示的知识追踪方法，该方法包括：
获取学习者t时刻的作答序列及知识点表示图、知识点状态图/>；所述作答序列包括习题/>、作答结果/>和知识点/>；
计算第一权重和第二权重/>以更新所述知识点表示图/>和知识点状态图；其中所述第一权重/>和所述第二权重/>是习题对于包含知识点的考察权重；
聚合表示更新后的所述知识点表示图和所述知识点状态图/>，获得第一知识点表示/>和第一知识点状态表示/>；
前向扩散所述第一知识点表示，得到第二知识点表示/>；前向扩散所述第一知识点状态表示/>，得到第二知识点状态表示/>；
逆扩散所述第二知识点表示，得到第三知识点表示/>和第三知识点状态表示；逆扩散所述第二知识点状态表示/>，得到知识点状态关系/>；
依据所述第三知识点表示，得到t+1时刻的知识点表示图/>；依据所述第三知识点状态表示/>和所述知识点状态关系/>，得到知识点掌握状态/>，并依据所述知识点掌握状态/>得到t+1时刻的知识点状态图/>；
获取t+1时刻的习题和知识点/>，结合所述知识点掌握状态/>，预测学习者对所述习题/>的表现情况。
进一步地，上述基于知识点扩散表示的知识追踪方法还包括：
所述知识点表示图表示为：
；
其中，表示知识点集合，集合中的元素为知识点/>；是知识点/>关系的集合，其中的/>表示知识点i与j之间相互作用的关系；/>是知识点特征矩阵；/>是知识点关系特征矩阵；
所述知识点状态图表示为：
；
其中，是知识点状态集合，集合中的元素是知识点状态；是知识点状态关系的集合，其中的/>表示知识点状态i与j之间相互作用的关系；/>是知识点状态特征矩阵；/>是知识点状态关系特征矩阵；
将习题映射成为分布式实值向量：
；
其中，和/>为嵌入矩阵，/>表示习题/>对每个知识点的作用和影响；
计算第一权重为：
；
更新所述知识点表示图，是利用所述第一权重/>，更新所述知识点特征矩阵为：
；上述更新是指以所述知识点特征矩阵/>与所述第一权重/>作为新的知识点特征矩阵/>；
通过MLP将所述第一权重转换为第二权重/>：
；
更新知识点状态图，是利用所述第二权重/>，更新所述知识点状态特征矩阵为：
；上述更新是指以所述知识点状态特征矩阵/>与所述第二权重作为新的知识点状态特征矩阵/>。
进一步地，上述基于知识点扩散表示的知识追踪方法还包括：
计算更新后的知识点表示图和更新后的知识点状态图/>中各节点之间的第一注意力权重/>：
其中，为邻居节点共享的权重矩阵，/>为第一注意力权重，是节点之间的权重系数；
将所述第一注意力权重归一化，得到第二注意力权重/>：
；
将更新后的知识点表示图和更新后的知识点状态图/>中节点及其邻居节点进行聚合表示：
；
其中，为嵌入的权重矩阵，/>是节点的邻居节点数，/>为节点聚合表示；
通过设置K个独立注意力机制的多头注意力层，将更新后的知识点表示图和更新后的知识点状态图/>中的边进行聚合表示：
；
其中，其中是边/>的邻边数，/>为边聚合表示；
融合所述节点聚合表示和所述边聚合表示，得到第一知识点表示和第一知识点状态表示/>如下：
在所述节点为更新后的知识点表示图中/>且所述边为所述知识点表示图/>中/>时，代入上述表达式得到所述第一知识点表示/>为：
；
；
其中，、/>分别为所述知识点表示图/>的所述节点聚合表示和所述边聚合表示的嵌入矩阵；
在所述节点为更新后的知识点状态图中/>且所述边为所述知识点状态图/>中/>时，代入上述表达式得到所述第一知识点状态表示/>为：
；
；
其中，、/>分别为所述知识点状态图/>的所述节点聚合表示和所述边聚合表示的嵌入矩阵。
进一步地，上述基于知识点扩散表示的知识追踪方法还包括：
逐步添加高斯噪声，对于第i步的前向扩散，前向扩散后的知识点表示计算方法为：
；
前向扩散后的知识点状态计算方法为：
；
其中，i表示前向扩散的步骤，i的取值为1~I的正整数；
；/>；/>表示方差/>的均值；
在上式中分别代入i=I，得到作为前向扩散结果的第二知识点表示和第二知识点状态表示/>。
进一步地，上述基于知识点扩散表示的知识追踪方法还包括：
在所述第二知识点表示中融入学习结果数据/>，得到融入学习结果数据的知识点表示/>：
；
进一步地，以融入学习结果数据的知识点表示为初始值，逐步迭代至/>，迭代方式表示为：
；
其中，为所述学习结果数据，/>为所述学习结果数据对应的权重矩阵；/>表示逆扩散过程中去除噪声的近似模型；
依据上式依次迭代，得到作为上述逆扩散结果的第三知识点表示。
进一步地，上述基于知识点扩散表示的知识追踪方法还包括：
在所述第二知识点表示中融入所述第一权重/>，得到融入第一权重的知识点状态/>：
；
进一步地，以融入第一权重的知识点状态为初始值，逐步迭代至/>，迭代方式表示为：
；
其中，表示逆扩散过程中去除噪声的近似模型；
依据上式依次迭代，得到作为上述逆扩散结果的第三知识点状态表示。
进一步地，上述基于知识点扩散表示的知识追踪方法还包括：
在所述第二知识点状态表示中融入所述第二权重/>，得到融入第二权重的知识点状态关系/>：
；
进一步地，以融入第二权重的知识点状态关系为初始值，逐步迭代至/>，迭代方式表示为：
；
其中，表示逆扩散过程中去除噪声的近似模型；
依据上式依次迭代，得到作为上述逆扩散结果的知识点状态关系。
进一步地，上述基于知识点扩散表示的知识追踪方法还包括：
依据所述知识点状态关系与知识点状态关系特征矩阵/>计算得到相关权重：
；
进一步结合所述第三知识点状态表示，得到所述知识点掌握状态/>：
。
进一步地，上述基于知识点扩散表示的知识追踪方法还包括：
计算知识状态向量：
；
其中，为习题/>映射的分布式实值向量，
预测学习者对习题表现情况为：
。
按照本发明的第二个方面，还提供了一种存储介质，其存储有可由访问认证设备执行的计算机程序，当所述计算机程序在访问认证设备上运行时，使得所述访问认证设备执行上述任一项所述方法的步骤。
总体而言，通过本发明所构思的以上技术方案与现有技术相比，能够取得下列有益效果：
（1）本发明提供的基于知识点扩散表示的知识追踪方法，在追踪学生的知识状态时构建知识点表示图和知识点状态图。其中，知识点表示图表示知识点及其相互关系，知识点状态图表示知识点状态及其相互关系。通过扩散模型协同聚合知识点及其相互关系和知识点状态及其相互关系，从而推导学习者的知识状态。
（2）本发明提供的基于知识点扩散表示的知识追踪方法，在建模知识状态的过程中增加了知识点关系和知识点状态关系的表征，并在此基础上融合推导出学习者的知识状态，对于知识状态的建模具有更好的有效性和解释性。
（3）本发明提供的基于知识点扩散表示的知识追踪方法，在追踪学生的知识状态时引入习题对于知识点考察权重影响，建模了知识点之间的关系和知识点状态之间的关系对知识点状态的影响，并结合实际的学习过程，在建模知识点状态中，增加习题对各个知识点不同考察程度的影响。
（4）本发明提供的基于知识点扩散表示的知识追踪方法，在追踪学生的知识状态时结合扩散模型表示知识点的演变过程，首先，将知识点表示图和知识点状态图通过前向扩散得到知识点在隐空间的表示，其次，将前向扩散的结果输入逆向扩散，结合学习结束数据以及相关权重生成更新后的知识点表示和知识点状态表示。从而得到作答后的知识点表示图和知识点状态图，构建学习者练习过程中知识点演变的逻辑链路。本发明结合学习特征，通过扩散模型对知识点进行扩散表示，具有较好的有效性和解释性。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例中所需使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种基于知识点扩散表示的知识追踪方法的流程示意图；
图2为本发明实施例提供的一种基于知识点扩散表示的知识追踪模型示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、***、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。
如图1-2所示，作为本发明的第一实施例，提供了一种基于知识点扩散表示的知识追踪方法，本实施例中的方法包括构建知识追踪模型以及利用知识追踪模型对学习者作答状况进行预测两个步骤。
其中，构建知识追踪模型包括了以下步骤：
获取学习者t时刻的作答序列及知识点表示图、知识点状态图/>；所述作答序列包括习题/>、作答结果/>和知识点/>。
计算第一权重和第二权重/>以更新所述知识点表示图/>和知识点状态图；其中第一权重/>和第二权重/>是习题对于包含知识点的考察权重。
聚合表示更新后的所述知识点表示图和所述知识点状态图/>，获得第一知识点表示/>和第一知识点状态表示/>。
前向扩散所述第一知识点表示，得到第二知识点表示/>；前向扩散所述第一知识点状态表示/>，得到第二知识点状态表示/>。
逆扩散所述第二知识点表示，得到第三知识点表示/>和第三知识点状态表示；逆扩散所述第二知识点状态表示/>，得到知识点状态关系/>。
依据所述第三知识点表示，得到t+1时刻的知识点表示图/>；依据所述第三知识点状态表示/>和所述知识点状态关系/>，得到知识点掌握状态/>，并依据所述知识点掌握状态/>得到t+1时刻的知识点状态图/>。
利用知识追踪模型对学习者作答状况进行预测，主要包括：
获取t+1时刻的习题和知识点/>，结合所述知识点掌握状态/>，预测学习者对所述习题/>的表现情况。
学习者作答序列中的信息所包含习题、作答结果/>、知识点/>以及知识点之间的内涵和外延等关系。在学习者作答习题后，习题的作答结果会对相关的知识点状态产生不同程度的影响，从而导致知识点状态图的表示发生变化，同时，知识点状态的更新受到知识点表示图的影响。因此知识点表示图和知识点状态图会随着练习过程而发生演变，本实施例中的建模包括了上述知识点表示图和知识点状态图。t时刻的知识点表示图记为/>，t时刻的知识点状态图记为/>。
将知识点及其关系以及知识点状态及其关系等信息进行表示，其步骤具体为：
首先，定义知识点表示图：
。
知识点表示图由若干个节点，以及节点与节点之间的连线（即边）组成。在本实施例中，/>是节点的集合，也就是知识点集合，集合中的元素为知识点/>；是边的集合，也就是知识点之间关系的集合，/>表示知识点i与j之间相互作用的关系,包含了从知识点/>到/>之间存在的内涵或外延关系的表示，多种关系并存的情况下采用图融合算法得到融合后的边；/>是知识点特征矩阵，初始表示为/>。/>是关系特征矩阵,初始表示为/>。
初始时刻，知识点的特征记为/>，知识点表示特征矩阵记为/>。将知识点的关系特征/>进行初始化：
，
其中，，/>，关系的特征矩阵初始化为/>。通过分析学习者作答序列中的习题和知识点的关联关系，结合对知识点的内涵和外延关系进行标注，可以构建知识点表示图。
其次，定义知识点状态图：
。
与知识点表示图类似，其中，是图中的节点集合即知识点状态集合，是边的集合即知识点状态之间关系的集合，/>表示知识点状态i与j之间相互作用的关系，初始为知识点之间的关系，后续结合知识点表示图的扩散结果以及扩散过程中的学习数据信息更新为知识点状态之间的关系。/>是知识点状态特征矩阵，初始表示为/>。/>是状态关系特征矩阵，初始表示为/>。
初始的状态关系特征矩阵由知识点表示矩阵/>通过MLP变换得到：
。
随着学习的进行，知识点的表示随着学习者的练习发生动态变化，为了表示出知识点的变化过程，该模块将知识点表示图和知识点状态图结合当前的作答习题进行更新，并利用扩散模型进行扩散，得到知识点表示和知识点状态的隐空间表示，用于推导知识状态之间的关系以及生成更新后的知识状态表示。具体操作如下：
首先，计算当前的习题对于包含知识点的考察权重，此考察权重为习题与知识点之间的相关权重，反映了习题考察各个知识点的侧重程度。计算得到的习题对于包含知识点的考察权重，在本实施例中记作第一权重和第二权重/>。
假设习题的总数为Q，将习题映射成为分布式实值向量：
，
其中，和/>为嵌入矩阵，/>表示习题/>对每个知识点的作用和影响。当前作答的习题对于知识点的考察侧重程度不同，从而会对知识点状态造成不同程度的影响，为了进一步得到习题与各个知识点的相关权重，使用分布式实值向量同知识点表示图的知识点特征矩阵进行计算，得到第一权重/>：
，
其中，。将第一权重与知识点特征矩阵相乘的以更新知识点表示：
,
其中，上式左侧是更新后的知识点特征矩阵。
通过MLP将上述得到的第一权重转换为习题与知识点状态的第二权重/>：
，
其中，。将第二权重与知识点状态特征矩阵相乘得到知识点状态更新后的表示：
,
上式左侧是更新后的知识点状态特征矩阵，即知识点状态表示。本实施例中的更新，就是指以知识点特征矩阵或知识点状态特征矩阵与对应的权重乘积之后，用新的值表示知识点特征矩阵或知识点状态特征矩阵。
进一步地，扩散模型的高级思想是通过扩散的渐进噪声过程来学习生成数据，初始的输入为真实数据分布中采样的数据点。在参数化为马尔科夫链的前向扩散过程中，通过逐渐添加少量噪声，最终导致纯高斯分布来破坏原始输入的数据点：
。
由推导表示扩散结果/>：
,
可以表示出任意扩散时刻的扩散结果，即：
。
将上述扩散模型应用到本实施例中，以知识点表示图和知识点状态图为对象，借助前向扩散过程将其映射至隐空间，该空间反映了知识点及其关系的内在结构和本质信息，从中得到知识点表示图和知识点状态图的扩散结果。具体步骤为：
将通过习题与知识点表示图的相关权重更新了节点表示的知识点表示图/>进行聚合表示，首先计算节点之间的第一注意力权重：
，
其中，为邻居节点共享的权重矩阵，/>为节点之间的权重系数，为了使不同节点之间的权重系数易于比较，通过softmax激活函数将知识点/>对所有邻居节点的选择进行归一化，得到第二注意力权重：
，
其中，为知识点i的邻居节点数，/>为/>通过softmax激活函数归一化后得到的知识点/>与邻接节点的注意力权重。
其次，将图中的节点及其邻居节点进行聚合表示：
，
其中，为嵌入的权重矩阵，/>是知识点/>的邻居节点数，/>为节点聚合表示。
通过设置K个独立注意力机制的多头注意力层，将图中的边进行聚合表示：
，
其中，是边/>的邻边数，/>为边的聚合表示。
根据前文的描述，知识点表示图由若干个节点，以及节点与节点之间的连线（即边）组成。在本实施例中，/>是节点的集合，/>是边的集合，因此，融合节点和边的聚合结果表示知识点，如下：
；
；
其中，、/>分别为知识点表示图/>的节点聚合表示和所述边聚合表示的嵌入矩阵；/>，/>，/>。
知识点状态图的扩散表示类似于上述的知识点表示图/>扩散表示，聚合上述知识点状态图中知识点状态和表示状态关系的边，融合得到知识点状态图的表示，如下：
；
；
其中，、/>分别为所述知识点状态图/>的节点聚合表示和边聚合表示的嵌入矩阵；/>，/>，/>。
进一步地，为了表示出知识点内在结构和蕴含逻辑的变化过程，将第一知识点表示通过扩散过程映射至隐空间中：
首先，定义一个前向扩散的过程：假设知识点的关系表示服从某一数据分布，即，
在这个过程中，从初始输入开始，逐步向/>中添加高斯噪声/>，则最终会产生一系列带噪声的样本：/>，其中每一步的步长由方差控制。方差/>设置为线性增加的常数序列，均值为/>同当前时间步的扩散结果数据/>的乘积。随着时间步的改变，数据样本/>逐渐失去其可区分的特征。最终，当/>时，/>相当于一个各向同性高斯分布。过程表示如下：
。
可以发现，在前向扩散过程，下一时刻状态的条件概率分布仅依赖于当前时刻的状态，即具有服从马尔可夫性质，因此，使用参数重整化，在给定了初始输入的条件下对上式进行改写，可以直接计算得出/>：
。
综上所述，第步的扩散向量可表示为：
,
其中，，/>。
因此，通过初始输入为第一知识点表示可以表示出任意扩散时间步的知识点表示图分布，最终的前向扩散结果为第二知识点表示/>。
和上述知识点表示的扩散更新过程相同，任意时刻知识点状态图的分布：
,
在给定了初始输入的条件下可以直接计算得出/>：
，
因此，通过初始输入为第一知识点状态表示可以表示出任意前向扩散时间步的知识点状态图分布，最终的前向扩散结果为第二知识点状态表示/>。
前向扩散过程将数据噪声化，反向过程为去除噪声的过程。逆向扩散过程即生成过程，通过模仿前向扩散过程的每对时间步/>，逐渐逆向地去除之前添加的一系列噪声。但由于难以估计真实的逆扩散过程，构建模型/>来近似这些条件概率，以便于进行反向扩散过程：
，/>
最终将前向过程的扩散结果从隐空间映射回显空间，恢复并生成带有特征的数据。
在知识点表示的逆扩散生成中，逆扩散过程同样分为步，每一步向/>中去除少量的高斯噪声，每一步逆扩散产生结果表示为：/>。在逆向扩散过程中，当每一步的方差/>足够小时，采样的结果也为高斯分布，该值难以估计，因此，通过参数化技巧引入初始输入/>，通过学习高斯噪声/>来近似/>，对原式进行改写：
，
其中：
，
前向过程中已经推导出由初始输入表示扩散结果/>，反之可以通过/>表示/>：
重新整理后的表示为：
，
可以发现均值受到和/>的影响，而逆扩散过程的输入/>已知，因此只需要得到即可表示出整个逆扩散过程。
学习者在练习中的学习数据会对逆扩散过程产生影响，结合影响学习者知识状态的学习结果数据以增强建模知识点之间关系，并进行融合表示：
，
其中，为融合学习结果数据/>的知识点表示。
通过训练模型预测，近似每一步拟去除的噪音：
，
得到每一步的迭代公式如下：
，
其中，。最终得到知识点表示图的逆扩散结果，即第三知识点表示/>，并更新当前的知识点表示图作为下一时刻的知识点表示图/>。
同上述逆扩散生成知识点表示的过程类似，将知识点表示图的扩散结果结合知识点状态图相关权重/>更新为知识点状态表示/>:
,
对应的噪声为：
，
每一步的迭代公式为：
。
最终可以得到包含了知识点表示以及知识点关系等特征逆扩散生成结果，即第三知识点状态表示，并用于后续融合知识点状态关系生成当前的知识点状态。本实施例中，第一知识点表示/>是聚合了知识点表示图/>中节点和边之后，融入了学习数据，再逆扩散得到了第三知识点状态表示/>，因此，第三知识点状态表示/>中不但包含了知识点，还包含了知识点之间的关系。
知识点状态关系初始定义为知识点之间关系，在学习过程中，知识点状态之间的关系影响知识点状态的变化程度。在逆扩散过程中，相邻时刻的扩散结果之间区别为去除的噪声，即知识点状态关系的对知识点状态的影响体现为相邻时刻的扩散状态发生的变化。因此，使用近似每一步去除的噪声，将第二知识点状态表示/>通过逆向扩散表示出知识状态逐步变化的过程。
和上述知识点表示的逆扩散生成类似，结合习题对知识点状态的影响权重，将扩散后的知识点状态表示/>更新为知识点状态关系表示/>：
，
对应知识点状态图逆扩散过程的噪声为：
，
得到知识点状态关系图逆扩散生成的迭代过程：
。
将得到的知识点状态关系与知识点状态关系特征矩阵/>计算得到相关权重，并结合上述得到的第三知识点状态表示/>融合表示为当前的知识点掌握状态/>：
，/>
。
其中，，最终可以得到更新的后的知识点状态图，同时将更新后的知识点状态图作为下一时刻的知识点状态图/>。
最后，依据上述建模得到的知识点掌握状态，对下一时刻的学习者作答情况进行预测，预测方法为：
考虑到习题对于知识点的考察权重不同会导致习题的难度不同，将知识点掌握状态与即将作答的分布式习题向量/>进行拼接并通过带有激活函数的全连接层得到知识状态向量/>，包含了知识点状态和知识点状态之间的关系以及学习行为等数据，如下：
。
最后，通过设有 Sigmoid 激活函数的输出层，将作为输入，预测学习者对习题/>表现情况，如下：
。
作为本发明的又一实施例，提供了一种本发明的知识追踪模型与其他现有技术的对比，对比采用了三种数据集，并利用上述预测方法，以学习者对习题的作答预期/>与实际的作答结果/>对比，各个模型方法的AUC对比结果如表1所示：
表1 本发明与现有技术的对比
本发明还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述方法的步骤。其中，计算机可读存储介质可以包括但不限于任何类型的盘，包括软盘、光盘、DVD、CD-ROM、微型驱动器以及磁光盘、ROM、RAM、EPROM、EEPROM、DRAM、VRAM、闪速存储器设备、磁卡或光卡、纳米***（包括分子存储器IC），或适合于存储指令和/或数据的任何类型的媒介或设备。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。
Claims (5)
1.一种基于知识点扩散表示的知识追踪方法，其特征在于，包括：
获取学习者t时刻的作答序列及知识点表示图、知识点状态图/>；所述作答序列包括习题/>、作答结果/>和知识点/>；
计算第一权重和第二权重/>以更新所述知识点表示图/>和知识点状态图/>；其中所述第一权重/>和所述第二权重/>是习题对于包含知识点的考察权重；
聚合表示更新后的所述知识点表示图和所述知识点状态图/>，获得第一知识点表示/>和第一知识点状态表示/>；
前向扩散所述第一知识点表示，得到第二知识点表示/>；前向扩散所述第一知识点状态表示/>，得到第二知识点状态表示/>；
逆扩散所述第二知识点表示，得到第三知识点表示/>和第三知识点状态表示/>；逆扩散所述第二知识点状态表示/>，得到知识点状态关系/>；
依据所述第三知识点表示，得到t+1时刻的知识点表示图/>；依据所述第三知识点状态表示/>和所述知识点状态关系/>，得到知识点掌握状态/>，并依据所述知识点掌握状态/>得到t+1时刻的知识点状态图/>；
获取t+1时刻的习题和知识点/>，结合所述知识点掌握状态/>，预测学习者对所述习题/>的表现情况；
聚合表示更新后的所述知识点表示图和所述知识点状态图/>，获得第一知识点表示/>和第一知识点状态表示/>，具体包括：
计算更新后的知识点表示图和更新后的知识点状态图/>中各节点之间的第一注意力权重/>：
其中，为邻居节点共享的权重矩阵，/>为第一注意力权重，是节点之间的权重系数；表示t时刻的知识点i；/>表示t时刻的知识点j；
将所述第一注意力权重归一化，得到第二注意力权重/>：
；
将更新后的知识点表示图和更新后的知识点状态图/>中节点及其邻居节点进行聚合表示：
；
其中，为嵌入的权重矩阵，/>是节点的邻居节点数，/>为节点聚合表示；
通过设置K个独立注意力机制的多头注意力层，将更新后的知识点表示图和更新后的知识点状态图/>中的边进行聚合表示：
；
其中，其中是边/>的邻边数，/>为边聚合表示；
融合所述节点聚合表示和所述边聚合表示，得到第一知识点表示和第一知识点状态表示/>如下：
在所述节点为更新后的知识点表示图中/>且所述边为所述知识点表示图/>中/>时，代入上述表达式得到所述第一知识点表示/>为：
；
；
其中，、/>分别为所述知识点表示图/>的所述节点聚合表示和所述边聚合表示的嵌入矩阵；
在所述节点为更新后的知识点状态图中/>且所述边为所述知识点状态图/>中/>时，代入上述表达式得到所述第一知识点状态表示/>为：
；
；
其中，、/>分别为所述知识点状态图/>的所述节点聚合表示和所述边聚合表示的嵌入矩阵；
前向扩散所述第一知识点表示，得到第二知识点表示/>；前向扩散所述第一知识点状态表示/>，得到第二知识点状态表示/>，具体方法为：
逐步添加高斯噪声，对于第i步的前向扩散，前向扩散后的知识点表示计算方法为：
；
前向扩散后的知识点状态计算方法为：
；
其中，i表示前向扩散的步骤，i的取值为1~I的正整数；
；/>；/>表示方差/>的均值；
在上式中分别代入i=I，得到作为前向扩散结果的第二知识点表示和第二知识点状态表示/>；
逆扩散所述第二知识点表示，得到第三知识点表示/>，具体方法为：
在所述第二知识点表示中融入学习结果数据/>，得到融入学习结果数据的知识点表示/>：
；
进一步地，以融入学习结果数据的知识点表示为初始值，逐步迭代至/>，迭代方式表示为：
；
其中， 为所述学习结果数据，/>为所述学习结果数据对应的权重矩阵；表示逆扩散过程中去除噪声的近似模型；
依据上式依次迭代，得到作为上述逆扩散结果的第三知识点表示；
逆扩散所述第二知识点表示，得到第三知识点状态表示/>，具体方法为：
在所述第二知识点表示中融入所述第一权重/>，得到融入第一权重的知识点状态：
；
进一步地，以融入第一权重的知识点状态为初始值，逐步迭代至/>，迭代方式表示为：
；
其中，表示逆扩散过程中去除噪声的近似模型；
依据上式依次迭代，得到作为上述逆扩散结果的第三知识点状态表示；
逆扩散所述第二知识点状态表示，得到知识点状态关系/>，具体方法为：
在所述第二知识点状态表示中融入所述第二权重/>，得到融入第二权重的知识点状态关系/>：
；
进一步地，以融入第二权重的知识点状态关系为初始值，逐步迭代至/>，迭代方式表示为：
；
其中， 表示逆扩散过程中去除噪声的近似模型；
依据上式依次迭代，得到作为上述逆扩散结果的知识点状态关系。
2.如权利要求1所述的基于知识点扩散表示的知识追踪方法，其特征在于：
计算第一权重和第二权重/>以更新所述知识点表示图/>和知识点状态图/>，具体包括：
所述知识点表示图表示为：
；
其中，表示知识点集合，集合中的元素为知识点/>；是知识点/>关系的集合，其中的/>表示知识点i与j之间相互作用的关系；/>是知识点特征矩阵；/>是知识点关系特征矩阵；
所述知识点状态图表示为：
；
其中，是知识点状态集合，集合中的元素是知识点状态；是知识点状态关系的集合，其中的/>表示知识点状态i与j之间相互作用的关系；/>是知识点状态特征矩阵；/>是知识点状态关系特征矩阵；
将习题映射成为分布式实值向量：
；
其中，和/>为嵌入矩阵，/>表示习题/>对每个知识点的作用和影响；
计算第一权重为：
；
更新所述知识点表示图，是利用所述第一权重/>，更新所述知识点特征矩阵/>为：
；上述更新是指以所述知识点特征矩阵/>与所述第一权重/>作为新的知识点特征矩阵/>；
通过MLP将所述第一权重转换为第二权重/>：
；
更新知识点状态图，是利用所述第二权重/>，更新所述知识点状态特征矩阵/>为：
；上述更新是指以所述知识点状态特征矩阵/>与所述第二权重/>作为新的知识点状态特征矩阵/>。
3.如权利要求1所述的基于知识点扩散表示的知识追踪方法，其特征在于：
依据所述第三知识点状态表示和所述知识点状态关系/>，得到知识点掌握状态/>，具体方法为：
依据所述知识点状态关系与知识点状态关系特征矩阵/>计算得到相关权重/>：
；
进一步结合所述第三知识点状态表示，得到所述知识点掌握状态/>：
。
4.如权利要求3所述的基于知识点扩散表示的知识追踪方法，其特征在于：
获取t+1时刻的习题和知识点/>，结合所述知识点掌握状态/>，预测学习者对所述习题/>的表现情况，具体方法为：
计算知识状态向量：
；
其中，为习题/>映射的分布式实值向量，
预测学习者对习题表现情况为：
。
5.一种存储介质，其特征在于，其存储有可由访问认证设备执行的计算机程序，当所述计算机程序在访问认证设备上运行时，使得所述访问认证设备执行权利要求1～4任一项所述方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310817995.XA CN116976434B (zh) | 2023-07-05 | 2023-07-05 | 一种基于知识点扩散表示的知识追踪方法及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310817995.XA CN116976434B (zh) | 2023-07-05 | 2023-07-05 | 一种基于知识点扩散表示的知识追踪方法及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116976434A CN116976434A (zh) | 2023-10-31 |
| CN116976434B true CN116976434B (zh) | 2024-02-20 |
Family
ID=88474184
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310817995.XA Active CN116976434B (zh) | 2023-07-05 | 2023-07-05 | 一种基于知识点扩散表示的知识追踪方法及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116976434B (zh) |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104216933A (zh) * | 2013-09-29 | 2014-12-17 | 北大方正集团有限公司 | 一种知识点隐性关系获取方法及其*** |
| CN112257966A (zh) * | 2020-12-18 | 2021-01-22 | 北京世纪好未来教育科技有限公司 | 模型处理方法、装置、电子设备及存储介质 |
| CN113361685A (zh) * | 2021-05-25 | 2021-09-07 | 华中师范大学 | 一种基于学习者知识状态演化表示的知识追踪方法及*** |
| CN113783896A (zh) * | 2021-11-10 | 2021-12-10 | 北京金睛云华科技有限公司 | 一种网络攻击路径追踪方法和装置 |
| CN114429212A (zh) * | 2020-10-15 | 2022-05-03 | 北京融汇金信信息技术有限公司 | 智能学习知识能力跟踪方法、电子设备及存储介质 |
| CN114911975A (zh) * | 2022-05-05 | 2022-08-16 | 金华航大北斗应用技术有限公司 | 一种基于图注意力网络的知识追踪方法 |
| CN114925610A (zh) * | 2022-05-24 | 2022-08-19 | 华中师范大学 | 一种学***建模方法、***、设备及终端 |
| CN114971972A (zh) * | 2022-06-16 | 2022-08-30 | 兰州理工大学 | 融合遗忘因素和习题难度的深度知识追踪方法及智能终端 |
| CN115545160A (zh) * | 2022-09-26 | 2022-12-30 | 长江大学 | 一种多学习行为协同的知识追踪方法及*** |
-
2023
- 2023-07-05 CN CN202310817995.XA patent/CN116976434B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104216933A (zh) * | 2013-09-29 | 2014-12-17 | 北大方正集团有限公司 | 一种知识点隐性关系获取方法及其*** |
| CN114429212A (zh) * | 2020-10-15 | 2022-05-03 | 北京融汇金信信息技术有限公司 | 智能学习知识能力跟踪方法、电子设备及存储介质 |
| CN112257966A (zh) * | 2020-12-18 | 2021-01-22 | 北京世纪好未来教育科技有限公司 | 模型处理方法、装置、电子设备及存储介质 |
| CN113361685A (zh) * | 2021-05-25 | 2021-09-07 | 华中师范大学 | 一种基于学习者知识状态演化表示的知识追踪方法及*** |
| CN113783896A (zh) * | 2021-11-10 | 2021-12-10 | 北京金睛云华科技有限公司 | 一种网络攻击路径追踪方法和装置 |
| CN114911975A (zh) * | 2022-05-05 | 2022-08-16 | 金华航大北斗应用技术有限公司 | 一种基于图注意力网络的知识追踪方法 |
| CN114925610A (zh) * | 2022-05-24 | 2022-08-19 | 华中师范大学 | 一种学***建模方法、***、设备及终端 |
| CN114971972A (zh) * | 2022-06-16 | 2022-08-30 | 兰州理工大学 | 融合遗忘因素和习题难度的深度知识追踪方法及智能终端 |
| CN115545160A (zh) * | 2022-09-26 | 2022-12-30 | 长江大学 | 一种多学习行为协同的知识追踪方法及*** |
Non-Patent Citations (1)
| Title |
|---|
| 张凯等.计算机应用研究.2023,第第40卷卷(第第6期期),第1687-1691页. * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116976434A (zh) | 2023-10-31 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113468803B (zh) | 一种基于改进的woa-gru洪水流量预测方法及*** | |
| CN108647233A (zh) | 一种用于问答***的答案排序方法 | |
| CN112257966B (zh) | 模型处理方法、装置、电子设备及存储介质 | |
| CN111538868A (zh) | 知识追踪方法及习题推荐方法 | |
| CN111651677B (zh) | 课程内容推荐方法、装置、计算机设备和存储介质 | |
| CN110377707B (zh) | 基于深度项目反应理论的认知诊断方法 | |
| CN112085168A (zh) | 一种基于动态键值门控循环网络的知识追踪方法及*** | |
| CN111680216B (zh) | 一种试题推荐方法、***、介质及设备 | |
| CN113591988B (zh) | 知识认知结构分析方法、***、计算机设备、介质、终端 | |
| CN113902129A (zh) | 多模态的统一智能学习诊断建模方法、***、介质、终端 | |
| CN114254127A (zh) | 学生能力画像方法、学习资源推荐方法及装置 | |
| CN116258056A (zh) | 多模态知识水平评估与学习表现预测方法、***及介质 | |
| CN112256971A (zh) | 一种序列推荐方法及计算机可读存储介质 | |
| CN115510286A (zh) | 一种基于图卷积网络的多关系认知诊断方法 | |
| CN116883545A (zh) | 基于扩散模型的图片数据集扩充方法、介质及设备 | |
| CN113762716A (zh) | 基于深度学习和注意力的台区运行状态评估方法及*** | |
| CN116306863A (zh) | 基于对比学习的协同知识追踪建模方法及*** | |
| CN116012627A (zh) | 一种基于超图聚类的因果时序双增强知识追踪方法 | |
| CN112116685A (zh) | 基于多粒度奖励机制的多注意力融合网络的图像字幕生成方法 | |
| CN114971066A (zh) | 融合遗忘因素和学习能力的知识追踪方法及*** | |
| CN113052316B (zh) | 基于因果推理的知识追踪方法、***、设备及存储介质 | |
| CN116976434B (zh) | 一种基于知识点扩散表示的知识追踪方法及存储介质 | |
| CN115543762A (zh) | 一种磁盘smart数据扩充方法、***及电子设备 | |
| CN112766513B (zh) | 一种记忆协同的知识追踪方法及*** | |
| CN114742292A (zh) | 面向知识追踪过程的双态协同演化预测学生未来表现方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |