CN108614865B - 基于深度强化学习的个性化学习推荐方法 - Google Patents
基于深度强化学习的个性化学习推荐方法 Download PDFInfo
- Publication number
- CN108614865B CN108614865B CN201810307140.1A CN201810307140A CN108614865B CN 108614865 B CN108614865 B CN 108614865B CN 201810307140 A CN201810307140 A CN 201810307140A CN 108614865 B CN108614865 B CN 108614865B
- Authority
- CN
- China
- Prior art keywords
- user
- learning
- knowledge points
- nodes
- topic
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000002787 reinforcement Effects 0.000 title claims abstract description 36
- 238000000034 method Methods 0.000 title claims abstract description 27
- 230000006399 behavior Effects 0.000 claims abstract description 31
- 238000012549 training Methods 0.000 claims abstract description 17
- 230000009471 action Effects 0.000 claims description 3
- 238000010276 construction Methods 0.000 claims 1
- 230000008569 process Effects 0.000 description 8
- 238000010586 diagram Methods 0.000 description 6
- 238000011160 research Methods 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000001149 cognitive effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
- G06Q50/20—Education
- G06Q50/205—Education administration or guidance
Landscapes
- Business, Economics & Management (AREA)
- Engineering & Computer Science (AREA)
- Educational Administration (AREA)
- Educational Technology (AREA)
- Strategic Management (AREA)
- Tourism & Hospitality (AREA)
- Health & Medical Sciences (AREA)
- Economics (AREA)
- General Health & Medical Sciences (AREA)
- Human Resources & Organizations (AREA)
- Marketing (AREA)
- Primary Health Care (AREA)
- Physics & Mathematics (AREA)
- General Business, Economics & Management (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种基于深度强化学习的个性化学习推荐方法，包括以下步骤：定义知识点及题目的难度属性，根据知识点之间的关系构建知识点网络图；根据知识点之间的关系确定知识点下题目之间的关系，构建题目网络图；根据用户行为数据，在题目网络图中得到针对指定用户当前状态下的子图，作为学习边界；进而使用深度强化学习算法，利用用户历史记录建模，训练得到在用户当前状态下的子图中如何选取割集策略。本发明方法可智能化地为用户推荐最佳题目，节省用户学习时间，使其学习效率提高，学习体验提升。
Description
技术领域
本发明涉及个性化学习推荐研究领域，特别涉及一种基于深度强化学习的个性化学习推荐方法。
背景技术
伴随着现在越来越多的互联网教育平台推出，网络学***台的普及，能够迅速呈现最适合用户认知水平的学***台普及及用户量增加也积累了越来越多的用户网络学习的行为数据。如何利用用户的行为数据，给用户推荐适合自己的学习教材或题目，从而改进用户的学习体验已成为目前研究的热点。
目前已经有相关研究是针对当前用户的行为数据，根据这些行为数据进行建模，为用户推荐个性化题目，技术方案主要有两个方面，一个是基于推荐***，另一个是基于用户行为模式挖掘。两者存在易忽略用户行为中蕴含的信息，资源利用率不高、推荐输出不稳定以及精准度较低等问题。
发明内容
本发明的目的在于克服现有技术无法进行个性化推荐的缺点，提供一种基于深度强化学习的个性化学习推荐方法，该方法可智能化地为用户推荐“学习区”题目，节省用户学习时间，使学习效率提高，学习体验提升。
本发明的目的通过以下的技术方案实现：基于深度强化学习的个性化学习推荐方法，包括以下步骤：
(1)定义知识点及题目的难度属性，根据知识点之间的关系构建知识点网络图；
(2)根据知识点之间的关系确定知识点下题目之间的关系，构建题目网络图；
(3)根据用户行为数据，在题目网络图中得到指定用户当前状态下的子图；
(4)使用深度强化学习算法，利用用户历史记录建模，训练得到在用户当前状态下的子图中如何选取割集即用户“学习区”策略。
优选的，步骤(1)中，知识点的难度属性值依赖专家或用户数据建模来定义，题目的难度属性根据题目所在的知识点的难度属性值及题目自身的难度依赖专家或用户数据建模来定义。
优选的，步骤(1)中，知识点网络图是指依据知识点作为节点，知识点的难度属性值作为节点的难度属性值，依据知识点间的关系建立连边，知识点间关系程度作为连边的权重值，关系依赖专家或用户数据建模。
优选的，步骤(2)中，题目网络图是指依据知识点下的题目作为节点，题目的难度属性值作为节点的题目难度属性值，题目所在的知识点难度属性值作为节点的知识点难度属性值，依据有连边的知识点下题目间关系及同一知识点下的题目间关系建立连边，题目间关系程度作为连边的权重值。
优选的，步骤(3)中，用户当前状态下的子图的构建方法是：根据用户行为数据，在题目网络图中依据用户行为数据找到作答过的题目节点的前向或后向节点，找到的节点及与其的连边、连边的权重构成用户当前状态下的子图。
优选的，步骤(4)中，构建一深度强化学习模型，将用户的历史作答记录作为深度强化学习模型的状态，根据用户当前状态下的子图中节点的难度属性的选题策略作为动作集，依据用户作答的正确数确定回报值，通过一定量的答题过程进行深度强化学习训练，训练从用户当前状态下的子图中选取割集策略，割集即个性化学习推荐中“学习区”的题目。
本发明与现有技术相比，具有如下优点和有益效果：
1、本发明根据用户学习行为建模，使用深度强化学习算法学习用户行为，得到用户的“学习区”，使得最终的推荐用户作答的题目达到既适合用户能力难度，又能使用户的作答有较好的准确率，从而达到用户高效学习的目的。
2、本发明中基于复杂网络图，根据用户历史行为在题目网络图中找到与用户历史行为关联的题目，可充分利用用户历史行为信息，挖掘用户行为的有效信息。
3、本发明在深度强化学习训练过程中，构建深度强化学习模型时，使用用户行为序列建模，即通过一定量的答题进行深度强化学习训练，每次答题后都使用用户最近作答记录作为状态，每次作答后进行更新，这样选取的状态能有效体现用户的个性化。
4、本发明方法可智能化选取用户的“学习区”，即利用深度强化学习算法，学习给用户进行个性化题目推荐的策略，达到智能化地给用户推荐题目，即“学习区”范围内的题目，让用户体验更佳。
附图说明
图1是本实施例方法的原理示意图，(a)表示知识点网络图结构，(b)表示同知识点下题目网络结构，(c)有关联的知识点下题目网络结构，(d)表示选取的用户行为数据在题目网络图中的结构，(e)表示在题目网络图中寻找该题目节点的前向、后向节点，(f)表示用户当前状态下的子图的结构，(g)表示得到的“学习区”题目。
图2是本发明进行深度强化学习训练时的过程图。
图3是本实施例方法实施过程中数据、操作等之间的关系。
具体实施方式
下面结合实施例及附图对本发明作进一步详细的描述，但本发明的实施方式不限于此。
实施例
本实施例提供一种基于深度强化学习的个性化学习推荐方法，步骤是运用复杂网络图表示知识点间的关系形成知识点网络图及题目间的关系形成题目网络图，通过用户行为数据得到用户行为在题目网络图中的用户当前状态下的子图，将寻找“学习区”问题转化为用户当前状态下的子图中寻找割集问题，利用深度强化学习算法，对用户行为数据建模，训练得到从用户当前状态下的子图中选取割集的策略，从而实现给用户进行个性化学习推荐。下面结合附图对各个步骤进行具体说明。
一、定义知识点及题目的难度属性，根据知识点之间的关系构建知识点网络图。
在实际操作中，知识点及题目的难度属性可由资深教师根据自己的教学经验预先进行设定或者利用用户历史数据生成，题目的难度属性可根据结合题目所在的知识点的难度属性值及题目自身的难度依赖专家或用户数据建模来定义。
构建的知识点网络图中，依据知识点作为节点，知识点的难度属性值作为节点的难度属性值，依据知识点间的关系建立连边，知识点间关系程度作为连边的权重值。构建的知识点网络图结构参见图1(a)。
二、根据知识点之间的关系确定知识点下题目之间的关系，构建题目网络图。
本实施例中，题目网络图是指依据知识点下的题目作为节点，题目的难度属性值作为节点的题目难度属性值，题目所在的知识点难度属性值作为节点的知识点难度属性值，依据有连边的知识点下题目间关系及同一知识点下的题目间关系建立连边，题目间关系程度作为连边的权重值。构建的结构参见图1(b)、图1(c)，图1(b)表示同知识点下题目网络结构，图1(c)有关联的知识点下题目网络结构。
三、根据用户行为数据，在题目网络中得到用户当前状态下的子图。
(1)首先从用户行为库得到用户行为数据，选取最近的答题记录，即用户当前状态的行为数据，在题目网络图中的结构参见图1(d)；
(2)然后根据最近的答题记录从题目网络图中找到作答题目节点的前向、后向节点，具体的，若历史作答题目作答正确，则在题目网络图中寻找该题目节点的后向节点，若历史作答题目作答错误，则在题目网络图中寻找该题目节点的前向节点，结构参见图1(e)；
(3)然后将找到的节点及与其的连边、连边的权重共同构成用户当前状态下的子图，结构参见图1(f)。
四、使用深度强化学习算法，结合用户历史记录，训练得到在用户当前状态下的子图中如何选取割集策略。
参见图2，使用深度强化学习算法进行学习的过程如下：
(1)先构建一深度强化学习初始模型，通过一定量的用户答题进行深度强化学习训练，训练过程中将用户的历史作答记录作为深度强化学习模型的状态，将用户当前状态下的子图中节点的难度属性的选题策略作为动作集，依据用户作答的正确数确定回报值；
(2)根据深度强化学习模型反馈出“学习区”题目，用户作答后得到策略的回报值、新的答题记录、新的用户当前状态下的子图、原答题记录不断输入进深度强化学习模型进行训练；
(3)最终训练得到从用户当前状态下的子图中选取割集的策略，从而实现给用户进行个性化学习推荐，得到的“学习区”题目如图1(g)所示。
参见图3，在方法实施过程中，用户作答不断得到新的历史记录，根据这些记录不断输入到深度强化学习模型进行训练，根据训练结果，得到新的“学习区”题目，即从用户当前状态下的子图中筛选出的新题目，用户继续作答，通过上述过程，得到选取题目的最佳策略，实现个性化学习推荐。
本发明方法基于深度强化学习的神经网络，经过大量训练，能够适应多数用户的行为，对用户行为进行建模，利用深度强化学习技术学习根据用户行为出题策略，从而实现根据用户进行个性化学习推荐，在应用中可达到个性化出题的目的。
上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。
Claims (3)
1.基于深度强化学习的个性化学习推荐方法，其特征在于，包括以下步骤：
(1)定义知识点及题目的难度属性，根据知识点之间的关系构建知识点网络图；
(2)根据知识点之间的关系确定知识点下题目之间的关系，构建题目网络图；
题目网络图是指依据知识点下的题目作为节点，题目的难度属性值作为节点的题目难度属性值，题目所在的知识点难度属性值作为节点的知识点难度属性值，依据有连边的知识点下题目间关系及同一知识点下的题目间关系建立连边，题目间关系程度作为连边的权重值；
(3)根据用户行为数据，在题目网络图中得到指定用户当前状态下的子图，包括了指定期间内其作答正确和错误的节点以及邻居节点；
步骤(3)中，用户当前状态下的子图的构建方法是：根据用户行为数据，在题目网络图中依据用户行为数据找到作答过的题目节点的前向或后向节点，找到的节点及与其的连边、连边的权重构成用户当前状态下的子图；
(4)使用深度强化学习算法，利用用户历史记录建模，训练得到在用户当前状态下的子图中如何选取割集，确定选题策略并进行选题；
步骤(4)中，构建一深度强化学习模型，将用户的历史作答记录作为深度强化学习模型的状态，根据用户当前状态下的子图中节点的难度属性的选题策略作为动作集，依据用户作答的正确数确定回报值，通过一定量的答题进行深度强化学习训练，训练从用户当前状态下的子图中选取割集策略。
2.根据权利要求1所述的基于深度强化学习的个性化学习推荐方法，其特征在于，步骤(1)中，知识点的难度属性值依赖专家或用户数据建模来定义，题目的难度属性根据题目所在的知识点的难度属性值及题目自身的难度依赖专家或用户数据建模来定义。
3.根据权利要求1所述的基于深度强化学习的个性化学习推荐方法，其特征在于，步骤(1)中，知识点网络图是指依据知识点作为节点，知识点的难度属性值作为节点的难度属性值，依据知识点间的关系建立连边，知识点间关系程度作为连边的权重值，关系依赖专家或用户数据建模来定义。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810307140.1A CN108614865B (zh) | 2018-04-08 | 2018-04-08 | 基于深度强化学习的个性化学习推荐方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810307140.1A CN108614865B (zh) | 2018-04-08 | 2018-04-08 | 基于深度强化学习的个性化学习推荐方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN108614865A CN108614865A (zh) | 2018-10-02 |
| CN108614865B true CN108614865B (zh) | 2020-12-11 |
Family
ID=63659587
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810307140.1A Active CN108614865B (zh) | 2018-04-08 | 2018-04-08 | 基于深度强化学习的个性化学习推荐方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108614865B (zh) |
Families Citing this family (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109255994A (zh) * | 2018-10-26 | 2019-01-22 | 北京智能优学科技有限公司 | 一种外语教学自适应学习方法及计算机可读存储介质 |
| CN109543840B (zh) * | 2018-11-09 | 2023-01-10 | 北京理工大学 | 一种基于多维分类强化学习的动态推荐***设计方法 |
| CN109859554A (zh) * | 2019-03-29 | 2019-06-07 | 上海乂学教育科技有限公司 | 自适应英语词汇学习分级推题装置及计算机学习*** |
| CN110009956A (zh) * | 2019-04-22 | 2019-07-12 | 上海乂学教育科技有限公司 | 英语语法自适应学习方法及学习装置 |
| CN110223553B (zh) * | 2019-05-20 | 2021-08-10 | 北京师范大学 | 一种答题信息的预测方法及*** |
| CN110399541B (zh) * | 2019-05-31 | 2021-03-23 | 平安国际智慧城市科技股份有限公司 | 基于深度学习的题目推荐方法、装置及存储介质 |
| CN110288878B (zh) * | 2019-07-01 | 2021-10-08 | 科大讯飞股份有限公司 | 自适应学习方法及装置 |
| CN110675295A (zh) * | 2019-09-29 | 2020-01-10 | 联想(北京)有限公司 | 一种处理方法、装置及电子设备 |
| CN111061694A (zh) * | 2019-11-26 | 2020-04-24 | 上海乂学教育科技有限公司 | 学生试题共享*** |
| CN111428020A (zh) * | 2020-04-09 | 2020-07-17 | 圆梦共享教育科技(深圳)有限公司 | 一种基于人工智能的个人化学习测验题目推荐方法 |
| CN114595923B (zh) * | 2022-01-11 | 2023-04-28 | 电子科技大学 | 一种基于深度强化学习的群体教学推荐*** |
| CN117874339B (zh) * | 2024-01-03 | 2024-06-21 | 北京华乐思教育科技有限公司 | 一种测试分析学习内容智能推荐***及方法 |
-
2018
- 2018-04-08 CN CN201810307140.1A patent/CN108614865B/zh active Active
Non-Patent Citations (1)
| Title |
|---|
| 贝叶斯网络在知识地图中的研究与应用;刘继鹏;《中国优秀硕士学位论文全文数据库》;20170215;对比文件1第10-81页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN108614865A (zh) | 2018-10-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108614865B (zh) | 基于深度强化学习的个性化学习推荐方法 | |
| CN110955834A (zh) | 一种知识图谱驱动的个性化精准推荐方法 | |
| CN109947915B (zh) | 一种基于知识管理***的人工智能专家***及其构建方法 | |
| CN108959331B (zh) | 运用设备学习框架的方法、装置及计算机程序 | |
| CN105183848A (zh) | 基于人工智能的人机聊天方法和装置 | |
| CN110473438B (zh) | 一种基于定量化分析的单词辅助学习***及方法 | |
| CN114201684A (zh) | 一种基于知识图谱的自适应学习资源推荐方法及*** | |
| CN115114421A (zh) | 一种问答模型训练方法 | |
| CN114372155A (zh) | 一种基于自扩展知识库和多模态画像的个性化学习平台 | |
| CN110134871A (zh) | 一种基于课程和学习者网络结构的动态课程推荐方法 | |
| CN114490918A (zh) | 基于动态学习模型的动态知识图谱搭建***、方法及应用 | |
| CN113239209A (zh) | 基于RankNet-transformer的知识图谱个性化学习路径推荐方法 | |
| CN109300069A (zh) | 用户学习路径模型的获取方法、装置以及电子设备 | |
| CN116956116A (zh) | 文本的处理方法和装置、存储介质及电子设备 | |
| CN106407379A (zh) | 一种基于Hadoop平台的电影推荐方法 | |
| CN111311997B (zh) | 一种基于网络教育资源的互动方法 | |
| CN116228361A (zh) | 基于特征匹配的课程推荐方法、装置、设备和存储介质 | |
| CN112906293B (zh) | 一种基于复习机制的机器教学方法及*** | |
| CN114611696A (zh) | 一种模型蒸馏方法、装置、电子设备和可读存储介质 | |
| Pu et al. | Teaching Path generation model based on machine learning | |
| CN112734608A (zh) | 一种扩充慕课课程概念的方法及*** | |
| Newell et al. | Models for an intelligent context-aware blended m-learning system | |
| CN111242518A (zh) | 适合智适应***的学习流程配置方法 | |
| CN109447865A (zh) | 一种学习内容推荐方法及*** | |
| Eagle et al. | Interaction Network Estimation: Predicting Problem-Solving Diversity in Interactive Environments. |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |