CN111414456A - 一种开放式简答题自动评分的方法和*** - Google Patents

一种开放式简答题自动评分的方法和*** Download PDF

Info

Publication number
CN111414456A
CN111414456A CN202010199902.8A CN202010199902A CN111414456A CN 111414456 A CN111414456 A CN 111414456A CN 202010199902 A CN202010199902 A CN 202010199902A CN 111414456 A CN111414456 A CN 111414456A
Authority
CN
China
Prior art keywords
answer
score
scored
word
calculating
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010199902.8A
Other languages
English (en)
Inventor
卢宇
余胜泉
谭红叶
段庆龙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Normal University
Original Assignee
Beijing Normal University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Normal University filed Critical Beijing Normal University
Priority to CN202010199902.8A priority Critical patent/CN111414456A/zh
Publication of CN111414456A publication Critical patent/CN111414456A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/3331—Query processing
    • G06F16/3332—Query translation
    • G06F16/3334—Selection or weighting of terms from queries, including natural language queries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/3331—Query processing
    • G06F16/334—Query execution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/20—Education
    • G06Q50/205—Education administration or guidance

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Tourism & Hospitality (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Computational Linguistics (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Primary Health Care (AREA)
  • Marketing (AREA)
  • Artificial Intelligence (AREA)
  • Human Resources & Organizations (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Economics (AREA)
  • Machine Translation (AREA)

Abstract

本发明涉及一种开放式简答题自动评分的方法和***，包括：S1、识别待评分答案的关键词，并计算关键词评分；S2、识别待评分答案的无关词，并计算无关词评分；S3、计算语义评分；S4、计算待评分答案的得分；优选的，得分＝[关键词评分+(1‑无关词评分)+语义评分]/3*简答题分值。本发明首先利用关键词和无关词计算的方法筛选出部分评分信息，结合基于深度神经网络语义计算的方法，共同对简答题进行自动评分，从而获得准确率更高的评分结果。此发明可应用于在线网络学习平台和智能导学***中，为用户提供自动评分服务，从而提高用户学习效率，增强***智能性。

Description

一种开放式简答题自动评分的方法和***
技术领域
本发明涉及自然语言处理领域，尤其涉及一种开放式简答题自动评分方法 和***。
背景技术
自动评分是智慧化教学过程中评价教学质量的一个重要环节，是智慧教学 中的一个研究热点。该任务通过一定模型与算法对待评分答案预测分值，不仅 能减轻教师工作量，还能避免人的主观性引起的评分不一致问题。在此背景下， 本发明利用关键词和无关词计算，同时结合基于深度神经网络语义计算方法， 共同对简答题进行自动评分，从而获得一致性更高的评分结果，为用户提供自 动评分服务，从而提高用户使用平台的效率。与现有简答题评分方法相比，本 发明充分利用参***的语义信息，并利用无关词等多检测评分方法和步骤， 可以有效提高简答题自动批阅的准确率。
在中国发明专利CN110689018中，提出一种智能阅卷***及其处理方法， 其中语义分析与对比模块，用于计算两段文本的相似度，输出的相似度是一个 介于0到1之间的实数值，值越大则相似度越高。该发明能快速地识别学生的 手写答案并将其与正确答案进行比对，从而实现对简答题的正确评阅和自动评 分。但该专利没有充分考虑关键词与无关词的对于评分的重要作用，并且语义 部分的实现方法较难覆盖多样化的学生答题情况。
发明内容
本发明要解决的技术问题是：针对开放式简答题中涉及知识点广泛、作答 文本的语言表述具有多样性的特点，提出从关键词、无关词、语义这三个角度 进行评分，综合多方面的信息给出合理的分值，这种方法符合教师在评分过程 中的基本依据和评价标准。
根据本发明的一个方面，提出一种开放式简答题自动评分的方法，包括：
S1、识别待评分答案的关键词，计算关键词评分；
S2、识别待评分答案的无关词，计算无关词评分；
S3、计算语义评分；
S4、计算待评分答案的得分；优选的，得分＝[关键词评分+(1-无关词评分) +语义评分]/3*简答题分值。
优选的，所述步骤S1包含：
S11、对待评分答案进行分词；
S12、计算关键词评分，计算公式为：关键词评分＝待评分答案中的分词在 关键词数据库中出现的次数/待评分答案分词的数量。
优选的，关键词数据库的构件步骤包括：
(1)对简单题的现有答案进行分词；
(2)计算分词与满分答案之间的满分相关性，满分相关性的计算公式如下：
Figure BDA0002419001330000021
其中，C(A,S满)为分词A在满分答案S满中出现的次数，C(A)为分词A在现有答 案中出现的次数；
(3)将满分相关性高于预设的第一阈值的分词保存到关键词数据库中。
优选的，所述步骤S2包括：
S21、对待评分答案进行分词；
S22、计算无关词评分，计算公式为：无关词评分＝待评分答案中的分词在 无关词数据库中出现的次数/待评分答案分词的数量。
优选的，无关词数据库的构建步骤包括：
(1)对简单题的现有答案进行分词；
(2)计算分词与零分答案之间的零分相关性，零分相关性的计算公式如下：
Figure BDA0002419001330000031
其中，C(A,S零)为分词A在零分答案S零中出现的次数，C(A)为分词A在现有 答案中出现的次数；
(3)将零分相关性高于预设的第二阈值的分词保存到无关词数据库中。
优选的，所述步骤S3包括：
S31、对待评分答案进行分词，并将每个分词转化为词向量，将所述词向量 拼接形成待评分答案向量；
S32、对参***进行分词，并将每个分词转化为词向量，将所述词向量拼 接形成参***向量；
S33、计算待评分答案与参***的相似度矩阵，相似度矩阵的计算公式如 下：
C＝S*RT
其中，S为待评分答案向量，R是参***向量，C为相似度矩阵；
S34、计算语义评分L，公式为：L＝max(W*C)
其中，W为训练得到的参数矩阵。
根据本发明的另一方面，提出一种开放式简答题自动评分***，包括关键 词评分模块、无关词评分模块、语义评分模块和简答题得分计算模块，其中：
关键词评分模块：用于计算待评分答案的关键词评分；
无关词评分模块，用于计算待评分答案的无关词评分；
语义评分模块，用于计算待评分答案的语义评分；
简答题得分计算模块，用于计算待评分答案的得分；优选的，得分＝[关键 词评分+(1-无关词评分)+语义评分]/3*简答题分值。
优选的，关键词评分模块包括构建关键词数据库单元和计算关键词评分单 元，其中，
构建关键词数据库单元，用于对现有答案进行分词，计算每个分词与满分 答案之间的满分相关性，将满分相关性高于设定的第一阈值的分词保存到关键 词数据库中；
计算关键词评分单元，用于对待评分答案进行分词，计算关键词评分。
优选的，无关评分模块包括构建无关词数据库单元和计算无关词评分单元， 其中，
构建无关词数据库单元，用于对现有答案进行分词，计算每个分词与零分 答案之间的零分相关性，将零分相关性高于设定的第二阈值的分词保存到无关 词数据库中；
计算无关词评分单元，用于对待评分答案进行分词，计算无关词评分。
优选的，语义评分模块包括待评分答案向量生成单元、参***向量生成 单元和语义评分单元，其中，
待评分答案向量生成单元，用于对待评分答案分词并将其转换为词向量， 然后将待评分答案的词向量拼接，得到待评分答案向量；
参***向量生成单元，用于对参***分词并将其转换为词向量，然后 将参***的词向量拼接，得到参***向量；
语义评分单元，用于计算待评分答案向量和参***向量之间的相似度， 最后输出语义计算分值。
本发明与现有方法相比的有益效果为：
(1)本发明提出把开放式简答题自动评分分为关键词评分，无关词评分、 语义评分三个部分，为简答题自动评分提供新的多源信息采集与计算方法。
(2)本发明获取关键词和无关词，能够有效帮助自动评分***获取更多可 解释性的评分依据。例如，可以向教师或学习者反馈评分中所依据的关键词或 无关词。
附图说明
图1为根据本发明一个实施例的开放式简答题自动评分方法的流程示意图；
图2为根据本发明一个实施例的开放式简答题自动评分方法的关键词评分 流程示意图；
图3为根据本发明一个实施例的开放式简答题自动评分方法的无关词评分 流程示意图；
图4为根据本发明一个实施例的开放式简答题自动评分方法的语义评分流 程；
图5为根据本发明一个实施例的开放式简答题自动评分***的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明 实施例中的附图，对本发明实施例中的技术方案进行清查、完整的描述，显然， 所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中 的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有 其他实施例，都属于本发明保护的范围。
本发明中，现有答案指现有的问答题的答案，并已评完分数；满分答案指 获得满分的问答题答案，零分答案指获得零分的问答题答案，这些答案都可以 是一份或多份。满分答案和零分答案都属于现有答案；参***，为简答题的 标准答案。这些答案均为文本格式。
本发明提出的一种开放式简答题自动评分的方法，如图1所示，包括以下 步骤：
S1、识别答案中的关键词，并计算关键词评分。
在步骤S1中，如图2所示，具体步骤如下：
(1)获取问答题的待评分答案，并进行预处理。具体来说，获取问答题的 待评分答案，并将其转换为文本格式，然后对文本格式的待评分答案进行分词， 例如，可以使用开源分词工具jieba和/或自定义的用户词典对答案进行分词。 Jieba是常用的中文分词工具，用来将一句话分解成若干词汇，其中词与词之间 可以使用空格进行分割。
(2)在关键词数据库中查找分词，计算待评分答案中属于关键词的分词占 分词总数量的比率。例如一条待评分答案中，分词后总词数为20，有5个词在 关键词数据库中可以查到，则其关键词评分为：5/20＝0.25。
关键词数据库的构件方法为：(1)对现有答案的文本进行分词，(2)计算 分词与满分答案之间的满分相关性，将满分相关性高于设定的第一阈值的词A 存储到关键词数据库中。满分相关性的具体计算方式如下：
Figure BDA0002419001330000061
其中，C(A,S满)为词A在满分答案S满中出现的次数，C(A)为词A在现有作答(包 括满分答案与非满分答案)中出现的次数。例如，“氧气”一词在满分答案中出 现60次，在现有答案中出现100次，则氧气和满分的满分相关性为0.6，假定 第一阈值为0.5，则将“氧气”存储到关键词数据库中作为关键词。
S2、识别无关词，并进行无关词评分。
如图3所示，具体实现如下：
(1)对需要待评分答案进行分词；也就是步骤S1中第(1)步。
(2)在无关词数据库中查找分词，计算待评分答案中属于无关词的分词占 分词总数量的比率。例如一条待评分答案中，分词后总词数为20，有2个词在 无关词数据库中可以查到，则其无关词分值为，2/20＝0.1。
构建无关词数据库的方法为：对现有答案(文本格式)进行分词，计算每 个词与零分答案(零分答案不仅包括空白，还包括写了内容但不得分的答案) 之间的零分相关性，如果零分相关性高于设定的第二阈值，则将词存储到无关 词数据库中。零分相关性的具体计算方式如下：
Figure BDA0002419001330000071
其中，C(A,S零)为词A在零分答案文本S零中出现的次数，C(A)为词A在现有 答案中出现的次数。例如，“空气”一词在零分答案文本中出现60次，在现有 答案中出现100次，则其零分相关性为0.6，假定第二阈值为0.5，将“空气” 保存到无关词数据库中。
S3、计算语义评分；
语义评分的流程如图4所示，具体实现步骤如下：
(1)对待评分答案和参***进行分词，将待评分答案和参***中每个 分词映射为词向量，将待评分答案的词向量进行拼接，得到待评分答案向量； 将参***的词向量进行拼接得到参***向量。
例如，利用word2vec工具得到300维的词向量(使用word2vec工具从大规 模语料库中训练出词的向量的方法可以参 见：https://radimrehurek.com/gensim/models/ word2vec.html)，如“光合作用”这 个词的映射如下所示：
“光合作用”(0.11,-0.2,0.3,………,0.2)。
待评分答案为“光合作用产生氧气。”则待评分答案向量S为维度为300行、 5列的矩阵(不足部分用零向量补全，多余部分可以去掉零或者最接近零的向量)：
“光合作用”，“产生”，“氧气”
Figure BDA0002419001330000081
参***为“光合作用产生氧气和淀粉。”则参***向量R为维度为300 行、5列的矩阵：
“光合作用”，“产生”，“氧气”，“和”，“淀粉”
Figure BDA0002419001330000082
(2)计算待评分答案与参***的相似度，以刻画待评分答案与参*** 之间的语义相似度。相似度矩阵的计算公式如下：
C＝S*RT
其中，S为待评分答案向量，R是参***向量，C为相似度矩阵，表示待评 分答案与参***对应位置的单词的相似度值。
计算得到的相似度矩阵C的维度为300行，300列：
Figure BDA0002419001330000083
根据下面公式计算语义评分L：
L＝max(W*C)
其中，W为训练得到的参数向量，例如，W为300维的向量(0.754,0.831,…,0.533)。W与C进行相乘后，得到300维的向量，提取该向量中所有元素的最 大值，例如第15位0.35为最大值，则语义计算分值L＝0.35。
在一个实施例中，W为利用问答题的现有答案及评分信息，进行机器学习 训练得到的参数矩阵(M行M列)，参数矩阵行列数与待评分答案的行数一致。 max()函数表示提取括号向量中所有元素的最大值。机器学习是现有的方法，只 要将已评分现有答案、参***作为输入、分数作为输出，即可训练得到参数 矩阵。在一个实施例中，可以使用2019年中文信息学报第11期的《基于代表 性答案选择与注意力机制的短答案自动评分》获得W。
S4、计算简答题分值。
可以使用关键词评分、无关词评分和语义评分的算术平均值作为当前题目 的评分结果，如：答案得分＝[关键词评分+(1-无关词评分)+语义评分]/3*简 答题分值。
例如，当某题目总分值为4分，关键词评分为0.25，无关词评分为0.2,语 义评分为0.35，则最终分值的计算结果如下所示：
Figure BDA0002419001330000091
最终得分可以对计算结果进行向下取整数得到。利用算术平均值方法仅是 作为计算得分的示例，而不是对利用关键词评分、无关词评分和语义评分求得 简答题得分的限制。
本评分方法在多个测评数据集上，自动批阅准确率均有明显提升。例如某2 分分值的生物简答题，要求学生简答“光合作用的产物”，参***为“光合作 用产生氧气和淀粉”，某待评分学生答案为“光合作用可以制造出来氧气”。待 评分学生答案分词后，总词数为5，“光合作用”与“氧气”2个词在关键词数 据库中可以查到，则其关键词评分为2/5＝0.4；“制造”在无关词数据库中可以 查到，其关键词评分为1/5＝0.2；经过计算待评分答案与参***的相似度，可 以得到语义评分0.6。因此，最终分值的计算结果为
Figure BDA0002419001330000101
即 该答案评分为1分。
根据本发明的另一方面，提出一种开放式简答题自动评分***，自动评分 ***包括关键词评分模块、无关词评分模块、语义评分模块和简答题得分计算 模块，其中：
关键词评分模块：用于计算待评分答案的关键词评分；
无关词评分模块，用于计算待评分答案的无关词评分；
语义评分模块，用于计算待评分答案的语义评分；
简答题得分计算模块，用于计算待评分答案的得分；优选的，得分＝[关键 词评分+(1-无关词评分)+语义评分]/3*简答题分值。
关键词评分模块包括构建关键词数据库单元和计算关键词评分单元，其中，
构建关键词数据库单元，用于对现有答案进行分词，计算每个分词与满分 答案之间的满分相关性，将满分相关性高于设定的第一阈值的词A存储到关键 词数据库中。满分相关性的计算公式如下：
Figure BDA0002419001330000102
其中C(A,S满)为词A在满分答案S满中出现的次数，C(A)为词A在现有答案(包 括满分作答与非满分作答)中出现的次数。
计算关键词评分单元，用于将待评分答案进行分词，计算关键词评分，公 式为：关键词评分＝待评分答案中的分词在关键词数据库中出现的次数/待评分 答案分词的数量。
无关词评分模块包括构建无关词数据库单元和计算无关词评分单元，其中， 构件无关词数据库单元，用于对现有答案进行分词，计算分词与零分答案 的零分相关性，将零分相关性高于设定的第二阈值的词A存储到无关词数据库 中。零分相关性的具体计算方式如下：
Figure BDA0002419001330000111
其中C(A,S零)为分词A在零分答案S零中出现的次数，C(A)为分词A在现有答 案(包括满分作答与非满分作答)中出现的次数。
计算无关词评分单元，用于对待评分答案进行分词，计算无关词评分，公 式为：无关词评分＝待评分答案中的分词在无关词数据库中出现的次数/待评分 答案分词的数量。
语义评分模块，用于计算待评分答案与参***之间的语义相似度，从语 义层面对学生答案进行评分。语义计算模板包含待评分答案向量生成单元、参 ***向量生成单元和语义评分单元。
待评分答案向量生成单元，用于对待评分答案分词并将其转换为词向量， 然后将待评分答案的词向量拼接，即可得到待评分答案向量。
例如，待评分答案为“光合作用产生氧气。”分词为：“光合作用”，“产生”， “氧气”。利用分词工具(如word2vec)将“光合作用”转为向量(0.11,-0.2, 0.3,………,0.2)，最后待评分答案向量S为维度为N行(如300行)、M列(如 5列)的矩阵(不足部分用零向量补全，多余部分可以去掉零或者最接近零的向 量)：
Figure BDA0002419001330000112
参***向量生成单元，用于对参***分词并将其转换为词向量，然后 将参***的词向量拼接，即可得到参***向量。
例如，参***为“光合作用产生氧气和淀粉。”同待评分答案向量生成单 元的方法一样，最后生成的参***向量R为维度为M行(如300行)、N列 (5列)的矩阵：
“光合作用”，“产生”，“氧气”，“和”，“淀粉”
Figure BDA0002419001330000121
语义评分单元，用于计算待评分答案向量和参***向量之间的相似度， 最后输出语义计算分值。待评分答案与参***之间的相似度的计算公式如下：
C＝S*RT
其中S为待评分答案的向量表示，R是参***的向量表示，C为相似度矩阵 表示待评分答案与参***对应位置的单个词的相似度值。语义评分L的计算公 式为：
L＝max(W*C)
其中W为利用问答题的现有答案及评分信息，进行机器学习训练得到的参 数矩阵(M行M列)，参数矩阵行列数与待评分答案的行数一致。max()函数表 示提取括号向量中所有元素的最大值。机器学习是现有的方法，只要将已评分 现有答案、参***作为输入、分数作为输出，即可训练得到参数矩阵。在一 个实施例中，可以使用2019年中文信息学报第11期的《基于代表性答案选择 与注意力机制的短答案自动评分》获得W。
本发明未详细阐述的部分属于本领域公知领域。
尽管上面对本发明说明性的具体实施方式进行了描述，以便于本技术领的 技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本 技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的 本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明 创造均在保护之列。

Claims (10)

1.一种开放式简答题自动评分的方法，其特征在于，包括：
S1、识别待评分答案的关键词，计算关键词评分；
S2、识别待评分答案的无关词，计算无关词评分；
S3、计算语义评分；
S4、计算待评分答案的得分；优选的，得分＝[关键词评分+(1-无关词评分)+语义评分]/3*简答题分值。
2.根据权利要求1所述的方法，其特征在于，所述步骤S1包含：
S11、对待评分答案进行分词；
S12、计算关键词评分，计算公式为：关键词评分＝待评分答案中的分词在关键词数据库中出现的次数/待评分答案分词的数量。
3.根据权利要求2所述的方法，其特征在于，关键词数据库的构件步骤包括：
(1)对简单题的现有答案进行分词；
(2)计算分词与满分答案之间的满分相关性，满分相关性的计算公式如下：
Figure RE-FDA0002467014310000011
其中，C(A,S满)为分词A在满分答案S满中出现的次数，C(A)为分词A在现有答案中出现的次数；
(3)将满分相关性高于预设的第一阈值的分词保存到关键词数据库中。
4.根据权利要求1所述的方法，其特征在于，所述步骤S2包括：
S21、对待评分答案进行分词；
S22、计算无关词评分，计算公式为：无关词评分＝待评分答案中的分词在无关词数据库中出现的次数/待评分答案分词的数量。
5.根据权利要求4所述的方法，其特征在于，无关词数据库的构建步骤包括：
(1)对简单题的现有答案进行分词；
(2)计算分词与零分答案之间的零分相关性，零分相关性的计算公式如下：
Figure RE-FDA0002467014310000021
其中，C(A,S零)为分词A在零分答案S零中出现的次数，C(A)为分词A在现有答案中出现的次数；
(3)将零分相关性高于预设的第二阈值的分词保存到无关词数据库中。
6.根据权利要求1所述的方法，其特征在于，所述步骤S3包括：
S31、对待评分答案进行分词，并将每个分词转化为词向量，将所述词向量拼接形成待评分答案向量；
S32、对参***进行分词，并将每个分词转化为词向量，将所述词向量拼接形成参***向量；
S33、计算待评分答案与参***的相似度矩阵，相似度矩阵的计算公式如下：
C＝S*RT
其中，S为待评分答案向量，R是参***向量，C为相似度矩阵；
S34、计算语义评分L，公式为：L＝max(W*C)
其中，W为训练得到的参数矩阵。
7.一种开放式简答题自动评分***，其特征在于：所述自动评分***包括关键词评分模块、无关词评分模块、语义评分模块和简答题得分计算模块，其中：
关键词评分模块：用于计算待评分答案的关键词评分；
无关词评分模块，用于计算待评分答案的无关词评分；
语义评分模块，用于计算待评分答案的语义评分；
简答题得分计算模块，用于计算待评分答案的得分；优选的，得分＝[关键词评分+(1-无关词评分)+语义评分]/3*简答题分值。
8.根据权利要求7所述的自动评分***，其特征在于，关键词评分模块包括构建关键词数据库单元和计算关键词评分单元，其中，
构建关键词数据库单元，用于对现有答案进行分词，计算每个分词与满分答案之间的满分相关性，将满分相关性高于设定的第一阈值的分词保存到关键词数据库中；
计算关键词评分单元，用于对待评分答案进行分词，计算关键词评分。
9.根据权利要求7所述的自动评分***，其特征在于，无关评分模块包括构建无关词数据库单元和计算无关词评分单元，其中，
构建无关词数据库单元，用于对现有答案进行分词，计算每个分词与零分答案之间的零分相关性，将零分相关性高于设定的第二阈值的分词保存到无关词数据库中；
计算无关词评分单元，用于对待评分答案进行分词，计算无关词评分。
10.根据权利要求7所述的自动评分***，其特征在于，语义评分模块包括待评分答案向量生成单元、参***向量生成单元和语义评分单元，其中，
待评分答案向量生成单元，用于对待评分答案分词并将其转换为词向量，然后将待评分答案的词向量拼接，得到待评分答案向量；
参***向量生成单元，用于对参***分词并将其转换为词向量，然后将参***的词向量拼接，得到参***向量；
语义评分单元，用于计算待评分答案向量和参***向量之间的相似度，最后输出语义计算分值。
CN202010199902.8A 2020-03-20 2020-03-20 一种开放式简答题自动评分的方法和*** Pending CN111414456A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010199902.8A CN111414456A (zh) 2020-03-20 2020-03-20 一种开放式简答题自动评分的方法和***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010199902.8A CN111414456A (zh) 2020-03-20 2020-03-20 一种开放式简答题自动评分的方法和***

Publications (1)

Publication Number Publication Date
CN111414456A true CN111414456A (zh) 2020-07-14

Family

ID=71491270

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010199902.8A Pending CN111414456A (zh) 2020-03-20 2020-03-20 一种开放式简答题自动评分的方法和***

Country Status (1)

Country Link
CN (1) CN111414456A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112749257A (zh) * 2021-01-11 2021-05-04 徐州金林人工智能科技有限公司 一种基于机器学习算法的智能阅卷***
CN113627722A (zh) * 2021-07-02 2021-11-09 湖北美和易思教育科技有限公司 基于关键字分词的简答题评分方法、终端及可读存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109829155A (zh) * 2019-01-18 2019-05-31 平安科技（深圳）有限公司 关键词的确定方法、自动评分方法、装置、设备及介质
CN110164447A (zh) * 2019-04-03 2019-08-23 苏州驰声信息科技有限公司 一种口语评分方法及装置
CN110196893A (zh) * 2019-05-05 2019-09-03 平安科技（深圳）有限公司 基于文本相似度的非主观题阅卷方法、装置及存储介质
CN110413741A (zh) * 2019-08-07 2019-11-05 山东山大鸥玛软件股份有限公司 一种面向主观题的智能阅卷方法
CN110413961A (zh) * 2019-06-21 2019-11-05 平安国际智慧城市科技股份有限公司 基于分类模型进行文本评分的方法、装置和计算机设备
US20200034722A1 (en) * 2016-10-07 2020-01-30 National Institute Of Information And Communications Technology Non-factoid question-answering system and method and computer program therefor

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200034722A1 (en) * 2016-10-07 2020-01-30 National Institute Of Information And Communications Technology Non-factoid question-answering system and method and computer program therefor
CN109829155A (zh) * 2019-01-18 2019-05-31 平安科技（深圳）有限公司 关键词的确定方法、自动评分方法、装置、设备及介质
CN110164447A (zh) * 2019-04-03 2019-08-23 苏州驰声信息科技有限公司 一种口语评分方法及装置
CN110196893A (zh) * 2019-05-05 2019-09-03 平安科技（深圳）有限公司 基于文本相似度的非主观题阅卷方法、装置及存储介质
CN110413961A (zh) * 2019-06-21 2019-11-05 平安国际智慧城市科技股份有限公司 基于分类模型进行文本评分的方法、装置和计算机设备
CN110413741A (zh) * 2019-08-07 2019-11-05 山东山大鸥玛软件股份有限公司 一种面向主观题的智能阅卷方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
谭红叶 等: "基于代表性答案选择与注意力机制的短答案自动评分", 谭红叶 等, vol. 33, no. 11, pages 3 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112749257A (zh) * 2021-01-11 2021-05-04 徐州金林人工智能科技有限公司 一种基于机器学习算法的智能阅卷***
CN113627722A (zh) * 2021-07-02 2021-11-09 湖北美和易思教育科技有限公司 基于关键字分词的简答题评分方法、终端及可读存储介质
CN113627722B (zh) * 2021-07-02 2024-04-02 湖北美和易思教育科技有限公司 基于关键字分词的简答题评分方法、终端及可读存储介质

Similar Documents

Publication Publication Date Title
TWI608367B (zh) 中文文本可讀性計量系統及其方法
CN110909736B (zh) 一种基于长短期记忆模型与目标检测算法的图像描述方法
CN109949637B (zh) 一种客观题目的自动解答方法和装置
CN110781681B (zh) 一种基于翻译模型的初等数学应用题自动求解方法及***
CN113610680A (zh) 一种基于ai的交互式阅读材料个性化推荐方法及***
CN117150151B (zh) 一种基于大语言模型的错题分析及试题推荐***和方法
CN111414456A (zh) 一种开放式简答题自动评分的方法和***
CN113807519A (zh) 一种融入教学反馈与习得理解的知识图谱构建方法
CN115599899A (zh) 基于飞行器知识图谱的智能问答方法、***、设备及介质
CN116561274A (zh) 一种基于数字人技术与自然语言大模型的知识问答方法
CN116821377A (zh) 基于知识图谱和大模型的小学语文自动评测***
CN115858750A (zh) 基于自然语言处理的电网技术标准智能问答方法及***
CN116401341A (zh) 面向理解的互动答疑***
Alrehily et al. Intelligent electronic assessment for subjective exams
Tashu et al. Deep learning architecture for automatic essay scoring
CN116361541A (zh) 基于知识追踪与相似度分析的试题推荐方法
CN114818741A (zh) 一种用于在线教育的陪练纠错方法及装置
Ma et al. Format-aware item response theory for predicting vocabulary proficiency
Qin Study of an Automatic Marking Algorithm for Subjective Questions in College English Exams Based on Deep Learning
Wu English Composition Assisted Writing Training Based on Big Data Text Mining
CN113158644B (zh) 一种基于多任务学习的修辞格及隐式情绪识别方法
Suriyasat et al. A Comparison of Machine Learning and Neural Network Algorithms for an Automated Thai Essay Scoring
CN117932044B (zh) 基于ai的心理辅导助手自动对话生成方法及***
Dhini et al. Development of an automated scoring model using SentenceTransformers for discussion forums in online learning environments
CN117315684A (zh) 一种基于大规模多模态模型的自动化问题回答方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination