CN114943406A - 试卷图像标注方法、装置、存储介质和电子设备 - Google Patents

Abstract

本公开涉及一种试卷图像标注方法、装置、存储介质和电子设备，其中方法包括：确定多种预置节点并在第一子窗口中展示该多种预置节点；响应于从第一子窗口中选中一种预置节点并拖拽至第二子窗口，弹出基于选中的预置节点进行配置的任务配置窗口；获取在任务配置窗口中配置的任务信息和任务执行人员，创建与预置节点的任务类型对应的一个工作节点；在创建多个工作节点后，生成工作流；将工作流中的工作节点依次分配给对应的任务执行人员；当工作流中的所有工作节点完成后，合并各个标注工作节点的数据，得到关于试卷图像的最终标注数据。本公开能够保证数据安全，且减少通过移动存储设备来导入导出数据的不便，提高标注效率。

Description

试卷图像标注方法、装置、存储介质和电子设备

技术领域

本公开涉及数据标注技术领域，具体地，涉及一种试卷图像标注方法、装置、存储介质和电子设备。

背景技术

随着科技的不断发展，越来越多的人工智能技术在教育领域落地，如文本识别、智能批改、自动组卷、学情分析以及试卷电子化等诸多任务中都有人工智能技术的加持。利用人工智能技术，可以大大提高教师的生产力，提升工作效率。为了使计算机能够更好地具备上述能力，需要大量优质的人工标注数据作为监督信息来训练模型，提升机器学习的准确率，人工标注的效率和质量是模型训练的重要一环。

目前进行数据标注时，一般是通过线下沟通进行管理，包括试卷图像数据的导入和标注数据的导出都是通过移动存储设备(硬盘、U盘等)进行传输，当标注量和标注团队规模较大的时候就很难适用。

发明内容

本公开的目的是提供一种试卷图像标注方法、装置、存储介质和电子设备，以解决上述技术问题。

为实现上述目的，本公开提供一种试卷图像标注方法，包括：

确定多种预置节点并在第一子窗口中展示所述多种预置节点；其中，每种预置节点对应一种任务类型；

响应于从所述第一子窗口中选中一种预置节点并拖拽至第二子窗口，弹出基于选中的所述预置节点进行配置的任务配置窗口；

获取在所述任务配置窗口中配置的任务信息和任务执行人员，创建与所述预置节点的任务类型对应的一个工作节点；

在创建多个工作节点后，将所述多个工作节点按照对应的任务类型依次连接，并响应于确认创建的操作，生成工作流；其中，所述工作流中包括至少一个根据标注类型的预置节点生成的标注工作节点，每个所述标注工作节点对应的任务为对试卷图像进行相应标注；

将所述工作流中的工作节点依次分配给对应的任务执行人员；

当所述工作流中的所有工作节点完成后，合并各个标注工作节点的数据，得到关于试卷图像的最终标注数据。

可选的，每个任务执行人员对所述工作流中任务执行人员为自己的工作节点可见，且对任务执行人员不为自己的工作节点不可见。

可选的，所述工作流中还包括根据审核类型的预置节点生成的审核工作节点、根据质检类型的预置节点生成的质检工作节点和根据验收类型的预置节点生成的验收工作节点；

其中，所述审核工作节点对应的任务为对上一工作节点的标注数据进行审核，所述质检工作节点对应的任务为对已审核通过的标注数据进行随机质检，所述验收工作节点对应的任务为在随机质检通过的情况下对已审核通过的标注数据进行验收。

可选的，所述方法还包括：

在生成所述工作流之后，保存所述工作流；

当创建新的工作流时，响应于从保存的至少一个历史工作流中选择一个工作流作为基础工作流，并在第二子窗口中展示所述基础工作流；

响应于选中所述基础工作流中的任一工作节点，弹出基于选中的所述工作节点进行配置的任务配置窗口；

接收在所述任务配置窗口中输入的新的任务信息和/或新的任务执行人员，更新所述工作节点；

响应于确认创建的操作，生成新的工作流。

可选的，所述合并各个标注工作节点的数据，得到关于试卷图像的最终标注数据，包括：

合并各个标注工作节点的数据，得到对所述试卷图像标注出的多个标注框以及每个标注框对应的标注标签；

计算所述多个标注框之间的层级关系；

根据所述多个标注框、每个标注框对应的标注标签和所述多个标注框之间的层级关系，生成所述试卷图像对应的多层级的标注数据。

可选的，所述计算所述多个标注框之间的层级关系，包括：

根据所述多个标注框之间的相交关系和每个标注框的面积，确定任意两个标注框之间的父子关系；

根据任意两个标注框之间的父子关系，确定所述多个标注框之间的层级关系。

可选的，所述根据所述多个标注框之间的相交关系和每个标注框的面积，确定任意两个标注框之间的父子关系，包括：

针对所述多个标注框中的任意两个标注框，计算所述两个标注框之间的交集面积与所述两个标注框中面积小者的标注框的面积的比值，得到所述两个标注框之间的交小比；

当所述交小比大于预设阈值时，确定所述两个标注框中面积小者的标注框为子标注框，面积大者的标注框为父标注框。

本公开还提供一种试卷图像标注装置，包括：

预置节点确定模块，用于确定多种预置节点并在第一子窗口中展示所述多种预置节点；其中，每种预置节点对应一种任务类型；

节点拖拽模块，用于响应于从所述第一子窗口中选中一种预置节点并拖拽至第二子窗口，弹出基于选中的所述预置节点进行配置的任务配置窗口；

工作节点创建模块，用于获取在所述任务配置窗口中配置的任务信息和任务执行人员，创建与所述预置节点的任务类型对应的一个工作节点；

工作流生成模块，用于在创建多个工作节点后，将所述多个工作节点按照对应的任务类型依次连接，并响应于确认创建的操作，生成工作流；其中，所述工作流中至少包括根据标注类型的预置节点生成的标注工作节点，所述标注工作节点对应的任务为对试卷图像进行标注；

工作节点分配模块，用于将所述工作流中的工作节点依次分配给对应的任务执行人员；

标注数据获得模块，用于当所述工作流中的所有工作节点完成后，合并各个标注工作节点的数据，得到关于试卷图像的最终标注数据。

本公开还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现第一方面所述方法的步骤。

本公开还提供一种电子设备，包括：

存储器，其上存储有计算机程序；

处理器，用于执行所述存储器中的所述计算机程序，以实现第一方面所述方法的步骤。

在上述技术方案中，依次从第一子窗口中选中一个预置节点并拖拽至第二子窗口中，以创建一个对应类型的工作节点，然后将创建的多个工作节点按照任务类型依次连接，以生成一个真实标注任务的工作流。工作流的建立有利于将复杂标注任务拆解成多个简单标注子任务，每个标注工作节点只需要完成一个简单标注子任务即可。一方面，每个子任务的任务执行人员只需要关注自己的子任务即可，使得标注任务更加专注，标注更高效且标注质量更高，另一方面，在所有工作节点完成后，只需简单合并各个标注工作节点的标注数据，即可得到一份关于完整的复杂标注任务的标注数据。由于所有标注操作都在线完成，既保证了数据安全，且减少了通过移动存储设备来导入导出数据的不便，提高了标注效率。

本公开的其他特征和优点将在随后的具体实施方式部分予以详细说明。

附图说明

附图是用来提供对本公开的进一步理解，并且构成说明书的一部分，与下面的具体实施方式一起用于解释本公开，但并不构成对本公开的限制。在附图中：

图1示出了一示例性实施例提供的试卷图像标注方法的流程图；

图2示出了从第一子窗口中选中一种预置节点并拖拽至第二子窗口，生成一个工作节点的示意图；

图3示出了从第一子窗口中选中一种预置节点并拖拽至第二子窗口，生成一个工作节点的又一示意图；

图4示出了生成与应用题批改标注任务对应的工作流的示意图；

图5示出了一示例性实施例提供的生成新的工作流的一种具体实施方式的流程图；

图6示出了一示例性实施例提供的步骤S160的一种具体实施方式的流程图；

图7示出了确定多个标注框中的任意两个标注框的父子关系的示意图；

图8示出了一示例性实施例提供的试卷图像标注装置的框图；

图9示出了一示例性实施例提供的电子设备的框图。

具体实施方式

以下结合附图对本公开的具体实施方式进行详细说明。应当理解的是，此处所描述的具体实施方式仅用于说明和解释本公开，并不用于限制本公开。

需要说明的是，本公开中所有获取信号、信息或数据的动作都是在遵照所在地国家相应的数据保护法规政策的前提下，并获得由相应装置所有者给予授权的情况下进行的。

在教育领域中，智能批改以及试卷电子化等工作都离不开人工智能技术，这些技术的核心与基础是文档版面分析技术与OCR(Optical Character Recognition，光学字符识别)识别技术。其中，文档版面分析技术需要计算机能够有逻辑、有层次化的解读试卷上的各类信息，如学号、班级、姓名、学科信息、题目标号、题目区域、作答区域、题目内容、作答内容、公式、图表等；OCR技术需要详细地解析出试卷中文本行位置信息、语言类型、内容信息等。根据业务实际需要，采用单层级或多层级的方式输出最终结果。

为了使计算机能够更好地具备上述能力，需要大量优质的人工标注数据作为监督信息来训练模型，提升机器学习的准确率，人工标注的效率和质量则是模型训练的重要一环，因此，一个高效易用的数据标注***就显得尤为重要。目前市面上并没有公开的专门针对教育领域标注任务的数据标注工具，通常是根据实际标注任务情况(工期，数据量，标注难度等)选择使用公开数据标注工具或商业数据标注工具。

当选择使用公开数据标注工具时，对于教育领域中的一些简单任务(如单一语言、单一字体的文本检测)可以直接选择某一图像类任务的标注工具进行标注，如可以直接利用现有的目标检测、图像分类、轮廓标注等图像类任务的标注工具，但对于教育领域中的复杂标注任务(如版面结构化数据标注)，则无法进行处理。

使用公开的图像类任务的标注工具，主要有以下几个缺点：

(1)适配性与灵活性难以兼容，能够适配多种环境的往往是高度封装的非开源软件，不支持定制化修改；

(2)缺少任务管理、流程管理和人员管理，只能通过线下沟通进行管理，包括试卷数据的导入和标注数据的导出都是通过移动存储设备进行传输，当标注量和标注团队规模比较大的时候就很难适用；

(3)由于通过线下传输数据，很难保障数据的安全性。

而商业数据标注工具一般是由众包标注平台提供，商业的数据标注平台基本上能对图片、视频、文本和语音等数据进行标注，但各自的业务方向有一定侧重，有的以处理图像见长，有的则更擅长做一些视频标注。

使用商业的数据平台进行标注，则仍然存在如下问题：

(1)市面上的数据标注***都是通用的标注***，不涉及教育场景下的细分需求，如小学数学口算识别，试卷版面分析，英语作文批改等，从功能、效率的角度，无法充分满足教育领域的需求；

(2)平台普遍采用众包模式来分配标注任务，造成标注数据的质量参差不齐，影响算法模型的准确性；

(3)基于众包模式的数据标注任务会造成用户数据缺乏安全性，并面临隐私泄露的风险。

总结来说，现有的针对教育场景下的试卷数据标注，无论是数据安全性、标注质量还是标注效率上都存在一定的问题。由此，本公开实施例提供一种试卷图像标注方法。图1示出了一示例性实施例提供的试卷图像标注方法的流程图，如图1所示，该方法包括：

S110，确定多种预置节点并在第一子窗口中展示该多种预置节点；其中，每种预置节点对应一种任务类型。

首先确定多种预置节点，该多种预置节点中的每种预置节点分别对应一种任务类型，该多种预置节点包括但不限于标注节点、审核节点、质检节点、验收节点和预转写节点等。此外，对于一些特殊的标注任务还可以新增自定义预置节点。然后在页面内的第一子窗口中展示该多种预置节点。

其中，页面内包括第一子窗口和第二子窗口，第一子窗口用于展示该多种预置节点，第二子窗口用于根据第一子窗口中的预置节点来创建工作节点并展示由多个工作节点组成的工作流。

S120，响应于从第一子窗口中选中一种预置节点并拖拽至第二子窗口，弹出基于选中的预置节点进行配置的任务配置窗口。

S130，获取在任务配置窗口中配置的任务信息和任务执行人员，创建与该预置节点的任务类型对应的一个工作节点。

在第一子窗口中展示多种预置节点后，用户可以选中该多种预置节点中的其中一个预置节点，然后将选中的预置节点拖拽到第二子窗口中。响应于从第一子窗口中选中一种预置节点并拖拽至第二子窗口，弹出基于选中的预置节点进行配置的任务配置窗口。在弹出任务配置窗口后，用户可以在任务配置窗口中配置对应的任务信息和任务执行人员，并确定完成配置，于是根据用户在任务配置窗口中配置的任务信息和任务执行人员，创建与该预置节点的任务类型对应的一个工作节点。

作为一种示例，第一子窗口中展示的多种预置节点包括标注节点、审核节点、质检节点和验收节点。图2～图3示出了从第一子窗口中选中一种预置节点并拖拽至第二子窗口，生成一个工作节点的示意图。

请参照图2～图3，响应于从第一子窗口中选中标注节点并拖拽至第二子窗口，弹出基于标注节点进行配置的任务配置窗口，获取用户在任务配置窗口中配置的关于标注任务的任务信息和任务执行人员，当用户点击完成后，创建一个标注工作节点。例如该标注工作节点的任务信息为对试卷关键目标进行标注，或者对试卷中的手写算式进行标注，或者对试卷中的手写中文进行标注等。

响应于从第一子窗口中选中审核节点并拖拽至第二子窗口，弹出基于审核节点进行配置的任务配置窗口，获取用户在任务配置窗口中配置的关于审核任务的任务信息和任务执行人员，当用户点击完成后，创建一个审核工作节点。例如该审核工作节点的任务信息为对试卷关键目标的标注数据进行审核，或者对手写算式的标注数据进行审核，或者对手写中文的标注数据进行审核等。

响应于从第一子窗口中选中质检节点并拖拽至第二子窗口，弹出基于质检节点进行配置的任务配置窗口，获取用户在任务配置窗口中配置的关于质检任务的任务信息和任务执行人员，创建一个质检工作节点。

响应于从第一子窗口中选中验收节点并拖拽至第二子窗口，弹出基于验收节点进行配置的任务配置窗口，获取用户在任务配置窗口中配置的关于验收任务的任务信息和任务执行人员，创建一个验收节点。

S140，在创建多个工作节点后，将多个工作节点按照对应的任务类型依次连接，并响应于确认创建的操作，生成工作流；其中，该工作流中包括至少一个根据标注类型的预置节点生成的标注工作节点。

其中，每个工作流中包括至少一个标注工作节点。在每个工作流中，标注工作节点的数量可以为一个或多个，审核工作节点的数量可以为一个或多个。需要说明的是，每个工作流中审核工作节点的数量与标注工作节点的数量相同。每个标注工作节点的下一个工作节点为审核工作节点，审核工作节点对应的任务为对上一工作节点的标注数据进行审核。审核工作节点的下一个工作节点可以为标注工作节点，或质检工作节点，质检工作节点的数量可以为一个，验收工作节点的数量可以为一个，质检工作节点的下一个工作节点为验收工作节点，质检工作节点对应的任务为对已审核通过的标注数据进行随机质检，验收工作节点对应的任务为在随机质检通过的情况下对已审核通过的标注数据进行验收。

其中，在将多个工作节点按照对应的任务类型进行连接时，需要按照标注工作节点的下一个工作节点为审核工作节点，审核工作节点的下一个工作节点为标注工作节点或质检工作节点，质检工作节点的下一个工作节点为验收工作节点的顺序连接。

S150，将工作流中的工作节点依次分配给对应的任务执行人员。

当生成工作流后，将该工作流中的第一个工作节点分配给第一个工作节点对应的任务执行人员，在第一个工作节点完成后，再将该工作流中的下一个工作节点分配给该下一个工作节点对应的任务执行人员，直至该工作流中的最后一个工作节点完成时，执行步骤S160。

S160，当工作流中的所有工作节点完成后，合并各个标注工作节点的数据，得到关于试卷图像的最终标注数据。

值得说明的是，在实际应用场景中，对于教育场景下的复杂标注任务，如版面结构化信息标注，本公开能够将复杂标注任务拆解成多个简单任务分别标注，每个标注工作节点用于完成拆解出的其中一个简单任务。例如对于数学试卷的应用题批改标注任务，可以将其拆分成试卷关键目标标注、手写算式标注和手写中文标注等多个简单任务。

以应用题批改标注任务为例，图4示出了生成与应用题批改标注任务对应的工作流的示意图。如图4所示，在该工作流中，包括依次连接的试卷关键目标标注工作节点、试卷关键目标审核工作节点、手写算式标注工作节点、手写算式审核工作节点、手写中文标注工作节点、手写中文审核工作节点、应用题批改质检工作节点和应用题批改验收工作节点。

其中，试卷关键目标标注工作节点用于对试卷关键目标进行标注，试卷关键目标包括但不限于试卷上各应用题的题号、题干、图片以及作答区域等，在试卷关键目标标注工作节点完成后，进入试卷关键目标审核工作节点。试卷关键目标审核工作节点用于对试卷关键目标的标注数据进行审核，如果审核通过，则试卷关键目标标注工作节点完成，进入手写算式标注工作节点，如果审核不通过，则退回到上一工作节点，重新进行试卷关键目标的标注。

其中，手写算式标注工作节点用于对试卷上作答区域中的手写算式进行标注，在手写算式标注工作节点完成后，进入手写算式审核工作节点。手写算式审核工作节点用于对手写算式的标注数据进行审核，如果审核通过，则手写算式审核工作节点完成，进入手写中文标注工作节点，如果审核不通过，则退回到上一工作节点，重新进行手写算式的标注。

其中，手写中文标注工作节点用于对试卷上作答区域中的手写中文进行标注，在手写中文标注工作节点完成后，进入手写中文审核工作节点。手写中文审核工作节点用于对手写中文的标注数据进行审核，如果审核通过，则手写中文审核工作节点完成，进入应用题批改质检工作节点，如果审核不通过，则退回到上一工作节点，重新进行手写中文的标注。

其中，应用题批改质检工作节点用于对已审核通过的试卷关键目标的标注数据、手写算式的标注数据和手写中文的标注数据进行随机质检，如果质检通过，则应用题批改质检工作节点完成，进入应用题批改验收工作节点，如果质检不通过，则退回到上一工作节点。应用题批改验收工作节点用于对已审核通过的标注数据进行验收。

按照图4所示的工作流依次将每个工作节点分配给对应的任务执行人员，当工作流中的所有工作节点完成后，合并该工作流中的各个标注工作节点的数据，得到关于试卷图像的最终标注数据，该最终标注数据包括试卷关键目标的标注数据、手写算式的标注数据和手写中文的标注数据。

可以理解的，在上述技术方案中，依次从第一子窗口中选中一个预置节点并拖拽至第二子窗口中，以创建一个对应类型的工作节点，然后将创建的多个工作节点按照任务类型依次连接，以生成一个真实标注任务的工作流。工作流的建立有利于将复杂标注任务拆解成多个简单标注子任务，每个标注工作节点只需要完成一个简单标注子任务即可。一方面，每个子任务的任务执行人员只需要关注自己的子任务即可，使得标注任务更加专注，标注更高效且标注质量更高，另一方面，在所有工作节点完成后，只需简单合并各个标注工作节点的标注数据，即可得到一份关于复杂标注任务的完整标注数据。

可选的，为了进一步保证数据安全，每个任务执行人员对工作流中任务执行人员为自己的工作节点可见，且对任务执行人员不为自己的工作节点不可见。

可选的，在每次生成工作流之后，保存该工作流。

图5示出了一示例性实施例提供的生成新的工作流的一种具体实施方式的流程图。如图5所示，该方法还包括如下步骤：

S210，当创建新的工作流时，响应于从保存的至少一个历史工作流中选择一个工作流作为基础工作流，并在第二子窗口中展示该基础工作流。

S220，响应于选中该基础工作流中的任一工作节点，弹出基于选中的工作节点进行配置的任务配置窗口。

S230，接收在任务配置窗口中输入的新的任务信息和/或新的任务执行人员，更新该工作节点。

S240，响应于确认创建的操作，生成新的工作流。

可以理解的，在上述技术方案中，在每次生成工作流后将本次生成的工作流作为模板保存，当有相似标注任务需要创建工作流时，可以从保存的至少一个历史工作流中选择一个工作流，作为基础工作流，并在第二子窗口中展示该基础工作流。在第二子窗口展示的基础工作流中选中任一工作节点，页面将会自动弹出基于选中的工作节点进行配置的任务配置窗口，用户可以在该任务配置窗口配置新的任务信息和/或新的任务执行人员，并确认完成配置，则该工作节点的任务信息和任务执行人员将完成更新。用户在第二子窗口中确认创建，于是自动生成新的工作流。因此，本公开可以通过历史工作流一键生成新的工作流，避免重复操作，提升工作流的生成效率。

图6示出了一示例性实施例中步骤S160中合并各个标注工作节点的数据，得到关于试卷图像的最终标注数据的流程图。如图6所示，步骤S160包括：

S310，合并各个标注工作节点的数据，得到对试卷图像标注出的多个标注框以及每个标注框对应的标注标签。

其中，合并各个标注工作节点的标注数据后，可得到对试卷图像标注出的完整标注数据。示例性的，该完整标注数据包括试卷关键目标标注工作节点的关于试卷关键目标的标注数据，手写算式标注工作节点的关于手写算式的标注数据和手写中文标注工作节点的关于手写中文的标注数据。该完整标注数据包括多个标注框以及每个标注框对应的标注标签。

S320，计算该多个标注框之间的层级关系。

S330，根据该多个标注框、每个标注框对应的标注标签和该多个标注框之间的层级关系，生成试卷图像对应的多层级的标注数据。

本公开中，支持对试卷图像进行多层级标注，以获得多层级的结构化标注数据，这有利于进行比较复杂的版面分析任务。多层级标注的操作通常是通过拖拽标注元素进行人工操作，一方面效率低下，另一方面也很容易出错。上述技术方案由计算机自动计算多个标注框之间的层级关系，可以自动生成多层级的结构化标注数据，避免人工拖拽标注元素来确定层级归属，可以提升标注效率，且降低出错概率。

可选的，步骤S320包括：根据该多个标注框之间的相交关系和每个标注框的面积，确定任意两个标注框之间的父子关系；根据任意两个标注框之间的父子关系，确定该多个标注框之间的层级关系。

在具体实现时，针对该多个标注框中的任意两个标注框，计算这两个标注框之间的交集面积与这两个标注框中面积小者的标注框的面积的比值，得到两个标注框之间的交小比，判断该交小比是否大于预设阈值，当交小比大于预设阈值时，确定这两个标注框中面积小者的标注框为子标注框，面积大者的标注框为父标注框。

图7示出了确定任意两个标注框的父子关系的示意图，如图7所示，针对试卷图像标注有标注框A和标注框B，针对标注框A和标注框B，确定标注框A和标注框B的交集A∩B的面积，记为S(A∩B)，以及确定标注框A和标注框B中面积小者的标注框的面积，记为S(min[A,B])。然后计算标注框A和标注框B之间的交小比P：

P＝S(A∩B)/S(min[A,B])；

假设标注框A和标注框B中面积小者的标注框为标注框B，当交小比P大于预设阈值(如0.9)时，确定标注框A和标注框B之间的父子关系为：标注框B为子标注框，标注框A为父标注框。

本公开中，通过自动计算每两个标注框之间的交小比，确定该多个标注框中任意两个标注框的父子关系，从而得到该多个标注框之间的层级关系，其中，父标注框所在的层级为子标注框所在的层级的上一级。

图8示出了一示例性实施例提供的试卷图像标注装置400的框图，请参照图8，该装置400包括：

预置节点确定模块410，用于确定多种预置节点并在第一子窗口中展示所述多种预置节点；其中，每种预置节点对应一种任务类型；

节点拖拽模块420，用于响应于从所述第一子窗口中选中一种预置节点并拖拽至第二子窗口，弹出基于选中的所述预置节点进行配置的任务配置窗口；

工作节点创建模块430，用于获取在所述任务配置窗口中配置的任务信息和任务执行人员，创建与所述预置节点的任务类型对应的一个工作节点；

工作流生成模块440，用于在创建多个工作节点后，将所述多个工作节点按照对应的任务类型依次连接，并响应于确认创建的操作，生成工作流；其中，所述工作流中包括至少一个根据标注类型的预置节点生成的标注工作节点，每个所述标注工作节点对应的任务为对试卷图像进行相应标注；

工作节点分配模块450，用于将所述工作流中的工作节点依次分配给对应的任务执行人员；

标注数据获得模块460，用于当所述工作流中的所有工作节点完成后，合并各个标注工作节点的数据，得到关于试卷图像的最终标注数据。

可选的，每个任务执行人员对所述工作流中任务执行人员为自己的工作节点可见，且对任务执行人员不为自己的工作节点不可见。

可选的，所述工作流中还包括根据审核类型的预置节点生成的审核工作节点、根据质检类型的预置节点生成的质检工作节点和根据验收类型的预置节点生成的验收工作节点；其中，所述审核工作节点对应的任务为对上一工作节点的标注数据进行审核，所述质检工作节点对应的任务为对已审核通过的标注数据进行随机质检，所述验收工作节点对应的任务为在随机质检通过的情况下对已审核通过的标注数据进行验收。

可选的，该装置400还包括：

工作流保存模块，用于在生成所述工作流之后，保存所述工作流；

工作流展示模块，用于当创建新的工作流时，响应于从保存的至少一个历史工作流中选择一个工作流作为基础工作流，并在第二子窗口中展示所述基础工作流；

节点重配置模块，用于响应于选中所述基础工作流中的任一工作节点，弹出基于选中的所述工作节点进行配置的任务配置窗口；

节点更新模块，用于接收在所述任务配置窗口中输入的新的任务信息和/或新的任务执行人员，更新所述工作节点；

工作流重生成模块，用于响应于确认创建的操作，生成新的工作流。

可选的，标注数据获得模块460包括：

节点数据合并模块，用于合并各个标注工作节点的数据，得到对所述试卷图像标注出的多个标注框以及每个标注框对应的标注标签；

层级关系计算模块，用于计算所述多个标注框之间的层级关系；

标注数据生成模块，用于根据所述多个标注框、每个标注框对应的标注标签和所述多个标注框之间的层级关系，生成所述试卷图像对应的多层级的标注数据。

可选的，层级关系计算模块用于：

根据所述多个标注框之间的相交关系和每个标注框的面积，确定任意两个标注框之间的父子关系；

根据任意两个标注框之间的父子关系，确定所述多个标注框之间的层级关系。

可选的，层级关系计算模块用于：

针对所述多个标注框中的任意两个标注框，计算所述两个标注框之间的交集面积与所述两个标注框中面积小者的标注框的面积的比值，得到所述两个标注框之间的交小比；

当所述交小比大于预设阈值时，确定所述两个标注框中面积小者的标注框为子标注框，面积大者的标注框为父标注框。

关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。

图9是根据一示例性实施例示出的一种电子设备500的框图。如图9所示，该电子设备500可以包括：处理器501，存储器502。该电子设备500还可以包括多媒体组件503，输入/输出(I/O)接口504，以及通信组件505中的一者或多者。

其中，处理器501用于控制该电子设备500的整体操作，以完成上述的试卷图像标注方法中的全部或部分步骤。存储器502用于存储各种类型的数据以支持在该电子设备500的操作，这些数据例如可以包括用于在该电子设备500上操作的任何应用程序或方法的指令，以及应用程序相关的数据，例如联系人数据、收发的消息、图片、音频、视频等等。该存储器502可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，例如静态随机存取存储器(Static Random Access Memory，简称SRAM)，电可擦除可编程只读存储器(Electrically Erasable Programmable Read-Only Memory，简称EEPROM)，可擦除可编程只读存储器(Erasable Programmable Read-Only Memory，简称EPROM)，可编程只读存储器(Programmable Read-Only Memory，简称PROM)，只读存储器(Read-Only Memory，简称ROM)，磁存储器，快闪存储器，磁盘或光盘。多媒体组件503可以包括屏幕和音频组件。其中屏幕例如可以是触摸屏，音频组件用于输出和/或输入音频信号。例如，音频组件可以包括一个麦克风，麦克风用于接收外部音频信号。所接收的音频信号可以被进一步存储在存储器502或通过通信组件505发送。音频组件还包括至少一个扬声器，用于输出音频信号。I/O接口504为处理器501和其他接口模块之间提供接口，上述其他接口模块可以是键盘，鼠标，按钮等。这些按钮可以是虚拟按钮或者实体按钮。通信组件505用于该电子设备500与其他设备之间进行有线或无线通信。无线通信，例如Wi-Fi，蓝牙，近场通信(Near FieldCommunication，简称NFC)，2G、3G、4G、NB-IOT、eMTC、或其他5G等等，或它们中的一种或几种的组合，在此不做限定。因此相应的该通信组件505可以包括：Wi-Fi模块，蓝牙模块，NFC模块等等。

在一示例性实施例中，电子设备500可以被一个或多个应用专用集成电路(Application Specific Integrated Circuit，简称ASIC)、数字信号处理器(DigitalSignal Processor，简称DSP)、数字信号处理设备(Digital Signal Processing Device，简称DSPD)、可编程逻辑器件(Programmable Logic Device，简称PLD)、现场可编程门阵列(Field Programmable Gate Array，简称FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述的试卷图像标注方法。

在另一示例性实施例中，还提供了一种包括程序指令的计算机可读存储介质，该程序指令被处理器执行时实现上述的试卷图像标注方法的步骤。例如，该计算机可读存储介质可以为上述包括程序指令的存储器502，上述程序指令可由电子设备500的处理器501执行以完成上述的试卷图像标注方法。

在另一示例性实施例中，还提供一种计算机程序产品，该计算机程序产品包含能够由可编程的装置执行的计算机程序，该计算机程序具有当由该可编程的装置执行时用于执行上述的试卷图像标注方法的代码部分。

以上结合附图详细描述了本公开的优选实施方式，但是，本公开并不限于上述实施方式中的具体细节，在本公开的技术构思范围内，可以对本公开的技术方案进行多种简单变型，这些简单变型均属于本公开的保护范围。

另外需要说明的是，在上述具体实施方式中所描述的各个具体技术特征，在不矛盾的情况下，可以通过任何合适的方式进行组合。为了避免不必要的重复，本公开对各种可能的组合方式不再另行说明。

此外，本公开的各种不同的实施方式之间也可以进行任意组合，只要其不违背本公开的思想，其同样应当视为本公开所公开的内容。

Claims (10)

1.一种试卷图像标注方法，其特征在于，包括：

确定多种预置节点并在第一子窗口中展示所述多种预置节点；其中，每种预置节点对应一种任务类型；

响应于从所述第一子窗口中选中一种预置节点并拖拽至第二子窗口，弹出基于选中的所述预置节点进行配置的任务配置窗口；

获取在所述任务配置窗口中配置的任务信息和任务执行人员，创建与所述预置节点的任务类型对应的一个工作节点；

在创建多个工作节点后，将所述多个工作节点按照对应的任务类型依次连接，并响应于确认创建的操作，生成工作流；其中，所述工作流中包括至少一个根据标注类型的预置节点生成的标注工作节点，每个所述标注工作节点对应的任务为对试卷图像进行相应标注；

将所述工作流中的工作节点依次分配给对应的任务执行人员；

当所述工作流中的所有工作节点完成后，合并各个标注工作节点的数据，得到关于试卷图像的最终标注数据。

2.根据权利要求1所述的方法，其特征在于，每个任务执行人员对所述工作流中任务执行人员为自己的工作节点可见，且对任务执行人员不为自己的工作节点不可见。

3.根据权利要求1所述的方法，其特征在于，所述工作流中还包括根据审核类型的预置节点生成的审核工作节点、根据质检类型的预置节点生成的质检工作节点和根据验收类型的预置节点生成的验收工作节点；

其中，所述审核工作节点对应的任务为对上一工作节点的标注数据进行审核，所述质检工作节点对应的任务为对已审核通过的标注数据进行随机质检，所述验收工作节点对应的任务为在随机质检通过的情况下对已审核通过的标注数据进行验收。

4.根据权利要求1所述的方法，其特征在于，所述方法还包括：

在生成所述工作流之后，保存所述工作流；

当创建新的工作流时，响应于从保存的至少一个历史工作流中选择一个工作流作为基础工作流，并在第二子窗口中展示所述基础工作流；

响应于选中所述基础工作流中的任一工作节点，弹出基于选中的所述工作节点进行配置的任务配置窗口；

接收在所述任务配置窗口中输入的新的任务信息和/或新的任务执行人员，更新所述工作节点；

响应于确认创建的操作，生成新的工作流。

5.根据权利要求1-4任一项所述的方法，其特征在于，所述合并各个标注工作节点的数据，得到关于试卷图像的最终标注数据，包括：

合并各个标注工作节点的数据，得到对所述试卷图像标注出的多个标注框以及每个标注框对应的标注标签；

计算所述多个标注框之间的层级关系；

根据所述多个标注框、每个标注框对应的标注标签和所述多个标注框之间的层级关系，生成所述试卷图像对应的多层级的标注数据。

6.根据权利要求5所述的方法，其特征在于，所述计算所述多个标注框之间的层级关系，包括：

根据所述多个标注框之间的相交关系和每个标注框的面积，确定任意两个标注框之间的父子关系；

根据任意两个标注框之间的父子关系，确定所述多个标注框之间的层级关系。

7.根据权利要求6所述的方法，其特征在于，所述根据所述多个标注框之间的相交关系和每个标注框的面积，确定任意两个标注框之间的父子关系，包括：

针对所述多个标注框中的任意两个标注框，计算所述两个标注框之间的交集面积与所述两个标注框中面积小者的标注框的面积的比值，得到所述两个标注框之间的交小比；

当所述交小比大于预设阈值时，确定所述两个标注框中面积小者的标注框为子标注框，面积大者的标注框为父标注框。

8.一种试卷图像标注装置，其特征在于，包括：

预置节点确定模块，用于确定多种预置节点并在第一子窗口中展示所述多种预置节点；其中，每种预置节点对应一种任务类型；

节点拖拽模块，用于响应于从所述第一子窗口中选中一种预置节点并拖拽至第二子窗口，弹出基于选中的所述预置节点进行配置的任务配置窗口；

工作节点创建模块，用于获取在所述任务配置窗口中配置的任务信息和任务执行人员，创建与所述预置节点的任务类型对应的一个工作节点；

工作流生成模块，用于在创建多个工作节点后，将所述多个工作节点按照对应的任务类型依次连接，并响应于确认创建的操作，生成工作流；其中，所述工作流中包括至少一个根据标注类型的预置节点生成的标注工作节点，每个所述标注工作节点对应的任务为对试卷图像进行相应标注；

工作节点分配模块，用于将所述工作流中的工作节点依次分配给对应的任务执行人员；

标注数据获得模块，用于当所述工作流中的所有工作节点完成后，合并各个标注工作节点的数据，得到关于试卷图像的最终标注数据。

9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求1-7中任一项所述方法的步骤。

10.一种电子设备，其特征在于，包括：

存储器，其上存储有计算机程序；

处理器，用于执行所述存储器中的所述计算机程序，以实现权利要求1-7中任一项所述方法的步骤。

Images