CN110490180A - 基于图像识别的作业批改方法、装置、存储介质及服务器 - Google Patents

基于图像识别的作业批改方法、装置、存储介质及服务器 Download PDF

Info

Publication number
CN110490180A
CN110490180A CN201910603800.5A CN201910603800A CN110490180A CN 110490180 A CN110490180 A CN 110490180A CN 201910603800 A CN201910603800 A CN 201910603800A CN 110490180 A CN110490180 A CN 110490180A
Authority
CN
China
Prior art keywords
topic
image
region
papers
network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910603800.5A
Other languages
English (en)
Other versions
CN110490180B (zh
Inventor
曾起
谢雨洋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ping An International Smart City Technology Co Ltd
Original Assignee
Ping An International Smart City Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An International Smart City Technology Co Ltd filed Critical Ping An International Smart City Technology Co Ltd
Priority to CN201910603800.5A priority Critical patent/CN110490180B/zh
Publication of CN110490180A publication Critical patent/CN110490180A/zh
Application granted granted Critical
Publication of CN110490180B publication Critical patent/CN110490180B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
    • G06V10/507—Summing image-intensity values; Histogram projection analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/467—Encoded features or binary features, e.g. local binary patterns [LBP]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Image Analysis (AREA)

Abstract

本发明属于计算机技术领域，尤其涉及一种基于图像识别的作业批改方法、装置、计算机可读存储介质及服务器。所述方法接收终端设备发送的作业批改请求，所述作业批改请求中包括待批改作业的图像以及所述待批改作业的作业标识；根据预设的符号标记在所述待批改作业的图像中确定各个题目的题目作答区域；使用预设的深度学习网络分别对各个题目的题目作答区域的图像进行图像识别，得到各个题目的图像特征；使用预设的序列化模型分别对各个题目的图像特征进行处理，得到各个题目的作答内容；根据所述待批改作业的作业标识确定各个题目的标准答案，并根据各个题目的标准答案对各个题目的作答内容进行比对，得到作业批改结果。

Description

基于图像识别的作业批改方法、装置、存储介质及服务器
技术领域
本发明属于计算机技术领域，尤其涉及一种基于图像识别的作业批改方法、装置、计算机可读存储介质及服务器。
背景技术
目前，学生提交的作业一般需要教师手工进行批改，给教师带来了相当大的工作量，尤其是当班级上的学生较多时，需要教师在正常的教学工作之外，额外抽出大量的时间进行作业批改，效率非常低下。现有技术中有通过机读卡来提高作业批改效率的方案，机读卡是一种简单的光学字符识别(OCR)技术，光标阅读机(读卡机)只对黑色敏感，答题卡上印有黑色的条块，让读卡机确认卡的方向与位置，铅笔在卡上的填涂的黑块和印好的黑块共同组成了一个只有黑与白的图像。与二进制的“0”、“1”近似，读卡机扫描后与预先存储的信息生成的图像进行比较，从而得到结果。这种方式虽然也能实现对作业的自动批改，但是却存在着两个明显的缺陷：第一，需要额外印制专用的答题卡，成本较高；第二，答题卡上只能记录二进制信息(即是否有铅笔填涂的黑块)，往往只能适用于对选择题进行作答，而不适用于填空题、简答题等较多文本信息的场景。
发明内容
有鉴于此，本发明实施例提供了一种基于图像识别的作业批改方法、装置、计算机可读存储介质及服务器，以解决通过机读卡来进行作业批改时存在的成本较高及不适用于填空题、简答题等较多文本信息的场景的问题。
本发明实施例的第一方面提供了一种基于图像识别的作业批改方法，可以包括：
接收终端设备发送的作业批改请求，所述作业批改请求中包括待批改作业的图像以及所述待批改作业的作业标识；
根据预设的符号标记在所述待批改作业的图像中确定各个题目的题目作答区域；
使用预设的深度学习网络分别对各个题目的题目作答区域的图像进行图像识别，得到各个题目的图像特征；
使用预设的序列化模型分别对各个题目的图像特征进行处理，得到各个题目的作答内容，所述序列化模型由两个以上的门控循环单元级联组成；
根据所述待批改作业的作业标识确定各个题目的标准答案，并根据各个题目的标准答案对各个题目的作答内容进行比对，得到作业批改结果。
本发明实施例的第二方面提供了一种作业批改装置，可以包括：
作业批改请求接收模块，用于接收终端设备发送的作业批改请求，所述作业批改请求中包括待批改作业的图像以及所述待批改作业的作业标识；
题目作答区域确定模块，用于根据预设的符号标记在所述待批改作业的图像中确定各个题目的题目作答区域；
图像特征提取模块，用于使用预设的深度学习网络分别对各个题目的题目作答区域的图像进行图像识别，得到各个题目的图像特征；
序列化处理模块，用于使用预设的序列化模型分别对各个题目的图像特征进行处理，得到各个题目的作答内容，所述序列化模型由两个以上的门控循环单元级联组成；
作答内容比对模块，用于根据所述待批改作业的作业标识确定各个题目的标准答案，并根据各个题目的标准答案对各个题目的作答内容进行比对，得到作业批改结果。
本发明实施例的第三方面提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可读指令，所述计算机可读指令被处理器执行时实现如下步骤：
接收终端设备发送的作业批改请求，所述作业批改请求中包括待批改作业的图像以及所述待批改作业的作业标识；
根据预设的符号标记在所述待批改作业的图像中确定各个题目的题目作答区域；
使用预设的深度学习网络分别对各个题目的题目作答区域的图像进行图像识别，得到各个题目的图像特征；
使用预设的序列化模型分别对各个题目的图像特征进行处理，得到各个题目的作答内容，所述序列化模型由两个以上的门控循环单元级联组成；
根据所述待批改作业的作业标识确定各个题目的标准答案，并根据各个题目的标准答案对各个题目的作答内容进行比对，得到作业批改结果。
本发明实施例的第四方面提供了一种服务器，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机可读指令，所述处理器执行所述计算机可读指令时实现如下步骤：
接收终端设备发送的作业批改请求，所述作业批改请求中包括待批改作业的图像以及所述待批改作业的作业标识；
根据预设的符号标记在所述待批改作业的图像中确定各个题目的题目作答区域；
使用预设的深度学习网络分别对各个题目的题目作答区域的图像进行图像识别，得到各个题目的图像特征；
使用预设的序列化模型分别对各个题目的图像特征进行处理，得到各个题目的作答内容，所述序列化模型由两个以上的门控循环单元级联组成；
根据所述待批改作业的作业标识确定各个题目的标准答案，并根据各个题目的标准答案对各个题目的作答内容进行比对，得到作业批改结果。
本发明实施例与现有技术相比存在的有益效果是：本发明实施例中无需采用特制的答题卡，而仅需在作业中印制上预设的符号标记即可，在接收到终端设备发送的作业批改请求之后，可以根据这些符号标记在所述待批改作业的图像中确定各个题目的题目作答区域，大大减少了作业批改的成本。而且在本发明实施例中使用预设的深度学习网络分别对各个题目的题目作答区域的图像进行图像识别，得到各个题目的图像特征，再使用预设的序列化模型分别对各个题目的图像特征进行处理，可以有效捕捉题目中的字、词、符号等等文本元素之间的依赖关系，得到各个题目的作答内容，对于选择题、填空题、简答题等各种场景均可适用，最后仅需将预设的标准答案对作答内容进行比对，即可得到最终的作业批改结果。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。
图1为本发明实施例中一种基于图像识别的作业批改方法的一个实施例流程图；
图2为根据预设的符号标记在待批改作业的图像中确定各个题目的题目作答区域的示意流程图；
图3为包含多种特殊的符号标记的作业的示意图；
图4为在待批改作业的图像中确定各个题目所在的区域以及各个题目的题目作答区域的示意图；
图5为本发明实施例中一种作业批改装置的一个实施例结构图；
图6为本发明实施例中一种服务器的示意框图。
具体实施方式
为使得本发明的发明目的、特征、优点能够更加的明显和易懂，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，下面所描述的实施例仅仅是本发明一部分实施例，而非全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
请参阅图1，本发明实施例中一种基于图像识别的作业批改方法的一个实施例可以包括：
步骤S101、接收终端设备发送的作业批改请求。
在本实施例中，预先在服务器中存储了大量的数学题目，从而构成了一个供教师出题时使用的题库，为了便于区分，可以为题库中的每个题目均分配唯一的题目标识。教师在出题时，从该题库中抽取题目并进行自由组合形成作业，也即作业中的所有题目均来自于该题库，如下表所示：
作业中的题目序号 题目来源(题库中的题目标识)
题目1 题目标识：5628
题目2 题目标识：13
题目3 题目标识：236
题目4 题目标识：3
…… ……
需要注意的是，以上仅为作业题目与题库中题目之间的对应关系的一个具体示例，在实际出题过程中，可以根据实际情况设置不同的对应关系。在教师设置好这一对应关系之后，服务器会将该对应关系进行保存，以便后续进行试卷批改时使用。可选地，教师可以根据实际情况生成多个作业，为了便于区分，可以为每个作业均分配唯一的作业标识。
教师可以将生成的作业打印出来以供学生填写，学生在完成作业之后，可以通过其终端设备向服务器发送作业批改请求，所述作业批改请求中包括待批改作业的图像以及所述待批改作业的作业标识，其中，所述待批改作业的图像可以由学生通过其终端设备的摄像头拍摄得到。
步骤S102、根据预设的符号标记在所述待批改作业的图像中确定各个题目的题目作答区域。
如图2所示，步骤S102具体可以包括如下步骤：
步骤S1021、在所述待批改作业的图像中识别出第一标记和第二标记。
如图3所示，为了便于进行自动化作业批改，最终形成的作业中会包含多种特殊的符号标记。所述第一标记为题目开始位置的符号标记，如图3中的◆，所述第二标记为题目结束位置的符号标记，如图3中的◢。
服务器首先会对所述待批改作业的图像进行图像预处理，例如，首先对图像进行二值化，通过图像开运算去除掉文字干扰，然后提取剩余图像内容的轮廓，按照限定条件如面积，长宽比等筛选出符合要求的图像轮廓，最终从这些图像轮廓中识别出各个符号标记。
以下通过使用机器学习模型对表示题目开始位置的符号标记◆的识别过程为例进行详细说明：
首先，进行样本集的构建，选取大量的该符号标记的正样本，以及非该符号标记的负样本。为了保证训练出来的机器学习模型具有更好的适应性，可以尽可能的搜集各种情况下的正负样本，例如，在打印机油墨充足、不足的时候打印出来的正负样本，在各种质地的纸张上打印出来的正负样本等等。这些样本通过扫描仪录入电子档图片，通过人工截图及标注，从而构造出进行机器学习模型训练的样本集。
然后，进行样本特征提取。在本方案中可以通过方向梯度直方图(Histogram ofOriented Gradient，HOG)、局部二值模式(Local Binary Patterns，LBP)以及其它现有技术中常用的特征提取算法提取出样本的图像特征。
接着，使用样本集中各个样本的图像特征对预设的机器学习模型进行训练，得到满足预设的误差要求的机器学习模型。在本方案中，具体使用的机器学习训练方法包括但不限于：K近邻、朴素贝叶斯、逻辑回归、支持向量机(Support Vector Machine，SVM)、随机森林等常用方法。
最后，即可使用训练好的机器学习模型对候选的图像轮廓进行识别，从中筛选出该符号标记。
其它符号标记的识别过程与之类似，具体可参照上述详细说明，此处不再赘述。
步骤S1022、根据所述第一标记和所述第二标记在所述待批改作业的图像中确定各个题目所在的区域。
如图4所示，通过第一标记◆可以确定出题目开始位置，通过第一标记◢可以确定出题目结束位置，这样，各个题目在作业中的所在的区域即可确定出来，如图4中方框所圈定的区域即为该题目所在的区域。
步骤S1023、在各个题目所在的区域中识别出第三标记和第四标记。
所述第三标记为题目作答区域开始位置的符号标记，如图3中的【，所述第四标记为题目作答区域结束位置的符号标记，如图3中的】。所述第三标记和所述第四标记的识别过程与步骤S1021中的识别过程类似，具体可参照上述详细说明，此处不再赘述。
步骤S1024、根据所述第三标记和所述第四标记在各个题目所在的区域中确定各个题目的题目作答区域。
如图4所示，通过第三标记【可以确定出题目作答区域开始位置，通过第四标记】可以确定出题目作答区域结束位置，这样，各个题目的题目作答区域即可确定出来，如图4中椭圆形框所圈定的区域即为该题目的题目作答区域。
需要注意的是，以上仅为作业中使用的符号标记的一个具体示例，在实际出题过程中，还可以根据实际情况设置其它的符号标记作为所述第一标记、第二标记、第三标记及第四标记，这些符号标记包括但不限于@、#、￥、&、％等等。
步骤S103、使用预设的深度学习网络分别对各个题目的题目作答区域的图像进行图像识别，得到各个题目的图像特征。
以下以第q个题目(1≤q≤Q，Q为所述待批改作业的题目总数)的图像识别过程为例进行说明：
将第q个题目的题目作答区域的图像输入到所述深度学习网络中进行处理，得到第q个题目的图像特征，所述深度学习网络由B个L层的子网络级联组成，即：
SbNwOutb＝SubNetwk(SbNwOutb-1)
其中，b为子网络的序号，1≤b≤B，B为正整数，SbNwOut0为第q个题目的题目作答区域的图像，SbNwOutb为第b个子网络的输出，SubNetwk为每个子网络的处理算法，即：
其中，l为子网络的层数序号，1≤l≤L，L为正整数，LyOut0为子网络的输入，LyOutl为子网络第l层的输出，[]表示特征通道的合并(concatenation)，例如，[LyOut0,LyOut1,...,LyOutl-1]即表示对子网络前l-1层(从第1层到第l-1层)的输出的特征通道进行合并，LayerFunc表示对当前层的输入进行特征抽取计算，例如，可以根据下式使用预设的特征抽取矩阵对所述当前层的输入进行特征抽取：
其中，EtrMtx为所述特征抽取矩阵，可以根据实际情况进行设置，例如，可以设置或等等，C1为所述特征抽取矩阵的行数，C2为所述特征抽取矩阵的列数，LyInMtx为所述当前层的输入的矩阵形式，FtMtx为特征抽取得到的图像特征矩阵，Fts,t为所述图像特征矩阵第s行第t列的元素，1≤s≤S，1≤t≤T，S为所述图像特征矩阵的行数，T为所述图像特征矩阵的列数，且S＝M-C1+1，T＝N-C2+1，M为LyInMtx的行数，N为LyInMtx的列数，LyInMtx(s,s+C1,t,t+C2)为LyInMtx的第s行至第s+C1行，第t列至第t+C2列区域的子矩阵，Hadamard为求两个矩阵的哈达马积。
优选的，在对所述当前层的输入进行特征抽取之后，还可以根据下式对所述特征抽取矩阵进行简化处理：
其中，SpMtx为简化后的特征抽取矩阵，Spu,v为SpMtx第u行第v列的元素，1≤u≤U，1≤v≤V，D1和D2均为预设的简化系数，可以根据实际情况对其取值进行设置，例如，可以设置D1＝2，D2＝3获取D1＝D2＝4等等，FtMtx((u-1)×D1+1,u×D1,(v-1)×D2+1,v×D2)为FtMtx的第(u-1)×D1+1行至第u×D1行，第(v-1)×D2+1列至第v×D2列区域的子矩阵，MtxMax为求矩阵中所有元素的最大值。
由于数学表达式结构多样，存在上下、左右还有上下角标等情形，而且手写字符大小不统一，并存在字体粘连的情况，使用简单的卷积网络识别准确度不高。本实施例中的所述深度学习网络的子网络每一层的输出均为对前面各层的输出进行综合考虑得到的，能够在图像中提取不同解析度的特征(如：识别小数点时会进入更深层的网络提取特征)，从而更准确地识别不同的字符。
步骤S104、使用预设的序列化模型分别对各个题目的图像特征进行处理，得到各个题目的作答内容。
所述序列化模型由两个以上的门控循环单元(Gated Recurrent Unit，GRU)级联组成。GRU是LSTM的一种效果很好的变体，它较LSTM网络的结构更加简单，而且效果也很好，因此也是当前非常流形的一种网络。在LSTM中引入了三个门函数：输入门、遗忘门和输出门来控制输入值、记忆值和输出值。而在GRU模型中只有两个门：分别是更新门和重置门。更新门用于控制前一时刻的状态信息被带入到当前状态中的程度，更新门的值越大说明前一时刻的状态信息带入越多,重置门控制前一状态有多少信息被写入到当前的候选集上，重置门越小，前一状态的信息被写入的越少。给定一个时间序列，例如文本序列，由GRU所组成的所述序列化模型可以捕捉两个时刻距离较大的文本元素(字、词、符号等等)之间的依赖关系，生成文本信息，从而得到各个题目的作答内容。
步骤S105、根据所述待批改作业的作业标识确定各个题目的标准答案，并根据各个题目的标准答案对各个题目的作答内容进行比对，得到作业批改结果。
在识别出各个题目的作答内容之后，可以根据所述待批改作业的作业标识确定作业中的题目序号(例如，图3中的[30]即代表作业中的第30个题目)与题库中题目标识之间的对应关系，并在所述题库中查询出各个题目的标准答案，最后根据各个题目的标准答案对各个题目的作答内容进行比对，得到作业批改结果。若两者比对一致，则说明作答正确，若两者比对不一致，则说明作答错误，从而完成对作业的自动化批改过程。
综上所述，本发明实施例中无需采用特制的答题卡，而仅需在作业中印制上预设的符号标记即可，在接收到终端设备发送的作业批改请求之后，可以根据这些符号标记在所述待批改作业的图像中确定各个题目的题目作答区域，大大减少了作业批改的成本。而且在本发明实施例中使用预设的深度学习网络分别对各个题目的题目作答区域的图像进行图像识别，得到各个题目的图像特征，再使用预设的序列化模型分别对各个题目的图像特征进行处理，可以有效捕捉题目中的字、词、符号等等文本元素之间的依赖关系，得到各个题目的作答内容，对于选择题、填空题、简答题等各种场景均可适用，最后仅需将预设的标准答案对作答内容进行比对，即可得到最终的作业批改结果。
应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。
对应于上文实施例所述的一种基于图像识别的作业批改方法，图5示出了本发明实施例提供的一种作业批改装置的一个实施例结构图。
本实施例中，一种作业批改装置可以包括：
作业批改请求接收模块501，用于接收终端设备发送的作业批改请求，所述作业批改请求中包括待批改作业的图像以及所述待批改作业的作业标识；
题目作答区域确定模块502，用于根据预设的符号标记在所述待批改作业的图像中确定各个题目的题目作答区域；
图像特征提取模块503，用于使用预设的深度学习网络分别对各个题目的题目作答区域的图像进行图像识别，得到各个题目的图像特征；
序列化处理模块504，用于使用预设的序列化模型分别对各个题目的图像特征进行处理，得到各个题目的作答内容，所述序列化模型由两个以上的门控循环单元级联组成；
作答内容比对模块505，用于根据所述待批改作业的作业标识确定各个题目的标准答案，并根据各个题目的标准答案对各个题目的作答内容进行比对，得到作业批改结果。
进一步地，所述图像特征提取模块可以包括：
图像特征提取单元，用于将第q个题目的题目作答区域的图像输入到所述深度学习网络中进行处理，得到第q个题目的图像特征，1≤q≤Q，Q为所述待批改作业的题目总数，所述深度学习网络由B个L层的子网络级联组成，即：
SbNwOutb＝SubNetwk(SbNwOutb-1)
其中，b为子网络的序号，1≤b≤B，B为正整数，SbNwOut0为第q个题目的题目作答区域的图像，SbNwOutb为第b个子网络的输出，SubNetwk为每个子网络的处理算法，即：
其中，l为子网络的层数序号，1≤l≤L，L为正整数，LyOut0为子网络的输入，LyOutl为子网络第l层的输出，LayerFunc表示对当前层的输入进行特征抽取计算。
进一步地，所述图像特征提取单元具体用于根据下式使用预设的特征抽取矩阵对所述当前层的输入进行特征抽取：
其中，EtrMtx为所述特征抽取矩阵，C1为所述特征抽取矩阵的行数，C2为所述特征抽取矩阵的列数，LyInMtx为所述当前层的输入的矩阵形式，FtMtx为特征抽取得到的图像特征矩阵，Fts,t为所述图像特征矩阵第s行第t列的元素，1≤s≤S，1≤t≤T，S为所述图像特征矩阵的行数，T为所述图像特征矩阵的列数，且S＝M-C1+1，T＝N-C2+1，M为LyInMtx的行数，N为LyInMtx的列数，LyInMtx(s,s+C1,t,t+C2)为LyInMtx的第s行至第s+C1行，第t列至第t+C2列区域的子矩阵，Hadamard为求两个矩阵的哈达马积。
进一步地，所述图像特征提取模块还可以包括：
简化处理单元，用于根据下式对所述特征抽取矩阵进行简化处理：
其中，SpMtx为简化后的特征抽取矩阵，Spu,v为SpMtx第u行第v列的元素，1≤u≤U，1≤v≤V，D1和D2均为预设的简化系数，FtMtx((u-1)×D1+1,u×D1,(v-1)×D2+1,v×D2)为FtMtx的第(u-1)×D1+1行至第u×D1行，第(v-1)×D2+1列至第v×D2列区域的子矩阵，MtxMax为求矩阵中所有元素的最大值。
进一步地，所述题目作答区域确定模块可以包括：
第一识别单元，用于在所述待批改作业的图像中识别出第一标记和第二标记，所述第一标记为题目开始位置的符号标记，所述第二标记为题目结束位置的符号标记；
题目区块确定单元，用于根据所述第一标记和所述第二标记在所述待批改作业的图像中确定各个题目所在的区域；
第二识别单元，用于在各个题目所在的区域中识别出第三标记和第四标记，所述第三标记为题目作答区域开始位置的符号标记，所述第四标记为题目作答区域结束位置的符号标记；
题目作答区域确定单元，用于根据所述第三标记和所述第四标记在各个题目所在的区域中确定各个题目的题目作答区域。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的装置，模块和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。
图6示出了本发明实施例提供的一种服务器的示意框图，为了便于说明，仅示出了与本发明实施例相关的部分。
在本实施例中，所述服务器6可以包括：处理器60、存储器61以及存储在所述存储器61中并可在所述处理器60上运行的计算机可读指令62，例如执行上述的基于图像识别的作业批改方法的计算机可读指令。所述处理器60执行所述计算机可读指令62时实现上述各个基于图像识别的作业批改方法实施例中的步骤，例如图1所示的步骤S101至S105。或者，所述处理器60执行所述计算机可读指令62时实现上述各装置实施例中各模块/单元的功能，例如图5所示模块501至505的功能。
示例性的，所述计算机可读指令62可以被分割成一个或多个模块/单元，所述一个或者多个模块/单元被存储在所述存储器61中，并由所述处理器60执行，以完成本发明。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机可读指令段，该指令段用于描述所述计算机可读指令62在所述服务器6中的执行过程。
所述处理器60可以是中央处理单元(Central Processing Unit，CPU)，还可以是其它通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其它可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
所述存储器61可以是所述服务器6的内部存储单元，例如服务器6的硬盘或内存。所述存储器61也可以是所述服务器6的外部存储设备，例如所述服务器6上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。进一步地，所述存储器61还可以既包括所述服务器6的内部存储单元也包括外部存储设备。所述存储器61用于存储所述计算机可读指令以及所述服务器6所需的其它指令和数据。所述存储器61还可以用于暂时地存储已经输出或者将要输出的数据。
在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干计算机可读指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储计算机可读指令的介质。
以上所述实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种基于图像识别的作业批改方法，其特征在于，包括：
接收终端设备发送的作业批改请求，所述作业批改请求中包括待批改作业的图像以及所述待批改作业的作业标识；
根据预设的符号标记在所述待批改作业的图像中确定各个题目的题目作答区域；
使用预设的深度学习网络分别对各个题目的题目作答区域的图像进行图像识别，得到各个题目的图像特征；
使用预设的序列化模型分别对各个题目的图像特征进行处理，得到各个题目的作答内容，所述序列化模型由两个以上的门控循环单元级联组成；
根据所述待批改作业的作业标识确定各个题目的标准答案，并根据各个题目的标准答案对各个题目的作答内容进行比对，得到作业批改结果。
2.根据权利要求1所述的作业批改方法，其特征在于，所述使用预设的深度学习网络分别对各个题目的题目作答区域的图像进行图像识别，得到各个题目的图像特征包括：
将第q个题目的题目作答区域的图像输入到所述深度学习网络中进行处理，得到第q个题目的图像特征，1≤q≤Q，Q为所述待批改作业的题目总数，所述深度学习网络由B个L层的子网络级联组成，即：
SbNwOutb＝SubNetwk(SbNwOutb-1)
其中，b为子网络的序号，1≤b≤B，B为正整数，SbNwOut0为第q个题目的题目作答区域的图像，SbNwOutb为第b个子网络的输出，SubNetwk为每个子网络的处理算法，即：
其中，l为子网络的层数序号，1≤l≤L，L为正整数，LyOut0为子网络的输入，LyOutl为子网络第l层的输出，LayerFunc表示对当前层的输入进行特征抽取计算。
3.根据权利要求2所述的作业批改方法，其特征在于，所述对当前层的输入进行特征抽取计算包括：
根据下式使用预设的特征抽取矩阵对所述当前层的输入进行特征抽取：
其中，EtrMtx为所述特征抽取矩阵，C1为所述特征抽取矩阵的行数，C2为所述特征抽取矩阵的列数，LyInMtx为所述当前层的输入的矩阵形式，FtMtx为特征抽取得到的图像特征矩阵，Fts,t为所述图像特征矩阵第s行第t列的元素，1≤s≤S，1≤t≤T，S为所述图像特征矩阵的行数，T为所述图像特征矩阵的列数，且S＝M-C1+1，T＝N-C2+1，M为LyInMtx的行数，N为LyInMtx的列数，LyInMtx(s,s+C1,t,t+C2)为LyInMtx的第s行至第s+C1行，第t列至第t+C2列区域的子矩阵，Hadamard为求两个矩阵的哈达马积。
4.根据权利要求3所述的作业批改方法，其特征在于，在对所述当前层的输入进行特征抽取之后，还包括：
根据下式对所述特征抽取矩阵进行简化处理：
其中，SpMtx为简化后的特征抽取矩阵，Spu,v为SpMtx第u行第v列的元素，1≤u≤U，1≤v≤V，D1和D2均为预设的简化系数，FtMtx((u-1)×D1+1,u×D1,(v-1)×D2+1,v×D2)为FtMtx的第(u-1)×D1+1行至第u×D1行，第(v-1)×D2+1列至第v×D2列区域的子矩阵，MtxMax为求矩阵中所有元素的最大值。
5.根据权利要求1至4中任一项所述的作业批改方法，其特征在于，根据预设的符号标记在所述待批改作业的图像中确定各个题目的题目作答区域包括：
在所述待批改作业的图像中识别出第一标记和第二标记，所述第一标记为题目开始位置的符号标记，所述第二标记为题目结束位置的符号标记；
根据所述第一标记和所述第二标记在所述待批改作业的图像中确定各个题目所在的区域；
在各个题目所在的区域中识别出第三标记和第四标记，所述第三标记为题目作答区域开始位置的符号标记，所述第四标记为题目作答区域结束位置的符号标记；
根据所述第三标记和所述第四标记在各个题目所在的区域中确定各个题目的题目作答区域。
6.一种作业批改装置，其特征在于，包括：
作业批改请求接收模块，用于接收终端设备发送的作业批改请求，所述作业批改请求中包括待批改作业的图像以及所述待批改作业的作业标识；
题目作答区域确定模块，用于根据预设的符号标记在所述待批改作业的图像中确定各个题目的题目作答区域；
图像特征提取模块，用于使用预设的深度学习网络分别对各个题目的题目作答区域的图像进行图像识别，得到各个题目的图像特征；
序列化处理模块，用于使用预设的序列化模型分别对各个题目的图像特征进行处理，得到各个题目的作答内容，所述序列化模型由两个以上的门控循环单元级联组成；
作答内容比对模块，用于根据所述待批改作业的作业标识确定各个题目的标准答案，并根据各个题目的标准答案对各个题目的作答内容进行比对，得到作业批改结果。
7.根据权利要求6所述的作业批改装置，其特征在于，所述图像特征提取模块包括：
图像特征提取单元，用于将第q个题目的题目作答区域的图像输入到所述深度学习网络中进行处理，得到第q个题目的图像特征，1≤q≤Q，Q为所述待批改作业的题目总数，所述深度学习网络由B个L层的子网络级联组成，即：
SbNwOutb＝SubNetwk(SbNwOutb-1)
其中，b为子网络的序号，1≤b≤B，B为正整数，SbNwOut0为第q个题目的题目作答区域的图像，SbNwOutb为第b个子网络的输出，SubNetwk为每个子网络的处理算法，即：
其中，l为子网络的层数序号，1≤l≤L，L为正整数，LyOut0为子网络的输入，LyOutl为子网络第l层的输出，LayerFunc表示对当前层的输入进行特征抽取计算。
8.根据权利要求6或7所述的作业批改装置，其特征在于，所述题目作答区域确定模块包括：
第一识别单元，用于在所述待批改作业的图像中识别出第一标记和第二标记，所述第一标记为题目开始位置的符号标记，所述第二标记为题目结束位置的符号标记；
题目区块确定单元，用于根据所述第一标记和所述第二标记在所述待批改作业的图像中确定各个题目所在的区域；
第二识别单元，用于在各个题目所在的区域中识别出第三标记和第四标记，所述第三标记为题目作答区域开始位置的符号标记，所述第四标记为题目作答区域结束位置的符号标记；
题目作答区域确定单元，用于根据所述第三标记和所述第四标记在各个题目所在的区域中确定各个题目的题目作答区域。
9.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可读指令，其特征在于，所述计算机可读指令被处理器执行时实现如权利要求1至5中任一项所述的作业批改方法的步骤。
10.一种服务器，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机可读指令，其特征在于，所述处理器执行所述计算机可读指令时实现如权利要求1至5中任一项所述的作业批改方法的步骤。
CN201910603800.5A 2019-07-05 2019-07-05 基于图像识别的作业批改方法、装置、存储介质及服务器 Active CN110490180B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910603800.5A CN110490180B (zh) 2019-07-05 2019-07-05 基于图像识别的作业批改方法、装置、存储介质及服务器

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910603800.5A CN110490180B (zh) 2019-07-05 2019-07-05 基于图像识别的作业批改方法、装置、存储介质及服务器

Publications (2)

Publication Number Publication Date
CN110490180A true CN110490180A (zh) 2019-11-22
CN110490180B CN110490180B (zh) 2022-06-17

Family

ID=68546798

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910603800.5A Active CN110490180B (zh) 2019-07-05 2019-07-05 基于图像识别的作业批改方法、装置、存储介质及服务器

Country Status (1)

Country Link
CN (1) CN110490180B (zh)

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111079641A (zh) * 2019-12-13 2020-04-28 科大讯飞股份有限公司 作答内容识别方法、相关设备及可读存储介质
CN111104883A (zh) * 2019-12-09 2020-05-05 平安国际智慧城市科技股份有限公司 作业答案提取方法、装置、设备及计算机可读存储介质
CN111192171A (zh) * 2019-12-27 2020-05-22 创而新(北京)教育科技有限公司 辅助教学方法、装置、设备和存储介质
CN111507292A (zh) * 2020-04-22 2020-08-07 广州光大教育软件科技股份有限公司 手写板校正方法、装置、计算机设备以及存储介质
CN111539369A (zh) * 2020-04-30 2020-08-14 联想万像(深圳)科技有限公司 一种作业处理方法、装置、设备及可读存储介质
CN111767883A (zh) * 2020-07-07 2020-10-13 北京猿力未来科技有限公司 一种题目批改方法及装置
CN111768170A (zh) * 2020-06-23 2020-10-13 北京字节跳动网络技术有限公司 一种作业批改结果展示方法及装置
CN111967479A (zh) * 2020-07-27 2020-11-20 广东工业大学 基于卷积神经网络思想的图像目标识别方法
CN112183253A (zh) * 2020-09-15 2021-01-05 北京大米科技有限公司 数据处理方法、装置、电子设备及计算机可读存储介质
CN113065988A (zh) * 2021-03-31 2021-07-02 北京有竹居网络技术有限公司 一种作业批改方法、***以及装置
CN113140210A (zh) * 2021-04-30 2021-07-20 武汉悦学帮网络技术有限公司 音频批改方法、装置、电子设备和存储介质
CN113221877A (zh) * 2020-02-06 2021-08-06 北京字节跳动网络技术有限公司 用于处理图像的方法和装置
CN113469147A (zh) * 2021-09-02 2021-10-01 北京世纪好未来教育科技有限公司 答题卡识别方法、装置、电子设备以及存储介质
CN113793112A (zh) * 2021-07-29 2021-12-14 深圳点猫科技有限公司 一种编程作业自动批改方法、***及介质
CN114662621A (zh) * 2022-05-24 2022-06-24 灵枭科技(武汉)有限公司 基于机器学习的农机作业面积计算方法及***
CN113221877B (zh) * 2020-02-06 2024-07-16 北京字节跳动网络技术有限公司 用于处理图像的方法和装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007233888A (ja) * 2006-03-03 2007-09-13 Fuji Xerox Co Ltd 画像処理装置および画像処理プログラム
CN106023698A (zh) * 2016-07-29 2016-10-12 李铧 一种作业及练习册自动批阅方法
CN106504599A (zh) * 2016-11-29 2017-03-15 华中师范大学 在线作业批改的方法、装置及***
CN107798321A (zh) * 2017-12-04 2018-03-13 海南云江科技有限公司 一种试卷分析方法和计算设备
CN108764201A (zh) * 2018-06-06 2018-11-06 宁波宁大教育设备有限公司 一种智能批改方法
CN109712043A (zh) * 2018-12-28 2019-05-03 杭州大拿科技股份有限公司 一种答案批改方法及装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007233888A (ja) * 2006-03-03 2007-09-13 Fuji Xerox Co Ltd 画像処理装置および画像処理プログラム
CN106023698A (zh) * 2016-07-29 2016-10-12 李铧 一种作业及练习册自动批阅方法
CN106504599A (zh) * 2016-11-29 2017-03-15 华中师范大学 在线作业批改的方法、装置及***
CN107798321A (zh) * 2017-12-04 2018-03-13 海南云江科技有限公司 一种试卷分析方法和计算设备
CN108764201A (zh) * 2018-06-06 2018-11-06 宁波宁大教育设备有限公司 一种智能批改方法
CN109712043A (zh) * 2018-12-28 2019-05-03 杭州大拿科技股份有限公司 一种答案批改方法及装置

Cited By (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111104883A (zh) * 2019-12-09 2020-05-05 平安国际智慧城市科技股份有限公司 作业答案提取方法、装置、设备及计算机可读存储介质
CN111104883B (zh) * 2019-12-09 2023-06-06 平安国际智慧城市科技股份有限公司 作业答案提取方法、装置、设备及计算机可读存储介质
CN111079641A (zh) * 2019-12-13 2020-04-28 科大讯飞股份有限公司 作答内容识别方法、相关设备及可读存储介质
CN111079641B (zh) * 2019-12-13 2024-04-16 科大讯飞股份有限公司 作答内容识别方法、相关设备及可读存储介质
CN111192171A (zh) * 2019-12-27 2020-05-22 创而新(北京)教育科技有限公司 辅助教学方法、装置、设备和存储介质
CN113221877B (zh) * 2020-02-06 2024-07-16 北京字节跳动网络技术有限公司 用于处理图像的方法和装置
CN113221877A (zh) * 2020-02-06 2021-08-06 北京字节跳动网络技术有限公司 用于处理图像的方法和装置
CN111507292A (zh) * 2020-04-22 2020-08-07 广州光大教育软件科技股份有限公司 手写板校正方法、装置、计算机设备以及存储介质
CN111507292B (zh) * 2020-04-22 2023-05-12 广东光大信息科技股份有限公司 手写板校正方法、装置、计算机设备以及存储介质
CN111539369A (zh) * 2020-04-30 2020-08-14 联想万像(深圳)科技有限公司 一种作业处理方法、装置、设备及可读存储介质
CN111768170A (zh) * 2020-06-23 2020-10-13 北京字节跳动网络技术有限公司 一种作业批改结果展示方法及装置
CN111767883B (zh) * 2020-07-07 2024-04-12 北京猿力未来科技有限公司 一种题目批改方法及装置
CN111767883A (zh) * 2020-07-07 2020-10-13 北京猿力未来科技有限公司 一种题目批改方法及装置
CN111967479A (zh) * 2020-07-27 2020-11-20 广东工业大学 基于卷积神经网络思想的图像目标识别方法
CN112183253A (zh) * 2020-09-15 2021-01-05 北京大米科技有限公司 数据处理方法、装置、电子设备及计算机可读存储介质
CN113065988A (zh) * 2021-03-31 2021-07-02 北京有竹居网络技术有限公司 一种作业批改方法、***以及装置
CN113140210A (zh) * 2021-04-30 2021-07-20 武汉悦学帮网络技术有限公司 音频批改方法、装置、电子设备和存储介质
CN113140210B (zh) * 2021-04-30 2024-06-07 武汉悦学帮网络技术有限公司 音频批改方法、装置、电子设备和存储介质
CN113793112A (zh) * 2021-07-29 2021-12-14 深圳点猫科技有限公司 一种编程作业自动批改方法、***及介质
CN113469147B (zh) * 2021-09-02 2021-12-17 北京世纪好未来教育科技有限公司 答题卡识别方法、装置、电子设备以及存储介质
CN113469147A (zh) * 2021-09-02 2021-10-01 北京世纪好未来教育科技有限公司 答题卡识别方法、装置、电子设备以及存储介质
CN114662621A (zh) * 2022-05-24 2022-06-24 灵枭科技(武汉)有限公司 基于机器学习的农机作业面积计算方法及***

Also Published As

Publication number Publication date
CN110490180B (zh) 2022-06-17

Similar Documents

Publication Publication Date Title
CN110490180A (zh) 基于图像识别的作业批改方法、装置、存储介质及服务器
CN108171297B (zh) 一种答题卡识别方法
CN109815932B (zh) 一种试卷批改方法、装置、电子设备及存储介质
US20220067416A1 (en) Method and device for generating collection of incorrectly-answered questions
US8494273B2 (en) Adaptive optical character recognition on a document with distorted characters
CN109634961B (zh) 一种试卷样本生成方法、装置、电子设备和存储介质
CN107798321A (zh) 一种试卷分析方法和计算设备
CN109242856A (zh) 一种纸质作业电子化批阅方法及装置
CN113223025B (zh) 图像处理方法及装置、神经网络的训练方法及装置
CN110046622B (zh) 一种有目标的攻击样本生成方法、装置、设备及存储介质
CN109784342A (zh) 一种基于深度学习模型的ocr识别方法及终端
WO2021232670A1 (zh) 一种pcb元件识别方法及装置
CN113011144A (zh) 表单信息的获取方法、装置和服务器
CN112052845A (zh) 图像识别方法、装置、设备及存储介质
CN110210309A (zh) 错题识别方法、***、可读存储介质及设备
CN112446259A (zh) 图像处理方法、装置、终端和计算机可读存储介质
CN109741273A (zh) 一种手机拍照低质图像的自动处理与评分方法
CN113762274B (zh) 一种答题卡目标区域检测方法、***、存储介质及设备
CN107220610A (zh) 一种应用于阅卷***的主观题分数识别方法
JPH06282686A (ja) 文字認識方法
CN114648771A (zh) 文字识别方法、电子设备和计算机可读存储介质
CN116030469A (zh) 一种处理方法、装置、设备和计算机可读存储介质
CN114332898A (zh) 连线试题的自动批改方法、装置及存储介质
CN107045635A (zh) 一种网上阅卷***的试卷图像分页分题处理方法
CN110751140A (zh) 字符批量识别方法、装置和计算机设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant