CN111626249B - 题目图像中几何图形的识别方法、装置和计算机存储介质 - Google Patents

题目图像中几何图形的识别方法、装置和计算机存储介质 Download PDF

Info

Publication number
CN111626249B
CN111626249B CN202010486507.8A CN202010486507A CN111626249B CN 111626249 B CN111626249 B CN 111626249B CN 202010486507 A CN202010486507 A CN 202010486507A CN 111626249 B CN111626249 B CN 111626249B
Authority
CN
China
Prior art keywords
image
candidate block
detection
block
geometric
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010486507.8A
Other languages
English (en)
Other versions
CN111626249A (zh
Inventor
兴百桥
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Yizhen Xuesi Education Technology Co Ltd
Original Assignee
Beijing Yizhen Xuesi Education Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Yizhen Xuesi Education Technology Co Ltd filed Critical Beijing Yizhen Xuesi Education Technology Co Ltd
Priority to CN202010486507.8A priority Critical patent/CN111626249B/zh
Publication of CN111626249A publication Critical patent/CN111626249A/zh
Application granted granted Critical
Publication of CN111626249B publication Critical patent/CN111626249B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/40—Document-oriented image-based pattern recognition
    • G06V30/41—Analysis of document content
    • G06V30/413—Classification of content, e.g. text, photographs or tables
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明实施例提供一种题目图像中几何图形的识别方法、装置和计算机存储介质，方法包括：利用目标检测网络对题目图像进行检测，确定几何图形的第一候选区块，并获得标识出第一候选区块的第一检测图像；以及对题目图像进行连通域检测，确定几何图形的第二候选区块，并获得标识出第二候选区块的第二检测图像；对第一检测图像和第二检测图像进行融合处理，获得区块融合图像；对区块融合图像进行识别，获得包括几何图形的识别图像。根据本发明的实施例，可避免使用单一的几何图形检测方法造成题目图像中的几何图形被漏检测的情况，提高题目图像中几何图形识别的全面性和准确性。

Description

题目图像中几何图形的识别方法、装置和计算机存储介质
技术领域
本发明实施例涉及图像处理技术领域，尤其涉及一种题目图像中几何图形的识别方法、装置和计算机存储介质。
背景技术
在作业批改***和录题***中，有很多需要检测和识别出题目图像中的几何图形的场景。例如，在作业批改***中，老师会布置画图的题目，学生将画好的图形，以图像的格式上传到作业批改***。在批改时需要将学生画的图形，从上传图像中检测和识别出来，以判断学生画的图形是否正确。在录题***中，对于几何题目除了录入题目文字，同时需要将题目中的几何图形检测出来同时录入。而这些几何图形的批改和录入等均需要相关老师参与，加重了老师的工作量。
因此，为了减轻老师的工作量，提高作业批改***和录题***的工作效率，采用图像识别方法自动识别图像中的几何图形。但是，题目图像不同于其他场景图像，题目图像中存在印刷文本图形、手写文本图形和印刷手写混合文本图形等干扰图形，使得图像场景比较复杂。所以在利用几何图形的检测和识别图形中的几何图形时，容易出现漏检的情况，降低了几何图形识别的准确率。
发明内容
有鉴于此，本发明实施例所解决的技术问题之一在于提供一种题目图像中几何图形的识别方法、装置和计算机存储介质，以解决几何图形识别的准确率的问题。
根据本发明实施例的第一方面，提供了一种题目图像中几何图形的识别方法，包括：利用目标检测网络对题目图像进行检测，确定几何图形的第一候选区块，并获得标识出第一候选区块的第一检测图像；以及对题目图像进行连通域检测，确定几何图形的第二候选区块，并获得标识出第二候选区块的第二检测图像；对第一检测图像和第二检测图像进行融合处理，获得区块融合图像；对区块融合图像进行识别，获得包括几何图形的识别图像。
可选地，在本发明一具体实施例中，利用目标检测网络对题目图像进行检测，确定几何图形的第一候选区块，并获得标识出第一候选区块的第一检测图像；以及对题目图像进行连通域检测，确定几何图形的第二候选区块，并获得标识出第二候选区块的第二检测图像包括：对题目图像进行预处理，获得预处理图像；利用目标检测网络对预处理图像进行检测，确定几何图形的第一候选区块，并获得第一检测图像；以及对预处理图像进行连通域检测，确定几何图形的第二候选区块，并获得第二检测图像。
可选地，在本发明一具体实施例中，对题目图像进行预处理，获得预处理图像包括：对题目图像进行图像灰度化处理，获得灰度图像；对灰度图像进行直方图均衡化处理，获得预处理图像。
可选地，在本发明一具体实施例中，利用目标检测网络对题目图像进行检测，确定几何图形的第一候选区块，并获得标识出第一候选区块的第一检测图像包括：对题目图像进行标准化处理，获得满足目标检测网络检测条件的标准检测图像；利用目标检测网络对标准检测图像进行检测，确定几何图形在标准检测图像中的第一候选区块，并获得第一检测图像。
可选地，在本发明一具体实施例中，对题目图像进行连通域检测，确定几何图形的第二候选区块，并获得标识出第二候选区块的第二检测图像包括：对题目图像进行二值化处理，获得二值化图像；对二值化图像进行连通域检测，确定二值化图像中的至少一连通区块；将至少一连通区块进行合并，获得至少一合并区块；从至少一合并区块中筛选出第二候选区块，并获得第二检测图像。
可选地，在本发明一具体实施例中，从合并区块中筛选出第二候选区块：从至少一合并区块中，去除长宽同时小于5倍平均长宽的合并区块，以及面积小于平均面积8倍的合并区块，得到第二候选区块。
可选地，在本发明一具体实施例中，对第一检测图像和第二检测图像进行融合处理，获得区块融合图像包括：确定第一候选区块与第二候选区块之间的交并比；当第一候选区块与第二候选区块的交并比大于或等于预设值时，删除第二候选区块，并将题目图像中与第一候选区块对应的部分截取出，获得区块融合图像；当第一候选区块与第二候选区块的交并比小于预设值时，将题目图像中与第一候选区块和第二候选区块对应的部分截取出。
可选地，在本发明一具体实施例中，对区块融合图像进行识别，获得包括几何图形的识别图像包括：将区块融合图像缩放至预设尺寸，并进行灰度值归一化处理，获得满足目标识别网络的识别条件的标准识别图像；利用目标识别网络对标准识别图像进行几何图形识别，获得识别图像。
可选地，在本发明一具体实施例中，目标识别网络的输出层为
Figure BDA0002519415780000031
其中，X为目标识别网络中在输出层的上一层神经元的输出；W为输出层上一层神经元与输出层神经元之间的连接权重；SUM(W)为输出层上一层神经元与输出层神经元之间的连接权重之和；b为输出层神经元的偏置系数。
根据本发明实施例的第二方面，提供了一种计算机存储介质，计算机存储介质中存储有用于执行根据上述实施例中任一项题目图像中几何图形的识别方法的各步骤的指令。
根据本发明实施例的第三方面，提供了一种题目图像中几何图形的识别装置，装置包括：图像检测模块，用于利用目标检测网络对题目图像进行检测，确定几何图形的第一候选区块，并获得标识出第一候选区块的第一检测图像；以及对题目图像进行连通域检测，确定几何图形的第二候选区块，并获得标识出第二候选区块的第二检测图像；图像融合模块，用于对第一检测图像和第二检测图像进行融合处理，获得区块融合图像；图像识别模块，用于对区块融合图像进行识别，获得包括几何图形的识别图像。
由以上技术方案可见，由于题目图像中可能会包括手写内容和/或印刷内容，单一的几何图形检测方法可能只会对手写内容和印刷内容中一种的识别成功率较高，本发明实施例中通过深度学习网络确定第一检测图像中的第一候选区块，通过连通域检测获得第二检测图像中的第二候选区块，对第一检测图像和第二检测图像进行融合获得区块融合图像，从而对区块融合图像进行识别获得包括几何图形的识别图像。因此根据本发明的实施例，可避免使用单一的几何图形检测方法造成题目图像中的几何图形被漏检测的情况，提高题目图像中几何图形识别的全面性和准确性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明实施例中记载的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的附图。
图1示出了本发明的实施例一的题目图像中几何图形的识别方法流程图；
图2示出了本发明的实施例二的题目图像中几何图形的识别方法流程图；
图3示出了本发明的实施例二的目标识别网络中输出层网络连接示意图；
图4示出了本发明的实施例四的题目图像中几何图形的识别装置的结构示意图。
具体实施方式
为了使本领域的人员更好地理解本发明实施例中的技术方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明实施例一部分实施例，而不是全部的实施例。基于本发明实施例中的实施例，本领域普通技术人员所获取的所有其他实施例，都应当属于本发明实施例保护的范围。
下面结合本发明实施例附图进一步说明本发明实施例具体实现。
实施例一
图1示出了本发明的实施例一的题目图像中几何图形的识别方法流程图。如图1所示，本发明的实施例一的题目图像中几何图形的识别方法包括以下步骤：
步骤S101、利用目标检测网络对题目图像进行检测，确定几何图形的第一候选区块，并获得标识出第一候选区块的第一检测图像；以及对题目图像进行连通域检测，确定几何图形的第二候选区块，并获得标识出第二候选区块的第二检测图像。
本实施例中，题目图像是对试题进行图像采集获得的图像，题目图像的采集方式不限。题目图像中可包括一个或者多个试题，其中试题内容可以包括文字内容和几何图形内容；且试题内容可以包括手写内容，也可以包括印刷内容，或者同时包括手写内容和印刷内容。
本实施例中，目标检测网络为深度学习网络，该网络至少可用于识别出图像中所包括的几何图形。其中，目标检测网络的种类不限，可根据实际应用需求进行选用。例如，目标检测网络可以从SSD网络、YOLO V3网络、Faster R-CNN网络等深度学习网络中进行选取。
利用目标检测网络对题目图像进行检测后，可识别出题目图像中所包括的全部或者部分几何图形，从而可将所识别出的几何图形所在区域确定为第一候选区块，并在形成的第一检测图像中标识出第一候选区块。
可选地，目标检测网络优选为SSD网络。SSD网络的全称为Single Shot MultiBoxDetector，是Wei Liu在ECCV 2016上提出的一种目标检测算法，具有运行速度快，检测精度高的优点，因此将SSD网络确定为目标检测网络可提高几何图形的识别效率和精度。
本实施例中，连通域是图像中具有相同像素值且位置相邻的前景像素点组成的图像域。对题目图像进行连通域检测后，可识别出题目图像中所包括的全部或者部分几何图形，从而可将所识别出的几何图形所在区域确定为第二候选区块，并在形成的第二检测图像中标识出第二候选区块。
步骤S102、对第一检测图像和第二检测图像进行融合处理，获得区块融合图像。
本实施例中，由于仅通过单一的几何图形检测方法对题目图像进行检测，可能会出现几何图形被漏检测出的情况，因此为了提高几何图形的检测的全面性，可对第一检测图像和第二检测图像进行图像融合处理，以确定目标检测网络检测和连通域检测两种方式共同检测出的几何图形所在区域，并根据几何图形所在区域生成区块融合图像。
其中，区块融合图像的数量不限。例如，第一检测图像和第二检测图像进行融合处理后，若确定出的几何图形所在区域为两个不相连的区域，则可以生成两个区块融合图像。
可选地，可根据第一候选区块和第二候选区块的对应的位置信息和形状信息，对题目图像、第一检测图像、第二检测图像中的其一进行裁剪，在图像中裁剪掉第一候选区块和第二候选区块之外的部分，从而获得区块融合图像。
步骤S103、对区块融合图像进行识别，获得包括几何图形的识别图像。
本实施例中，图像识别是利用计算机对图像进行处理、分析和理解，以识别各种不同模式的目标和对象的技术。对区块融合图像进行图像识别可进一步确定区块融合图像中否包括几何图形，如果是，则可将区块融合图像直接确定为识别图像，或者可将区块融合图像进一步处理后生成识别图像。
其中，若对区块融合图像进一步处理的话，图像处理方式不限，可根据实际应用需求进行确定。例如，可将区块融合图像放大或者缩小至预定尺寸，或者将融合图像中的几何图形按照预定条件进行分类等。
由以上本发明实施例可见，由于题目图像中可能会包括手写内容和/或印刷内容，单一的几何图形检测方法可能只会对手写内容和印刷内容中一种的识别成功率较高，本发明实施例中通过深度学习网络确定第一检测图像中的第一候选区块，通过连通域检测获得第二检测图像中的第二候选区块，对第一检测图像和第二检测图像进行融合获得区块融合图像，从而对区块融合图像进行识别获得包括几何图形的识别图像。因此根据本发明的实施例，可避免使用单一的几何图形检测方法造成题目图像中的几何图形被漏检测的情况，提高题目图像中几何图形识别的全面性和准确性。
实施例二
图2示出了本发明的实施例二的题目图像中几何图形的识别方法流程图。如图2所示，本发明的实施例二的题目图像中几何图形的识别方法包括以下步骤：
步骤S201、利用目标检测网络对题目图像进行检测，确定几何图形的第一候选区块，并获得标识出第一候选区块的第一检测图像；以及对题目图像进行连通域检测，确定几何图形的第二候选区块，并获得标识出第二候选区块的第二检测图像。
本实施例中，由于通过图像采集直接获得的题目图像可能存在诸如亮度不高的缺陷，为了提高图像清晰度，便于进行后续的相关处理，步骤S201可包括：
子步骤S201a，对题目图像进行预处理，获得预处理图像。
子步骤S201b，利用目标检测网络对预处理图像进行检测，确定几何图形的第一候选区块，并获得标识出第一候选区块的第一检测图像；以及对预处理图像进行连通域检测，确定几何图形的第二候选区块，并获得标识出第二候选区块的第二检测图像。
其中，在子步骤S201a中对题目图像进行预处理的方式不限，可根据实际应用需求进行合理选择。例如，对题目图像进行预处理可包括灰度化处理、直方图均衡化处理、对比度拉伸处理、Gamma校正处理中的至少一种。
可选地，为获得较好的处理效果并且减少数据处理量，子步骤S201a还进一步包括下述子步骤：
子步骤A1，对题目图像进行图像灰度化处理，获得灰度图像。
其中，当题目图像为彩色图像时，可将题目图像进行灰度化处理，对灰度图像进行后续处理可减少数据处理量。对题目图像进行图像灰度化处理的方式不限，例如，对题目图像进行图像灰度化处理的方法可以包括分量法、最大值法，平均值法、加权平均法中的一种。
子步骤A2，对灰度图像进行直方图均衡化处理，获得预处理图像。
其中，直方图均衡化处理是通过拉伸像素强度分布范围来增强图像对比度，因此对灰度图像进行直方图均衡化处理，可以将灰度图像的图像素灰度值分布变成近似均匀分布，从而获得对比度更好的预处理图像。
本实施例中，由于不同的深度学习网络对进行检测的图像要求会有所不同，因此在利用目标检测网络对标准检测图像进行检测之前，需要对题目图像进行标准化处理，获得满足目标检测网络检测条件的标准检测图像，即将题目图像调整为与训练目标检测网络时用的训练图像一致。对应的，步骤S201可包括：
子步骤S201c，对题目图像进行标准化处理，获得满足目标检测网络检测条件的标准检测图像。
其中，若已执行了子步骤S201a的话，对应的，子步骤S201c为：对预处理图像进行标准化处理，获得满足目标检测网络检测条件的标准检测图像。
可选地，对题目图像进行标准化处理可包括：将题目图像缩放至预设尺寸，和/或对题目图像的灰度值进行归一化处理。例如，对题目图像进行标准化处理时，可以将题目图像缩放至300*300像素、512*512像素等。
子步骤S201d，利用目标检测网络对标准检测图像进行检测，确定几何图形在标准检测图像中的第一候选区块，并获得标识出第一候选区块的第一检测图像。
其中，利用目标检测网络对标准检测图像进行检测后，可识别出标准检测图像中所包括的全部或者部分几何图形，将所识别出的几何图形所在区域确定为第一候选区块，并在形成的第一检测图像中标识出第一候选区块。
本实施例中，若题目图像的颜色或者亮度值较多的话，很可能会影响连通域检测的检测效果，因此为了提高连通域检测的效果，可在进行连通域检测之前对题目图像进行二值化处理，对应的，步骤S201还可包括：
子步骤S201e，对题目图像进行二值化处理，获得二值化图像。
其中，若已执行了子步骤S201a的话，对应的，子步骤S201e为：对预处理图像进行二值化处理，获得二值化图像。
其中，二值化图像的像素点矩阵中的每个像素点的灰度值为0(黑色)或者255(白色)，对题目图像进行二值化处理可使得处理后获得的二值化图像呈现只有黑和白的效果。
可选地，可利用最大类间方差法对题目图像进行二值化处理，以获得二值化图像。其中，最大类间方差法(简称Otsu)是一种自适合于双峰情况的自动求取阈值的方法。其根据图像的灰度特性，将图像分成背景和目标两部分。背景和目标之间的类间方差越大，说明构成图像的两部分的差别越大，当部分目标错分为背景或部分背景错分为目标都会导致两部分差别变小。因此，将题目图像中的几何图形作为目标，利用最大类间方差法对题目图像进行二值化处理，选取背景和几何图形之间的类间方差最大的情况，可使几何图形和背景的错分概率最小，获得更好的处理效果。
子步骤S201f，对二值化图像进行连通域检测，确定二值化图像中的至少一连通区块。
其中，连通区块是二值化图像中具有相同像素值且位置相邻的前景像素点组成的图像域。
子步骤S201g，将至少一连通区块进行合并，获得至少一合并区块。
其中，若连通区块之间有交叠关系或有包含关系，则表明连通区块在题目图像中对应的区域中包括的内容具有一定关联性，例如是一段文字或者是一个几何图形，因此可将有交叠关系或有包含关系的连通区块进行合并，获得合并区块。
子步骤S201h，从至少一合并区块中筛选出第二候选区块，并获得第二检测图像。
其中，由于在题目图像中与合并区块对应的区域中可能包括文字内容、几何图形内容或者无内容，因此需要根据预设规则对合并区块进行筛选，以筛选出包括几何图形的合并区块，即第二候选区块。
可选地，考虑到通常几何图形在题目图像中所占据的区域较文字内容所占据的区域相对较大，可根据面积大小对合并区块进行筛选，以确定第二候选区块。
可选地，基于对大量题目图像的分析，为更为准确地确定出第二候选区块，子步骤S201h可包括：从至少一合并区块中，去除长宽同时小于5倍平均长宽的合并区块，以及面积小于平均面积8倍的合并区块，得到第二候选区块。
步骤S202、对第一检测图像和第二检测图像进行融合处理，获得区块融合图像。
本实施例中，为了提高几何图形识别的准确性，以减少后续图像识别的处理量，步骤S202可包括下述步骤：
子步骤S202a，确定第一候选区块与第二候选区块之间的交并比。
其中，第一候选区块与第二候选区块之间的交并比(Intersection-over-Union，IoU)为第一候选区块与第二候选区块交集区域面积与并集区域面积之间的比值。交并比的取值范围为0到1，当交并比为1时，表明第一候选区块与第二候选区块重合，即目标检测网络检测和连通域检测的两种方式均检测出题目图像在该区域中包括几何图形；当交并比为0时，表明第一候选区块与第二候选区块没有交叠，即目标检测网络检测和连通域检测的两种方式对题目图像在第一候选区块和第二候选区块对应的区域中是否包括几何图形的检测结果完全不同。
由于第一候选区块和第二候选区块的数量根据目标检测网络检测和连通域检测的两种方式的检测结果所确定，可能是0个或者多个，因此在子步骤S202a中需要计算全部第一候选区块和全部第二候选区块之间的交并比。
子步骤S202b，当第一候选区块与第二候选区块的交并比大于或等于预设值时，删除第二候选区块，并将题目图像中与第一候选区块对应的部分截取出，获得区块融合图像；当第一候选区块与第二候选区块的交并比小于预设值时，将题目图像中与第一候选区块和第二候选区块对应的部分截取出。
其中，由于目标检测网络为深度学习网络，检测错误的概率通常小于连通域检测错误的概率，因此当第一候选区块与第二候选区块的交并比大于或等于预设值时，可认为目标检测网络检测和连通域检测的两种方式在第一候选区块所在区域或附近区域均检测出了几何图形，可仅保留第一候选区块，并删除第二候选区块，以将题目图像中第一候选区块所在区域对应的部分图像提取出来，获得区块融合图像。其中，题目图像中与第一候选区块对应的部分是与第一候选区块位置和形状均相同的部分。
当第一候选区块与第二候选区块的交并比小于预设值时，则表明目标检测网络检测和连通域检测的两种方式对第一候选区块和第二候选区块中是否包括几何图形的检测结果有一定差别，因此为了尽可能全面的检测出几何图形，当第一候选区块与第二候选区块的交并比小于预设值时，可同时保留第一候选区块和第二候选区块，以将题目图像中第一候选区块和第二候选区块所在区域对应的部分提取出来，获得区块融合图像。其中，题目图像中与第二候选区块对应的部分是与第二候选区块位置和形状均相同的部分。
可选地，为降低几何图形漏检的概率，同时保证几何图形的识别准确性，可优选预设值为三分之一。
步骤S203、对区块融合图像进行识别，获得包括几何图形的识别图像。
本实施例中，由于不同几何图形的尺寸会有所不同，使得前述步骤中获得的区块融合图像的尺寸也会不同，为了使用目标识别网络对区块融合图像是否包括几何图形进行进一步识别确认，并提高对几何图形识别的准确率，需要对融合图像进行相应的处理。对应的，步骤S203可包括下述子步骤：
子步骤S203a，将区块融合图像缩放至预设尺寸，并进行灰度值归一化处理，获得满足目标识别网络的识别条件的标准识别图像。
其中，预设尺寸可根据所选用的目标识别网络的识别条件进行设置。例如，可将区块融合图像缩放至64*64像素、128*128像素、224*224像素等。
此外，为了避免图像对比度不足为图像识别处理带来干扰，可进一步对区块融合图像进行灰度归一化处理，从而获得满足目标识别网络的识别条件的标准识别图像。其中，灰度归一化处理的具体方式不限，例如可以为均值方差归一化处理，或者灰度变换归一化处理。
子步骤S203b，利用目标识别网络对标准识别图像进行几何图形识别，获得识别图像。
其中，目标识别网络至少可用于确定标准识别图像是否包括几何图形。利用目标识别网络对标准识别图像进行几何图形识别，从而可确定包括几何图形的标准识别图像，如果标准识别图像中包括几何图形，则可将区块融合图像直接确定为识别图像，或者可将区块融合图像进一步处理后生成识别图像。
可选地，为了提高识别的准确性，目标识别网络也可以为深度学习网络。目标识别网络的种类不限，可根据实际应用需求进行选择。例如，目标识别网络可以从VGG16网络、Inception V4网络、Resnet网络等深度学习网络中进行选择。
可选地，目标识别网络优选为VGG16网络。VGG16网络是一种拥有16个层的卷积深度学习网络，其具有简洁性和实用性，在图像分类和目标检测任务中都表现出非常好的结果。因此将VGG16网络确定为目标识别网络可提高几何图形的识别准确率。
可选地，当目标识别网络为深度学习网络时，输出层的每一个神经元与输出层的上一层的每一个神经元相连，目标识别网络输出层的输出可用于确定标准识别图像中是否包括几何图形。为了提高目标识别网络识别几何图形的准确率，可综合考虑输出层与输出层上一层的神经元之间全部的连接权重，即可将输出层的神经元的输出计算方法由常规的“Y＝f(W*X+b)”调整为：
Figure BDA0002519415780000131
其中，Y为输出层神经元的输出；X为目标识别网络中在输出层的上一层神经元的输出；W为输出层上一层神经元与输出层神经元之间的连接权重；SUM(W)为输出层上一层神经元与输出层神经元之间的连接权重之和；b为输出层神经元的偏置系数。
例如，如图3所示目标识别网络中输出层与上一层网络的连接关系，输出层可包括第一神经元y1和第二神经元y2，输出层的上一层包括第三神经元x1和第四神经元x2。
按照常规的计算方法，输出层的第一神经元y1的输出计算公式为：
y1＝f(w11*x1+w21*x2+b1)
输出层的第二神经元y2的输出计算公式为：
y2＝f(w12*x1+w22*x2+b2)
根据本实施例中调整后的计算方法，在目标识别网络中，输出层的第一神经元y1的输出计算公式为：
y1＝f(w11/(sum(w11,w12)-w11)*x1+w21/(sum(w21,w22)-w21)*x2+b1)
输出层的第二神经元y2的输出计算公式为：
y2＝f(w12/(sum(w11,w12)-w12)*x1+w22/(sum(w21,w22)-w22)*x2+b2)
其中，w11为第三神经元与第一神经元之间的连接权重；w12为第三神经元与第二神经元之间的连接权重；w21为第四神经元与第一神经元之间的连接权重；w22为第四神经元与第二神经元之间的连接权重；b1为第一神经元的偏置系数；b2为第二神经元的偏置系数。
可选地，目标识别网络还可根据识别结果，将标准识别图像进行分类。例如，可根据标准识别图像中所包括的图像种类，将标准图像区分为几何图形、其他图形、无效图形等类别，其中几何图形可以包括三角形、矩形、平行四边形、梯形、圆形等，其他图形可以包括表格、坐标系、立体几何等。
由以上本发明实施例可见，本实施例通过对题目图像进行预处理，获得清晰度更高的预处理图像，后续对预处理图像进行相关处理，可以提高几何图形的识别全面性和准确性；通过将题目图像处理成二值化图像后，再进行连通域检测，可提高第二候选区块识别的准确性；通过计算第一候选区块与第二候选区块之间的交并比，再根据该交并比获得区块融合图像，可减少后续对融合图像识别的处理量；通过选用可进行深度学习的目标识别网络，可以提高对融合图像中是否包括几何图形识别的准确率。
实施例三
本发明的实施例三提供一种计算机存储介质，于计算机存储介质中存储有用于上述实施例一或实施例二中的题目图像中几何图形的识别方法的各步骤的指令，并具有相应的方法步骤实施例的有益效果，在此不再赘述。
实施例四
请参阅图4，本发明的实施例四提供一种题目图像中几何图形的识别装置，如图4所示，题目图像中几何图形的识别装置包括图像检测模块401、图像融合模块402、图像识别模块403，其中：
图像检测模块401，用于利用目标检测网络对题目图像进行检测，确定几何图形的第一候选区块，并获得标识出第一候选区块的第一检测图像；以及对题目图像进行连通域检测，确定几何图形的第二候选区块，并获得标识出第二候选区块的第二检测图像。
图像融合模块402，用于对第一检测图像和第二检测图像进行融合处理，获得区块融合图像。
图像识别模块403，用于对区块融合图像进行识别，获得包括几何图形的识别图像。
可选地，图像检测模块401还用于对题目图像进行预处理，获得预处理图像。利用目标检测网络对预处理图像进行检测，确定几何图形的第一候选区块，并获得第一检测图像；以及对预处理图像进行连通域检测，确定几何图形的第二候选区块，并获得第二检测图像。
可选地，对题目图像进行预处理，获得预处理图像包括：对题目图像进行图像灰度化处理，获得灰度图像。对灰度图像进行直方图均衡化处理，获得预处理图像。
可选地，图像检测模块401还用于对题目图像进行标准化处理，获得满足目标检测网络检测条件的标准检测图像。利用目标检测网络对标准检测图像进行检测，确定几何图形在标准检测图像中的第一候选区块，并获得第一检测图像。
可选地，图像检测模块401还用于：对题目图像进行二值化处理，获得二值化图像。对二值化图像进行连通域检测，确定二值化图像中的至少一连通区块。将至少一连通区块进行合并，获得至少一合并区块。从至少一合并区块中筛选出第二候选区块，并获得第二检测图像。
其中，从合并区块中筛选出第二候选区块，并获得第二检测图像包括：从至少一合并区块中，去除长宽同时小于5倍平均长宽的合并区块，以及面积小于平均面积8倍的合并区块，得到第二候选区块。
可选地，图像识别模块403还用于确定第一候选区块与第二候选区块之间的交并比。当第一候选区块与第二候选区块的交并比大于或等于预设值时，删除第二候选区块，并将题目图像中与第一候选区块对应的部分截取出，获得区块融合图像；
当第一候选区块与第二候选区块的交并比小于预设值时，将题目图像中与第一候选区块和第二候选区块对应的部分截取出。
可选地，图像识别模块403还用于将区块融合图像缩放至预设尺寸，并进行灰度值归一化处理，获得满足目标识别网络的识别条件的标准识别图像。利用目标识别网络对标准识别图像进行几何图形识别，获得识别图像。
可选地，目标识别网络的输出层为
Figure BDA0002519415780000161
其中，X为目标识别网络中在输出层的上一层神经元的输出；W为输出层上一层神经元与输出层神经元之间的连接权重；SUM(W)为输出层上一层神经元与输出层神经元之间的连接权重之和；b为输出层神经元的偏置系数。
本实施例的题目图像中几何图形的识别装置还可用于实现前述实施例一或实施例二的题目图像中几何图形的识别方法中的其他步骤，并具有相应的方法步骤实施例的有益效果，在此不再赘述。
需要指出，根据实施的需要，可将本发明实施例中描述的各个部件/步骤拆分为更多部件/步骤，也可将两个或多个部件/步骤或者部件/步骤的部分操作组合成新的部件/步骤，以实现本发明实施例的目的。
上述根据本发明实施例的方法可在硬件、固件中实现，或者被实现为可存储在记录介质(诸如CD ROM、RAM、软盘、硬盘或磁光盘)中的软件或计算机代码，或者被实现通过网络下载的原始存储在远程记录介质或非暂时机器可读介质中并将被存储在本地记录介质中的计算机代码，从而在此描述的方法可被存储在使用通用计算机、专用处理器或者可编程或专用硬件(诸如ASIC或FPGA)的记录介质上的这样的软件处理。可以理解，计算机、处理器、微处理器控制器或可编程硬件包括可存储或接收软件或计算机代码的存储组件(例如，RAM、ROM、闪存等)，当所述软件或计算机代码被计算机、处理器或硬件访问且执行时，实现在此描述的教师风格的确定方法。此外，当通用计算机访问用于实现在此示出的教师风格的确定方法的代码时，代码的执行将通用计算机转换为用于执行在此示出的教师风格的确定方法的专用计算机。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及方法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明实施例的范围。
以上实施方式仅用于说明本发明实施例，而并非对本发明实施例的限制，有关技术领域的普通技术人员，在不脱离本发明实施例的精神和范围的情况下，还可以做出各种变化和变型，因此所有等同的技术方案也属于本发明实施例的范畴，本发明实施例的专利保护范围应由权利要求限定。

Claims (10)

1.一种题目图像中几何图形的识别方法，其特征在于，所述方法包括：
利用目标检测网络对题目图像进行检测，确定几何图形的第一候选区块，并获得标识出所述第一候选区块的第一检测图像；以及对所述题目图像进行连通域检测，确定所述几何图形的第二候选区块，并获得标识出所述第二候选区块的第二检测图像；
对所述第一检测图像和所述第二检测图像进行融合处理，获得区块融合图像；
对所述区块融合图像进行识别，获得包括所述几何图形的识别图像；
所述对所述第一检测图像和所述第二检测图像进行融合处理，获得区块融合图像包括：确定所述第一候选区块与所述第二候选区块之间的交并比；当所述第一候选区块与所述第二候选区块的交并比大于或等于预设值时，删除所述第二候选区块，并将所述题目图像中与所述第一候选区块对应的部分截取出，获得所述区块融合图像；当所述第一候选区块与所述第二候选区块的交并比小于所述预设值时，将所述题目图像中与所述第一候选区块和所述第二候选区块对应的部分截取出。
2.根据权利要求1所述的方法，其特征在于，所述利用目标检测网络对题目图像进行检测，确定几何图形的第一候选区块，并获得标识出所述第一候选区块的第一检测图像；以及对所述题目图像进行连通域检测，确定所述几何图形的第二候选区块，并获得标识出所述第二候选区块的第二检测图像包括：
对所述题目图像进行预处理，获得预处理图像；
利用目标检测网络对所述预处理图像进行检测，确定几何图形的第一候选区块，并获得所述第一检测图像；以及对所述预处理图像进行连通域检测，确定所述几何图形的第二候选区块，并获得所述第二检测图像。
3.根据权利要求2所述的方法，其特征在于，所述对所述题目图像进行预处理，获得预处理图像包括：
对所述题目图像进行图像灰度化处理，获得灰度图像；
对所述灰度图像进行直方图均衡化处理，获得所述预处理图像。
4.根据权利要求1所述的方法，其特征在于，所述利用目标检测网络对题目图像进行检测，确定几何图形的第一候选区块，并获得标识出所述第一候选区块的第一检测图像包括：
对所述题目图像进行标准化处理，获得满足所述目标检测网络检测条件的标准检测图像；
利用目标检测网络对所述标准检测图像进行检测，确定所述几何图形在所述标准检测图像中的所述第一候选区块，并获得所述第一检测图像。
5.根据权利要求1所述的方法，其特征在于，所述对所述题目图像进行连通域检测，确定所述几何图形的第二候选区块，并获得标识出所述第二候选区块的第二检测图像包括：
对所述题目图像进行二值化处理，获得二值化图像；
对所述二值化图像进行连通域检测，确定所述二值化图像中的至少一连通区块；
将所述至少一连通区块进行合并，获得至少一合并区块；
从所述至少一合并区块中筛选出所述第二候选区块，并获得所述第二检测图像。
6.根据权利要求5所述的方法，其特征在于，所述从所述至少一合并区块中筛选出所述第二候选区块包括：
从所述至少一合并区块中，去除长宽同时小于5倍平均长宽的所述合并区块，以及面积小于平均面积8倍的所述合并区块，得到所述第二候选区块。
7.根据权利要求1所述的方法，其特征在于，所述对所述区块融合图像进行识别，获得包括所述几何图形的识别图像包括：
将所述区块融合图像缩放至预设尺寸，并进行灰度值归一化处理，获得满足目标识别网络的识别条件的标准识别图像；
利用所述目标识别网络对所述标准识别图像进行几何图形识别，获得所述识别图像。
8.根据权利要求7所述的方法，其特征在于，所述目标识别网络的输出层为
Figure FDA0003557896490000031
其中，X为所述目标识别网络中在输出层的上一层神经元的输出；W为所述输出层上一层神经元与所述输出层神经元之间的连接权重；SUM(W)为所述输出层上一层神经元与所述输出层神经元之间的连接权重之和；b为所述输出层神经元的偏置系数。
9.一种计算机存储介质，其特征在于，所述计算机存储介质中存储有用于执行根据权利要求1至8中任一项所述题目图像中几何图形的识别方法的各所述步骤的指令。
10.一种题目图像中几何图形的识别装置，其特征在于，所述装置包括：
图像检测模块，用于利用目标检测网络对题目图像进行检测，确定几何图形的第一候选区块，并获得标识出所述第一候选区块的第一检测图像；以及对所述题目图像进行连通域检测，确定所述几何图形的第二候选区块，并获得标识出所述第二候选区块的第二检测图像；
图像融合模块，用于对所述第一检测图像和所述第二检测图像进行融合处理，获得区块融合图像，其中，所述对所述第一检测图像和所述第二检测图像进行融合处理，获得区块融合图像包括：确定所述第一候选区块与所述第二候选区块之间的交并比；当所述第一候选区块与所述第二候选区块的交并比大于或等于预设值时，删除所述第二候选区块，并将所述题目图像中与所述第一候选区块对应的部分截取出，获得所述区块融合图像；当所述第一候选区块与所述第二候选区块的交并比小于所述预设值时，将所述题目图像中与所述第一候选区块和所述第二候选区块对应的部分截取出；
图像识别模块，用于对所述区块融合图像进行识别，获得包括所述几何图形的识别图像。
CN202010486507.8A 2020-06-01 2020-06-01 题目图像中几何图形的识别方法、装置和计算机存储介质 Active CN111626249B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010486507.8A CN111626249B (zh) 2020-06-01 2020-06-01 题目图像中几何图形的识别方法、装置和计算机存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010486507.8A CN111626249B (zh) 2020-06-01 2020-06-01 题目图像中几何图形的识别方法、装置和计算机存储介质

Publications (2)

Publication Number Publication Date
CN111626249A CN111626249A (zh) 2020-09-04
CN111626249B true CN111626249B (zh) 2022-05-13

Family

ID=72272019

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010486507.8A Active CN111626249B (zh) 2020-06-01 2020-06-01 题目图像中几何图形的识别方法、装置和计算机存储介质

Country Status (1)

Country Link
CN (1) CN111626249B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112308946B (zh) * 2020-11-09 2023-08-18 电子科技大学中山学院 题目生成方法、装置、电子设备及可读存储介质
CN112200167B (zh) * 2020-12-07 2021-03-09 北京易真学思教育科技有限公司 图像识别方法、装置、设备及存储介质
CN112883795B (zh) * 2021-01-19 2023-01-31 贵州电网有限责任公司 一种基于深度神经网络的表格快速自动提取方法
CN114627730A (zh) * 2022-03-31 2022-06-14 北京科技大学 一种盲文电子书

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105096347B (zh) * 2014-04-24 2017-09-08 富士通株式会社 图像处理装置和方法
CN108108761B (zh) * 2017-12-21 2020-05-01 西北工业大学 一种基于深度特征学习的快速交通信号灯检测方法
CN109753962B (zh) * 2019-01-13 2023-06-09 南京邮电大学盐城大数据研究院有限公司 基于混合网络的自然场景图像中文本区域的处理方法

Also Published As

Publication number Publication date
CN111626249A (zh) 2020-09-04

Similar Documents

Publication Publication Date Title
CN111626249B (zh) 题目图像中几何图形的识别方法、装置和计算机存储介质
CN107545239B (zh) 一种基于车牌识别与车辆特征匹配的套牌检测方法
CN111401372B (zh) 一种扫描文档图文信息提取与鉴别的方法
CN110232713B (zh) 一种图像目标定位修正方法及相关设备
CN108596166A (zh) 一种基于卷积神经网络分类的集装箱箱号识别方法
CN110517246B (zh) 一种图像处理方法、装置、电子设备及存储介质
CN111680690B (zh) 一种文字识别方法及装置
CN112307919B (zh) 一种基于改进YOLOv3的单证图像中数字信息区域识别方法
CN111274957A (zh) 网页页面验证码识别方法、装置、终端和计算机存储介质
CN111737478B (zh) 文本检测方法、电子设备及计算机可读介质
CN110598566A (zh) 图像处理方法、装置、终端和计算机可读存储介质
CN114549993B (zh) 实验中线段图像的评分方法、***、设备及可读存储介质
CN111461100A (zh) 一种票据识别方法、装置、电子设备和存储介质
CN113688838B (zh) 红色笔迹提取方法、***、可读存储介质及计算机设备
CN112464925A (zh) 基于机器学习的移动端开户资料银行信息自动提取方法
CN112446259A (zh) 图像处理方法、装置、终端和计算机可读存储介质
CN113435407A (zh) 一种输电***的小目标识别方法及装置
CN113591746B (zh) 一种文档表格结构检测方法及装置
CN115880566A (zh) 一种基于视觉分析的智能阅卷***
CN111738979A (zh) 证件图像质量自动检查方法及***
CN111626145A (zh) 一种简捷有效的残缺表格识别及跨页拼接方法
CN114693917A (zh) 一种应用于招牌照识别的数据增强方法
CN110766001B (zh) 基于cnn和rnn的银行卡***定位与端到端识别方法
CN111008635A (zh) 一种基于ocr的多票据自动识别方法及识别***
CN114926829A (zh) 一种证件检测方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant