CN112101346A - 一种基于目标检测的验证码识别方法及装置 - Google Patents

一种基于目标检测的验证码识别方法及装置 Download PDF

Info

Publication number
CN112101346A
CN112101346A CN202010881077.XA CN202010881077A CN112101346A CN 112101346 A CN112101346 A CN 112101346A CN 202010881077 A CN202010881077 A CN 202010881077A CN 112101346 A CN112101346 A CN 112101346A
Authority
CN
China
Prior art keywords
verification code
prediction
characters
target detection
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010881077.XA
Other languages
English (en)
Inventor
方堉欣
王子宁
李青原
陈振煜
李爱民
刘思德
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Southern Hospital Southern Medical University
Original Assignee
Southern Hospital Southern Medical University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Southern Hospital Southern Medical University filed Critical Southern Hospital Southern Medical University
Priority to CN202010881077.XA priority Critical patent/CN112101346A/zh
Publication of CN112101346A publication Critical patent/CN112101346A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/635—Overlay text, e.g. embedded captions in a TV program
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明实施例提供一种基于目标检测的验证码识别方法及装置，该方法包括：将接收的验证码图片输入目标检测网络，输出数据包括与每个字符对应的至少一个预测结果，预测结果包括预测字符、预测字符的坐标信息及预测置信度信息；选取预测结果中预测置信度信息大于预设阈值的多个预测结果，并将多个预测结果中的预测字符按照坐标信息进行排序，从而得到验证码识别结果。本发明实施例提供的基于目标检测的验证码识别方法及装置，可以实现对验证码图片中的字符的顺序进行识别，可以区分验证码图片中的相同字符，并且识别过程不受到验证码长度的限制，验证码长度可以任意，由此，大大提高了验证码识别的精度和灵活性。

Description

一种基于目标检测的验证码识别方法及装置
技术领域
本发明涉及人工智能技术领域，具体涉及一种基于目标检测的验证码识别方法及装置。
背景技术
现有的验证码识别方法主要为通过人工标注制作训练集，然后利用分类网络进行分类识别。其中，在人工标注时标注好验证码中包含的字符、数字等，且每个训练样本图片中的字符的个数通常是相同的。
利用这种训练方法训练出的验证码识别模型的识别精度较低，表现在验证码字符顺序预测精度低、包含相同字符的验证码的预测精度低等，并且验证码长度不可任意设置，灵活性较差。
发明内容
为解决现有技术中的问题，本发明实施例提供一种基于目标检测的验证码识别方法及装置。
第一方面，本发明实施例提供一种基于目标检测的验证码识别方法，该方法包括：将接收的验证码图片输入到预先训练好的目标检测网络，所述目标检测网络的输出数据包括与所述验证码图片中的每个字符对应的至少一个预测结果，所述预测结果包括预测字符、所述预测字符的坐标信息及预测置信度信息；其中，所述目标检测网络是以验证码样本图片作为输入，以包含所述验证码样本图片中各个字符及各个字符的坐标信息的输出标签训练得到；选取所述预测结果中所述预测置信度信息大于预设阈值的多个预测结果，并将所述多个预测结果中的所述预测字符按照所述坐标信息进行排序，从而得到验证码识别结果。
进一步地，所述预测置信度信息包括位置置信度信息和类别置信度信息；其中，所述位置置信度信息用于反映所述坐标信息的置信程度，所述类别置信度信息用于反映所述预测字符的置信程度。
进一步地，所述坐标信息包括对应于每个所述预测字符的矩形边界的至少一个顶点坐标，并且每个所述预测字符的所述顶点坐标的类型一致。
进一步地，所述坐标信息包括所述矩形边界的两个相对顶点的坐标。
进一步地，所述方法还包括：生成所述验证码样本图片，并自动记录所述验证码样本图片中所述各个字符及所述各个字符的所述坐标信息，从而自动生成用于训练所述目标检测网络的训练样本集。
进一步地，所述目标检测网络包括yolov3网络。
进一步地，所述预设阈值为0.8。
第二方面，本发明实施例提供一种基于目标检测的验证码识别装置，该装置包括：预测结果输出模块，用于：将接收的验证码图片输入到预先训练好的目标检测网络，所述目标检测网络的输出数据包括与所述验证码图片中的每个字符对应的至少一个预测结果，所述预测结果包括预测字符、所述预测字符的坐标信息及预测置信度信息；其中，所述目标检测网络是以验证码样本图片作为输入，以包含所述验证码样本图片中各个字符及各个字符的坐标信息的输出标签训练得到；验证码识别模块，用于：选取所述预测结果中所述预测置信度信息大于预设阈值的多个预测结果，并将所述多个预测结果中的所述预测字符按照所述坐标信息进行排序，从而得到验证码识别结果。
第三方面，本发明实施例提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如第一方面所提供的方法的步骤。
第四方面，本发明实施例提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如第一方面所提供的方法的步骤。
本发明实施例提供的基于目标检测的验证码识别方法及装置，通过将验证码图片输入到目标检测网络，输出包含预测字符、预测字符的坐标信息及预测置信度信息的预测结果，将预测结果按照置信度信息排序，得到验证码识别结果，可以实现对验证码图片中的字符的顺序进行识别，可以区分验证码图片中的相同字符，并且识别过程不受到验证码长度的限制，验证码长度可以任意，由此，大大提高了验证码识别的精度和灵活性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明一实施例提供的基于目标检测的验证码识别方法流程图；
图2是本发明一实施例提供的基于目标检测的验证码识别装置的结构示意图；
图3示例了一种电子设备的实体结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整的描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
图1是本发明一实施例提供的基于目标检测的验证码识别方法流程图。如图1所示，所述方法包括：
步骤101、将接收的验证码图片输入到预先训练好的目标检测网络，所述目标检测网络的输出数据包括与所述验证码图片中的每个字符对应的至少一个预测结果，所述预测结果包括预测字符、所述预测字符的坐标信息及置信度信息；其中，所述目标检测网络是以验证码样本图片作为输入，以包含所述验证码样本图片中各个字符及各个字符的坐标信息的输出标签训练得到。
基于目标检测的验证码识别装置将接收的验证码图片输入到预先训练好的目标检测网络，目标检测网络可以识别图片中的字符及字符的位置信息，目标检测网络的输出数据包括与验证码图片中的每个字符对应的至少一个预测结果，也即对应于验证码图片中的每个字符，可能输出多个预测结果。预测结果包括预测字符(即对字符的具体内容进行预测)，预测字符的坐标信息以及预测置信度信息。所述预测置信度信息用于反映预测结果的置信程度，比如可以用一个分数进行表示。验证码图片及验证码样本图片中的字符可以为字母、数字、文字等。
其中，目标检测网络是预先训练好、用于进行验证码识别的网络。目标检测网络在训练时，以验证码样本图片作为输入、以包含验证码样本图片中各个字符及各个字符的坐标信息作为输出标签训练得到。
步骤102、选取所述预测结果中所述置信度信息大于预设阈值的多个预测结果，并将所述多个预测结果中的所述预测字符按照所述坐标信息进行排序，从而得到验证码识别结果。
置信度信息的数值大小反映预测结果的可信度，值越高表示预测结果越准确。在本发明实施例中，可以设定置信度信息的一个预设阈值，认为置信度信息大于这个预设阈值时，预测结果是准确可信的。由于对应于每个字符可能具有多个预测结果，这里通过预设阈值便可以实现在多个预测结果中进行筛选，从而获取到预测更为准确的结果。
对于每个字符对应的预测结果均根据预设阈值进行筛选，筛选预测结果中大于预设阈值的预测结果，这样保留下的每个字符的预测结果将是最为准确的。得到各个字符的预测结果中置信度信息大于预设阈值的多个预测结果后，将多个预测结果中的预测字符按照相应的坐标信息进行排序，从而将输入的验证码图片中不同位置的字符的预测字符按照坐标信息进行了排序，从而得到最终的验证码识别结果。
本发明实施例所提供的验证码识别方法，通过将验证码图片输入到目标检测网络，输出包含预测字符、预测字符的坐标信息及预测置信度信息的预测结果，将预测结果按照置信度信息排序，得到验证码识别结果，可以实现对验证码图片中的字符的顺序进行识别，可以区分验证码图片中的相同字符，并且识别过程不受到验证码长度的限制，验证码长度可以任意，由此，大大提高了验证码识别的精度和灵活性。
进一步地，基于上述实施例，所述预测置信度信息包括位置置信度信息和类别置信度信息；其中，所述位置置信度信息用于反映所述坐标信息的置信程度，所述类别置信度信息用于反映所述预测字符的置信程度。
目标检测网络输出的对应于验证码图片中每个字符的预测结果中的预测置信度信息包括位置置信度信息和类别置信度信息。其中，位置置信度信息用于反映预测结果中坐标信息的置信程度，类别置信度信息用于反映预测结果中预测字符的置信程度。
在选取预测结果中预测置信度信息大于预设阈值的多个预测结果时，可以选取位置置信度信息和类别置信度信息均大于设置的预设阈值的多个预测结果，并将多个预测结果中的预测字符按照坐标信息进行排序，从而得到验证码识别结果。
在上述实施例的基础上，本发明实施例通过在预测置信度信息包含用于反映坐标信息的置信程度的位置置信度信息以及用于反映预测字符的置信程度的类别置信度信息，进一步提高了预测精度。
进一步地，基于上述实施例，所述坐标信息包括对应于每个所述预测字符的矩形边界的至少一个顶点坐标，并且每个所述预测字符的所述顶点坐标的类型一致。
每个预测字符的位置可以用一个矩形边界进行表示。预测结果中的所述坐标信息包括对应于每个所述预测字符的矩形边界的至少一个顶点坐标。这个顶点坐标可以是左上坐标、右下坐标、左下坐标、右上坐标中的至少一个。为便于区分各个预测字符的位置关系，每个所述预测字符的所述顶点坐标的类型一致。比如，统一选为左上坐标。利用左上坐标进行位置区分可能更为符合平时的使用习惯。
需要注意的是，无论坐标信息选取哪种形式进行表示，需要满足利用这种表示形式可以有效区分各个预测字符的位置关系。
在上述实施例的基础上，本发明实施例通过利用预测字符的矩形边界的至少一个顶点坐标进行坐标信息表示，有利于区分预测字符的位置关系，进一步提高了预测精度。
进一步地，基于上述实施例，所述坐标信息包括所述矩形边界的两个相对顶点的坐标。
利用所述矩形边界的一个顶点位置可以实现预测字符的位置关系的辨别。但是，如果用矩形边界的两个相对顶点的坐标(如左上坐标和右下坐标)进行坐标信息的表示，可以实现字符大小不同时的字符位置确定，即通过矩形边界的两个相对顶点的坐标限定了预测字符的位置，有利于在输出识别的验证码识别结果时输出更加准确的结果。
在上述实施例的基础上，本发明实施例通过在坐标信息中包括矩形边界的两个相对顶点的坐标，进一步提高了预测精度。
进一步地，基于上述实施例，所述方法还包括：生成所述验证码样本图片，并自动记录所述验证码样本图片中所述各个字符及所述各个字符的所述坐标信息，从而自动生成用于训练所述目标检测网络的训练样本集。
为解决现有人工标注训练样本的弊端，本发明实施例通过自动化的方式生成用于训练所述目标检测网络的训练样本集。具体包括：生成所述验证码样本图片，并自动记录所述验证码样本图片中所述各个字符及所述各个字符的所述坐标信息，以验证码样本图片作为输入、以所述各个字符及所述各个字符的所述坐标信息作为输出进行目标检测网络的训练，从而自动生成用于训练所述目标检测网络的训练样本集。
其中，生成所述验证码样本图片的方法可以采用现有技术实现。以python pillow库为例，流程为依次创建画布、画笔、定义字体，首先随机产生验证码内容，将验证码内容画在画布上，并对所画内容进行随机变换，最后随机在画布上描画若干点线，产生最终验证码样本图片。对所画内容进行随机变换后进行信息提取可以获取验证码样本图片中的各个字符及各个字符的坐标信息。
在上述实施例的基础上，本发明实施例通过生成验证码样本图片，并自动记录验证码样本图片中各个字符及各个字符的坐标信息，从而自动生成用于训练目标检测网络的训练样本集，实现了自动产生训练数据集，提高了自动化程度，节省了人力成本。
进一步地，基于上述实施例，所述目标检测网络包括yolov3网络。
在上述实施例的基础上，本发明实施例通过利用yolov3网络进行目标检测，进一步提高了验证码识别的精度。
进一步地，基于上述实施例，所述预设阈值为0.8。
在上述实施例的基础上，本发明实施例中，通过设置预测置信度信息的预设阈值为0.8，将预测置信度信息大于0.8的预测结果中的预测字符按照坐标信息进行排序，从而得到验证码识别结果，进一步提高了验证码识别的精度。
下面再通过一具体实例进一步说明本发明实施例提供的基于目标检测的验证码识别方法的流程。
1、制作训练集。以产生字符为＇abcd＇的验证码为例，取＇a＇，＇b＇,＇c＇,＇d＇在验证码图中的左上右下坐标及字符本身组成了四条训练集数据，即＇a＇，(x1,y1)，(x2,y2)；＇b＇，(x1,y1)，(x2,y2)；＇c＇，(x1,y1)，(x2,y2)；＇d＇，(x1,y1)，(x2,y2)。
2、利用yolov3进行训练。
3、模型推理，每张验证码得到n条预测信息。信息内容包括：(x1,y1,x2,y2,conf,cls_conf,cls_pred)，其中(x1,y1),(x2,y2)分别为预测字符的左上、右下坐标，conf、cls_conf分别为位置置信度、类别置信度，cls_pred为预测的具体内容。
4、取conf、cls_conf均大于0.8的m条数据，按照x1值进行排序，将m个pred按照从小到大的顺序排列，组成输出结果。
本发明实施例提供的基于目标检测的验证码识别方法具有如下特点：
训练数据集自动产生：本发明实施例在生成验证码时，记录验证码每个字符的左上、右下点坐标及字符内容，自动产生训练集txt文件。
测试精度提升：本发明实施例利用yolov3网络进行训练，推理时，产生的数据格式为(x1,y1,x2,y2,conf,cls_conf,cls_pred)，其中(x1,y1),(x2,y2)分别为预测字符的左上、右下坐标，conf、cls_conf分别为位置置信度、类别置信度，cls_pred为预测的具体内容，将各个预测字符按照x1进行排序，即可获取最终顺序，方法简单且高效，以一万张测试图片进行测试，正确率达到97％以上(±2％)，同时也解决了验证码字符串中相同字符的问题。
验证码长度可任意：本发明实施例所用方法，按conf、cls_conf(即位置置信度、类别置信度)取前m个预测字符作为最终字符，可实现验证码长度任意的需求。
图2是本发明一实施例提供的基于目标检测的验证码识别装置的结构示意图。如图2所示，所述装置包括预测结果输出模块10和验证码识别模块20，其中：预测结果输出模块10用于：将接收的验证码图片输入到预先训练好的目标检测网络，所述目标检测网络的输出数据包括与所述验证码图片中的每个字符对应的至少一个预测结果，所述预测结果包括预测字符、所述预测字符的坐标信息及预测置信度信息；其中，所述目标检测网络是以验证码样本图片作为输入，以包含所述验证码样本图片中各个字符及各个字符的坐标信息的输出标签训练得到；验证码识别模块20用于：选取所述预测结果中所述预测置信度信息大于预设阈值的多个预测结果，并将所述多个预测结果中的所述预测字符按照所述坐标信息进行排序，从而得到验证码识别结果。
本发明实施例所提供的验证码识别方法，通过将验证码图片输入到目标检测网络，输出包含预测字符、预测字符的坐标信息及预测置信度信息的预测结果，将预测结果按照置信度信息排序，得到验证码识别结果，可以实现对验证码图片中的字符的顺序进行识别，可以区分验证码图片中的相同字符，并且识别过程不受到验证码长度的限制，验证码长度可以任意，由此，大大提高了验证码识别的精度和灵活性。
进一步地，所述预测置信度信息包括位置置信度信息和类别置信度信息；其中，所述位置置信度信息用于反映所述坐标信息的置信程度，所述类别置信度信息用于反映所述预测字符的置信程度。
在上述实施例的基础上，本发明实施例通过在预测置信度信息包含用于反映坐标信息的置信程度的位置置信度信息以及用于反映预测字符的置信程度的类别置信度信息，进一步提高了预测精度。
进一步地，所述坐标信息包括对应于每个所述预测字符的矩形边界的至少一个顶点坐标，并且每个所述预测字符的所述顶点坐标的类型一致。
在上述实施例的基础上，本发明实施例通过利用预测字符的矩形边界的至少一个顶点坐标进行坐标信息表示，有利于区分预测字符的位置关系，进一步提高了预测精度。
进一步地，所述坐标信息包括所述矩形边界的两个相对顶点的坐标。
在上述实施例的基础上，本发明实施例通过在坐标信息中包括矩形边界的两个相对顶点的坐标，进一步提高了预测精度。
进一步地，所述装置还包括训练样本集构建模块，用于：生成所述验证码样本图片，并自动记录所述验证码样本图片中所述各个字符及所述各个字符的所述坐标信息，从而自动生成用于训练所述目标检测网络的训练样本集。
在上述实施例的基础上，本发明实施例通过生成验证码样本图片，并自动记录验证码样本图片中各个字符及各个字符的坐标信息，从而自动生成用于训练目标检测网络的训练样本集，实现了自动产生训练数据集，提高了自动化程度，节省了人力成本。
进一步地，所述目标检测网络包括yolov3网络。
在上述实施例的基础上，本发明实施例通过利用yolov3网络进行目标检测，进一步提高了验证码识别的精度。
进一步地，所述预设阈值为0.8。
在上述实施例的基础上，本发明实施例中，通过设置预测置信度信息的预设阈值为0.8，将预测置信度信息大于0.8的预测结果中的预测字符按照坐标信息进行排序，从而得到验证码识别结果，进一步提高了验证码识别的精度。
本发明实施例提供的装置是用于上述方法的，具体功能可参照上述方法流程，此处不再赘述。
图3示例了一种电子设备的实体结构示意图，如图3所示，该电子设备可以包括：处理器(processor)310、通信接口(Communications Interface)320、存储器(memory)330和通信总线340，其中，处理器310，通信接口320，存储器330通过通信总线340完成相互间的通信。处理器310可以调用存储器330中的逻辑指令，以执行基于目标检测的验证码识别方法，该方法包括：将接收的验证码图片输入到预先训练好的目标检测网络，所述目标检测网络的输出数据包括与所述验证码图片中的每个字符对应的至少一个预测结果，所述预测结果包括预测字符、所述预测字符的坐标信息及预测置信度信息；其中，所述目标检测网络是以验证码样本图片作为输入，以包含所述验证码样本图片中各个字符及各个字符的坐标信息的输出标签训练得到；选取所述预测结果中所述预测置信度信息大于预设阈值的多个预测结果，并将所述多个预测结果中的所述预测字符按照所述坐标信息进行排序，从而得到验证码识别结果。
此外，上述的存储器330中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面，本发明实施例还提供一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法实施例所提供的基于目标检测的验证码识别方法，该方法包括：将接收的验证码图片输入到预先训练好的目标检测网络，所述目标检测网络的输出数据包括与所述验证码图片中的每个字符对应的至少一个预测结果，所述预测结果包括预测字符、所述预测字符的坐标信息及预测置信度信息；其中，所述目标检测网络是以验证码样本图片作为输入，以包含所述验证码样本图片中各个字符及各个字符的坐标信息的输出标签训练得到；选取所述预测结果中所述预测置信度信息大于预设阈值的多个预测结果，并将所述多个预测结果中的所述预测字符按照所述坐标信息进行排序，从而得到验证码识别结果。
又一方面，本发明实施例还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各实施例提供的基于目标检测的验证码识别方法，该方法包括：将接收的验证码图片输入到预先训练好的目标检测网络，所述目标检测网络的输出数据包括与所述验证码图片中的每个字符对应的至少一个预测结果，所述预测结果包括预测字符、所述预测字符的坐标信息及预测置信度信息；其中，所述目标检测网络是以验证码样本图片作为输入，以包含所述验证码样本图片中各个字符及各个字符的坐标信息的输出标签训练得到；选取所述预测结果中所述预测置信度信息大于预设阈值的多个预测结果，并将所述多个预测结果中的所述预测字符按照所述坐标信息进行排序，从而得到验证码识别结果。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种基于目标检测的验证码识别方法，其特征在于，包括：
将接收的验证码图片输入到预先训练好的目标检测网络，所述目标检测网络的输出数据包括与所述验证码图片中的每个字符对应的至少一个预测结果，所述预测结果包括预测字符、所述预测字符的坐标信息及预测置信度信息；其中，所述目标检测网络是以验证码样本图片作为输入，以包含所述验证码样本图片中各个字符及各个字符的坐标信息的输出标签训练得到；
选取所述预测结果中所述预测置信度信息大于预设阈值的多个预测结果，并将所述多个预测结果中的所述预测字符按照所述坐标信息进行排序，从而得到验证码识别结果。
2.根据权利要求1所述的基于目标检测的验证码识别方法，其特征在于，所述预测置信度信息包括位置置信度信息和类别置信度信息；其中，所述位置置信度信息用于反映所述坐标信息的置信程度，所述类别置信度信息用于反映所述预测字符的置信程度。
3.根据权利要求1所述的基于目标检测的验证码识别方法，其特征在于，所述坐标信息包括对应于每个所述预测字符的矩形边界的至少一个顶点坐标，并且每个所述预测字符的所述顶点坐标的类型一致。
4.根据权利要求3所述的基于目标检测的验证码识别方法，其特征在于，所述坐标信息包括所述矩形边界的两个相对顶点的坐标。
5.根据权利要求1所述的基于目标检测的验证码识别方法，其特征在于，所述方法还包括：
生成所述验证码样本图片，并自动记录所述验证码样本图片中所述各个字符及所述各个字符的所述坐标信息，从而自动生成用于训练所述目标检测网络的训练样本集。
6.根据权利要求1所述的基于目标检测的验证码识别方法，其特征在于，所述目标检测网络包括yolov3网络。
7.根据权利要求1所述的基于目标检测的验证码识别方法，其特征在于，所述预设阈值为0.8。
8.一种基于目标检测的验证码识别装置，其特征在于，包括：
预测结果输出模块，用于：将接收的验证码图片输入到预先训练好的目标检测网络，所述目标检测网络的输出数据包括与所述验证码图片中的每个字符对应的至少一个预测结果，所述预测结果包括预测字符、所述预测字符的坐标信息及预测置信度信息；其中，所述目标检测网络是以验证码样本图片作为输入，以包含所述验证码样本图片中各个字符及各个字符的坐标信息的输出标签训练得到；
验证码识别模块，用于：选取所述预测结果中所述预测置信度信息大于预设阈值的多个预测结果，并将所述多个预测结果中的所述预测字符按照所述坐标信息进行排序，从而得到验证码识别结果。
9.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至7任一项所述基于目标检测的验证码识别方法的步骤。
10.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1至7任一项所述基于目标检测的验证码识别方法的步骤。
CN202010881077.XA 2020-08-27 2020-08-27 一种基于目标检测的验证码识别方法及装置 Pending CN112101346A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010881077.XA CN112101346A (zh) 2020-08-27 2020-08-27 一种基于目标检测的验证码识别方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010881077.XA CN112101346A (zh) 2020-08-27 2020-08-27 一种基于目标检测的验证码识别方法及装置

Publications (1)

Publication Number Publication Date
CN112101346A true CN112101346A (zh) 2020-12-18

Family

ID=73758096

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010881077.XA Pending CN112101346A (zh) 2020-08-27 2020-08-27 一种基于目标检测的验证码识别方法及装置

Country Status (1)

Country Link
CN (1) CN112101346A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112883965A (zh) * 2021-02-08 2021-06-01 中兴盛达电气技术（郑州）有限公司 包装器皿上的日期检测方法、电子设备和计算机可读存储介质
CN112949514A (zh) * 2021-03-09 2021-06-11 广州文石信息科技有限公司 一种扫描文档信息处理方法、装置、电子设备及存储介质
WO2022095318A1 (zh) * 2020-11-06 2022-05-12 上海商汤智能科技有限公司 字符检测方法、装置、电子设备、存储介质及程序

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106022328A (zh) * 2016-05-11 2016-10-12 上海应用技术学院 复杂验证码的识别方法
CN107977659A (zh) * 2016-10-25 2018-05-01 北京搜狗科技发展有限公司 一种文字识别方法、装置及电子设备
CN108182437A (zh) * 2017-12-29 2018-06-19 北京金堤科技有限公司 一种点选验证码识别方法、装置和用户终端
CN108399405A (zh) * 2017-02-07 2018-08-14 腾讯科技（上海）有限公司 营业执照识别方法和装置
CN109034149A (zh) * 2017-06-08 2018-12-18 北京君正集成电路股份有限公司 一种字符识别方法及装置
CN109858542A (zh) * 2019-01-25 2019-06-07 广州云测信息技术有限公司 一种字符识别方法和装置
CN110188761A (zh) * 2019-04-22 2019-08-30 平安科技（深圳）有限公司 验证码的识别方法、装置、计算机设备和存储介质
CN110569853A (zh) * 2019-09-12 2019-12-13 南京红松信息技术有限公司 一种基于目标定位的独立公式的分割方法
CN111428723A (zh) * 2020-04-02 2020-07-17 苏州杰锐思智能科技股份有限公司 字符识别方法及装置、电子设备、存储介质

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106022328A (zh) * 2016-05-11 2016-10-12 上海应用技术学院 复杂验证码的识别方法
CN107977659A (zh) * 2016-10-25 2018-05-01 北京搜狗科技发展有限公司 一种文字识别方法、装置及电子设备
CN108399405A (zh) * 2017-02-07 2018-08-14 腾讯科技（上海）有限公司 营业执照识别方法和装置
CN109034149A (zh) * 2017-06-08 2018-12-18 北京君正集成电路股份有限公司 一种字符识别方法及装置
CN108182437A (zh) * 2017-12-29 2018-06-19 北京金堤科技有限公司 一种点选验证码识别方法、装置和用户终端
CN109858542A (zh) * 2019-01-25 2019-06-07 广州云测信息技术有限公司 一种字符识别方法和装置
CN110188761A (zh) * 2019-04-22 2019-08-30 平安科技（深圳）有限公司 验证码的识别方法、装置、计算机设备和存储介质
CN110569853A (zh) * 2019-09-12 2019-12-13 南京红松信息技术有限公司 一种基于目标定位的独立公式的分割方法
CN111428723A (zh) * 2020-04-02 2020-07-17 苏州杰锐思智能科技股份有限公司 字符识别方法及装置、电子设备、存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
宋人杰;刘娟;: "基于模糊聚类与RBF网络集成分类器的验证码识别", 东北电力大学学报, no. 04, pages 44 - 47 *
杨建 等: "基于深度学习的方坯号识别***设计", 《工业控制计算机》, vol. 32, no. 4, 31 December 2019 (2019-12-31), pages 40 - 41 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022095318A1 (zh) * 2020-11-06 2022-05-12 上海商汤智能科技有限公司 字符检测方法、装置、电子设备、存储介质及程序
CN112883965A (zh) * 2021-02-08 2021-06-01 中兴盛达电气技术（郑州）有限公司 包装器皿上的日期检测方法、电子设备和计算机可读存储介质
CN112949514A (zh) * 2021-03-09 2021-06-11 广州文石信息科技有限公司 一种扫描文档信息处理方法、装置、电子设备及存储介质

Similar Documents

Publication Publication Date Title
CN112101346A (zh) 一种基于目标检测的验证码识别方法及装置
CN111667066B (zh) 网络模型的训练、文字识别方法、装置和电子设备
CN108388822A (zh) 一种检测二维码图像的方法和装置
CN112070138B (zh) 多标签混合分类模型的构建方法、新闻分类方法及***
CN111191067A (zh) 绘本识别方法、终端设备及计算机可读存储介质
CN111626177B (zh) 一种pcb元件识别方法及装置
CN111612081B (zh) 识别模型的训练方法、装置、设备及存储介质
CN111767883A (zh) 一种题目批改方法及装置
CN111159417A (zh) 文本内容关键信息的提取方法、装置、设备及存储介质
CN113033711A (zh) 题目批改方法、装置、电子设备及计算机存储介质
CN114691525A (zh) 测试用例的选择方法及装置
CN114330588A (zh) 一种图片分类方法、图片分类模型训练方法及相关装置
CN115344699A (zh) 文本分类模型的训练方法、装置、计算机设备及介质
CN113591881B (zh) 基于模型融合的意图识别方法、装置、电子设备及介质
CN112613367A (zh) 票据信息文本框获取方法、***、设备及存储介质
CN111177388B (zh) 一种处理方法及计算机设备
CN109492396B (zh) 基于语义分割的恶意软件基因快速检测方法和装置
CN115618043B (zh) 文本操作图互检方法及模型训练方法、装置、设备、介质
CN111539390A (zh) 一种基于Yolov3的小目标图像识别方法、设备和***
CN116246161A (zh) 领域知识引导下的遥感图像目标精细类型识别方法及装置
CN113705559B (zh) 基于人工智能的文字识别方法及装置、电子设备
JP7420578B2 (ja) 帳票仕分システム、帳票仕分方法、及びプログラム
CN115731561A (zh) 使用视觉箭头关系检测的手绘示图识别
CN110909737A (zh) 图片文字识别方法及***
CN113469188B (zh) 字符识别模型训练的数据增强、字符识别的方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination