CN111860027A - 二维码的识别方法及装置 - Google Patents
二维码的识别方法及装置 Download PDFInfo
- Publication number
- CN111860027A CN111860027A CN202010530228.7A CN202010530228A CN111860027A CN 111860027 A CN111860027 A CN 111860027A CN 202010530228 A CN202010530228 A CN 202010530228A CN 111860027 A CN111860027 A CN 111860027A
- Authority
- CN
- China
- Prior art keywords
- dimensional code
- pattern
- model
- identification
- pixel points
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 39
- 238000003062 neural network model Methods 0.000 claims abstract description 26
- 238000012549 training Methods 0.000 claims description 27
- 230000000694 effects Effects 0.000 claims description 12
- 230000009466 transformation Effects 0.000 claims description 10
- 238000004590 computer program Methods 0.000 claims description 6
- 238000004364 calculation method Methods 0.000 claims description 4
- 238000001514 detection method Methods 0.000 abstract description 13
- 238000010586 diagram Methods 0.000 description 12
- 238000004891 communication Methods 0.000 description 5
- 238000012216 screening Methods 0.000 description 4
- 230000004913 activation Effects 0.000 description 3
- 230000007547 defect Effects 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 229910003460 diamond Inorganic materials 0.000 description 2
- 239000010432 diamond Substances 0.000 description 2
- 238000003709 image segmentation Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012567 pattern recognition method Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
- G06K7/00—Methods or arrangements for sensing record carriers, e.g. for reading patterns
- G06K7/10—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
- G06K7/14—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation using light without selection of wavelength, e.g. sensing reflected white light
- G06K7/1404—Methods for optical code recognition
- G06K7/1408—Methods for optical code recognition the method being specifically adapted for the type of code
- G06K7/1417—2D bar codes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Data Mining & Analysis (AREA)
- Toxicology (AREA)
- Electromagnetism (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明实施例提供一种二维码的识别方法及装置，其中方法包括：将具有二维码的待识别图案输入预先训练的神经网络模型，获得所述神经网络模型输出的待识别图案中像素点位于二维码中的概率；根据所述像素点位于二维码中的概率，获得位于二维码中的像素点，计算所述位于二维码中的像素点的最小外接矩形，以获得所述待识别图案中的识别框；识别所述识别框框出的二维码，获得二维码识别结果。本发明实施例通过优化AdvancedEAST模型预测回归顶点坐标的方式，使得原本应用于文字检测，特别是长文本检测的AdvancedEAST模型能够准确识别正方形图案，从而增强二维码识别的鲁棒性和准确率。
Description
技术领域
本发明涉及图像处理技术领域，更具体地，涉及二维码的识别方法及装置。
背景技术
二维码又称二维条码，常见的二维码为QR Code，QR全称Quick Response，是一个近几年来移动设备上超流行的一种编码方式，它比传统的Bar Code条形码能存更多的信息，也能表示更多的数据类型，因此被应用于信息获取、移动支付等场景中。
目前大部分二维码检测识别方法都是基于传统图像学和形态学的，这些方法是具有一定局限性的，例如只能识别黑白、高分辨率等特定的二维码。
发明内容
本发明实施例提供一种克服上述问题或者至少部分地解决上述问题的二维码的识别方法及装置。
第一个方面，本发明实施例提供一种二维码的识别方法，包括：
将具有二维码的待识别图案输入预先训练的神经网络模型，获得所述神经网络模型输出的待识别图案中像素点位于二维码中的概率；
根据所述像素点位于二维码中的概率，获得位于二维码中的像素点，计算所述位于二维码中的所有像素点的最小外接矩形，以获得所述待识别图案中的识别框；
识别所述识别框框出的二维码，获得二维码识别结果；
其中，所述神经网络模型为改进的AdvancedEAST模型，所述改进的AdvancedEAST模型以具有二维码的样本图案作为标签，以样本图案中像素是否位于二维码中的标记结果作为样本标签；
所述改进的AdvancedEAST模型训练时计算的损失仅为score map参数的损失；所述score map参数用于表征像素点位于识别框内的概率。
进一步地，所述改进的AdvancedEAST模型的感受野为40～55。
进一步地，所述改进的AdvancedEAST模型的训练方法包括：
对所述改进的AdvancedEAST模型的超参数进行设置，获得多组具有不同的超参数组合的待训练的AdvancedEAST模型；
根据多组待训练的AdvancedEAST模型的训练效果，确定具有最优超参数组合的AdvancedEAST模型。
进一步地，所述超参数包括但不限于batch_size批尺寸、pixel_threshold内部点阈值、side_vertex_pixel_threshold内部头尾点的阈值和trunc_threshold头尾点取值范围。
进一步地，所述训练效果以预测的识别框边框和真实的识别框的交集和并集间的比值进行表征。
进一步地，所述根据所述像素点位于二维码中的概率，获得位于二维码中的像素点，计算所述位于识别框内的像素点的最小外接矩形，以获得所述待识别图案中的识别框，具体为：
将概率大于预设阈值的像素点作为位于二维码中的像素点；
确定包含所述二维码中的像素点的最小外接矩形，将所述最小外接矩形作为所述识别框。
进一步地，所述识别所述识别框框出的二维码，获得二维码识别结果，具体为：
从所述待识别图案中分割出所述识别框内的区域，对所述识别框内的区域进行透视变换，获得二维码图案；
使用zbar库对所述二维码图案进行解码，获得二维码识别结果。
第二个方面，本发明实施例提供一种二维码的识别装置，包括：
概率计算模块，用于将具有二维码的待识别图案输入预先训练的神经网络模型，获得所述神经网络模型输出的待识别图案中像素点位于二维码中的概率；
识别框输出模块，用于根据所述每个像素点位于二维码中的概率，获得位于二维码中的像素点，计算所述位于二维码中的像素点的最小外接矩形，以获得所述待识别图案中的识别框；
二维码识别模块，用于识别所述识别框框出的二维码，获得二维码识别结果；
其中，所述神经网络模型为改进的AdvancedEAST模型，所述改进的AdvancedEAST模型以具有二维码的样本图案作为标签，以样本图案中像素是否位于二维码中的标记结果作为样本标签；
所述改进的AdvancedEAST模型训练时计算的损失仅为score map参数的损失；所述score map参数用于表征像素点位于识别框内的概率。
进一步地，所述改进的AdvancedEAST模型的感受野为40～55。
进一步地，还包括模型训练模块，所述模型训练模块包括：
超参数设置单元，用于对所述改进的AdvancedEAST模型的超参数进行设置，获得多组具有不同的超参数组合的待训练的AdvancedEAST模型；
筛选单元，用于根据多组待训练的AdvancedEAST模型的训练效果，确定具有最优超参数组合的AdvancedEAST模型。
进一步地，所述超参数包括但不限于batch_size批尺寸、pixel_threshold内部点阈值、side_vertex_pixel_threshold内部头尾点的阈值和trunc_threshold头尾点取值范围。
进一步地，所述训练效果以预测的识别框边框和真实的识别框的交集和并集间的比值进行表征。
进一步地，所述识别框输出模块，具体为：
概率筛选单元，用于将概率大于预设阈值的像素点作为位于识别框内的像素点；
外接矩形确定单元，用于确定包含所述二维码中的所有像素点的最小外接矩形，将所述最小外接矩形作为所述识别框。
进一步地，所述二维码识别模块，具体为：
透视变幻单元，用于从所述待识别图案中分割出所述识别框内的区域，对所述识别框内的区域进行透视变换，获得二维码图案；
解码单元，用于使用zbar库对所述二维码图案进行解码，获得二维码识别结果。
第三方面，本发明实施例提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如第一方面所提供的方法的步骤。
第四方面，本发明实施例提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如第一方面所提供的方法的步骤。
本发明实施例提供的二维码的识别方法及装置，通过优化AdvancedEAST模型预测回归顶点坐标的方式，使得原本应用于文字检测，特别是长文本检测的AdvancedEAST模型能够准确识别正方形图案，从而增强二维码识别的鲁棒性和准确率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为现有一个实施例的AdvancedEAST模型的识别结果示意图；
图2为现有另一个实施例的AdvancedEAST模型的识别结果示意图；
图3为本发明实施例的二维码的识别方法的流程示意图；
图4为本发明实施例的图像分割操作后获得的识别框区域的示意图；
图5为本发明实施例经过透视变换后的识别框区域的示意图；
图6为本发明实施例的二维码的识别装置的结构示意图；
图7为本发明实施例提供的电子设备的实体结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
为了克服现有技术的上述缺陷，本发明实施例的发明构思为：通过优化AdvancedEAST模型预测回归顶点坐标的方式，使得原本应用于文字检测，特别是长文本检测的AdvancedEAST模型能够准确识别正方形图案，从而增强二维码识别的鲁棒性和准确率。
AdvancedEAST模型是场景文字检测算法，AdvancedEAST模型的算法在识别矩形时具有长度和宽度差异越明显，则输出的识别框越接近标准矩形的特点，常应用于长文本检测领域。以随机从网上检索到的关于AdvancedEAST模型的文献为例，在https://blog.csdn.net/chenjie7140/article/details/100709923所记载的利用AdvancedEAST模型进行文字识别的方案中，公开了一张识别机动车驾驶证的效果图，如图1所示，图1为现有的AdvancedEAST模型的识别结果示意图，从现有的AdvancedEAST模型的识别结果可以看出，各个文本信息都被识别框框了出来，并且文本越长则矩形越标准，例如证号“33xxxxxxxxx”、住址“黑龙江省牡丹江市东安区”“初次领证日期”三个文本对应的识别框；但是字数越少的文本信息所对应的识别框则越不标准，例如“男”、“6年”、“姓名”对应的识别框都存在两条宽边的长度不一致，特别是“男”的识别框，接近于菱形，并且从图1中还可以看出一个明显问题：现有的AdvancedEAST模型对于正方形框无法识别出来，例如“江西省南昌市公安局交通警察支队”处于一个标准正方形中，但是现有的AdvancedEAST模型则完全没有将其识别出来。
在https://www.sohu.com/a/257372528_100279313所记载的AdvancedEAST高效场景文本检测的博客中也可以看出现有的AdvancedEAST模型无法准确识别出正方形，该博客的最后一个图为识别长文本和短文本的效果图，如图2所示，图2为现有另一个实施例的AdvancedEAST模型的识别结果示意图，由图2可知，“唯有爱与美食不可负”这一长文本被一个接近标准矩形的识别框所框出，而对于短文本“食光”和“集”来说，识别框均与标准矩形相差甚远，同时可以发现“集”对应的识别也更接近于梯形。
在上述两个举例中可以发现，如果采用现有的AdvancedEAST模型对二维码之类的正方形进行识别，必然会出现识别框不规则，进而导致二维码部分区域缺失的缺陷，因此本领域技术人员不会有动机将适用于识别长文本的AdvancedEAST模型应用于二维码这种具有标准正方形的图案的识别。目前尚不存在将AdvancedEAST模型应用于二维码的检测并获得可实际应用的技术方案。
图3为本发明实施例的二维码的识别方法的流程示意图，如图3所示，包括：
S101、将具有二维码的待识别图案输入预先训练的神经网络模型，获得所述神经网络模型输出的待识别图案中像素点位于二维码中的概率。
所述神经网络模型为改进的AdvancedEAST模型，所述改进的AdvancedEAST模型以具有二维码的样本图案作为标签，以样本图案中每个像素是否位于二维码中的标记结果作为样本标签。可选地，本发明实施例采用人工标记的方式，对样本图案中的每个像素设置标记结果：若像素位于二维码中，则像素的标记结果为1，若像素不位于二维码中，则像素的标记结果为0，本发明实施例定义像素是否位于二维码中，可以采用以下方式：
确定二维码的4个顶点像素的坐标，将4个顶点像素连接获得正方形区域，将正方形区域内(包括正方形区域的边界)的所有像素作为二维码中的像素。
进一步地，本发明实施例改进的AdvancedEAST模型训练时计算的损失仅为scoremap参数的损失；score map参数，即置信度，用于表征像素点位目标区域中的概率，应当理解的是，本发明实施例中目标区域即二维码。
在现有技术中，AdvancedEast模型的输出层输出的向量为7维向量，在这个7维向量中记录了三个参数，分别是1位的score map参数，表征每个像素点位于目标区域中的概率；2位的vertex code参数，判断一个像素点属于目标区域边界以及是目标区域的头还是尾；4位的vertex geo参数，仅有头尾区域有效，含义为距离头尾边界的距离。现有模型在进行预测时可以概述为以下步骤：
S1、根据score map输出的值确定activation point(处于二维码中的像素点)；
S2、遍历所有activation point，在feature map(特征图)中左右相邻的activation point合并，形成若干region list(区域列表)；
S3、遍历所有region list，在feature map中上下相邻的region list合并形成region group(区域群)；
S4、遍历region group中的点，根据vertex code输出的值确定头/尾元素；
S5、每个region group中的头部(尾部)元素预测的vertex geo参数进行加权平均得到最终文本框顶点。
由此可知，现有的AdvancedEAST模型只用边界像素去预测回归顶点坐标。AdvancedEAST模型中找出的头尾像素均出现在短边上，那么如果目标区域是正方形，AdvancedEAST模型会把左边和上边上的像素点判断为头像素，而把右边和下边判断为尾像素，此时在最后的合并分支会取加权平均，以边长为1正方形为例，可能会预测成(0,1)和(1,1)的点都为头像素的顶点，加权后会回归的顶点为(0.5，1)，这样就会出现菱形。
基于上述分析，本发明实施例通过将改进的AdvancedEAST模型训练时计算的损失仅为score map参数的损失，而不是计算score map参数、vertex code参数以及vertex geo参数三者的损失，其意义在于获得识别框时不再以vertex geo进行加权平均的方式计算识别框，而是直接根据位于二维码中的概率大于预设阈值的像素点构成的最小外接矩形作为识别框，克服了现有AdvancedEAST模型容易将正方形图案识别为菱形、梯形等图案的弊端，真正适用于对二维码的识别。
S102、根据所述像素点位于二维码中的概率，获得位于二维码中的像素点，计算所述位于二维码中的像素点的最小外接矩形，以获得所述待识别图案中的识别框；
S103、识别所述识别框框出的二维码，获得二维码识别结果
本发明实施例在获得识别框后，可将框内的图案——二维码提取出来，通过现有的二维码扫描工具，例如zbar进行识别，即可获得二维码识别结果。
本发明实施例通过优化AdvancedEAST模型预测回归顶点坐标的方式，使得原本应用于文字检测的AdvancedEAST模型能够准确识别正方形图案，从而增强二维码识别的鲁棒性和准确率。通过将本发明实施例应用于税票上的二维码识别，经验证，其准确率和效率要明显高于现有的税票上二维码识别的方法。
在上述各实施例的基础上，作为一种可选实施例，所述改进的AdvancedEAST模型的感受野为40～55。
在卷积神经网络中，感受野(Receptive Field)的定义是卷积神经网络每一层输出的特征图(feature map)上的像素点在输入图片上映射的区域大小，现有的AdvancedEAST模型的感受野通常设置在30以下，例如20、25等等，本发明实施例相比现有的AdvancedEAST模型扩大了感受野，使模型精度更高，通过在税票上二维码的识别进行验证，发现相比现有较小的感受野，能够明显提升二维码的识别范围的精确度。
在上述各实施例的基础上，作为一种可选实施例，所述改进的AdvancedEAST模型的训练方法包括：
对所述改进的AdvancedEAST模型的超参数进行设置，获得多组具有不同的超参数组合的待训练的AdvancedEAST模型。
应当理解的是，超参数为神经网络在训练前设置的参数决定了网络结构、层数等，通常可以包括网络深度、内参数数量、学习率、层数等等。本发明实施例设置了多组待训练的AdvancedEAST模型，每一组待训练的AdvancedEAST模型的超参数都存在差异，其目的是训练出不同的模型，从而找出最优的模型。
根据多组待训练的AdvancedEAST模型的训练效果，确定具有最优超参数组合的AdvancedEAST模型。可选地，所述训练效果以预测的识别框边框和真实的识别框的交集和并集间的比值进行表征。该比值越高说明检测模型越准。
在上述各实施例的基础上，作为一种可选实施例所述超参数包括但不限于batch_size批尺寸、pixel_threshold内部点阈值、side_vertex_pixel_threshold内部头尾点的阈值和trunc_threshold头尾点取值范围。
在上述各实施例的基础上，作为一种可选实施例，所述根据所述像素点位于二维码中的概率，获得位于二维码中的像素点，计算所述位于二维码中的像素点的最小外接矩形，以获得所述待识别图案中的识别框，具体为：
将概率大于预设阈值的像素点作为位于识别框内的像素点；
确定包含所述识别框内的所有像素点的最小外接矩形，将所述最小外接矩形作为所述识别框。
应当理解的是，score map参数记录了每个像素点位于识别框内的概率，通过设置预设阈值，将不小于预设阈值的像素点作为识别框内的像素点，之后根据像素点的标识确定像素点在待识别图案中的坐标。
可选地，本发明实施例确定最小外接矩形的步骤包括：
步骤1、确定位于识别框内的像素点中的4个顶点像素以及4个顶点像素构成的四边形，可以理解的是4个顶点像素分别为：X轴和Y轴坐标同时最小的像素点、X轴和Y轴坐标同时最大的像素点、X轴坐标最大且Y轴坐标最小的像素点、X轴坐标最小且Y轴坐标最大的像素点，本发明实施例预先在待识别图案中设置X-Y轴坐标系，一般地，X轴和Y轴分别为图案的长度方向和宽度方向。
步骤2、通过四个顶点像素构造四边形的四条切线；
步骤3、如果一条(或两条)线与四边形的一条边重合，那么计算由四条切线决定的矩形的面积，并且保存为当前最小值；否则将当前最小值定义为无穷大。
步骤4、顺时针旋转线直到其中一条切向和四边形的一条边重合；
步骤5、计算新矩形的面积，并且和当前最小值比较；如果小于当前最小值则更新，并保存确定最小值的矩形信息。
重复步骤4和步骤5，直到线旋转过的角度大于90度。
输出外接矩形。
在上述各实施例的基础上，作为一种可选实施例，根据所述识别框识别二维码，获得二维码识别结果，具体为：
从所述待识别图案中分割出所述识别框区域，对所述识别框区域进行透视变换，获得二维码图案；
使用zbar库对所述二维码图案进行解码，获得二维码识别结果。
本发明实施例对二维码区域进行图像分割操作，由于识别框中可能除了二维码区域还有其他团，例如切割成小图后存在的黑边，如图4所示，图4为本发明实施例的图像分割操作后获得的识别框区域的示意图，图4中右侧边界具有黑边，这样的结果会降低二维码信息的识别准确率。本发明实施例对识别框区域进行透视变换，透视变换是指利用透视中心、像点、目标点三点共线的条件，按透视旋转定律使承影面(透视面)绕迹线(透视轴)旋转某一角度，破坏原有的投影光线束，仍能保持承影面上投影几何图形不变的变换。简而言之，透视变换就是将图片投影到一个新的视平面，图5为本发明实施例经过透视变换后的识别框区域的示意图，从图5可以看出经过透视变换后去除了黑边的影响。
zbar条码解码器是一个开源的二维码(包括条形码)解码器，可以识别来至于视频流，图像文件、手持扫码器和视频设备(如摄像头)等二维码识别，支持EAN-13/UPC-A,UPC-E,EAN-8,Code 128,Code39,QR Code(二维码)等常用编码方式的条形码/二维码。
图6为本发明实施例提供的二维码的识别装置的结构示意图，如图6所示，该二维码的识别装置包括：概率计算模块201、识别框输出模块202和二维码识别模块203，具体地：
概率计算模块201，用于将具有二维码的待识别图案输入预先训练的神经网络模型，获得所述神经网络模型输出的待识别图案中每个像素点位于二维码中的概率；
识别框输出模块202，用于根据所述每个像素点位于二维码中的概率，获得位于二维码中的像素点，计算所述位于二维码中的像素点的最小外接矩形，以获得所述待识别图案中的识别框；
二维码识别模块203，用于识别所述识别框框出的二维码，获得二维码识别结果；
其中，所述神经网络模型为改进的AdvancedEAST模型，所述改进的AdvancedEAST模型以具有二维码的样本图案作为标签，以样本图案中每个像素是否位于二维码中的标记结果作为样本标签；
所述改进的AdvancedEAST模型训练时计算的损失仅为score map参数的损失；所述score map参数用于表征每个像素点位于识别框内的概率。
本发明实施例提供的二维码的识别装置，具体执行上述各二维码的识别方法实施例流程，具体请详见上述各二维码的识别方法实施例的内容，在此不再赘述。本发明实施例提供的二维码的识别装置通过优化AdvancedEAST模型预测回归顶点坐标的方式，使得原本应用于文字检测的AdvancedEAST模型能够准确识别正方形图案，从而增强二维码识别的鲁棒性和准确率。
在上述各实施例的基础上，作为一种可选实施例，所述改进的AdvancedEAST模型的感受野为40～55。
在上述各实施例的基础上，作为一种可选实施例，还包括模型训练模块，所述模型训练模块包括：
超参数设置单元，用于对所述改进的AdvancedEAST模型的超参数进行设置，获得多组具有不同的超参数组合的待训练的AdvancedEAST模型；
筛选单元，用于根据多组待训练的AdvancedEAST模型的训练效果，确定具有最优超参数组合的AdvancedEAST模型。
在上述各实施例的基础上，作为一种可选实施例，所述超参数包括但不限于batch_size批尺寸、pixel_threshold内部点阈值、side_vertex_pixel_threshold内部头尾点的阈值和trunc_threshold头尾点取值范围。
在上述各实施例的基础上，作为一种可选实施例，所述训练效果以预测的识别框边框和真实的识别框的交集和并集间的比值进行表征。
在上述各实施例的基础上，作为一种可选实施例，所述识别框输出模块，具体为：
概率筛选单元，用于将概率大于预设阈值的像素点作为位于识别框内的像素点；
外接矩形确定单元，用于确定包含所述识别框内的像素点的最小外接矩形，将所述最小外接矩形作为所述识别框。
在上述各实施例的基础上，作为一种可选实施例，所述二维码识别模块，具体为：
透视变幻单元，用于从所述待识别图案中分割出所述识别框内的区域，对所述识别框内的区域进行透视变换，获得二维码图案；
解码单元，用于使用zbar库对所述二维码图案进行解码，获得二维码识别结果。
图7为本发明实施例提供的电子设备的实体结构示意图，如图7所示，该电子设备可以包括：处理器(processor)310、通信接口(Communications Interface)320、存储器(memory)330和通信总线340，其中，处理器310，通信接口320，存储器330通过通信总线340完成相互间的通信。处理器310可以调用存储在存储器330上并可在处理器310上运行的计算机程序，以执行上述各实施例提供的二维码的识别方法，例如包括：将具有二维码的待识别图案输入预先训练的神经网络模型，获得所述神经网络模型输出的待识别图案中每个像素点位于二维码中的概率；根据所述每个像素点位于二维码中的概率，获得位于二维码中的所有像素点，计算所述位于二维码中的像素点的最小外接矩形，以获得所述待识别图案中的识别框；识别所述识别框框出的二维码，获得二维码识别结果；其中，所述神经网络模型为改进的AdvancedEAST模型，所述改进的AdvancedEAST模型以具有二维码的样本图案作为标签，以样本图案中像素是否位于二维码中的标记结果作为样本标签；所述改进的AdvancedEAST模型训练时计算的损失仅为score map参数的损失；所述score map参数用于表征像素点位于识别框内的概率。
此外，上述的存储器330中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
本发明实施例还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各实施例提供的二维码的识别方法，例如包括：将具有二维码的待识别图案输入预先训练的神经网络模型，获得所述神经网络模型输出的待识别图案中像素点位于二维码中的概率；根据所述像素点位于二维码中的概率，获得位于二维码中的所有像素点，计算所述位于二维码中的所有像素点的最小外接矩形，以获得所述待识别图案中的识别框；识别所述识别框框出的二维码，获得二维码识别结果；其中，所述神经网络模型为改进的AdvancedEAST模型，所述改进的AdvancedEAST模型以具有二维码的样本图案作为标签，以样本图案中像素是否位于二维码中的标记结果作为样本标签；所述改进的AdvancedEAST模型训练时计算的损失仅为score map参数的损失；所述score map参数用于表征像素点位于识别框内的概率。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (10)
1.一种二维码的识别方法，其特征在于，包括：
将具有二维码的待识别图案输入预先训练的神经网络模型，获得所述神经网络模型输出的待识别图案中像素点位于二维码中的概率；
根据所述像素点位于二维码中的概率，获得位于二维码中的像素点，计算所述位于二维码中的像素点的最小外接矩形，以获得所述待识别图案中的识别框；
识别所述识别框框出的二维码，获得二维码识别结果；
其中，所述神经网络模型为改进的AdvancedEAST模型，所述改进的AdvancedEAST模型以具有二维码的样本图案作为标签，以样本图案中像素是否位于二维码中的标记结果作为样本标签；
所述改进的AdvancedEAST模型训练时计算的损失仅为score map参数的损失；所述score map参数用于表征像素点位于识别框内的概率。
2.根据权利要求1所述的二维码的识别方法，其特征在于，所述改进的AdvancedEAST模型的感受野为40～55。
3.根据权利要求1或2所述的二维码的识别方法，其特征在于，所述改进的AdvancedEAST模型的训练方法包括：
对所述改进的AdvancedEAST模型的超参数进行设置，获得多组具有不同的超参数组合的待训练的AdvancedEAST模型；
根据多组待训练的AdvancedEAST模型的训练效果，确定具有最优超参数组合的AdvancedEAST模型。
4.根据权利要求3所述的二维码的识别方法，其特征在于，所述超参数包括但不限于batch_size批尺寸、pixel_threshold内部点阈值、side_vertex_pixel_threshold内部头尾点的阈值和trunc_threshold头尾点取值范围。
5.根据权利要求3所述的二维码的识别方法，其特征在于，所述训练效果以预测的识别框边框和真实的识别框的交集和并集间的比值进行表征。
6.根据权利要求1所述的二维码的识别方法，其特征在于，所述根据所述像素点位于二维码中的概率，获得位于二维码中的像素点，计算所述位于二维码中的像素点的最小外接矩形，以获得所述待识别图案中的识别框，具体为：
将概率大于预设阈值的像素点作为位于二维码中的像素点；
确定包含所述二维码中的像素点的最小外接矩形，将所述最小外接矩形作为所述识别框。
7.根据权利要求1所述的二维码的识别方法，其特征在于，所述识别所述识别框框出的二维码，获得二维码识别结果，具体为：
从所述待识别图案中分割出所述识别框内的区域，对所述识别框内的区域进行透视变换，获得二维码图案；
使用zbar库对所述二维码图案进行解码，获得二维码识别结果。
8.一种二维码的识别装置，其特征在于，包括：
概率计算模块，用于将具有二维码的待识别图案输入预先训练的神经网络模型，获得所述神经网络模型输出的待识别图案中像素点位于二维码中的概率；
识别框输出模块，用于根据所述像素点位于二维码中的概率，获得位于二维码中的像素点，计算所述位于二维码中的像素点的最小外接矩形，以获得所述待识别图案中的识别框；
二维码识别模块，用于识别所述识别框框出的二维码，获得二维码识别结果；
其中，所述神经网络模型为改进的AdvancedEAST模型，所述改进的AdvancedEAST模型以具有二维码的样本图案作为标签，以样本图案中像素是否位于二维码中的标记结果作为样本标签；
所述改进的AdvancedEAST模型训练时计算的损失仅为score map参数的损失；所述score map参数用于表征像素点位于识别框内的概率。
9.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至7任一项所述二维码的识别方法的步骤。
10.一种非暂态计算机可读存储介质，其特征在于，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行如权利要求1至7中任意一项所述的二维码的识别方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010530228.7A CN111860027B (zh) | 2020-06-11 | 2020-06-11 | 二维码的识别方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010530228.7A CN111860027B (zh) | 2020-06-11 | 2020-06-11 | 二维码的识别方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111860027A true CN111860027A (zh) | 2020-10-30 |
| CN111860027B CN111860027B (zh) | 2024-06-18 |
Family
ID=72986592
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010530228.7A Active CN111860027B (zh) | 2020-06-11 | 2020-06-11 | 二维码的识别方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111860027B (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112541417A (zh) * | 2020-12-03 | 2021-03-23 | 山东众阳健康科技集团有限公司 | 一种文字检测中使用的高效解码方法 |
| CN114022558A (zh) * | 2022-01-05 | 2022-02-08 | 深圳思谋信息科技有限公司 | 图像定位方法、装置、计算机设备和存储介质 |
| WO2022267387A1 (zh) * | 2021-06-21 | 2022-12-29 | 梅卡曼德（北京）机器人科技有限公司 | 图像识别方法、装置、电子设备和存储介质 |
| CN116301459A (zh) * | 2023-02-27 | 2023-06-23 | 荣耀终端有限公司 | 一种扫码方法及相关装置 |
| CN117314951A (zh) * | 2023-11-20 | 2023-12-29 | 四川数盾科技有限公司 | 一种二维码识别预处理方法及*** |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103714327A (zh) * | 2013-12-30 | 2014-04-09 | 上海合合信息科技发展有限公司 | 一种图像方向校正方法及*** |
| CN105404837A (zh) * | 2015-11-17 | 2016-03-16 | 上海斐讯数据通信技术有限公司 | 一种物品定位方法及*** |
| US20180350021A1 (en) * | 2017-03-16 | 2018-12-06 | Sawar PEDAWI | Global address system and method |
| CN110378165A (zh) * | 2019-05-31 | 2019-10-25 | 阿里巴巴集团控股有限公司 | 二维码识别方法、二维码定位识别模型建立方法及其装置 |
| CN110399760A (zh) * | 2019-07-23 | 2019-11-01 | 广东工业大学 | 一种批量二维码定位方法、装置、电子设备及存储介质 |
| CN110569769A (zh) * | 2019-08-29 | 2019-12-13 | 浙江大搜车软件技术有限公司 | 图像识别方法、装置、计算机设备和存储介质 |
| CN111104813A (zh) * | 2019-12-16 | 2020-05-05 | 北京达佳互联信息技术有限公司 | 二维码图像关键点检测方法、装置、电子设备及存储介质 |
-
2020
- 2020-06-11 CN CN202010530228.7A patent/CN111860027B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103714327A (zh) * | 2013-12-30 | 2014-04-09 | 上海合合信息科技发展有限公司 | 一种图像方向校正方法及*** |
| CN105404837A (zh) * | 2015-11-17 | 2016-03-16 | 上海斐讯数据通信技术有限公司 | 一种物品定位方法及*** |
| US20180350021A1 (en) * | 2017-03-16 | 2018-12-06 | Sawar PEDAWI | Global address system and method |
| CN110378165A (zh) * | 2019-05-31 | 2019-10-25 | 阿里巴巴集团控股有限公司 | 二维码识别方法、二维码定位识别模型建立方法及其装置 |
| CN110399760A (zh) * | 2019-07-23 | 2019-11-01 | 广东工业大学 | 一种批量二维码定位方法、装置、电子设备及存储介质 |
| CN110569769A (zh) * | 2019-08-29 | 2019-12-13 | 浙江大搜车软件技术有限公司 | 图像识别方法、装置、计算机设备和存储介质 |
| CN111104813A (zh) * | 2019-12-16 | 2020-05-05 | 北京达佳互联信息技术有限公司 | 二维码图像关键点检测方法、装置、电子设备及存储介质 |
Non-Patent Citations (2)
| Title |
|---|
| SUN MING 等: "Identification of QR codes based on pattern recognition", 2010 WORLD AUTOMATION CONGRESS * |
| 蒋冲宇 等: "基于神经网络的***文字检测与识别方法", 武汉工程大学学报, no. 06 * |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112541417A (zh) * | 2020-12-03 | 2021-03-23 | 山东众阳健康科技集团有限公司 | 一种文字检测中使用的高效解码方法 |
| CN112541417B (zh) * | 2020-12-03 | 2022-09-16 | 山东众阳健康科技集团有限公司 | 一种文字检测中使用的高效解码方法 |
| WO2022267387A1 (zh) * | 2021-06-21 | 2022-12-29 | 梅卡曼德（北京）机器人科技有限公司 | 图像识别方法、装置、电子设备和存储介质 |
| CN114022558A (zh) * | 2022-01-05 | 2022-02-08 | 深圳思谋信息科技有限公司 | 图像定位方法、装置、计算机设备和存储介质 |
| CN114022558B (zh) * | 2022-01-05 | 2022-08-26 | 深圳思谋信息科技有限公司 | 图像定位方法、装置、计算机设备和存储介质 |
| CN116301459A (zh) * | 2023-02-27 | 2023-06-23 | 荣耀终端有限公司 | 一种扫码方法及相关装置 |
| CN116301459B (zh) * | 2023-02-27 | 2023-10-20 | 荣耀终端有限公司 | 一种扫码方法及相关装置 |
| CN117314951A (zh) * | 2023-11-20 | 2023-12-29 | 四川数盾科技有限公司 | 一种二维码识别预处理方法及*** |
| CN117314951B (zh) * | 2023-11-20 | 2024-01-26 | 四川数盾科技有限公司 | 一种二维码识别预处理方法及*** |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111860027B (zh) | 2024-06-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111860027B (zh) | 二维码的识别方法及装置 | |
| CN110738207B (zh) | 一种融合文字图像中文字区域边缘信息的文字检测方法 | |
| CN110738125B (zh) | 利用Mask R-CNN选择检测框的方法、装置及存储介质 | |
| CN113160192A (zh) | 复杂背景下基于视觉的压雪车外观缺陷检测方法及装置 | |
| CN110659647A (zh) | ***图像识别方法及装置、智能***识别设备和存储介质 | |
| CN111680690B (zh) | 一种文字识别方法及装置 | |
| CN111340028A (zh) | 一种文本定位方法、装置、电子设备及存储介质 | |
| CN113269267B (zh) | 目标检测模型的训练方法、目标检测方法和装置 | |
| CN112767369A (zh) | 小五金的缺陷识别检测方法、装置及计算机可读存储介质 | |
| US20210390282A1 (en) | Training data increment method, electronic apparatus and computer-readable medium | |
| CN114170227B (zh) | 产品表面缺陷检测方法、装置、设备及存储介质 | |
| CN115239644B (zh) | 混凝土缺陷识别方法、装置、计算机设备和存储介质 | |
| CN110738030A (zh) | 表格重建方法、装置、电子设备及存储介质 | |
| CN107578011A (zh) | 视频关键帧的判定方法及装置 | |
| CN112215190A (zh) | 基于yolov4模型的违章建筑检测方法 | |
| CN114119480A (zh) | 一种基于深度学习的裂纹缺陷检测*** | |
| CN113537037A (zh) | 路面病害识别方法、***、电子设备及存储介质 | |
| CN112085721A (zh) | 基于人工智能的水淹车定损方法、装置、设备及存储介质 | |
| CN117094975A (zh) | 钢铁表面缺陷检测方法、装置及电子设备 | |
| CN115908774A (zh) | 一种基于机器视觉的变形物资的品质检测方法和装置 | |
| CN113591507A (zh) | 一种鲁棒的二维码DataMatrix定位方法及*** | |
| CN111199240A (zh) | 银行卡识别模型的训练方法、银行卡识别方法以及装置 | |
| CN116797602A (zh) | 一种用于工业产品检测的表面缺陷鉴定方法和装置 | |
| CN111428530B (zh) | 一种二维码图像检测识别设备、装置及方法 | |
| CN113128500A (zh) | 一种基于Mask-RCNN的非机动车车牌识别方法及*** |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant |