一种字符智能识别方法及识别装置
技术领域
本发明涉及金属材料图像识别领域,特别是指一种字符智能识别方法及识别装置。
背景技术
钢板号是标识钢铁制造流程中产品工艺、生产批次等重要特征信息的数字序列。建立以钢板号为关键字的标准化设计和分类方法,根据钢板号来完成对钢铁产品的跟踪和管理成为流程自动化的关键环节。
一般的机器视觉***解决方案由光源控制器对相机和光源的工作进行控制,工业相机将拍摄的数据传回服务器进行信息的提取过程,用户通过终端PC连接至服务器,PC上运行字符智能识别***完成字符的识别,识别结果保存至服务器或上传给其他现场***,如图1所示。
目前,深度学习在字符识别领域得到蓬勃发展。以深度卷积神经网络为代表的深度学习的识别模型中,均使用了非极大值抑制(Non-Maximum Suppression,NMS)的方法,这是一种对冗余检测结果进行消除的方式,避免对同一字符或物体进行重复检出。该方法对检测结果进行分组,保留每组中检测结果的识别置信度最高的检测结果;其中,分组以交并比为依据,交并比即两检测区域的交集与并集之比,当两检测区域交并比大于某一阈值,即认定两个区域包含一个冗余检测区域,将两检测区域置于同一组中。该方式计算简单,但根据最高识别置信度来识别钢板字符,其识别准确率低。
发明内容
本发明要解决的技术问题是提供一种字符智能识别方法及识别装置,以解决现有技术所存在的根据最高识别置信度来识别钢板字符,识别准确率低的问题。
为解决上述技术问题,本发明实施例提供一种字符智能识别方法,包括:
获取含有待识别钢板字符的目标图片;
对所述目标图片进行识别,得到所述目标图片中各个待检字符的标签、位置坐标及识别置信度;
根据得到的所述目标图片中各个待检字符的位置坐标及识别置信度,确定所述目标图片中各个待检字符的位置置信度;
根据得到的位置置信度对得到的待检字符的标签进行筛选,得到所述目标图片中的钢板字符。
进一步地,所述对所述目标图片进行识别,得到所述目标图片中各个待检字符的标签、位置坐标及识别置信度包括:
利用预先确定的使用非极大值抑制的识别模型对所述目标图片进行识别,得到所述目标图片中各个待检字符的标签、位置坐标及识别置信度。
进一步地,所述识别模型包括:深度卷积神经网络。
进一步地,位置置信度表示为:
其中,LOC CONF
x为字符x的位置置信度,CONF
x为识别置信度,α是调节因子,N为字符的数目,L
x为待检字符空间位置坐标,W是字符总宽度,ω为字符尺寸系数,i为字符序列数,
为基准点空间位置坐标,L
offset为坐标偏置。
进一步地,所述根据得到的位置置信度对得到的待检字符的标签进行筛选,得到所述目标图片中的钢板字符包括:
以位置置信度进行非极大值抑制,对交并比大于预设的交并比阈值的各组结果根据位置置信度进行排序,其中,每组结果包括:检测区域序号、组序号、待检字符的标签和位置置信度;
筛选出位置置信度大于预设的位置置信度的待检字符的标签,得到所述目标图片中的钢板字符。
本发明实施例还提供一种字符智能识别装置,其特征在于,包括:
获取模块,用于获取含有待识别钢板字符的目标图片;
识别模块,用于对所述目标图片进行识别,得到所述目标图片中各个待检字符的标签、位置坐标及识别置信度;
确定模块,用于根据得到的所述目标图片中各个待检字符的位置坐标及识别置信度,确定所述目标图片中各个待检字符的位置置信度;
筛选模块,用于根据得到的位置置信度对得到的待检字符的标签进行筛选,得到所述目标图片中的钢板字符。
进一步地,所述识别模块,用于利用预先确定的使用非极大值抑制的识别模型对所述目标图片进行识别,得到所述目标图片中各个待检字符的标签、位置坐标及识别置信度。
进一步地,所述识别模型包括:深度卷积神经网络。
进一步地,位置置信度表示为:
其中,LOC CONF
x为字符x的位置置信度,CONF
x为识别置信度,α是调节因子,N为字符的数目,L
x为待检字符空间位置坐标,W是字符总宽度,ω为字符尺寸系数,i为字符序列数,
为基准点空间位置坐标,L
offset为坐标偏置。
进一步地,所述筛选模块包括:
排序单元,用于以位置置信度进行非极大值抑制,对交并比大于预设的交并比阈值的各组结果根据位置置信度进行排序,其中,每组结果包括:检测区域序号、组序号、待检字符的标签和位置置信度;
筛选单元,用于筛选出位置置信度大于预设的位置置信度的待检字符的标签,得到所述目标图片中的钢板字符。
本发明的上述技术方案的有益效果如下:
上述方案中,获取含有待识别钢板字符的目标图片;对所述目标图片进行识别,得到所述目标图片中各个待检字符的标签、位置坐标及识别置信度;根据得到的所述目标图片中各个待检字符的位置坐标及识别置信度,确定所述目标图片中各个待检字符的位置置信度;根据得到的位置置信度对得到的待检字符的标签进行筛选,得到所述目标图片中的钢板字符;这样,基于识别置信度和位置置信度的字符智能识别方法,能够提高钢板字符的识别准确率,以便根据钢板号完成对钢铁产品的跟踪和管理。
附图说明
图1为机器视觉***的结果示意图;
图2为本发明实施例提供的字符智能识别方法的流程示意图;
图3为本发明实施例提供的对字符识别的未经筛选的原始结果示意图;
图4为本发明实施例提供的采用识别置信度进行非极大值抑制的识别结果示意图;
图5为本发明实施例提供的采用位置置信度进行非极大值抑制的识别结果示意图;
图6为本发明实施例提供的字符智能识别装置的结构示意图。
具体实施方式
为使本发明要解决的技术问题、技术方案和优点更加清楚,下面将结合附图及具体实施例进行详细描述。
本发明针对现有的根据最高识别置信度来识别钢板字符,识别准确率低的问题,提供一种字符智能识别方法及识别装置。
实施例一
如图2所示,本发明实施例提供的字符智能识别方法,包括:
S101,获取含有待识别钢板字符的目标图片;
S102,对所述目标图片进行识别,得到所述目标图片中各个待检字符的标签、位置坐标及识别置信度;
S103,根据得到的所述目标图片中各个待检字符的位置坐标及识别置信度,确定所述目标图片中各个待检字符的位置置信度;
S104,根据得到的位置置信度对得到的待检字符的标签进行筛选,得到所述目标图片中的钢板字符。
本发明实施例所述的字符智能识别方法,获取含有待识别钢板字符的目标图片;对所述目标图片进行识别,得到所述目标图片中各个待检字符的标签、位置坐标及识别置信度;根据得到的所述目标图片中各个待检字符的位置坐标及识别置信度,确定所述目标图片中各个待检字符的位置置信度;根据得到的位置置信度对得到的待检字符的标签进行筛选,得到所述目标图片中的钢板字符;这样,基于识别置信度和位置置信度的字符智能识别方法,能够提高钢板字符的识别准确率,以便根据钢板号完成对钢铁产品的跟踪和管理。
在前述字符智能识别方法的具体实施方式中,进一步地,所述对所述目标图片进行识别,得到所述目标图片中各个待检字符的标签、位置坐标及识别置信度包括:
利用预先确定的使用非极大值抑制的识别模型对所述目标图片进行识别,得到所述目标图片中各个待检字符的标签、位置坐标及识别置信度。
本实施例中,所述识别模型可以是深度卷积神经网络。采用使用非极大值抑制的深度卷积神经网络进行钢板字符的识别,获得所述目标图片中各个待检字符的标签、位置坐标及识别置信度CONFx,结果如图3所示。这样,采用深度学习的方式对钢板字符进行自动识别,能够减少人工成本和误差,并提高了识别效率。
本实施例中,假设,设定的交并比IoU=0.5,进行非极大值抑制的计算。首先交并比大于0.5的各检测结果被分为同一组,得到表1所示的识别结果。表1中,相同组序号的识别结果为同一组,1、2分为同一组,3、4分为同一组,5、6分为同一组,7、8分为同一组,9、10、11、12分为同一组,13、14分为同一组。
根据表1可知,当只采用识别置信度CONFx对识别结果进行筛选时,假设,保留各组识别置信度不小于0.900的结果,得到的钢板字符的最终识别结果为:’310229’。
表1深度卷积神经网络识别结果
根据图3可知,正确的钢板字符是:’310279’,由此可知,只采用识别置信度CONFx的字符智能识别方法,发生了识别错误,这是因为,在实际检测中,由于污损等因素的存在,可能会出现检测结果和检测空间位置的误差,如图3所示,9、10号检测区域空间位置存在误差,并未使数字’7’完全处于检测区域内,进而使得检测结果出错。因此,本实施例中,将识别置信度转换为位置置信度LOC CONFx,采用LOC CONFx对识别结果进行筛选。
在前述字符智能识别方法的具体实施方式中,进一步地,位置置信度表示为:
其中,LOC CONF
x为字符x的位置置信度,CONF
x为识别置信度,α是调节因子,N为字符的数目,L
x为待检字符空间位置坐标,W是字符总宽度,ω为字符尺寸系数,i为字符序列数,
为基准点空间位置坐标,L
offset为坐标偏置。
本实施例中,以540*300大小图片为实例进行说明,假设,字符尺寸系数ω=75,调节因子α=0.5,字符基准点位置坐标为(30,90),坐标偏置(即:字符空间位置偏移量)为L
offset=30。图3展示了待消除的全部识别结果,其坐标位置(以左上为坐标原点,向下为y轴正方向,向右为x轴正方向)。以图3中第一个筛选框为例进行计算,由于已知有6位字符,因此i=0,1,2,3,4,5.如表2所示,第一行即为i的取值,对于不同的取值i,计算得中间结果
列于第二行,依据计算结果,最小值为0.075,因此将其代入LOCCONF
1计算公式,假设识别置信度CONF
1=0.880,得到位置置信度LOC CONF
1=0.852。以此类推,对每一个识别结果的位置置信度LOC CONF
x计算,结果置于表1的LOC CONF
x列。
表2中间结果
i |
0 |
1 |
2 |
3 |
4 |
5 |
中间结果 |
0.075 |
1.055 |
2.054 |
3.054 |
4.054 |
5.054 |
在前述字符智能识别方法的具体实施方式中,进一步地,所述根据得到的位置置信度对得到的待检字符的标签进行筛选,得到所述目标图片中的钢板字符包括:
以位置置信度进行非极大值抑制,对交并比大于预设的交并比阈值的各组结果根据位置置信度进行排序,其中,每组结果包括:检测区域序号、组序号、待检字符的标签和位置置信度;
筛选出位置置信度大于预设的位置置信度的待检字符的标签,得到所述目标图片中的钢板字符。
本实施例中,位置置信度LOC CONFx计算完成后,进行非极大值抑制,对于交并比大于0.5的各组结果根据LOC CONFx值进行排序,并保留位置置信度不小于0.850的结果,得到的钢板字符是:’310279’,结果正确。
本实施例中,结合图4和图5,对仅基于识别置信度的智能识别方法的识别结果和基于识别置信度和位置置信度的字符智能识别方法的识别结果进行说明:
图4表示仅基于识别置信度的智能识别方法的识别结果,图5表示基于识别置信度和位置置信度的字符智能识别方法的识别结果。以CONFx进行非极大值抑制得到最终结果为’310229’,以LOC CONFx进行非极大值抑制得到最终结果为’310279’。由于空间分布因素的加入,使得空间位置作为影响因子计入,影响LOC CONFx。使用原始NMS对字符进行筛选时,由于数字’7’的CONFx值小于数字’2’,因此,最终得到结果应为’310229’,与真实结果不符。当计入空间分布计算LOC CONFx值时,数字’7’空间位置基本准确,未对结果产生剧烈影响,而冗余数字’2’空间位置与基准位置有较大偏差,该因素减小了LOC CONFx值。对于其他数字,空间位置基本准确,LOC CONFx值大小略有减小,而被保留成为最终结果。
实施例二
本发明还提供一种字符智能识别装置的具体实施方式,由于本发明提供的字符智能识别装置与前述字符智能识别方法的具体实施方式相对应,该字符智能识别装置可以通过执行上述方法具体实施方式中的流程步骤来实现本发明的目的,因此上述字符智能识别方法具体实施方式中的解释说明,也适用于本发明提供的字符智能识别装置的具体实施方式,在本发明以下的具体实施方式中将不再赘述。
如图6所示,本发明实施例还提供一种字符智能识别装置,包括:
获取模块11,用于获取含有待识别钢板字符的目标图片;
识别模块12,用于对所述目标图片进行识别,得到所述目标图片中各个待检字符的标签、位置坐标及识别置信度;
确定模块13,用于根据得到的所述目标图片中各个待检字符的位置坐标及识别置信度,确定所述目标图片中各个待检字符的位置置信度;
筛选模块14,用于根据得到的位置置信度对得到的待检字符的标签进行筛选,得到所述目标图片中的钢板字符。
本发明实施例所述的字符智能识别装置,获取含有待识别钢板字符的目标图片;对所述目标图片进行识别,得到所述目标图片中各个待检字符的标签、位置坐标及识别置信度;根据得到的所述目标图片中各个待检字符的位置坐标及识别置信度,确定所述目标图片中各个待检字符的位置置信度;根据得到的位置置信度对得到的待检字符的标签进行筛选,得到所述目标图片中的钢板字符;这样,基于识别置信度和位置置信度的字符智能识别方法,能够提高钢板字符的识别准确率,以便根据钢板号完成对钢铁产品的跟踪和管理。
在前述字符智能识别装置的具体实施方式中,进一步地,所述识别模块,用于利用预先确定的使用非极大值抑制的识别模型对所述目标图片进行识别,得到所述目标图片中各个待检字符的标签、位置坐标及识别置信度。
在前述字符智能识别装置的具体实施方式中,进一步地,所述识别模型包括:深度卷积神经网络。
在前述字符智能识别装置的具体实施方式中,进一步地,位置置信度表示为:
其中,LOC CONF
x为字符x的位置置信度,CONF
x为识别置信度,α是调节因子,N为字符的数目,L
x为待检字符空间位置坐标,W是字符总宽度,ω为字符尺寸系数,i为字符序列数,
为基准点空间位置坐标,L
offset为坐标偏置。
在前述字符智能识别装置的具体实施方式中,进一步地,所述筛选模块包括:
排序单元,用于以位置置信度进行非极大值抑制,对交并比大于预设的交并比阈值的各组结果根据位置置信度进行排序,其中,每组结果包括:检测区域序号、组序号、待检字符的标签和位置置信度;
筛选单元,用于筛选出位置置信度大于预设的位置置信度的待检字符的标签,得到所述目标图片中的钢板字符。
需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。
以上所述是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明所述原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。