CN103150564A - 板材表面喷码字符识别装置及其方法 - Google Patents

Abstract

一种板材表面喷码字符识别装置及其方法，属于字符识别技术领域。探测器、控制器、CCD相机、图像采集单元、图像识别处理终端、本地数据库、声光报警、识别结果显示、人机交互、上层MES库管***。探测器与控制器相连，构成底层探测***；控制器与CCD相机相连，CCD相机与图像采集单元相连，构成图像抓拍***；图像采集单元与图像识别处理终端相连，图像识别处理终端分别与本地数据库、声光报警、识别结果显示、人机交互相连，构成字符识别处理***；图像识别处理终端通过以太网与上层MES库管***相连，上层MES库管***通过网络与本地数据库相连，构成字符信息交互平台。优点在于，实现辊道运输过程中板材的快速准确识别。

Description

板材表面喷码字符识别装置及其方法

技术领域

本发明属于字符识别技术领域，特别是提供了一种板材表面喷码字符识别装置及其方法，适用于冶金产成品板材表面喷码字符的自动识别。

技术背景

钢铁产品生产过程中，生产商会为每一块产品编码，并将编码以各种介质粘附在产品表面，这个过程称为“打标记”，粘附在产品上的编码也称为“标记”。在板材的生产过程中，标记是板材从生产到成品投放市场全过程跟踪、管理以及质量追溯的唯一标识。目前，国内大部分钢铁厂对于板材产品一般采用机械喷码设备，在板材的上表面喷上字符标记信息。而目前在钢板仓储过程中，一般通过人工的方式检查字符喷码来对仓储中的板材进行跟踪，采用人眼跟踪识别的方式不仅效率低下，而且往往存在由于识别出错造成的物流信息与实物不相符的问题。为了改善自动化程度，提高物流信息的实时性和准确性，采用基于机器视觉的字符识别装置实现平板表面喷码信息的自动读取。

中国专利局2008年公布的《手写板坯号自动识别方法及识别装置》（CN101615244A）、2010年公布的《钢坯号自动识别方法》（CN101739556A），可以看出目前钢铁厂已经对冶金在制品的表面字符标记采取自动识别装置识别，通过摄像机获取钢坯喷码图像，对钢坯图像进行一系列预处理，包括图像增强、滤波等，对图像进行二值化，分割单个字符，提取字符特征进行模板匹配实现字符识别。但是相对于冶金在制品表面字符标记比较固定单一，板材产品表面喷码信息较多，并且在实际生产过程中，板材表面的字符标记可能同时存在机械式自动喷印和人工喷印两种方式喷印，存在多格式多种类的喷印方式。同时，由于板材产品尺寸差异较大，给字符识别带来新的难度。

目前实际工作中研究字符识别的文献较多，主要集中在车牌识别、邮政编号识别、票据识别等，这些字符识别技术比较成熟，都能解决各自问题。但是目前并没有一套通用的字符识别方法，能够解决各种情况下的字符识别需要。现有的这些字符识别方法，在板材表面喷码自动识别上，识别率和识别速度都不能满足现场实际应用。因此，本发明针对钢铁产成品表面喷码自动识别的具体应用环节，提供合适的图像处理方法，并形成一套完整的冶金产品表面喷码字符识别装置，该装置不仅能解决现场产成品表面喷码信息自动读取问题，而且大大提高现场自动化和信息化水平。

发明内容

本发明的目的在于提供一种板材表面喷码字符识别装置及其方法，自动识别板材产品表面喷码字符，实现辊道上板材表面喷码字符的在线识别，实现辊道运输过程中板材的快速准确识别，并将识别结果与上层***做交互，利用反馈信息指导现场后续操作。

本发明采用先进的视感检测技术对辊道上的板材入库进行监控，获取辊道上板材表面喷码图像。利用字符图像识别***对图像进行处理，得到板材上表面喷码信息，将识别结果存入本地数据库，并与上层MES库管***作交互，确定实物信息并进行后续操作。

本发明的装置包括控制器1、图像采集单元2、图像识别处理终端3、本地数据库4、声光报警5、识别结果显示6、人机交互7、上层MES库管***8、CCD相机9、探测器10。探测器10与控制器1相连，构成底层探测***，用于检测辊道上板材；控制器1与CCD相机9相连，CCD相机9与图像采集单元2相连，构成图像抓拍***，用于获取辊道上板材图像；图像采集单元2与图像识别终端3相连，图像识别终端3分别与本地数据库4、声光报警5、识别结果显示6、人机交互7相连，构成字符识别处理***，用于板材表面喷码字符识别及处理；图像识别终端3通过以太网络与上层MES库管***8相连，上层MES库管***8可通过网络访问本地数据库4，实现识别***与上层库管***之间实时信息交互。

本发明的板材表面喷码字符识别方法：板材通过辊道运输进入库区，探测器10检测到板材到来信息，发送信号到控制器1，控制器1触发CCD相机9获取辊道上板材图像，图像采集单元2获取图像，并将图像传输到图像识别处理终端3进行图像字符自动识别处理，图像识别处理终端3对图像进行一系列处理，获取喷码信息，并将识别结果存入本地数据库4，同时识别结果显示6显示板材表面喷码钢板号，图像识别终端3通过以太网与上层MES库管***8做交互，获取MES库管***中的该板材相关信息，指导后续操作。上层MES库管***也可以访问本地数据库4获取入库板材信息。当图像识别终端3对图像处理失败或者识别结果出现错误时，控制声光报警5工作。同时，现场提供人机交互7便于现场工人人工对识别结果进行修改，通过图像识别终端3访问上层MES库管***。

所述的图像识别终端3对抓拍的辊道上板材图像，采用一系列图像处理方法，得到板材表面喷码字符信息。图像识别处理终端（3）对图像字符识别处理的步骤如下：

（1）针对抓拍的辊道上板材图像，首先通过中值滤波、直方图非线性变换、RGB转灰度等方法对图像进行预处理，减少图像的噪声干扰，增强图像效果。其次，由于板材产品尺寸宽度在1000~5000mm之间，板材位于辊道上位置区域不定，为了便于后续图像处理，这里采用背景差分方法，通过采集的辊道背景图像与目标图像作差分，可得到板材图像R_k(x,y)。

R_k(x,y)={(x,y)|f_k(x,y)-f₀(x,y),(x,y)∈M}

式中M为图像的总像素，f_k 、f₀分别为目标图像和背景图像像素点。

（2）对于切割出来的板材表面图像，需要对图像进行二值化，便于提取板材表面喷码字符信息。为了克服现场复杂光照的干扰，以及板材产品自身由于反光和喷印效果较差导致的字符图像与背景图像对比度较小的问题，采用改进的OTSU算法，利用多次迭代OTSU算法，对板材图像进行二值化。

（3）二值化后的板材图像一般只包含表面喷码字符信息以及一些噪声干扰信息，采取中值滤波算法对图像进行滤波。由于板材通过辊道运输过程中，板材位置相对辊道一般存在小角度的倾斜，这将导致二值化板材图像上字符区域同样存在倾斜，因此，利用最小二乘拟合方法计算平板图像上字符区域的倾斜角度，进行倾斜校正得到校正后的字符区域。

（4）利用水平垂直投影法对二值化板材表面图像上字符区域进行定位和分割，提取字符区域图像。采取基于经验指导的字符***合并算法分割出单个字符，对单个字符进行边框归一化，用于后续字符识别。

（5）在对图像进行定位分割的过程中，基于先验知识，判断原始板材表面喷码字符的格式，针对不同格式，采用不同的模板进行匹配。

（6）提取分割并归一化的字符的特征向量，与模板库中对应格式的模板进行模板匹配，选出最佳识别结果，整体图像识别完成后，输出识别结果。

图像处理过程包括：针对辊道上板材位置区域不定，因此首先需要定位辊道上板材图像区域，采用背景差分的方法，定位出板材表面图像区域；针对复杂光照条件、板材表面反光区域多变情况下，板材表面图像的二值化，采用改进的多次迭代OTSU方法，通过设立终止条件，得到满足后续识别需求的二值化图像；针对辊道上板材运输倾斜造成的二值化图像字符区域倾斜，通过最小二乘拟合方法，计算出字符区域的倾斜角度，利用倾斜角度校正字符区域；对于定位出的字符区域，由于机械喷印或人工喷印过程中，喷印效果不理想，导致最终二值化图像上字符出现粘连和分离的现象，采取基于经验指导的字符***合并处理的分割方法，准确分割出单个字符；对单个字符，先进行归一化，然后提取字符特征，并与特征模板进行匹配，给出识别结果。

本发明提出的是针对冶金板材产品表面字符喷码信息的识别，与目前用于钢铁行业的字符识别***不同之处在于识别对象为入库辊道上板材表面喷码字符。二者识别对象、识别环节以及识别难点都有较大不同，主要表现在板材产品规格尺寸变化较大，长度变化为2000~20000mm，宽度变化为1000~5000mm，这些差异给字符图像的获取以及图像处理增加很大难度，而钢坯尺寸比较固定；板材产品经过轧制修磨而成，表面比较光滑，但反光区域位置不定，而钢坯表面比较粗糙，基本不反光，在钢铁厂复杂光照条件下，板材表面字符图像的处理更加困难；板材为产成品，表面喷码信息内容较多，不仅可能有钢板规格信息，而且一般包含合约号和钢板号，以及厂标等信息，而钢坯一般只在端面喷印钢坯号，字符信息较少；板材产品表面喷印字符信息格式多变，存在人工喷印和机械喷印两种方式，喷印格式存在笔划式和点阵式，笔划式可能存在多字体格式，点阵式又可能存在单点阵式和多点阵式，因此板材产品字符识别对象格式较多，存在多字体识别。本专利针对板材表面喷码字符识别的特殊情况，提出一套板材表面喷码字符自动识别装置。

附图说明

图1 是板材表面喷码字符自动识别装置的结构图，其中，探测器10、控制器1、CCD相机9、图像采集单元2、图像识别处理终端3、本地数据库4、声光报警5、识别结果显示6、人机交互7、上层MES库管***8。

图2是辊道上板材图像字符识别流程。通过对抓拍辊道上板材图像进行预处理，定位切割出板材图像，对图像二值化，字符区域定位，并进行倾斜校正，对校正后的字符图像进行分割，分割出的单字符归一化，提取字符特征，并通过对字符处理过程分析，判断喷码图像格式，采用模板匹配方式，给出识别结果。

具体实施方式

本发明的的装置包括控制器1、图像采集单元2、图像识别终端3、本地数据库4、声光报警5、识别结果显示6、人机交互7、上层MES库管***8、CCD相机9、探测器10。探测器10与控制器1相连，构成底层探测***，用于检测辊道上板材；控制器1与CCD相机9相连，CCD相机9与图像采集单元2相连，构成图像抓拍***，用于获取辊道上板材图像；图像采集单元2与图像识别终端3相连，图像识别终端3分别与本地数据库4、声光报警5、识别结果显示6、人机交互7相连，构成字符识别处理***，用于板材表面喷码字符识别及处理；图像识别终端3通过以太网络与上层MES库管***8相连，上层MES库管***8可通过网络访问本地数据库4，实现识别***与上层库管***之间实时信息交互。

具体操作流程是：板材11通过辊道运输进入库区，探测器10检测到板材到来信息，发送信号到控制器1，控制器1触发CCD相机9获取辊道上板材图像，图像采集单元2获取图像，并将图像传输到图像识别处理终端3进行图像字符自动识别处理，图像识别处理终端3对图像进行一系列处理，获取喷码信息，并将识别结果存入本地数据库4，同时识别结果显示6显示板材表面喷码钢板号，图像识别终端3通过以太网与上层MES库管***8做交互，获取MES库管***中的该板材相关信息，指导后续操作。上层MES库管***也可以访问本地数据库4获取入库板材信息。当图像识别终端3对图像处理失败或者识别结果出现错误时，控制声光报警5工作。同时，现场提供人机交互7便于现场工人人工对识别结果进行修改，通过图像识别终端3访问上层MES库管***。

图像识别处理终端3对辊道上板材图像的处理过程为：

（1）图像预处理单元，对抓拍的辊道上板材图像，采取RGB转灰度图、中值滤波、直方图非线性变换等算法，去除图像噪声干扰，增强图像效果，便于后续处理。

（2）板材图像定位切割单元，由于板材产品尺寸规格差别较大，为了便于后续图像处理，只提取板材表面图像作为后续处理图像，因此采取背景差分方法，获取辊道背景图像与目标图像做差分，得到只包含板材图像。在实际操作过程，为了尽量减少光照变化等干扰，采取实时更新背景图像的方式。

（3）图像二值化单元，现场由于光照条件比较复杂，且板材表面反光区域不一致，表面喷码字符与板材表面背景图像的对比度不明显，因此采取改进的OTSU算法，改善图像二值化效果。

（4）字符区域定位，倾斜校正，对于二值化后的板材图像，由于辊道上板材位置不固定，且一般板材在辊道上存在小角度倾斜，导致二值图像上字符区域整体存在倾斜，通过检测字符区域倾斜角，进行倾斜校正，定位字符区域。

（5）字符分割及归一化，对于提取的字符区域，需要将每个字符分割开来，由于识别对象是板材表面喷印的钢板号信息，因此需要先切分出钢板号字符串，然后分割出单个字符。对于分割出的单个字符，采用尺寸归一化，便于后续识别需要。

（6）字符特征提取，为了满足现场字符识别实时性的需求，采取提取字符特征的方式，识别字符。提取分割并归一化字符的特征，存入特征向量组。

（7）喷码格式判断，在实际生产过程中，板材表面喷码方式可能有人工喷码和机器喷码两种，实际字符喷印格式有笔划式和点阵式，这些不同格式字符如果统一识别时，会降低字符识别率。因此通过先验知识指导，提前判断喷码格式，并针对不同喷码格式，采取不同的目标模板进行模板匹配。

（8）模板匹配，传统模板匹配是对整个字符的全部像素点进行匹配，比较相似度，这里，通过提取目标字符和模板字符的特征，通过匹配比较目标字符特征向量和模板字符特征向量，得到识别结果。

Claims (3)

1.一种板材表面喷码字符识别装置，包括控制器（1）、图像采集单元（2）、图像识别处理终端（3）、本地数据库（4）、声光报警单元（5）、识别结果显示单元（6）、人机交互单元（7）、上层MES库管***（8）、CCD相机（9）、探测器（10）；探测器（10）与控制器（1）相连，构成底层探测***，用于检测辊道上板材到来；控制器（1）与CCD相机（9）相连，CCD相机（9）与图像采集单元（2）相连，共同构成图像抓拍***，用于获取辊道上板材图像；图像采集单元（2）与图像识别处理终端（3）相连，图像识别处理终端（3）又分别与本地数据库（4）、声光报警单元（5）、识别结果显示单元（6）、人机交互单元（7）相连，共同构成字符识别处理***，用于板材表面喷码字符识别及处理；图像识别终端（3）通过以太网与上层MES库管***（8）相连，上层MES库管***（8）通过网络与本地数据库（4）相连，构成识别信息交互平台。

2.一种采用权利要求1所述的装置进行板材表面喷码字符自动识别的方法，其特征在于，板材（11）通过辊道运输进入库区，探测器（10）检测到板材到来信息，发送信号到控制器（1），控制器（1）接收信号后触发CCD相机（9）拍照，图像采集单元（2）获取辊道上板材表面图像，并将图像传输到图像识别处理终端（3）进行图像字符识别处理；所获得的识别结果存入本地数据库（4），同时将识别结果显示在识别结果显示单元（6），图像识别处理终端（3）将识别结果与上层MES库管***（8）做交互，获取***中该板材相关信息，指导后续操作；上层MES库管***（8）访问本地数据库（4）获取入库板材信息；当图像识别处理终端（3）对抓拍图像处理识别或识别结果出错时，将控制声光报警单元（5）工作，同时，提供人机交互单元（7）便于现场工人修改识别结果，或者通过图像识别处理终端（3）访问上层MES库管***（8）。

3.根据权利要求2所述的方法，其特征在于，图像识别处理终端（3）对图像字符识别处理的步骤如下：

（1）针对抓拍的辊道上板材图像，首先通过中值滤波、直方图非线性变换、RGB转灰度方法对图像进行预处理，减少图像的噪声干扰，增强图像效果；通过采集的辊道背景图像与目标图像作差分，得到板材图像R_k(x,y)；

R_k(x,y)={(x,y)|f_k(x,y)-f₀(x,y),(x,y)∈M}

式中M为图像的总像素，f_k 、f₀分别为目标图像和背景图像像素点；

（2）对于切割出来的板材表面图像，需要对图像进行二值化，便于提取板材表面喷码字符信息；采用OTSU算法，利用多次迭代OTSU算法，对板材图像进行二值化；

（3）二值化后的板材图像一般只包含表面喷码字符信息以及一些噪声干扰信息，采取中值滤波算法对图像进行滤波；利用最小二乘拟合方法计算平板图像上字符区域的倾斜角度，进行倾斜校正得到校正后的字符区域；

（4）利用水平垂直投影法对二值化板材表面图像上字符区域进行定位和分割，提取字符区域图像；采取基于经验指导的字符***合并算法分割出单个字符，对单个字符进行边框归一化，用于后续字符识别；

（5）在对图像进行定位分割的过程中，基于先验知识，判断原始板材表面喷码字符的格式，针对不同格式，采用不同的模板进行匹配；

（6）提取分割并归一化的字符的特征向量，与模板库中对应格式的模板进行模板匹配，选出最佳识别结果，整体图像识别完成后，输出识别结果。

Images