CN101576956A - 基于机器视觉的在线字符检测方法和*** - Google Patents

Abstract

本发明属于自动检测技术领域，涉及一种基于机器视觉的在线字符检测方法，该检测方法包括图像预处理、目标提取、字模提取、字符序列模式产生、字符检测等多个软件模块，由上述的模块组合起来形成两个独立的流程：产品建立操作流程和字符实时检测流程。本发明同时提供一套实现上述检测方法的在线检测***。本发明提供的检测***和方法，具有很强的鲁棒性，可以有效降低由于环境或者其他因素导致的亮度、对比度、质量、字符笔画、旋转和尺度等图像变化的影响，可以实现快速准确的字符区域定位、高效实时的字符在线检测。

Description

基于机器视觉的在线字符检测方法和***

技术领域

本发明属于计算机视觉、图像处理和模式识别技术领域，涉及一种在线字符检测方法和***。

背景技术

随着制造企业规模化、信息化的不断发展，生产厂家对在线产品标签等字符检测的要求越来越高，需要在高速的生产线上实现高度准确性的检测。依靠人工检测的方法已经根本无法胜任，高速高精度的机器视觉检测的应用可大幅提高产品质量和可靠性。字符检测是利用计算机自动辨识产品标签或包装上的字符，是模式识别的一个重要分支，属于字符识别技术的范畴。字符识别技术这几年发展迅速，在物流信息、仪表读数、车牌识别、票据识别、身份证鉴别等方面有广阔的应用前景，以达到提高效率和降低人工成本的目的。目前，字符的识别方法主要有基于模板匹配的方法，基于字符结构的方法和基于神经网络的方法，这些现有的图像识别方法都或多或少的带有一定的局限性，在一种环境下效果很好的方法换一种环境识别效果可能很不理想。一些有一定通用性，识别效果好的方法，往往计算量很大，难以实时应用。

发明内容

为了克服现有技术中单一识别方法检测能力的不足和通用方法无法实时处理的问题，本发明提供一种在线字符检测方法和检测***，利用本发明提出的检测方法和检测***，能够实现快速、高精度字符检测功能。

本发明解决其技术问题所采用的方案如下：

一种基于机器视觉的在线字符检测方法，包括下列步骤，其中的(1)至(9)步骤为产品建立操作流程，步骤(10)至(14)为字符在线检测流程：

(1)对采集到的包含字符的参考图像进行预处理；

(2)在经过预处理后得到的参考图像中选择字符区域或者邻近位置中具有刚性特征的部分作为定位目标；

(3)在定位目标中提取闭合的轮廓特征和非闭合的线特征，按照尺度大小对提取的几何特征进行排序；

(4)按照从大到小的顺序将每一尺度设为分割阈值，把所提取的几何特征分成大尺度特征集和小尺度特征集两个部分，通过大尺度特征集在参考图像中进行全局快速特征匹配，在粗定位的基础上再利用小尺度特征集进行局部特征匹配以精确定位目标，记录每次定位的匹配精度和速度，依据匹配速度确定各尺度特征的加权系数，选择在匹配速度和匹配精度之间取得最大平衡的尺度作为最佳尺度阈值并对提取的几何特征进行分割，把定位目标表示成大小两个特征集合及特征加权系数构成的数据结构；

(5)从参考图像中提取字模，并指定字模的坐标原点；

(6)通过设置长度、宽度、名字和字模原点来定义空字模；

(7)对字模的像素值进行修改，改善字模子图细节，并进行掩模处理；

(8)提取字模的七个Hu不变矩特征，采用公式 $R(u,v)=\frac{\underset{i=1}{\overset{7}{\mathrm{\Σ}}}{M}_i{N}_i(u,v)}{\sqrt{\underset{i=1}{\overset{7}{\mathrm{\Σ}}}{M}_i^2\underset{i=1}{\overset{7}{\mathrm{\Σ}}}{N}_i^2(u,v)}}$ 计算字模之间的相似度并生成相似度系数矩阵，式中，R(u，v)是搜索位置(u，v)上的不变矩相关值，M_i为匹配图不变矩，N_i(u，v)参考图搜索位置(u，v)上的不变矩；

(9)生成字符序列模式，其中包含：对应字模库、组成序列的待检测字符、字符序列模式的坐标原点；序列中各字符基于模式原点的相对坐标、序列中各字符的检测接受阈值和置信阈值；

(10)设定在线字符检测***的运行参数，并利用该装置实时采集包含待检字符的图像；

(11)对采集到的包含待检字符的图像进行图像预处理；

(12)在设定的搜索区域内通过大尺度特征集及相关加权系数在指定搜索区域内进行粗定位，在此基础上通过小尺度特征集及相关加权系数对目标精确定位，根据所设定的运行参数调整字模图像和匹配图像子块重复上述粗定位和精确定位过程，选择与提取目标具有最大相似度且该值超过定位接受阈值的图像区域作为定位结果；

(13)根据定位结果，将全局坐标系转换为以定位目标的原点作为原点的局部坐标系；

(14)进行静态字符序列、动态字符序列和空字符的检测。

作为优选实施方式，上述的在线字符检测方法，步骤(3)中，利用Canny算子提取特征；步骤(10)中设定的运行参数包括目标定位参数和字符检测参数，其中目标定位参数包括设定定位接受阈值、搜索区域以及目标发生旋转、尺度变化的容许范围，字符检测参数包括设定待检字符序列中各字符发生旋转、平移、尺度变化的容许范围。

步骤(14)中的静态字符序列的检测可以通过以下步骤进行：

第一步，根据定位结果和序列中各字符基于模式原点的相对坐标，在目标位置选取图像子块与待检字符的字模进行不变矩归一化相关匹配计算，得到相似度，依据预设的运行参数调整匹配位置连续进行匹配，如果最大相似度小于检测接受阈值，则该字符检测失败，否则，继续执行下一步；

第二步，根据字模编译所得相似度系数矩阵和预设的相似度阈值，确定该字模库中与待检字符高度相似而可能引起误判的易混字符；

第三步，按照第一步所述过程计算所有易混字符的相似度；

第四步，如果待检字符的最大相似度与易混字符的最大相似度之间的差值大于检测置信阈值，则该字符检测成功；否则检测失败。

步骤(15)中的动态字符序列的检测通过以下步骤进行：

第一步，根据定位结果和序列中各字符基于模式原点的相对坐标，在目标位置选取图像子块与待检字符实例的字模逐一进行不变矩归一化相关匹配计算，得到相似度，并依据预设的运行参数调整匹配位置连续进行匹配，如果任一字符或字符实例的最大相似度都低于检测接受阈值，则检测失败；

第二步，取具有最大相似度的字符或字符实例作为待检字符；

第三步，根据字模编译所得相似度系数矩阵和所设相似度阈值，在该字模库中确定与待检字符高度相似而可能引起误判的易混字符。

第四步，按照第一步所述过程计算所有易混字符的相似度。

第五步，如果待检字符的最大相似度与易混字符的最大相似度之间的差值大于检测置信阈值，则该字符检测成功；否则检测失败。

步骤(15)在所有其他非空字符检测完毕以后通过以下步骤进行空字符的检测：先通过比较待检空字符的平均灰度值和其相邻字符的平均灰度值来确定空字符是否存在，再计算空字符匹配度并与检测接受阈值进行比较，以此判断空字符是否检测成功。

本发明同时提供一种实现上述基于机器视觉的在线字符检测方法的***，包括摄像机、光源、图像采集卡和计算机，所述的摄像机用于在线采集包含字符的图像，所采集到的图像经过图像采集卡传送至计算机，所述的光源采用包围摄像机的环形光源，在所述的计算机内存储有对参考图像进行预处理、目标提取和字模提取后生成的数据以及字符序列模式数据，并存储有对图像进行预处理、目标定位以及字符检测软件，用于对静态字符序列、动态字符序列和空字符进行在线检测。

本发明提供的检测***和方法，综合应用了图像处理、模式识别、机器视觉领域的技术，有效提取目标和字符的特征信息，在目标定位的基础上进行检测，具有很强的鲁棒性，可以有效降低由于环境或者其他因素导致的亮度、对比度、质量、字符笔画、旋转和尺度等图像变化的影响，可以实现快速准确的字符区域定位、高效实时的字符在线检测。

附图说明

图1：本发明硬件***框图；

图2：本发明软件产品建立操作流程图；

图3：本发明软件字符实时检测流程图；

图1中：1摄像机，2光源，3传输线，4图像采集卡，5计算机。

具体实施方式

本发明是一种通用字符检测***，该硬件***由硬件部分和软件部分组成。

如图1所示，该硬件部分由摄像机、光源、传输线、图像采集卡和计算机组成。本实施例的摄像机镜头采用线阵CCD摄像头。光源采用包围摄像机的环形光源。图像采集卡采用基于微型计算机PCI总线结构具有图像前端处理的外插卡，与微机的已有资源形成一个比较完整的实时图像采集处理***。摄像机采集实时图像，大小为800×600，通过传输线及图像采集卡送到计算机存储为BMP格式和并进行实时检测。

本发明的字符检测***由硬件部分和软件部分组成；硬件部分采用计算机作为处理和控制中心；软件部分由图像预处理、目标提取、字模提取、字符序列模式产生、字符检测等多个模块组成。在实际应用中，上述模块组合起来形成两个独立的流程：如图2所示的产品建立操作流程和如图3所示的字符实时检测流程。下面对软件***做详细的说明。

1)图像预处理模块包括：图像灰度化、驱除噪声、灰度拉伸、二值化和形态学滤波。

图像灰度化，摄像头实时拍摄的图像是16位位图(RGB565格式)数据，为了便于后续的快速图像处理，需对图像数据进行转换，使彩色图像变为256级灰度图。

去除噪声，图像中不可避免的含有噪声，随之采用中值滤波对图像进行预处理。

灰度拉伸，为了增强背景区域和字符区域的对比度，对图像进行灰度拉伸。

二值化，对灰度图像进行二值化处理，采用最大类间方差与最小类内方差比的方法，自适应计算灰度阈值，小于此阈值的区域认为是目标区域，大于此阈值的区域的认为是背景区域。

形态学滤波，对二值图像进行形态学滤波处理，采用膨胀、腐蚀、开操作和闭操作相结合的综合操作。

2)目标提取模块，包括有：目标选择、特征提取、定位训练。

目标选择，在参考图像中选择字符区域或者邻近位置具有显著刚性特征的部分作为定位目标。

特征提取，利用Canny算子在定位目标中提取闭合的轮廓特征和非闭合的线特征，按照尺度大小对提取的几何特征进行排序。

定位训练，按照从大到小的顺序将每一尺度设为分割阈值，把所提取的几何特征分成大尺度特征集和小尺度特征集两个部分，通过大尺度特征集在参考图像中进行全局快速特征匹配，在粗定位的基础上再利用小尺度特征集进行局部特征匹配以精确定位目标，记录每次定位的匹配精度和速度，依据匹配速度确定各尺度特征的加权系数，选择在匹配速度和匹配精度之间取得最大平衡的尺度作为最佳尺度阈值并对提取的几何特征进行分割，把目标表示成大小两个特征集合及特征加权系数构成的数据结构，作为后续目标定位的计算依据，训练过程可以加快字符检测时目标定位的速度。

3)字模提取模块包括有：普通字模提取、空字模定义、字模编辑、字模编译。

字模提取，从参考图像中提取字符图像并命名，具有相同名称的多个字模称为该字符的多个实例，并指定字模的坐标原点，一般设为字模的几何中心，以便当字符发生旋转和缩放时降低匹配计算量。

空字模定义，通过设置长度、宽度、名字和字模原点来定义空字模，以增强字符检测的灵活性，与普通字模不同，空子模不包含任何图像象素。

字模编辑，对字模图像的像素值进行修改，改善字模子图细节；对提取的字模图像进行掩模处理，例如对字模的虚化或羽化边缘进行掩摸，则后续字模编译过程不提取掩摸部分的字符特征，有利于提高字符检测的速度和精度。

字模编译，提取字模的七个Hu氏不变矩特征，采用如图1所示的不变矩归一化相关算法计算字模之间的相似度并生成相似度系数矩阵，相似度系数矩阵用于在字符检测时排除高度相似而可能引起误判的字符干扰。

$R(u,v)=\frac{\underset{i=1}{\overset{7}{\mathrm{\Σ}}}{M}_i{N}_i(u,v)}{\sqrt{\underset{i=1}{\overset{7}{\mathrm{\Σ}}}{M}_i^2\underset{i=1}{\overset{7}{\mathrm{\Σ}}}{N}_i^2(u,v)}}---\left(1\right)$

其中，R(u，v)是搜索位置(u，v)上的不变矩相关值，M_i为匹配图不变矩，N_i(u，v)参考图搜索位置(u，v)上的不变矩。在上述字模相似度计算中，首先把两个字模进行归一化处理，因而(u，v)取值(0，0)。

4)字符序列模式产生模块包括：字符序列模式设置、字符序列模式训练。

字符序列模式设置包括简单模式设置和高级模式设置。简单模式设置指定固定不变的待检测字符序列，即每个字符位置对应一个固定字模或者同一字模的所有实例，设定字符序列的检测顺序(左走向或右走向)和训练区域，并设定字符序列模式的坐标原点和序列字符的相对位置。高级模式设置用于检测动态变化的字符序列，如递增或递减的生产批号或日期，其与简单模式设置的主要区别在于，待检字符序列的字符位置可以包含多个字符或者只包含同一字模的若干实例，提高了检测的灵活性。

字符序列模式训练，将前述设置内容及对应字模综合成特殊数据结构，称为字符序列模式，其中包含：对应字模库；组成序列的待检测字符；字符序列模式的坐标原点；序列中各字符基于模式原点的相对坐标；序列中各字符的检测接受阈值和置信阈值。

5)字符检测模块，包括：运行参数设定、目标定位、坐标转换和字符检测。

运行参数设定，设置目标定位参数和字符检测参数，其中目标定位参数包括设定定位接受阈值、搜索区域(默认为整个图像)以及目标发生旋转、尺度变化的容许范围，字符检测参数包括设定待检字符序列中各字符发生旋转、平移、尺度变化的容许范围，其中目标和尺度变化的容许范围限制在正负0.1之间。

目标定位，依据目标提取模块的训练结果，在设定的搜索区域内通过大尺度特征集及相关加权系数在指定搜索区域内进行粗定位，在此基础上通过小尺度特征集及相关加权系数对目标精确定位，根据设定的旋转和尺度容许范围调整字模图像和匹配图像子块重复上述粗定位和精确定位过程，选择与提取目标具有最大相似度且该值超过定位接受阈值的图像区域作为定位结果。

坐标转换，根据定位结果，将全局坐标系转换为以定位目标的原点作为原点的局部坐标系。

字符检测，包括：静态字符序列的检测、动态字符序列的检测、空字符的检测。

静态字符序列的检测通过以下步骤进行：

第一步，根据定位结果和序列中各字符基于模式原点的相对坐标，在目标位置选取图像子块与待检字符的字模进行不变矩归一化相关匹配计算，所得结果为相似度，其值在0到1之间，依据预设的平移变化的容许范围调整匹配位置连续进行匹配，其中相似度的最大值称为最大相似度。如果最大相似度小于检测接受阈值，则该字符检测失败。

第二步，根据字模编译所得相似度系数矩阵和预设的相似度阈值，确定该字模库中与待检字符高度相似而可能引起误判的易混字符。

第三步，按照第一步所述过程计算所有易混字符的相似度。

第四步，如果待检字符的最大相似度与易混字符的最大相似度之间的差值大于检测置信阈值，则该字符检测成功；否则检测失败。

动态字符序列的检测通过以下步骤进行：

第一步，根据定位结果和序列中各字符基于模式原点的相对坐标，在目标位置选取图像子块与待检字符实例的字模逐一进行不变矩归一化相关匹配计算，所得结果为相似度，其值在0到1之间，并依据预设的平移变化容许范围调整匹配位置连续进行匹配，其中相似度的最大值称为最大相似度。如果任一字符或字符实例的最大相似度都低于检测接受阈值，则检测失败。

第二步，取具有最大相似度的字符或字符实例作为待检字符。

第三步，根据字模编译所得相似度系数矩阵和所设相似度阈值，在该字模库中确定与待检字符高度相似而可能引起误判的易混字符。

第四步，按照第一步所述过程计算所有易混字符的相似度。

第五步，如果待检字符的最大相似度与易混字符的最大相似度之间的差值大于检测置信阈值，则该字符检测成功；否则检测失败。

空字符的检测，在所有其他非空字符检测完毕以后检测空字符。先通过比较待检空字符的平均灰度值和其相邻字符的平均灰度值来确定空字符是否存在，再计算空字符匹配度并与检测接受阈值进行比较，以此判断空字符是否检测成功。

下面举例说明本发明的字符检测软件***。

产品建立操作流程：照相机采集一帧作为参考图像，调用图像预处理模块对参考图像进行增强、滤波和二值化处理；在参考图像中选择字符区域或者邻近位置具有显著刚性特征的部分作为定位目标，比如图3所示绿色方框中部分，提取该目标的几何特征，对照参考图像进行训练，将目标表示成一个典型特征及其加权系数构成的数据结构并保存到产品信息文件；字符提取模块提取字符图像，指定字模的坐标原点，设定相似度阈值，一般设为0.5左右，并编译生成与字模对应的由典型特征及其加权系数组成的数据结构以及相似度矩阵，把字模图像和编译结果保存到产品信息文件；字符序列模式产生模块，指定待检测的最长字符序列，如果同一字符位置设定多个字符，则可以用于检测动态字符序列，并逐一为序列各字符成员设定用于判断检测是否成功的检测接受阈值和置信阈值，通常接受阈值设置为0.5左右，置信阈值设置为0.2左右，通过训练生成字符序列模式，在产品信息文件中保存模式数据，并进行检测测试。所述产品建立流程用于在字符实时检测之前，对每一种待检的新产品在文件中建立其相关的产品信息。

字符检测流程：首先选定产品，基于对字符区域和字符可能变化的观测结果，通过运行参数设定模块设置目标定位和字符检测的相关参数；利用本发明的在线字符检测***实时采集包含待检字符的图像；调用图像预处理模块对输入图像进行增强、滤波和二值化处理；依据目标提取模块中生成的存储目标特征的数据结构，在指定搜索区域内进行匹配计算，匹配基于目标形状而不是灰度级象素值，任一位置的匹配需要遍历预设的平移、旋转和尺度变化的容许范围，选择具有最大相似度且该值超过定位接受阈值的区域作为定位结果；在定位区域，字符检测模块调用字符序列模式产生模块生成的数据结构对待检序列中每个字符进行检测，并输出相应的信息，如果待检序列中一个以上字符检测失败，则保存错误图像及相关信息，同时输出报警信号。

Claims (7)

1.一种基于机器视觉的在线字符检测方法，包括下列步骤，其中的(1)至(9)步骤为产品建立操作流程，步骤(10)至(14)为字符在线检测流程：

(1)对采集到的包含字符的参考图像进行预处理；

(2)在经过预处理后得到的参考图像中选择字符区域或者邻近位置中具有刚性特征的部分作为定位目标；

(3)在定位目标中提取闭合的轮廓特征和非闭合的线特征，按照尺度大小对提取的几何特征进行排序；

(4)按照从大到小的顺序将每一尺度设为分割阈值，把所提取的几何特征分成大尺度特征集和小尺度特征集两个部分，通过大尺度特征集在参考图像中进行全局快速特征匹配，在粗定位的基础上再利用小尺度特征集进行局部特征匹配以精确定位目标，记录每次定位的匹配精度和速度，依据匹配速度确定各尺度特征的加权系数，选择在匹配速度和匹配精度之间取得最大平衡的尺度作为最佳尺度阈值并对提取的几何特征进行分割，把定位目标表示成大小两个特征集合及特征加权系数构成的数据结构；

(5)从参考图像中提取字模，并指定字模的坐标原点；

(6)通过设置长度、宽度、名字和字模原点来定义空字模；

(7)对字模的像素值进行修改，改善字模子图细节，并进行掩模处理；

(8)提取字模的七个Hu不变矩特征，采用公式 $R(u,v)=\frac{\underset{i=1}{\overset{7}{\mathrm{\Σ}}}{M}_i{N}_i(u,v)}{\sqrt{\underset{i=1}{\overset{7}{\mathrm{\Σ}}}{M}_i^2\underset{i=1}{\overset{7}{\mathrm{\Σ}}}{N}_i^2(u,v)}}$ 计算字模之间的相似度并生成相似度系数矩阵，式中，R(u，v)是搜索位置(u，1’)上的不变矩相关值，M_i为匹配图不变矩，N_i(u，v)参考图搜索位置(u，v)上的不变矩；

(9)生成字符序列模式，其中包含：对应字模库、组成序列的待检测字符、字符序列模式的坐标原点；序列中各字符基于模式原点的相对坐标、序列中各字符的检测接受阈值和置信阈值；

(10)设定在线字符检测***的运行参数，并利用该装置实时采集包含待检字符的图像；

(11)对采集到的包含待检字符的图像进行图像预处理；

(12)在设定的搜索区域内通过大尺度特征集及相关加权系数在指定搜索区域内进行粗定位，在此基础上通过小尺度特征集及相关加权系数对目标精确定位，根据所设定的运行参数调整字模图像和匹配图像子块重复上述粗定位和精确定位过程，选择与提取目标具有最大相似度且该值超过定位接受阈值的图像区域作为定位结果；

(13)根据定位结果，将全局坐标系转换为以定位目标的原点作为原点的局部坐标系；

(14)进行静态字符序列、动态字符序列和空字符的检测。

2.根据权利要求1所述的在线字符检测方法，其特征在于，步骤(3)中，利用Canny算子提取特征。

3.根据权利要求1所述的在线字符检测方法，其特征在于，步骤(10)中设定的运行参数包括目标定位参数和字符检测参数，其中目标定位参数包括设定定位接受阈值、搜索区域以及目标发生旋转、尺度变化的容许范围，字符检测参数包括设定待检字符序列中各字符发生旋转、平移、尺度变化的容许范围。

4.根据权利要求1所述的在线字符检测方法，其特征在于，步骤(14)中的静态字符序列的检测通过以下步骤进行：

第一步，根据定位结果和序列中各字符基于模式原点的相对坐标，在目标位置选取图像子块与待检字符的字模进行不变矩归一化相关匹配计算，得到相似度，依据预设的运行参数调整匹配位置连续进行匹配，如果最大相似度小于检测接受阈值，则该字符检测失败，否则，继续执行下一步；

第二步，根据字模编译所得相似度系数矩阵和预设的相似度阈值，确定该字模库中与待检字符高度相似而可能引起误判的易混字符；

第三步，按照第一步所述过程计算所有易混字符的相似度；

第四步，如果待检字符的最大相似度与易混字符的最大相似度之间的差值大于检测置信阈值，则该字符检测成功；否则检测失败。

5.根据权利要求1所述的在线字符检测方法，其特征在于，步骤(15)中的动态字符序列的检测通过以下步骤进行：

第一步，根据定位结果和序列中各字符基于模式原点的相对坐标，在目标位置选取图像子块与待检字符实例的字模逐一进行不变矩归一化相关匹配计算，得到相似度，并依据预设的运行参数调整匹配位置连续进行匹配，如果任一字符或字符实例的最大相似度都低于检测接受阈值，则检测失败；

第二步，取具有最大相似度的字符或字符实例作为待检字符；

第三步，根据字模编译所得相似度系数矩阵和所设相似度阈值，在该字模库中确定与待检字符高度相似而可能引起误判的易混字符。

第四步，按照第一步所述过程计算所有易混字符的相似度。

第五步，如果待检字符的最大相似度与易混字符的最大相似度之间的差值大于检测置信阈值，则该字符检测成功；否则检测失败。

6.根据权利要求1所述的在线字符检测方法，其特征在于，步骤(15)在所有其他非空字符检测完毕以后通过以下步骤进行空字符的检测：先通过比较待检空字符的平均灰度值和其相邻字符的平均灰度值来确定空字符是否存在，再计算空字符匹配度并与检测接受阈值进行比较，以此判断空字符是否检测成功。

7.一种基于机器视觉的在线字符检测***，包括摄像机、光源、图像采集卡和计算机，其特征在于，所述的摄像机用于在线采集包含字符的图像，所采集到的图像经过图像采集卡传送至计算机，所述的光源采用包围摄像机的环形光源，在所述的计算机内存储有对参考图像进行预处理、目标提取和字模提取后生成的数据、以及字符序列模式数据，并存储有对图像进行预处理、目标定位以及字符检测软件，用于对静态字符序列、动态字符序列和空字符进行在线检测。

Images