CN106960196A - 基于模板匹配和svm的工业视频小数字识别方法 - Google Patents

Abstract

本发明公开了一种基于模板匹配和SVM的工业视频小数字识别方法。用于解决工业生产多场景模式下，识别方法无法保证鲁棒性及识别率低的难题。实现步骤是：将采集的视频图像经过gamma反矫正回到原始状态；样本采用RGB最小分量二值化并依照水平垂直投影进行切割；采用基于结构特征的模板匹配和基于HOG特征的SVM级联识别对数字样本识别；根据生产现场输出条件将符合需求的识别结果通过串口输出。应用本发明进行工业领域监控视频中小数字识别具有：自适应行强、识别率高、识别速度快、操作简单等优点。相比于现有的识别方法，本发明在满足同等工业速度要求下对小数字的识别率提高了30％，并可根据不同的输出条件，应用于多种工业场景。

Description

基于模板匹配和SVM的工业视频小数字识别方法

技术领域

本发明属于计算机应用技术领域，主要涉及应用于工业领域监控视频中的小数字识别方法，具体是一种基于模板匹配和SVM的工业视频小数字识别方法，应用于工业生产领域的实时监控。

背景技术

印刷体数字识别技术是模式识别领域的一个重要分支，在实际应用中一直被推广，主要包括以下领域：车牌识别***、电表数字识别***和电子账单识别。同时，随着工业生产逐步机械化，很多工厂也开始采用印刷体数字识别技术来监控生产流程。比如：沥青生产现场，采集设备获取监控显示设备中的视频图像，通过识别***捕获视频中的有用数字信息，从而达到监控生产过程。再例如玻璃生产现场，通过识别视频中的数字来获取原料温度、湿度、风干程度、搅拌程度等信息。然而工业实际生产过程中的复杂条件使监控视频中的数字信息存在以下几个问题：数字像素少、数字模糊、有毛刺、工业场景多变，这就导致了以往的印刷体数字识别方法并不能得到很好的适用性。结合数字识别技术目前主流的方法有三种：

第一种是早期提出的基于目标点数目的模板匹配识别方法，该方法实现简单，速度快，但该方法的识别效果依赖于样本特征向量的提取。此前，关于印刷体数字模板匹配的特征选取，主要采用不同区域内像素点权重值组合成特征向量。由于监控视频中的图像变动快，经常出现图像模糊，被监控对象包含的有效像素点少，数字有毛刺等现象。单纯的选取区域像素值作为特征进行匹配是不够的。

第二种是YingWen在2011年IEEE Transactions on IntelligentTransportation System上发表的文章An Algorithm for License Plate RecognitionApplied to Intelligent Transportation System提出的车牌识别方法。文章中提出的方法主要采用基于伯尔尼兹和卡尔曼滤波的阴影剔除方法和支持向量机分类。使得该方法在光照下的车牌也能有很好的识别结果。然而车牌号码存在这样的特性：字符间间距大，字符不会发生黏连现象，字符像素点多，即时存在拍摄角度问题，字符尺寸也在10*14Pixel以上；考虑车牌特性，将YingWen提出的车牌识别方法引入到工业生产场景，对黏连的字符不够鲁棒，实用性不高。

第三种是背景文通科技有限公司推出的一款准确度高、速度快能够应用于多平台的字符OCR识别算法；包含智能图像处理、亚洲文字识别、手写识别、二维条码识别等功能，广泛应用于金融保险、智能交通、税务、公共安全、政府等行业领域。该软件功能强大，通用性强，但该***专用型不强，在自动化的工业生产场景中，不能够达到实时识别监控视频效果，识别率低、不适合工业生产现场。

综上，现有的三种识别方法应用于工业领域场景中，识别监控视频中的数字信息存在数字识别率低，识别速度慢，***不鲁棒的缺陷。

发明内容

本发明的目的在于避免上述已有技术的不足，提出一种识别率高、***稳定、满足工业速度要求、能适应多种工业自动化过程的基于模板匹配和SVM的工业视频小数字识别方法。

本发明是一种基于模板匹配和支持向量机的工业视频小数字识别监控方法，其特征在于，包括有如下步骤：

(1)工业自动化场景图像数据初始化：创建样本结构特征数组strFeature，样本训练文件svm.xml，切割数字样本集VecImg；读取工业自动化场景的初始化文件param.xml，获得自动化场景的模板样本、图像二值化灰度阈值threshold、获取输出条件end、待识别数字数目num、数字矩形框的位置rect_i,其中i为0,1,...,num-1；根据以上各参数计算模板样本的结构特征并将特征保存到数组strFeature中；对特殊数字(‘3’‘5’‘6’‘8’‘9’)模板进行基于方向梯度直方图(HOG)的SVM训练，并将训练结果保存到svm.xml文件中；

(2)对输入视频进行反gamma矫正：根据工业场景初始化的数字矩形框参数rect_i，获取输入当前帧中所有数字区域样本Mat_i,其中i为0,1,j...,num-1；对Mat_i进行反gamma＝0.4的矫正，使其还原到显示设备之前的效果，称作反gamma矫正后的数字样本；

(3)对反gamma矫正后的数字样本进行切割：首先针对当前帧所有数字区域样本Mat_i调用minGray()函数进行图像二值化处理，其中minGray()函数是选取RGB分量的最小值作为其灰度值并对图像二值处理；其次创建ImgCut类调用preCut()方法获得水平、垂直方向的投影结果；最后调用Cut()方法根据投影结果对数字切割和归一化并把切割结果保存到VecImg中；

(4)对VecImg中的样本进行级联识别：对VecImg中的样本调用TemplateRec()方法进行基于结构特征的模板匹配，得到初级结果；若初级结果为特殊数字，则样本作为次级分类的输入，反之以初级识别结果作为数字的识别结果；次级分类对输入样本进行基于HOG特征的SVM分类；若次级分类结果与初级结果相同，则该结果为样本数字的识别结果；若两次识别结果不同则参考数字的“洞特性”，如果数字存在‘上洞’或者‘下洞’特征，则以初级结果作为样本的识别结果，反之以次级结果作为样本识别结果；最后将所有数字Mat_i的识别结果组合得到其结果值result；

(5)设置输出条件并做判断：根据工业生产现场需求输出条件包括：end＝1输出各组数的周期峰值，end＝2间隔一定时间输出所有数字，end＝3当标志位变化时输出所有数字，end＝4当数字信息全部显示时输出，end＝5当温度值变动超过30℃时输出，end＝6实时输出；满足以上任意一组条件执行步骤(6)，否则返回步骤(2)，对下一帧的样本进行反gamma矫正并继续之后的步骤；

(6)对识别结果进行串口输出：对步骤(5)的识别结果通过串口输出保存到后台数据库并参与工业过程的实时自动控制，之后返回步骤(2)，进行下一帧识别过程，反复执行步骤(2)～(6)，完成整个基于模板匹配和SVM分类的工业视频数字监控识别。

针对工业生产现场的视频数字识别监控，本发明利用gamma矫正和自适应灰度转变方法提高数字分割的精准度，利用基于梯度直方图特征(HOG)的支持向量机分类(SVM)和模板匹配算法在满足工业速度的情况下提高***的识别率，使印刷体数字识别技术更具有工业实用性。

本发明采用基于7维结构特征的模板匹配和基于方向梯度直方图的SVM级联识别方法，在检测和识别过程中，能够克服数字像素少，数字有毛刺、***鲁棒性差等困难；此外，本发明还设定了多种工业监控输出条件以满足不同的工业应用场景。

本发明还是一种基于模板匹配和SVM的工业视频小数字识别方法的用途，其特征在于，基于模板匹配和SVM的工业视频小数字识别方法能够应用于，工业生产领域的骨料生产现场通过对视频中小数字的识别监控生产流程；智能交通领域对车牌号码的远距离识别；数据分析领域电子报表中数字信息提取；医学研究领域对仪器表盘中数字的识别；以及需要能够通过工业视频小数字信息识别场合。本发明可适用于多种工业生产场景，扩大了工业应用范围。

本发明与现有技术对比具有如下特点：

(1)本发明采用基于模板匹配和SVM的级联分类器，算法实现简单高效，数字识别达到200字/s；相比于现有的OCR识别方法，本发明能够避免大量训练导致的识别速度减慢，使得本识别***能够实时反映监控效果。

(2)本发明采用gamma矫正、HOG特征和7维数字结构特征，即时数字像素少、模糊有毛刺仍能够准确表征它们，相比于现有的基于像素目标点的模板匹配方法和YingWen提出的车牌识别方法，本发明提高了工业监控视频中数字的识别率和***可靠性。

(3)本发明采用可选择性的条件end作为判断输出条件，其中end的值为1～6，代表6种工业视频识别监控***中常用的输出条件，如若6种输出条件都不符合工业视频识别监控场景的输出条件，该工业场景可以添加适用本场景的新条件；相比基于像素目标点的模板匹配方法和YingWen提出的车牌识别方法，本发明能够应用于多种工业应用场景中，方法适用性更广泛。

(4)本发明与现有技术在识别率和和速度方面相比均有提高，在不影响识别速度的条件下，本发明对工业实际生产场景监控视频的识别率提高了30％。

附图说明

图1是本发明的实现流程图；

图2是本发明具体实施方式中次级分类中HOG特征提取的实例图，该步骤得到一个1260维的HOG特征向量f＝{x₁,x₂,x_j...,x₁₂₆₀}；

图3是本发明具体实施方式中初级分类中结构特征提取的示例图，该步骤得到一个7维的结构特征向量μ＝(s₁,s₂,...s₇)；其中图(3a)表示数字‘5’的7维结构特征向量μ＝[77 19 22 12 1 0 0]，图(3b)表示数字‘6’的结构特征向量μ＝[77 15 17 19 0 0 1]。

具体实施方式

以下结合附图对本发明的技术方案详细描述

实施例1

现有的数字识别方法应用于工业领域场景中，对视频中数字的识别效果，不能满足工业场景要求，主要存在数字识别率低,识别速度慢,***不鲁棒的不足。

为解决现有技术的以上不足，本发明经过研究与试验提出一种基于模板匹配和支持向量机的工业视频数字识别监控方法，参见图1，包括有如下步骤：

(1)工业自动化场景图像数据初始化：需要首先为样本创建结构特征数组strFeature、训练文件svm.xml、数字样本集VecImg。读取工业自动化场景的初始化文件param.xml，从初始化文件中获得自动化场景的模板样本、二值化的阈值threshold，输出条件参数end、待识别的数字数目num、数字矩形框的位置rect_i,其中i为0,1,...,num-1。根据初始化文件中的各参数计算模板样本的结构特征并保存到数组strFeature中；对特殊数字的模板样本提取HOG特征进行SVM训练，将训练结果保存到svm.xml文件中。

本实例是对于衡水老安曼沥青工业生产现场的识别与监控，读取老安曼沥青工业生产现场的初始化文件param.xml，获得初始化参数threshold＝190，end＝1，num＝50。

(2)对输入视频进行反gamma矫正：根据工业场景初始化的数字矩形框参数rect_i，获取输入当前帧中所有数字区域样本Mat_i；工业场景中涉及的视频流是由采集卡采集监控显示设备得到的序列，显示设备为适应人眼观察模式自带gamma校对；对所有待识别区域rect_i的图像进行gamma反矫正，使其还原到显示设备之前的效果，称作反gamma矫正后的数字样本。

(3)对反gamma矫正后的数字样本进行切割：首先针对当前帧所有数字区域样本Mat_i调用minGray()函数进行图像二值化处理，其中minGray()函数是选取RGB分量的最小值作为其灰度值并对图像二值处理；其次创建ImgCut类调用preCut()方法获得水平、垂直方向的投影结果；最后调用Cut()方法根据投影结果对数字切割和归一化并把切割结果保存到VecImg中。

(4)对VecImg中的样本进行数字级联识别：对VecImg中的样本调用TemplateRec()方法进行基于结构特征的模板匹配，得到初级结果；若初级结果为’3’、’5’、’6’、’8’或’9’，则样本作为次级分类的输入，反之以初级结构作为数字的识别结果；次级分类对输入样本进行基于HOG特征的SVM分类；若次级分类结果与初级结果相同，则该结果为样本数字的识别结果；若两次识别结果不同则参考数字的“洞特性”，如果数字存在‘上洞’或者‘下洞’特征，则以初级结果作为样本的识别结果，反之以次级结果作为样本识别结果；最后将所有数字Mat_i的识别结果组合得到其结果值result。

(5)设置输出条件并做判断：根据工业生产现场需求输出条件包括：end＝1输出各组数的周期峰值，end＝2间隔一定时间输出所有数字，end＝3当标志位变化时输出，end＝4当数字信息全部显示时输出，end＝5当温度值变动超过30℃时输出，end＝6实时输出；满足以上任意一组条件执行步骤(6)，否则返回步骤(2)，对下一帧的样本进行反gamma矫正并继续之后的步骤。

本例中，由于是应用于衡水老安曼沥青工业生产现场，监控视频中的各原料计量值具有周期性变化特点，所以本实例输出条件选取end＝1，以各组数字的周期峰值作为输出数据。

(6)对识别结果进行串口输出：对步骤(6)得到的识别结果通过串口输出保存到后台数据库并参与工业过程的实时自动控制。之后返回步骤(2)，进行下一帧识别过程，反复执行步骤(2)～(6)，完成整个基于模板匹配和SVM分类的工业视频数字监控识别。

本例中的识别数据包括各原料的计量值、温度、湿度、搅拌时间等各种控制数据，可以根据不同的控制数据对输出条件做调整，如温度突变时选取输出条件end＝5。

本发明采用基于模板匹配和SVM的级联分类器，算法实现简单高效，数字识别达到200字/s；此外，本发明采用输入视频的反gamma矫正和自适应的二值化函数minGray()。相比于现有技术，本发明能够提高数字的识别率，并满足工业速度要求。

本发明采用gamma矫正、HOG特征和数字结构特征，即时数字像素少、模糊有毛刺仍能够准确表征它们，相比于现有的基于像素目标点的模板匹配方法和YingWen提出的车牌识别方法，本发明提高了工业监控视频中数字的识别率和***可靠性。

实施例2

基于模板匹配和支持向量机的工业视频小数字识别监控方法同实施例1-1，

其中步骤(2)所述的对输入视频图像进行反gamma校正，包括有如下步骤：

(2a)获得当前图像的所有rect_i区域图像Mat_i,对Mat_i样本做gamma＝0.4的反校正，调整各像素点的RGB值，使图像恢复到显示设备之前状态。

(2b)重复步骤(2a)，直到num个rect_i区域全部被校正完毕。

因工业场景中涉及的视频流是由采集卡采集监控显示设备得到的序列，显示设备为适应人眼观察模式自带gamma校对；为得到数据真实值,我们需要对所有待识别区域的图像进行gamma反矫正，使其还原到显示设备之前的效果，减小因显示设备导致的物理误差。

实施例3

基于模板匹配和支持向量机的工业视频小数字识别监控方法同实施例1-2，

其中步骤(3)中的数字样本的图像分割，包括有如下步骤:

(3a)对提取的Mat_i调用minGray()自适应二值化函数将其转化成二值图像binaryImg；其中minGray()函数选取RGB分量的最小值作为其灰度值输入图像转化成灰度图像gray，并根据阈值threshold对gray进行二值化处理。

(3b)创建二值图像binaryImg的ImgCut类并调用preCut()方法获得数字的水平、垂直投影；其中preCut()方法对binaryImg做切割前预处理，主要包括图像膨胀和锐化两项操作。

(3c)调用Cut()方法对数字组切割成单一数字并归一化，将切割结果保存到VecImg中。

本实例应用于衡水新安曼沥青工业生产现场，其中二值化阈值经初始化取值threshold＝170；步骤(3b)中的preCut()切割预处理函数为提高后续切割的准确性，加入了图像的膨胀和锐化处理，增加了目标与背景的对比度；步骤(3c)中的切割后的数字尺寸为6*8Pixel左右，本发明经试验将数字尺寸放大归一化尺寸设为48*64Pixel识别效果最佳。

实施例4

基于模板匹配和支持向量机的工业视频小数字识别监控方法同实施例1-3，

其中步骤(4)中所述的级联识别，其中基于结构特征的模板匹配和基于HOG特征的SVM分类，包括有如下步骤:

(4a)数字样本的结构特征提取：参见图(3a)，数字样本垂直方向上平均分三段，水平分两段，数字被平均分成左上、中上、右上、左下、中下、右下6个区域；数字间在右下区域和中间区域的相异性小，只统计左上、右上、左下三个特殊区域的目标点数目为特征值，此外加入目标点总数为另一特征值。图(3a)中表征的是数字‘5’的结构特征中包含一条直线特征，其特征向量为[77192212100]。

结构特征向量是由区域目标点数、横线特征和洞特征组成的7维向量，其中区域目标像素点数包含样本总目标点数、左上、右上、左下各区域目标点数；横线特征的取值为0或1，0表示数字不含横线，1表示含有；上洞、下洞特征的取值为0或1，0表示数字含有上洞、下洞，1表示不含有。图(3b)中表征的是数字‘6’的结构特征中包含一个下洞特征，其特征向量为[77151719001]。

根据待识别数字的结构特征与模板样本的结构特征数组strFeature的元素逐一比较，选择相似度最大的元素为待识别数字的初级识别结果。相比于现有的基于目标点数的模板匹配，本发明提出的结构特征更能表征数字信息，识别结果具有更高的准确性，此外本发明采用的结构特征向量只有7维，保持了模板匹配方法原有的识别速度。

(4b)数字样本的HOG特征提取：HOG特征值用f＝{x₁,x₂,x_j...,x₁₂₆₀}表示，其中j为1,2,…,1260；样本归一化尺寸为(48*64)，扫描窗口window的尺寸winSize设置为(48*64)Pixel；块block的尺寸blockSize为(16*16)Pixel，步长blockStrite为(8*8)Pixel；单元cell的大小cSize为(8*8)Pixel，梯度方向范围为360度，平均分为9个bins；每个cell里的像素做梯度方向直方图统计，得到9维向量{x₁,x₂,...,x₉}；相邻4个cell组成block，将所有cell特征串起来得到block特征{x₁,x₂,...,x₃₆}；block按步长(8*8)Pixel扫描窗口window，串联所有block特征，得到1260维的图像HOG特征向量。

根据待识别数字的HOG特征，对该数字做SVM分类，得到分类结果，作为待识别数字的次级识别结果。

本发明采用基于结构特征的模板匹配和基于HOG的SVM分类的级联识别方法，首先基于7维结构特征向量的模板匹配识别效果较为准确，其次利用SVM分类来修正模板匹配容易识别错误的数字，既保留了模板匹配的识别速度，又提高了整体的识别率。相对于现有技术，本发明提高了数字的识别率和准确性。

实施例5

基于模板匹配和支持向量机的工业视频小数字识别监控方法同实施例1-4，

步骤(3a)所述的图像二值化minGray()函数，采用像素点RGB分量最小值作为其灰度图像的像素值替代其原有灰度转换函数，公式如下:

value_gray＝min(value_R,value_G,value_B) (1)

其中value_gray表示灰度图像的像素值，value_bin表示二值图像的像素值，value_R、value_G、value_B表示像素点RGB的分量值，min函数表示取输入参数的最小值，经过公式(1)的计算得到图像的灰度值value_gray；再经过公式(2)进行计算得到了二值图像的像素点值value_bin。

本发明选用自定义的二值化转换函数minGray()，相比于原有的二值化转换函数，该函数利用RGB分量最小值，能够更清晰的表征图像和背景之间的差异性，捕获更多的数字信息，进一步提高数字的识别率。

实施例6

本发明还是一种基于模板匹配和SVM的工业视频小数字识别方法的用途，基于模板匹配和支持向量机的工业视频小数字识别监控方法同实施例1-5，基于模板匹配和SVM的工业视频小数字识别方法能够应用于：工业生产领域的骨料生产现场通过对视频中小数字的识别监控生产流程；智能交通领域对车牌号码的远距离识别；数据分析领域电子报表中数字信息提取；医学研究领域对仪器表盘中数字的识别；以及需要能够通过工业视频小数字信息识别场合。

本发明采用可选择性的条件end作为判断输出条件，其中end的值为1～6，代表6种工业视频识别监控***中常用的输出条件，如若6种输出条件都不符合工业视频识别监控场景的输出条件，该工业场景可以添加适用本场景的新条件；相比基于像素目标点的模板匹配方法和YingWen提出的车牌识别方法，本发明能够应用于多种工业应用场景中，方法适用性更广泛。

本发明在实验和仿真的过程中就曾用于车牌识别和电子报表数字识别等领域，经测试本发明能在远距离条件下依然能够准确识别出车牌中的数字，对报表中数字的识别率也达到98％以上。

实例7

基于模板匹配和支持向量机的工业视频小数字识别监控方法及其用途同实施例1-6。本发明用于多种工业生产场景，主要是用在输出条件具有规律性生产现场，如：原料供应具有周期性的生产场景需要输出数字的峰值；原料供应以时间为基准的生产场景需要间隔一定时间后输出数据；监控标志位发生切换的工业生产场景需要当标志位改变时输出数据；原料供应有间歇性的应用场景需要数字信息全部显示时输出数据；温度变化剧烈的工业生产场景需要设置当温度变动一定数值时输出数据；对过程数据敏感的生产场景需要实时输出识别结果；此外，本发明也可对专用领域输入特定的输出条件，经过配套的参数设定自动适应新条件进行输出控制，扩大了工业应用范围。

下面给出一个详尽的例子，结合附图对本发明的技术方案做进一步详细描述

实施例8

基于模板匹配和支持向量机的工业视频小数字识别监控方法及其用途同实施例1-7，

参照图1，本发明提出的基于模板匹配和支持向量机的榆林安曼沥青生产线监控视频小数字识别方法，按如下步骤进行：

步骤一：初始化软件***

(1a)读取初始化文件param.xml中默认参数值，其中包括：自动化场景的模板样本、图像二值化的默认灰度阈值threshold，输出条件end,待识别的数字总数num、各数字矩形框的位置rect_i,其中i为0,1,...,num-1。

(1b)创建模板样本的结构特征数组strFeature，样本训练文件svm.xml，切割数字样本集VecImg；根据(1a)中得到的各参数，计算每个样本的结构特征保存到数组strFeauture中，并提取数字样本‘3’‘5’‘6’‘8’‘9’的HOG特征进行SVM训练，训练结果保存到svm.xml。

榆林安曼沥青生产现场的监控数据视频中设有标志位信息自然数N，N表示各原料加入的次数，当次数发生变动时输出识别结果。为满足该工业生产的需求，本例中初始化参数end＝3，threshold＝155，num＝30；

步骤二：对对输入视频进行反gamma矫正

获取采集数据，根据rect_i获取当前帧中的待识别样本区域图像Mat,并进行gamma＝0.4的矫正操作，确保Mat还原为输入显示设备之前的状态。

步骤三：切割反gamma矫正后的数字样本，得到切割结果VecImg

(3a)样本Mat中的每个像素点选取RGB分量的最小值作为其灰度图像的像素值valuegray得到灰度图像grayMat,并以threshold为阈值将grayMat转化为二值图binaryMat；

(3b)以binaryMat为初始条件创建ImgCut类，调用preCut()方法对binaryMat水平和垂直方向投影，并根据投影结果调用cut()方法对进行数字分割，将分割结果保存VecImg中。

步骤四：对VecImg中的样本级联识别，得到识别结果并将结果组合成result

(4a)对VecImg中的每个数字样本提取结构特征strFeature1，strFeature1与模板样本的strFeature特征数组进行匹配，选取相似度最大的元素作为初级识别结果res₁；

(4b)如果res₁为非特殊数字，则以res₁作为数字样本的识别结果；如果res₁为特殊数字，则对提进行基于HOG特征的SVM分类得到次级识别结果res₂；若res₁与res₂相同则res₂为数字样本的识别结果；反之，根据strFeature1中是否包含“洞特性”为标准，若包含“下洞”或“上洞”则以res₁为输出结果，否则res₂为输出结果；

(4c)将所有VecImg中的所有数字样本的识别结果组合成数字Mat_i的结果值result。

步骤五：输设置输出条件并做判断

根据输出条件end＝3判断当前帧的识别结果是否满足条件，如若满足条件则执行步骤六,反之返回到步骤二，重新识别下一帧视频。

步骤六：串口输出识别结果

对步骤五的识别结果进行串口输出，若出现采集设备异常、突然断电、人工停止识别操作等突发状况保存识别结果，关闭程序，识别结束，反之返回步骤二，进行下一周期的识别操作。

本发明采用基于模板匹配和SVM的级联分类器，算法实现简单高效，达到200字/s；相比于现有的OCR识别方法，本发明能够避免大量训练导致的识别速度减慢，使得本识别***能够实时反映监控效果；相比于现有的基于像素目标点的模板匹配方法和YingWen提出的车牌识别方法，本发明提高了工业监控视频中数字的识别率和***可靠性。与现有技术在识别率和和速度方面相比均有提高，在不影响识别速度的条件下，本发明对工业实际生产场景监控视频的识别率提高了30％。

下面通过实验数据和图表对本发明的技术效果再做说明

实施例9

基于模板匹配和支持向量机的工业视频小数字识别监控方法及其用途同实施例1-8，

表1是本发明与现有技术在识别率和速度方面的比较，表中给出了分别采用现有的模板匹配方法、基于LPR的识别***、ORC识别***和本发明对识别率和运行时间上做比较，分别以新安曼、老安曼和玛连尼三种工业生产场景为例，监控其30个生产周期的流程，统计结果如下：

表1本发明与现有技术在识别率和速度方面的比较(时间:ms结果遗漏：fps)

从表1可见，本发明在满足工业处理速度的基础上，对视频中的数字识别率大幅度提高，且没有遗漏任一周期的输出数据；证明在工业生产监控视频中，本发明对数字的识别率提高97％以上，更具有工业应用意义。

简而言之，本发明公开的基于模板匹配和SVM的工业视频小数字识别方法。用于解决工业生产多场景模式下，现有的识别方法无法保证鲁棒性及识别率低的难题。实现步骤是：首先采集的视频图像经过gamma反矫正回到原始状态；然后样本采用RGB最小分量二值化并依照水平垂直投影进行切割；再采用基于结构特征的模板匹配和基于HOG特征的SVM级联识别对数字样本进行识别，得到识别结果；最后根据工业生产现场的输出条件将符合需求的数字通过串口输出，参与工业控制。应用本发明的方法进行工业领域监控视频中小数字识别具有：自适应行强、识别率高、识别速度快、操作简单等优点。相比于现有的识别方法，在工业生产应用中，本发明在满足工业速度要求下对小数字的识别率提高了30％，并可根据不同的输出条件，应用于多种工业场景。

以上是本发明参照当前的较佳实施方式进行的描述，显然对于本领域的专业人员来说，在了解了本发明内容和原理后，都可能在不背离本发明原理、结构的情况下，进行形式和细节上的各种修正和改变，但是这些基于本发明思想的修正和改变仍在本发明的权利要求保护范围之内。

Claims (7)

1.一种基于模板匹配和支持向量机的工业视频小数字识别监控方法，其特征在于，包括有如下步骤：

(1)工业自动化场景图像数据初始化：创建样本结构特征数组strFeature，样本训练文件svm.xml，切割数字样本集VecImg；读取工业自动化场景的初始化文件param.xml，获得自动化场景的模板样本和自动化场景图像二值化的默认灰度阈值threshold，获取输出条件end、待识别的数字总数num、各数字矩形框的位置rect_i,其中i为0,1,...,num-1；根据以上各参数计算模板样本的结构特征保存到数组strFeature中；对特殊数字(‘3’‘5’‘6’‘8’‘9’)模板的梯度直方图(HOG)特征进行SVM训练，并将训练结果保存到svm.xml文件中；

(2)对输入视频进行反gamma矫正：根据工业场景初始化的数字矩形框参数，获取输入当前帧中所有数字区域样本Mat_i,其中i为0,1,...,num-1；对所有待识别区域rect_i的图像进行gamma反矫正，使其还原到显示设备之前的效果，称作反gamma矫正后的数字样本；

(3)对反gamma矫正后的数字样本进行切割：首先针对当前帧所有数字区域样本Mat_i,调用minGray()函数进行图像二值化处理，其中minGray()函数是选取RGB分量的最小值作为其灰度值并对图像二值处理；其次创建ImgCut类调用preCut()方法获得水平、垂直方向的投影结果；最后调用Cut()方法根据投影结果对数字切割和归一化并把切割结果保存到VecImg中；

(4)对VecImg中的样本进行数字级联识别：对VecImg中的样本调用TemplateRec()方法进行基于7维结构特征的模板匹配，得到初级结果；若初级结果为特殊数字，则样本作为次级分类的输入，反之以初级结果作为数字的识别结果；次级分类对输入样本进行基于HOG特征的SVM分类；若次级分类结果与初级结果相同，则该结果为样本数字的识别结果；若两次识别结果不同则参考数字的“洞特性”，如果数字存在‘上洞’或者‘下洞’特征，则以初级结果作为样本的识别结果，反之以次级结果作为样本识别结果；最后将所有数字Mat_i的识别结果组合得到其结果值result；

(5)设置输出条件并做判断：根据工业生产现场需求输出条件包括：end＝1输出各组数的周期峰值，end＝2间隔一定时间输出所有数字，end＝3当标志位变化时输出，end＝4当数字信息全部显示时输出，end＝5当温度值变动超过30℃时输出，end＝6实时输出；满足以上任意一组条件执行步骤(6)，否则返回步骤(2)，对下一帧的样本进行反gamma矫正并继续之后的步骤；

(6)对识别结果进行串口输出：对步骤(5)的识别结果通过串口输出保存到后台数据库并参与工业过程的实时自动控制，之后返回步骤(2)，进行下一帧识别过程，反复执行步骤(2)～(6)，完成整个基于模板匹配和SVM分类的工业视频数字监控识别。

2.根据权利要求1所述的基于模板匹配和SVM的工业视频小数字识别方法，其特征在于：步骤(2)所述的对输入视频图像进行反gamma校正，包括有如下步骤：

(2a)获得当前图像的所有rect_i区域图像Mat_i,对Mat_i样本做gamma＝0.4的反校正，使Mat_i图像的RGB值恢复到显示设备之前状态；

(2b)重复步骤(2a)，直到num个rect_i区域全部被校正完毕。

3.根据权利要求1所述的基于模板匹配和SVM的工业视频小数字识别方法，其特征在于:步骤(3)中的数字样本的图像分割，包括有如下步骤:

(3a)对提取的Mat_i调用minGray()方法将其转化成二值图像binaryImg；其中minGray()函数选取RGB分量的最小值作为其灰度值将输入图像转化成灰度图像gray，并根据阈值threshold对gray进行二值化处理；

(3b)创建二值图像binaryImg的ImgCut类并调用preCut()方法获得数字的水平、垂直投影；其中preCut()方法对binaryImg做切割前预处理，主要包括图像膨胀和锐化两项操作；

(3c)调用Cut()方法对数字组切割成单一数字并归一化，将切割结果保存到VecImg中；其中归一化尺寸为48*64Pixel。

4.根据权利要求1所述的基于模板匹配和SVM的工业视频小数字识别方法，其特征在于:步骤(4)中所述的级联识别，其中基于7维结构特征的模板匹配和基于HOG特征的SVM分类，包括有如下步骤:

(4a)数字样本的结构特征提取：数字样本垂直方向上平均分三段，水平分两段，数字被平均分成左上、中上、右上、左下、中下、右下6个区域；数字间在右下区域和中间区域的相异性小，只统计左上、右上、左下三个特殊区域的目标点数目为特征值，此外加入目标点总数为另一特征值；

结构特征向量是由区域目标点数、横线特征和洞特征组成的7维向量，称作7维结构特征，其中区域目标点数包含样本总目标点数、左上、右上、左下各区域目标点数；横线特征的取值为0或1，0表示数字不含横线，1表示含有；上洞、下洞特征的取值为0或1，0表示数字含有上洞、下洞，1表示不含有；

根据待识别数字的7维结构特征与模板样本的结构特征数组strFeature的元素逐一比较，选择相似度最大的元素为待识别数字的初级识别结果；

(4b)数字样本的HOG特征提取：HOG特征值用f＝{x₁,x₂,x_j...,x₁₂₆₀}表示，其中j为1,2,…,1260；样本归一化尺寸为(48*64)，扫描窗口window的尺寸winSize设置为(48*64)Pixel；块block的尺寸blockSize为(16*16)Pixel，步长blockStrite为(8*8)Pixel；单元cell的大小cSize为(8*8)Pixel，梯度方向范围为360度，平均分为9个bins；每个cell里的像素做梯度方向直方图统计，得到9维向量{x₁,x₂,...,x₉}；相邻4个cell组成block，将所有cell特征串起来得到block特征{x₁,x₂,...,x₃₆}；block按步长(8*8)Pixel扫描窗口window，串联所有block特征，得到1260维的图像HOG特征向量。

根据待识别数字的HOG特征，对该数字做SVM分类，得到分类结果，作为待识别数字的次级识别结果。

5.根据权利要求3所述的基于模板匹配和SVM的工业视频小数字识别方法，其特征在于:步骤(3a)所述的图像二值化minGray()函数，采用像素点RGB分量最小值作为其灰度图像的像素值替代其原有灰度转换函数，公式如下:

value_gray＝min(value_R,value_G,value_B)

${\mathrm{value}}_{bin}=\left\{\begin{array}{cc}0& {\mathrm{value}}_{gray}<threshold\\ 1& else\end{array}\right.$

其中value_gray表示灰度图像的像素值，value_bin表示二值图像的像素值，value_R、value_G、value_B表示像素点RGB的分量值，min函数表示取输入参数的最小值，经计算得到图像的灰度值value_gray；对于图像灰度值value_gray进行计算得到了二值图像的像素点值value_bin。

6.一种基于模板匹配和SVM的工业视频小数字识别方法的用途，其特征在于，基于模板匹配和SVM的工业视频小数字识别方法能够应用于，工业生产领域的骨料生产现场通过对视频中小数字的识别监控生产流程；智能交通领域对车牌号码的远距离识别；数据分析领域电子报表中数字信息提取；医学研究领域对仪器表盘中数字的识别；以及需要能够通过工业视频小数字信息识别场合。

7.根据权利要求6所述的基于模板匹配和SVM的工业视频小数字识别方法的用途，其特征在于，多种工业生产场景的输出条件具有规律性，如：原料供应具有周期性的生产场景需要输出数字的峰值；原料供应以时间为基准的生产场景需要间隔一定时间后输出数据；监控标志位发生切换的工业生产场景需要当标志位改变时输出数据；原料供应有间歇性的应用场景需要数字信息全部显示时输出数据；温度变化剧烈的工业生产场景需要设置当温度变动一定数值时输出数据；对过程数据敏感的生产场景需要实时输出识别结果；本发明也能够对专用领域输入特定的输出条件，经过配套的参数设定自动适应新条件进行输出控制。