CN108764257B - 一种多视角的指针式仪表识别方法 - Google Patents

一种多视角的指针式仪表识别方法 Download PDF

Info

Publication number
CN108764257B
CN108764257B CN201810500399.8A CN201810500399A CN108764257B CN 108764257 B CN108764257 B CN 108764257B CN 201810500399 A CN201810500399 A CN 201810500399A CN 108764257 B CN108764257 B CN 108764257B
Authority
CN
China
Prior art keywords
instrument
pointer
ellipse
algorithm
sample
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201810500399.8A
Other languages
English (en)
Other versions
CN108764257A (zh
Inventor
张晨民
彭天强
李丙涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
ZHENGZHOU JINHUI COMPUTER SYSTEM ENGINEERING CO LTD
Original Assignee
ZHENGZHOU JINHUI COMPUTER SYSTEM ENGINEERING CO LTD
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ZHENGZHOU JINHUI COMPUTER SYSTEM ENGINEERING CO LTD filed Critical ZHENGZHOU JINHUI COMPUTER SYSTEM ENGINEERING CO LTD
Priority to CN201810500399.8A priority Critical patent/CN108764257B/zh
Publication of CN108764257A publication Critical patent/CN108764257A/zh
Application granted granted Critical
Publication of CN108764257B publication Critical patent/CN108764257B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Character Discrimination (AREA)

Abstract

本发明涉及图像识别技术领域。一种多视角的指针式仪表识别方法，包括：采集图像，并上传至计算机；利用SSD算法进行仪表区域定位；利用ResNet34深度残差神经网络对仪表区域进行分类训练，根据分类结果进行样本图像的初步矫正；利用SSD算法对矫正后的图像进行仪表区域的二次定位；利用所述网络对二次定位后的仪表区域进行回归训练，识别表盘上的指针位置；利用HED边缘检测算法对定位的仪表区域进行表盘边缘检测；根据RANSAC算法进行随机采样，计算仪表表盘的边缘模型；利用缩放比对仪表指针进行矫正，并计算仪表指针与起始针的夹角；根据夹角查阅数据库表，获得仪表盘的刻度。本发明可以对不同角度拍摄的指针式仪表进行识别。

Description

一种多视角的指针式仪表识别方法
技术领域
本发明涉及图像识别技术领域，尤其涉及一种多视角的指针式仪表识别方法。
背景技术
目前，指针式仪表的读取大多数采用人工进行。而人工读取存在以下缺点：1、仪表放置在人难以进入的地方，读取困难；2、人工读取不能保证长时间监测；3、操作人员视觉疲劳易产生读取误差；4、人工读取速度慢。
虽然采用机器视觉技术代替人眼进行指针式仪表的识别，能最大限度的减少人为因素的影响，能够提高仪表读取的速度，降低工人的劳动强度。但是现有的少数基于机器视觉的仪表读取方法，在理想状态下可以取得较好的读取效果，但是在实际应用中，由于光照不均匀或者指针式仪表无法与摄像机保持平行等因素，易导致视觉误差，影响读数的精度。
专利申请号为201710279811.3，名称为《一种基于机器视觉的指针式仪表识别方法》的中国专利，公开了一种利用机器视觉技术代替人工读取指针式仪表的示数读取方法，通过对仪表图像进行二值化图像处理、图像轮廓提取、刻度轮廓聚类、刻度拟合圆、指针识别、指针细化、求解刻度圆的圆心坐标和刻度展开等一系列的图像处理和计算，读取仪表示数。
专利申请号为201710532391.5，名称为《基于机器视觉***的指针式仪表读数识别》的中国专利，采用机器视觉成像的方法，综合使用摄像机标定和图像识别技术实现测量。这种方法利用CCD摄像机检测指针式仪表表盘的刻度线，计算指针式仪表表盘在该位置下的外部参数，取代传统的光学标定板。通过旋转指针式仪表图像到平行于指针式仪表表盘的位置，消除透视投影畸变，最后同时计算多个指针式仪表的读数。测量过程中，不要求被测指针式仪表与测量***有特定的位置关系，放松了对测量***的摆放要求，更有利于实际应用。
上述方法多是针对表盘占据面积大、表盘图像清晰、拍摄距离近或正面拍摄的仪表，有较好的识别效果，针对存在侧视、仰视等不同角度的多视角问题，不能准确的读取仪表示数。
发明内容
本发明的目的在于克服现有的指针式仪表识别方法的不足，提出一种多视角的指针式仪表识别方法。本发明可以对不同角度拍摄的指针式仪表进行识别，对侧视、仰视等不同角度拍摄的仪表具有较强的适应能力。
为了实现上述目的，本发明采用以下技术方案：
一种多视角的指针式仪表识别方法，包括以下步骤：
步骤1：采集图像，利用摄像机对指针式仪表进行图像采集，并上传至计算机；
步骤2：利用SSD算法进行仪表区域定位；
步骤3：利用ResNet34深度残差神经网络对仪表区域进行分类训练，根据分类结果进行样本图像的初步矫正；利用SSD算法对矫正后的图像进行仪表区域的二次定位；
步骤4：利用ResNet34深度残差神经网络对二次定位后的仪表区域进行回归训练，识别表盘上的指针位置；
步骤5：利用HED边缘检测算法对定位的仪表区域进行表盘边缘检测；根据RANSAC算法进行随机采样，计算仪表表盘的边缘模型；
步骤6：利用缩放比对仪表指针进行矫正，并计算仪表指针与起始针的夹角；
步骤7：根据所述夹角查阅数据库表，获得仪表盘的刻度。
进一步地，所述步骤2包括：
步骤2.1：对样本数据进行预处理，获得预处理后的样本数据；
步骤2.2：构建SSD网络模型，在VGG16的基础网络结构上，将第6层和第7层的全连接层转化成卷积层；增加3个卷积层和一个平均池化层；
步骤2.3：对卷积后的每张特征图，采用3×3卷积生成默认框的回归后的坐标和类别概率；每个所述默认框的大小的计算公式为：
Figure BDA0001670152120000021
其中m为特征图数目，smin为最底层默认框大小，smax为最顶层默认框大小；
步骤2.4：定义事先标注好的指针式仪表区域为ground truth box，通过groundtruth box对SSD网络模型进行训练；利用训练好的SSD网络进行多角度指针式仪表的精确定位；
训练过程如下所示：
将实际选取的默认框prior box和ground truth box按照IOU进行匹配，IOU T1的prior box为正样本，其余为负样本，所述T1为0.7；将prior box的回归损失由高到低进行排序，选择回归损失最高的M个prior box作为集合D，匹配成功后的正样本作为集合P，则正样本集为P-D∩P，负样本集为D-D∩P；所述正样本集和负样本集中正样本和负样本的数量比为1:4，即M为prior box数量的1/4；
通过损失函数调整网络参数，完成指针式仪表的定位；
所述损失函数为：
Figure BDA0001670152120000022
其中，c为类别概率，l为预测框，N为与ground truth box相匹配的prior box个数；如果N＝0，损失函数为0；Lconf为分类损失部分；Lloc(x,l,g)为预测框l和第g个groundtruth box的回归损失部分；λ为回归损失的权重，代表了回归损失对整个损失函数的贡献，λ取值为0.5；
步骤2.5：利用NMS算法删去重复框体，选取仪表区域。
进一步地，所述步骤3包括：
步骤3.1：采用ResNet34深度残差神经网络对SSD算法检测出的仪表区域进行分类训练，以仪表区域中指针下方的文字或图案与水平方向所成的夹角a为分类标准，进行训练；
步骤3.2：根据分类训练的结果，确定仪表区域相对于水平方向的倾斜角度，通过矩阵变换算法对样本图像原图进行矫正；
步骤3.3：利用SSD算法重新对矫正后的样本数据图进行仪表区域定位。
进一步地，所述步骤4具体为：利用ResNet34深度残差神经网络对步骤3处理后的仪表盘区域进行回归训练，以水平方向向左为0度起始针，以(0,360]为回归区间，利用事先标注的仪表角度，采用ResNet34深度残差神经网络对仪表盘上指针与起始针角度进行回归训练，利用训练好的网络获得指针与起始针的夹角。
进一步地，所述步骤5包括：
步骤5.1：以HED边缘检测算法检测后的数据为采样点，根据RANSAC算法随机选取若干个样本点，每个样本点之间的像素间隔必须大于20个像素；
步骤5.2：认为仪表表盘边缘为椭圆形，根据所述样本点的坐标和椭圆基本公式计算椭圆方程中的参数，如无解则重新根据RANSAC算法随机选取相同个数的样本点继续进行计算，如果有解，则判断求解的模型是否为椭圆，如不满足条件则舍弃该模型，如满足条件，则统计采样点中满足如下条件的采样点个数：
|dis(x,y,c_minus_x,c_minus_y)+dis(x,y,c_plus_x,c_plus_y)-2a|<5 (7)
其中，(x,y)是采样点的坐标，(c_minus_x,c_minus_y)和(c_plus_x,c_plus_y)是椭圆的焦点坐标，dis(x,y,c_minus_x,c_minus_y)为采样点(x,y)和椭圆的焦点(c_minus_x,c_minus_y)的距离，dis(x,y,c_plus_x,c_plus_y)为采样点(x,y)和椭圆的焦点(c_plus_x,c_plus_y)的距离，a为椭圆方程中x2的参数；
步骤5.3：重复步骤5.1、步骤5.2，直至遍历完所有的采样点；
步骤5.4：选取包含采样点最多的椭圆方程为最优的边缘模型，根据最优的边缘模型的椭圆方程，获得椭圆方程对应的椭圆的中心和焦点的坐标及长轴的长度。
进一步地，所述步骤6包括：
步骤6.1：以椭圆的中心为坐标轴中心，以水平方向为X轴、竖直方向为Y轴建立坐标系；
步骤6.2：以椭圆中心为圆心，以椭圆的长轴的一半为半径画正圆；
步骤6.3：以椭圆中心为顶点，以水平方向向左为0度起始针，根据所述指针与起始针的夹角，在椭圆上画指针；
步骤6.4：根据指针所在象限对指针进行矫正，消除不同角度拍摄的畸变，实现仪表指针的矫正；矫正公式如下：
Figure BDA0001670152120000041
其中，(x,y)是椭圆上指针所在线与椭圆的交点A的坐标，(x′,y′)是矫正后的指针所在线上的一点B，|a|和|b|是指针所在象限的X轴和Y轴与椭圆交点到圆心的距离；
步骤6.5：根据B点的坐标，计算矫正后的指针与起始针的夹角。
进一步地，所述步骤7具体为：查看数据库中不同类型指针仪表的转换标准，将步骤6中的仪表指针与起始针的夹角转换成相应的刻度，获得指针仪表的示数。
与现有技术相比，本发明具有的有益效果：
由于仪表功能不同，导致其安装位置不同，所以存在俯视、仰视等多种角度拍摄的仪表图像。多视角的拍摄使表计在图像中存在各种透视变换，如果不做矫正，仪表示数的准确度会大大下降。本发明通过对不同角度拍摄的仪表图像进行矫正，消除了侧视、仰视等因素造成的影响，取得很好的识别效果，解决了多视角指针式仪表的识别难题。
引入深度学习算法，首先采用SSD算法定位仪表区域，使对于不同角度、不同光照、不同分辨率的图像都能有效的检测出目标区域；然后采用ResNet34深度残差神经网络、HED边缘检测算法和椭圆、正圆转换的方法相结合，对仪表区域进行检测，消除指针仪表读取的视角误差；最后，利用ResNet34神经网络对仪表示数进行识别，实现不同角度拍摄的仪表的自动化读取。
附图说明
图1为本发明实施例的一种多视角的指针式仪表识别方法的基本流程图。
图2为本发明另一实施例的一种多视角的指针式仪表识别方法的基本流程图。
图3为本发明实施例的一种多视角的指针式仪表识别方法的总体框架图。
图4为本发明实施例的一种多视角的指针式仪表识别方法的多视角的指针式仪表区域定位过程示意图。
图5为本发明实施例的一种多视角的指针式仪表识别方法的多视角的指针式仪表区域矫正过程示意图。
图6为本发明实施例的一种多视角的指针式仪表识别方法的最优的边缘模型示意图。
图7为本发明实施例的一种多视角的指针式仪表识别方法的多视角的指针式仪表指针矫正过程示意图。
图8为本发明实施例的一种多视角的指针式仪表识别方法的多视角的指针式仪表测试结果示意图之一。
图9为本发明实施例的一种多视角的指针式仪表识别方法的多视角的指针式仪表测试结果示意图之二。
图10为本发明实施例的一种多视角的指针式仪表识别方法的多视角的指针式仪表测试结果示意图之三。
具体实施方式
下面结合附图和具体的实施例对本发明做进一步的解释说明：
实施例一：
如图1所示，本发明的一种多视角的指针式仪表识别方法，包括以下步骤：
步骤S101：采集图像，利用摄像机对指针式仪表进行图像采集，并上传至计算机；
步骤S102：利用SSD算法进行仪表区域定位；
步骤S103：利用ResNet34深度残差神经网络对仪表区域进行分类训练，根据分类结果进行样本图像的初步矫正；利用SSD算法对矫正后的图像进行仪表区域的二次定位；
步骤S104：利用ResNet34深度残差神经网络对二次定位后的仪表区域进行回归训练，识别表盘上的指针位置；
步骤S105：利用HED边缘检测算法对定位的仪表区域进行表盘边缘检测；根据RANSAC算法进行随机采样，计算仪表表盘的边缘模型；
步骤S106：利用缩放比对仪表指针进行矫正，并计算仪表指针与起始针的夹角；
步骤S107：根据所述夹角查阅数据库表，获得仪表盘的刻度。
实施例二：
如图2、图3所示，本发明的另一种多视角的指针式仪表识别方法，包括以下步骤：
步骤一：采集图像，利用摄像机对指针式仪表进行图像采集，并上传至计算机。
步骤二：指针仪表区域定位。
采用SSD算法对采集到的样本数据进行仪表区域定位，图4为仪表区域定位结构图。
具体实施过程如下：
1)对样本数据进行预处理处理，获得300×300×3大小的样本数据。
2)构建SSD网络模型，在VGG16的基础网络结构上，将第6层和第7层的全连接层转化成卷积层，特征图大小为38×38和19×19。接着再增加3个卷积层和一个平均池化层，即average pool层，特征图大小分别为10×10，5×5，3×3，1×1。
3)对卷积后的每张特征图，采用3×3卷积生成默认框(default boxes)的4个回归后的坐标和4个类别概率。
每个默认框大小的计算公式为：
Figure BDA0001670152120000061
其中m为特征图数目，smin为最底层默认框大小，smax为最顶层默认框大小。每个默认框长宽比ar的比例值最初为{1,2,3,1/2,1/3}，因此，每个默认框的宽为
Figure BDA0001670152120000062
高为
Figure BDA0001670152120000063
对于比例为1的默认框，额外添加一个比例为
Figure BDA0001670152120000064
的默认框。最终，每张特征图中的每个点生成6个默认框。每个默认框中心设定为
Figure BDA0001670152120000065
其中，|fk|为第k个特征图尺寸，i∈[1,k]。
由于smin、smax的值直接影响表计定位算法的计算量，所以针对采集到的多视角指针仪表图像进行统计计算，确定smin＝0.1，smax＝0.25。并根据对指针仪表图像中指针仪表形状的观察统计，将默认框的长宽比的比例值修改为{1，2，1/2}时，就已经覆盖各种视角的表计，进一步降低指针仪表定位算法的计算量。经过大量的实验训练和测试验证了smin＝0.1，smax＝0.25，长宽比＝{1，2，1/2}时，指针仪表识别算法在不降低精度的前提下，时间复杂度最低。
4)通过事先人工标注的指针式仪表图像对SSD网络模型进行训练，利用训练好的网络进行多角度指针式仪表的精确定位。
首先，结合人工标注的指针式仪表图像信息确定正负样本集。通过人工标注的仪表区域称为ground truth box，所述ground truth box由正确标注的真实位置数据groundtruth组成，将prior box和ground truth box按照IOU进行匹配，所述IOU为JaccardOverlap，IOU>T的prior box就是positive example、即正样本，其它就是negativeexample、即负样本。由于T的值对表计完整性的识别效果至关重要，因此经过多次实验训练，确定T＝0.85时，表计定位结果包含的表盘区域较为完整，不影响进一步的表计指针读数识别。
显然，负样本集的数量远大于正样本集的数量，造成正负样本集之间的不均衡，使训练时难以达到收敛。因此将每一个prior box对应的回归损失进行排序，选择最高的num_sel个prior box序号作为集合D。如果IOU匹配后的正样本序列集合为P，则最后的正样本集为P-D∩P，负样本集为D-D∩P，同时通过num_sel的数量来控制正、负样本的比例。由于正负样本的比值对于表计的精确定位十分重要，因此根据多视角的指针式仪表的特点，经过多次实验对比分析，确定正、负样本的比例为1:4，即num_sel为prior box数量的1/4，能够取得较快的收敛速度。
然后，通过损失函数调整网络参数，完成指针式仪表的定位。损失函数包含两类，分别是默认框的回归损失loss(loc)和分类损失loss(conf)。损失函数定义为：
Figure BDA0001670152120000071
其中，c为类别概率，l为预测框，N为与ground truth box相匹配的prior box个数；如果N＝0，损失函数为0；Lconf为分类损失部分，采用softmax loss函数度量分类损失；Lloc(x,l,g)为预测框l和第g个ground truth box的回归损失部分；λ为回归损失的权重，代表了回归损失对整个损失函数的贡献；由于λ值对表计定位效果至关重要，因此针对多种视角下的指针式仪表，经过大量实验训练和交叉测试，确定λ＝0.5时定位效果最优。
回归损失部分Lloc定义如下：
Figure BDA0001670152120000072
Figure BDA0001670152120000073
其中l为预测框，g为ground truth、即真实位置，p为x对应的类别，d为默认框(default bounding box)。
5)最后利用NMS算法选取最佳的仪表区域。
步骤三：初步矫正仪表图像。
利用卷积神经网络获得仪表倾斜角度，通过矩阵变换初步矫正仪表区域，采用SSD重新定位仪表区域。仪表区域矫正如图5所示，具体步骤如下：
1)采用ResNet34深度残差神经网络对SSD算法检测出的仪表区域进行分类训练，以仪表区域中指针下方的文字或图案与水平方向所成的夹角a为分类标准进行训练；
2)根据分类训练的结果，确定仪表区域相对于水平方向的倾斜角度，通过矩阵变
换算法对样本图像原图进行矫正；
3)利用SSD算法重新对矫正后的样本数据图进行仪表区域定位。
步骤四：指针识别。
利用ResNet34深度残差神经网络对步骤三处理后的仪表盘进行回归训练，以水平方向向左为0度起始针，以(0,360]为回归区间。利用事先标注的仪表角度，采用ResNet34深度残差神经网络对仪表盘上指针与起始针角度进行回归训练，利用训练好的网络获得指针与起始针的夹角。
步骤五：仪表边缘检测。
利用HED边缘检测算法对步骤三中选取的仪表区域进行检测，获得指针仪表盘的边缘，使用RANSAC算法对HED检测的边缘进行采样，计算椭圆仪表边缘模型，根据模型获得椭圆的中心和焦点的坐标及长轴的长度。指针矫正具体方法为：
1)以HED边缘检测算法检测后的数据为采样点，根据RANSAC算法随机选取5个样本点，每个样本点之间的像素间隔必须大于20个像素；
2)本发明近似的认为仪表表盘边缘为椭圆形，根据所述5个样本点的坐标和椭圆基本公式
ax2+bxy+cy2+dx+ey+1＝0 (5)
计算椭圆方程中的参数，如无解则根据RANSAC算法重新随机选取5个样本点继续进行计算，如果有解，则带入公式
b2-4ac<0 (6)
判断求解的模型是否为椭圆，如不满足条件则舍弃该模型，如满足条件，则统计采样点中满足如下条件的采样点个数
|dis(x,y,c_minus_x,c_minus_y)+dis(x,y,c_plus_x,c_plus_y)-2a|<5 (7)
其中，(x,y)是采样点的坐标，(c_minus_x,c_minus_y)和(c_plus_x,c_plus_y)是椭圆的焦点坐标，dis(x,y,c_minus_x,c_minus_y)为采样点(x,y)和椭圆的焦点(c_minus_x,c_minus_y)的距离，dis(x,y,c_plus_x,c_plus_y)为采样点(x,y)和椭圆的焦点(c_plus_x,c_plus_y)的距离，a为椭圆方程中x2的参数；上式以像素为运算单位。
3)重复步骤五中1)和2)，直至遍历完所有的采样点；
4)选取包含采样点最多的椭圆方程为最优的边缘模型，所述最优的边缘模型如图6所示；
5)根据最优的边缘模型的方程式，获得最优的边缘模型对应的椭圆的中心和焦点的坐标及长轴的长度。
步骤六：指针矫正。
根据仪表指针与起始针的夹角和仪表表盘的边缘，利用缩放比矫正指针位置，获得指针与起始针的夹角。指针矫正如图7所示，具体步骤如下：
1)以最优的边缘模型对应的椭圆中心为坐标轴中心，以水平方向为X轴、竖直方向为Y轴画坐标系；
2)以最优的边缘模型对应的椭圆中心为圆心，以最优的边缘模型对应的椭圆的长轴一半为半径画正圆；
3)以最优的边缘模型对应的椭圆中心为顶点，以水平方向向左为0度起始针，根据步骤四中指针与起始针的夹角，在椭圆上画指针；
4)根据指针所在象限对指针进行矫正，消除不同角度拍摄的畸变，实现仪表指针的矫正。其公式如下：
Figure BDA0001670152120000091
其中，(x,y)是椭圆上指针所在线与椭圆的交点A的坐标，(x′,y′)是矫正后的指针所在线上的一点B，|a|和|b|是指针所在象限的X轴和Y轴与椭圆交点到圆心的距离。图7中白色指针是源图像中指针的位置，灰色指针为矫正后指针的位置；
5)根据B点的坐标，计算矫正后的指针与起始针的夹角。
步骤七：转换刻度。
查看数据库中不同类型指针仪表的转换标准，将步骤六中矫正后的指针与起始针的夹角转换成相应的刻度，获得指针仪表的示数。
本实施例方法对指针仪表的识别测试结果如图8所示，由图8可知，本发明可以实现对不同角度拍摄的指针式仪表进行自动化读取。
以上所示仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (6)

1.一种多视角的指针式仪表识别方法，其特征在于，包括以下步骤：
步骤1：采集图像，利用摄像机对指针式仪表进行图像采集，并上传至计算机；
步骤2：利用SSD算法进行仪表区域定位；
所述步骤2包括：
步骤2.1：对样本数据进行预处理，获得预处理后的样本数据；
步骤2.2：构建SSD网络模型，在VGG16的基础网络结构上，将第6层和第7层的全连接层转化成卷积层；增加3个卷积层和一个平均池化层；
步骤2.3：对卷积后的每张特征图，采用3×3卷积生成默认框的回归后的坐标和类别概率；每个所述默认框的大小的计算公式为：
Figure FDA0003289961310000011
其中m为特征图数目，smin为最底层默认框大小，smax为最顶层默认框大小；
步骤2.4：定义事先标注好的指针式仪表区域为ground truth box，通过ground truthbox对SSD网络模型进行训练；利用训练好的SSD网络进行多角度指针式仪表的精确定位；
训练过程如下所示：
将实际选取的默认框prior box和ground truth box按照IOU进行匹配，IOU>T1的priorbox为正样本，其余为负样本，所述T1为0.7；将prior box的回归损失由高到低进行排序，选择回归损失最高的M个prior box作为集合D，匹配成功后的正样本作为集合P，则正样本集为P-D∩P，负样本集为D-D∩P；所述正样本集和负样本集中正样本和负样本的数量比为1:4，即M为prior box数量的1/4；
通过损失函数调整网络参数，完成指针式仪表的定位；
所述损失函数为：
Figure FDA0003289961310000012
其中，c为类别概率，l为预测框，N为与ground truth box相匹配的prior box个数；如果N＝0，损失函数为0；Lconf为分类损失部分；Lloc(x,l,g)为预测框l和第g个ground truthbox的回归损失部分；λ为回归损失的权重，代表了回归损失对整个损失函数的贡献，λ取值为0.5；
步骤2.5：利用NMS算法删去重复框体，选取仪表区域；
步骤3：利用ResNet34深度残差神经网络对仪表区域进行分类训练，根据分类结果进行样本图像的初步矫正；利用SSD算法对矫正后的图像进行仪表区域的二次定位；
步骤4：利用ResNet34深度残差神经网络对二次定位后的仪表区域进行回归训练，识别表盘上的指针位置；
步骤5：利用HED边缘检测算法对定位的仪表区域进行表盘边缘检测；根据RANSAC算法进行随机采样，计算仪表表盘的边缘模型；
步骤6：利用缩放比对仪表指针进行矫正，并计算仪表指针与起始针的夹角；
步骤7：根据所述夹角查阅数据库表，获得仪表盘的刻度。
2.根据权利要求1所述的一种多视角的指针式仪表识别方法，其特征在于，所述步骤3包括：
步骤3.1：采用ResNet34深度残差神经网络对SSD算法检测出的仪表区域进行分类训练，以仪表区域中指针下方的文字或图案与水平方向所成的夹角α为分类标准，进行训练；
步骤3.2：根据分类训练的结果，确定仪表区域相对于水平方向的倾斜角度，通过矩阵变换算法对样本图像原图进行矫正；
步骤3.3：利用SSD算法重新对矫正后的样本数据图进行仪表区域定位。
3.根据权利要求1所述的一种多视角的指针式仪表识别方法，其特征在于，所述步骤4具体为：利用ResNet34深度残差神经网络对步骤3处理后的仪表盘区域进行回归训练，以水平方向向左为0度起始针，以(0,360]为回归区间，利用事先标注的仪表角度，采用ResNet34深度残差神经网络对仪表盘上指针与起始针角度进行回归训练，利用训练好的网络获得指针与起始针的夹角。
4.根据权利要求3所述的一种多视角的指针式仪表识别方法，其特征在于，所述步骤5包括：
步骤5.1：以HED边缘检测算法检测后的数据为采样点，根据RANSAC算法随机选取若干个样本点，每个样本点之间的像素间隔必须大于20个像素；
步骤5.2：认为仪表表盘边缘为椭圆形，根据所述样本点的坐标和椭圆基本公式计算椭圆方程中的参数，如无解则重新根据RANSAC算法随机选取相同个数的样本点继续进行计算，如果有解，则判断求解的模型是否为椭圆，如不满足条件则舍弃该模型，如满足条件，则统计采样点中满足如下条件的采样点个数：
|dis(x,y,c_minus_x,c_minus_y)+dis(x,y,c_plus_x,c_plus_y)-2a|<5 (7)
其中，(x,y)是采样点的坐标，(c_minus_x,c_minus_y)和(c_plus_x,c_plus_y)是椭圆的焦点坐标，dis(x,y,c_minus_x,c_minus_y)为采样点(x,y)和椭圆的焦点(c_minus_x,c_minus_y)的距离，dis(x,y,c_plus_x,c_plus_y)为采样点(x,y)和椭圆的焦点(c_plus_x,c_plus_y)的距离，a为椭圆方程中x2的参数；
步骤5.3：重复步骤5.1、步骤5.2，直至遍历完所有的采样点；
步骤5.4：选取包含采样点最多的椭圆方程为最优的边缘模型，根据最优的边缘模型的椭圆方程，获得椭圆方程对应的椭圆的中心和焦点的坐标及长轴的长度。
5.根据权利要求4所述的一种多视角的指针式仪表识别方法，其特征在于，所述步骤6包括：
步骤6.1：以椭圆的中心为坐标轴中心，以水平方向为X轴、竖直方向为Y轴建立坐标系；
步骤6.2：以椭圆中心为圆心，以椭圆的长轴的一半为半径画正圆；
步骤6.3：以椭圆中心为顶点，以水平方向向左为0度起始针，根据所述指针与起始针的夹角，在椭圆上画指针；
步骤6.4：根据指针所在象限对指针进行矫正，消除不同角度拍摄的畸变，实现仪表指针的矫正；矫正公式如下：
Figure FDA0003289961310000031
其中，(x,y)是椭圆上指针所在线与椭圆的交点A的坐标，(x′,y′)是矫正后的指针所在线上的一点B，|a|和|b|是指针所在象限的X轴和Y轴与椭圆交点到圆心的距离；
步骤6.5：根据B点的坐标，计算矫正后的指针与起始针的夹角。
6.根据权利要求1所述的一种多视角的指针式仪表识别方法，其特征在于，所述步骤7具体为：查看数据库中不同类型指针仪表的转换标准，将步骤6中的仪表指针与起始针的夹角转换成相应的刻度，获得指针仪表的示数。
CN201810500399.8A 2018-05-23 2018-05-23 一种多视角的指针式仪表识别方法 Expired - Fee Related CN108764257B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810500399.8A CN108764257B (zh) 2018-05-23 2018-05-23 一种多视角的指针式仪表识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810500399.8A CN108764257B (zh) 2018-05-23 2018-05-23 一种多视角的指针式仪表识别方法

Publications (2)

Publication Number Publication Date
CN108764257A CN108764257A (zh) 2018-11-06
CN108764257B true CN108764257B (zh) 2022-03-04

Family

ID=64004812

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810500399.8A Expired - Fee Related CN108764257B (zh) 2018-05-23 2018-05-23 一种多视角的指针式仪表识别方法

Country Status (1)

Country Link
CN (1) CN108764257B (zh)

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109583324A (zh) * 2018-11-12 2019-04-05 武汉大学 一种基于单点多盒检测器的指针仪表读数自动识别方法
CN109740483A (zh) * 2018-12-26 2019-05-10 南宁五加五科技有限公司 一种基于深层神经网络的水稻生长期检测方法
CN109784257B (zh) * 2019-01-08 2021-10-12 北京全路通信信号研究设计院集团有限公司 一种变压器温度表检测与识别方法
CN109871754A (zh) * 2019-01-08 2019-06-11 深圳禾思众成科技有限公司 一种仪表读取方法、设备及计算机可读存储介质
CN109840497A (zh) * 2019-01-30 2019-06-04 华南理工大学 一种基于深度学习的指针式水表读数检测方法
CN109948469B (zh) * 2019-03-01 2022-11-29 吉林大学 基于深度学习的巡检机器人仪表自动检测识别方法
CN110298339A (zh) * 2019-06-27 2019-10-01 北京史河科技有限公司 一种仪表表盘识别方法、装置及计算机存储介质
CN110543878B (zh) * 2019-08-07 2022-03-29 华南理工大学 一种基于神经网络的指针仪表读数识别方法
CN110659636B (zh) * 2019-09-20 2022-05-13 随锐科技集团股份有限公司 基于深度学习的指针式仪表读数识别方法
CN112906681A (zh) * 2019-12-04 2021-06-04 杭州海康威视数字技术股份有限公司 一种仪表读数方法、装置、电子设备及存储介质
CN111507908B (zh) * 2020-03-11 2023-10-20 平安科技（深圳）有限公司 图像矫正处理方法、装置、存储介质及计算机设备
CN111598094B (zh) * 2020-05-27 2023-08-18 深圳市铁越电气有限公司 基于深度学习的角度回归仪表读数识别方法、设备和***
CN112507815A (zh) * 2020-11-24 2021-03-16 北京超维世纪科技有限公司 关于指针式仪器仪表盘刻度人工智能图像识别算法及***
CN112560983B (zh) * 2020-12-24 2023-09-08 济南信通达电气科技有限公司 一种仪表识别方法及装置
CN113283419B (zh) * 2021-04-29 2022-07-05 国网浙江省电力有限公司湖州供电公司 基于注意力的卷积神经网络指针式仪表图像读数识别方法
CN113326787B (zh) * 2021-06-02 2023-09-01 武汉理工大学 指针仪表读数的自动识别方法、***及设备
CN113469178B (zh) * 2021-07-05 2024-03-01 安徽南瑞继远电网技术有限公司 一种基于深度学习的电力表计识别方法
CN113570631B (zh) * 2021-08-28 2024-04-26 西安安森智能仪器股份有限公司 一种基于图像的指针式仪表智能识别方法及设备
CN113469302A (zh) * 2021-09-06 2021-10-01 南昌工学院 一种视频图像的多圆形目标识别方法和***
CN113743397A (zh) * 2021-11-08 2021-12-03 深圳市信润富联数字科技有限公司 工业仪表的数据处理方法、***、终端设备及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009186401A (ja) * 2008-02-08 2009-08-20 Calsonic Kansei Corp 車両用指針計器
CN104298994A (zh) * 2014-02-28 2015-01-21 郑州金惠计算机***工程有限公司 一种指针式仪表读数识别方法及装置
CN104657711A (zh) * 2015-02-09 2015-05-27 中国石油大学(华东) 一种鲁棒的指针式仪表读数自动识别方法
CN107167169A (zh) * 2017-07-03 2017-09-15 吉林大学 基于机器视觉***的指针式仪表读数识别测量方法
CN107301412A (zh) * 2017-05-08 2017-10-27 浙江工业大学 一种基于图像处理的指针式仪表读数方法
CN108009535A (zh) * 2017-11-21 2018-05-08 武汉中元华电科技股份有限公司 一种基于机器视觉的单指针仪表读数方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4293257B2 (ja) * 2007-03-27 2009-07-08 株式会社デンソー 表示装置
CN106295665B (zh) * 2016-08-13 2019-10-01 国网福建省电力有限公司 一种变电站指针式仪表读数自动识别方法
CN107609557B (zh) * 2017-08-24 2020-09-08 华中科技大学 一种指针式仪表读数识别方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009186401A (ja) * 2008-02-08 2009-08-20 Calsonic Kansei Corp 車両用指針計器
CN104298994A (zh) * 2014-02-28 2015-01-21 郑州金惠计算机***工程有限公司 一种指针式仪表读数识别方法及装置
CN104657711A (zh) * 2015-02-09 2015-05-27 中国石油大学(华东) 一种鲁棒的指针式仪表读数自动识别方法
CN107301412A (zh) * 2017-05-08 2017-10-27 浙江工业大学 一种基于图像处理的指针式仪表读数方法
CN107167169A (zh) * 2017-07-03 2017-09-15 吉林大学 基于机器视觉***的指针式仪表读数识别测量方法
CN108009535A (zh) * 2017-11-21 2018-05-08 武汉中元华电科技股份有限公司 一种基于机器视觉的单指针仪表读数方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
Research on pointer location of multi-pointer meter;Zhijia Zh.等;《2009 IEEE International Conference on Automation and Logistics》;20090925;第911-914页 *
SSD：Single Shot MultiBox Detector;Wei Liu等;《arXiv》;20160330;第1-15页 *
变电站指针式仪表检测与识别方法;邢浩强 等;《仪器仪表学报》;20171130;第38卷(第11期);第2813-2821页 *
智能变电站中指针式仪表图像自动识别方法;王欣 等;《电气技术》;20160531;第7-10页 *

Also Published As

Publication number Publication date
CN108764257A (zh) 2018-11-06

Similar Documents

Publication Publication Date Title
CN108764257B (zh) 一种多视角的指针式仪表识别方法
US11551341B2 (en) Method and device for automatically drawing structural cracks and precisely measuring widths thereof
CN111950330B (zh) 一种基于目标检测的指针式仪表示数检测方法
CN112818988B (zh) 一种指针式仪表自动识别读数方法及***
CN107609557B (zh) 一种指针式仪表读数识别方法
CN112699876B (zh) 一种用于集气站多类型仪表自动读数方法
CN106778737B (zh) 一种车牌矫正方法、装置和一种视频采集装置
CN106033535B (zh) 电子阅卷方法
CN110349145A (zh) 缺陷检测方法、装置、电子设备以及存储介质
CN108520514B (zh) 基于计算机视觉的印刷电路板电子元器一致性检测方法
CN108765433A (zh) 一种用于提高精度的多叶面积测量方法
CN113608378B (zh) 一种基于lcd制程的全自动缺陷检测方法和***
CN106340044A (zh) 摄像机外参自动标定方法及标定装置
CN110378227B (zh) 修正样本标注数据的方法、装置、设备及存储介质
CN112801094B (zh) 一种指针式仪表图像倾斜校正方法
CN111724354B (zh) 一种基于图像处理的多株小麦穗长与小穗数的测量方法
CN112308828A (zh) 一种密封设备气密性的人工智能检测方法和检测***
CN114092728A (zh) 一种基于深度学习的指针式仪表智能识别方法及***
CN110363706A (zh) 一种大面积桥面图像拼接方法
CN110084807A (zh) 一种焊缝探伤底片图像造假的检测方法
CN116385440B (zh) 一种弧形刀片视觉检测方法
CN112990190A (zh) 指针式仪表读数的识别方法、装置
CN110533657A (zh) 一种液晶屏外观检测方法
CN113902894B (zh) 一种基于图像处理的条式水平仪自动读数识别方法
CN115115889A (zh) 一种仪表图像分析方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20220304