CN112348018A - 基于巡检机器人的数显式仪表读数识别方法 - Google Patents

基于巡检机器人的数显式仪表读数识别方法 Download PDF

Info

Publication number
CN112348018A
CN112348018A CN202011280084.0A CN202011280084A CN112348018A CN 112348018 A CN112348018 A CN 112348018A CN 202011280084 A CN202011280084 A CN 202011280084A CN 112348018 A CN112348018 A CN 112348018A
Authority
CN
China
Prior art keywords
digital display
picture
display area
instrument
digital
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011280084.0A
Other languages
English (en)
Inventor
王士兴
赵妍
黄玉龙
邱垚
张兆康
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Ansen Intelligent Information Technology Co ltd
Original Assignee
Hangzhou Ansen Intelligent Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Ansen Intelligent Information Technology Co ltd filed Critical Hangzhou Ansen Intelligent Information Technology Co ltd
Priority to CN202011280084.0A priority Critical patent/CN112348018A/zh
Publication of CN112348018A publication Critical patent/CN112348018A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/02—Recognising information on displays, dials, clocks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

基于巡检机器人的数显式仪表读数识别方法，首先通过巡检机器人云台搭载的可见光摄像机以及图像视频管理进程获取数显式仪表图片；然后截取仪表表盘的外接矩形为模板图像；再次，截取数显区域并得到位置信息，对数显区域中的数字进行分割、记录小数点位数；第四，获取待检测图片并完成初始化；第五，对待检测图片的仪表位置进行模板匹配并矫正；第六，截取数显区域图片进行灰度处理，判断其前景字体与背景差别，对数显区域进行自适应的二值化，对数显区域进行单个数字分割并细化其轮廓；将单个数字转换为像素存储并生成分类器要求的数据格式，预测并输出结果。本发明提高了智能巡检机器人在适用场景对于数显式仪表读数的识别速度和通用性。

Description

基于巡检机器人的数显式仪表读数识别方法
技术领域
本发明属于图像处理和识别技术领域，涉及一种基于巡检机器人的数显式仪表读数识别方法。
背景技术
随着机器人技术的发展和突破，智能型巡检机器人已经可以用于油田、变电站、天然气厂站等工业领域监控现场运行情况，其中，数显式仪表普遍用于现场的各种测量以及监控。传统的巡检方式是采用人工对仪表进行读数并手工记录，但由于适用场景的特殊性以及极端化环境，相比于人工读数，智能巡检机器人对于数显式仪表的读数更为方便与精准。通过控制机器人上云台的角度获取数显式仪表的图片，并对图片进行处理与目标检测，获得仪表的读数，使得识别过程更加智能。
一方面，人工巡检读数及记录的成本较高，所处环境影响导致巡检人员的安全无法得到保证，同时人眼也存在一定的误差，导致识别效率以及准确率较低。另一方面，由于工业现场场景复杂，各个现场的仪表形状以及背景等都有较大差异，现有识别方法识别速度过慢并且其通用性较差，所以，研发一种基于智能巡检机器人是数显式仪表智能识别方法具有非常重要的意义。
发明内容
本发明的目的在于提供一种基于巡检机器人的数显式仪表读数识别方法，以提高智能巡检机器人在适用场景对于数显式仪表读数的识别速度和通用性。
本发明采用以下技术方案：
基于巡检机器人的数显式仪表读数识别方法，包括以下步骤：
步骤1：通过智能巡检机器人云台搭载的可见光摄像机以及机器人本体部署的图像视频管理进程，获取数显式仪表图片；
步骤2：在步骤1获得的图片上，手动截取出仪表表盘的最小外接矩形，保存外接矩形在整张图片上的位置信息为模板图像，生成相应的模板文件一；
步骤3：手动截取仪表表盘的数显区域，得到数显区域在步骤1获取的图片上的位置信息，并对数显区域中的数字进行分割，保存单个数字在步骤1获取的图片上的位置信息，并对其小数点位数进行记录，生成模板文件二；
步骤4：巡检机器人执行任务并获取待检测图片，对图片进行平滑滤波预处理，并将图片尺寸修改成后续识别需要统一的尺寸，完成初始化；
步骤5：根据模板文件一中的表盘特征，对待检测图片的仪表位置进行模板匹配，并返回匹配的最佳位置，定位待检测图上表盘位置信息；并把模板文件二中预设的数显区域位置信息映射到待检测图片中，再对数显区域进行矫正；
步骤6：对从待检测图片中截取出来的数显区域图片进行灰度处理(减小图像原始数据量，便于后续处理)，并根据在建模预设的阈值，判断其前景字体与背景差别，选择二进制阈值或反二进制阈值，对数显区域进行自适应的二值化；利用之前保留单个数字位置的模板文件二作为先验信息，对数显区域进行单个数字分割并细化其轮廓；
步骤7：将已经分割处理后的单个数字图片转换为像素存储并生成分类器所要求的数据格式，放入事先使用大量样本训练好的libsvm分类器进行预测，输出和仪表位数顺序相符合的数字结果；
步骤8：对已经使用分类器分类好的数字结果，结合建模时所预设的小数点位数，添加小数点，并对可能出现的数字粘连情况做取余处理；
步骤9：返回识别结果，识别任务结束。
进一步的，步骤1中获取数显式仪表图片的过程为：智能巡检机器人调整云台角度，调整过程参见专利《一种机器人集群图像识别的分布式处理方法》，然后调用图像采集模块获取图像，进而获取数显式仪表图片。
进一步的，步骤1的图像采集模块获取的是RGB图像。
进一步的，步骤5中对仪表位置进行的模板匹配过程为：从模板图像中提取表盘的像素特征，与待检测图片中的表盘进行匹配，再计算模板图像与待检测图片的相关系数，系数最大的值所对应的矩形框返回的就是匹配的最佳位置。
进一步的，步骤6中，选择二进制阈值或反二进制阈值的过程为：根据之前建模时设置的阈值T，若阈值T>0，则选择二进制阈值类型，即大于该阈值的像素点灰度值设置为255，反之设置为0；若阈值T<0，选择反二进制阈值，即大于该阈值的像素点灰度值设置为0，反之设置为255。
进一步的，步骤6中，对数显区域进行单个数字分割并细化其轮廓的过程为：根据建模所存储的数显区域的位置以及单个数字手动截取的位置信息，利用仿射变换，对数显区域进行矫正，并分割出单个数字；对分割出来的单个数字，进行形态学操作。
本发明的有益效果：
本发明的识别方法，采用预先建模的形式，与现有识别方法中采用整张图片进行模板匹配相比，只对图片中的表盘进行模板匹配，在时间上，大大缩减了因模板匹配造成的识别时间过长这一问题。
在识别过程中，使用libsvm分类器对数字进行识别预测，在识别领域中通常对数字的分类采用传统的KNN，libsvm分类器具有程序小，输入参数少，运用灵活的特点，可以直接按照数字位数顺序输出分类结果，计算复杂性有所降低。
由于数显式仪表通常在环境复杂的工业场站使用，各个场站的环境有着很大的区别，数显式仪表的字体等轮廓也存在差异，采用事先建模、表盘局部匹配的方法，无论场景如何变化，都可以识别，并且libsvm分类器不受制于字体颜色，大大提高了对各个厂站以及各个形状的数显式仪表的识别通用性。综上，该方法能够明显的提高数显式仪表的识别精度以及稳定性。
附图说明
图1为本发明中识别方法流程逻辑图；
图2为实施例中模板图像K的图片；
图3为预处理后的待检测图像；
图4为匹配过程示意图；
图5为检测图片中截取的数显区域；
图6为分割的单个数字。
具体实施方式
下面结合附图和具体实施方式对本发明做进一步详细描述。
本发明一种基于智能巡检机器人是数显式仪表智能识别方法，如图1所示，对需要识别的数显式仪表进行处理，具体按照以下步骤实施：
步骤1：通过智能巡检机器人云台搭载的可见光摄像机以及机器人本体部署的图像视频管理进程，获取数显式仪表图片；获取数显式仪表图片的过程为：智能巡检机器人调整云台角度(参见《一种机器人集群图像识别的分布式处理方法》专利)，然后调用图像采集模块获取图像，该模块可以获取RGB图像，将目标仪表的位置区域图像调整到相机视野中央，获取数显式仪表图片S1，其中，可见光相机是选择海康相机3007c为1/2.8英寸。
步骤2：在获得的S1图片上手动截取出仪表表盘的最小外接矩形，保存矩形的位置信息，矩形的xywh为(259,198,142,140)，作为模板图像K，如图2所示，并生成相应的模板文件1；
步骤3：手动截取数显区域，得到数显区域的4个顶点在S1中的坐标信息，分别为(367,234)，(514,234)，(367，342)，(514,342)依次分割数显区域中的单个数字，保存每个数字的最小外接矩形位置信息，分别为(8,4,13,31)、(23,5,12,30)(34,3,14,32)(48,2,12,33)，生成模板文件2；
步骤4：当接到识别指令，智能巡检机器人获取到待检测图片S2，对图片进行预处理，如图3所示，并为图片预设尺寸。
图片的预处理部分包括：RGB图像转换为灰度空间，突出目标物体特征，滤波和平滑处理，过滤图像中噪声部分。图片预设尺寸为(416，416)。
步骤5：对仪表位置进行匹配，根据模板图像K中的特征信息和待检测巡检图片S2，通过计算S2与K的相关系数，系数最大的值所对应的矩形框返回的就是匹配的最佳位置；并把预设的数显区域位置信息映射到待检测图片S2中，如图4所示，再利用仿射变换对数显区域进行矫正。
步骤6：对从检测图片中截取的数显区域进行灰度处理，并根据在建模预设的阈值-155，判断其前景字体与背景差别(阈值<0则为黑字白底，阈值>0则为白字黑底)，选择二进制阈值或反二进制阈值，此时阈值<0则选择反二进制阈值，完成对数显区域进行自适应的二值化，如图5所示。利用之前保留单个数字位置的模板文件二作为先验信息；根据建模所存储的数显区域的位置以及单个数字手动截取的位置信息，利用仿射变换，对数显区域进行矫正，并分割出单个数字，如图6所示；对分割出来的单个数字，通过循环使用形态学操作，得到数字的轮廓；
步骤7：将已经分割处理后的单个数字图片转换为像素存储并生成分类器所要求的数据格式，放入事先使用大量样本训练好的libsvm分类器进行预测，输出和仪表位数顺序相符合的数字结果(9,6,1,5)。
步骤8：对已经使用分类器分类好的数字结果，结合建模时所预设的小数点位数，此时的小数点位数为2，添加小数点，如果因粘连导致输出的数字结果增多，采取对单个数字取余处理，本次输出的结果没有粘连，故直接结合小数点位数，直接给出识别结果96.15；
步骤9：返回识别结果，识别任务结束。
本发明采用预设的仪表表盘矩形区域、数显区域以及单个数字的位置作为先验信息，再对需要识别的数显式仪表图片进行模板匹配、特征提取及定位配准，最后使用分类器对数字进行预测。该方法在定位表盘位置过程中能够改进现有模板匹配所存在的计算时间过长的问题，并准确的获得数显式仪表的读数，稳定性高，抗噪声干扰强，通过使用本发明中的方法对数显式仪表进行识数，能够得到准确、稳定的数字读数。

Claims (6)

1.基于巡检机器人的数显式仪表读数识别方法，其特征在于，包括以下步骤：
步骤1：通过智能巡检机器人云台搭载的可见光摄像机以及机器人本体部署的图像视频管理进程，获取数显式仪表图片；
步骤2：在步骤1获得的图片上，手动截取出仪表表盘的最小外接矩形，保存外接矩形在整张图片上的位置信息为模板图像，生成相应的模板文件一；
步骤3：手动截取仪表表盘的数显区域，得到数显区域在步骤1获取的图片上的位置信息，并对数显区域中的数字进行分割，保存单个数字在步骤1获取的图片上的位置信息，并对其小数点位数进行记录，生成模板文件二；
步骤4：巡检机器人执行任务并获取待检测图片，对图片进行平滑滤波预处理，并将图片尺寸修改成后续识别需要统一的尺寸，完成初始化；
步骤5：根据模板文件一中的表盘特征，对待检测图片的仪表位置进行模板匹配，并返回匹配的最佳位置，定位待检测图上表盘位置信息；并把模板文件二中预设的数显区域位置信息映射到待检测图片中，再对数显区域进行矫正；
步骤6：对从待检测图片中截取出来的数显区域图片进行灰度处理(减小图像原始数据量，便于后续处理)，并根据在建模预设的阈值，判断其前景字体与背景差别，选择二进制阈值或反二进制阈值，对数显区域进行自适应的二值化；利用之前保留单个数字位置的模板文件二作为先验信息，对数显区域进行单个数字分割并细化其轮廓；
步骤7：将已经分割处理后的单个数字图片转换为像素存储并生成分类器所要求的数据格式，放入事先使用大量样本训练好的libsvm分类器进行预测，输出和仪表位数顺序相符合的数字结果；
步骤8：对已经使用分类器分类好的数字结果，结合建模时所预设的小数点位数，添加小数点，并对可能出现的数字粘连情况做取余处理；
步骤9：返回识别结果，识别任务结束。
2.如权利要求1所述的基于巡检机器人的数显式仪表读数识别方法，其特征在于，步骤1中获取数显式仪表图片的过程为：智能巡检机器人调整云台角度，调整过程参见专利《一种机器人集群图像识别的分布式处理方法》，然后调用图像采集模块获取图像，进而获取数显式仪表图片。
3.如权利要求1所述的基于巡检机器人的数显式仪表读数识别方法，其特征在于，步骤1的图像采集模块获取的是RGB图像。
4.如权利要求1所述的基于巡检机器人的数显式仪表读数识别方法，其特征在于，步骤5中对仪表位置进行的模板匹配过程为：从模板图像中提取表盘的像素特征，与待检测图片中的表盘进行匹配，再计算模板图像与待检测图片的相关系数，系数最大的值所对应的矩形框返回的就是匹配的最佳位置。
5.如权利要求1所述的基于巡检机器人的数显式仪表读数识别方法，其特征在于，步骤6中，选择二进制阈值或反二进制阈值的过程为：根据之前建模时设置的阈值T，若阈值T>0，则选择二进制阈值类型，即大于该阈值的像素点灰度值设置为255，反之设置为0；若阈值T<0，选择反二进制阈值，即大于该阈值的像素点灰度值设置为0，反之设置为255。
6.如权利要求1所述的基于巡检机器人的数显式仪表读数识别方法，其特征在于，步骤6中，对数显区域进行单个数字分割并细化其轮廓的过程为：根据建模所存储的数显区域的位置以及单个数字手动截取的位置信息，利用仿射变换，对数显区域进行矫正，并分割出单个数字；对分割出来的单个数字，进行形态学操作。
CN202011280084.0A 2020-11-16 2020-11-16 基于巡检机器人的数显式仪表读数识别方法 Pending CN112348018A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011280084.0A CN112348018A (zh) 2020-11-16 2020-11-16 基于巡检机器人的数显式仪表读数识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011280084.0A CN112348018A (zh) 2020-11-16 2020-11-16 基于巡检机器人的数显式仪表读数识别方法

Publications (1)

Publication Number Publication Date
CN112348018A true CN112348018A (zh) 2021-02-09

Family

ID=74363891

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011280084.0A Pending CN112348018A (zh) 2020-11-16 2020-11-16 基于巡检机器人的数显式仪表读数识别方法

Country Status (1)

Country Link
CN (1) CN112348018A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113159027A (zh) * 2021-04-13 2021-07-23 杭州电子科技大学 基于最小外接矩形变体的七段式数显仪表识别方法
CN113778091A (zh) * 2021-09-13 2021-12-10 华能息烽风力发电有限公司 一种风电场升压站设备巡检方法
CN116189166A (zh) * 2023-02-07 2023-05-30 台州勃美科技有限公司 一种仪表读数方法、装置及机器人

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106529537A (zh) * 2016-11-22 2017-03-22 亿嘉和科技股份有限公司 一种数字仪表读数图像识别方法
CN108573261A (zh) * 2018-04-17 2018-09-25 国家电网公司 一种适用于变电站巡检机器人的数字显示仪表识别方法
CN109034160A (zh) * 2018-07-06 2018-12-18 江苏迪伦智能科技有限公司 一种基于卷积神经网络的带小数点数字仪表自动识别方法
CN110321890A (zh) * 2019-04-26 2019-10-11 重庆邮电大学 一种电力巡检机器人的数字仪表识别方法
CN111539330A (zh) * 2020-04-17 2020-08-14 西安英诺视通信息技术有限公司 一种基于双svm多分类器的变电站数显仪表识别方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106529537A (zh) * 2016-11-22 2017-03-22 亿嘉和科技股份有限公司 一种数字仪表读数图像识别方法
CN108573261A (zh) * 2018-04-17 2018-09-25 国家电网公司 一种适用于变电站巡检机器人的数字显示仪表识别方法
CN109034160A (zh) * 2018-07-06 2018-12-18 江苏迪伦智能科技有限公司 一种基于卷积神经网络的带小数点数字仪表自动识别方法
CN110321890A (zh) * 2019-04-26 2019-10-11 重庆邮电大学 一种电力巡检机器人的数字仪表识别方法
CN111539330A (zh) * 2020-04-17 2020-08-14 西安英诺视通信息技术有限公司 一种基于双svm多分类器的变电站数显仪表识别方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113159027A (zh) * 2021-04-13 2021-07-23 杭州电子科技大学 基于最小外接矩形变体的七段式数显仪表识别方法
CN113159027B (zh) * 2021-04-13 2024-02-09 杭州电子科技大学 基于最小外接矩形变体的七段式数显仪表识别方法
CN113778091A (zh) * 2021-09-13 2021-12-10 华能息烽风力发电有限公司 一种风电场升压站设备巡检方法
CN116189166A (zh) * 2023-02-07 2023-05-30 台州勃美科技有限公司 一种仪表读数方法、装置及机器人

Similar Documents

Publication Publication Date Title
CN112348018A (zh) 基于巡检机器人的数显式仪表读数识别方法
CN106096610B (zh) 一种基于支持向量机的文档图像二值化方法
CN108133216B (zh) 基于机器视觉的可实现小数点读取的数码管读数识别方法
CN110309806B (zh) 一种基于视频图像处理的手势识别***及其方法
CN112149543B (zh) 一种基于计算机视觉的建筑扬尘识别***与方法
CN111539330B (zh) 一种基于双svm多分类器的变电站数显仪表识别方法
CN111797766B (zh) 识别方法、识别装置、计算机可读存储介质和车辆
CN112907519A (zh) 一种基于深度学习的金属曲面缺陷分析***及方法
CN112561899A (zh) 电力巡检图像识别方法
CN113324864A (zh) 一种基于深度学习目标检测的受电弓碳滑板磨耗检测方法
CN114331986A (zh) 一种基于无人机视觉的坝体裂纹识别与测量方法
CN111783773A (zh) 一种面向角度倾斜电线杆标识牌的矫正方法
CN112101108B (zh) 一种基于图形极点位置特征的左右转交通标志识别方法
CN112861654A (zh) 一种基于机器视觉的名优茶采摘点位置信息获取方法
CN114241438B (zh) 一种基于先验信息的交通信号灯快速精确的识别方法
CN112184816A (zh) 一种基于电池极耳的锂电池柔性定位方法
CN115082776A (zh) 一种基于图像识别的电能表自动检测***及方法
CN113642570A (zh) 一种昏暗环境下矿车车牌识别的方法
CN113205099A (zh) 一种镀镍金属表面去料字符视觉检测***及方法
CN110930358B (zh) 一种基于自适应算法的太阳能面板图像处理方法
CN111738264A (zh) 一种机房设备显示面板数据的智能采集方法
CN114820707A (zh) 一种用于摄像头目标自动追踪的计算方法
CN115620289A (zh) 老旧机床ocr数据采集方法
CN113689365B (zh) 一种基于Azure Kinect的目标跟踪定位方法
CN114820718A (zh) 一种视觉动态定位跟踪算法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20210209