CN110738651B - 一种多模态多目标下的动态指示灯批量检测方法 - Google Patents

一种多模态多目标下的动态指示灯批量检测方法 Download PDF

Info

Publication number
CN110738651B
CN110738651B CN201910988471.0A CN201910988471A CN110738651B CN 110738651 B CN110738651 B CN 110738651B CN 201910988471 A CN201910988471 A CN 201910988471A CN 110738651 B CN110738651 B CN 110738651B
Authority
CN
China
Prior art keywords
picture
detected
target
carrying
area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910988471.0A
Other languages
English (en)
Other versions
CN110738651A (zh
Inventor
黎小军
程志炯
曾荣
向景睿
陈奕瑾
李威
陈俊锜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Anyue County Power Supply Branch Of State Grid Sichuan Electric Power Co
Electric Power Research Institute of State Grid Sichuan Electric Power Co Ltd
Original Assignee
Anyue County Power Supply Branch Of State Grid Sichuan Electric Power Co
Electric Power Research Institute of State Grid Sichuan Electric Power Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Anyue County Power Supply Branch Of State Grid Sichuan Electric Power Co, Electric Power Research Institute of State Grid Sichuan Electric Power Co Ltd filed Critical Anyue County Power Supply Branch Of State Grid Sichuan Electric Power Co
Priority to CN201910988471.0A priority Critical patent/CN110738651B/zh
Publication of CN110738651A publication Critical patent/CN110738651A/zh
Application granted granted Critical
Publication of CN110738651B publication Critical patent/CN110738651B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Geometry (AREA)
  • Quality & Reliability (AREA)
  • Spectrometry And Color Measurement (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)

Abstract

本发明公开了一种多模态多目标下的动态指示灯批量检测方法：待检测设备进入测试工位完成接驳；进行数据交互；数据交互过程中，对各指示灯所在区域进行连续拍照；进行数据融合，形成最终待检测图片；噪声消除；将最终待检测图片由RGB空间转换到HSV空间；形成掩码，并与转换到HSV空间后的图片进行“与”操作，形成只保留特定颜色的彩色图片；进行灰度化处理，检测轮廓；将形成的图片分割为多个区域；对各区域内的识别情况进行去重操作；判定各区域内图片区域内的数量和指示灯颜色是否符合要求。本发明用以解决现有技术成本高、安装调试复杂、动态效果差的问题，实现对安装环境无特殊要求，调试及维护方便，可以适应不同应用场景的目的。

Description

一种多模态多目标下的动态指示灯批量检测方法
技术领域
本发明涉及电能计量设备检测领域，具体涉及一种多模态多目标下的动态指示灯批量检测方法。
背景技术
电能已成为人类社会赖以生存和发展的重要能源，人类的所有活动几乎都与电有密切的关系。通信模块作为客户与电力公司用电信息采集的重要设备，其质量的好坏直接关乎到各方的直接经济利益。因此，如何保证通信模块的质量，就成为摆在电力公司面前亟需解决的问题。为有效确保通信模块的质量，通信模块在安装之前，电力公司质量管控部门会对通信模块进行流水线大规模集中检测，其中也包括通信模块的指示灯检测。常见的通信指示灯检测方法是在待检测工位安装光敏元件，利用光敏元件在特定波长的光照射下，其阻值迅速减小的特性来判断指示灯是否工作正常。对于兼容多尺寸通信模块的流水线而言，由于不同尺寸通信模块指示灯位置各不相同，上述检测方式需要针对不同的通信模块制作不同的光敏阵列，从而确保对所有通信模块的指示灯进行检测；例如对于兼容5种模块的自动化检测流水线，则应制作5种光敏阵列，且在运行过程中需要人工不断的进行手动切换，严重制约了自动化检测流水线的产能释放。
发明内容
本发明的目的在于提供一种多模态多目标下的动态指示灯批量检测方法，以解决现有技术成本高、安装调试复杂、动态效果差的问题，实现对安装环境无特殊要求，调试及维护方便，可以适应不同应用场景的目的。
本发明通过下述技术方案实现：
一种多模态多目标下的动态指示灯批量检测方法，包括以下步骤：
(1)待检测设备进入测试工位，并完成接驳；测试工位与待检测设备进行数据交互，从而点亮电源指示灯、通信收发指示灯；数据交互过程中，相机对各指示灯所在区域进行连续拍照；
(2)对多幅连续图片进行数据融合，形成最终待检测图片，所述最终待检测图片上包含所有待检测指示灯；
(3)对最终待检测图片进行噪声消除；
(4)将最终待检测图片由RGB空间转换到HSV空间；
(5)根据待检测指示灯颜色形成掩码，并与转换到HSV空间后的图片进行“与”操作，形成只保留特定颜色的彩色图片；
(6)对所述彩色图片进行灰度化处理，然后采用霍夫变换算法检测轮廓；
(7)根据测试工位的实际待检测设备数量和相对位置，将步骤(6)形成的图片分割为多个区域；
(8)对各区域内的识别情况，采用面积重叠算法进行去重操作；
(9)判定各区域内图片区域内的数量和指示灯颜色是否符合要求。
进一步的，所述数据融合为对原始图片直接进行融合，或在对特定目标进行分割后进行融合。
进一步的，所述连续拍照时间间隔小于指示灯单次点亮时间。
进一步的，所述连续拍照时间间隔小于指示灯单次点亮时间的一半。
进一步的，所述噪声消除包括：进行均值模糊消除随机噪声；进行中值滤波消除椒盐噪声；进行高斯滤波消除高斯噪声。
进一步的，步骤(7)中，图片分割为多个区域的方法为：根据托盘或相机拍照时可拍摄的模块数量进行多个虚拟区域的分割。
进一步的，步骤(8)中所述去重操作的方法为：当两区域之间面积重叠率超过设定阈值时，则判定为同一目标。
进一步的，两区域的面积重叠率计算方法为：
(a)得到目标A坐标为
Figure BDA0002237465470000021
半径为
Figure BDA0002237465470000022
目标B坐标为
Figure BDA0002237465470000023
半径为
Figure BDA0002237465470000024
(b)计算目标A、目标B之间的圆心距d；
(c)计算目标A对应的区域面积S0、目标B对应的区域面积S1；
(d)计算重叠面积S，
Figure BDA0002237465470000025
(e)计算重叠率∈，
Figure BDA0002237465470000026
进一步的，还包括步骤(10)，若需要多种颜色的指示灯进行检测，则循环执行步骤(5)～(6)直至任务结束。
进一步的，进行数据融合的图片数量，与待检指示灯数量正相关。即使数据融合中，融合的图片数量根据待检指示灯数量变化而变化。
本发明与现有技术相比，具有如下的优点和有益效果：
1、本发明一种多模态多目标下的动态指示灯批量检测方法，流程构成简洁且对安装环境无特殊要求；并且安装、调试及维护方便；
2、本发明一种多模态多目标下的动态指示灯批量检测方法，无需对各个模块进行同步，对同一模块不同指示灯或不同模块不同指示灯的点亮时间也无特殊要求，无须同步；
3、本发明一种多模态多目标下的动态指示灯批量检测方法，实现了可以适应不同的应用场景，对指示灯的数量和位置无任何要求，可同时对多种模块的指示灯进行监测。
附图说明
此处所说明的附图用来提供对本发明实施例的进一步理解，构成本申请的一部分，并不构成对本发明实施例的限定。在附图中：
图1为本发明具体实施例的流程示意图；
图2为本发明具体实施例的应用情形设备结构示意图；
图3为本发明具体实施例中用于承载待检测设备的托盘；
图4为本发明具体实施例中其中一种集中器HPLC的示意图；
图5为本发明具体实施例中装载待集中器HPLC的托盘
图6为本发明具体实施例中面积重叠算法示意图。
附图中标记及对应的零部件名称：
1-支撑架，2托盘输送线一，3-托盘输送线二，4-装置外壳，5-相机支架，6-相机支架横杆，7-彩色相机，8-含有待检测设备的托盘。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白，下面结合实施例和附图，对本发明作进一步的详细说明，本发明的示意性实施方式及其说明仅用于解释本发明，并不作为对本发明的限定。
实施例1：
一种多模态多目标下的动态指示灯批量检测方法，参见图1，图1为本发明方法的流程示意图，它包括以下内容：
检测对象可以是单相电能表、经互感接入式三相电能表、直接接入式电能表、直流电能表、采集器、集中器、专变采集终端及其本地和远程通信模块，通信模块包括高速宽带载波通信模块(简称：HPLC)、窄带载波通信模块、4G通信模块、微功率无线通信模块、双模通信模块等。以集中器HPLC为例进行指示灯检测，判断各指示灯颜色设置是否正确、指示灯是否能够正常点亮。其中：
S101数据获取：
当载有9个HPLC集中器载波模块的托盘流转至指示灯检测工位，并完成接驳后，此时模块电源指示灯已经点亮，检测工位开始与各通信模块进行数据通信，通信过程中，其他指示灯将交替闪烁；同时相机开始进行连续拍照。
为保证各通信模块指示灯均被拍摄，相机连续拍照时间间隔不得低于一次指示灯显示时长，且尽量不大于指示灯单次点亮时间的一半。优选的，该时长可根据现场实际情况进行配置。
S102数据融合：
将多幅连续图片进行数据融合，形成最终待检测图片，确保最终待检测图片上包含所有待检测指示灯。
S103图像预处理
对融合后形成的待检测图片进行均值模糊消除随机噪声，对其进行中值滤波消除椒盐噪声，对其进行高斯滤波消除高斯噪声。
S104图像空间转换
将待检测图片由RGB空间转换到HSV空间。
S105颜色空间掩码
形成“红色”掩码，并与原图片进行“与”操作，形成只保留红色颜色的彩色图片；
S106目标检测
首先对“颜色空间掩码”操作形成的图片进行灰度化处理，然后采用霍夫变换算法检测轮廓；
S107图像分割
根据流入工位的实际待检测设备数量和相对位置，将“目标检测”形成的图片分割为多个区域；如图5所示，图5中间的细交叉线为分割线。由于托盘和相机位置相对固定，可通过现场测试方式确定分割线具***置。需要特别说明的是，对于使用单一尺寸托盘的情形，分割线只需要确定一次即可。
S108区域去重
对各区域内的识别情况，采用面积重叠算法进行去重操作；如图6所示，当两者之间重叠区域，即阴影部分面积超过设定阈值时，则判定为同一目标；反之为不同目标。区域去重的具体算法为：假设目标A坐标为
Figure BDA0002237465470000041
半径为
Figure BDA0002237465470000042
目标B坐标为
Figure BDA0002237465470000043
半径为
Figure BDA0002237465470000044
A目标和B目标圆心之间距离：
Figure BDA0002237465470000045
区域1面积：
Figure BDA0002237465470000046
区域2面积：
Figure BDA0002237465470000051
重叠区域面积：
Figure BDA0002237465470000052
计算重叠率∈：
Figure BDA0002237465470000053
当A目标和B目标面积重叠率∈超过设定阈值时，则判定为A目标和B目标为同一目标。
S109结果处理
判定各区域内图片区域内的数量和指示灯颜色是否符合要求。如本例中，各区域内红色指示灯数应为2。若红色指示灯数不等于2，则判定为不合格。
其他：循环执行步骤“颜色空间掩码”、“目标检测”，对黄色、蓝色、绿色指示灯进行检测直至任务结束。
优选的，本实施例中：
所述的数据融合，融合的图片数量根据待检指示灯数量变化而变化。
所述的数据融合，可对原始图片直接进行融合，也可在对特定目标进行分割后进行融合。
所述的图像预处理，滤波方法根据噪声类型不同，可采用不同的滤波算法，其中噪声类型包括高斯噪声、椒盐噪声、随机噪声等；滤波算法包括均值滤波、中值滤波、高斯滤波、K近领滤波、低通滤波、高通滤波、双边滤波。
所述的目标检测，检测目标包括圆形轮廊、方形轮廊及多边形轮廊中的一种或多种。
以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种多模态多目标下的动态指示灯批量检测方法，其特征在于，包括以下步骤：
(1)待检测设备进入测试工位，并完成接驳；测试工位与待检测设备进行数据交互，从而点亮电源指示灯、通信收发指示灯；数据交互过程中，相机对各指示灯所在区域进行连续拍照；
(2)对多幅连续图片进行数据融合，形成最终待检测图片，所述最终待检测图片上包含所有待检测指示灯；
(3)对最终待检测图片进行噪声消除；
(4)将最终待检测图片由RGB空间转换到HSV空间；
(5)根据待检测指示灯颜色形成掩码，并与转换到HSV空间后的图片进行“与”操作，形成只保留特定颜色的彩色图片；
(6)对所述彩色图片进行灰度化处理，然后采用霍夫变换算法检测轮廓；
(7)根据测试工位的实际待检测设备数量和相对位置，将步骤(6)形成的图片分割为多个区域；
(8)对各区域内的识别情况，采用面积重叠算法进行去重操作；
(9)判定各区域内图片区域内的数量和指示灯颜色是否符合要求；
步骤(8)中所述去重操作的方法为：当两区域之间面积重叠率超过设定阈值时，则判定为同一目标；
两区域的面积重叠率计算方法为：
(a)得到目标A坐标为
Figure FDA0003534292300000011
半径为
Figure FDA0003534292300000012
目标B坐标为
Figure FDA0003534292300000013
半径为
Figure FDA0003534292300000014
(b)计算目标A、目标B之间的圆心距d；
(c)计算目标A对应的区域面积S0、目标B对应的区域面积S1；
(d)计算重叠面积S，
Figure FDA0003534292300000015
(e)计算重叠率∈，
Figure FDA0003534292300000016
2.根据权利要求1所述的一种多模态多目标下的动态指示灯批量检测方法，其特征在于，所述数据融合为对原始图片直接进行融合，或在对特定目标进行分割后进行融合。
3.根据权利要求1所述的一种多模态多目标下的动态指示灯批量检测方法，其特征在于，所述连续拍照时间间隔小于指示灯单次点亮时间。
4.根据权利要求3所述的一种多模态多目标下的动态指示灯批量检测方法，其特征在于，所述连续拍照时间间隔小于指示灯单次点亮时间的一半。
5.根据权利要求1所述的一种多模态多目标下的动态指示灯批量检测方法，其特征在于，所述噪声消除包括：进行均值模糊消除随机噪声；进行中值滤波消除椒盐噪声；进行高斯滤波消除高斯噪声。
6.根据权利要求1所述的一种多模态多目标下的动态指示灯批量检测方法，其特征在于，步骤(7)中，图片分割为多个区域的方法为：根据托盘或相机拍照时可拍摄的模块数量进行多个虚拟区域的分割。
7.根据权利要求1所述的一种多模态多目标下的动态指示灯批量检测方法，其特征在于，还包括步骤(10)，若需要多种颜色的指示灯进行检测，则循环执行步骤(5)～(6)直至任务结束。
8.根据权利要求1所述的一种多模态多目标下的动态指示灯批量检测方法，其特征在于，进行数据融合的图片数量，与待检指示灯数量正相关。
CN201910988471.0A 2019-10-17 2019-10-17 一种多模态多目标下的动态指示灯批量检测方法 Active CN110738651B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910988471.0A CN110738651B (zh) 2019-10-17 2019-10-17 一种多模态多目标下的动态指示灯批量检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910988471.0A CN110738651B (zh) 2019-10-17 2019-10-17 一种多模态多目标下的动态指示灯批量检测方法

Publications (2)

Publication Number Publication Date
CN110738651A CN110738651A (zh) 2020-01-31
CN110738651B true CN110738651B (zh) 2022-07-01

Family

ID=69269125

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910988471.0A Active CN110738651B (zh) 2019-10-17 2019-10-17 一种多模态多目标下的动态指示灯批量检测方法

Country Status (1)

Country Link
CN (1) CN110738651B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115035096A (zh) * 2022-07-05 2022-09-09 杭州涂鸦信息技术有限公司 一种指示灯测试方法及相关装置

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101419663A (zh) * 2008-06-05 2009-04-29 华中科技大学 电力设备故障指示器指示灯状态实时监测识别方法
CN101866425A (zh) * 2010-06-02 2010-10-20 北京交通大学 基于鱼眼摄像头的人体检测方法
CN102136088A (zh) * 2011-03-10 2011-07-27 哈尔滨工程大学 一种基于模糊逻辑的同步定位与地图创建数据关联方法
CN104007409A (zh) * 2014-06-11 2014-08-27 国家电网公司 一种自动检测智能电能表液晶轮显内容的装置及方法
CN104637425A (zh) * 2015-02-06 2015-05-20 西安诺瓦电子科技有限公司 流水线式led显示单元均匀性检测方法、***及装置
CN106504252A (zh) * 2016-09-27 2017-03-15 合肥欣奕华智能机器有限公司 一种彩色图像的颜色分割方法及装置
CN107341806A (zh) * 2017-06-02 2017-11-10 青岛克路德机器人有限公司 基于颜色及形状特征的室内指示灯检测及状态判别方法
CN110044405A (zh) * 2019-05-16 2019-07-23 吉林大学 一种基于机器视觉的汽车仪表自动化检测装置及方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101419663A (zh) * 2008-06-05 2009-04-29 华中科技大学 电力设备故障指示器指示灯状态实时监测识别方法
CN101866425A (zh) * 2010-06-02 2010-10-20 北京交通大学 基于鱼眼摄像头的人体检测方法
CN102136088A (zh) * 2011-03-10 2011-07-27 哈尔滨工程大学 一种基于模糊逻辑的同步定位与地图创建数据关联方法
CN104007409A (zh) * 2014-06-11 2014-08-27 国家电网公司 一种自动检测智能电能表液晶轮显内容的装置及方法
CN104637425A (zh) * 2015-02-06 2015-05-20 西安诺瓦电子科技有限公司 流水线式led显示单元均匀性检测方法、***及装置
CN106504252A (zh) * 2016-09-27 2017-03-15 合肥欣奕华智能机器有限公司 一种彩色图像的颜色分割方法及装置
CN107341806A (zh) * 2017-06-02 2017-11-10 青岛克路德机器人有限公司 基于颜色及形状特征的室内指示灯检测及状态判别方法
CN110044405A (zh) * 2019-05-16 2019-07-23 吉林大学 一种基于机器视觉的汽车仪表自动化检测装置及方法

Also Published As

Publication number Publication date
CN110738651A (zh) 2020-01-31

Similar Documents

Publication Publication Date Title
CN110266268B (zh) 一种基于图像融合识别的光伏组件故障检测方法
CN109127194B (zh) 汽车涂胶视觉跟随检测方法
CN107767374B (zh) 一种gis盆式绝缘子内部导体局部过热智能诊断方法
CN107588855B (zh) 变电设备温度的检测方法、检测装置及终端设备
CN110793722B (zh) 基于机器学习的铅酸蓄电池非接触式漏液检测装置及方法
CN105182275B (zh) 室外电能表故障自动检验方法
CN110738651B (zh) 一种多模态多目标下的动态指示灯批量检测方法
CN104698426B (zh) 室外电能表故障自动检验终端
CN101226157A (zh) 滤光片洁净度的检测设备及方法
CN110211110A (zh) 一种构件尺寸的检测方法、***及终端设备
CN109120895A (zh) 安全通道指示灯运行状态验证机构
CN113034624A (zh) 基于感温变色胶贴的温度预警图像识别方法、***、设备及存储介质
CN105279511A (zh) 基于颜色时变特征的交通信号灯重定位方法及装置
CN116703986A (zh) 一种基于红外可见光的变电设备温度异常预警方法及***
CN114745510A (zh) 一种用于目标图像采集的led光源自动校准方法及***
CN108801462A (zh) 一种非接触式车用线束线序识别装置
CN110247328A (zh) 开关柜内基于图像识别的位置判断方法
CN109775055B (zh) 基于视觉的成捆棒材端面标签漏贴检测与误差测量方法
CN109697732B (zh) 一种用于电阻焊接区域定位的方法
CN110113543B (zh) 通过光线追迹进行补光灯组设置的数据处理方法及装置
CN115639211B (zh) 电池盖板自动化高速检测设备
CN107248151A (zh) 一种基于机器视觉的液晶片智能检测方法及***
CN204373688U (zh) 一种电镀生产线外观和尺寸检验设备
CN116245793A (zh) 基于视觉的色环电阻阻值检测方法
CN115082504A (zh) 一种太阳能光伏板光斑识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant