CN109614298A - 一种基于监控视频的硬件***状态监测和预警方法 - Google Patents

一种基于监控视频的硬件***状态监测和预警方法 Download PDF

Info

Publication number
CN109614298A
CN109614298A CN201811506127.5A CN201811506127A CN109614298A CN 109614298 A CN109614298 A CN 109614298A CN 201811506127 A CN201811506127 A CN 201811506127A CN 109614298 A CN109614298 A CN 109614298A
Authority
CN
China
Prior art keywords
hardware system
image
hardware
pixel
color
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811506127.5A
Other languages
English (en)
Inventor
袁玉波
刘勇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
East China University of Science and Technology
Original Assignee
East China University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by East China University of Science and Technology filed Critical East China University of Science and Technology
Priority to CN201811506127.5A priority Critical patent/CN109614298A/zh
Publication of CN109614298A publication Critical patent/CN109614298A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/32—Monitoring with visual or acoustical indication of the functioning of the machine
    • G06F11/324—Display of status information
    • G06F11/327—Alarm or error message display
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/32—Monitoring with visual or acoustical indication of the functioning of the machine
    • G06F11/324—Display of status information
    • G06F11/328—Computer systems status display

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Computing Systems (AREA)
  • Image Analysis (AREA)

Abstract

本专利提出了一种基于视频监控的硬件***状态监测和预警方法。首先在检测的硬件***对应位置安装视频监控，采集硬件***状态视频数据。然后采用视频图像内容分割、区域显著性目标检测等技术,建立硬件***状态结构化视觉数据，建立坐标体系给出每个***硬件的运行状态数据。方法采用精确的颜色和纹理相容的图像分割技术、基于区域显著性目标提取技术，有效保证了硬件状态监测结果的精度和效率，并能接入深度学习***，从历史硬件状态视频数据中辅助判断硬件故障，并实时预警。本专利成果可直接使用于大型数据中心服务器、大规模石油石化装备等复杂***的运行状态监测和预警。

Description

一种基于监控视频的硬件***状态监测和预警方法
技术领域
本发明一种基于监控视频的硬件***状态的监测和预警方法，涉及领域是计算机视觉。
背景技术
随着自动化检测技术的不断发展，我们可以看到越来越多的基于图像处理技术来实现的硬件***状态的自动化检测解决方案也层出不穷。通过计算机视觉技术所提出来的解决方案，是指利用计算机视觉采集设备将被被测对象通过处理和转换，形成计算机***可识别的图像信息，然后发送给专用算法的图像处理***，在依据专业算法将不同指标属性转换成数字化的信号并运算出检测目标的特征量，从而实现对被测产品状态的判断，甚至复杂情况下的精准判断。目前，针对设备控制面板上多数量硬件***状态测试的自动化视觉检测还是个空白领域，硬件***的多状态和亮度检测的复杂性，对计算机视觉检测的可靠性和准确性提出了更高的要求，导致目前自动化生产线上对多量硬件***的检测还是通过人工结合机器的判断方法，存在很多漏洞，需要进一步的提升。本专利提出了一种基于机器视觉检测技术以实现大规模硬件***状态群高速测试的创新解决方案。其硬件***自动化检测***更加的模块化，更加的定制化，也更加灵活的满足不同测试场景的要求。满足检测的灵活性，可靠性，和可扩展性，易于部署和实施，检测精确。
发明内容
本发明提出了一种基于机器视觉检测技术以实现大规模硬件***状态群高速测试的创新解决方案，我们称之为鹰眼检测***。针对硬件***的位置偏移，亮度缺陷，色度缺陷等多种指标,鹰眼检测***将会通过四象限的方法评估硬件***的整体的成像效果，在每个1/4象限的范围内通过图像匹配技术在ROI范围内检测出硬件***阴影和光强变化。鹰眼检测***是通过3D modeling的方法来实现对一组硬件***状态群的检测。通过提前设定的测试机架信息，硬件***的类型信息，硬件***的检测指标的配置信息，***可以快速的规划出最佳的扫描检测方案，对特殊位置的硬件***还可以确定最佳的检测角度以避免检测过程中的部分遮挡。另外对颜色准确性和一致性的检测精度和效率也有提升，并能和历史检测数据进行对比，适应大数据分析，有效地解决了目前行业中硬件***检测的难点，使相关自动化检测效率大幅提升。我们已经进行了大量的实验并且运用鹰眼检测***在实际的工业检测中，检测精度能够得到很好的提升，硬件***自动化检测效率大幅提升。
本发明的技术方案如下：
步骤1，硬件***状态视频图像颜色分割：颜色量化是将图像量化为具有代表性的10-20种颜色，将像素用类标签代替，得到一张Color-map。将图像的颜色空间由RGB转化为HSV，然后，算法采用PGF(Peer Group Filter)对图像进行预处理，消除图像的噪声，并采用GLA(Generalized Lloyd Algorithm)算法实现像素聚类，提取一些具有代表性的颜色来区别相邻的区域。在不同的尺度下，对Color-map的每个像素计算区域色彩差异值，根据该值分割硬件状态视频图像。
步骤2，硬件***状态视频图像颜色分割：首先，将图像I均匀分割为尺寸为N×N的网格{G1,G2,…,Gm}，因此，分割后的数据变为：
I＝{G1,G2,...,Gm}
其中，m为每张图像中网格的总数。
接着，提取每个网格的纹理特征，本文采用Gabor纹理特征，提取的特征可以表示为：
V＝{V1,V2,...,Vm}
然后，采用K-means聚类算法对纹理特征进行聚类，聚类中心数为K。这样，K-means聚类算法不仅能够对这些高维数据进行聚类，而且能够降低特征维数，从而降低数据的复杂度。因此，每个网格Gj，j∈m都有一个所属的类别号l(Gj)，且l(Gj)∈K。其中，每个像素的所属的类别服从所属网格的类标号。即：
表示第j个网格中的某个像素。表示该像素的类标号。l(Gj)表示Gj网格所属的类标号。这样，由Gabor纹理特征聚类得到的类标号，就形成了与原图尺寸相等的Texture-map。
步骤3，硬件***状态视频图像特征相容：将纹理特征类标号和颜色特征类标号都相同的像素归为同一类，形成新的TC-map。根据TC-map分割硬件***状态视频图像。
步骤4，硬件***状态视频图像显著目标提取：对分割图像进行锐化处理，获得锐化图像,进行灰度值进行提取，以硬件***图像分割区域的几何中心点为基础，计算像素块sk的显著性值为S(sk)，按照如下公式计算
Wn＝exp(-δ×Ds(sk,VFn))
其中，Ds(sk,VFn)表示像素块sk和新的视觉焦点VFn之间的空间距离。视觉焦点VFn的获得来自于显著性引力构成的一个引力合力Fall，其计算公式如下所示。
Fi＝S(pi)exp(-λ×D2(pi,VF))
其中，S(pi)表示像素点pi的显著性值；D2(pi,VF)表示像素点pi到视觉焦点VF的距离。λ设置为1，用于控制空间权值的强度。
步骤5，建立直角坐标系，得到硬件***状态结构化数据库Sij表示位于第i行第j列的***设备状态数据。
步骤6，建立状态预警模型如下
其中是标准硬件***状态显示数据，ε是预警误差控制参数，一般设为1。
附图说明
本案无附图。
具体实施方式
步骤1，采用基于参考点的方式，快速、精确定位到被测的硬件***，通过技术方案中的方法捕获高分辨率的影像信息。
步骤2，根据技术方案中的机器视觉算法，并通过图像预处理，包括颜色处理、灰度平衡、噪声处理等准确检测出硬件***颜色准确性，一致性，硬件***完整性，亮度缺陷等。
步骤3，通过3D modeling的方法来实现对硬件***状态群的类别检测，通过提前设定的测试机架信息，面板硬件***的类型信息，硬件***的检测指标的配置信息，初始定位孔信息，***可以快速的规划最佳的扫描方案。利用遮光罩来减少外部光源对工作区域的影响。
步骤4，对特殊位置的硬件***可以确定最佳的检测角度以避免检测过程中的部分遮挡。
步骤5，基于模型库的管理方式，具有较强的可拓展性。
步骤6，具有可视化参数修改界面，用户可便捷的修改硬件***检测精度，容差范围。
步骤7，***中的相机以及运动部件具有单独调试界面，可脱离测试流程进行单独控制。
步骤8，本地保存便于追溯的影响信息和客户定制化测试报告。
步骤9，***具有用户权限管理，现有管理员、技术员以及操作员等几种权限。

Claims (5)

1.一种基于视频监控的硬件***状态监测方法，其特征在于：对图像提取时，进行以下步骤，
步骤1，硬件***状态视频图像颜色分割：颜色量化是将图像量化为具有代表性的10-20种颜色，将像素用类标签代替，得到一张Color-map；将图像的颜色空间由RGB转化为HSV，然后，算法采用PGF(Peer Group Filter)对图像进行预处理，消除图像的噪声，并采用GLA(Generalized Lloyd Algorithm)算法实现像素聚类，提取一些具有代表性的颜色来区别相邻的区域；在不同的尺度下，对Color-map的每个像素计算区域色彩差异值，根据该值分割硬件状态视频图像；
步骤2，硬件***状态视频图像颜色分割：首先，将图像I均匀分割为尺寸为N×N的网格{G1,G2,…,Gm}，因此，分割后的数据变为：
I＝{G1,G2,...,Gm}
其中，m为每张图像中网格的总数；
接着，提取每个网格的纹理特征，本文采用Gabor纹理特征，提取的特征可表示为：
V＝{V1,V2,...,Vm}
然后，采用K-means聚类算法对纹理特征进行聚类，聚类中心数为K；K-means聚类算法不仅能够对这些高维数据进行聚类，而且能够降低特征维数，从而降低数据的复杂度；因此，每个网格Gj，j∈m都有一个所属的类别号l(Gj)，且l(Gj)∈K；其中，每个像素的所属的类别服从所属网格的类标号；即：
表示第j个网格中的某个像素；表示该像素的类标号；l(Gj)表示Gj网格所属的类标号；这样，由Gabor纹理特征聚类得到的类标号，就形成了与原图尺寸相等的Texture-map；
步骤3，硬件***状态视频图像特征相容：将纹理特征类标号和颜色特征类标号都相同的像素归为同一类，形成新的TC-map；根据TC-map分割硬件***状态视频图像；
步骤4，硬件***状态视频图像显著目标提取：对分割图像进行锐化处理，获得锐化图像,进行灰度值进行提取，以硬件***图像分割区域的几何中心点为基础，计算像素块sk的显著性值为S(sk)，按照如下公式计算
Wn＝exp(-δ×Ds(sk,VFn))
其中，Ds(sk,VFn)表示像素块sk和新的视觉焦点VFn之间的空间距离；视觉焦点VFn的获得来自于显著性引力构成的一个引力合力Fall，其计算公式如下所示；
Fi＝S(pi)exp(-λ×D2(pi,VF))
其中，S(pi)表示像素点pi的显著性值；D2(pi,VF)表示像素点pi到视觉焦点VF的距离；λ设置为1，用于控制空间权值的强度；
步骤5，建立直角坐标系，得到硬件***状态结构化数据库Sij表示位于第i行第j列的***设备状态数据；
步骤6，建立状态预警模型如下
其中是标准硬件***状态显示数据，ε是预警误差控制参数，一般设为1。
2.根据权利要求1所述的方法，要求步骤1保护硬件***状态视频图像颜色分割方法。
3.根据权利要求1所述的方法，要求步骤2，保护硬件***状态视频图像纹理分割方法。
4.根据权利要求1所述的方法，要求步骤4，保护硬件***状态视频图像显著目标提取方法。
5.根据权利要求1所述的方法，要求步骤6，保护硬件***状态预警模型。
CN201811506127.5A 2018-12-10 2018-12-10 一种基于监控视频的硬件***状态监测和预警方法 Pending CN109614298A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811506127.5A CN109614298A (zh) 2018-12-10 2018-12-10 一种基于监控视频的硬件***状态监测和预警方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811506127.5A CN109614298A (zh) 2018-12-10 2018-12-10 一种基于监控视频的硬件***状态监测和预警方法

Publications (1)

Publication Number Publication Date
CN109614298A true CN109614298A (zh) 2019-04-12

Family

ID=66007686

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811506127.5A Pending CN109614298A (zh) 2018-12-10 2018-12-10 一种基于监控视频的硬件***状态监测和预警方法

Country Status (1)

Country Link
CN (1) CN109614298A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111768375A (zh) * 2020-06-24 2020-10-13 海南大学 一种基于cwam的非对称gm多模态融合显著性检测方法及***
CN115327469A (zh) * 2022-08-09 2022-11-11 国网冀北电力有限公司计量中心 电能表检定数据的监控方法以及***

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111768375A (zh) * 2020-06-24 2020-10-13 海南大学 一种基于cwam的非对称gm多模态融合显著性检测方法及***
CN111768375B (zh) * 2020-06-24 2022-07-26 海南大学 一种基于cwam的非对称gm多模态融合显著性检测方法及***
CN115327469A (zh) * 2022-08-09 2022-11-11 国网冀北电力有限公司计量中心 电能表检定数据的监控方法以及***

Similar Documents

Publication Publication Date Title
US7495758B2 (en) Apparatus and methods for two-dimensional and three-dimensional inspection of a workpiece
CN106845502B (zh) 一种用于设备检修的穿戴式辅助装置及设备检修可视化指导方法
Chauhan et al. Fault detection and classification in automated assembly machines using machine vision
CN107483014B (zh) 一种光伏板故障自动检测方法
CN112734692A (zh) 一种变电设备缺陷识别方法及装置
CN110910350B (zh) 一种用于风电塔筒的螺母松动检测方法
CN113324864B (zh) 一种基于深度学习目标检测的受电弓碳滑板磨耗检测方法
CN109693140B (zh) 一种智能化柔性生产线及其工作方法
CN111105398A (zh) 一种基于可见光图像数据的输电线路部件裂纹检测方法
CN109614298A (zh) 一种基于监控视频的硬件***状态监测和预警方法
CN104198325A (zh) 基于计算机视觉的烟丝中梗丝比例测定方法
WO2021041422A1 (en) Ai-powered autonomous 3d printer
Cheng et al. Image segmentation technology and its application in digital image processing
CN111487192A (zh) 一种基于人工智能的机器视觉表面缺陷检测装置及方法
Yu et al. A survey on automatic inspections of overhead contact lines by computer vision
CN116665126A (zh) 一种机器人巡检部件缺陷检测方法及其应用
CN114441452B (zh) 一种光纤尾纤检测方法
CN108564076B (zh) 一种智能建筑物内电力布线中可视化控制***
CN117635905A (zh) 基于图像识别算法的电能表装接质量智能监测方法
CN112686872A (zh) 基于深度学习的木材计数方法
CN116840240A (zh) 电源分配器视觉检测***
CN117114420A (zh) 一种基于图像识别的工贸安全事故风险管控***和方法
Gao et al. The application of machine learning and artificial intelligence technology in the production quality management of traditional Chinese medicine decoction pieces
EP4352451A1 (en) Texture mapping to polygonal models for industrial inspections
US9076080B1 (en) Automated diagnostic analysis of image data

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20190412