CN111221996B - 仪表屏幕视觉检测方法和*** - Google Patents

仪表屏幕视觉检测方法和*** Download PDF

Info

Publication number
CN111221996B
CN111221996B CN201911169915.4A CN201911169915A CN111221996B CN 111221996 B CN111221996 B CN 111221996B CN 201911169915 A CN201911169915 A CN 201911169915A CN 111221996 B CN111221996 B CN 111221996B
Authority
CN
China
Prior art keywords
screen
detected
image
instrument
icon
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911169915.4A
Other languages
English (en)
Other versions
CN111221996A (zh
Inventor
晶晶
沈洪亮
汪桂凤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Huaxing Digital Technology Co Ltd
Original Assignee
Shanghai Huaxing Digital Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Huaxing Digital Technology Co Ltd filed Critical Shanghai Huaxing Digital Technology Co Ltd
Priority to CN201911169915.4A priority Critical patent/CN111221996B/zh
Publication of CN111221996A publication Critical patent/CN111221996A/zh
Application granted granted Critical
Publication of CN111221996B publication Critical patent/CN111221996B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/53—Querying
    • G06F16/532—Query formulation, e.g. graphical querying
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Library & Information Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种仪表屏幕视觉检测方法和***，包括：获取包含待检测仪表屏幕的初始图像；在初始图像中确定待检测状态图标，其中，待检测状态图标为用于表征待检测仪表的运行状态的图标；从预设状态图标库中查找与待检测状态图标相匹配的状态图标，得到目标状态图标；将目标状态图标所显示的状态信息确定为待检测状态图标的状态检测结果。本发明缓解了现有技术中存在的容易产生漏检现象且无法支持无人值守的自动化测试的技术问题。

Description

仪表屏幕视觉检测方法和***
技术领域
本发明涉及仪表检测技术领域，尤其是涉及一种仪表屏幕视觉检测方法和***。
背景技术
随着工业互联网的发展，仪表作为工业应用中的人机交互界面，被赋予越来越多的功能，在仪表中运行的应用软件也越来越复杂。如何对显示屏进行自动化测试，为研发提供可靠质量保证和快速版本迭代具有重要意义。目前，人工目测是最常用的仪表屏幕图标状态检测方法。这种方式非常耗时耗力，且故障容易被漏检，可重复性差。
与人工目测的方法相比，基于仪表屏幕的视觉检测方法采用处理非接触获取图像的方式，具有检测效率高、稳定性强、检测过程不需要人工干预等优点，已经成为屏幕检测领域的发展方向。目前已有的基于计算机视觉技术的屏幕检测方法大多是针对屏幕缺陷检测进行设计的，针对仪表屏幕图像的图标状态检测的工作还比较少，尚未查到比较成熟的***可供直接使用。由于人眼容易疲劳，且采用人工目测的方式对仪表屏幕图像的图标状态进行检测很难兼顾所有图标，因此容易产生漏检现象，且无法支持无人值守的自动化测试。
发明内容
有鉴于此，本发明的目的在于提供一种仪表屏幕视觉检测方法和***，以缓解了现有技术中存在的容易产生漏检现象且无法支持无人值守的自动化测试的技术问题。
第一方面，本发明实施例提供了一种仪表屏幕视觉检测方法，包括：获取包含待检测仪表屏幕的初始图像；在所述初始图像中确定待检测状态图标，其中，所述待检测状态图标为用于表征待检测仪表的运行状态的图标；从预设状态图标库中查找与所述待检测状态图标相匹配的状态图标，得到目标状态图标；将所述目标状态图标所显示的状态信息确定为所述待检测状态图标的状态检测结果。
进一步地，获取包含待检测仪表屏幕的初始图像包括：获取待处理的原始图像，其中，所述待处理的原始图像为包含待检测仪表屏幕的图像；对所述待处理的原始图像进行目标处理，得到二值图像，其中，所述目标处理包括以下至少之一：灰度化处理、图像滤波处理和二值化处理；利用Canny边缘检测算法对所述二值图像进行边缘检测，得到边缘图像；利用Hough直线检测算法检测所述边缘图像，得到多个边缘直线；基于所述多个边缘直线对所述待处理的原始图像进行畸变校正，得到所述初始图像。
进一步地，在获取包含待检测仪表屏幕的初始图像之后，所述方法还包括：对所述初始图像进行屏幕异常检测；其中，所述屏幕异常检测包括：黑屏或白屏检测，花屏检测；若根据检测结果确定出所述待检测仪表屏幕显示异常，则生成告警信息。
进一步地，对所述初始图像进行屏幕异常检测，包括：获取二值图像中的第一连通区域和第二连通区域；所述第一连通区域为所述二值图像中由白色像素点组成的连通区域，所述第二连通区域为所述二值图像中由黑色像素点组成的连通区域，所述二值图像为对所述初始图像的原始图像进行二值化处理之后的图像；计算目标连通区域的面积与所述二值图像的总面积的比值，得到目标比值；其中，所述目标连通区域为所述第一连通区域或者第二连通区域；基于所述目标比值判断所述待检测仪表屏幕是否存在黑屏现象或者白屏现象；若是，则发出报警信息。
进一步地，所述目标连通区域为第一连通区域，所述目标比值为第一比值；基于所述目标比值判断所述待检测仪表屏幕是否存在黑屏现象或者白屏现象包括：判断所述第一比值是否大于或等于第一预设值；如果是，则确定出所述待检测仪表屏幕存在白屏现象，并发出报警信息。
进一步地，所述目标连通区域为第二连通区域，所述目标比值为第二比值；基于所述目标比值判断所述待检测仪表屏幕是否存在黑屏现象包括：判断所述第二比值是否大于或等于第二预设值；如果是，则确定出所述待检测仪表屏幕存在黑屏现象，并发出告警信息。
进一步地，对所述初始图像进行屏幕异常检测，包括：获取预设界面图像；分别将所述初始图像中每个像素的RGB值与所述预设界面图像中相对应像素的RGB值进行比较，得到多个像素差值；基于所述多个像素差值得到所述预设界面图形与所述初始图像之间的图像的差异度值；若所述差异度值大于预设差异度值，则确定出所述待检测仪表屏幕存在花屏现象，并发出告警信息。
进一步地，在获取待检测仪表屏幕的初始图像之后，所述方法还包括：获取所述初始图像中的待检测百分比图标；所述待检测百分比图标为所述待检测仪表中以颜色所占面积的百分比所显示的仪表图标；获取所述待检测百分比图标属于背景颜色的目标像素个数；计算所述目标像素个数与所述待检测百分比图标的总像素个数的比值，得到目标比值；基于所述目标比值得到所述待检测百分比图标的目标显示数值。
第二方面，本发明实施例还提供了一种仪表屏幕视觉检测***，包括：获取模块，第一确定模块，匹配模块和第二确定模块，其中，所述获取模块，用于获取包含待检测仪表屏幕的初始图像；所述第一确定模块，用于在所述初始图像中确定待检测状态图标，其中，所述待检测状态图标为用于表征待检测仪表的运行状态的图标；所述匹配模块，用于从预设状态图标库中查找与所述待检测状态图标相匹配的状态图标，得到目标状态图标；所述第二确定模块，用于将所述目标状态图标所显示的状态信息确定为所述待检测状态图标的状态检测结果。
第三方面，本发明实施例还提供了一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述实施例一所述的方法的步骤。
本发明实施例通过自动获取待检测仪表屏幕的初始图像，并对初始图像中的状态图标进行检测，通过与预设状态图标匹配查找的方式得到仪表屏幕的中状态图标的检测结果，该检测过程无需人工操作，自动检测，能够缓解现有技术中容易产生漏检现象且无法支持无人值守的自动化测试的技术问题。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种仪表屏幕视觉检测方法的流程图；
图2为本发明实施例提供的另一种仪表屏幕视觉检测方法的流程图；
图3为本发明实施例提供的一种仪表屏幕视觉检测***的示意图；
图4为本发明实施例提供的另一种仪表屏幕视觉检测***的示意图。
具体实施方式
下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例一：
图1是根据本发明实施例提供的一种仪表屏幕视觉检测方法的流程图，如图1所示，该方法具体包括如下步骤：
步骤S102，获取包含待检测仪表屏幕的初始图像。
具体地，通过图像获取装置获取一帧包含有待检测仪表屏幕的图像，并将获取到的图像通过网线传输给计算机，以便进行后续的处理。图像获取装置主要包括相机、支架、遮光罩三个部分。其中仪表水平放置在遮光罩内，相机从仪表屏幕正上方向下拍摄，支架可以固定在水平的平台上。因为仪表屏幕是亮的，经过实际应用测试，在不加外部光源的情况下，可以获得比较清晰的仪表屏幕图像。因此，该装置没有添加外部光源。在实际应用情况下，所拍摄的图像中的仪表屏幕区域占所拍摄图像面积的一半以上。
步骤S104，在初始图像中确定待检测状态图标，其中，待检测状态图标为用于表征待检测仪表的运行状态的图标。
具体地，根据已知的仪表图标位置信息将待检测状态图标从初始图像中截取出来。
步骤S106，从预设状态图标库中查找与待检测状态图标相匹配的状态图标，得到目标状态图标。
在本发明中，图标的每个可能出现的正常状态都是已知的。首先，根据仪表中图标的位置信息将待检测图标从校正后的仪表屏幕图像中截取出来，然后将截取出的图标图像与已知的正常状态图像进行模板匹配，最后根据匹配值判断当前图标的状态。
步骤S108，将目标状态图标所显示的状态信息确定为待检测状态图标的状态检测结果。
本发明实施例提供的一种仪表屏幕视觉检测方法，首先获取含待检测仪表屏幕的初始图像，然后在初始图像中确定待检测状态图标，采用模板匹配的方法对仪表屏幕的每个图标检测其状态，最后根据目标状态图标所显示的状态信息确定为待检测状态图标的状态检测结果。本发明实施例提供的检测过程无需人工操作，自动检测，能够缓解现有技术中容易产生漏检现象且无法支持无人值守的自动化测试的技术问题。
可选地，步骤S102具体包括如下步骤：
步骤S1021，获取待处理的原始图像，其中，待处理的原始图像为包含待检测仪表屏幕的图像；
步骤S1022，对待处理的原始图像进行目标处理，得到二值图像，其中，目标处理包括以下至少之一：灰度化处理、图像滤波处理和二值化处理；
步骤S1023，利用Canny边缘检测算法对二值图像进行边缘检测，得到边缘图像；
步骤S1024，利用Hough直线检测算法检测边缘图像，得到多个边缘直线；
步骤S1025，基于多个边缘直线对待处理的原始图像进行畸变校正，得到初始图像。
具体地，此步骤包括对获取到的原始图像进行预处理。包括灰度化和图像滤波两个环节。首先，将采集到的仪表屏幕彩色图像(即原始图像)由RGB彩色空间转化到HSI空间，并使用直接提取亮度(I值)的方法对滤波后的图像进行灰度化。然后，采用双边滤波器对滤波后的彩色图像进行滤波处理。双边滤波器属于非线性滤波器，不仅考虑像素间的距离因素，而且也考虑像素间灰度值因素，更符合人眼视觉***滑图像噪声。滤波后每个像素的灰度值等于其邻域像素的加权平均，邻域像素的加权系数等于空间邻近度因子与灰度相似度因子的乘积。这样确保了只有空间距离近、灰度值差异不大的邻域像素对中心像素点的滤波结果有比较大的影响。下面大致描述一下基于双边滤波器的图像滤波方法。
假设图像I在坐标点p＝(x,y)的灰度值为Ip，滤波后得到的图像BI在坐标点p的灰度值定义为BIp，双边滤波的公式如式(1)、(2)所示。
Figure BDA0002288163810000071
Figure BDA0002288163810000072
上式中，q＝(u,v)为中心像素p的邻域像素点，邻域像素点集合为S，Wp为归一化因子，Gσs为空间邻近度因子，Gσr为灰度相似度因子，它们的表达式由下式给出：
Figure BDA0002288163810000073
Figure BDA0002288163810000074
其中，σs是基于高斯函数的距离标准差，σr是基于高斯函数的灰度标准差。两者分别控制了空间域滤波核函数和灰度滤波核函数的径向作用范围，均为可选择变化的参数，直接决定了双边滤波器的性能，它们通过控制像素位置的相对空间和灰度变化范围来调节像素的加权值。
接着，对滤波后的灰度图像采用基于单阈值的图像分割方法进行二值化处理，以获得二值图像。即寻找一个合适的灰度值作为阈值T将图像分割为两部分，则分割后的图像g(x,y)可由下式表示：
Figure BDA0002288163810000075
分割后的图像g(x,y)为一幅二值图像。
可选地，在本发明实施例中，由于此步骤的目标是提取仪表屏幕的边缘，根据仪表屏幕图像的特点，阈值T设为50。
随后，采用Canny边缘检测算法对获取到的二值图像进行边缘检测。Canny边缘算子首先采用二维高斯函数的任意方向上的一阶方向导数为噪声滤波器，通过与图像的卷积运算进行滤波；然后对滤波后的图像寻找图像梯度的局部最大值，以此来确定图像边缘。最后，使用非极大值抑制和双阈值来优化图像边缘。
接着，使用Hough直线检测方法检测边缘图像中的直线。利用Hough变换检测直线的具体实现步骤如下：
首先，选择合适的ρ、θ的最大值和最小值，并对参数坐标系ρ-θ进行离散化处理。其中，ρ、θ分别为利用直线检测方法得到的多个直线在预先建立好的极坐标系中的极径和极角。
然后，建立一个二维累加器A(ρ,θ)且使它的每一个元素的初始值均为0。累计器矩阵的大小依赖于Hough空间离散化的程度。
最后，对输入空间的每一点Pi计算曲线ρ＝(cosθ,sinθ)Pi，将累加器A(ρ,θ)对应的元素加1。检测累加器的峰值点，每个峰值点对应图像坐标系下的一条直线。
在本发明中，选择前四个峰值点对应直线即为仪表屏幕的外边缘对应的四条直线。随后，根据每条边缘直线对应的ρ、θ值对检测出的四条边缘直线进行排序。排序方法为：首先，检测出|θ|值最小的两条边缘直线，将ρ值比较小的边缘直线标记为L1，ρ值比较大的边缘直线标记为L3。然后，将另外两条直线中ρ值比较小的边缘直线标记为L2，ρ值比较大的边缘直线标记为L4。接着，依次计算边缘直线L1和L2的交点坐标、边缘直线L2和L3的交点坐标，边缘直线L3和L4的交点坐标以及边缘直线L4和L1的交点坐标。
随后，采用基于单应矩阵估计的方法对图像进行畸变校正，即将仪表屏幕区域校正为矩形。单应矩阵表示两个平面之间的可逆齐次变换，其估计方法主要有线性估计方法、几何方法、鲁棒估计方法及统计估计方法。在本发明中，由于仪表屏幕的标准界面图像是已知的，因此仪表屏幕的标准界面图像中四条外边缘直线的交点也是已知的。因此，本发明使用归一化直接线性方法估计仪表屏幕的标准界面图像与摄像机采集到的仪表屏幕图像之间的单应矩阵，进而采用插值的方法进行畸变校正。
对于直接线性方法来说，测量数据较小的误差都可能使测量矩阵有较大的条件数，从而导致估计结果的不稳定。归一化直接线性方法的基本思想是对测量数据作适当的归一化变换，使得变换后的数据所对应的测量矩阵有好的条件数，以提高数值计算的稳定性。在使用归一化直接线性方法计算出单应矩阵后，对摄像机获取到的仪表屏幕彩色图像利用单应矩阵进行插值变换，即可得到校正后的仪表屏幕图像。
可选地，在步骤S102中获取包含待检测仪表屏幕的初始图像之后，该方法还包括如下屏幕异常检测步骤：
对初始图像进行屏幕异常检测；其中，屏幕异常检测包括：黑屏或白屏检测，花屏检测；
若根据检测结果确定出待检测仪表屏幕显示异常，则生成告警信息。
具体地，对初始图像进行屏幕异常检测，包括：
获取二值图像中的第一连通区域和第二连通区域；第一连通区域为二值图像中由白色像素点组成的连通区域，第二连通区域为二值图像中由黑色像素点组成的连通区域，二值图像为对初始图像的原始图像进行二值化处理之后的图像；
计算目标连通区域的面积与二值图像的总面积的比值，得到目标比值；其中，目标连通区域为第一连通区域或者第二连通区域；
基于目标比值判断待检测仪表屏幕是否存在黑屏现象或者白屏现象；若是，则发出报警信息。
具体地，判断第一比值是否大于或等于第一预设值；
如果是，则确定出待检测仪表屏幕存在白屏现象，并发出报警信息。
以及，判断第二比值是否大于或等于第二预设值；
如果是，则确定出待检测仪表屏幕存在黑屏现象，并发出告警信息。
具体地，使用校正后的仪表屏幕图像进行白屏/黑屏现象检测。其中，当仪表屏幕图像出现白屏/黑屏现象时，图像中会存在较大面积的白色/黑色连通区域。首先，使用阈值法分别检测校正后仪表屏幕图像中的白色像素点和黑色像素点。然后，分别统计图像中白色像素点组成连通区域的大小和黑色像素点组成连通区域的大小。最后，根据统计出的白色像素连通区域面积的大小和黑色像素连通区域面积的大小判断是否存在白屏/黑屏现象。如果存在白屏/黑屏现象，则判断此时仪表屏幕异常。否则，继续进行后续的检测。
具体地，对初始图像进行花屏检测，包括如下步骤：
获取预设界面图像；
分别将初始图像中每个像素的RGB值与预设界面图像中相对应像素的RGB值进行比较，得到多个像素差值；
基于多个像素差值得到预设界面图形与初始图像之间的图像的差异度值；
若差异度值大于预设差异度值，则确定出待检测仪表屏幕存在花屏现象，并发出告警信息。
具体地，在本发明实施例中，使用校正后的仪表屏幕图像和仪表的标准界面图进行花屏现象检测。首先将校正后的仪表屏幕图像与标准界面图每个像素的RGB值进行比对，得到差异度值，当差异度值超过阈值时，说明此时存在花屏现象。如果存在花屏现象，则判断此时仪表屏幕异常。否则，继续进行后续的检测。
具体地，步骤S106使用校正后的仪表屏幕图像进行图标状态检测。首先，根据已知的仪表图标位置信息将待检测图标从校正后的仪表屏幕图像中截取出来。在获取到图标区域图像后，采用模板匹配的方法进行图标状态检测。在模板匹配过程中，采用下列相关函数来反应匹配程度，当模板和目标子图匹配时这一项的值最大：
Figure BDA0002288163810000111
通过模板匹配，找到最佳匹配位置的行坐标和列坐标(此处的行坐标和列坐标为在缩放后图像内的行、列坐标)，然后将其恢复到原目标图像内的行、列坐标，就找到了模板区域所在的具***置，得到模板区域在原目标图像内的行、列坐标图像。
可选地，本发明实施例中，在获取待检测仪表屏幕的初始图像之后，方法还包括对仪表屏幕图像中的图标进行百分比检测，包括如下步骤：
获取初始图像中的待检测百分比图标；待检测百分比图标为待检测仪表中以颜色所占面积的百分比所显示的仪表图标；
获取待检测百分比图标属于背景颜色的目标像素个数；
计算目标像素个数与待检测百分比图标的总像素个数的比值，得到目标比值；
基于目标比值得到待检测百分比图标的目标显示数值。
在本发明实施例中，首先，检测当前图标中与已知背景像素彩色值差异值小于阈值的像素，并统计检测出的像素个数。然后，计算检测出的像素个数与图标的总像素个数的比值。最后，用1减去计算出的比值即为图标当前的百分比状态。
通过以上描述可知，本发明实施例提供了一种仪表屏幕视觉检测方法，如图2所示，该方法可以达到如下技术效果：
1、能检查显示屏的静态图标区域，对图标状态做判断。
2、能检测屏幕的动态区域，如仪表盘刻度，进度条的值。
3、能检查显示屏的异常情况，如白屏，黑屏，花屏，死屏。
4、满足无人值守的全自动化测试需求。
实施例二：
图3是根据本发明实施例提供的一种仪表屏幕视觉检测***的示意图，具体地，如图3所示，该***包括：获取模块10，第一确定模块20，匹配模块30和第二确定模块40。
具体地，获取模块10，用于获取包含待检测仪表屏幕的初始图像。
第一确定模块20，用于在初始图像中确定待检测状态图标，其中，待检测状态图标为用于表征待检测仪表的运行状态的图标。
匹配模块30，用于从预设状态图标库中查找与待检测状态图标相匹配的状态图标，得到目标状态图标。
第二确定模块40，用于将目标状态图标所显示的状态信息确定为待检测状态图标的状态检测结果。
本发明实施例提供的一种仪表屏幕视觉检测***，首先通过获取模块获取含待检测仪表屏幕的初始图像，然后通过第一确定模块在初始图像中确定待检测状态图标，通过匹配模块采用模板匹配的方法对仪表屏幕的每个图标检测其状态，最后通过第二确定模块根据目标状态图标所显示的状态信息确定为待检测状态图标的状态检测结果。本发明实施例提供的***对仪表屏幕的检测过程无需人工操作，自动检测，能够缓解现有技术中容易产生漏检现象且无法支持无人值守的自动化测试的技术问题。
可选地，如图4所示，该***还包括：屏幕异常检测模块50，用于对初始图像进行屏幕异常检测；其中，屏幕异常检测包括：黑屏或白屏检测，花屏检测；
若根据检测结果确定出待检测仪表屏幕显示异常，则生成告警信息。
具体地，屏幕异常检测模块50还用于：
获取二值图像中的第一连通区域和第二连通区域；第一连通区域为二值图像中由白色像素点组成的连通区域，第二连通区域为二值图像中由黑色像素点组成的连通区域，二值图像为对初始图像的原始图像进行二值化处理之后的图像；
计算目标连通区域的面积与二值图像的总面积的比值，得到目标比值；其中，目标连通区域为第一连通区域或者第二连通区域；
基于目标比值判断待检测仪表屏幕是否存在黑屏现象或者白屏现象；若是，则发出报警信息。
具体地，判断第一比值是否大于或等于第一预设值；
如果是，则确定出待检测仪表屏幕存在白屏现象，并发出报警信息。
判断第二比值是否大于或等于第二预设值；
如果是，则确定出待检测仪表屏幕存在黑屏现象，并发出告警信息。
可选地，屏幕异常检测模块50还用于：
获取预设界面图像；
分别将初始图像中每个像素的RGB值与预设界面图像中相对应像素的RGB值进行比较，得到多个像素差值；
基于多个像素差值得到预设界面图形与初始图像之间的图像的差异度值；
若差异度值大于预设差异度值，则确定出待检测仪表屏幕存在花屏现象，并发出告警信息。
可选地，如图4所示，该***还包括百分比图标检测模块60，用于：
获取初始图像中的待检测百分比图标；待检测百分比图标为待检测仪表中以颜色所占面积的百分比所显示的仪表图标；
获取待检测百分比图标属于背景颜色的目标像素个数；
计算目标像素个数与待检测百分比图标的总像素个数的比值，得到目标比值；
基于目标比值得到待检测百分比图标的目标显示数值。
本发明实施例还提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现上述实施例一中的方法的步骤。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (10)

1.一种仪表屏幕视觉检测方法，其特征在于，包括：
获取包含待检测仪表屏幕的初始图像；
在所述初始图像中确定待检测状态图标，其中，所述待检测状态图标为用于表征待检测仪表的运行状态的图标；
从预设状态图标库中查找与所述待检测状态图标相匹配的状态图标，得到目标状态图标；
将所述目标状态图标所显示的状态信息确定为所述待检测状态图标的状态检测结果。
2.根据权利要求1所述的方法，其特征在于，获取包含待检测仪表屏幕的初始图像包括：
获取待处理的原始图像，其中，所述待处理的原始图像为包含待检测仪表屏幕的图像；
对所述待处理的原始图像进行目标处理，得到二值图像，其中，所述目标处理包括以下至少之一：灰度化处理、图像滤波处理和二值化处理；
利用Canny边缘检测算法对所述二值图像进行边缘检测，得到边缘图像；
利用Hough直线检测算法检测所述边缘图像，得到多个边缘直线；
基于所述多个边缘直线对所述待处理的原始图像进行畸变校正，得到所述初始图像。
3.根据权利要求1或2所述的方法，其特征在于，在获取包含待检测仪表屏幕的初始图像之后，所述方法还包括：
对所述初始图像进行屏幕异常检测；其中，所述屏幕异常检测包括：黑屏或白屏检测，花屏检测；
若根据检测结果确定出所述待检测仪表屏幕显示异常，则生成告警信息。
4.根据权利要求3所述的方法，其特征在于，对所述初始图像进行屏幕异常检测，包括：
获取二值图像中的第一连通区域和第二连通区域；所述第一连通区域为所述二值图像中由白色像素点组成的连通区域，所述第二连通区域为所述二值图像中由黑色像素点组成的连通区域，所述二值图像为对所述初始图像的原始图像进行二值化处理之后的图像；
计算目标连通区域的面积与所述二值图像的总面积的比值，得到目标比值；其中，所述目标连通区域为所述第一连通区域或者第二连通区域；
基于所述目标比值判断所述待检测仪表屏幕是否存在黑屏现象或者白屏现象；
若是，则发出报警信息。
5.根据权利要求4所述的方法，其特征在于，所述目标连通区域为第一连通区域，所述目标比值为第一比值；
基于所述目标比值判断所述待检测仪表屏幕是否存在黑屏现象或者白屏现象包括：
判断所述第一比值是否大于或等于第一预设值；
如果是，则确定出所述待检测仪表屏幕存在白屏现象，并发出报警信息。
6.根据权利要求4所述的方法，其特征在于，所述目标连通区域为第二连通区域，所述目标比值为第二比值；
基于所述目标比值判断所述待检测仪表屏幕是否存在黑屏现象包括：
判断所述第二比值是否大于或等于第二预设值；
如果是，则确定出所述待检测仪表屏幕存在黑屏现象，并发出告警信息。
7.根据权利要求3所述的方法，其特征在于，对所述初始图像进行屏幕异常检测，包括：
获取预设界面图像；
分别将所述初始图像中每个像素的RGB值与所述预设界面图像中相对应像素的RGB值进行比较，得到多个像素差值；
基于所述多个像素差值得到所述预设界面图像所述初始图像之间的图像的差异度值；
若所述差异度值大于预设差异度值，则确定出所述待检测仪表屏幕存在花屏现象，并发出告警信息。
8.根据权利要求1所述的方法，其特征在于，在获取待检测仪表屏幕的初始图像之后，所述方法还包括：
获取所述初始图像中的待检测百分比图标；所述待检测百分比图标为所述待检测仪表中以颜色所占面积的百分比所显示的仪表图标；
获取所述待检测百分比图标属于背景颜色的目标像素个数；
计算所述目标像素个数与所述待检测百分比图标的总像素个数的比值，得到目标比值；
基于所述目标比值得到所述待检测百分比图标的目标显示数值。
9.一种仪表屏幕视觉检测***，其特征在于，包括：获取模块，第一确定模块，匹配模块和第二确定模块，其中，
所述获取模块，用于获取包含待检测仪表屏幕的初始图像；
所述第一确定模块，用于在所述初始图像中确定待检测状态图标，其中，所述待检测状态图标为用于表征待检测仪表的运行状态的图标；
所述匹配模块，用于从预设状态图标库中查找与所述待检测状态图标相匹配的状态图标，得到目标状态图标；
所述第二确定模块，用于将所述目标状态图标所显示的状态信息确定为所述待检测状态图标的状态检测结果。
10.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现上述权利要求1至8任一项所述的方法的步骤。
CN201911169915.4A 2019-11-25 2019-11-25 仪表屏幕视觉检测方法和*** Active CN111221996B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911169915.4A CN111221996B (zh) 2019-11-25 2019-11-25 仪表屏幕视觉检测方法和***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911169915.4A CN111221996B (zh) 2019-11-25 2019-11-25 仪表屏幕视觉检测方法和***

Publications (2)

Publication Number Publication Date
CN111221996A CN111221996A (zh) 2020-06-02
CN111221996B true CN111221996B (zh) 2023-04-25

Family

ID=70827690

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911169915.4A Active CN111221996B (zh) 2019-11-25 2019-11-25 仪表屏幕视觉检测方法和***

Country Status (1)

Country Link
CN (1) CN111221996B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112053340B (zh) * 2020-08-28 2023-03-14 安徽江淮汽车集团股份有限公司 汽车显示设备的性能测试方法、设备、存储介质及装置
CN112183289A (zh) * 2020-09-22 2021-01-05 北京金山云网络技术有限公司 一种花屏检测方法、装置、设备及介质
CN113947754A (zh) * 2021-10-15 2022-01-18 大连海事大学 一种基于视觉的船舶机械运行状态监测方法、***及存储介质
CN113822286A (zh) * 2021-11-22 2021-12-21 北京东方国信科技股份有限公司 设备视觉检测方法、电子设备、存储介质和程序产品

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016192494A1 (zh) * 2015-05-29 2016-12-08 阿里巴巴集团控股有限公司 一种图像处理方法及装置
CN106780521A (zh) * 2016-12-08 2017-05-31 广州视源电子科技股份有限公司 屏幕漏光的检测方法、***和装置
CN109544937A (zh) * 2018-12-20 2019-03-29 天津市中环富士智能设备有限公司 一种全视频智能安防仪表与管理***及其实现方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016192494A1 (zh) * 2015-05-29 2016-12-08 阿里巴巴集团控股有限公司 一种图像处理方法及装置
CN106780521A (zh) * 2016-12-08 2017-05-31 广州视源电子科技股份有限公司 屏幕漏光的检测方法、***和装置
CN109544937A (zh) * 2018-12-20 2019-03-29 天津市中环富士智能设备有限公司 一种全视频智能安防仪表与管理***及其实现方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
航空仪表图像自动监测***研究;伍瑞卿;张雷;李小翠;文茂森;姜继琦;;无线电工程(12);全文 *

Also Published As

Publication number Publication date
CN111221996A (zh) 2020-06-02

Similar Documents

Publication Publication Date Title
CN111221996B (zh) 仪表屏幕视觉检测方法和***
CN112419297B (zh) 一种螺栓松动检测方法、装置、设备及存储介质
CN109242853B (zh) 一种基于图像处理的pcb缺陷智能检测方法
JP4603512B2 (ja) 異常領域検出装置および異常領域検出方法
CN112577969B (zh) 一种基于机器视觉的缺陷检测方法以及缺陷检测***
CN111353993B (zh) 一种基于机器视觉的螺纹角度测量方法
CN111008961B (zh) 一种输电线路设备缺陷检测方法及其***、设备、介质
CN112419299A (zh) 一种螺栓缺失检测方法、装置、设备及存储介质
KR102153962B1 (ko) 비전 시스템으로 이미지에서 라인을 찾기 위한 시스템 및 방법
CN109060842B (zh) 基于曲面拟合校正的柑橘表面缺陷检测方法
JP4728444B2 (ja) 異常領域検出装置および異常領域検出方法
CN106296689B (zh) 瑕疵检测方法、***及装置
CN115205223B (zh) 透明物体的视觉检测方法、装置、计算机设备及介质
CN112419298A (zh) 一种螺栓节点板锈蚀检测方法、装置、设备及存储介质
CN113947563A (zh) 一种基于深度学习的电缆工艺质量动态缺陷检测方法
CN113269758A (zh) 一种基于机器视觉的卷烟外观检测方法及测试装置
CN116840240A (zh) 电源分配器视觉检测***
CN115690104A (zh) 一种晶圆裂缝检测方法、装置及存储介质
CN115829929A (zh) 产品表面图像的缺陷检测方法、装置、设备及存储介质
CN112581472B (zh) 一种面向人机交互的目标表面缺陷检测方法
CN114723728A (zh) 一种手机摄像头玻璃盖板丝印cd纹缺陷检测方法及***
JP2014135007A (ja) フラットパネルディスプレイの自動ムラ検出装置および自動ムラ検出方法
CN112508925A (zh) 电子锁面板质量检测方法、***、计算机装置和存储介质
CN110874837A (zh) 一种基于局部特征分布的缺陷自动检测方法
CN117173185B (zh) 轧制板材的区域检测方法及装置、存储介质、计算机设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant