CN112115898B - 多指针仪表检测方法、装置、计算机设备及存储介质 - Google Patents

多指针仪表检测方法、装置、计算机设备及存储介质 Download PDF

Info

Publication number
CN112115898B
CN112115898B CN202011018641.1A CN202011018641A CN112115898B CN 112115898 B CN112115898 B CN 112115898B CN 202011018641 A CN202011018641 A CN 202011018641A CN 112115898 B CN112115898 B CN 112115898B
Authority
CN
China
Prior art keywords
pointer
area
target detection
information
initial image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011018641.1A
Other languages
English (en)
Other versions
CN112115898A (zh
Inventor
胡懋成
王秋阳
郑博超
彭超
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Sunwin Intelligent Co Ltd
Original Assignee
Shenzhen Sunwin Intelligent Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Sunwin Intelligent Co Ltd filed Critical Shenzhen Sunwin Intelligent Co Ltd
Priority to CN202011018641.1A priority Critical patent/CN112115898B/zh
Publication of CN112115898A publication Critical patent/CN112115898A/zh
Application granted granted Critical
Publication of CN112115898B publication Critical patent/CN112115898B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16Y—INFORMATION AND COMMUNICATION TECHNOLOGY SPECIALLY ADAPTED FOR THE INTERNET OF THINGS [IoT]
    • G16Y40/00—IoT characterised by the purpose of the information processing
    • G16Y40/10—Detection; Monitoring
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/02—Recognising information on displays, dials, clocks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Probability & Statistics with Applications (AREA)
  • Computing Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及多指针仪表检测方法、装置、计算机设备及存储介质，该方法包括获取仪表的图像，以得到初始图像；将初始图像输入至目标检测模型内进行识别，以得到目标检测结果；校验目标检测结果，以得到已校验信息；对初始图像进行裁剪，以得到高清指针仪表图片；将高清指针仪表图片输入实例分割模型内进行分割，以得到不同状态区域分割结果、指针区域分割结果以及指针仪表盘反光分类结果；对不同状态区域分割结果进行主色识别，并根据配置信息划分出状态区域中的安全区域和警报区域；根据指针区域分割结果获取指针信息；判断指针是否在警报区域内；若是则生成报警信息。本发明实现准确预测出指针所在区域的安全性，准确率高，支持多指针识别。

Description

多指针仪表检测方法、装置、计算机设备及存储介质
技术领域
本发明涉及安监计量仪表预警方法，更具体地说是指多指针仪表检测方法、装置、计算机设备及存储介质。
背景技术
目前生产企业安装的安监计量仪表大部分是机械式指针仪表，在进行安全生产物联网改造的时候，很难直接接入物联网预警***。现在市场上比较主流的处理方式是摄像直读表的方式，即通过摄像头拍摄仪表盘的照片，然后通过图像识别技术读出仪表指针处显示的数值，根据数值判断是否触发预警事件。但是这种方式的识别率相对较低，而且通用性也较差。
中国专利CN201910294823.2提供了一种基于图像识别的指针式仪表预警方法，该方法是通过将图像转换成二值化图像来检测出所有物体的边缘轮廓得到边缘轮廓图；通过直线检测算法找到轮廓图所有直线；通过约束条件得到仪表指针并判断直线是否在预警区域范围内，但是这种方式对于细指针检测效果较差，仅仅能支持单指针识别，并且在表盘有反光及有阴影的图片效果有很大折扣，准确率不高。
因此，有必要设计一种新的方法，实现准确预测出指针所在区域的安全性，准确率高，支持多指针识别。
发明内容
本发明的目的在于克服现有技术的缺陷，提供多指针仪表检测方法、装置、计算机设备及存储介质。
为实现上述目的，本发明采用以下技术方案：多指针仪表检测方法，包括：
获取仪表的图像，以得到初始图像；
将初始图像输入至目标检测模型内进行识别，以得到目标检测结果；
对目标检测结果进行校验，以得到已校验信息；
根据所述目标检测结果及已校验信息对所述初始图像进行裁剪，以得到高清指针仪表图片；
将所述高清指针仪表图片输入实例分割模型内进行实例分割，以得到不同状态区域分割结果、指针区域分割结果以及指针仪表盘反光分类结果；
对不同状态区域分割结果进行主色识别，并根据配置信息划分出状态区域中的安全区域和警报区域；
根据指针区域分割结果获取指针信息；
根据指针区域及警报区域判断指针是否在警报区域内；
若指针在警报区域内，则生成每个指针报警信息，并将报警信息反馈至终端；
其中，所述目标检测模型是通过若干个带有仪表坐标及类别标签的图像作为样本集训练CenterNet模型所得的；
所述实例分割模型是通过若干个带有不同状态区域的掩膜、不同状态区域类别标签、指针区域掩膜、指针区域类别以及指针仪表盘反光类别标签的图片作为样本集训练DetectoRS模型所得的。
其进一步技术方案为：所述对目标检测结果进行校验，以得到已校验信息，包括：
判断目标检测结果的置信度是否超过设定置信度阈值；
若目标检测结果的置信度不超过设定置信度阈值，则微调采样位置，并执行所述获取仪表的图像，以得到初始图像；
若目标检测结果的置信度超过设定置信度阈值，则筛选置信度高于设定置信度阈值的目标检测结果，以得到识别对象；
判断所述识别对象中是否存在重叠的内容；
若所述识别对象中存在重叠的内容，则选取置信度最大的对象，以得到已校验信息；
若所述识别对象中不存在重叠的内容，则判断所述识别对象的宽高比例是否在所设定的宽高比例阈值范围内且识别对象所形成的检测框占据初始图像比例是否符合在设定的面积占比阈值范围内；
若所述识别对象的宽高比例在所设定的宽高比例阈值范围内且识别对象所形成的检测框占据初始图像比例符合在设定的面积占比阈值范围内，则所述识别对象为已校验信息；
若所述识别对象的宽高比例不在所设定的宽高比例阈值范围内或识别对象所形成的检测框占据初始图像比例不符合在设定的面积占比阈值范围内，则微调采样位置，并执行所述获取仪表的图像，以得到初始图像。
其进一步技术方案为：所述对不同状态区域分割结果进行主色识别，并根据配置信息划分出状态区域中的安全区域和警报区域，包括：
将不同状态区域分割结果转换到HSV颜色空间，以得到不同区域的颜色表征值；
对每个区域通过DBScan算法进行颜色聚类，选取每个区域聚类最大簇的中心对应的颜色值，以得到每个区域颜色主色；
根据每个区域主色以及配置信息划分出状态区域中的安全区域和警报区域。
其进一步技术方案为：所述根据每个区域主色以及配置信息划分出状态区域中的安全区域和警报区域，包括：
根据配置文件计算预设报警区域主色值与每个状态区域的主色值的欧式距离，并选取最小的欧式距离，以确定安全区域和警报区域。
其进一步技术方案为：所述根据指针区域分割结果获取指针信息，包括：
计算指针区域分割结果对应的面积，以得到指针面积；
计算指针区域分割结果对应的区域内RGB各通道的所有像素点的平均值，以得到指针代表色；
整合所述指针面积和指针代表色，以得到指针信息。
其进一步技术方案为：所述实例分割模型是通过若干个带有不同状态区域的掩膜、不同状态区域类别标签、指针区域掩膜、指针区域类别以及指针仪表盘反光类别标签的图片作为样本集训练DetectoRS模型所得的，包括：
对若干个带有不同状态区域的掩膜、不同状态区域类别标签、指针区域掩膜、指针区域类别标签以及指针仪表盘反光类别标签的图片进行增广以及归一化操作后，训练DetectoRS模型，以得到实例分割模型。
本发明还提供了多指针仪表检测装置，包括：
初始图像获取单元，用于获取仪表的图像，以得到初始图像；
目标检测单元，用于将初始图像输入至目标检测模型内进行识别，以得到目标检测结果；
校验单元，用于对目标检测结果进行校验，以得到已校验信息；
裁剪单元，用于根据所述目标检测结果及已校验信息对所述初始图像进行裁剪，以得到高清指针仪表图片；
实例分割单元，用于将所述高清指针仪表图片输入实例分割模型内进行实例分割，以得到不同状态区域分割结果、指针区域分割结果以及指针仪表盘反光分类结果；
状态区域确定单元，用于对不同状态区域分割结果进行主色识别，并根据配置信息划分出状态区域中的安全区域和警报区域；
指针信息获取单元，用于根据指针区域分割结果获取指针信息；
判断单元，用于根据指针区域及警报区域判断指针是否在警报区域内；
报警信息生成单元，用于若指针在警报区域内，则生成每个指针报警信息，并将报警信息反馈至终端。
其进一步技术方案为：所述校验单元包括：
置信度判断子单元，用于判断目标检测结果的置信度是否超过设定置信度阈值；若目标检测结果的置信度不超过设定置信度阈值，则微调采样位置并执行所述获取仪表的图像，以得到初始图像；
筛选子单元，用于若目标检测结果的置信度超过设定置信度阈值，则筛选置信度高于设定置信度阈值的目标检测结果，以得到识别对象；
重叠判断子单元，用于判断所述识别对象中是否存在重叠的内容；若所述识别对象中存在重叠的内容，则选取置信度最大的对象，以得到已校验信息；
比例判断子单元，用于若所述识别对象中不存在重叠的内容，则判断所述识别对象的宽高比例是否在所设定的宽高比例阈值范围内且识别对象所形成的检测框占据初始图像比例是否符合在设定的面积占比阈值范围内；若所述识别对象的宽高比例在所设定的宽高比例阈值范围内且识别对象所形成的检测框占据初始图像比例符合在设定的面积占比阈值范围内，则所述识别对象为已校验信息；若所述识别对象的宽高比例不在所设定的宽高比例阈值范围内或识别对象所形成的检测框占据初始图像比例不符合在设定的面积占比阈值范围内，则微调采样位置，并执行所述获取仪表的图像，以得到初始图像。
本发明还提供了一种计算机设备，所述计算机设备包括存储器及处理器，所述存储器上存储有计算机程序，所述处理器执行所述计算机程序时实现上述的方法。
本发明还提供了一种存储介质，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时可实现上述的方法。
本发明与现有技术相比的有益效果是：本发明通过拍摄仪表的图像，并采用目标检测模型进行检测，得到目标检测结果后进行验证，并对验证后的信息传输至实例分割模型进行实例分割后，识别出不同区域以及不同指针，根据不同指针与不同区域的重合程度来判定指针是否处于警报区域，并及时生成每个指针对应的报警信息，实现准确预测出指针所在区域的安全性，准确率高，采用实例分割的方式可一次识别多个指针，支持多指针识别。
下面结合附图和具体实施例对本发明作进一步描述。
附图说明
为了更清楚地说明本发明实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的多指针仪表检测方法的应用场景示意图；
图2为本发明实施例提供的多指针仪表检测方法的流程示意图；
图3为本发明实施例提供的多指针仪表检测方法的子流程示意图；
图4为本发明实施例提供的多指针仪表检测方法的子流程示意图；
图5为本发明实施例提供的多指针仪表检测方法的子流程示意图；
图6为本发明实施例提供的多指针仪表检测装置的示意性框图；
图7为本发明实施例提供的计算机设备的示意性框图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解，在此本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
还应当进一步理解，在本发明说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
请参阅图1和图2，图1为本发明实施例提供的多指针仪表检测方法的应用场景示意图。图2为本发明实施例提供的多指针仪表检测方法的示意性流程图。该多指针仪表检测方法应用于服务器中。该服务器与终端进行数据交互，且该服务器与移动机器人进行数据交互，通过移动机器人获取仪表的图像，由服务器对图像进行目标检测且实例分割，以此判断指针是否落入警报区域内，由此生成报警信息，发送至终端进行显示。
图2是本发明实施例提供的多指针仪表检测方法的流程示意图。如图2所示，该方法包括以下步骤S110至S150。
S110、获取仪表的图像，以得到初始图像。
在本实施例中，初始图像是指有指针仪表的图像。
移动机器人通过定位将其移动到指定位置，并通过其云台对含有指针仪表的机柜进行彩色图片的采集。
S120、将初始图像输入至目标检测模型内进行识别，以得到目标检测结果。
在本实施例中，目标检测结果是指仪表所在的坐标信息以及对应的置信度、指针仪表的种类；仪表所在的坐标信息可构成预测框。
具体地，所述目标检测模型是通过若干个带有仪表坐标及类别标签的图像作为样本集训练CenterNet模型所得的。
CenterNet模型是通过预测目标检测框的中心点以及目标检测框的宽高来预测出目标框的位置信息。在特征提取神经网络模型的选取上，选取了DLA(扩散限制凝聚，Diffusion-limited Aggregation)模型得到128*128*256的特征图。通过得到的特征图在进行目标框中心点预测，即热图预测，目标框宽高预测以及因感受野出现的offset预测。最终通过结合上述三者的预测结果得出最终预测框的坐标。
关于CenterNet模型的损失值Loss含有三个方面，分别是目标中心点损失Losscenter、目标中心点偏置Lossoffset损失以及目标框大小Losswh的损失。满足一下公式：Loss＝Losscenter+αLossoffset+βLosswh，其中，α＝0.1，β＝0.8，Losscenter采用了Focal loss，解决类别不平衡问题。Focal loss主要是为了解决one-stage目标检测中正负样本比例严重失衡的问题。该损失函数降低了大量简单负样本在训练中所占的权重，也可理解为一种困难样本挖掘。
具体地，将若干个带有仪表所在位置标签的图像按比例8:1:1，切分成训练集、验证集、测试集。在训练的过程中初始化学习率为0.01，分别在100、150、200时期的时候进行学习率衰减，这里衰减的系数γ为0.1。训练的过程中同样使用Adam方法进行梯度下降从而进行训练模型，Adam使用动量和自适应学习率来加快收敛速度。训练的方式采用了finetune的方法，同时训练样本的批量大小选择为4。在训练的时候通过设置时期来控制训练轮数，同时观测验证集loss是否收敛，如果收敛则停止训练，反之在原有的模型权重参数的基础上继续训练。
对不同仪表盘目标检测得出预测结果，通过mAP(平均精度均值，Mean AveragePrecision)指标进行评估。
S130、对目标检测结果进行校验，以得到已校验信息。
在本实施例中，已校验信息是指已经通过校验的仪表所在位置的坐标信息。
在一实施例中，请参阅图3，上述的步骤S130可包括步骤S131～S137。
S131、判断目标检测结果的置信度是否超过设定置信度阈值；
S132、若目标检测结果的置信度不超过设定置信度阈值，则微调采样位置，并执行所述步骤S110；
S133、若目标检测结果的置信度超过设定置信度阈值，则筛选置信度高于设定置信度阈值的目标检测结果，以得到识别对象。
在本实施例中，识别对象是指置信度高于0.8的目标检测结果，主要包括仪表所在的坐标信息。
筛选出置信度高于0.8的预测框作为识别对象，如果采样的图像没有预测出的指针仪表结果则将信号传送给移动机器人进行重采样。
S134、判断所述识别对象中是否存在重叠的内容；
S135、若所述识别对象中存在重叠的内容，则选取置信度最大的对象，以得到已校验信息。
在本实施例中，重叠的内容是指预测框重叠。如果初始图像中含有重叠的预测目标框，需要通过移动机器人对数据进行再次采样并识别。
S136、若所述识别对象中不存在重叠的内容，则判断所述识别对象的宽高比例是否在所设定的宽高比例阈值范围内且识别对象所形成的检测框占据初始图像比例是否符合在设定的面积占比阈值范围内；
S137、若所述识别对象的宽高比例在所设定的宽高比例阈值范围内且识别对象所形成的检测框占据初始图像比例符合在设定的面积占比阈值范围内，则所述识别对象为已校验信息；
若所述识别对象的宽高比例不在所设定的宽高比例阈值范围内或识别对象所形成的检测框占据初始图像比例不符合在设定的面积占比阈值范围内，则执行步骤S132。
若在实例分割阶段识别出指针仪表阴影影响，则微调采样位置，并执行所述获取仪表的图像，以得到初始图像。
具体地，对指针仪表预测框的形状大小进行判别，如果预测出来的预测框的宽高比例ε，要求其0.3≤ε≤3，并且指针仪表的预测框占初始图像比例δ＜0.2,如果条件没有符合则需要进行重新拍摄采样，以便于更好的得到高清指针仪表图像。
S140、根据所述目标检测结果及已校验信息对所述初始图像进行裁剪，以得到高清指针仪表图片。
在本实施例中，高清指针仪表图片是指仅包括仪表区域的图片。
具体地，根据得到的仪表所在的坐标信息在初始图像上进行裁剪，得到高清指针仪表图片。
S150、将所述高清指针仪表图片输入实例分割模型内进行实例分割，以得到不同状态区域分割结果、指针区域分割结果以及指针仪表盘反光分类结果。
在本实施例中，不同状态区域分割结果是指不同区域的掩膜，具体包括安全区域及警报区域的掩膜；指针区域分割结果是指不同指针对应的掩膜，指针仪表盘反光分类结果是指判断指针仪表盘是否反光。如果指针仪表盘无阴影因素影响则可进入主色识别。
在本实施例中，所述实例分割模型是通过若干个带有不同状态区域的掩膜、不同状态区域类别标签、指针区域掩膜、指针区域类别以及指针仪表盘反光类别标签的图片作为样本集训练DetectoRS模型所得的。
具体地，对若干个带有不同状态区域的掩膜、不同状态区域类别标签、指针区域掩膜、指针区域类别标签以及指针仪表盘反光类别标签的图片进行增广以及归一化操作后，训练DetectoRS模型，以得到实例分割模型。
DetectoRS模型在特征提取阶段分别提出了两种新的方法，分别是RFP(递归特征金字塔，Recursive Feature Pyramid)以及SAC(可切换的空洞卷积，Switchable AtrousConvolution)。使用RFP能更好的提取出图片语义及空间特征，它将特征金字塔网络的额外反馈连接加入到在自下而上的backbone层中；在此基础上同时采用了SAC能让模型更好的选择合适的感受野，方便对不同大小的模型进行目标检测，它以不同的空洞率对特征进行卷积，并使用switch函数合并卷积后的结果，SAC可以实现从标准卷积到Contional卷积的有效转换，而无需更改任何预训练模型。
这里为了防止光照对指针检测的影响在DetectoRS网络增加了反光分类层。具体是在unrolled iteration为1的ASPP层结果经过上采样以及concate得到融合特征，后面接上2个3x3卷机层和全局池化层通过flatten将feature map变换成1x256的特征矩阵，最后通过256x2全连接层及sigmoid函数对结果进行二分类，得到最终预测结果判断出此仪表图是否是有反光情况出现。
DetectoRS模型训练过程的损失值loss主要包含三种分别是回归框损失lossbbox、实例分割掩膜的损失lossmask以及分类损失clsloss。本实施例通过增加反光分类层，因此多添加了反光分类损失reflectloss。
具体地，在训练DetectoRS模型的过程中，将若干个带有不同区域的掩膜标签以及指针掩膜标签的图片作为样本集按比例8:1:1，切分成训练集、验证集、测试集。训练的时候为了平衡数据，每个目标种类选取相同的目标数，同时对图片也做对应的增广以及归一化操作。学习率初始值设置为0.0001，一阶衰减率为0.5。训练的过程中使用Adam优化器进行梯度下降从而来进行模型训练，对于每一批样本的大小，在训练中选择为4。在训练的时候采用早停法early stopping策略，不断打印观察验证集loss，如果其处于收敛状态，则停止训练。同时为了能对指针仪表是否反光进行分类，因此在训练的时候保证每一个训练batch包含反光指针仪表以及无反光指针仪表，比例分配为1:1。
基于深度学习框架可以准确预测出指针所在区域的安全性，并且结合传统的机器学习算法可以根据表盘颜色区分出表盘的安全区域以及预警区域同时判断出该图片中指针仪表是否具有反光影响，若指针仪表有反光现象出现则调采样位置，并执行所述步骤S110。
S160、对不同状态区域分割结果，进行主色识别，并根据配置信息划分出状态区域中的安全区域和警报区域。
在本实施例中，警报区域是指非安全的区域，安全区域是指安全性高的区域。
在一实施例中，请参阅图4，上述的步骤S160可包括步骤S161～S163。
S161、将状态区域分割结果转换到HSV颜色空间，以得到不同区域的颜色表征值。
在本实施例中，不同区域的颜色表征值是指仪表内不同区域的掩膜转换为HSV颜色特征表达所形成数值。
S162、对每个区域通过DBScan算法进行颜色聚类，选取每个区域聚类最大簇的中心对应的颜色值，以得到每个区域颜色主色。
在本实施例中，每个区域主色值是指每个区域颜色聚类后的最大簇的中心对应的颜色表征值。
S163、根据每个区域主色以及配置信息划分出状态区域中的安全区域和警报区域。
在本实施例中，根据配置文件计算预设报警区域主色值与每个状态区域的主色值的欧式距离，并选取最小的欧式距离，以确定安全区域和警报区域。
将区域分割结果转变到HSV颜色空间，并通过DBScan算法分别对每个区域进行颜色聚类，选取每个区域聚类最大簇的中心作为该区域主色。这里安全区域及报警区域通过HSV颜色配置文件进行定义，区分出每个区域性质是安全区域还是警报区域，通过此配置文件预设的报警区域主色值与识别出区域的主色值计算出欧式距离，选取最小的欧式距离判别出此区域的状态。
S170、根据指针区域分割结果获取指针信息。
在本实施例中，指针信息是指指针颜色以及指针大小。
在一实施例中，请参阅图5，上述的步骤S170可步骤S171～S173。
S171、计算指针区域分割结果对应的面积，以得到指针面积。
在本实施例中，指针面积是指指针的大小。
S172、计算指针区域分割结果对应的区域内RGB各通道的所有像素点的平均值，以得到指针代表色。
在本实施例中，指针代表色是指指针区域的每个像素点的平均像素值。
S173、整合所述指针面积和指针代表色，以得到指针信息。
对于指针信息的收集通过两个方面分别是指针颜色以及指针大小。通过计算指针分割结果的面积来定义不同指针的面积大小，并且计算指针区域上每个像素点的平均像素值作为指针代表色。
S180、根据指针区域及警报区域判断指针是否在警报区域内。
S190、若指针在警报区域内，则生成每个指针报警信息，并将报警信息反馈至终端；
若指针不在警报区域内，则执行所述步骤S110。
具体地，指针区域是根据指针区域分割结果确定下来的不同区域，判断不同指针与不同区域的掩膜区域的重合面积，也就是不同指针落入到不同区域的掩膜区域的面积，如果指针在安全区域则不报警，如果指针在报警区域则进行报警，如果指针分别横跨安全及警戒区域，也会进行报警。最后根据不同指针的信息发出不同报警反馈。
基于实例分割可以得出不同指针的颜色大小以及位置信息，通过判别不同指针与表盘区域的交集区域对指针仪表进行自动预警，并根据指针信息可接收到不同的预警信息。
上述的多指针仪表检测方法，通过拍摄仪表的图像，并采用目标检测模型进行检测，得到目标检测结果后进行验证，并对验证后的信息传输至实例分割模型进行实例分割后，识别出不同区域以及不同指针，根据不同指针与不同区域的重合程度来判定指针是否处于警报区域，并及时每个指针对应的生成报警信息，实现准确预测出指针所在区域的安全性，准确率高，采用实例分割的方式可一次识别多个指针，支持多指针识别。
图6是本发明实施例提供的一种多指针仪表检测装置300的示意性框图。如图6所示，对应于以上多指针仪表检测方法，本发明还提供一种多指针仪表检测装置300。该多指针仪表检测装置300包括用于执行上述多指针仪表检测方法的单元，该装置可以被配置于服务器中。具体地，请参阅图6，该多指针仪表检测装置300包括初始图像获取单元301、目标检测单元302、校验单元303、裁剪单元304、实例分割单元305、区域确定单元306、指针信息获取单元307、判断单元308以及报警信息生成单元309。
初始图像获取单元301，用于获取仪表的图像，以得到初始图像；目标检测单元302，用于将初始图像输入至目标检测模型内进行识别，以得到目标检测结果；校验单元303，用于对目标检测结果进行校验，以得到已校验信息；裁剪单元304，用于根据所述目标检测结果及已校验信息对所述初始图像进行裁剪，以得到高清指针仪表图片；实例分割单元305，用于将所述高清指针仪表图片输入实例分割模型内进行实例分割，以得到不同状态区域分割结果、指针区域分割结果以及指针仪表盘反光分类结果；区域确定单元306，用于对不同状态区域分割结果进行主色识别，并根据配置信息划分出状态区域中的安全区域和警报区域；指针信息获取单元307，用于根据指针区域分割结果获取指针信息；判断单元308，用于根据指针区域及警报区域判断指针是否在警报区域内；报警信息生成单元309，用于若指针在警报区域内，则生成每个指针报警信息，并将报警信息反馈至终端。
其中，所述目标检测模型是通过若干个带有仪表坐标及类别标签的图像作为样本集训练CenterNet模型所得的；所述实例分割模型是通过若干个带有不同状态区域的掩膜、不同状态区域类别标签、指针区域掩膜、指针区域类别以及指针仪表盘反光类别标签的图片作为样本集训练DetectoRS模型所得的。
在一实施例中，所述校验单元303包括置信度判断子单元、筛选子单元、重叠判断子单元以及比例判断子单元。
置信度判断子单元，用于判断目标检测结果的置信度是否超过设定置信度阈值；若目标检测结果的置信度不超过设定置信度阈值，则微调采样位置并执行所述获取仪表的图像，以得到初始图像；筛选子单元，用于若目标检测结果的置信度超过设定置信度阈值，则筛选置信度高于设定置信度阈值的目标检测结果，以得到识别对象；重叠判断子单元，用于判断所述识别对象中是否存在重叠的内容；若所述识别对象中存在重叠的内容，则选取置信度最大的对象，以得到已校验信息；比例判断子单元，用于若所述识别对象中不存在重叠的内容，则判断所述识别对象的宽高比例是否在所设定的宽高比例阈值范围内且识别对象所形成的检测框占据初始图像比例是否符合在设定的面积占比阈值范围内；若所述识别对象的宽高比例在所设定的宽高比例阈值范围内且识别对象所形成的检测框占据初始图像比例符合在设定的面积占比阈值范围内，则所述识别对象为已校验信息；若所述识别对象的宽高比例不在所设定的宽高比例阈值范围内或识别对象所形成的检测框占据初始图像比例不符合在设定的面积占比阈值范围内，则微调采样位置，并执行所述获取仪表的图像，以得到初始图像。
在一实施例中，所述区域确定单元306包括表征值转换子单元、聚类子单元以及确定子单元。
表征值转换子单元，用于将不同状态区域分割结果转换到HSV颜色空间，以得到不同区域的颜色表征值；聚类子单元，对每个区域通过DBScan算法进行颜色聚类，选取每个区域聚类最大簇的中心对应的颜色值，以得到每个区域颜色主色；确定子单元，用于根据每个区域主色以及配置信息划分出状态区域中的安全区域和警报区域，具体地，根据配置文件计算预设报警区域主色值与每个状态区域的主色值的欧式距离，并选取最小的欧式距离，以确定安全区域和警报区域。
在一实施例中，所述指针信息获取单元307包括指针面积计算子单元、代表色计算子单元以及整合子单元。
指针面积计算子单元，用于计算指针区域分割结果对应的面积，以得到指针面积；代表色计算子单元，用于计算指针区域分割结果对应的区域内RGB各通道的所有像素点的平均值，以得到指针代表色；整合子单元，用于整合所述指针面积和指针代表色，以得到指针信息。
需要说明的是，所属领域的技术人员可以清楚地了解到，上述多指针仪表检测装置300和各单元的具体实现过程，可以参考前述方法实施例中的相应描述，为了描述的方便和简洁，在此不再赘述。
上述多指针仪表检测装置300可以实现为一种计算机程序的形式，该计算机程序可以在如图7所示的计算机设备上运行。
请参阅图7，图7是本申请实施例提供的一种计算机设备的示意性框图。该计算机设备500可以是服务器，其中，服务器可以是独立的服务器，也可以是多个服务器组成的服务器集群。
参阅图7，该计算机设备500包括通过***总线501连接的处理器502、存储器和网络接口505，其中，存储器可以包括非易失性存储介质503和内存储器504。
该非易失性存储介质503可存储操作***5031和计算机程序5032。该计算机程序5032包括程序指令，该程序指令被执行时，可使得处理器502执行一种多指针仪表检测方法。
该处理器502用于提供计算和控制能力，以支撑整个计算机设备500的运行。
该内存储器504为非易失性存储介质503中的计算机程序5032的运行提供环境，该计算机程序5032被处理器502执行时，可使得处理器502执行一种多指针仪表检测方法。
该网络接口505用于与其它设备进行网络通信。本领域技术人员可以理解，图7中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备500的限定，具体的计算机设备500可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
其中，所述处理器502用于运行存储在存储器中的计算机程序5032，以实现如下步骤：
获取仪表的图像，以得到初始图像；将初始图像输入至目标检测模型内进行识别，以得到目标检测结果；对目标检测结果进行校验，以得到已校验信息；根据所述目标检测结果及已校验信息对所述初始图像进行裁剪，以得到高清指针仪表图片；将所述高清指针仪表图片输入实例分割模型内进行实例分割，以得到不同状态区域分割结果、指针区域分割结果以及指针仪表盘反光分类结果；对不同状态区域分割结果进行主色识别，并根据配置信息划分出状态区域中的安全区域和警报区域；根据指针区域分割结果获取指针信息；根据指针区域及警报区域判断指针是否在警报区域内；若指针在警报区域内，则生成每个指针报警信息，并将报警信息反馈至终端。
其中，所述目标检测模型是通过若干个带有仪表坐标及类别标签的图像作为样本集训练CenterNet模型所得的；所述实例分割模型是通过若干个带有不同状态区域的掩膜、不同状态区域类别标签、指针区域掩膜、指针区域类别以及指针仪表盘反光类别标签的图片作为样本集训练DetectoRS模型所得的。
在一实施例中，处理器502在实现所述对目标检测结果进行校验，以得到已校验信息步骤时，具体实现如下步骤：
判断目标检测结果的置信度是否超过设定置信度阈值；若目标检测结果的置信度不超过设定置信度阈值，则微调采样位置，并执行所述获取仪表的图像，以得到初始图像；若目标检测结果的置信度超过设定置信度阈值，则筛选置信度高于设定置信度阈值的目标检测结果，以得到识别对象；判断所述识别对象中是否存在重叠的内容；若所述识别对象中存在重叠的内容，则选取置信度最大的对象，以得到已校验信息；若所述识别对象中不存在重叠的内容，则判断所述识别对象的宽高比例是否在所设定的宽高比例阈值范围内且识别对象所形成的检测框占据初始图像比例是否符合在设定的面积占比阈值范围内；若所述识别对象的宽高比例在所设定的宽高比例阈值范围内且识别对象所形成的检测框占据初始图像比例符合在设定的面积占比阈值范围内，则所述识别对象为已校验信息；若所述识别对象的宽高比例不在所设定的宽高比例阈值范围内或识别对象所形成的检测框占据初始图像比例不符合在设定的面积占比阈值范围内，则微调采样位置，并执行所述获取仪表的图像，以得到初始图像。
在一实施例中，处理器502在实现所述对不同状态区域分割结果进行主色识别，并根据配置信息划分出状态区域中的安全区域和警报区域步骤时，具体实现如下步骤：
将不同状态区域分割结果转换到HSV颜色空间，以得到不同区域的颜色表征值；对每个区域通过DBScan算法进行颜色聚类，选取每个区域聚类最大簇的中心对应的颜色值，以得到每个区域颜色主色；根据每个区域主色以及配置信息划分出状态区域中的安全区域和警报区域。
在一实施例中，处理器502在实现所述根据每个区域主色以及配置信息划分出状态区域中的安全区域和警报区域步骤时，具体实现如下步骤：
根据配置文件计算预设报警区域主色值与每个状态区域的主色值的欧式距离，并选取最小的欧式距离，以确定安全区域和警报区域。
在一实施例中，处理器502在实现所述根据指针区域分割结果获取指针信息步骤时，具体实现如下步骤：
计算指针区域分割结果对应的面积，以得到指针面积；计算指针区域分割结果对应的区域内RGB各通道的所有像素点的平均值，以得到指针代表色；整合所述指针面积和指针代表色，以得到指针信息。
在一实施例中，处理器502在实现所述实例分割模型是通过若干个带有不同状态区域的掩膜、不同状态区域类别标签、指针区域掩膜、指针区域类别以及指针仪表盘反光类别标签的图片作为样本集训练DetectoRS模型所得的步骤时，具体实现如下步骤：
对若干个带有不同状态区域的掩膜、不同状态区域类别标签、指针区域掩膜、指针区域类别标签以及指针仪表盘反光类别标签的图片进行增广以及归一化操作后，训练DetectoRS模型，以得到实例分割模型。
应当理解，在本申请实施例中，处理器502可以是中央处理单元(CentralProcessing Unit，CPU)，该处理器502还可以是其他通用处理器、数字信号处理器(DigitalSignal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。其中，通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
本领域普通技术人员可以理解的是实现上述实施例的方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成。该计算机程序包括程序指令，计算机程序可存储于一存储介质中，该存储介质为计算机可读存储介质。该程序指令被该计算机***中的至少一个处理器执行，以实现上述方法的实施例的流程步骤。
因此，本发明还提供一种存储介质。该存储介质可以为计算机可读存储介质。该存储介质存储有计算机程序，其中该计算机程序被处理器执行时使处理器执行如下步骤：
获取仪表的图像，以得到初始图像；将初始图像输入至目标检测模型内进行识别，以得到目标检测结果；对目标检测结果进行校验，以得到已校验信息；根据所述目标检测结果及已校验信息对所述初始图像进行裁剪，以得到高清指针仪表图片；将所述高清指针仪表图片输入实例分割模型内进行实例分割，以得到不同状态区域分割结果、指针区域分割结果以及指针仪表盘反光分类结果；对不同状态区域分割结果进行主色识别，并根据配置信息划分出状态区域中的安全区域和警报区域；根据指针区域分割结果获取指针信息；根据指针区域及警报区域判断指针是否在警报区域内；若指针在警报区域内，则生成每个指针报警信息，并将报警信息反馈至终端。
其中，所述目标检测模型是通过若干个带有仪表坐标及类别标签的图像作为样本集训练CenterNet模型所得的；所述实例分割模型是通过若干个带有不同状态区域的掩膜、不同状态区域类别标签、指针区域掩膜、指针区域类别以及指针仪表盘反光类别标签的图片作为样本集训练DetectoRS模型所得的。
在一实施例中，所述处理器在执行所述计算机程序而实现所述对目标检测结果进行校验，以得到已校验信息步骤时，具体实现如下步骤：
判断目标检测结果的置信度是否超过设定置信度阈值；若目标检测结果的置信度不超过设定置信度阈值，则微调采样位置，并执行所述获取仪表的图像，以得到初始图像；若目标检测结果的置信度超过设定置信度阈值，则筛选置信度高于设定置信度阈值的目标检测结果，以得到识别对象；判断所述识别对象中是否存在重叠的内容；若所述识别对象中存在重叠的内容，则选取置信度最大的对象，以得到已校验信息；若所述识别对象中不存在重叠的内容，则判断所述识别对象的宽高比例是否在所设定的宽高比例阈值范围内且识别对象所形成的检测框占据初始图像比例是否符合在设定的面积占比阈值范围内；若所述识别对象的宽高比例在所设定的宽高比例阈值范围内且识别对象所形成的检测框占据初始图像比例符合在设定的面积占比阈值范围内，则所述识别对象为已校验信息；若所述识别对象的宽高比例不在所设定的宽高比例阈值范围内或识别对象所形成的检测框占据初始图像比例不符合在设定的面积占比阈值范围内，则微调采样位置，并执行所述获取仪表的图像，以得到初始图像。
在一实施例中，所述处理器在执行所述计算机程序而实现所述对不同状态区域分割结果进行主色识别，并根据配置信息划分出状态区域中的安全区域和警报区域步骤时，具体实现如下步骤：
将不同状态区域分割结果转换到HSV颜色空间，以得到不同区域的颜色表征值；对每个区域通过DBScan算法进行颜色聚类，选取每个区域聚类最大簇的中心对应的颜色值，以得到每个区域颜色主色；根据每个区域主色以及配置信息划分出状态区域中的安全区域和警报区域。
在一实施例中，所述处理器在执行所述计算机程序而实现所述根据每个区域主色以及配置信息划分出状态区域中的安全区域和警报区域步骤时，具体实现如下步骤：
根据配置文件计算预设报警区域主色值与每个状态区域的主色值的欧式距离，并选取最小的欧式距离，以确定安全区域和警报区域。
在一实施例中，所述处理器在执行所述计算机程序而实现所述根据指针区域分割结果获取指针信息步骤时，具体实现如下步骤：
计算指针区域分割结果对应的面积，以得到指针面积；计算指针区域分割结果对应的区域内RGB各通道的所有像素点的平均值，以得到指针代表色；整合所述指针面积和指针代表色，以得到指针信息。
在一实施例中，所述处理器在执行所述计算机程序而实现所述实例分割模型是通过若干个带有不同状态区域的掩膜、不同状态区域类别标签、指针区域掩膜、指针区域类别以及指针仪表盘反光类别标签的图片作为样本集训练DetectoRS模型所得的步骤时，具体实现如下步骤：
对若干个带有不同状态区域的掩膜、不同状态区域类别标签、指针区域掩膜、指针区域类别标签以及指针仪表盘反光类别标签的图片进行增广以及归一化操作后，训练DetectoRS模型，以得到实例分割模型。
所述存储介质可以是U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、磁碟或者光盘等各种可以存储程序代码的计算机可读存储介质。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
在本发明所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的。例如，各个单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。例如多个单元或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。
本发明实施例方法中的步骤可以根据实际需要进行顺序调整、合并和删减。本发明实施例装置中的单元可以根据实际需要进行合并、划分和删减。另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以是两个或两个以上单元集成在一个单元中。
该集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分，或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，终端，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (8)

1.多指针仪表检测方法，其特征在于，包括：
获取仪表的图像，以得到初始图像；
将初始图像输入至目标检测模型内进行识别，以得到目标检测结果；
对目标检测结果进行校验，以得到已校验信息；
根据所述目标检测结果及已校验信息对所述初始图像进行裁剪，以得到高清指针仪表图片；
将所述高清指针仪表图片输入实例分割模型内进行实例分割，以得到不同状态区域分割结果、指针区域分割结果以及指针仪表盘反光分类结果；指针仪表盘反光分类结果是指判断指针仪表盘是否反光;如果指针仪表盘无阴影因素影响则可进入主色识别;
对不同状态区域分割结果进行主色识别，并根据配置信息划分出状态区域中的安全区域和警报区域；
根据指针区域分割结果获取指针信息；
根据指针区域及警报区域判断指针是否在警报区域内；
若指针在警报区域内，则生成每个指针报警信息，并将报警信息反馈至终端；
其中，所述目标检测模型是通过若干个带有仪表坐标及类别标签的图像作为样本集训练CenterNet模型所得的；
所述实例分割模型是通过若干个带有不同状态区域的掩膜、不同状态区域类别标签、指针区域掩膜、指针区域类别以及指针仪表盘反光类别标签的图片作为样本集训练DetectoRS模型所得的;
所述对目标检测结果进行校验，以得到已校验信息，包括：
判断目标检测结果的置信度是否超过设定置信度阈值；
若目标检测结果的置信度不超过设定置信度阈值，则微调采样位置，并执行所述获取仪表的图像，以得到初始图像；
若目标检测结果的置信度超过设定置信度阈值，则筛选置信度高于设定置信度阈值的目标检测结果，以得到识别对象；
判断所述识别对象中是否存在重叠的内容；
若所述识别对象中存在重叠的内容，则选取置信度最大的对象，以得到已校验信息；
若所述识别对象中不存在重叠的内容，则判断所述识别对象的宽高比例是否在所设定的宽高比例阈值范围内且识别对象所形成的检测框占据初始图像比例是否符合在设定的面积占比阈值范围内；
若所述识别对象的宽高比例在所设定的宽高比例阈值范围内且识别对象所形成的检测框占据初始图像比例符合在设定的面积占比阈值范围内，则所述识别对象为已校验信息；
若所述识别对象的宽高比例不在所设定的宽高比例阈值范围内或识别对象所形成的检测框占据初始图像比例不符合在设定的面积占比阈值范围内，则微调采样位置，并执行所述获取仪表的图像，以得到初始图像。
2.根据权利要求1所述的多指针仪表检测方法，其特征在于，所述对不同状态区域分割结果进行主色识别，并根据配置信息划分出状态区域中的安全区域和警报区域，包括：
将不同状态区域分割结果转换到HSV颜色空间，以得到不同区域的颜色表征值；
对每个区域通过DBScan算法进行颜色聚类，选取每个区域聚类最大簇的中心对应的颜色值，以得到每个区域颜色主色；
根据每个区域主色以及配置信息划分出状态区域中的安全区域和警报区域。
3.根据权利要求2所述的多指针仪表检测方法，其特征在于，所述根据每个区域主色以及配置信息划分出状态区域中的安全区域和警报区域，包括：
根据配置文件计算预设报警区域主色值与每个状态区域的主色值的欧式距离，并选取最小的欧式距离，以确定安全区域和警报区域。
4.根据权利要求1所述的多指针仪表检测方法，其特征在于，所述根据指针区域分割结果获取指针信息，包括：
计算指针区域分割结果对应的面积，以得到指针面积；
计算指针区域分割结果对应的区域内RGB各通道的所有像素点的平均值，以得到指针代表色；
整合所述指针面积和指针代表色，以得到指针信息。
5.根据权利要求1所述的多指针仪表检测方法，其特征在于，所述实例分割模型是通过若干个带有不同状态区域的掩膜、不同状态区域类别标签、指针区域掩膜、指针区域类别以及指针仪表盘反光类别标签的图片作为样本集训练DetectoRS模型所得的，包括：
对若干个带有不同状态区域的掩膜、不同状态区域类别标签、指针区域掩膜、指针区域类别标签以及指针仪表盘反光类别标签的图片进行增广以及归一化操作后，训练DetectoRS模型，以得到实例分割模型。
6.多指针仪表检测装置，其特征在于，包括：
初始图像获取单元，用于获取仪表的图像，以得到初始图像；
目标检测单元，用于将初始图像输入至目标检测模型内进行识别，以得到目标检测结果；
校验单元，用于对目标检测结果进行校验，以得到已校验信息；
裁剪单元，用于根据所述目标检测结果及已校验信息对所述初始图像进行裁剪，以得到高清指针仪表图片；
实例分割单元，用于将所述高清指针仪表图片输入实例分割模型内进行实例分割，以得到不同状态区域分割结果、指针区域分割结果以及指针仪表盘反光分类结果；指针仪表盘反光分类结果是指判断指针仪表盘是否反光;如果指针仪表盘无阴影因素影响则可进入主色识别;
状态区域确定单元，用于对不同状态区域分割结果进行主色识别，并根据配置信息划分出状态区域中的安全区域和警报区域；
指针信息获取单元，用于根据指针区域分割结果获取指针信息；
判断单元，用于根据指针区域及警报区域判断指针是否在警报区域内；
报警信息生成单元，用于若指针在警报区域内，则生成每个指针报警信息，并将报警信息反馈至终端;
所述校验单元包括：
置信度判断子单元，用于判断目标检测结果的置信度是否超过设定置信度阈值；若目标检测结果的置信度不超过设定置信度阈值，则微调采样位置并执行所述获取仪表的图像，以得到初始图像；
筛选子单元，用于若目标检测结果的置信度超过设定置信度阈值，则筛选置信度高于设定置信度阈值的目标检测结果，以得到识别对象；
重叠判断子单元，用于判断所述识别对象中是否存在重叠的内容；若所述识别对象中存在重叠的内容，则选取置信度最大的对象，以得到已校验信息；
比例判断子单元，用于若所述识别对象中不存在重叠的内容，则判断所述识别对象的宽高比例是否在所设定的宽高比例阈值范围内且识别对象所形成的检测框占据初始图像比例是否符合在设定的面积占比阈值范围内；若所述识别对象的宽高比例在所设定的宽高比例阈值范围内且识别对象所形成的检测框占据初始图像比例符合在设定的面积占比阈值范围内，则所述识别对象为已校验信息；若所述识别对象的宽高比例不在所设定的宽高比例阈值范围内或识别对象所形成的检测框占据初始图像比例不符合在设定的面积占比阈值范围内，则微调采样位置，并执行所述获取仪表的图像，以得到初始图像。
7.一种计算机设备，其特征在于，所述计算机设备包括存储器及处理器，所述存储器上存储有计算机程序，所述处理器执行所述计算机程序时实现如权利要求1至5中任一项所述的方法。
8.一种存储介质，其特征在于，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时可实现如权利要求1至5中任一项所述的方法。
CN202011018641.1A 2020-09-24 2020-09-24 多指针仪表检测方法、装置、计算机设备及存储介质 Active CN112115898B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011018641.1A CN112115898B (zh) 2020-09-24 2020-09-24 多指针仪表检测方法、装置、计算机设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011018641.1A CN112115898B (zh) 2020-09-24 2020-09-24 多指针仪表检测方法、装置、计算机设备及存储介质

Publications (2)

Publication Number Publication Date
CN112115898A CN112115898A (zh) 2020-12-22
CN112115898B true CN112115898B (zh) 2024-07-02

Family

ID=73801638

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011018641.1A Active CN112115898B (zh) 2020-09-24 2020-09-24 多指针仪表检测方法、装置、计算机设备及存储介质

Country Status (1)

Country Link
CN (1) CN112115898B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112784854B (zh) * 2020-12-30 2023-07-14 成都云盯科技有限公司 基于数理统计的服装颜色分割提取方法、装置和设备
CN113128353B (zh) * 2021-03-26 2023-10-24 安徽大学 面向自然人机交互的情绪感知方法及其***
CN113256624A (zh) * 2021-06-29 2021-08-13 中移(上海)信息通信科技有限公司 连铸圆坯缺陷检测方法、装置、电子设备及可读存储介质
CN113947720B (zh) * 2021-12-20 2022-05-20 广东科凯达智能机器人有限公司 一种判断密度表的工作状态的方法
CN114283413B (zh) * 2021-12-22 2024-04-26 上海蒙帕智能科技股份有限公司 一种巡检场景下数字仪表读数的识别方法与***
CN115980116B (zh) * 2022-11-22 2023-07-14 宁波博信电器有限公司 一种仪表盘耐高温检测方法、***、存储介质及智能终端

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101660932A (zh) * 2009-06-15 2010-03-03 浙江大学 一种指针式汽车仪表自动校验方法
CN104008399A (zh) * 2014-06-12 2014-08-27 哈尔滨工业大学 一种仪表检测中基于支持向量机的仪表指针抖动的识别方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107590498B (zh) * 2017-09-27 2020-09-01 哈尔滨工业大学 一种基于字符分割级联二分类器的自适应汽车仪表检测方法
CN111241947B (zh) * 2019-12-31 2023-07-18 深圳奇迹智慧网络有限公司 目标检测模型的训练方法、装置、存储介质和计算机设备

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101660932A (zh) * 2009-06-15 2010-03-03 浙江大学 一种指针式汽车仪表自动校验方法
CN104008399A (zh) * 2014-06-12 2014-08-27 哈尔滨工业大学 一种仪表检测中基于支持向量机的仪表指针抖动的识别方法

Also Published As

Publication number Publication date
CN112115898A (zh) 2020-12-22

Similar Documents

Publication Publication Date Title
CN112115898B (zh) 多指针仪表检测方法、装置、计算机设备及存储介质
CN112115897B (zh) 多指针仪表报警检测方法、装置、计算机设备及存储介质
CN113269073B (zh) 一种基于yolo v5算法的船舶多目标追踪方法
CN112115895B (zh) 指针型仪表读数识别方法、装置、计算机设备及存储介质
CN106355188A (zh) 图像检测方法及装置
CN109858547A (zh) 一种基于bssd的目标检测方法与装置
JP2015087903A (ja) 情報処理装置及び情報処理方法
CN112819821B (zh) 一种细胞核图像检测方法
US11748981B2 (en) Deep learning method for predicting patient response to a therapy
US11748975B2 (en) Method and device for optimizing object-class model based on neural network
CN110298410A (zh) 基于深度学习的低对比度图像中弱目标检测方法及装置
CN113095444B (zh) 图像标注方法、装置及存储介质
CN111753702A (zh) 目标检测方法、装置及设备
CN114821551A (zh) 遗留物检测以及模型训练方法、装置和存储介质
CN111414930B (zh) 深度学习模型训练方法及装置、电子设备及存储介质
CN110866931A (zh) 图像分割模型训练方法及基于分类的强化图像分割方法
CN112115896B (zh) 仪表盘指针读数预测方法、装置、计算机设备及存储介质
CN113065454A (zh) 一种高空抛物目标识别比较的方法及装置
CN112948765A (zh) 用于确定在第一组分和第二组分之间的水平延伸界面的竖直位置的方法和设备
CN113887455B (zh) 一种基于改进fcos的人脸口罩检测***及方法
US11244443B2 (en) Examination apparatus, examination method, recording medium storing an examination program, learning apparatus, learning method, and recording medium storing a learning program
CN117649415B (zh) 基于光流图检测的细胞均衡度分析方法
CN114240929B (zh) 一种色差检测方法及装置
CN111553418B (zh) 神经元重建错误的检测方法、装置和计算机设备
CN112580731B (zh) 翡翠产品识别方法、***、终端、计算机设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant