CN116863333A - Fsu设备工作状态的ai智能检测方法 - Google Patents

Fsu设备工作状态的ai智能检测方法 Download PDF

Info

Publication number
CN116863333A
CN116863333A CN202310782184.0A CN202310782184A CN116863333A CN 116863333 A CN116863333 A CN 116863333A CN 202310782184 A CN202310782184 A CN 202310782184A CN 116863333 A CN116863333 A CN 116863333A
Authority
CN
China
Prior art keywords
image
target
contour
fsu
indicator lamp
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310782184.0A
Other languages
English (en)
Inventor
李欠平
唐建中
温庆芝
孙宗宗
裴福平
罗焕平
张华斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Mastercom Technology Corp
Original Assignee
Shenzhen Mastercom Technology Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Mastercom Technology Corp filed Critical Shenzhen Mastercom Technology Corp
Priority to CN202310782184.0A priority Critical patent/CN116863333A/zh
Publication of CN116863333A publication Critical patent/CN116863333A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/30—Noise filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开了一种FSU设备工作状态的AI智能检测方法，涉及图像处理领域，该FSU设备工作状态的AI智能检测方法包括：基于预设的目标识别模型识别采集图像中的指示灯位置，并截取所述指示灯位置所在的区域图像作为指示灯图像；将所述指示灯图像转换为HSV指示灯图像，并基于预设的颜色阈值范围针对所述HSV指示灯图像进行颜色提取，以得到目标指示灯图像；针对所述目标指示灯图像进行轮廓提取以得到目标指示灯轮廓图像，并根据所述目标指示灯轮廓图像中轮廓的面积确定与所述采集图像对应的FSU设备的工作状态。采用本申请技术方案能够提高对FSU设备工作状态识别的效率和准确率。

Description

FSU设备工作状态的AI智能检测方法
技术领域
本申请涉及图像处理技术领域，尤其涉及一种FSU设备工作状态的AI智能检测方法。
背景技术
FSU(Field Supervision Unit，端站数据采集器)设备作为单个的数据管理单元存在，用于采集智能设备数据或本板传感器数据，并上传所采集的数据到服务器平台，FSU还可以对所接设备的状态进行监控，以便随时了解设备的运行状态。
目前FSU设备工作状态质检方法主要采用人工质检或者单纯的目标检测质检方法。其中，人工质检由一线施工人员拍照上传***，然后由质检人员人工打开上传的FSU设备照片，对FSU工作状态进行核查，而且人工质检是事后质检，当遇到不合格的情况，需要施工人员二次回到现场进行整改，效率低下，此外人工质检存在质检不透明、不规范的情况，监管较难。而单纯的目标检测质检方法主要是采集FSU设备的相关图片，简单的训练直接识别检测目标，但是由于现场环境复杂，存在诸多干扰因素，识别准确率低，不能保障质检质量。
综上，如何提高对FSU设备工作状态识别的效率和准确率，俨然已成为本领域亟需解决的技术问题。
发明内容
本申请的主要目的在于提供一种FSU设备工作状态的AI(ArtificialIntelligence人工智能)智能检测方法，旨在提高对FSU设备工作状态识别的效率和准确率。
为实现上述目的，本申请提供一种FSU设备工作状态的AI智能检测方法，所述FSU设备工作状态的AI智能检测方法包括：
基于预设的目标识别模型识别采集图像中的指示灯位置，并截取所述指示灯位置所在的区域图像作为指示灯图像；
将所述指示灯图像转换为HSV(Hue Saturation Value一种图像格式)指示灯图像，并基于预设的颜色阈值范围针对所述HSV指示灯图像进行颜色提取，以得到目标指示灯图像；
针对所述目标指示灯图像进行轮廓提取以得到目标指示灯轮廓图像，并根据所述目标指示灯轮廓图像中轮廓的面积确定与所述采集图像对应的FSU设备的工作状态。
可选地，所述根据所述目标指示灯轮廓图像中轮廓的面积确定与所述采集图像对应的FSU设备的工作状态的步骤，包括：
过滤所述目标指示灯轮廓图像中面积小于预设的第一面积阈值的轮廓以得到目标轮廓；
判断所述目标轮廓的面积是否超过预设的第二面积阈值，其中，所述第二面积阈值大于或等于所述第一面积阈值；
若所述目标轮廓的面积超过所述第二面积阈值时，则确定与所述采集图像对应的FSU设备的工作状态为正常状态。
可选地，在所述基于预设的目标识别模型识别采集图像中的指示灯位置的步骤之前，所述方法还包括：
将训练数据输入至基于YOLO(You Only Look Once一种目标检测算法)目标检测算法的初始目标识别模型中进行训练，以得到包括权重参数文件和目标检测框的目标识别模型，其中，所述训练数据为已使用检测框标注指示灯位置的FSU设备图像。
可选地，所述基于预设的目标识别模型识别采集图像中的指示灯位置的步骤，包括：
将采集图像输入至所述目标识别模型；
根据所述权重参数文件识别所述采集图像中的指示灯位置，并通过所述目标检测框标注所述指示灯位置。
可选地，所述基于预设的颜色阈值范围针对所述HSV指示灯图像进行颜色提取，以得到目标指示灯图像的步骤，包括：
遍历所述HSV指示灯图像中的像素点，并判断所述像素点的颜色是否属于预设的颜色阈值范围；
若所述像素点的颜色属于所述颜色阈值范围，则提取所述像素点；
根据提取的各所述像素点生成目标指示灯图像。
可选地，所述针对所述目标指示灯图像进行轮廓提取以得到目标指示灯轮廓图像的步骤，包括：
基于Canny边缘检测算法识别所述目标指示灯图像中的轮廓边缘；
根据所述轮廓边缘对所述目标指示灯图像进行轮廓提取以得到目标指示灯轮廓图像。
可选地，在所述根据所述目标指示灯轮廓图像中轮廓的面积确定与所述采集图像对应的FSU设备的工作状态的步骤之后，所述方法还包括：
若所述工作状态为正常状态，则输出正常提示信息；
若所述工作状态为非正常状态，则输出非正常提示信息和调试建议。
本申请实施例提出的一种FSU设备工作状态的AI智能检测方法，该FSU设备工作状态的AI智能检测方法包括：基于预设的目标识别模型识别采集图像中的指示灯位置，并截取所述指示灯位置所在的区域图像作为指示灯图像；将所述指示灯图像转换为HSV指示灯图像，并基于预设的颜色阈值范围针对所述HSV指示灯图像进行颜色提取，以得到目标指示灯图像；针对所述目标指示灯图像进行轮廓提取以得到目标指示灯轮廓图像，并根据所述目标指示灯轮廓图像中轮廓的面积确定与所述采集图像对应的FSU设备的工作状态。
相比于传统的FSU设备工作状态的AI智能检测方法，本申请通过预设的目标识别模型识别采集图像中的指示灯位置，并截取指示灯位置所在的区域图像，将该区域图像作为指示灯图像；然后，将指示灯图像转换为HSV指示灯图像，并基于预设的颜色阈值范围在HSV指示灯图像中提取对应的颜色，将根据颜色阈值范围提取的颜色作为目标指示灯图像；最后，针对目标指示灯图像进行轮廓提取以得到目标指示灯轮廓图像，并根据目标指示灯轮廓图像中一个或多个轮廓的面积确定与采集图像对应的FSU设备的工作状态。
如此，本申请通过预设的目标识别模型识别采集图像的指示灯位置，然后对识别区域进行HSV颜色提取，并采用边缘检测技术确定FSU设备的工作状态，从而极大地提高了对FSU设备工作状态识别的效率和准确率。
附图说明
图1为本申请FSU设备工作状态的AI智能检测方法第一实施例的流程示意图；
图2为本申请FSU设备工作状态的AI智能检测方法第二实施例涉及的流程示意图。
本申请目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请的一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
需要说明，本申请实施例中所有方向性指示(诸如上、下、左、右、前、后……)仅用于解释在某一特定姿态(如附图所示)下各部件之间的相对位置关系、运动情况等，如果该特定姿态发生改变时，则该方向性指示也相应地随之改变。
在本申请中，除非另有明确的规定和限定，术语“连接”、“固定”等应做广义理解，例如，“固定”可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系，除非另有明确的限定。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本申请中的具体含义。
另外，在本申请中如涉及“第一”、“第二”等的描述仅用于描述目的，而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。另外，各个实施例之间的技术方案可以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在，也不在本申请要求的保护范围之内。
本申请实施例提出本申请FSU设备工作状态的AI智能检测方法的各个实施例的整体构思。
在本申请实施例中，FSU设备作为单个的数据管理单元存在，用于采集智能设备数据或本板传感器数据，并上传所采集的数据到服务器平台，FSU还可以对所接设备的状态进行监控，以便随时了解设备的运行状态。
目前FSU设备工作状态质检方法主要采用人工质检或者单纯的目标检测质检方法。其中，人工质检由一线施工人员拍照上传***，然后由质检人员人工打开上传的FSU设备照片，对FSU工作状态进行核查，而且人工质检是事后质检，当遇到不合格的情况，需要施工人员二次回到现场进行整改，效率低下，此外人工质检存在质检不透明、不规范的情况，监管较难。而单纯的目标检测质检方法主要是采集FSU设备的相关图片，简单的训练直接识别检测目标，但是由于现场环境复杂，存在诸多干扰因素，识别准确率低，不能保障质检质量。
综上，如何提高对FSU设备工作状态识别的效率和准确率，俨然已成为本领域亟需解决的技术问题。
针对上述问题，本申请实施例提出一种FSU设备工作状态的AI智能检测方法，该方法包括：基于预设的目标识别模型识别采集图像中的指示灯位置，并截取所述指示灯位置所在的区域图像作为指示灯图像；将所述指示灯图像转换为HSV指示灯图像，并基于预设的颜色阈值范围针对所述HSV指示灯图像进行颜色提取，以得到目标指示灯图像；针对所述目标指示灯图像进行轮廓提取以得到目标指示灯轮廓图像，并根据所述目标指示灯轮廓图像中轮廓的面积确定与所述采集图像对应的FSU设备的工作状态。
相比于传统的FSU设备工作状态的AI智能检测方法，本申请通过预设的目标识别模型识别采集图像中的指示灯位置，并截取指示灯位置所在的区域图像，将该区域图像作为指示灯图像；然后，将指示灯图像转换为HSV指示灯图像，并基于预设的颜色阈值范围在HSV指示灯图像中提取对应的颜色，将根据颜色阈值范围提取的颜色作为目标指示灯图像；最后，针对目标指示灯图像进行轮廓提取以得到目标指示灯轮廓图像，并根据目标指示灯轮廓图像中一个或多个轮廓的面积确定与采集图像对应的FSU设备的工作状态。
如此，本申请通过预设的目标识别模型识别采集图像的指示灯位置，然后对识别区域进行HSV颜色提取，并采用边缘检测技术确定FSU设备的工作状态，从而极大地提高了对FSU设备工作状态识别的效率和准确率。
基于上述本申请FSU设备工作状态的AI智能检测方法的总体构思，提出本申请FSU设备工作状态的AI智能检测方法的各个实施例。
请参照图1，图1为本申请FSU设备工作状态的AI智能检测方法第一实施例的流程示意图。需要说明的是，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
在本实施例中，为便于理解和阐述，在本实施例中均以终端设备作为直接的执行主体以针对本申请FSU设备工作状态的AI智能检测方法进行阐述。
如图1所示，在本实施例中，本申请FSU设备工作状态的AI智能检测方法可以包括：
步骤S10:基于预设的目标识别模型识别采集图像中的指示灯位置，并截取所述指示灯位置所在的区域图像作为指示灯图像；
在本实施例中，终端设备通过外接采集设备采集FSU设备的图像，采集的图像中包括FSU设备的指示灯，终端设备在采集到图像后，基于预设的目标识别模型识别采集图像中的指示灯的位置，并同样基于目标识别模型截取指示灯在采集图像中的区域图像作为指示灯图像。
需要说明的是，在本实施例中，预设的目标识别模型为基于目标检测算法构建的预测模型，YOLO算法通过将目标检测任务转换成一个回归问题，大大加快了对采集图像中指示灯位置的识别速度。
此外，在一种可行的实施例中，终端设备采集同一FSU设备的多张图像，目标识别模型可同时处理这多张图像，识别多张图像中各自的指示灯位置，从而提高对指示灯位置识别的精确度。
步骤S20:将所述指示灯图像转换为HSV指示灯图像，并基于预设的颜色阈值范围针对所述HSV指示灯图像进行颜色提取，以得到目标指示灯图像；
在本实施例中，终端设备中预先设置有颜色阈值范围，终端设备将截取到的指示灯图像转换为HSV指示灯图像，然后根据颜色阈值范围对该HSV指示灯图像进行颜色提取，将提取出的颜色作为目标指示灯图像。
需要说明的是，在本实施例中，终端设备通过HSV模型将截取的指示灯图像转换为HSV指示灯图像，HSV模型是针对用户观感的一种颜色模型，HSV颜色空间的各通道分别表示色调(Hue)、饱和度(Saturation)和明度(Value)，可以直观地表达色彩的明暗、色调及鲜艳程度。HSV颜色空间可以用一个圆锥空间模型来描述。圆锥的顶点处V＝0，H和S无定义，代表黑色；圆锥的顶面中心处V＝max，S＝0，H无定义，代表白色。当S＝1,V＝1时，H所代表的任何颜色被称为纯色；当S＝0时，饱和度为0，颜色最浅，最浅被描述为灰色，灰色的亮度由V决定，此时H无意义；当V＝0时，颜色最暗，最暗被描述为黑色，此时H和S均无意义，无论如何取值均为黑色。色调是色彩的基本属性，表示不同的颜色，可以用于描述和识别某种颜色。HSV模型在对指定颜色分割时非常有效，用H和S分量表示颜色距离，颜色距离指代表两种颜色之间的数值差异。
示例性地，在本实施例中，FSU设备的指示灯在亮起时发出的光为绿色，则终端设备要提取的颜色为绿色，则终端设备中预先设置的HSV颜色阈值范围为【35，43,46】-【77,255,255】，当HSV指示灯图像中的像素颜色在该范围内时，终端设备提取该像素点。
进一步地，在一种可行的实施例中，步骤S20中“基于预设的颜色阈值范围针对所述HSV指示灯图像进行颜色提取，以得到目标指示灯图像”的步骤，包括：
步骤S201:遍历所述HSV指示灯图像中的像素点，并判断所述像素点的颜色是否属于预设的颜色阈值范围；
在本实施例中，终端设备将指示灯图像转换为HSV指示灯图像之后，遍历HSV指示灯图像中的全部像素点，逐一判断各像素点的颜色是否属于预设的颜色阈值范围。通过将指示灯图像从RGB控件转换到HSV颜色空间，能够提高采集图像中颜色识别的精度和准确度。
步骤S202:若所述像素点的颜色属于所述颜色阈值范围，则提取所述像素点；
在本实施例中，终端设备判断HSV指示灯图像中各像素点的颜色是否符合颜色阈值范围，若像素点的颜色符合颜色阈值范围，则终端设备提取该像素点。
在另一种可行的实施例中，若像素点的颜色不符合颜色阈值范围，则终端设备过滤该像素点。
步骤S203:根据提取的各所述像素点生成目标指示灯图像。
在本实施例中，终端设备遍历完HSV指示灯图像中所有像素点后，将提取的符合颜色阈值范围的像素点整合起来作为目标指示灯图像。
步骤S30:针对所述目标指示灯图像进行轮廓提取以得到目标指示灯轮廓图像，并根据所述目标指示灯轮廓图像中轮廓的面积确定与所述采集图像对应的FSU设备的工作状态。
在本实施例中，终端设备针对目标指示灯图像进行轮廓提取，提取得到目标指示灯轮廓图像，然后计算目标指示灯轮廓图像中轮廓的面积，根据轮廓的面积大小确定与采集图像对应的FSU设备的工作状态。
需要说明的是，在本实施例中，终端设备在目标指示灯图像中提取的轮廓可以是一个或多个，当图像中有提取到多个轮廓时，终端设备依次确定各个轮廓的面积。
进一步地，在一种可行的实施例中，步骤S30中“根据所述目标指示灯轮廓图像中轮廓的面积确定与所述采集图像对应的FSU设备的工作状态”的步骤，包括：
步骤S301:过滤所述目标指示灯轮廓图像中面积小于预设的第一面积阈值的轮廓以得到目标轮廓；
在本实施例中，终端设备中预先设置有第一面积阈值，终端设备计算目标指示灯轮廓图像中轮廓的面积，当只有一个轮廓时，终端设备计算该轮廓面积，当有多个轮廓时，终端设备逐一计算各个轮廓各自的面积，终端设备将图像中的轮廓面积大小与第一面积阈值进行比较，当轮廓面积小于第一面积阈值时，终端设备将该轮廓面积对应的轮廓过滤。
需要说明的是，在本实施例中，采集图像为实地采集的FSU设备的实时图像，采集图像中的FSU设备上可能有产生干扰误差的灰尘、碎片等，终端设备通过将小于第一面积阈值的轮廓进行过滤，避免出现灰尘、碎片等杂物造成的指示灯识别误差。
还需要说明的是，终端设备中预先设置的第一面积阈值为FSU设备的一个指示灯在点亮时的发光像素点所占的最小面积。
步骤S302:判断所述目标轮廓的面积是否超过预设的第二面积阈值，其中，所述第二面积阈值大于或等于所述第一面积阈值；
在本实施例中，终端设备将目标指示灯轮廓图像中小于第一面积阈值的轮廓过滤后，判断剩下的轮廓的面积是否超过预设的第二面积阈值，该第二面积阈值大于或等于第一面积阈值。
需要说明的是，在本实施例中，终端设备中预先设置的第二面积阈值为FSU设备在正常工作时指示灯位置的发光像素点所占的最小面积。
步骤S303:若所述目标轮廓的面积超过所述第二面积阈值时，则确定与所述采集图像对应的FSU设备的工作状态为正常状态。
在本实施例中，终端设备确定目标轮廓的面积超过第二面积阈值时，则确定采集图像所对应的FSU设备的工作状态为正常状态，若目标轮廓的面积未超过第二面积阈值，则确定采集图像所对应的FSU设备的工作状态为非正常状态。
示例性地，当FSU设备有至少一个指示灯点亮时即处于正常状态，则第二面积阈值可与第一面积阈值相等，当FSU设备需要至少三个指示灯点亮时即处于正常状态，此时终端设备将目标轮廓的面积之和与第二面积阈值进行比较，此时第二面积阈值为第一面积阈值的三倍，当目标轮廓的面积之和大于第二面积阈值时，此时FSU设备的工作状态为正常状态。
进一步地，在一种可行的实施例中，步骤S30中“针对所述目标指示灯图像进行轮廓提取以得到目标指示灯轮廓图像”的步骤，包括：
步骤S304:基于Canny边缘检测算法识别所述目标指示灯图像中的轮廓边缘；
在本实施例中，终端设备基于Canny边缘检测算法识别目标指示灯图像中的轮廓边缘，该Canny边缘检测算法至少包括以下步骤：
步骤a：应用高斯滤波来平滑去除噪声，高斯滤波器是将高斯函数离散化，将滤波器中对应的横纵坐标索引代入到高斯函数，从而得到对应的值，二维高斯函数如下：
该二维高斯函数中(x,y)为坐标,σ为标准差。
步骤b：计算梯度强度和方向：采用Sobe l滤波器计算水平方向和垂直方向的梯度，梯度公式为：
该梯度公式中，Gx为水平方向梯度，Gy为垂直方向梯度。
步骤c：遍历梯度矩阵上的所有点，并保留边缘方向上具有极大值的像素，该像素值的计算公式为：
其中，MT(x，y)为边缘(x，y)处保留下来的像素值，M(x，y)为边缘(x，y)处的像素值，T为边缘处像素的最大值。
另外为了更好的检测边界，Canny算法还可以采用双阈值的方法来决定可能的边界,利用查看弱边缘像素及其8个邻域像素来保留弱边界。
步骤S305:根据所述轮廓边缘对所述目标指示灯图像进行轮廓提取以得到目标指示灯轮廓图像。
在本实施例中，终端设备根据算法确定的轮廓边缘对目标指示灯图像进行轮廓提取，将提取到的轮廓作为目标指示灯轮廓图像。如此，终端设备再根据确定的目标指示灯轮廓图像中轮廓的面积，来确定FSU设备的工作状态，提高了FSU设备工作状态判断的准确性。
进一步地，在一种可行的实施例中，在步骤S30之后，本申请FSU设备工作状态的AI智能检测方法还包括：
步骤S40：若所述工作状态为正常状态，则输出正常提示信息；
步骤S50：若所述工作状态为非正常状态，则输出非正常提示信息和调试建议。
在本实施例中，终端设备判断出检测的FSU设备的工作状态之后，向质检人员输出检测结果，具体地，终端设备确定FSU设备的工作状态为正常状态时，终端设备通过用户交互界面输出正常提示信息，终端设备确定FSU设备的工作状态为非正常状态时，通过用户交互界面输出非正常提示信息和调试建议。
在另一种可行的实施例中，终端设备也可向质检人员的用户终端输出提示信息，提示信息的具体形式可为文字、语音、表格等多种形式中的一种或者多种，以使质检人员在接收到检测结果时可及时根据检测结果对FSU设备做出相应的调整，提高质检效率。
在本实施例中，本申请基于预设的目标识别模型识别采集图像中的指示灯位置，并截取所述指示灯位置所在的区域图像作为指示灯图像；将所述指示灯图像转换为HSV指示灯图像，并基于预设的颜色阈值范围针对所述HSV指示灯图像进行颜色提取，以得到目标指示灯图像；针对所述目标指示灯图像进行轮廓提取以得到目标指示灯轮廓图像，并根据所述目标指示灯轮廓图像中轮廓的面积确定与所述采集图像对应的FSU设备的工作状态。
具体地，相比于传统的FSU设备工作状态的AI智能检测方法，本申请终端设备通过外接采集设备采集FSU设备的图像，采集的图像中包括FSU设备的指示灯，终端设备在采集到图像后，基于预设的目标识别模型识别采集图像中的指示灯的位置，并同样基于目标识别模型截取指示灯在采集图像中的区域图像作为指示灯图像；然后，终端设备中预先设置有颜色阈值范围，终端设备将截取到的指示灯图像转换为HSV指示灯图像，然后根据颜色阈值范围对该HSV指示灯图像进行颜色提取，将提取出的颜色作为目标指示灯图像；最后，终端设备针对目标指示灯图像进行轮廓提取，提取得到目标指示灯轮廓图像，然后计算目标指示灯轮廓图像中轮廓的面积，根据轮廓的面积大小确定与采集图像对应的FSU设备的工作状态。
如此，本申请通过预设的目标识别模型识别采集图像的指示灯位置，然后对识别区域进行HSV颜色提取，并采用边缘检测技术确定FSU设备的工作状态，从而极大地提高了对FSU设备工作状态识别的效率和准确率。
进一步地，基于上述本申请FSU设备工作状态的AI智能检测方法的第一实施例，提出本申请FSU设备工作状态的AI智能检测方法的第二实施例。
在本实施例中，在上述步骤S10：基于预设的目标识别模型识别采集图像中的指示灯位置之前，本申请FSU设备工作状态的AI智能检测方法还包括：
步骤S60：将训练数据输入至基于YOLO目标检测算法的初始目标识别模型中进行训练，以得到包括权重参数文件和目标检测框的目标识别模型，其中，所述训练数据为已使用检测框标注指示灯位置的FSU设备图像。
在本实施例中，终端设备使用大量已用检测框标注指示灯位置的FSU设备图像作为训练数据，将该训练数据输入至基于YOLO目标检测算法的初始目标识别模型中进行训练，初始目标识别模型自动提取训练数据中的数据特征，训练后得到包括权重参数文件和目标检测框的目标识别模型，权重参数文件用于识别FSU设备图像中指示灯位置，目标检测框用于标注识别到的指示灯位置，目标检测框形状优选为矩形。
基于此，在一种可行的实施例中，步骤S10，包括：
步骤S101：将采集图像输入至所述目标识别模型；
步骤S102：根据所述权重参数文件识别所述采集图像中的指示灯位置，并通过所述目标检测框标注所述指示灯位置。
在本实施例中，终端设备将待检测的FSU设备的采集图像输入至训练好的目标识别模型当中，然后，基于该模型，终端设备根据模型中的权重参数文件对采集图像进行识别，识别到指示灯位置，并通过目标检测框标注该指示灯位置。
需要说明的是，在本实施例中，标注指示灯位置的目标检测框旁还显示识别到的框内图像与目标识别模型中的标签区域的平均相似度。
示例性地，如图2所示，在本实施例中，终端设备采集图片训练模型，然后利用训练好的模型识别待检测设备的指示灯位置，并截取识别到的指示灯区域，然后，终端设备将截取的指示灯区域转换为HSV颜色空间，对截取的区域进行HSV颜色提取，再利用边缘检测算法识别轮廓，利用面积大小过滤干扰轮廓，从而基于过滤后的轮廓图片判断FSU设备的整体工作状态。
此外，在一种可行的实施例中，上述状态检测方法也可应用于各类指示灯判断场景中，如设备报警、设备工作状态监控等场景。
如此，本申请通过YOLO目标检测算法进行模型训练，该算法具有快速、精准识别目标区域的优点，训练得到的目标检测模型对FSU设备指示灯进行位置检测，提高了FSU设备的状态检测的效率，并且减少了人力成本。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本申请各个实施例所述的方法。
以上仅为本申请的优选实施例，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利保护范围内。

Claims (7)

1.一种FSU设备工作状态的AI智能检测方法，其特征在于，所述FSU设备工作状态的AI智能检测方法包括：
基于预设的目标识别模型识别采集图像中的指示灯位置，并截取所述指示灯位置所在的区域图像作为指示灯图像；
将所述指示灯图像转换为HSV指示灯图像，并基于预设的颜色阈值范围针对所述HSV指示灯图像进行颜色提取，以得到目标指示灯图像；
针对所述目标指示灯图像进行轮廓提取以得到目标指示灯轮廓图像，并根据所述目标指示灯轮廓图像中轮廓的面积确定与所述采集图像对应的FSU设备的工作状态。
2.如权利要求1所述的FSU设备工作状态的AI智能检测方法，其特征在于，所述根据所述目标指示灯轮廓图像中轮廓的面积确定与所述采集图像对应的FSU设备的工作状态的步骤，包括：
过滤所述目标指示灯轮廓图像中面积小于预设的第一面积阈值的轮廓以得到目标轮廓；
判断所述目标轮廓的面积是否超过预设的第二面积阈值，其中，所述第二面积阈值大于或等于所述第一面积阈值；
若所述目标轮廓的面积超过所述第二面积阈值时，则确定与所述采集图像对应的FSU设备的工作状态为正常状态。
3.如权利要求1所述的FSU设备工作状态的AI智能检测方法，其特征在于，在所述基于预设的目标识别模型识别采集图像中的指示灯位置的步骤之前，所述方法还包括：
将训练数据输入至基于YOLO目标检测算法的初始目标识别模型中进行训练，以得到包括权重参数文件和目标检测框的目标识别模型，其中，所述训练数据为已使用检测框标注指示灯位置的FSU设备图像。
4.如权利要求3所述的FSU设备工作状态的AI智能检测方法，其特征在于，所述基于预设的目标识别模型识别采集图像中的指示灯位置的步骤，包括：
将采集图像输入至所述目标识别模型；
根据所述权重参数文件识别所述采集图像中的指示灯位置，并通过所述目标检测框标注所述指示灯位置。
5.如权利要求1所述的FSU设备工作状态的AI智能检测方法，其特征在于，所述基于预设的颜色阈值范围针对所述HSV指示灯图像进行颜色提取，以得到目标指示灯图像的步骤，包括：
遍历所述HSV指示灯图像中的像素点，并判断所述像素点的颜色是否属于预设的颜色阈值范围；
若所述像素点的颜色属于所述颜色阈值范围，则提取所述像素点；
根据提取的各所述像素点生成目标指示灯图像。
6.如权利要求1所述的FSU设备工作状态的AI智能检测方法，其特征在于，所述针对所述目标指示灯图像进行轮廓提取以得到目标指示灯轮廓图像的步骤，包括：
基于Canny边缘检测算法识别所述目标指示灯图像中的轮廓边缘；
根据所述轮廓边缘对所述目标指示灯图像进行轮廓提取以得到目标指示灯轮廓图像。
7.如权利要求1至6中任一项所述的FSU设备工作状态的AI智能检测方法，其特征在于，在所述根据所述目标指示灯轮廓图像中轮廓的面积确定与所述采集图像对应的FSU设备的工作状态的步骤之后，所述方法还包括：
若所述工作状态为正常状态，则输出正常提示信息；
若所述工作状态为非正常状态，则输出非正常提示信息和调试建议。
CN202310782184.0A 2023-06-28 2023-06-28 Fsu设备工作状态的ai智能检测方法 Pending CN116863333A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310782184.0A CN116863333A (zh) 2023-06-28 2023-06-28 Fsu设备工作状态的ai智能检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310782184.0A CN116863333A (zh) 2023-06-28 2023-06-28 Fsu设备工作状态的ai智能检测方法

Publications (1)

Publication Number Publication Date
CN116863333A true CN116863333A (zh) 2023-10-10

Family

ID=88224427

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310782184.0A Pending CN116863333A (zh) 2023-06-28 2023-06-28 Fsu设备工作状态的ai智能检测方法

Country Status (1)

Country Link
CN (1) CN116863333A (zh)

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107067595A (zh) * 2017-04-28 2017-08-18 南京国电南思科技发展股份有限公司 一种指示灯的状态辨识方法、装置及电子设备
CN107194395A (zh) * 2017-05-02 2017-09-22 华中科技大学 一种基于颜色识别和轮廓提取的物体动态定位方法
CN111259892A (zh) * 2020-01-19 2020-06-09 福建升腾资讯有限公司 一种指示灯状态的巡检方法、装置、设备和介质
CN111639620A (zh) * 2020-06-08 2020-09-08 深圳航天智慧城市***技术研究院有限公司 一种基于可见光图像识别的火灾分析方法及***
CN112560816A (zh) * 2021-02-20 2021-03-26 北京蒙帕信创科技有限公司 一种基于YOLOv4的设备指示灯识别方法及***
CN113345036A (zh) * 2021-05-24 2021-09-03 广西电网有限责任公司电力科学研究院 基于hsv特征变换的指示灯状态识别方法
CN114066862A (zh) * 2021-11-22 2022-02-18 福建省海峡智汇科技有限公司 一种基于色域和轮廓特征的指示器识别方法及***
CN114757962A (zh) * 2022-04-18 2022-07-15 智洋创新科技股份有限公司 一种架空线路山火识别方法
CN114820676A (zh) * 2022-05-30 2022-07-29 深圳市科荣软件股份有限公司 一种设备运行状态识别方法及装置
CN115294352A (zh) * 2022-06-30 2022-11-04 慈溪市输变电工程有限公司 一种基于图像识别的开关柜状态智能识别***及方法
CN115642877A (zh) * 2022-11-04 2023-01-24 重庆中电自能科技有限公司 一种基于深度学习的光伏组件异常遮挡检测方法及***
CN115760684A (zh) * 2022-09-22 2023-03-07 超聚变数字技术有限公司 主板led灯的测试阈值区间调节方法、测试方法及装置
CN116052041A (zh) * 2022-12-16 2023-05-02 北方工业大学 基于深度网络的指示灯状态识别方法

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107067595A (zh) * 2017-04-28 2017-08-18 南京国电南思科技发展股份有限公司 一种指示灯的状态辨识方法、装置及电子设备
CN107194395A (zh) * 2017-05-02 2017-09-22 华中科技大学 一种基于颜色识别和轮廓提取的物体动态定位方法
CN111259892A (zh) * 2020-01-19 2020-06-09 福建升腾资讯有限公司 一种指示灯状态的巡检方法、装置、设备和介质
CN111639620A (zh) * 2020-06-08 2020-09-08 深圳航天智慧城市***技术研究院有限公司 一种基于可见光图像识别的火灾分析方法及***
CN112560816A (zh) * 2021-02-20 2021-03-26 北京蒙帕信创科技有限公司 一种基于YOLOv4的设备指示灯识别方法及***
CN113345036A (zh) * 2021-05-24 2021-09-03 广西电网有限责任公司电力科学研究院 基于hsv特征变换的指示灯状态识别方法
CN114066862A (zh) * 2021-11-22 2022-02-18 福建省海峡智汇科技有限公司 一种基于色域和轮廓特征的指示器识别方法及***
CN114757962A (zh) * 2022-04-18 2022-07-15 智洋创新科技股份有限公司 一种架空线路山火识别方法
CN114820676A (zh) * 2022-05-30 2022-07-29 深圳市科荣软件股份有限公司 一种设备运行状态识别方法及装置
CN115294352A (zh) * 2022-06-30 2022-11-04 慈溪市输变电工程有限公司 一种基于图像识别的开关柜状态智能识别***及方法
CN115760684A (zh) * 2022-09-22 2023-03-07 超聚变数字技术有限公司 主板led灯的测试阈值区间调节方法、测试方法及装置
CN115642877A (zh) * 2022-11-04 2023-01-24 重庆中电自能科技有限公司 一种基于深度学习的光伏组件异常遮挡检测方法及***
CN116052041A (zh) * 2022-12-16 2023-05-02 北方工业大学 基于深度网络的指示灯状态识别方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
刘春晖 等: "汽车诊断检测仪器与设备使用指南", 31 August 2019, 北京：机械工业出版社, pages: 43 - 45 *

Similar Documents

Publication Publication Date Title
CN111275759B (zh) 基于无人机双光影像融合的变电站刀闸温度检测方法
CN102364496B (zh) 一种基于图像分析的汽车车牌自动识别方法及***
CN109271844B (zh) 基于OpenCV的电气柜电气符号识别方法
CN101599175B (zh) 确定拍摄背景发生改变的检测方法及图像处理设备
CN112364740B (zh) 一种基于计算机视觉的无人机房监控方法及***
CN107392116A (zh) 一种指示灯识别方法和***
CN107506760A (zh) 基于gps定位与视觉图像处理的交通信号检测方法及***
CN105844242A (zh) 图像中的肤色检测方法
CN110569774B (zh) 基于图像处理与模式识别的折线图图像自动数字化方法
CN113034624A (zh) 基于感温变色胶贴的温度预警图像识别方法、***、设备及存储介质
CN115631350B (zh) 罐印图像的颜色识别方法和装置
CN108154496B (zh) 一种适用于电力作业机器人的电力设备外观变化识别方法
JP2006285956A (ja) 赤目検出方法および装置並びにプログラム
CN112598674B (zh) 用于车辆的图像处理方法、装置及车辆
KR102366396B1 (ko) Rgb-d 데이터와 딥러닝을 이용한 3d객체영역분할 방법과 그 시스템
CN111401341A (zh) 一种基于视觉的减速带检测方法、装置及其存储介质
CN113033548A (zh) 用于机组运行状态判断及监控对点的图像识别方法
CN116863333A (zh) Fsu设备工作状态的ai智能检测方法
KR20210042563A (ko) 전경 분리 장치 및 방법
CN115619725A (zh) 电子元器件检测方法、装置、电子设备及自动质检设备
CN111652055B (zh) 一种基于两阶段定位的开关仪表智能识别方法
CN112488031A (zh) 一种基于颜色分割的安全帽检测方法
CN112364693A (zh) 基于双目视觉的障碍识别方法、装置、设备及存储介质
CN112507838A (zh) 一种指针表计识别方法、装置和电力巡检机器人
CN111079713A (zh) 一种提取行人颜色特征的方法及终端设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination