CN116630749A - 工业设备故障检测方法、装置、设备以及存储介质 - Google Patents

工业设备故障检测方法、装置、设备以及存储介质 Download PDF

Info

Publication number
CN116630749A
CN116630749A CN202310721247.1A CN202310721247A CN116630749A CN 116630749 A CN116630749 A CN 116630749A CN 202310721247 A CN202310721247 A CN 202310721247A CN 116630749 A CN116630749 A CN 116630749A
Authority
CN
China
Prior art keywords
industrial equipment
fault
text
detection
preset
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310721247.1A
Other languages
English (en)
Inventor
吴岳忠
刘富民
李长云
万烂军
王志兵
廖立君
朱艳辉
肖发龙
张志轩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hunan Yun Zhi Iot Networktechnology Co ltd
Hunan University of Technology
Original Assignee
Hunan Yun Zhi Iot Networktechnology Co ltd
Hunan University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hunan Yun Zhi Iot Networktechnology Co ltd, Hunan University of Technology filed Critical Hunan Yun Zhi Iot Networktechnology Co ltd
Priority to CN202310721247.1A priority Critical patent/CN116630749A/zh
Publication of CN116630749A publication Critical patent/CN116630749A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/35—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/36—Creation of semantic tools, e.g. ontology or thesauri
    • G06F16/367—Ontology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/04—Inference or reasoning models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Animal Behavior & Ethology (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开了一种工业设备故障检测方法、装置、设备及计算机可读存储介质，所述方法包括：获取工业设备的检测图像；将检测图像输入预设的视觉检测模型获得待识别目标的视觉信息特征向量；根据视觉信息特征向量和预设的多模态知识图谱推理获得推理结果；根据所述推理结果生成故障文本。本申请提出的技术方案把视觉检测模型和多模态知识图谱结合起来，根据工业设备的检测图像生成可解释的故障文本，能够满足数据量较少的复杂场景中的工业设备的故障诊断需求，提高工业设备故障诊断的适应范围，且提高工业设备的故障诊断准确度。

Description

工业设备故障检测方法、装置、设备以及存储介质
技术领域
本申请涉及技术领域，尤其涉及一种工业设备故障检测方法、装置及设备及存储介质。
背景技术
原有的工业设备故障评估策略可以分为以人工经验进行检测的手段和以计算机模型为检测主体的方法，这些传统检测方法仅能通过拍照方式来确认可能的故障点，有可能导致出现遗漏等问题，导致传统检测方法难以多角度、多领域、多层次地剔除影响故障检测准确度与稳定性的各类影响因素，造成工业设备故障检测的准确度低、适应性窄。
因此，现有工业设备故障检测方法的检测准确度低且适应性窄是一种亟待解决的问题。
发明内容
本申请的主要目的在于提供一种工业设备故障检测方法、装置及设备及存储介质，旨在解决现有工业设备故障检测方法的检测准确度低且适应性窄的技术问题。
第一方面，为实现上述目的，本申请提供一种工业设备故障检测方法，所述工业设备故障检测方法包括：
获取工业设备的检测图像；
将所述检测图像输入预设的视觉检测模型获得待识别目标的视觉信息特征向量；
根据所述视觉信息特征向量和预设的多模态知识图谱获得推理结果；
根据所述推理结果生成故障文本。
可选地，所述根据所述视觉信息特征向量和预设的多模态知识图谱获得推理结果的步骤包括：
将所述视觉信息特征向量进行关键词提取获得特征文本向量；
将置信度高于预设阈值的所述特征文本向量进行由高至低排序获得文本向量集合；
根据所述文本向量集合和预设的多模态知识图谱获得所述推理结果。
可选地，所述根据所述文本向量集合和预设的多模态知识图谱获得所述推理结果的步骤包括：
将所述文本向量集合中的文本向量依次与预设的多模态知识图谱中的实体、属性、关系进行余弦相似度匹配，获得每个文本向量对应的相似度最高的故障向量；
根据所述故障向量和语义匹配模板得到故障三元组集；
对所述故障三元组集采用路径问句和多跳问句的按图搜骥策略推理生成所述推理结果。
可选地，所述根据所述推理结果生成故障文本的步骤包括：
将所述推理结果输入文本生成模型生成故障文本。
可选地，所述获取工业设备的检测图像的步骤之前包括：
采集工业设备的样本图像，将所述样本图像分为训练集和验证集；
对所述训练集中的样本图像进行数据增强获得增强图像数据；
通过所述增强图像数据对网络模型进行训练，且通过所述验证集对训练结果进行验证，获得预设的视觉检测模型。
可选地，所述对所述训练集中的样本图像进行数据增强获得增强图像数据的步骤包括：
对所述训练集中的样本图像中的工业设备进行标注，获得工业设备的标注框；
将所述样本图像与所述标注框均通过增大公式进行图像增大，获得增大图像；
对所述增大图像进行降噪、锐化以及提亮处理，以获得所述增强图像数据。
可选地，所述通过所述增强图像数据对网络模型进行训练，且通过所述验证集对训练结果进行验证，获得预设的视觉检测模型的步骤包括：
设置训练过程的初始化权重和参数；
将所述增强图像数据输入网络模型进行模型训练，使用随机梯度下降法对网络模型中的每组参数进行更新和优化，且每经过一轮模型训练，将验证集输入到训练好的网络模型中计算网络模型的mAP值，并更新当前最佳mAP值的权重；
训练完预设轮数后，选取最佳mAP值的权重对应的网络模型作为预设的视觉检测模型。
第二方面，本申请还提供一种工业设备故障检测装置，所述工业设备故障检测装置包括：
获取模块，所述获取模块用于获取工业设备的检测图像；
第一获得模块，所述第一获得模块用于将所述检测图像输入预设的视觉检测模型获得待识别目标的视觉信息特征向量；
第二获得模块，用于根据所述视觉信息特征向量和预设的多模态知识图谱获得推理结果；
生成模块，用于根据所述推理结果生成故障文本。
第三方面，本申请还提供一种工业设备故障检测设备，包括处理器、存储器、以及存储在所述存储器上的可被所述处理器执行的工业设备故障检测程序，其中，所述工业设备故障检测程序被所述处理器执行时，实现如上所述的工业设备故障检测方法的步骤。
第四方面，本申请还提供一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有工业设备故障检测程序，其中，所述工业设备故障检测程序被处理器执行时，实现如上所述的工业设备故障检测方法的步骤。
本申请技术方案中，获取工业设备的检测图像；将检测图像输入预设的视觉检测模型获得待识别目标的视觉信息特征向量；根据所述视觉信息特征向量和预设的多模态知识图谱获得推理结果；根据所述推理结果生成故障文本。本申请提出的技术方案基于预设的视觉检测模型获得视觉信息特征向量，再将视觉信息特征向量与多模态知识图谱相映射获得推理结果，再对推理结果进行处理生成故障文本，本方案把视觉检测模型和多模态知识图谱结合起来，根据工业设备的检测图像生成可解释的故障文本，能够满足数据量较少的复杂场景中的工业设备的故障诊断需求，提高工业设备故障诊断的适应范围，且提高工业设备的故障诊断准确度。
附图说明
图1为本申请实施例方案中涉及的终端的硬件结构示意图；
图2为本申请工业设备故障检测方法第一实施例的流程示意图；
图3为为本申请根据所述视觉信息特征向量和预设的多模态知识图谱获得故障三元组集的步骤的流程细化示意图；
图4为本申请根据所述文本向量集合和预设的多模态知识图谱获得所述推理结果的步骤的流程细化示意图；
图5为本申请工业设备故障检测方法第二实施例的流程示意图；
图6为本申请于多模态知识图谱的工业设备故障检测方法第三实施例的流程示意图；
图7为本申请对所述训练集中的样本图像进行数据增强获得增强图像数据的步骤的流程细化示意图；
图8为本申请通过所述增强图像数据对网络模型进行训练，且通过所述验证集对训练结果进行验证，获得预设的视觉检测模型的步骤的流程细化示意图；
图9为本申请改进后的视觉检测模型(HFaster)和原始的网络模型(Faster)检测精准度的对比图；
图10为本申请视觉检测模型的检测结果示意图；
图11为本申请工业设备故障检测装置的示意图。
本申请目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
本申请实施例涉及的工业设备故障检测方法主要应用于终端，该终端可以是PC、便携计算机、移动终端等具有显示和处理功能的设备。
参照图1，图1为本申请实施例方案中涉及的终端结构示意图。本申请实施例终端为工业设备故障检测设备；本申请实施例中，终端可以包括处理器1001(例如CPU)，通信总线1002，用户接口1003，网络接口1004，存储器1005。其中，通信总线1002用于实现这些组件之间的连接通信；用户接口1003可以包括显示屏(Display)、输入单元比如键盘(Keyboard)；网络接口1004可选的可以包括标准的有线接口、无线接口(如WI-FI接口)；存储器1005可以是高速RAM存储器，也可以是稳定的存储器(non-volatile memory)，例如磁盘存储器，存储器1005可选的还可以是独立于前述处理器1001的存储装置。
本领域技术人员可以理解，图1中示出的硬件结构并不构成对设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
继续参照图1，图1中作为一种计算机可读存储介质的存储器1005可以包括操作***、网络通信模块以及工业设备故障检测程序。
在图1中，网络通信模块主要用于连接服务器，与服务器进行数据通信；而处理器1001可以调用存储器1005中存储的工业设备故障检测程序，并执行以下操作：
获取工业设备的检测图像；
将所述检测图像输入预设的视觉检测模型获得待识别目标的视觉信息特征向量；
根据所述视觉信息特征向量和预设的多模态知识图谱获得推理结果；
根据所述推理结果生成故障文本。
进一步地，处理器1001可以调用存储器1005中存储的工业设备故障检测程序，并执行以下操作：
将所述视觉信息特征向量进行关键词提取获得特征文本向量；
将置信度高于预设阈值的所述特征文本向量进行由高至低排序获得文本向量集合；
根据所述文本向量集合和预设的多模态知识图谱获得所述推理结果。
进一步地，处理器1001可以调用存储器1005中存储的工业设备故障检测程序，并执行以下操作：
将所述文本向量集合中的文本向量依次与预设的多模态知识图谱中的实体、属性、关系进行余弦相似度匹配，获得每个文本向量对应的相似度最高的故障向量；
根据所述故障向量和语义匹配模板得到故障三元组集；
对所述故障三元组集采用路径问句和多跳问句的按图搜骥策略推理生成所述推理结果。
进一步地，处理器1001可以调用存储器1005中存储的工业设备故障检测程序，并执行以下操作：
将所述推理结果输入文本生成模型生成故障文本。
进一步地，处理器1001可以调用存储器1005中存储的工业设备故障检测程序，并执行以下操作：
采集工业设备的样本图像，将所述样本图像分为训练集和验证集；
对所述训练集中的样本图像进行数据增强获得增强图像数据；
通过所述增强图像数据对网络模型进行训练，且通过所述验证集对训练结果进行验证，获得预设的视觉检测模型。
进一步地，处理器1001可以调用存储器1005中存储的工业设备故障检测程序，并执行以下操作：
对所述训练集中的样本图像中的工业设备进行标注，获得工业设备的标注框；
将所述样本图像与所述标注框均通过增大公式进行图像增大，获得增大图像；
对所述增大图像进行降噪、锐化以及提亮处理，以获得所述增强图像数据。
进一步地，处理器1001可以调用存储器1005中存储的工业设备故障检测程序，并执行以下操作：
设置训练过程的初始化权重和参数；
将所述增强图像数据输入网络模型进行模型训练，使用随机梯度下降法对网络模型中的每组参数进行更新和优化，且每经过一轮模型训练，将验证集输入到训练好的网络模型中计算网络模型的mAP值，并更新当前最佳mAP值的权重；
训练完预设轮数后，选取最佳mAP值的权重对应的网络模型作为预设的视觉检测模型。
基于上述终端的硬件结构，提出本申请工业设备故障检测方法的各个实施例。
本申请提供一种工业设备故障检测方法。
请参阅图2，在本申请第一实施例中，工业设备故障检测方法包括以下步骤：
S100，获取工业设备的检测图像；
具体的，在一种实施例中，工业设备的检测图像可以是通过数据采集设备实时拍摄的图像，终端在收到故障检测指令时，收集数据采集设备实时拍摄的工业设备的图像作为检测图像。在另一种实施例中，终端中可以设置有数据库，将数据采集设备拍摄的工业设备的图像存储在数据库中，当需要对工业设备进行故障检测时，终端可以根据用户输入的检测指令，在数据库中查找获取到对应的图像作为检测图像。其中，数据采集设备可以是摄像头、扫描仪、相机等带有拍摄功能的设备。
S200，将所述检测图像输入预设的视觉检测模型获得待识别目标的视觉信息特征向量；
具体地，在进行工业设备的故障检测之前，需要对视觉检测模型进行训练，将训练好的视觉检测模型作为预设的视觉检测模型。将工业设备的检测图像输入到预设的视觉检测模型，得到识别场景下的实体信息，再提取出实体信息中的文本向量作为待识别目标的视觉信息特征向量。
在一实施例中，工业设备可以是变电站设备，待识别目标可以包括主体目标与背景目标，主体目标包括变压器，背景目标包括呼吸器、散热器、绝缘子、电杆、黑色、缺失、黄色、标识等。可以通过对主体目标的识别来确定进行故障判断的主体设备，通过对背景目标的识别来获得主题设备产生故障的部件以及故障现象。例如，变压器中呼吸器出现渗漏油故障的数据量不充足，数据质量不高，但渗漏油的特点黑色这一特点在其他场景下或在其他数据集中很常见，所以可以利用预设的视觉检测模型对检测图像进行识别，主体目标的识别结果为变压器，背景目标的识别结果为呼吸器、黑色等。
S300，根据所述视觉信息特征向量和预设的多模态知识图谱获得推理结果；
具体地，随着互联网技术的不断普及，来自文本、图像、视频、音频等不同来源的信息共同刻画了相同或相关的内容，呈现出复杂的、多层次的语义关系，形成了多模态信息。在本实施例中，预设的多模态知识图谱中存储有实体、属性、关系等信息，在获得检测图像的待识别目标的视觉信息特征向量后，将这些向量与多模态知识图谱中的实体、属性、关系等信息进行映射匹配，获得推理结果。
S400，根据所述推理结果生成故障文本。
具体地，根据推理结果可以对应生成故障文本，以方便展示。
本申请技术方案中，获取工业设备的检测图像；将检测图像输入预设的视觉检测模型获得待识别目标的视觉信息特征向量；根据视觉信息特征向量和预设的多模态知识图谱获得推理结果；根据推理结果生成故障文本。本申请提出的技术方案基于预设的视觉检测模型获得视觉信息特征向量，再将视觉信息特征向量与多模态知识图谱相映射获得推理结果，再对推理结果进行处理生成故障文本，本方案把视觉检测模型和多模态知识图谱结合起来，根据工业设备的检测图像生成可解释的故障文本，能够满足数据量较少的复杂场景中的工业设备的故障诊断需求，提高工业设备故障诊断的适应范围，且提高工业设备的故障诊断准确度。
进一步地，请参照图3，图3为本申请另一实施例中根据所述视觉信息特征向量和预设的多模态知识图谱获得推理结果的步骤的流程细化示意图，S300包括：
S310，将所述视觉信息特征向量进行关键词提取获得特征文本向量；
具体地，在得到待识别目标的视觉信息特征向量后，由于识别场景的多样性和复杂性，视觉信息特征向量与知识图谱中的特征词并不能很好的进行匹配以确定他们之间存在的关联性，因此需要对视觉信息特征向量进行关键词提取，以便于将关键词与知识图谱中的特征词进行匹配。在一实施例中，利用预设的视觉检测模型对视觉信息特征向量进行关键词提取，获得特征文本向量。
S320，将置信度高于预设阈值的所述特征文本向量按照置信度进行由高至低排序获得文本向量集合；
具体地，视觉检测模型识别出的视觉信息特征向量是无序产生的，可以再对视觉信息特征向量进行关键词抓取得到特征文本向量后，将特征文本向量中置信度高于预设阈值的特征文本向量按照置信度由高至低进行排序，获得文本向量集合，即，文本向量集合包括多个文本向量，且这些文本向量按照置信度由高至低排序。其中，各特征文本向量的置信度可以参考现有技术获得。需要说明的是，由于待识别目标中的主体目标数据量小，得到的检测准确度并不高，因此，可以将预设阈值设置为30％。如此利用包括置信度高特征向量的文本向量集合能够提高运行速度以及准确度。
S330，根据所述文本向量集合和预设的多模态知识图谱获得所述推理结果。
将文本向量集合中的文本向量按照置信度由高至低依次放入预设的多模态知识图谱中，与预设的多模态知识图谱中的实体、属性、关系进行映射，获得推理结果。其中，在另一种实施例中，可以通过路径问句和多跳问句进行推理得到推理结果。
本实施例中，将无序的特征文本向量排序形成有序的文本向量集合，能够便于按顺序将文本向量输入多模态知识图谱中，提高特征文本向量与知识图谱中的信息进行映射的效率和准确度。
进一步地，请参照图4，本申请的又一种实施例中根据所述文本向量集合和预设的多模态知识图谱获得所述推理结果的步骤的流程细化示意图，S330包括：
S331，将所述文本向量集合中的文本向量依次与预设的多模态知识图谱中的实体、属性、关系进行余弦相似度匹配，获得每个文本向量对应的相似度最高的故障向量；
具体地，为了实现文本向量集合中的文本向量与多模态知识图谱的映射，可以将按照置信度由高至低的顺序将文本向量集合中的文本向量依次放入预设的多模态知识图谱中，与多模态知识图谱中的实体、属性、关系进行余弦相似度计算匹配，获得每个文本向量对应的相似度最高的故障向量。故障向量包括实体、关系、属性信息。其中，余弦相似度计算公式为：其中，Ai和Bi分别代表向量A和向量B的各分量。
S332，根据所述故障向量和语义匹配模板得到故障三元组集；
S333，对所述故障三元组集采用路径问句和多跳问句的按图搜骥策略推理生成所述推理结果。
在获得故障向量后，将故障向量通过语义匹配模板得到故障三元组集。可以通过实体+属性、实体+实体、属性+属性值等语义匹配模板对故障向量进行语义解析和验证，即，通过属性或关系预测，进行混合关系推理，对故障向量相关的属性和属性值做匹配。通过语义匹配模板可以使得获得的三元组集的准确度更高。
在一实施例中，语义匹配模板可以包括主体设备、二级设备、故障现象等的排序操作，因此，获得的故障三元组集中包含有主体设备、二级设备、以及故障现象等对应的文本向量。表I为知识图谱匹配表，从表I可以看出，当输入的文本向量是变压器时，对应匹配的节点属性是主体设备；当输入的文本向量是散热器时，对应匹配的节点属性是二级设备；当输入的文本向量是黑色时，对应匹配的节点属性是故障现象，当输入的文本向量是绝缘子时，对应匹配的节点属性是二级设备；当输入的文本向量是缺失时，对应匹配的节点属性是故障现象。
表1知识图谱匹配
进一步地，请参照图5，图5为本申请第二实施例的流程示意图，S400包括：
S410，将所述推理结果输入文本生成模型生成故障文本。
具体地，获得推理结果后，可以将推理结果输入到文本生成模型中，生成可解释性的故障文本。本实施例通过文本生成模型进行故障文本生成，有效的将视觉检测模型、多模态知识图谱、以及文本生成模型结合起来。通过多模态知识图谱实现视觉信息特征向量的现实关系之间的推理，通过文本生成模型将推理结果生成可解释性的故障诊断信息，利用多模态信息的丰富性和互补性，确保了利用文本生成模型生成最终的故障文本的稳定性。
其中，文本生成模型优选为BART文本生成模型，BART是一种采用序列到序列模型构建的降噪自编码器，适用于各种文本生成任务。它使用基于标准Transformer的神经机器翻译架构，经过噪声函数破坏文本，并学习序列到序列模型以重建原始文本，使得模型可以灵活处理原始输入文本，并学习高效地重建文本。
以下以变电站设备的故障检测为例，对本方案的工业设备故障检测方法进行详细阐述，对变电站设备的检测图像进行视觉识别获得视觉信息特征向量，对视觉信息特征文本向量进行关键词抓取获得特征文本向量，将特征文本向量中置信度高于30％的数据取出，按照置信度由高至低进行排序获得文本向量集合，将文本向量集合中的文本向量按照置信度由高至低放入多模态知识图谱中进行映射，文本向量与多模态知识图谱中的节点名称文本进行语义匹配并根据得到的节点属性进行主体设备、二级设备、故障现象等的配对操作，由此推理获得有序的结构文本向量，这些结构文本向量构成故障三元组集，根据故障三元组集采用路径问句和多跳问句的按图搜骥策略推理生成所述推理结果，再利用BART文本生成模型将多模态知识图谱得到的三元组集进行文本结果生成，得到故障文本。
表II为变电站设备的故障文本生成表，从表II可以看出，文本向量集合为“黑色(99％)、散热器(59％)、变压器(49％)”；通过语义匹配模板后进行主体设备、二级设备、故障现象等的排序结果为“变压器、散热器、黑色”，多模态知识图谱推理得到的三元组为“变压器、散热器、漏油”；故障文本为“变压器上的散热器漏油”。
表II变电站设备的故障文本生成表
进一步地，请参照图6，图6为本申请第三种实施例的流程示意图，S100之前包括：
S500，采集工业设备的样本图像，将所述样本图像分为训练集和验证集；
S600，对所述训练集中的样本图像进行数据增强获得增强图像数据；
S700，通过所述增强图像数据对网络模型进行训练，且通过所述验证集对训练结果进行验证，获得预设的视觉检测模型。
具体地，在对工业设备的检测图像进行识别前，需要对基础的网络模型进行训练改进，本实施例中的待训练的基础的网络模型为Faster-RCNN模型，其损失函数为：其中，pi为检测框目标的概率，pi *为检测框非目标的概率，Lcls(pi,pi *)为对数损失，ti为预测偏移量，ti *为相对实际框坐标的实际偏移量。
其中，采集工业设备的样本图像，将样本图像分为训练集和验证集，工业设备的样本图像可以来源于用户采集，也可以来源于存储的公共数据集。基础的网络模型中包括特征提取模块、RPN(图像区域提取)模块、RoI Pooling(感兴趣区域池化)模块以及RCNN(深度学习)模块，在本实施例中，可以在基础的网络模型中增加数据增强模块，数据增强模块对训练集中的样本图像进行数据增强获得增强图像数据，再通过增强图像数据对网络模型进行训练，且通过所述验证集对训练结果进行验证，获得预设的视觉检测模型。需要说明的是，这个预设的视觉检测模型就是对基础的网络模型进行改进后得到的改进后的视觉检测模型。在将训练集中的样本图像输入到主体网络模型进行训练之前，对样本图像进行图像增强处理，可以提高样本图像的数据质量，从而提高改进后的视觉检测模型对小物体的识别能力。
进一步地，请参照图7，图7为本申请实施例中对所述训练集中的样本图像进行数据增强获得增强图像数据的步骤的流程细化示意图，S600包括：
S610，对所述训练集中的样本图像中的工业设备进行标注，获得工业设备的标注框；
S620，将所述样本图像与所述标注框均通过增大公式进行图像增大，获得增大图像；
S630，对所述增大图像进行降噪、锐化以及提亮获得增强图像数据。
在一种实施例中，可以利用PEFT(参数高效微调)思想对样本图像进行数据增强，具体地，在进行模型训练之前，会对样本图像中的工业设备进行预先标注，获得工业设备的标注框，将样本图像和标注框根据增大公式进行图像增大，获得增大图像，再对增大图像进行降噪、锐化以及提亮，获得增强图像数据。其中，所述增大公式为：BW表示样本图像或者标注框，BH表示增大后的样本图像或者标注框的长边度，Bw表示增大后的样本图像或者标注框的宽边度，Bh表示样本图像或者标注框的长边度，H表示图像增大后的高度值，h表示图像未进行增大时的高度值，H/h表示预设的倍数超参数。
具体地，将样本图像按照同patch(图像块)内的最短边长与预设值的比值进行对应比例缩放，如果根据比例放大后，放大的长边不足以与同patch内图像的最长边相对应，则使用数字0进行填充，这样在将图像输入特征提取模块进行卷积提取特征图的操作时，放大的这部分数据不会影响最终生成的特征图。此外，样本图像放大过程中为了避免发生预先标注的标注框与放大后的图像不匹配的情况，可以对预先标注的标注框进行同等比例的缩放，以保证待识别目标不会越出标注框的范围，不造成训练目标的丢失。通过对样本图像和标注框进行同等比例的放大，且对放大后的图像进行降噪、锐化以及提亮操作，可以使得待识别目标的占比范围更大，清晰度更高，从而使得获取得到的特征更加明显，提高工业设备的故障检测的准确度。
进一步的，请参照图8，图8为本申请实施例中通过所述增强图像数据对网络模型进行训练，且通过所述验证集对训练结果进行验证，获得预设的视觉检测模型的步骤的流程细化示意图，S700包括：
S710，设置训练过程的初始化权重和参数；
S720，将所述图像增强数据输入网络模型进行模型训练，使用随机梯度下降法对网络模型中的每组参数进行更新和优化，且每经过一轮模型训练，将验证集输入到训练好的网络模型中计算网络模型的mAP值，并更新当前最佳mAP值的权重；
S730，训练完预设轮数后，选取最佳mAP值的权重对应的网络模型作为预设的视觉检测模型。
预先在基础的网络模型中设置初始化权重和参数，将训练集中的图像增强数据输入到基础的网络模型进行模型训练，使用随机梯度下降法(SGD)对网络模型中的每组参数进行更新和优化，随机梯度下降法是一种梯度的优化算法,用于更新深度神经网络的参数，它是在每一次迭代中,随机选择一个小批量的样本来计算损失函数的梯度，并用梯度来更新参数；每经过一轮模型训练，将验证集输入到训练的网络模型中计算网络模型的mAP值，计算出来的mAP是最佳的mAP值时，将最佳mAP值对应的权重进行存储更新；在训练完预设轮数后，将最佳mAP值的权重对应的网络模型作为预设的视觉检测模型。通过对基础的网络模型进行训练后得到预设的视觉检测模型，能够提高视觉检测模型的检测识别准确度。
如图9所示，图9为改进后的视觉检测模型(HFaster)和原始的网络模型(Faster)检测精准度的对比图，从图9中可以看出改进后的视觉检测模型对各类别的目标识别精准度平均上升了1.2个百分点。如图10所示，图10是改进的视觉检测模型对应的检测结果示意图。在使用了改进后的视觉检测模型检测后，本申请的检测结果得到了更多的检测框结果，体现了改进后的视觉检测模型对于小目标的识别率和准确率对比原始的网络模型明显增强。
为了易于理解本申请实施例提供的技术方案，以完整的工业设备故障检测过程对本申请实施例提供的工业设备故障检测方法进行简要说明：
采集工业设备的样本图像，将所述样本图像分为训练集和验证集；
对所述训练集中的样本图像中的工业设备进行标注，获得工业设备的标注框；
将所述样本图像与所述标注框均通过增大公式进行图像增大，获得增大图像；
对所述增大图像进行降噪、锐化以及提亮获得增强图像数据；
设置训练过程的初始化权重和参数；
将增强图像数据输入网络模型进行模型训练，使用随机梯度下降法对网络模型中的每组参数进行更新和优化，且每经过一轮模型训练，将验证集输入到训练好的网络模型中计算网络模型的mAP值，并更新当前最佳mAP值的权重；
训练完预设轮数后，选取最佳mAP值的权重对应的网络模型作为预设的视觉检测模型；
获取工业设备的检测图像；
将所述检测图像输入预设的视觉检测模型获得待识别目标的视觉信息特征向量；
将所述视觉信息特征向量进行关键词提取获得特征文本向量；
将置信度高于预设阈值的所述特征文本向量进行由高至低排序获得文本向量集合；
将所述文本向量集合中的文本向量依次与预设的多模态知识图谱中的实体、属性、关系进行余弦相似度匹配，获得每个文本向量对应的相似度最高的故障向量；
将所述故障向量通过语义匹配模板推理得到故障三元组集；
根据余弦相似度匹配后得到的实体文本向量对应的多模态知识图谱中的实体与属性值，利用知识图谱中主体设备的实体(变压器)，二级设备的实体(散热器)，故障现象的属性值(黑色)，得到故障三元组集，利用语义匹配模板并采用路径问句和多跳问句的按图索骥策略推理确定二级设备(散热器)的属性值(黑色)时对应的故障实体(漏油)。对所述故障三元组集采用路径问句和多跳问句的按图搜骥策略推理生成所述推理结果。具体地，以变电站设备的故障检测为例进行详细阐述，表III为变电站设备的故障文本生成表，将第一预设阈值设置为30％；对通过改进后的视觉检测模型识别出来的视觉特征向量进行关键词抓取获得特征文本向量，将特征文本向量中置信度低于30％的结果舍去，再对置信度高于30％的特征文本向量进行由高至低排序获得文本向量集合，文本向量集合为“黑色(99％)、缺失(86％)、绝缘子(67％)、散热器(59％)、变压器(49％)；将文本向量集合中的文本向量由高至低依次放入多模态知识图谱中，与多模态知识图谱中的实体、属性、关系等信息进行向量余弦相似度计算，将计算得到的结果通过语义匹配模板并采用路径问句和多跳问句的按图索骥策略得到推理结果，推理结果为“变压器、散热器、漏油”，“变压器、绝缘子、破损”，即，故障三元组集中的后标为1的第一组三元组为“变压器、散热器、漏油”，后标为2的第二组三元组为“变压器、散热器、破损”；再利用BART模型对推理结果进行最终的文本生成，得到可解释性的故障文本，故障文本为“变压器上的散热器漏油、变压器上的绝缘子有破损现象”。将得到的可解释性的故障文本与正确的故障文本利用欧式距离公式进行文本相似度计算，本方案的故障检测的准确度可以达到98％。欧式距离公式为：其中x1、x2、y1、y2为向量点的坐标值。
表III变电站设备的故障文本准确率表
此外，请参照图11，本申请还提供一种工业设备故障检测装置10，所述工业设备故障检测装置10包括：
获取模块20，用于获取工业设备的检测图像；
第一获得模块30，用于将所述检测图像输入预设的视觉检测模型获得待识别目标的视觉信息特征向量；
第二获得模块40，用于根据所述视觉信息特征向量和预设的多模态知识图谱获得推理结果；
生成模块50，用于根据所述推理结果生成故障文本。
进一步地，所述第二获得模块40还用于：将所述视觉信息特征向量进行关键词提取获得特征文本向量；将置信度高于预设阈值的所述特征文本向量进行由高至低排序获得文本向量集合；根据所述文本向量集合和预设的多模态知识图谱获得所述推理结果。
进一步地，所述第二获得模块40还用于：将所述文本向量集合中的文本向量依次与预设的多模态知识图谱中的实体、属性、关系进行余弦相似度匹配，获得每个文本向量对应的相似度最高的故障向量；根据所述故障向量和语义匹配模板得到故障三元组集；对所述故障三元组集采用路径问句和多跳问句的按图搜骥策略推理生成所述推理结果。
进一步地，所述生成模块50还用于：将所述故障三元组集输入文本生成模型生成故障文本。
进一步地，所述工业设备故障检测装置10包括：
采集模块(图未示)，用于采集工业设备的样本图像，将所述样本图像分为训练集和验证集；
数据增强模块(图未示)，对所述训练集中的样本图像进行数据增强获得增强图像数据；
训练模块(图未示)，所述训练模块用于通过所述增强图像数据对网络模型进行训练，且通过所述验证集对训练结果进行验证，获得预设的视觉检测模型。
进一步地，所述数据增强模块还用于对所述训练集中的样本图像中的工业设备进行标注，获得工业设备的标注框；
将所述样本图像与所述标注框均通过增大公式进行图像增大，获得增大图像；
对所述增大图像进行降噪、锐化以及提亮获得增强图像数据。
进一步地，所述训练模块还用于：
设置训练过程的初始化权重和参数；
将所述增强图像数据输入网络模型进行模型训练，使用随机梯度下降法对网络模型中的每组参数进行更新和优化，且每经过一轮模型训练，将验证集输入到训练好的网络模型中计算网络模型的mAP值，并更新当前最佳mAP值的权重；
训练完预设轮数后，选取最佳mAP值的权重对应的网络模型作为预设的视觉检测模型。
其中，上述工业设备故障检测装置10中各个模块与上述工业设备故障检测方法实施例中各步骤相对应，其功能和实现过程在此处不再一一赘述。
此外，本申请还提供一种计算机可读存储介质。
本申请计算机可读存储介质上存储有工业设备故障检测程序，其中，工业设备故障检测程序被处理器执行时，实现如上述的工业设备故障检测方法的步骤。
其中，工业设备故障检测程序被执行时所实现的方法可参照本申请工业设备故障检测方法的各个实施例，此处不再赘述。
本领域内的技术人员应明白，本申请的实施例可提供为方法、***、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
应当注意的是，在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的部件或步骤。位于部件之前的单词“一”或“一个”不排除存在多个这样的部件。本申请可以借助于包括有若干不同部件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。
尽管已描述了本申请的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本申请范围的所有变更和修改。
以上所述仅为本申请的优选实施例，并非因此限制本申请的专利范围，凡是在本申请的发明构思下，利用本申请说明书及附图内容所作的等效结构变换，或直接/间接运用在其他相关的技术领域均包括在本申请的专利保护范围内。

Claims (10)

1.一种工业设备故障检测方法，其特征在于，所述工业设备故障检测方法包括：
获取工业设备的检测图像；
将所述检测图像输入预设的视觉检测模型获得待识别目标的视觉信息特征向量；
根据所述视觉信息特征向量和预设的多模态知识图谱获得推理结果；
根据所述推理结果生成故障文本。
2.根据权利要求1所述的工业设备故障检测方法，其特征在于，所述根据所述视觉信息特征向量和预设的多模态知识图谱获得推理结果的步骤包括：
将所述视觉信息特征向量进行关键词提取获得特征文本向量；
将置信度高于预设阈值的所述特征文本向量进行由高至低排序获得文本向量集合；
根据所述文本向量集合和预设的多模态知识图谱获得所述推理结果。
3.根据权利要求2所述的工业设备故障检测方法，其特征在于，所述根据所述文本向量集合和预设的多模态知识图谱获得所述推理结果的步骤包括：
将所述文本向量集合中的文本向量依次与预设的多模态知识图谱中的实体、属性、关系进行余弦相似度匹配，获得每个文本向量对应的相似度最高的故障向量；
根据所述故障向量和语义匹配模板得到故障三元组集；
对所述故障三元组集采用路径问句和多跳问句的按图搜骥策略推理生成所述推理结果。
对所述故障三元组集采用路径问句和多跳问句，即涉及一个实体和多个关系时，从一级实体出发，通过首层关系找到二级实体，再通过故障属性值找到故障实体作为结果。其中实现以按图索骥策略从得到的首层实体出发，遍历图谱推理生成结果。
4.根据权利要求3所述的工业设备故障检测方法，其特征在于，所述根据所述推理结果生成故障文本的步骤包括：
将所述推理结果输入文本生成模型生成故障文本。
5.如权利要求1至4中任一项所述的工业设备故障检测方法，其特征在于，所述获取工业设备的检测图像的步骤之前包括：
采集工业设备的样本图像，将所述样本图像分为训练集和验证集；
对所述训练集中的样本图像进行数据增强获得增强图像数据；
通过所述增强图像数据对网络模型进行训练，且通过所述验证集对训练结果进行验证，获得预设的视觉检测模型。
6.如权利要求5所述的工业设备故障检测方法，其特征在于，所述对所述训练集中的样本图像进行数据增强获得增强图像数据的步骤包括：
对所述训练集中的样本图像中的工业设备进行标注，获得工业设备的标注框；
将所述样本图像与所述标注框均通过增大公式进行图像增大，获得增大图像；
对所述增大图像进行降噪、锐化以及提亮处理，以获得所述增强图像数据。
7.如权利要求5所述的工业设备故障检测方法，其特征在于，所述通过所述增强图像数据对网络模型进行训练，且通过所述验证集对训练结果进行验证，获得预设的视觉检测模型的步骤包括：
设置训练过程的初始化权重和参数；
将所述增强图像数据输入网络模型进行模型训练，使用随机梯度下降法对网络模型中的每组参数进行更新和优化，且每经过一轮模型训练，将验证集输入到训练好的网络模型中计算网络模型的mAP值，并更新当前最佳mAP值的权重；
训练完预设轮数后，选取最佳mAP值的权重对应的网络模型作为预设的视觉检测模型。
8.一种工业设备故障检测装置，其特征在于，所述工业设备故障检测装置包括：
获取模块，用于获取工业设备的检测图像；
第一获得模块，用于将所述检测图像输入预设的视觉检测模型获得待识别目标的视觉信息特征向量；
第二获得模块，用于根据所述视觉信息特征向量和预设的多模态知识图谱获得推理结果；
生成模块，用于根据所述推理结果生成故障文本。
9.一种工业设备故障检测设备，其特征在于，包括处理器、存储器、以及存储在所述存储器上的可被所述处理器执行的工业设备故障检测程序，其中，所述工业设备故障检测程序被所述处理器执行时，实现如权利要求1至7中任一项所述的工业设备故障检测方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有工业设备故障检测程序，其中，所述工业设备故障检测程序被处理器执行时，实现如权利要求1至7中任一项所述的工业设备故障检测方法的步骤。
CN202310721247.1A 2023-06-16 2023-06-16 工业设备故障检测方法、装置、设备以及存储介质 Pending CN116630749A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310721247.1A CN116630749A (zh) 2023-06-16 2023-06-16 工业设备故障检测方法、装置、设备以及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310721247.1A CN116630749A (zh) 2023-06-16 2023-06-16 工业设备故障检测方法、装置、设备以及存储介质

Publications (1)

Publication Number Publication Date
CN116630749A true CN116630749A (zh) 2023-08-22

Family

ID=87609900

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310721247.1A Pending CN116630749A (zh) 2023-06-16 2023-06-16 工业设备故障检测方法、装置、设备以及存储介质

Country Status (1)

Country Link
CN (1) CN116630749A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117556920A (zh) * 2023-10-23 2024-02-13 星环信息科技(上海)股份有限公司 一种大模型幻觉治理方法、装置、设备及存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117556920A (zh) * 2023-10-23 2024-02-13 星环信息科技(上海)股份有限公司 一种大模型幻觉治理方法、装置、设备及存储介质
CN117556920B (zh) * 2023-10-23 2024-05-31 星环信息科技(上海)股份有限公司 一种大模型幻觉治理方法、装置、设备及存储介质

Similar Documents

Publication Publication Date Title
CN110610166B (zh) 文本区域检测模型训练方法、装置、电子设备和存储介质
CN112348117B (zh) 场景识别方法、装置、计算机设备和存储介质
CN110717534B (zh) 一种基于网络监督的目标分类和定位方法
CN111198964B (zh) 图像检索方法及***
CN110795527B (zh) 候选实体排序方法、训练方法及相关装置
CN109635135A (zh) 图像索引生成方法、装置、终端及存储介质
CN114241505B (zh) 化学结构图像的提取方法、装置、存储介质及电子设备
CN116630749A (zh) 工业设备故障检测方法、装置、设备以及存储介质
CN113127667A (zh) 图像处理方法及装置、图像分类方法及装置
CN111582358A (zh) 户型识别模型的训练方法及装置、户型判重的方法及装置
CN114882267A (zh) 一种基于相关区域的小样本图像分类方法及***
CN110852263B (zh) 一种基于人工智能的手机拍照识别垃圾分类方法
CN114445691A (zh) 模型训练方法、装置、电子设备及存储介质
CN112200862B (zh) 目标检测模型的训练方法、目标检测方法及装置
CN114328942A (zh) 关系抽取方法、装置、设备、存储介质和计算机程序产品
CN107193979B (zh) 一种同源图片检索的方法
CN111191065B (zh) 一种同源图像确定方法及装置
CN111126617B (zh) 一种选择融合模型权重参数的方法、装置及设备
CN111967383A (zh) 年龄估计方法、年龄估计模型的训练方法和装置
CN111428612A (zh) 行人重识别方法、终端、装置及存储介质
CN116363469A (zh) 一种少样本红外目标检测方法、装置和***
CN110929644A (zh) 基于启发式算法的多模型融合人脸识别方法、装置、计算机***与可读介质
CN113282781B (zh) 图像检索方法及装置
CN112465002B (zh) 一种火灾现场铜导线熔痕智能识别方法及装置
CN112015937B (zh) 一种图片地理定位方法及***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination