CN117593515B - 一种轨道车辆用螺栓松动检测***、方法及存储介质 - Google Patents

一种轨道车辆用螺栓松动检测***、方法及存储介质 Download PDF

Info

Publication number
CN117593515B
CN117593515B CN202410068789.8A CN202410068789A CN117593515B CN 117593515 B CN117593515 B CN 117593515B CN 202410068789 A CN202410068789 A CN 202410068789A CN 117593515 B CN117593515 B CN 117593515B
Authority
CN
China
Prior art keywords
bolt
image
mark line
bolts
representing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202410068789.8A
Other languages
English (en)
Other versions
CN117593515A (zh
Inventor
李鑫
蒋邦亮
计宇傲
陈晓彬
汪华靖
洪诚康
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhongshu Zhike Hangzhou Technology Co ltd
Original Assignee
Zhongshu Zhike Hangzhou Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhongshu Zhike Hangzhou Technology Co ltd filed Critical Zhongshu Zhike Hangzhou Technology Co ltd
Priority to CN202410068789.8A priority Critical patent/CN117593515B/zh
Publication of CN117593515A publication Critical patent/CN117593515A/zh
Application granted granted Critical
Publication of CN117593515B publication Critical patent/CN117593515B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/20—Administration of product repair or maintenance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Business, Economics & Management (AREA)
  • Human Resources & Organizations (AREA)
  • Medical Informatics (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Economics (AREA)
  • Databases & Information Systems (AREA)
  • Marketing (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Strategic Management (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及铁路轨道检测技术领域，且公开了一种轨道车辆用螺栓松动检测***、方法及存储介质，包括图像采集模块、模版匹配模块、图像处理模块、数据提取模块、轮廓检测模块、松动分析模块，以及输出交互模块，图像采集模块通过标记单元和采集单元制作模板图，模版匹配模块对获取的图像与所述模版图进行模版匹配操作，裁剪出包含螺栓和标记线的图像，图像处理模块得到尺寸大小、通道数和进行图像预处理后的图像相等的只包含标记线的图像，数据提取模块提取图像的特征数据，轮廓检测模块计算标记线轮廓指数，松动分析模块判断螺栓是否松动，输出交互模块用于将松动分析模块检测出的松动螺栓图像输出至人机交互端。

Description

一种轨道车辆用螺栓松动检测***、方法及存储介质
技术领域
本发明涉及铁路轨道检测技术领域，更具体地涉及一种轨道车辆用螺栓松动检测***、方法及存储介质。
背景技术
螺栓在轨道交通工具如动车组、城轨和地铁等中扮演着重要的角色，它们用于紧固各种部件，然而，在运行过程中，由于受到腐蚀、振动、冲击等多种因素的作用，螺栓容易出现问题，包括变形、松动、断裂甚至脱落，这些问题可能导致设备故障，因此，在轨道交通行业对列车的安检中一个重要的流程就是进行螺栓松动的检测。
通常情况下，在列车中每个车厢上都有数百甚至更多的螺栓，而每天会有多列列车需要维护，因此，对螺栓松动进行检测是一项非常繁重的任务。传统螺栓松动检测方法为人工巡检法，主要有两种方法：一种方法为定期拧紧法，工作人员会定期使用扳手拧紧螺栓，无论它们是否已经松动，以确保所有螺栓都保持紧固状态；另一种方法为标记法，在第一次拧紧后，工作人员会在螺栓和螺母上分别标记拧紧的状态，通常使用线条进行标记，在后续的检查中，他们只需查看螺栓和螺母上的标记线是否对齐，进而判断螺栓是否松动，但是定期拧紧法需要工作人员花费大量时间和精力，工作量巨大，效率低下，缺乏针对性，标记法虽然减少了不必要的拧紧工作，但它容易使工作人员产生视觉疲劳，特别是当需要检查大量种类多样、大小不一螺栓时人员容易疲劳，细微的问题在光照不足和疲劳的情况下难以发现，可能会带来潜在的安全隐患。
发明内容
为了克服现有技术的上述缺陷，本发明提供了一种轨道车辆用螺栓松动检测***、方法及存储介质，以解决上述背景技术中存在的问题。
本发明提供如下技术方案：一种轨道车辆用螺栓松动检测***，包括图像采集模块、模版匹配模块、图像处理模块、数据提取模块、轮廓检测模块、松动分析模块，以及输出交互模块；
所述图像采集模块，包括标记单元和采集单元，标记单元在螺栓上画出螺栓松动标记线，采集单元通过图像采集设备采集车辆应检部位所有图像，标出所有待检螺栓，制作模板图；
所述模版匹配模块，利用相机和光源设备获取含有螺栓和标记线的图像，对获取的图像与所述模版图进行模版匹配操作，裁剪出包含螺栓和标记线的图像；
所述图像处理模块，包括图像预处理单元和图像语义分割单元，图像预处理单元对包含螺栓和标记线的图像进行图像预处理，图像语义分割单元对进行图像预处理后的图像进行螺栓标记线语义分割，得到尺寸大小、通道数和进行图像预处理后的图像相等的只包含标记线的图像；
所述数据提取模块，提取图像处理模块中经过螺栓标记线语义分割后得到的只包含标记线的图像的特征数据，包括螺栓偏移参数、螺栓松动参数和螺栓形变参数；
所述轮廓检测模块，用于接收数据提取模块中提取的只包含标记线的图像的特征数据，计算标记线轮廓指数，并将计算得出的标记线轮廓指数传输至松动分析模块中；
所述松动分析模块，接收轮廓检测模块计算得出的标记线轮廓指数，依据标记线轮廓指数与预设的阈值进行对比，并且统计标记线轮廓指数小于预设阈值的标记线轮廓数量，判断螺栓是否松动；
所述输出交互模块，用于将松动分析模块检测出的松动螺栓图像输出至人机交互端。
优选的，所述模版匹配模块中模版匹配操作采用归一化互相关法，通过建立坐标系计算模板与图像中各个位置的互相关系数来确定匹配度，计算公式为：，其中/>表示模板与图像中各个位置的互相关系数，表示模板与图像中各个位置坐标的协方差，/>表示模版中各个位置坐标的方差，/>表示图像中各个位置坐标的方差，最大互相关系数对应的位置即为匹配位置。
优选的，所述图像处理模块中图像预处理操作包含将所述包含螺栓和标记线的图像按比例调整为80*80像素大小，对螺栓标记线语义分割需要制作语义分割数据集并搭建语义分割网络进而训练出螺栓标记线语义分割模型，具体过程如下：螺栓标记线语义分割数据集制作：在不同的光照条件下，以多种拍摄角度采集列车上所有形状、多种规格且存在标记线的螺栓图像，用Labelme软件，以标记线为前景，其余为背景制作语义分割数据集，通过语义分割数据集训练语义分割网络，得到标记线语义分割模型。
优选的，所述数据提取模块中螺栓偏移参数包括螺栓的偏移量、螺栓直径和螺栓预紧力，螺栓松动参数包括螺栓当前长度、螺栓初始长度和螺栓的弹性恢复力，螺栓形变参数包括螺栓的最大承载力、螺栓的螺栓刚度和螺栓的横截面面积。
优选的，所述轮廓检测模块中标记线轮廓指数的计算包括以下步骤：
步骤S01：将各个螺栓的标记线图像依次标记为1、2、3……n，并依次进行标记线轮廓指数的计算，使用张力测量仪器，直接施加力量到螺栓上，测量施加力量的大小，确定螺栓预紧力、螺栓的弹性恢复力以及螺栓刚度；
步骤S02：基于螺栓偏移参数计算各个螺栓的螺栓偏移系数，计算公式为：，其中/>表示各个螺栓的螺栓偏移系数，/>表示各个螺栓的偏移量，/>表示各个螺栓偏移量的误差值，/>表示各个螺栓的螺栓直径，/>表示各个螺栓的螺栓预紧力；
步骤S03：基于螺栓松动参数计算各个螺栓的螺栓松动系数，计算公式为：，其中/>表示各个螺栓的螺栓松动系数，/>表示各个螺栓的当前长度，表示各个螺栓的初始长度，/>表示螺栓的弹性恢复力；
步骤S04：基于螺栓形变参数计算各个螺栓的螺栓形变系数，计算公式为：，其中/>表示各个螺栓的螺栓形变系数，/>表示各个螺栓的最大承载力，/>表示各个螺栓的螺栓刚度，/>表示各个螺栓的横截面面积；
步骤S05：基于螺栓偏移系数、螺栓松动系数和螺栓形变系数计算各个螺栓标记线轮廓指数，计算公式为：，其中/>表示各个螺栓的标记线轮廓指数，/>表示各个螺栓的螺栓偏移系数，/>表示各个螺栓的螺栓松动系数，/>表示各个螺栓的螺栓形变系数，/>、/>和/>表示各系数对应权重。
优选的，所述松动分析模块中将标记线轮廓指数与预设的阈值进行对比，并且统计标记线轮廓指数小于预设阈值的标记线轮廓数量N，如果N小于2，则说明只有一条标记线或没有检到标记线，判定螺栓没有松动，如果N大于或等于2，则依据中心线数M判定螺栓是否松动。
一种轨道车辆用螺栓松动检测方法，包括以下步骤：
步骤S11：通过标记单元和采集单元制作模板图：标记单元在螺栓上画出螺栓松动标记线，采集单元通过图像采集设备采集车辆应检部位所有图像，标出所有待检螺栓；
步骤S12：将获取的图像与模版图进行模版匹配：利用相机和光源设备获取含有螺栓和标记线的图像，对获取的图像与所述模版图进行模版匹配操作，裁剪出包含螺栓和标记线的图像；
步骤S13：通过处理分割得到尺寸大小、通道数和进行图像预处理后的图像相等的只包含标记线的图像；
步骤S14：提取只包含标记线的图像的特征数据：提取经过螺栓标记线语义分割后得到的只包含标记线的图像的特征数据；
步骤S15：计算标记线轮廓指数：接收只包含标记线的图像的特征数据，计算标记线轮廓指数；
步骤S16：依据标记线轮廓指数判断螺栓是否松动；
步骤S17：将判断结果为松动螺栓的图像输出至人机交互端。
一种存储有计算机指令的非瞬时计算机可读存储介质，所述计算机指令使所述计算机执行上述任一项所述的一种轨道车辆用螺栓松动检测***。
本发明的技术效果和优点：本发明通过设有图像采集模块通过标记单元和采集单元制作模板图，模版匹配模块对获取的图像与所述模版图进行模版匹配操作，裁剪出包含螺栓和标记线的图像，图像处理模块得到尺寸大小、通道数和进行图像预处理后的图像相等的只包含标记线的图像，数据提取模块提取图像的特征数据，轮廓检测模块建立模型计算标记线轮廓指数，松动分析模块将标记线轮廓指数与预设的阈值进行对比，并且统计标记线轮廓指数小于预设阈值的标记线轮廓数量N，如果N小于2，则说明只有一条标记线或没有检到标记线，判定螺栓没有松动，如果N大于或等于2，则依据中心线数M判定螺栓是否松动，输出交互模块用于将松动分析模块检测出的松动螺栓图像输出至人机交互端，能够实时监测螺栓的状态，及时发现和报警螺栓的松动情况，提高检测的准确性，及时采取措施避免事故和故障的发生。
附图说明
图1为一种轨道车辆用螺栓松动检测***的流程图。
图2为一种轨道车辆用螺栓松动检测方法的流程图。
具体实施方式
下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，另外，在以下的实施方式中记载的各结构的形态只不过是例示，本发明所涉及的一种轨道车辆用螺栓松动检测***、方法及存储介质并不限定于在以下的实施方式中记载的各结构，在本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施方式都属于本发明保护的范围。
如图1所示，本发明提供了一种轨道车辆用螺栓松动检测***，包括图像采集模块、模版匹配模块、图像处理模块、数据提取模块、轮廓检测模块、松动分析模块，以及输出交互模块；
所述图像采集模块，包括标记单元和采集单元，标记单元在螺栓上画出螺栓松动标记线，采集单元通过图像采集设备采集车辆应检部位所有图像，标出所有待检螺栓，制作模板图；
所述模版匹配模块，利用相机和光源设备获取含有螺栓和标记线的图像，对获取的图像与所述模版图进行模版匹配操作，裁剪出包含螺栓和标记线的图像；
所述图像处理模块，包括图像预处理单元和图像语义分割单元，图像预处理单元对包含螺栓和标记线的图像进行图像预处理，图像语义分割单元对进行图像预处理后的图像进行螺栓标记线语义分割，得到尺寸大小、通道数和进行图像预处理后的图像相等的只包含标记线的图像；
所述数据提取模块，提取图像处理模块中经过螺栓标记线语义分割后得到的只包含标记线的图像的特征数据，包括螺栓偏移参数、螺栓松动参数和螺栓形变参数；
所述轮廓检测模块，用于接收数据提取模块中提取的只包含标记线的图像的特征数据，计算标记线轮廓指数，并将计算得出的标记线轮廓指数传输至松动分析模块中；
所述松动分析模块，接收轮廓检测模块计算得出的标记线轮廓指数，依据标记线轮廓指数与预设的阈值进行对比，并且统计标记线轮廓指数小于预设阈值的标记线轮廓数量，判断螺栓是否松动；
所述输出交互模块，用于将松动分析模块检测出的松动螺栓图像输出至人机交互端。
本实施例中，需要具体说明的是，所述模版匹配模块中模版匹配操作采用归一化互相关法，通过建立坐标系计算模板与图像中各个位置的互相关系数来确定匹配度，计算公式为：，其中/>表示模板与图像中各个位置的互相关系数，/>表示模板与图像中各个位置坐标的协方差，/>表示模版中各个位置坐标的方差，/>表示图像中各个位置坐标的方差，最大互相关系数对应的位置即为匹配位置。
本实施例中，需要具体说明的是，所述图像处理模块中图像预处理操作包含将所述包含螺栓和标记线的图像按比例调整为80*80像素大小，对螺栓标记线语义分割需要制作语义分割数据集并搭建语义分割网络进而训练出螺栓标记线语义分割模型，具体过程如下：螺栓标记线语义分割数据集制作：在不同的光照条件下，以多种拍摄角度采集列车上所有形状、多种规格且存在标记线的螺栓图像，用Labelme软件，以标记线为前景，其余为背景制作语义分割数据集，通过语义分割数据集训练语义分割网络，得到标记线语义分割模型。
本实施例中，需要具体说明的是，所述数据提取模块中螺栓偏移参数包括螺栓的偏移量、螺栓直径和螺栓预紧力，螺栓松动参数包括螺栓当前长度、螺栓初始长度和螺栓的弹性恢复力，螺栓形变参数包括螺栓的最大承载力、螺栓的螺栓刚度和螺栓的横截面面积。
本实施例中，需要具体说明的是，所述轮廓检测模块中标记线轮廓指数的计算包括以下步骤：
步骤S01：将各个螺栓的标记线图像依次标记为1、2、3……n，并依次进行标记线轮廓指数的计算，使用张力测量仪器，直接施加力量到螺栓上，测量施加力量的大小，确定螺栓预紧力、螺栓的弹性恢复力以及螺栓刚度；
步骤S02：基于螺栓偏移参数计算各个螺栓的螺栓偏移系数，计算公式为：，其中/>表示各个螺栓的螺栓偏移系数，/>表示各个螺栓的偏移量，/>表示各个螺栓偏移量的误差值，/>表示各个螺栓的螺栓直径，/>表示各个螺栓的螺栓预紧力；
步骤S03：基于螺栓松动参数计算各个螺栓的螺栓松动系数，计算公式为：，其中/>表示各个螺栓的螺栓松动系数，/>表示各个螺栓的当前长度，表示各个螺栓的初始长度，/>表示螺栓的弹性恢复力；
步骤S04：基于螺栓形变参数计算各个螺栓的螺栓形变系数，计算公式为：，其中/>表示各个螺栓的螺栓形变系数，/>表示各个螺栓的最大承载力，/>表示各个螺栓的螺栓刚度，/>表示各个螺栓的横截面面积；
步骤S05：基于螺栓偏移系数、螺栓松动系数和螺栓形变系数计算各个螺栓标记线轮廓指数，计算公式为：，其中/>表示各个螺栓的标记线轮廓指数，/>表示各个螺栓的螺栓偏移系数，/>表示各个螺栓的螺栓松动系数，/>表示各个螺栓的螺栓形变系数，/>、/>和/>表示各系数对应权重。
本实施例中，需要具体说明的是，所述松动分析模块中将标记线轮廓指数与预设的阈值进行对比，并且统计标记线轮廓指数小于预设阈值的标记线轮廓数量N，如果N小于2，则说明只有一条标记线或没有检到标记线，判定螺栓没有松动，如果N大于或等于2，则依据中心线数M判定螺栓是否松动；
采用“过筛法”判断螺栓是否松动，所述“过筛法”具体过程如下：
首先判断标记线轮廓数量N，如果N小于2，则可以说明只有一条标记线或没有检到标记线，当只有一条标记线的情况下，认为螺栓没有松动；当没有检测到标记线的情况下，为了减少误报，同样认为螺栓没有松动；
如果N等于2，则拟合两个标记线轮廓，分别记为K1和K2，计算出K1和K2的最小外接矩形，判断每个最小外接矩形的长宽比，如果所述长宽比大于长宽比阈值，则计算出平行于此最小外接矩形最长边且过其中心点的中心线，记录中心线数量M，在本实施例中，由于拍摄相机位置固定，且图像大小调整为80*80，经实验验证，长宽比阈值设为1.4，比较K1和K2的面积大小，其中面积大的轮廓记为Kmax，将面积小的轮廓按最小外接矩形的中心点平移至Kmax的最小外接矩形的中心点上，将平移后的轮廓设为K3，计算kmax与K3的IOU值，其中IOU的计算公式为：，式中，kmax为面积大的轮廓，K3为面积较小的轮廓按最小外接矩形的中心点平移至kmax的最小外接矩形的中心点上的轮廓；
判断中心线数M的值，若M小于2，判断IOU值是否大于IOU阈值，若IOU小于IOU阈值，则可以判定为螺栓松动，本实施例中，IOU阈值设定为0.8，若IOU的值大于阈值，则计算K1和K2的最短距离，所述最短距离为轮廓K1上的点与轮廓K2上的点的最短距离，进而判断所述最短距离是否小于最短距离阈值，本实施例中最短距离阈值设置为12像素长度，如果所述最短距离大于所述最短距离阈值，则判定为螺栓松动，否则，计算轮廓K1和轮廓K2的中心距离，判断所述中心距离是否小于中心距离阈值，在本实施例中中心距离阈值设为15像素长度，如果所述中心距离小于中心距离阈值，则判定螺栓不松动，否则判定为此螺栓松动；
若M等于2，则计算两条中心线的夹角，判断所述夹角是否小于角度阈值，在本实施例中角度阈值设为5度，若所述夹角大于所述角度阈值，则后续判断方法同M小于2的判断方法，若所述夹角小于所述角度阈值，则计算K1和K2的最短距离，所述最短距离为轮廓K1上的点距轮廓K2上的点的最短距离，进而判断所述最短距离是否小于最短距离阈值，如果所述最短距离大于所述最短距离阈值，则判定为螺栓松动，否则，计算轮廓K1和轮廓K2的中心距离，判断所述中心距离是否小于中心距离阈值，如果所述中心距离小于所述中心距离阈值，则判定螺栓不松动，否则判定为此螺栓松动；
需要说明的是，当M值不同时，所述中心距离的求解方法不同，若M等于0，中心距离等于轮廓K1和轮廓K2的最小外接矩形中线的欧氏距离；若M等于1，则中心距离等于长宽比小于阈值轮廓的最小外接矩形中心点到另一个轮廓中心线的欧式距离；若M等于2，则分别求出轮廓K1的最小外接矩形的中心点到轮廓K2的中心线的距离S1和轮廓K2的最小外接矩形的中心点到轮廓K1的中心线的欧氏距离S2，中心距离等于S1和S2中的最大值；
当标记线轮廓数量N大于2时，首先，计算出面积最大的前三个轮廓，并分别计算其最小外接矩形，记为r1、r2和r3，接着，计算出r1、r2和r3的中心点坐标，记为d1、d2和d3以及d1、d2和d3的平均值并记为d4，求出所述d1、d2和d3中与d4距离最小的坐标，其对应轮廓记为K4，其余两个轮廓分别记为K5和K6，然后，分别计算出轮廓K4与轮廓K5，轮廓K4与轮廓K6的中线点连线所在直线，记为lr1和lr2；计算轮廓K4与轮廓K5，轮廓K4与轮廓K6最短距离，记为S3和S4，进而，判断直线lr1和直线lr2的夹角是否小于角度阈值，如果所述夹角小于所述角度阈值，则计算S3和S4中的最大值，并判断所述S3和S4中的最大值是否小于所述最短距离阈值，如果是，则可以判定此螺栓不松动，如果不是，则可以判定此螺栓松动；如果所述夹角大于所述角度阈值，分别将轮廓K5和轮廓K6按其最小外接矩形的中心点平移至轮廓K4的最小外接矩形的中心点上，并计算平移后的轮廓与轮廓K4的IOU值，记为IOU1和IOU2，接着，判断IOU1和IOU2是否都大于IOU阈值，如果不是，则可以判定此螺栓松动，如果是则计算S3和S4中的最大值，并判断所述S3和S4中的最大值是否小于所述最短距离阈值，如果是，则可以判定此螺栓不松动，如果不是，则可以判定此螺栓松动。
如图2所示，一种轨道车辆用螺栓松动检测方法，包括以下步骤：
步骤S11：通过标记单元和采集单元制作模板图：标记单元在螺栓上画出螺栓松动标记线，采集单元通过图像采集设备采集车辆应检部位所有图像，标出所有待检螺栓；
步骤S12：将获取的图像与模版图进行模版匹配：利用相机和光源设备获取含有螺栓和标记线的图像，对获取的图像与所述模版图进行模版匹配操作，裁剪出包含螺栓和标记线的图像；
步骤S13：通过处理分割得到尺寸大小、通道数和进行图像预处理后的图像相等的只包含标记线的图像；
步骤S14：提取只包含标记线的图像的特征数据：提取经过螺栓标记线语义分割后得到的只包含标记线的图像的特征数据；
步骤S15：计算标记线轮廓指数：接收只包含标记线的图像的特征数据，计算标记线轮廓指数；
步骤S16：依据标记线轮廓指数判断螺栓是否松动；
步骤S17：将判断结果为松动螺栓的图像输出至人机交互端。
一种存储有计算机指令的非瞬时计算机可读存储介质，所述计算机指令使所述计算机执行上述任一项所述的一种轨道车辆用螺栓松动检测***。
本实施例中，需要具体说明的是，本实施与现有技术的区别主要在于本实施例具备图像采集模块通过标记单元和采集单元制作模板图，模版匹配模块对获取的图像与所述模版图进行模版匹配操作，裁剪出包含螺栓和标记线的图像，图像处理模块得到尺寸大小、通道数和进行图像预处理后的图像相等的只包含标记线的图像，数据提取模块提取图像的特征数据，轮廓检测模块建立模型计算标记线轮廓指数，松动分析模块将标记线轮廓指数与预设的阈值进行对比，并且统计标记线轮廓指数小于预设阈值的标记线轮廓数量N，如果N小于2，则说明只有一条标记线或没有检到标记线，判定螺栓没有松动，如果N大于或等于2，则依据中心线数M判定螺栓是否松动，输出交互模块用于将松动分析模块检测出的松动螺栓图像输出至人机交互端，能够实时监测螺栓的状态，及时发现和报警螺栓的松动情况，提高检测的准确性，及时采取措施避免事故和故障的发生。
最后：以上所述仅为本发明的优选实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。

Claims (7)

1.一种轨道车辆用螺栓松动检测***，其特征在于：包括图像采集模块、模版匹配模块、图像处理模块、数据提取模块、轮廓检测模块、松动分析模块，以及输出交互模块；
所述图像采集模块，包括标记单元和采集单元，标记单元在螺栓上画出螺栓松动标记线，采集单元通过图像采集设备采集车辆应检部位所有图像，标出所有待检螺栓，制作模板图；
所述模版匹配模块，利用相机和光源设备获取含有螺栓和标记线的图像，对获取的图像与所述模版图进行模版匹配操作，裁剪出包含螺栓和标记线的图像；
所述图像处理模块，包括图像预处理单元和图像语义分割单元，图像预处理单元对包含螺栓和标记线的图像进行图像预处理，图像语义分割单元对进行图像预处理后的图像进行螺栓标记线语义分割，得到尺寸大小、通道数和进行图像预处理后的图像相等的只包含标记线的图像；
所述数据提取模块，提取图像处理模块中经过螺栓标记线语义分割后得到的只包含标记线的图像的特征数据，包括螺栓偏移参数、螺栓松动参数和螺栓形变参数；
所述轮廓检测模块，用于接收数据提取模块中提取的只包含标记线的图像的特征数据，计算标记线轮廓指数，并将计算得出的标记线轮廓指数传输至松动分析模块中；
所述轮廓检测模块中标记线轮廓指数的计算包括以下步骤：
步骤S01：将各个螺栓的标记线图像依次标记为1、2、3……n，并依次进行标记线轮廓指数的计算，使用张力测量仪器，直接施加力量到螺栓上，测量施加力量的大小，确定螺栓预紧力、螺栓的弹性恢复力以及螺栓刚度；
步骤S02：基于螺栓偏移参数计算各个螺栓的螺栓偏移系数，计算公式为：，其中/>表示各个螺栓的螺栓偏移系数，/>表示各个螺栓的偏移量，/>表示各个螺栓偏移量的误差值，/>表示各个螺栓的螺栓直径，/>表示各个螺栓的螺栓预紧力；
步骤S03：基于螺栓松动参数计算各个螺栓的螺栓松动系数，计算公式为：，其中/>表示各个螺栓的螺栓松动系数，/>表示各个螺栓的当前长度，表示各个螺栓的初始长度，/>表示螺栓的弹性恢复力；
步骤S04：基于螺栓形变参数计算各个螺栓的螺栓形变系数，计算公式为：，其中/>表示各个螺栓的螺栓形变系数，/>表示各个螺栓的最大承载力，/>表示各个螺栓的螺栓刚度，/>表示各个螺栓的横截面面积；
步骤S05：基于螺栓偏移系数、螺栓松动系数和螺栓形变系数计算各个螺栓标记线轮廓指数，计算公式为：，其中/>表示各个螺栓的标记线轮廓指数，表示各个螺栓的螺栓偏移系数，/>表示各个螺栓的螺栓松动系数，/>表示各个螺栓的螺栓形变系数，/>、/>和/>表示各系数对应权重；
所述松动分析模块，接收轮廓检测模块计算得出的标记线轮廓指数，依据标记线轮廓指数与预设的阈值进行对比，并且统计标记线轮廓指数小于预设阈值的标记线轮廓数量，判断螺栓是否松动；
所述输出交互模块，用于将松动分析模块检测出的松动螺栓图像输出至人机交互端。
2.根据权利要求1所述的一种轨道车辆用螺栓松动检测***，其特征在于：所述模版匹配模块中模版匹配操作采用归一化互相关法，通过建立坐标系计算模板与图像中各个位置的互相关系数来确定匹配度，计算公式为：，其中/>表示模板与图像中各个位置的互相关系数，/>表示模板与图像中各个位置坐标的协方差，/>表示模版中各个位置坐标的方差，/>表示图像中各个位置坐标的方差，最大互相关系数对应的位置即为匹配位置。
3.根据权利要求1所述的一种轨道车辆用螺栓松动检测***，其特征在于：所述图像处理模块中图像预处理操作包含将所述包含螺栓和标记线的图像按比例调整为80*80像素大小，对螺栓标记线语义分割需要制作语义分割数据集并搭建语义分割网络进而训练出螺栓标记线语义分割模型，具体过程如下：螺栓标记线语义分割数据集制作：在不同的光照条件下，以多种拍摄角度采集列车上所有形状、多种规格且存在标记线的螺栓图像，用Labelme软件，以标记线为前景，其余为背景制作语义分割数据集，通过语义分割数据集训练语义分割网络，得到标记线语义分割模型。
4.根据权利要求1所述的一种轨道车辆用螺栓松动检测***，其特征在于：所述数据提取模块中螺栓偏移参数包括螺栓的偏移量、螺栓直径和螺栓预紧力，螺栓松动参数包括螺栓当前长度、螺栓初始长度和螺栓的弹性恢复力，螺栓形变参数包括螺栓的最大承载力、螺栓的螺栓刚度和螺栓的横截面面积。
5.根据权利要求1所述的一种轨道车辆用螺栓松动检测***，其特征在于：所述松动分析模块中将标记线轮廓指数与预设的阈值进行对比，并且统计标记线轮廓指数小于预设阈值的标记线轮廓数量N，如果N小于2，则说明只有一条标记线或没有检到标记线，判定螺栓没有松动，如果N大于或等于2，则依据中心线数M判定螺栓是否松动。
6.一种轨道车辆用螺栓松动检测方法，用于使用上述权利要求1-5任一项所述的一种轨道车辆用螺栓松动检测***，其特征在于：包括以下步骤：
步骤S11：通过标记单元和采集单元制作模板图：标记单元在螺栓上画出螺栓松动标记线，采集单元通过图像采集设备采集车辆应检部位所有图像，标出所有待检螺栓；
步骤S12：将获取的图像与模版图进行模版匹配：利用相机和光源设备获取含有螺栓和标记线的图像，对获取的图像与所述模版图进行模版匹配操作，裁剪出包含螺栓和标记线的图像；
步骤S13：通过处理分割得到尺寸大小、通道数和进行图像预处理后的图像相等的只包含标记线的图像；
步骤S14：提取只包含标记线的图像的特征数据：提取经过螺栓标记线语义分割后得到的只包含标记线的图像的特征数据；
步骤S15：计算标记线轮廓指数：接收只包含标记线的图像的特征数据，计算标记线轮廓指数；
步骤S16：依据标记线轮廓指数判断螺栓是否松动；
步骤S17：将判断结果为松动螺栓的图像输出至人机交互端。
7.一种存储有计算机指令的非瞬时计算机可读存储介质，其特征在于：所述计算机指令使所述计算机执行权利要求1-5中任一项所述的一种轨道车辆用螺栓松动检测***。
CN202410068789.8A 2024-01-17 2024-01-17 一种轨道车辆用螺栓松动检测***、方法及存储介质 Active CN117593515B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202410068789.8A CN117593515B (zh) 2024-01-17 2024-01-17 一种轨道车辆用螺栓松动检测***、方法及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202410068789.8A CN117593515B (zh) 2024-01-17 2024-01-17 一种轨道车辆用螺栓松动检测***、方法及存储介质

Publications (2)

Publication Number Publication Date
CN117593515A CN117593515A (zh) 2024-02-23
CN117593515B true CN117593515B (zh) 2024-03-29

Family

ID=89922262

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202410068789.8A Active CN117593515B (zh) 2024-01-17 2024-01-17 一种轨道车辆用螺栓松动检测***、方法及存储介质

Country Status (1)

Country Link
CN (1) CN117593515B (zh)

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110246132A (zh) * 2019-06-23 2019-09-17 中车青岛四方车辆研究所有限公司 轨道车辆螺栓松动检测方法及***
CN110390668A (zh) * 2019-06-26 2019-10-29 石家庄铁道大学 螺栓松动检测方法、终端设备及存储介质
CN110599506A (zh) * 2019-10-16 2019-12-20 湖南大学 一种复杂异形曲面机器人三维测量的点云分割方法
CN114445435A (zh) * 2021-12-23 2022-05-06 中数智科(杭州)科技有限公司 一种基于标记线移位偏差的车体螺栓松动判别方法
CN114994060A (zh) * 2022-07-15 2022-09-02 君享科技(深圳)有限公司 一种机器视觉下的磁环外观缺陷智能检测***及方法
CN115482207A (zh) * 2022-09-01 2022-12-16 上汽大众汽车有限公司 一种螺栓松动检测方法及***
CN115511828A (zh) * 2022-09-27 2022-12-23 华电电力科学研究院有限公司 一种螺栓检测方法、装置、设备及介质
CN115930879A (zh) * 2022-12-30 2023-04-07 中国铁建重工集团股份有限公司 工件的轮廓检测装置、方法、服务器及存储介质
CN116067555A (zh) * 2023-04-06 2023-05-05 西南交通大学 一种城市轨道交通用螺栓松动检测***、方法及存储介质
KR20230065014A (ko) * 2021-11-04 2023-05-11 한국전력공사 키프레임을 활용한 전력 설비 금구류 자동 분석 방법 및 장치
CN116109613A (zh) * 2023-02-24 2023-05-12 华中科技大学 一种基于分布表征的缺陷检测方法和***
CN117011212A (zh) * 2022-06-21 2023-11-07 南通市科睿轨道科技有限公司 一种轨道工务段紧固件连接状态监测分析***
CN117029733A (zh) * 2023-10-08 2023-11-10 中冶建筑研究总院有限公司 一种基于计算机视觉的螺栓松动检测方法、***及装置
CN117369460A (zh) * 2023-10-30 2024-01-09 西安理工大学 一种车辆螺栓松动故障的智能巡检方法及***

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019183475A1 (en) * 2018-03-23 2019-09-26 University Of Kansas Vision-based fastener loosening detection
EP4208812A1 (en) * 2020-09-02 2023-07-12 The General Hospital Corporation Methods for identifying cross-modal features from spatially resolved data sets

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110246132A (zh) * 2019-06-23 2019-09-17 中车青岛四方车辆研究所有限公司 轨道车辆螺栓松动检测方法及***
CN110390668A (zh) * 2019-06-26 2019-10-29 石家庄铁道大学 螺栓松动检测方法、终端设备及存储介质
CN110599506A (zh) * 2019-10-16 2019-12-20 湖南大学 一种复杂异形曲面机器人三维测量的点云分割方法
KR20230065014A (ko) * 2021-11-04 2023-05-11 한국전력공사 키프레임을 활용한 전력 설비 금구류 자동 분석 방법 및 장치
CN114445435A (zh) * 2021-12-23 2022-05-06 中数智科(杭州)科技有限公司 一种基于标记线移位偏差的车体螺栓松动判别方法
CN117011212A (zh) * 2022-06-21 2023-11-07 南通市科睿轨道科技有限公司 一种轨道工务段紧固件连接状态监测分析***
CN114994060A (zh) * 2022-07-15 2022-09-02 君享科技(深圳)有限公司 一种机器视觉下的磁环外观缺陷智能检测***及方法
CN115482207A (zh) * 2022-09-01 2022-12-16 上汽大众汽车有限公司 一种螺栓松动检测方法及***
CN115511828A (zh) * 2022-09-27 2022-12-23 华电电力科学研究院有限公司 一种螺栓检测方法、装置、设备及介质
CN115930879A (zh) * 2022-12-30 2023-04-07 中国铁建重工集团股份有限公司 工件的轮廓检测装置、方法、服务器及存储介质
CN116109613A (zh) * 2023-02-24 2023-05-12 华中科技大学 一种基于分布表征的缺陷检测方法和***
CN116067555A (zh) * 2023-04-06 2023-05-05 西南交通大学 一种城市轨道交通用螺栓松动检测***、方法及存储介质
CN117029733A (zh) * 2023-10-08 2023-11-10 中冶建筑研究总院有限公司 一种基于计算机视觉的螺栓松动检测方法、***及装置
CN117369460A (zh) * 2023-10-30 2024-01-09 西安理工大学 一种车辆螺栓松动故障的智能巡检方法及***

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
沈浩 ; 江臣 ; 陈宇文 ; 王国香 ; 李枝军 ; .基于深度学习的钢桁架桥螺栓病害智能识别方法.南京工业大学学报(自然科学版).2020,(第05期),正文. *

Also Published As

Publication number Publication date
CN117593515A (zh) 2024-02-23

Similar Documents

Publication Publication Date Title
KR101748121B1 (ko) 객체 인지 기반의 실시간 영상 검지 시스템 및 그 방법
CN110334750B (zh) 输电线路铁塔螺栓锈蚀程度图像分类识别方法
CN111626204B (zh) 一种铁路异物入侵监测方法及***
CN113516629A (zh) Tfds通过作业智能检测***
CN104240239A (zh) 一种基于道路图像探测局域路段雾霾天气的检测方法
CN109934135B (zh) 一种基于低秩矩阵分解的铁轨异物检测方法
CN116168356B (zh) 一种基于计算机视觉的车辆损伤判别方法
CN113447255A (zh) 基于无人机图像空间定位的螺栓节点松动检测方法及***
CN106910334B (zh) 一种基于大数据预测路段状况的方法及装置
CN112734702A (zh) 基于大数据分析和机器视觉的桥梁安全监测方法及云平台
CN110793501A (zh) 一种地铁隧道限界检测方法
CN110992702A (zh) 一种车辆重量监测预警***及预警方法
CN113639685B (zh) 位移检测方法、装置、设备和存储介质
CN113807220A (zh) 交通事件检测方法、装置、电子设备和可读存储介质
CN117593515B (zh) 一种轨道车辆用螺栓松动检测***、方法及存储介质
CN117173598A (zh) 一种基于图像识别的桥梁结构健康智能监测***
CN103473925B (zh) 一种道路车辆检测***的验证方法
CN113487561B (zh) 基于灰度梯度异常投票的受电弓异物检测方法及装置
CN113032907A (zh) 基于波形相关关系的晃车病害数据偏差纠正方法及***
CN116631187B (zh) 一种案件现场勘查信息智能采集分析***
CN113295253A (zh) 一种无感知地磅车辆称重数据异常监控方法及***
CN114882708B (zh) 一种基于监控视频的车辆识别方法
CN113888866B (zh) 一种具有多级预警功能的道路车辆管理***
CN115690660A (zh) 一种架空索道脱索检测方法及***
CN114429295A (zh) 一种基于bim三维模型技术的建筑工程结构裂纹状态安全监测分析方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant