CN113487612A - 一种基于图像处理的起重机卷筒工作异常预警方法 - Google Patents
一种基于图像处理的起重机卷筒工作异常预警方法 Download PDFInfo
- Publication number
- CN113487612A CN113487612A CN202111046021.3A CN202111046021A CN113487612A CN 113487612 A CN113487612 A CN 113487612A CN 202111046021 A CN202111046021 A CN 202111046021A CN 113487612 A CN113487612 A CN 113487612A
- Authority
- CN
- China
- Prior art keywords
- edge
- line slot
- standard
- alignment
- obtaining
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 36
- 238000012545 processing Methods 0.000 title claims abstract description 27
- 238000004804 winding Methods 0.000 claims abstract description 43
- 238000005299 abrasion Methods 0.000 claims abstract description 16
- 239000011159 matrix material Substances 0.000 claims description 35
- 229910000831 Steel Inorganic materials 0.000 claims description 23
- 239000010959 steel Substances 0.000 claims description 23
- 230000009466 transformation Effects 0.000 claims description 13
- 238000013519 translation Methods 0.000 claims description 11
- 238000012216 screening Methods 0.000 claims description 5
- 238000013528 artificial neural network Methods 0.000 claims description 3
- 238000011478 gradient descent method Methods 0.000 claims description 3
- 230000005856 abnormality Effects 0.000 claims 1
- 230000008569 process Effects 0.000 abstract description 10
- 238000001514 detection method Methods 0.000 abstract description 9
- 230000000007 visual effect Effects 0.000 abstract description 2
- 230000002159 abnormal effect Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 235000017166 Bambusa arundinacea Nutrition 0.000 description 1
- 235000017491 Bambusa tulda Nutrition 0.000 description 1
- 241001330002 Bambuseae Species 0.000 description 1
- 235000015334 Phyllostachys viridis Nutrition 0.000 description 1
- 239000011425 bamboo Substances 0.000 description 1
- 210000002421 cell wall Anatomy 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 238000001125 extrusion Methods 0.000 description 1
- 239000010410 layer Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 239000002356 single layer Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
- G06T7/001—Industrial image inspection using an image reference approach
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B66—HOISTING; LIFTING; HAULING
- B66D—CAPSTANS; WINCHES; TACKLES, e.g. PULLEY BLOCKS; HOISTS
- B66D1/00—Rope, cable, or chain winding mechanisms; Capstans
- B66D1/54—Safety gear
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
- G06F18/2135—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on approximation criteria, e.g. principal component analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
- G06F18/232—Non-hierarchical techniques
- G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/155—Segmentation; Edge detection involving morphological operators
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/187—Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20112—Image segmentation details
- G06T2207/20132—Image cropping
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20112—Image segmentation details
- G06T2207/20164—Salient point detection; Corner detection
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Probability & Statistics with Applications (AREA)
- Mechanical Engineering (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及图像处理技术领域,具体涉及一种基于图像处理的起重机卷筒工作异常预警方法。该方法通过对卷筒图像中的边缘信息进行分类获得边缘类别后进一步筛选,获得卷筒轮廓边缘。根据标准线槽边缘与卷筒轮廓边缘的边缘类别的相似度获得线槽边缘。通过线槽边缘和标准线槽边缘上边缘类别的主成分方向获得表示方向对齐的匹配程度,以最大的匹配程度的边缘类别作为参考边缘类别组。通过参考边缘类别组获得对齐参数,利用对齐参数进行旋转缩放对齐,获得参考线槽边缘。根据参考线槽边缘获得卷筒磨损的危险程度。本发明通过将标准线槽边缘和线槽边缘对齐,消除了检测过程的视觉误差,准确的分析了卷筒危险程度。
Description
技术领域
本发明涉及图像处理技术领域,具体涉及一种基于图像处理的起重机卷筒工作异常预警方法。
背景技术
起重机的卷筒是起重机重要的组成部分,用于在起重机吊起重物时对钢丝绳的收放,当起重机提起重物时卷筒转动收起钢丝,当起重机落下重物时卷筒转动放出钢丝。本发明所述的卷筒是单层绕线的,即钢丝绳在卷筒上只缠绕一层,卷筒上由螺纹状的线槽,卷筒正常工作时钢丝绳就缠绕在这样的线槽内,放置卷筒上相邻钢丝绳发生接触摩擦。
卷筒在工作是需要承受重物的绝大部分拉力,因此卷筒很容易在摩擦或发热的情况下产生磨损,例如线槽的槽壁与钢丝绳摩擦和挤压,使线槽和钢丝绳损伤,也会使卷筒变形,舍得圆柱形的卷筒的筒壁失圆,这些都会影响后续的卷筒的工作,可能使得钢丝不能正常缠绕进线槽,导致钢丝见出现摩擦或者乱线,轻则使重物的升降过程不平稳,重则造成钢丝绳断裂,造成施工事故。
在现有技术中,可通过机器视觉图像处理等技术通过卷筒的图像信息检测磨损。但是因为卷筒的特殊形状,图像信息丰富,无法快速的获得磨损信息,且因为图像透视影响会减少磨损检测的准确性,无法正确预警。
发明内容
为了解决上述技术问题,本发明的目的在于提供一种基于图像处理的起重机卷筒工作异常预警方法,所采用的技术方案具体如下:
本发明提出了一种基于图像处理的起重机卷筒工作异常预警方法,所述方法包括:
采集卷筒图像;获得所述卷筒图像中的卷筒区域;分割所述卷筒区域获得线槽区域;获取所述线槽区域内的所有边缘信息;根据所述边缘信息的位置和梯度信息对所述边缘信息进行分类,获得多个边缘类别;根据所述边缘类别与所述卷筒区域的相对位置筛选出卷筒轮廓边缘;
根据所述卷筒轮廓边缘和预设标准线槽边缘中所述边缘类别的相似度对所述卷筒轮廓边缘裁剪,获得线槽边缘;
获得所述标准线槽边缘中所述边缘类别的标准主成分方向;获得所述线槽边缘中所述边缘类别的第一主成分方向;根据所述标准主成分方向和所述第一主成分方向的方向倾角获得所述标准线槽边缘和所述线槽边缘中所述边缘类别的匹配程度;以最大的所述匹配程度对应的两个所述边缘类别作为参考边缘类别组;
根据所述参考边缘类别组获得对齐参数;根据所述对齐参数将所述标准线槽边缘和所述线槽边缘旋转缩放对齐,获得参考线槽边缘;所述参考线槽边缘包括对齐边缘和非对齐边缘;根据所述对齐参数和所述对齐边缘的像素点数量获得磨损程度;根据所述参考线槽边缘像素点的坐标和所述卷筒区域位置获得变形程度;以所述参考边缘类别组的所述方向倾角作为线槽倾角;
根据所述磨损程度、所述变形程度和所述线槽倾角获得危险程度;当所述危险程度大于预设危险阈值时进行预警。
进一步地,所述分割所述卷筒区域获得线槽区域包括:
将所述卷筒区域与预设的钢丝模板进行模板匹配,获得所述卷筒区域上的钢丝区域;在所述卷筒区域上去除所述钢丝区域,获得所述线槽区域。
进一步地,所述根据所述边缘类别与所述卷筒区域的相对位置筛选出卷筒轮廓边缘包括:
获取所有边缘类别内像素点的坐标均值;若所述坐标均值在所述卷筒区域中心轴线的预设邻近区域外,则对应的所述边缘类别为所述卷筒轮廓边缘。
进一步地,所述根据所述卷筒轮廓边缘和预设标准线槽边缘中所述边缘类别的相似度对所述卷筒轮廓边缘裁剪,获得线槽边缘包括:
获得所述卷筒轮廓边缘的每个凸包;获得所述标准线槽边缘的标准凸包;当所述凸包的边长数量与所述标准凸包的边长数量相等时,获得所述凸包与所述标准凸包的相似度,若所述相似度大于预设相似度阈值,则对应的所述凸包为候选线槽边缘凸包;获取所有所述候选线槽边缘凸包,以连续的所述候选线槽边缘凸包构成线槽边缘凸包;对所述线槽边缘凸包对应的所述卷筒轮廓边缘上的区域进行裁剪,获得线槽边缘。
进一步地,所述获得所述凸包与所述标准凸包的相似度包括:
将所述凸包和所述边缘凸包送入预先训练好的全连接神经网络中,输出所述相似度。
进一步地,所述根据所述标准主成分方向和所述第一主成分方向的一致性和方向倾角获得所述标准线槽边缘和所述线槽边缘中所述边缘类别的匹配程度:
根据所述方向倾角构建旋转矩阵;将所述标准主成分方向根据所述旋转矩阵进行调整,获得调整方向;获得所述调整方向和所有所述第一主成分方向的平行程度,以最大的所述平行程度作为平行特征;以所有所述调整方向的平均平行特征作为所述标准线槽边缘和所述线槽边缘中所述边缘类别的匹配程度。
进一步地,所述获得所述匹配程度包括:根据匹配程度获取公式获得所述匹配程度:
其中,为所述线槽边缘中第个所述边缘类别与所述标准线槽边缘中第个所述边缘类别的所述匹配程度,为所述线槽边缘中第个所述边缘类别与所述标准线槽边缘中第个所述边缘类别的所述旋转矩阵,为所述线槽边缘中第个所述边缘类别与所述标准线槽边缘中第个所述边缘类别的所述方向倾角,为所述标准线槽边缘中第个所述边缘类别的所述标准主成分方向,为所述标准线槽边缘中第个所述边缘类别的所述调整方向,为所述线槽边缘的第个所述边缘类别的所述第一主成分方向与所述调整方向的平行程度,为所述线槽边缘中所述边缘类别的数量,为所述标准线槽边缘中第个所述边缘类别的平行特征,所述标准线槽边缘中所述边缘类别的数量。
进一步地,所述根据所述参考边缘类别组获得对齐参数包括:
根据所述参考边缘类别组中的所述旋转矩阵构建对齐变换公式;所述对齐变换公式包括待确定的缩放矩阵和平移向量;
以通过所述对齐变换公式对齐后的所述标准线槽边缘作为候选对齐标准线槽边缘;以所述候选对齐标准线槽边缘与所述线槽边缘的像素点坐标差异构建对齐参数目标函数;
以随机梯度下降法获得的所述对齐参数目标函数最小值作为所述对齐参数,并以所述对齐参数对应的所述候选对齐标准线槽边缘作为对齐标准线槽边缘;
根据所述对齐标准线槽边缘的像素点确定所述缩放矩阵和所述平移向量,根据所述旋转矩阵、所述缩放矩阵和所述平移向量将所述标准线槽边缘和所述线槽边缘旋转缩放对齐。
进一步地,所述对齐参数目标函数包括:
其中,为所述对齐参数,为所述标准线槽边缘的像素点数量,为所述候选对齐标准线槽边缘第个像素点的像素点坐标,所述线槽边缘的第个像素点的像素点坐标,为所述候选对齐标准线槽边缘对应的所述标准线槽边缘的第个像素点所在的所述边缘类别的所述平行特征。
进一步地,所述所述对齐变换公式包括:
本发明具有如下有益效果:
1.本发明实施例通过标准线槽边缘和线槽边缘的对齐,消除了图像透视变换对磨损检测的影响。通过将标准线槽边缘和线槽边缘整体对齐,有效的分析了卷筒的磨损程度,对危险预警有准确的参考意义。
2.本发明实施例通过将边缘进行分类获得多个边缘类别,在后续分析过程中针对每个边缘类别进行分析,保证后续对齐过程中能够将标准线槽边缘和线槽边缘准确对齐,使得磨损检测过程中更加精准,减小检测误差。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案和优点,下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其它附图。
图1为本发明一个实施例所提供的一种基于图像处理的起重机卷筒工作异常预警方法流程图;
图2为本发明一个实施例所提供的一个线槽边缘示意图;
图3为本发明一个实施例所提供的一个标准线槽边缘示意图。
具体实施方式
为了更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效,以下结合附图及较佳实施例,对依据本发明提出的一种基于图像处理的起重机卷筒工作异常预警方法,其具体实施方式、结构、特征及其功效,详细说明如下。在下述说明中,不同的“一个实施例”或“另一个实施例”指的不一定是同一实施例。此外,一或多个实施例中的特定特征、结构、或特点可由任何合适形式组合。
除非另有定义,本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。
下面结合附图具体的说明本发明所提供的一种基于图像处理的起重机卷筒工作异常预警方法的具体方案。
请参阅图1,其示出了本发明一个实施例提供的一种基于图像处理的起重机卷筒工作异常预警方法流程图,该方法包括:
步骤S1:采集卷筒图像;获得卷筒图像中的卷筒区域;分割卷筒区域获得线槽区域;获取线槽区域内的所有边缘信息;根据边缘信息的位置和梯度变化对边缘信息进行分类,获得多个边缘类别;根据边缘类别与卷筒区域的相对位置筛选出卷筒轮廓边缘。
因为起重机的卷筒过长,因此单个相机的视野无法覆盖整个卷筒。考虑到卷筒在正常工作时只有部分钢丝绳需要进行反复收放,因此在本发明实施例中将灰度相机部署在钢丝绳反复收放的卷筒区域上方,且保证灰度相机在采集到清晰的卷筒图像同时能够覆盖更多卷筒区域。需要说明的是,在本发明实施例中,获得卷筒图像后通过3*3的高斯模糊核进行高斯模糊处理,去除噪声点。
在卷筒图像中包含卷筒区域和无关背景区域,因此需要将背景区域剔除,只保留待分析的卷筒区域。在本发明实施例中事先在图像中标注出卷筒区域,在图像中只保留卷筒区域的图像进行后续分析。
卷筒区域包括缠绕钢丝绳的区域和线槽区域,因为磨损检测针对的是线槽区域,因此需要进一步分割出线槽区域。具体包括:
将卷筒区域与预设的钢丝模板进行模板匹配,获得卷筒区域上的钢丝区域;在卷筒区域上去除钢丝区域,获得线槽区域。在本发明实施例中,获得线槽区域后,通过开运算对线槽区域图像进行处理,去除图像中细长狭小的连通域,使得线槽特征更加明显。
为了获得线槽区域内清晰的边缘信息,在本发明实施例中,将线槽区域图像数据反锐化掩膜处理,增强边缘细节。然后利用Canny算子提取图像中的边缘信息。该边缘信息包括线槽棱边,线槽底部边缘,卷筒轮廓边缘。因为磨损检测的对象为卷筒,因此需要对边缘信息进行筛选,仅保留卷筒轮廓边缘,具体包括:
(1)将边缘信息进行预处理,是的边缘信息柔滑,助于后续分析。在本发明实施例中,预处理过程通过3*3的高斯模糊核进行模糊处理。
(3)将边缘信息中的像素点的位置和梯度信息作为该像素点的边缘特征,对于边缘特征进行聚类,获得多个边缘类别,每个边缘类别中,像素点的位置和梯度连续变化,这些像素构成的区域中没有较大的转角和断裂,因此可将每个边缘类别视为一段连续没有较大拐角的边缘。在本发明实施例中,聚类采用密度聚类法。
(4)获取所有边缘类别内像素点的坐标均值。若坐标均值在卷筒区域中心轴线的预设邻近区域外,则对应的边缘类别为卷筒轮廓边缘。将线槽棱边和线槽底部边缘去除。在本发明实施例中邻近区域为卷筒直径的四分之一。
步骤S2:根据卷筒轮廓边缘和预设标准线槽边缘中边缘类别的相似度对卷筒轮廓边缘裁剪,获得线槽边缘。
卷筒轮廓边缘上包含了磨损信息。磨损信息是因为卷筒在使用过程中由于线槽磨损以及卷筒变形导致卷筒轮廓发生变化。因此为了准确的获得磨损信息,需要将卷筒轮廓边缘进一步筛选,获得线槽边缘。线槽边缘为线槽在卷筒上所在的边缘区域,在该区域上产生的磨损信息。请参阅图2,其示出了本发明一个实施例提供的一个线槽边缘示意图。
在本发明实施例中,采集一个标准没有磨损的线槽边缘图像作为标准线槽边缘。请参阅图3,其示出了本发明一个实施例提供一个标准线槽边缘示意图。标准线槽边缘经过同样的边缘分类过程,拥有多个边缘类别,将标准线槽边缘的边缘类别集合记为。如图3所示,标准线槽边缘包含5条边缘,即拥有5个边缘类别。
通过凸包检测算法获得卷筒轮廓边缘的每个凸包,获得标准线槽边缘的标准凸包。由图2和图3所示,凸包为一个凸多边形,因此可根据凸包之间的的形状信息快速获得线槽边缘和标准线槽边缘的相似度。需要说明的是,卷筒轮廓边缘较长,信息丰富,包含多个边缘类别,将卷筒轮廓边缘的第个边缘类别到第个类别间的集合记为,即为一个边缘片段,分析内的每个凸包与标注凸包的边长数量,当凸包的边长数量与标准凸包的边长数量相等时,获得凸包与标准凸包的相似度。若相似度大于预设相似度阈值,则对应的凸包为候选线槽边缘凸包。获取所有候选线槽边缘凸包,以连续的候选线槽边缘凸包构成线槽边缘凸包,即是候选线槽边缘且和不是候选线槽边缘。对线槽边缘凸包对应的卷筒轮廓边缘上的区域进行裁剪,获得所有线槽边缘。
优选的,获得所述凸包与所述标准凸包的相似度包括:将凸包和边缘凸包送入预先训练好的全连接神经网络中,输出相似度。
步骤S3:获得标准线槽边缘中边缘类别的标准主成分方向;获得线槽边缘中边缘类别的第一主成分方向;根据标准主成分方向和第一主成分方向的方向倾角获得标准线槽边缘和线槽边缘中边缘类别的匹配程度;以最大的匹配程度对应的两个边缘类别作为参考边缘类别组。
对于任一段线槽边缘,因为为图像采集的信息,因此在图像上会因为卷筒位姿导致边缘姿态变化。线槽的棱边除了会被磨损外,还有由于卷筒的变形(例如变扁)导致线槽会发生旋转,线槽朝向发生变化。另外远离图像中心的线槽边缘由于透视,导致这些线槽边缘和参考图像的线槽边缘有一定的缩放效果。因此为了准确获得线槽上的磨损信息需要将标准线槽边缘与对齐。
首先通过线槽边缘和标准线槽边缘的每个像素类别间的方向信息分析旋转对齐过程。
获得标准线槽边缘中边缘类别的标准主成分方向。获得线槽边缘中边缘类别的第一主成分方向。需要说明的是,像素类别为一些像素坐标的集合,且构成的区域无断裂和大拐角,因此每个像素类别都有两个主成分方向,仅保留每个边缘类别中像素投影方差最大的主成分方向作为表示边缘类别中像素点分布方向的主成分方向。
进一步分析标准主成分方向与第一主成分方向间的方向信息,根据标准主成分方向和第一主成分方向的一致性和方向倾角获得标准线槽边缘和线槽边缘中边缘类别的匹配程度,具体包括:根据方向倾角构建旋转矩阵。将标准主成分方向根据旋转矩阵进行调整,获得调整方向。获得调整方向和所有第一主成分方向的平行程度,以最大的平行程度作为平行特征。以所有调整方向的平均平行特征作为标准线槽边缘和线槽边缘中边缘类别的匹配程度,具体包括:根据匹配程度获取公式获得匹配程度:
其中,为线槽边缘中第个边缘类别与标准线槽边缘中第个边缘类别的匹配程度,为线槽边缘中第个边缘类别与标准线槽边缘中第个边缘类别的旋转矩阵,为线槽边缘中第个边缘类别与标准线槽边缘中第个边缘类别的方向倾角,为标准线槽边缘中第个边缘类别的标准主成分方向,为标准线槽边缘中第个边缘类别的调整方向,为线槽边缘的第个边缘类别的第一主成分方向与调整方向的平行程度,为线槽边缘中边缘类别的数量,为标准线槽边缘中第个边缘类别的平行特征,标准线槽边缘中边缘类别的数量。在本发明实施例中,以内积表示线槽边缘第个边缘类别的第一主成分方向与第个调整方向的平行程度,其中表示线槽边缘第个边缘类别的第一主成分方向的转置。
匹配程度公式通过旋转矩阵表示将标准线槽边缘和线槽边缘的两个边缘类别对齐调整后整体上的平行程度。表示了标准线槽边缘通过第个边缘类别与标准线槽边缘中第个边缘类别的旋转矩阵调整后,每个标准线槽边缘的边缘类别和每个线槽边缘类别的方向对齐程度。因此最大的匹配程度表示标准线槽边缘经过旋转矩阵旋转后,标准线槽边缘与线槽边缘中没有磨损的每个边缘类别在方向上都能够对齐,标准线槽边缘与线槽边缘中出现磨损的每个边缘类别在方向上都能够大致对齐。因此以最大的匹配程度对应的两个边缘类别作为参考边缘类别组。
步骤S4:根据参考边缘类别组获得对齐参数;根据对齐参数将标准线槽边缘和线槽边缘旋转缩放对齐,获得参考线槽边缘;参考线槽边缘包括对齐边缘和非对齐边缘;根据对齐参数和对齐边缘的像素点数量获得磨损程度;根据对齐边缘中像素点的坐标和卷筒区域位置获得变形程度;以参考边缘类别组的方向倾角作为线槽倾角。
通过步骤S3分析方向对齐后,进一步分析尺寸对齐,通过尺寸对齐和方向对齐将标准线槽边缘与线槽边缘对齐。
以通过对齐变换公式对齐后的标准线槽边缘作为候选对齐标准线槽边缘。以候选对齐标准线槽边缘与线槽边缘的像素点坐标差异构建对齐参数目标函数。对齐参数目标函数包括:
其中,为对齐参数,为标准线槽边缘的像素点数量,为候选对齐标准线槽边缘第个像素点的像素点坐标,线槽边缘的第个像素点的像素点坐标,为候选对齐标准线槽边缘对应的标准线槽边缘的第个像素点所在的边缘类别的平行特征。
以随机梯度下降法获得的对齐参数目标函数最小值作为对齐参数,并以对齐参数对应的候选对齐标准线槽边缘作为对齐标准线槽边缘。
根据对齐标准线槽边缘的像素点确定缩放矩阵和平移向量,根据旋转矩阵、缩放矩阵和平移向量将标准线槽边缘和线槽边缘对齐。
将标准线槽边缘和线槽边缘对齐后获得参考线槽边缘。因为线槽边缘存在磨损信息,因此参考线槽边缘包括对齐边缘和非对齐边缘,以对齐参数与对齐边缘像素点数量的比值作为磨损程度。对于图像中央的线槽边缘,当标准线槽边缘与其对齐时,线槽边缘像素点数量和对齐边缘像素点数量是大致相等的;对于远离图像中心的线槽边缘,当标准线槽图像与其对齐时,会有透视压缩,使得对齐边缘像素点数量小于线槽边缘像素点数量。以对齐参数与对齐边缘像素点数量的比值作为磨损程度消除了透视压缩导致的线槽在图像中心和远离中心时磨损程度由于透视而产生的误差问题,对齐边缘像素点数量越大磨损程度越小。
因为参考线槽边缘像素点为经过选择缩放对齐后的标准线槽边缘与线槽边缘生成的,因此参考线槽边缘包含了线槽边缘的位置信息,可根据参考线槽边缘像素点的坐标和卷筒区域位置获得变形程度。在本发明实施例中,以对齐标准线槽边缘的坐标均值与卷筒区域的距离表示变形程度。
以参考边缘类别组的方向倾角作为线槽倾角。
步骤S5:根据磨损程度、变形程度和线槽倾角获得危险程度;当危险程度大于预设危险阈值时进行预警。
通过磨损程度、变形程度和线槽倾角可表示任意一段线槽边缘的危险程度,即线槽出现磨损的同时线槽倾斜大且变形大,那么该线槽在收放钢丝线是容易发生钢丝绳的滑脱,使得钢丝发生摩擦乱线。在本发明实施例中,以磨损程度、变形程度和线槽倾角的乘积作为危险程度。
需要说明的是,本发明实施例每采集一张卷筒图像就可以获得图像上卷筒轮廓边缘上每个线槽边缘的危险程度。线槽边缘在图像上的位置是由边缘上像素坐标的均值描述的,但是只知道线槽边缘在图像上的位置还是不足够的,还需要获取线槽边缘在圆柱形卷筒上的位置。在本发明实施例中,利用传感器获取卷筒转动的角度,根据卷筒转动的角度以及线槽在图像上的位置就可以唯一确定线槽边缘在卷筒上的位置,进而确定该位置的危险程度。
当钢丝绳缠绕到某个位置处,获取该位置的危险程度,当危险程度大于预设危险阈值时,进行预警,提醒操作人员注意施工安全或者停止操作进行检修。
综上所述,本发明实施例通过对卷筒图像中的边缘信息进行分类获得边缘类别后进一步筛选,获得卷筒轮廓边缘。根据标准线槽边缘与卷筒轮廓边缘的边缘类别的相似度获得线槽边缘。通过线槽边缘和标准线槽边缘上边缘类别的主成分方向获得表示方向对齐的匹配程度,以最大的匹配程度的边缘类别作为参考边缘类别组。通过参考边缘类别组获得对齐参数,利用对齐参数进行旋转缩放对齐,获得参考线槽边缘。根据参考线槽边缘获得卷筒磨损的危险程度。本发明实施例通过将标准线槽边缘和线槽边缘对齐,消除了检测过程的视觉误差,准确的分析了卷筒危险程度。
需要说明的是:上述本发明实施例先后顺序仅仅为了描述,不代表实施例的优劣。且上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下,在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外,在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中,多任务处理和并行处理也是可以的或者可能是有利的。
本说明书中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。
以上所述仅为本发明的较佳实施例,并不用以限制本发明,凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (10)
1.一种基于图像处理的起重机卷筒工作异常预警方法,其特征在于,所述方法包括:
采集卷筒图像;获得所述卷筒图像中的卷筒区域;分割所述卷筒区域获得线槽区域;获取所述线槽区域内的所有边缘信息;根据所述边缘信息的位置和梯度信息对所述边缘信息进行分类,获得多个边缘类别;根据所述边缘类别与所述卷筒区域的相对位置筛选出卷筒轮廓边缘;
根据所述卷筒轮廓边缘和预设标准线槽边缘中所述边缘类别的相似度对所述卷筒轮廓边缘裁剪,获得线槽边缘;
获得所述标准线槽边缘中所述边缘类别的标准主成分方向;获得所述线槽边缘中所述边缘类别的第一主成分方向;根据所述标准主成分方向和所述第一主成分方向的方向倾角获得所述标准线槽边缘和所述线槽边缘中所述边缘类别的匹配程度;以最大的所述匹配程度对应的两个所述边缘类别作为参考边缘类别组;
根据所述参考边缘类别组获得对齐参数;根据所述对齐参数将所述标准线槽边缘和所述线槽边缘旋转缩放对齐,获得参考线槽边缘;所述参考线槽边缘包括对齐边缘和非对齐边缘;根据所述对齐参数和所述对齐边缘的像素点数量获得磨损程度;根据所述参考线槽边缘像素点的坐标和所述卷筒区域位置获得变形程度;以所述参考边缘类别组的所述方向倾角作为线槽倾角;
根据所述磨损程度、所述变形程度和所述线槽倾角获得危险程度;当所述危险程度大于预设危险阈值时进行预警。
2.根据权利要求1所述的一种基于图像处理的起重机卷筒工作异常预警方法,其特征在于,所述分割所述卷筒区域获得线槽区域包括:
将所述卷筒区域与预设的钢丝模板进行模板匹配,获得所述卷筒区域上的钢丝区域;在所述卷筒区域上去除所述钢丝区域,获得所述线槽区域。
3.根据权利要求1所述的一种基于图像处理的起重机卷筒工作异常预警方法,其特征在于,所述根据所述边缘类别与所述卷筒区域的相对位置筛选出卷筒轮廓边缘包括:
获取所有边缘类别内像素点的坐标均值;若所述坐标均值在所述卷筒区域中心轴线的预设邻近区域外,则对应的所述边缘类别为所述卷筒轮廓边缘。
4.根据权利要求1所述的一种基于图像处理的起重机卷筒工作异常预警方法,其特征在于,所述根据所述卷筒轮廓边缘和预设标准线槽边缘中所述边缘类别的相似度对所述卷筒轮廓边缘裁剪,获得线槽边缘包括:
获得所述卷筒轮廓边缘的每个凸包;获得所述标准线槽边缘的标准凸包;当所述凸包的边长数量与所述标准凸包的边长数量相等时,获得所述凸包与所述标准凸包的相似度,若所述相似度大于预设相似度阈值,则对应的所述凸包为候选线槽边缘凸包;获取所有所述候选线槽边缘凸包,以连续的所述候选线槽边缘凸包构成线槽边缘凸包;对所述线槽边缘凸包对应的所述卷筒轮廓边缘上的区域进行裁剪,获得线槽边缘。
5.根据权利要求4所述的一种基于图像处理的起重机卷筒工作异常预警方法,其特征在于,所述获得所述凸包与所述标准凸包的相似度包括:
将所述凸包和所述边缘凸包送入预先训练好的全连接神经网络中,输出所述相似度。
6.根据权利要求1所述的一种基于图像处理的起重机卷筒工作异常预警方法,其特征在于,所述根据所述标准主成分方向和所述第一主成分方向的一致性和方向倾角获得所述标准线槽边缘和所述线槽边缘中所述边缘类别的匹配程度:
根据所述方向倾角构建旋转矩阵;将所述标准主成分方向根据所述旋转矩阵进行调整,获得调整方向;获得所述调整方向和所有所述第一主成分方向的平行程度,以最大的所述平行程度作为平行特征;以所有所述调整方向的平均平行特征作为所述标准线槽边缘和所述线槽边缘中所述边缘类别的匹配程度。
7.根据权利要求6所述的一种基于图像处理的起重机卷筒工作异常预警方法,其特征在于,所述获得所述匹配程度包括:根据匹配程度获取公式获得所述匹配程度:
8.根据权利要求6所述的一种基于图像处理的起重机卷筒工作异常预警方法,其特征在于,所述根据所述参考边缘类别组获得对齐参数包括:
根据所述参考边缘类别组中的所述旋转矩阵构建对齐变换公式;所述对齐变换公式包括待确定的缩放矩阵和平移向量;
以通过所述对齐变换公式对齐后的所述标准线槽边缘作为候选对齐标准线槽边缘;以所述候选对齐标准线槽边缘与所述线槽边缘的像素点坐标差异构建对齐参数目标函数;
以随机梯度下降法获得的所述对齐参数目标函数最小值作为所述对齐参数,并以所述对齐参数对应的所述候选对齐标准线槽边缘作为对齐标准线槽边缘;
根据所述对齐标准线槽边缘的像素点确定所述缩放矩阵和所述平移向量,根据所述旋转矩阵、所述缩放矩阵和所述平移向量将所述标准线槽边缘和所述线槽边缘旋转缩放对齐。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111046021.3A CN113487612B (zh) | 2021-09-07 | 2021-09-07 | 一种基于图像处理的起重机卷筒工作异常预警方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111046021.3A CN113487612B (zh) | 2021-09-07 | 2021-09-07 | 一种基于图像处理的起重机卷筒工作异常预警方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113487612A true CN113487612A (zh) | 2021-10-08 |
CN113487612B CN113487612B (zh) | 2021-11-16 |
Family
ID=77947319
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111046021.3A Expired - Fee Related CN113487612B (zh) | 2021-09-07 | 2021-09-07 | 一种基于图像处理的起重机卷筒工作异常预警方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113487612B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113643288A (zh) * | 2021-10-13 | 2021-11-12 | 启东市德立神起重运输机械有限公司 | 一种基于人工智能的起重机车轮控制方法 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103208117A (zh) * | 2013-03-21 | 2013-07-17 | 袁景 | 一种多功能智能皮带表面斑块边缘检测方法 |
JP2015197376A (ja) * | 2014-04-01 | 2015-11-09 | 日本電信電話株式会社 | 摩耗検出装置、方法、及びプログラム |
CN105115453A (zh) * | 2015-04-27 | 2015-12-02 | 南京林业大学 | 基于数字b超成像技术的机械密封端面磨损量在线测量装置及方法 |
CN105203025A (zh) * | 2015-09-09 | 2015-12-30 | 江苏科技大学 | 基于机器视觉的圆锯片磨损量在线测量方法 |
CN204988218U (zh) * | 2015-04-27 | 2016-01-20 | 南京林业大学 | 机械密封端面磨损量在线测量装置 |
CN106815831A (zh) * | 2016-12-21 | 2017-06-09 | 深圳增强现实技术有限公司 | 一种钢丝绳磨损的检测方法及装置 |
CN108931961A (zh) * | 2018-07-05 | 2018-12-04 | 西安交通大学 | 一种基于机器视觉的整体式立铣刀磨破损检测方法 |
-
2021
- 2021-09-07 CN CN202111046021.3A patent/CN113487612B/zh not_active Expired - Fee Related
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103208117A (zh) * | 2013-03-21 | 2013-07-17 | 袁景 | 一种多功能智能皮带表面斑块边缘检测方法 |
JP2015197376A (ja) * | 2014-04-01 | 2015-11-09 | 日本電信電話株式会社 | 摩耗検出装置、方法、及びプログラム |
CN105115453A (zh) * | 2015-04-27 | 2015-12-02 | 南京林业大学 | 基于数字b超成像技术的机械密封端面磨损量在线测量装置及方法 |
CN204988218U (zh) * | 2015-04-27 | 2016-01-20 | 南京林业大学 | 机械密封端面磨损量在线测量装置 |
CN105203025A (zh) * | 2015-09-09 | 2015-12-30 | 江苏科技大学 | 基于机器视觉的圆锯片磨损量在线测量方法 |
CN106815831A (zh) * | 2016-12-21 | 2017-06-09 | 深圳增强现实技术有限公司 | 一种钢丝绳磨损的检测方法及装置 |
CN108931961A (zh) * | 2018-07-05 | 2018-12-04 | 西安交通大学 | 一种基于机器视觉的整体式立铣刀磨破损检测方法 |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113643288A (zh) * | 2021-10-13 | 2021-11-12 | 启东市德立神起重运输机械有限公司 | 一种基于人工智能的起重机车轮控制方法 |
CN113643288B (zh) * | 2021-10-13 | 2022-02-18 | 启东市德立神起重运输机械有限公司 | 一种基于人工智能的起重机车轮控制方法 |
Also Published As
Publication number | Publication date |
---|---|
CN113487612B (zh) | 2021-11-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN114723701B (zh) | 基于计算机视觉的齿轮缺陷检测方法和*** | |
CN114972357B (zh) | 一种基于图像处理的轧辊表面缺陷检测方法及*** | |
Wählby et al. | Algorithms for cytoplasm segmentation of fluorescence labelled cells | |
Moolman et al. | Digital image processing as a tool for on-line monitoring of froth in flotation plants | |
JP4024832B1 (ja) | ドリル検査装置、ドリル検査方法、およびそのプログラム | |
US20110194738A1 (en) | Method for acquiring region-of-interest and/or cognitive information from eye image | |
US20060029257A1 (en) | Apparatus for determining a surface condition of an object | |
CN115311267B (zh) | 一种格纹织物异常检测方法 | |
US20070189582A1 (en) | Approaches and apparatus for eye detection in a digital image | |
CN113487612B (zh) | 一种基于图像处理的起重机卷筒工作异常预警方法 | |
JP2013167596A (ja) | 欠陥検査装置、欠陥検査方法及びプログラム | |
KR100752640B1 (ko) | 방향성 기울기 필터를 이용한 지문 영역 분할 장치 및 방법 | |
WO2013109193A1 (en) | Computational methods and apparatus for meiboqraphy | |
US11134885B2 (en) | Quantitative dermoscopic melanoma screening | |
CN114842011A (zh) | 基于图像处理的轴承磨损检测方法及*** | |
Furtado et al. | Segmentation of eye fundus images by density clustering in diabetic retinopathy | |
CN110533083B (zh) | 基于SVM的Adaboost模型的铸件缺陷识别方法 | |
JP5174917B2 (ja) | 硬貨の正損判別装置及び正損判別方法 | |
US7903862B2 (en) | Method for detecting geometrical structures in images | |
CN116563295B (zh) | 一种切削屑缠绕状态视觉检测方法 | |
CN113807180A (zh) | 一种基于lbph与特征点的人脸识别方法 | |
CN117237354A (zh) | 一种纺织衣物疵点视觉检测方法 | |
KR20120040004A (ko) | 텐서 보팅에 기반을 둔 컬러 클러스터링 시스템 및 그 방법 | |
CN115082489B (zh) | 一种有色丝评估方法 | |
CN115100510A (zh) | 一种轮胎磨损度识别方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20211116 |