CN116740062B - 基于不规则胶圈的缺陷检测方法及*** - Google Patents

基于不规则胶圈的缺陷检测方法及*** Download PDF

Info

Publication number
CN116740062B
CN116740062B CN202311013223.7A CN202311013223A CN116740062B CN 116740062 B CN116740062 B CN 116740062B CN 202311013223 A CN202311013223 A CN 202311013223A CN 116740062 B CN116740062 B CN 116740062B
Authority
CN
China
Prior art keywords
rubber ring
image
irregular
points
breakpoint
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202311013223.7A
Other languages
English (en)
Other versions
CN116740062A (zh
Inventor
陈运泽
田楷
曹彬
胡江洪
陈立名
晏文仲
黄金
方超群
孙浩宇
卢宏铭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fitow Tianjin Detection Technology Co Ltd
Original Assignee
Fitow Tianjin Detection Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fitow Tianjin Detection Technology Co Ltd filed Critical Fitow Tianjin Detection Technology Co Ltd
Priority to CN202311013223.7A priority Critical patent/CN116740062B/zh
Publication of CN116740062A publication Critical patent/CN116740062A/zh
Application granted granted Critical
Publication of CN116740062B publication Critical patent/CN116740062B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/0008—Industrial image inspection checking presence/absence
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/002—Measuring arrangements characterised by the use of optical techniques for measuring two or more coordinates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G06T5/30—Erosion or dilatation, e.g. thinning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/70—Labelling scene content, e.g. deriving syntactic or semantic representations
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8854—Grading and classifying of flaws
    • G01N2021/8861—Determining coordinates of flaws
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Signal Processing (AREA)
  • Computational Linguistics (AREA)
  • Quality & Reliability (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于不规则胶圈的缺陷检测方法及***，包括以下步骤：获取待检测工件的原始图像，输入训练好的神经网络中，进行目标检测，识别胶圈的位置，得到掩膜图像；利用掩膜图像对原始图像进行掩膜处理，得到待检测的推理图；将推理图按照预设的模板图像进行对齐、过滤，得到胶圈线路图；将所述胶圈线路图进行水平和垂直方向的切割，切割成四个区域；对每个区域进行垂直方向的投影，生成线路的投影图像；在投影图像中提取断点位置，确定断点位置坐标。通过语义分割，可以将不规则胶圈投影成一条线，从而清晰地找到断点处的坐标位置；通过膨胀操作，确保每个框都能完美地框住胶圈断点；能够完美地适应不规则胶圈的断点。

Description

基于不规则胶圈的缺陷检测方法及***
技术领域
本发明涉及胶圈检测技术领域，尤其涉及基于不规则胶圈的缺陷检测方法及***。
背景技术
在电驱缸体上涂抹的不规则胶圈缺陷检测中，使用目标检测方法识别不规则胶圈是一项相对复杂的任务。这个任务面临着以下问题：线路较长、边界模糊以及断点检测和形状多样性。
首先，不规则胶圈的线路通常是较长的，这导致难以获得精确的像素信息。由于线路的长度增加，分辨率的限制和像素采样的限制会导致检测结果的不准确性。这可能会导致检测算法无法精确定位胶圈的形状和断点。
其次，不规则胶圈的线路往往具有模糊的边界和断点。由于胶圈的线条可能是曲线状的，并且在某些位置可能出现模糊或不清晰的边界。这增加了检测算法对于胶圈形状的准确建模的难度，导致检测结果可能不准确或不完整。
另外，不规则胶圈的断点具有多样性的形状。断点的形状可能是各种各样的，包括断开、连接、扭曲等。这种形状多样性会导致检测算法难以对所有可能的断点变化进行准确的建模，从而影响检测效果。
传统的基于边界框的目标检测方法也无法很好地解决这些问题。这种方法主要关注物体的外边界，并不能准确地表示不规则胶圈的形状和断点，更无法准确的获取断点的位置。因此，在不规则胶圈的缺陷检测任务中，单独使用基于边界框的目标检测方法可能无法达到理想的检测效果。
为了克服这些问题，需要结合其他技术和方法，如图像处理、形态学操作、线条检测等。这些技术可以用于处理不规则胶圈的线路和断点，并提高检测的准确性和鲁棒性。此外，还可以使用深度学习方法，如语义分割，来更好地理解和表示不规则胶圈的形状和断点。
传统的基于边界框的目标检测方法中的边界框对于不规则胶圈会被胶圈的线路，尺寸，形状等因素限制，导致部分断点被遗漏或不准确。
因此，对于不规则胶圈的缺陷检测，单纯使用目标检测方法面临一些挑战。需要结合其他技术和方法，并综合考虑线路长度、边界模糊、断点多样性等因素，以提高检测效果和准确性。
发明内容
因此，本发明的目的在于提供一种基于不规则胶圈的缺陷检测方法及***，
通过语义分割和投影法结合的方法进行不规则胶圈像素投影，确定断点，减少胶圈检测过程中的计算量，并且提高胶圈断点检测的精准度。
为了实现上述目的，本发明一方面提供一种基于不规则胶圈的缺陷检测方法，包括如下步骤：
获取待检测工件的原始图像，将所述原始图像输入训练好的神经网络中，进行目标检测，识别胶圈的位置，得到掩膜图像；
利用掩膜图像对原始图像进行掩膜处理，得到待检测的推理图；
将推理图按照预设的模板图像进行对齐，滤除胶圈外多余部位，得到胶圈线路图；
将所述胶圈线路图进行水平和垂直方向的切割，切割成四个区域；对每个区域进行垂直方向的投影，生成胶圈线路的投影图像；
在投影图像中提取断点位置，根据垂直投影的y坐标，找到匹配的x坐标，确定断点位置坐标。
进一步优选的，所述神经网络的训练过程包括以下步骤：
S101、将原始图像进行标注，根据图像的标注信息将原始图像分割成多个小图像；
S102、将多个小图像作为数据集输入神经网络中，利用神经网络进行语义分割，将胶圈像素标记为1，背景像素标记为0，得到语义分割结果图；
S103、将每个小图像的语义分割结果图进行拼接，形成与原始图像大小相同的掩膜图像。
进一步优选的，所述将推理图按照预设的模板图像进行对齐，包括以下步骤：
判断推理图上标定点的顺序与所述模板图像上标定点的顺序是否一致，若一致则将推理图上标定点的位置与所述模板图像上标定点的位置进行匹配；若不一致，则将推理图上标定点的顺序调整至与模板图像上标定点的顺序一致；
计算匹配后相对应的两个标定点之间的欧氏距离，根据得出的欧氏距离判断胶圈是否偏位。
进一步优选的，所述判断推理图上标定点的顺序与所述模板图像上标定点的顺序是否一致时，采用如下方法：
获取模板图像上所有的标定点，对所有标定点进行顺时针排序，按照排序结果，为每个标定点设置序号；
计算标定点顺时针排序后形成的不规则图形的中心位置；
根据中心位置，计算每个标定点位置相对于中心位置的极角值，按照序号进行排序；
计算任意相邻的若干个推理图上标定点与中心位置的极角值，按照顺时针进行排序，按照模板图像的标定点序号顺序进行匹配。
进一步优选的，滤除胶圈外多余部位，得到胶圈线路图，包括如下步骤：
计算推理图与模板图像之间的对应点，根据对应点计算仿射变换的矩阵，使推理图与模板图像对齐；
使用位运算中的与运算和非运算，将缸体外的图像部分赋值为0，删除缸体外的部分。
进一步优选的，得到待检测的推理图后，还包括对胶圈进行形态学运算。
进一步优选的，所述对投影图像进行形态学运算，包括对胶圈进行腐蚀操作：
定义一个3x3维度的结构元素框，并赋值为1；
利用cv2.erode函数，输入原始图像、结构元素和迭代步数，进行腐蚀；
将每个像素的值更新为周围像素中最小值相匹配的值，将胶圈轮廓变细，放大不清晰或细小的断点。
进一步优选的，得到待检测的推理图后，还包括对推理图中的像素进行中值滤波。
本发明还提供一种基于不规则胶圈的缺陷检测***，用于在实施时，实现如上述基于不规则胶圈的缺陷检测方法的步骤，包括图像获取模块、掩膜处理模块、对齐模块、投影模块、断点检测模块；
所述图像获取模块，用于获取待检测工件的原始图像；
所述掩膜处理模块，用于将所述原始图像输入训练好的神经网络中，进行目标检测，识别胶圈的位置，得到掩膜图像；利用掩膜图像对原始图像进行掩膜处理，得到待检测的推理图；
所述对齐模块，用于将推理图按照预设的模板图像进行对齐，滤除胶圈外的多余部位，得到胶圈线路图；
所述投影模块用于将所述胶圈线路图进行水平和垂直方向的切割，切割成四个区域；对每个区域进行垂直方向的投影，生成线路的投影图像；
所述断点检测模块，用于在投影图像中提取断点位置，根据垂直投影的y坐标，找到匹配的x坐标，确定断点位置坐标。
本申请公开的基于不规则胶圈的缺陷检测方法及***，相比于现有技术，至少具有以下优点：
1、本发明在进行胶圈识别时提供一种语义分割方法，避免背景对胶圈的干扰，采用与投影法相结合的方式进行不规则胶圈像素投影找断点，通过传统机器学***滑细节，去除噪音，针对检测区域保留相关数据。使模型达到更高的精度，训练的更有针对性，降低时间成本。
2、本发明提出的不规则胶圈断点检测方法，摒弃了传统的边界框检测，能更清楚准确的得到断点的位置，由于传统的边界框检测算法采用矩形框进对全图像范围内按照预设步长进行逐像素的搜索时，计算量极大，而且每种类型的电驱缸需要配备不同形状的不规则胶圈，传统的边界框无法很好的捕捉到胶圈边界的曲线形状和细节；因此搜索过程中不仅计算量大，还容易丢失数据造成识别精度降低，而本申请完全不受搜索框的形状或大小的影响，将胶圈进行形态运算后，在突出胶圈边界的同时，放大细小缺陷，使断点位置更清晰的暴露出来；随后利用投影法进行投影，采用化曲为直的形式，避免曲线对识别断点造成的影响，并且利用对胶圈线路图进行水平和垂直方向的切割的办法，使不同位置的断点都能在投影时凸显出来，不会造成断点位置的重叠，提高了断点识别的准确度。
3、本发明采用预设模板图像，使推理图进行对齐，通过确定推理图的标定点顺序和距离，不仅能检测胶圈断点还能检测胶圈是否存在偏位。
4、通过结合投影法和腐蚀操作，可以在不规则胶圈检测中明显化不清晰或细小的断点和褶皱处的缺陷特征。
附图说明
图1为本发明基于不规则胶圈的缺陷检测方法的流程图。
图2为本发明实施例中mask重叠法中采用的预设模板图像的示意图。
图3为本发明实施例中mask重叠法中另一方向的预设模板图像的示意图。
图4为本发明神经网络的训练过程示意图。
图5为本发明基于不规则胶圈的缺陷检测***的示意图。
具体实施方式
以下通过附图和具体实施方式对本发明作进一步的详细说明。
对于不规则胶圈的检测来说，由于基于边界框的方法只提供了目标的位置和尺寸信息，而不提供关于断点的更详细信息。因此对于需要进一步分析和处理断点形状、连接关系任务，基于边界框的方法存在局限性。
其次，不规则胶圈断点存在尺度、形状的变化。基于边界框的方法对于尺度变化和变形较大的断点的检测效果可能较差。这是因为边界框是一个矩形框，其大小是固定的。当断点在不同尺度下出现时，边界框可能无法准确地覆盖断点的真实尺寸。如果断点较小，边界框可能会过大而包含周围无关的区域；而如果断点较大，边界框可能会过小而无法完全覆盖断点。这导致在不同尺度下的断点检测效果不准确。
最后，虽然传统的基于边界框的方法可以处理胶圈边界，但是无法很好的捕捉到胶圈边界的曲线形状和细节。原因是因为边界框是一个矩形，它无法很好的适应胶圈边界的曲线形状。在胶圈边界曲线非常复杂或有细微的变化时，边界框可能无法准确地捕捉到每个细节。这样就会导致精度的限制，和数据丢失。
综上所述，对于不规则胶圈的缺陷检测，单纯使用目标检测方法面临一些挑战。需要结合其他技术和方法，并综合考虑线路长度、边界模糊、断点多样性等因素，以提高检测效果和准确性。本发明提供的实施例以电驱缸体上涂抹的不规则胶圈缺陷检测为例采用以下一种基于不规则胶圈的缺陷检测方法。
如图1所示，包括如下步骤：
S1、获取待检测工件的原始图像，将所述原始图像输入训练好的神经网络中，进行目标检测，识别胶圈的位置，得到掩膜图像；
S2、利用掩膜图像对原始图像进行掩膜处理，得到待检测的推理图；
S3、将推理图按照预设的模板图像进行对齐，滤除胶圈内、外的多余部位，得到胶圈线路图；
S4、将所述胶圈线路图进行水平和垂直方向的切割，切割成四个区域；对每个区域进行垂直方向的投影，生成线路的投影图像；
S5、在投影图像中提取断点位置，根据垂直投影的y坐标，找到匹配的x坐标，确定断点位置坐标。
需要说明的是，由于本申请中的胶圈与电驱缸适配，在获取的原始图像中，多是包含胶圈，电驱缸的缸体以及电驱缸内部结构的图像，而胶圈只是存在于缸体边缘位置的细窄线条，在此种原始图像中进行目标识别的难度非常大，而不同型号的电驱缸，所采用的胶圈的形状大小都有差异，因此在进行断点识别时，需要对原始图像进行掩膜对齐后，才能有效过滤大部分噪声数据，而掩膜过程则是能保留胶圈的完整弯曲细节和边缘细节的重要环节。
需要进一步解释的是，在现有的常规方案中，多是基于边框的方法将目标物体框起来，这种方法并不关心目标物体的形状和轮廓，也就是说常规的基于边框的方法可能会将整个胶圈框起来。且最重要的是，常规这种方法并不能提供胶圈断点的具体信息，这里指的具体信息可以是断点的具***置信息；这是因为基于边框的方法只能表示目标物体的外接矩形，并不能捕捉到物体内部的详细信息和详细结构。本申请中对断点进行了坐标信息的收集，明确了断点的位置信息，后续可以更准确的把断点位置清晰的画出来，标明断点位置。
所述神经网络的训练过程包括以下步骤：
S101、将原始图像进行标注，根据图像的标注信息将原始图像分割成多个小图像；所述标注过程为：通过VIA网站对原始图像进行手动标注，在原始图像中标注胶圈的轮廓，标注后，导出的信息就是胶圈的整体轮廓，以及轮廓上每个点的坐标信息，因此，获取了图像的标注信息时可以得到胶圈轮廓及坐标。根据这些标注信息，进行图像的切割。这种切割方法是一种不规则的切割，根据胶圈的线路来切割图像，将完整的胶圈线路切割成九个部分。
具体的切割方法是将一张大图像切割成九个小图像（在训练前已经切完），每个小图像在交界处会存在重叠的情况。为了处理这种重叠部分，采取了平均分配的方法。即将重叠部分的像素值平均分配给相邻两个小图像。这样可以避免在切割过程中丢失重要的胶圈像素信息。需要说明的是，具体进行处理时，将切割的信息是存在一个文件里，循环读取，也就是把一张图片循环一个一个切割成9个小图了，每切割一次就推理一次，并且同一个图片的九个小图的推理信息都存到一个数组中保存。然后生成一个掩码图片，这个掩码图片是与切割之前的图大小完全一样，并且全是0。再把推理出来的小图根据坐标的最大值（xmax，ymax）、最小值（xmin，ymin）的信息对应到掩码图上，由此实现推理出的结果与原始图像同等大小。
S102、将多个小图像作为数据集输入神经网络中，利用神经网络进行语义分割，将胶圈像素标记为1，背景像素标记为0，得到语义分割结果图；
S103、将每个小图像的语义分割结果图进行拼接，形成与原始图像大小相同的掩膜图像。 新掩膜图像只包含像素值0和1，用于表示胶圈和背景的区域。
通过这个过程，将分割后的小图像的语义分割结果重新组合成原始图像大小的掩膜图像。这样可以保持推理时的图像尺寸与原图一致，并确保胶圈和背景的语义信息在整个图像中得以保留，避免数据丢失影响识别精度。进行掩膜处理，得到待检测的推理图后，为了解决投影法在不规则图形中位于细小褶皱处的断点不清晰的问题，可以结合腐蚀操作进行处理。首先，定义一个3x3维度的结构元素框，其中的值为1。然后，利用cv2.erode函数，输入原始图像、结构元素和迭代步数，进行胶圈的腐蚀操作。
在腐蚀操作中，结构元素被应用于图像的每个像素，根据结构元素的形状和大小改变像素的值，并根据结构元素的像素值进行计算。腐蚀操作将每个像素的值更新为周围像素中最小值相匹配的值。由于较亮的像素（边界或轮廓）逐渐被周围较暗的像素腐蚀掉，因此边界或轮廓部分会变得更细或消失。这样可以放大不清晰或细小的断点和褶皱处。通过腐蚀操作去除了胶圈边界的不规则性，使断点更加清晰和明显。
通过结合投影法和腐蚀操作，可以在不规则胶圈检测中明显化不清晰或细小的断点和褶皱处的缺陷特征。腐蚀操作能够增强图像中的细节，使得断点和褶皱处更加显著。同时，考虑到不规则胶圈的厚度，正常情况下的胶圈检测不会受到腐蚀操作的影响。需要说明的是，此处的厚度，在图像上可以看成是胶圈的宽度，细小的缺陷通过腐蚀就可以变大，但是腐蚀的作用对于涂抹正常的胶圈是不会有影响的，仅是为了放大细小缺陷。
进一步，还包括对待检测推理图进行中值滤波，中值滤波方法通过cv2.medianBlur方法实现。Mask图像和窗口大小参数作为输入，在中值滤波操作中，会对图像中的每个像素使用中值滤波算法。通过中值滤波算法后可以去除图像中的噪声，从而提高检测算法的准确性和稳定性，去除噪声后，可以更容易地识别断点的位置。
如图2-3所示，在S3中，所述将推理图按照预设的模板图像进行对齐，根据缸体型号，需要将缸体边缘孔位对齐，因此将缸体的孔位作为标定点，具体包括以下步骤：
判断推理图上标定点的顺序与所述模板图像上标定点的顺序是否一致，若一致则将推理图上标定点的位置与所述模板图像上标定点的位置进行匹配；若不一致，则将推理图上标定点的顺序调整至与模板图像上标定点的顺序一致。
所述判断推理图上标定点的顺序与所述模板图像上标定点的顺序是否一致时，采用如下方法：
获取模板图像上所有的标定点，对所有标定点进行顺时针排序，按照排序结果，为每个标定点设置序号。
计算标定点顺时针排序后形成的不规则图形的中心位置；中心位置是指缸体上所有孔位坐标的中心点，具体来说可用mean()函数来确认。
根据中心位置，计算每个标定点位置相对于中心位置的极角值，按照序号进行排序；极角值，是以弧度为单位的逆时针角度，其表示每个孔位对于中心位置的角度偏移。
计算任意相邻的若干个推理图上标定点与中心位置的极角值，按照顺时针进行排序，按照模板图像的标定点序号顺序进行匹配。
具体计算时，使用np.arctan2函数计算每个孔位相对于圆心的极角值来实现。通过对所有孔位的极角值进行排序，可以实现顺时针的排序。
计算匹配后相对应的两个标定点之间的欧氏距离，根据得出的欧氏距离判断胶圈是否偏位。将模板图上的孔位与推理图中的孔位进行匹配。通过计算两个孔位之间的欧氏距离来判断它们是否对齐。可以通过获取两张图中对应孔位的位置信息，计算它们之间的欧氏距离，并使用预先设定的阈值来判断它们是否匹配上。计算两点之间的欧氏距离公式如下：
根据欧氏距离与预设阈值差值的正负，判断胶圈掉在缸体内，还是胶圈涂到孔内，从而得知胶圈是否偏位，只有按照上述过程进行对齐之后，才能胶圈外的多余部位滤除，得到胶圈线路图。
进一步优选的，滤除胶圈外的多余部位，得到胶圈线路图，包括如下步骤：
计算推理图与模板图像之间的对应点，根据对应点计算仿射变换的矩阵，使推理图与模板图像对齐，此处的对应点是计算推理图上的孔位和模板图像上的孔位对应；
使用位运算中的与运算和非运算，将缸体外的图像部分赋值为0，删除缸体外的部分。
在对齐计算和MASK重叠法形成胶圈线路图后，对胶圈线路图进行投影计算，寻找断点，包括以下过程：
首先，将胶圈线路图进行水平和垂直方向的切割，使得图像按设定的位置进行切割成四个区域，接着，针对每个区域，将胶圈线路投影到垂直方向上，生成线路的投影图像。
通过观察投影图像，如果胶圈存在断点，那么投影上去之后是一条直线，没线的地方则代表断点。而经过对图像进行掩膜和二值化处理之后，投影图像中，有胶条像素的位置是1，没有的地方是0，因此找到1到0的交界处和0到1的交界处，两个交界处之间就可以代表断点处了，因此，本方法可以清晰地看出胶圈断点的位置。
因为投影图像中，胶圈线路部分对应的像素值为1，无线部分对应的像素值为0。这样可以确定断点在垂直方向上的位置，即y坐标值。接下来，通过匹配的方法，获取每个断点位置对应的水平方向上的x坐标值，从而确定断点的具***置。
最后，为了确保标记出的断点框能够完整包围所有断裂处，可以应用像素膨胀的方法。通过设置适当的参数，对标记出的断点位置进行像素膨胀操作，使得断点框能够覆盖所有的断裂处。
本发明还提供一种基于不规则胶圈的缺陷检测***，在实施时，实现如上述基于不规则胶圈的缺陷检测方法的步骤，包括图像获取模块1、掩膜处理模块2、对齐模块3、投影模块4、断点检测模块5；
所述图像获取模块，用于获取待检测工件的原始图像；
所述掩膜处理模块，用于将所述原始图像输入训练好的神经网络中，进行目标检测，识别胶圈的位置，得到掩膜图像；利用掩膜图像对原始图像进行掩膜处理，得到待检测的推理图；
所述对齐模块，用于将推理图按照预设的模板图像进行对齐，滤除胶圈外多余部位，得到胶圈线路图；
所述投影模块用于将所述胶圈线路图进行水平和垂直方向的切割，切割成四个区域；对每个区域进行垂直方向的投影，生成线路的投影图像；
所述断点检测模块，用于在投影图像中提取像素为0的位置作为断点位置，根据垂直投影的y坐标，找到匹配的x坐标，确定断点位置坐标。本***实施例的具体实施过程包括所有对上述方法实施例的描述，在此不再赘述。
本发明还提供一种计算机存储介质，所述计算机存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上述基于不规则胶圈的缺陷检测方法的步骤。
本发明的通过结合语义分割和投影法，解决了传统的基于边界框的目标检测方法无法精确地检测不规则胶圈边缘，断点等问题。通过语义分割，可以将不规则胶圈投影成一条线，从而清晰地找到断点处的坐标位置。然后通过膨胀操作，画出断点的边界框，并确保每个框都能完美地框住胶圈断点。这样的方法能够完美地适应不规则胶圈的断点。
本发明主要是根据胶圈断点处的两个点进行边界框的绘制，通过对断点处的坐标进行扩张，绘制出符合胶圈断点的边界框。然后通过对齐法和mask重叠法，帮助投影法去除无用的数据，只保留正确胶圈线路上的胶线投影。由于传送带存在偏差，每次工件和胶圈都会有一定的偏差。通过对齐法可以解决这个偏差问题，使工件和胶圈能够更好地对齐。
在腐蚀操作中，边界处会逐渐被腐蚀，这样可以放大细小的断胶处，使其变得更加明显，从而提高检测的精度。
最后，采用中值滤波算法对图像进行处理。中值滤波可以去除图像中的噪音，并且平滑图像的细节。中值滤波对于局部突变的噪音具有很好的抑制效果，因为在滤波窗口内，噪音像素的值通常与周围像素的值存在较大差异，而中值操作可以有效地将这些噪音像素排除在外。通过对窗口内的像素值进行排序并取中值，中值滤波不考虑具体像素值的差异，从而抹平细节部分的高频变化，实现图像的平滑效果。
本申请中采用的神经网络模型是用faster rcnn训练出来的，并结合深度学习算法， 通过语义分割、投影法、膨胀操作、对齐法、mask重叠法、腐蚀操作和中值滤波算法等多种方法的组合应用，可以实现对不规则胶圈断点的精确检测，并提高检测结果的准确性和可靠性。
显然，上述实施例仅是为清楚地说明所作的举例，而并非对实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引伸出的显而易见的变化或变动仍处于本发明创造的保护范围之中。
本领域内的技术人员应明白，本申请的实施例可提供为方法、***、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、CD-ROM、光学存储器等）上实施的计算机程序产品的形式。

Claims (7)

1.一种基于不规则胶圈的缺陷检测方法，其特征在于，包括如下步骤：
获取待检测工件的原始图像，将所述原始图像输入训练好的神经网络中，进行目标检测，识别胶圈的位置，得到掩膜图像；
利用掩膜图像对原始图像进行掩膜处理，得到待检测的推理图；
将推理图按照预设的模板图像进行对齐，滤除胶圈外多余部位，得到胶圈线路图；所述将推理图按照预设的模板图像进行对齐，包括以下步骤：
判断推理图上标定点的顺序与所述模板图像上标定点的顺序是否一致，若一致则将推理图上标定点的位置与所述模板图像上标定点的位置进行匹配；若不一致，则将推理图上标定点的顺序调整至与模板图像上标定点的顺序一致；
所述判断推理图上标定点的顺序与所述模板图像上标定点的顺序是否一致时，采用如下方法：获取模板图像上所有的标定点，对所有标定点进行顺时针排序，按照排序结果，为每个标定点设置序号；计算标定点顺时针排序后形成的不规则图形的中心位置；根据中心位置，计算每个标定点位置相对于中心位置的极角值，按照序号进行排序；计算任意相邻的若干个推理图上标定点与中心位置的极角值，按照顺时针进行排序，按照模板图像的标定点序号顺序进行匹配；计算匹配后相对应的两个标定点之间的欧氏距离，根据得出的欧氏距离判断胶圈是否对齐；
所述滤除胶圈外多余部位，得到胶圈线路图，包括计算推理图与模板图像之间的对应点，根据对应点计算仿射变换的矩阵，使推理图上的孔位和模板图像上的孔位对应；使用位运算中的与运算和非运算，将缸体外的图像部分赋值为0，删除缸体外的部分，得到胶圈线路图；
将所述胶圈线路图进行水平和垂直方向的切割，切割成四个区域；对每个区域进行垂直方向的投影，生成胶圈线路的投影图像；
在投影图像中提取断点位置，根据垂直投影的y坐标，找到匹配的x坐标，确定断点位置坐标。
2.根据权利要求1所述的基于不规则胶圈的缺陷检测方法，其特征在于，所述神经网络的训练过程包括以下步骤：
S101、将原始图像进行标注，根据图像的标注信息将原始图像分割成多个小图像；
S102、将多个小图像作为数据集输入神经网络中，利用神经网络进行语义分割，将胶圈像素标记为1，背景像素标记为0，得到语义分割结果图；
S103、将每个小图像的语义分割结果图进行拼接，形成与原始图像大小相同的掩膜图像。
3.根据权利要求1所述的基于不规则胶圈的缺陷检测方法，其特征在于：得到待检测的推理图后，还包括对胶圈进行形态学运算。
4.根据权利要求3所述的基于不规则胶圈的缺陷检测方法，其特征在于，所述形态学运算，包括对胶圈进行腐蚀操作：
定义一个3x3维度的结构元素框，并赋值为1；
利用cv2.erode函数，输入原始图像、结构元素和迭代步数，进行腐蚀；
将每个像素的值更新为周围像素中最小值相匹配的值，将胶圈轮廓变细，放大不清晰或细小的断点。
5.根据权利要求4所述的基于不规则胶圈的缺陷检测方法，其特征在于：得到待检测的推理图后，还包括对推理图中的像素进行中值滤波。
6.一种基于不规则胶圈的缺陷检测***，其特征在于，在实施时，实现如上述权利要求1-5中任意一项所述的基于不规则胶圈的缺陷检测方法的步骤，包括图像获取模块、掩膜处理模块、对齐模块、投影模块、断点检测模块；
所述图像获取模块，用于获取待检测工件的原始图像；
所述掩膜处理模块，用于将所述原始图像输入训练好的神经网络中，进行目标检测，识别胶圈的位置，得到掩膜图像；利用掩膜图像对原始图像进行掩膜处理，得到待检测的推理图；
所述对齐模块，用于将推理图按照预设的模板图像进行对齐，滤除胶圈外的多余部位，得到胶圈线路图；
所述投影模块用于将所述胶圈线路图进行水平和垂直方向的切割，切割成四个区域；对每个区域进行垂直方向的投影，生成线路的投影图像；
所述断点检测模块，用于在投影图像中提取断点位置，根据垂直投影的y坐标，找到匹配的x坐标，确定断点位置坐标。
7.一种计算机存储介质，其特征在于，所述计算机存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至5中任一项所述基于不规则胶圈的缺陷检测方法的步骤。
CN202311013223.7A 2023-08-14 2023-08-14 基于不规则胶圈的缺陷检测方法及*** Active CN116740062B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311013223.7A CN116740062B (zh) 2023-08-14 2023-08-14 基于不规则胶圈的缺陷检测方法及***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311013223.7A CN116740062B (zh) 2023-08-14 2023-08-14 基于不规则胶圈的缺陷检测方法及***

Publications (2)

Publication Number Publication Date
CN116740062A CN116740062A (zh) 2023-09-12
CN116740062B true CN116740062B (zh) 2023-10-27

Family

ID=87911731

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311013223.7A Active CN116740062B (zh) 2023-08-14 2023-08-14 基于不规则胶圈的缺陷检测方法及***

Country Status (1)

Country Link
CN (1) CN116740062B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117670876B (zh) * 2024-01-31 2024-05-03 成都数之联科技股份有限公司 一种面板缺陷严重程度判级方法、***、设备及存储介质

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106407917A (zh) * 2016-09-05 2017-02-15 山东大学 基于动态尺度分配的视网膜血管提取方法及***
CN111080631A (zh) * 2019-12-20 2020-04-28 中国烟草总公司北京市公司 一种拼接影像楼面缺陷检测的故障定位方法及***
CN112344879A (zh) * 2020-09-29 2021-02-09 联想(北京)有限公司 一种胶路的检测方法、装置及设备
KR20210041305A (ko) * 2019-10-07 2021-04-15 현대엠엔소프트 주식회사 차선 추출 장치 및 방법
CN113706464A (zh) * 2021-07-22 2021-11-26 西安交通大学 一种印刷品外观质量检测方法及***
KR20210150834A (ko) * 2020-06-04 2021-12-13 한국생산기술연구원 제품 구조 예측 기술을 이용한 딥러닝 기반 결함 검사 장치 및 방법
CN114384080A (zh) * 2022-03-23 2022-04-22 武汉理工大学 一种橡胶圈缺陷批量检测方法及检测***
CN115375952A (zh) * 2022-10-18 2022-11-22 沃图水泵(上海)有限公司江苏分公司 一种芯片胶层缺陷分类方法
CN115546167A (zh) * 2022-10-17 2022-12-30 辽宁工程技术大学 一种基于拓扑连接性的深度学习道路提取结果优化方法
CN116452809A (zh) * 2023-04-23 2023-07-18 东南大学 一种基于语义分割的线条物体提取方法

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106407917A (zh) * 2016-09-05 2017-02-15 山东大学 基于动态尺度分配的视网膜血管提取方法及***
KR20210041305A (ko) * 2019-10-07 2021-04-15 현대엠엔소프트 주식회사 차선 추출 장치 및 방법
CN111080631A (zh) * 2019-12-20 2020-04-28 中国烟草总公司北京市公司 一种拼接影像楼面缺陷检测的故障定位方法及***
KR20210150834A (ko) * 2020-06-04 2021-12-13 한국생산기술연구원 제품 구조 예측 기술을 이용한 딥러닝 기반 결함 검사 장치 및 방법
CN112344879A (zh) * 2020-09-29 2021-02-09 联想(北京)有限公司 一种胶路的检测方法、装置及设备
CN113706464A (zh) * 2021-07-22 2021-11-26 西安交通大学 一种印刷品外观质量检测方法及***
CN114384080A (zh) * 2022-03-23 2022-04-22 武汉理工大学 一种橡胶圈缺陷批量检测方法及检测***
CN115546167A (zh) * 2022-10-17 2022-12-30 辽宁工程技术大学 一种基于拓扑连接性的深度学习道路提取结果优化方法
CN115375952A (zh) * 2022-10-18 2022-11-22 沃图水泵(上海)有限公司江苏分公司 一种芯片胶层缺陷分类方法
CN116452809A (zh) * 2023-04-23 2023-07-18 东南大学 一种基于语义分割的线条物体提取方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
"光电成像芯片封装过程点胶质量视觉检测方法研究";张浩;《中国优秀硕士学位论文全文数据库信息科技辑》;全文 *
"橡胶圈尺寸及缺陷检测***研究";黄连;《中国优秀硕士学位论文全文数据库工程科技辑》;全文 *

Also Published As

Publication number Publication date
CN116740062A (zh) 2023-09-12

Similar Documents

Publication Publication Date Title
CN116740062B (zh) 基于不规则胶圈的缺陷检测方法及***
CN111507055B (zh) 电路设计版图和电镜扫描图像的配准方法及***、电路设计版图和其成像误差计算方法
CN116542945B (zh) 晶圆图像分割处理方法、电子设备及存储介质
CN107356213B (zh) 滤光片同心度测量方法及终端设备
CN112598922A (zh) 车位检测方法、装置、设备及存储介质
CN114266764A (zh) 一种印刷标签的字符完整性检测方法及其装置
JP7170605B2 (ja) 欠陥検査装置、欠陥検査方法、およびプログラム
CN115937003A (zh) 图像处理方法、装置、终端设备和可读存储介质
CN113705564B (zh) 一种指针式仪表识别读数方法
CN114936997A (zh) 检测方法、装置、电子设备及可读存储介质
JP2003216931A (ja) 特定パターン認識方法、特定パターン認識プログラム、特定パターン認識プログラム記録媒体および特定パターン認識装置
Collins et al. Site model acquisition and extension from aerial images
CN110175999A (zh) 一种位姿检测方法、***及装置
CN111340040B (zh) 一种纸张字符识别方法、装置、电子设备及存储介质
CN113763279A (zh) 一种具有矩形框图像的精确校正处理方法
CN112184723A (zh) 图像处理方法及装置、电子设备、存储介质
CN115511966B (zh) 基于角点检测的元件识别定位方法及***、存储介质
JP2011107878A (ja) 位置検出装置、位置検出方法
CN115984144A (zh) 一种数据水印处理方法
CN115112098A (zh) 一种单目视觉的一维二维测量方法
CN114841943A (zh) 一种零件检测方法、装置、设备及存储介质
CN109784121B (zh) Dot-peen DPM码的识别方法及装置
CN114677552A (zh) 用于深度学习的指纹细节数据库标注方法和***
CN114120320A (zh) 一种图像多目标信息识别方法、***及介质
CN113658095A (zh) 用于手工仪器绘图的工程图样评阅识别处理方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant