CN117291914A - 汽车零部件缺陷检测方法、***、计算机及存储介质 - Google Patents

汽车零部件缺陷检测方法、***、计算机及存储介质 Download PDF

Info

Publication number
CN117291914A
CN117291914A CN202311576325.XA CN202311576325A CN117291914A CN 117291914 A CN117291914 A CN 117291914A CN 202311576325 A CN202311576325 A CN 202311576325A CN 117291914 A CN117291914 A CN 117291914A
Authority
CN
China
Prior art keywords
image
detection
characteristic image
outputting
value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202311576325.XA
Other languages
English (en)
Other versions
CN117291914B (zh
Inventor
万见
涂子文
刘志坚
金飞
李文祥
朱志豪
陈松
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanchang Jiangling Huaxiang Auto Parts Co ltd
Original Assignee
Nanchang Jiangling Huaxiang Auto Parts Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanchang Jiangling Huaxiang Auto Parts Co ltd filed Critical Nanchang Jiangling Huaxiang Auto Parts Co ltd
Priority to CN202311576325.XA priority Critical patent/CN117291914B/zh
Publication of CN117291914A publication Critical patent/CN117291914A/zh
Application granted granted Critical
Publication of CN117291914B publication Critical patent/CN117291914B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • G06N3/0455Auto-encoder networks; Encoder-decoder networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/0464Convolutional networks [CNN, ConvNet]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/136Segmentation; Edge detection involving thresholding
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/26Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/28Quantising the image, e.g. histogram thresholding for discrimination between background and foreground patterns
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/50Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
    • G06V10/507Summing image-intensity values; Histogram projection analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30108Industrial image inspection
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02PCLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种汽车零部件缺陷检测方法、***、计算机及存储介质,所述方法包括获取汽车零部件的摄像图像,利用预处理流程对所述摄像图像进行预处理,利用拟合公式将预处理的所述摄像图像进行拟合,以剔除所述汽车零部件以外的环境因数得到检测图像;利用梯度公式计算所述检测图像的梯度值方向,并将所述检测图像划分为若干计算图像,根据所述梯度值方向绘制每一所述计算图像的像素点的直方图;基于信息熵赋予所述直方图的梯度不同的权重系数,将赋予不同权重系数的若干所述直方图归一化为一特征图像,建立并训练基于深度学习的双模块检测模型,将剔除处理的所述特征图像输入到所述检测模型,输出所述特征图像的检测结果,提高检测的准确度。

Description

汽车零部件缺陷检测方法、***、计算机及存储介质
技术领域
本发明属于车检测技术领域,具体地涉及汽车零部件缺陷检测方法、***、计算机及存储介质。
背景技术
随着人们生活水平的提高,人们对汽车的消费也越来越多,汽车零部件的这个市场变得也越来越大。汽车零部件是构成汽车整体的各个单元及服务于汽车的一种产品。汽车零部件的种类繁多,近些年来汽车零部件制造厂也在飞速地发展。在汽车零部件的生产加工中,对汽车零部件进行表面缺陷检测是必不可少的一道工序。
目前是主要通过视觉扫描检测仪对汽车零部件进行扫描检测以判定其表面缺陷状况,但是现有的扫描检测仪无法排除检测环境的影响,导致检测效果不佳。
发明内容
为了解决上述技术问题,本发明提供了汽车零部件缺陷检测方法、***、计算机及存储介质***,用于解决现有的扫描检测仪无法排除检测环境的影响,导致检测效果不佳的技术问题。
一方面,该发明提供以下技术方案,一种汽车零部件缺陷检测方法,所述方法包括:
获取汽车零部件的摄像图像,利用预处理流程对所述摄像图像进行预处理,利用拟合公式将预处理的所述摄像图像进行拟合,以剔除所述汽车零部件以外的环境因数得到检测图像;
利用梯度公式计算所述检测图像的梯度值方向,并将所述检测图像划分为若干计算图像,根据所述梯度值方向绘制每一所述计算图像的像素点的直方图;
基于信息熵赋予所述直方图的梯度不同的权重系数,将赋予不同权重系数的若干所述直方图归一化为一特征图像,并利用主成分分析法对所述特征图像进行剔除处理;
建立并训练基于深度学习的双模块检测模型,将剔除处理的所述特征图像输入到所述检测模型,输出所述特征图像的检测结果。
相比现有技术,本申请的有益效果为:通过拟合公式对图像的进行拟合,以剔除所述汽车零部件以外的环境因数,得到检测图像,使除汽车零部件外其他环境类的图像被排除,提高检测的准确度。
进一步的,利用拟合公式将预处理的所述摄像图像进行拟合,以剔除所述汽车零部件以外的环境因数得到检测图像的步骤之前,所述方法还包括:
利用Canny算子对所述摄像图像中的边缘信息进行检测,获得所述汽车零部件的边缘信息;
计算所述汽车零部件边缘信息的圆度,判断所述圆度是否大于第一阈值,若所述圆度小于所述第一阈值,则将所述汽车零部件边缘信息排除。
进一步的,所述拟合公式为:
式中,,/>,/>,/>,/>分别表示为检测图像的坐标,/>表示为(1,2,3…N),/>表示为圆的圆心,/>表示为圆的半径,/>表示为关于变量x,y,z的函数M。
进一步的,主成分分析法的步骤包括:
获取所述特征图像的协方差矩阵,并对所述协方差矩阵对角化运算;
提取运算后所述协方差矩阵对角线上的向量值,并以所述向量值构成所述特征图像的特征向量。
进一步的,所述梯度公式包括:
式中,表示为图像的像素点(/>)的水平方向像素值变化,/>表示为图像的像素点(/>)的垂直方向像素值变化,/>表示为图像的像素点()的梯度值的方向。
进一步的,将剔除处理的所述特征图像输入到所述检测模型,输出所述特征图像的检测结果的步骤还包括:
若所述判断值小于第二阈值,则将所述判断值依次输入所述卷积神经网络、所述随机丢失网络及所述前馈神经网络中,输出一预测结果。
进一步的,获取汽车零部件的摄像图像的步骤包括:
在待采集汽车零部件的一侧设置摄像机及若干补光灯,其中若干所述补光灯环形阵列设于所述摄像机的外侧;
所述摄像机获取汽车零部件视频图像,间隔预设时间截取所述视频图像中的一帧图像,将相邻时间内的两帧图像进行差分运算,以获得所述摄像图像。
第二方面,该发明提供以下技术方案,所述汽车零部件缺陷检测***包括:
拟合模块,用于获取汽车零部件的摄像图像,利用预处理流程对所述摄像图像进行预处理,利用拟合公式将预处理的所述摄像图像进行拟合,以剔除所述汽车零部件以外的环境因数得到检测图像;
计算模块,用于利用梯度公式计算所述检测图像的梯度值方向,并将所述检测图像划分为若干计算图像,根据所述梯度值方向绘制每一所述计算图像的像素点的直方图;
剔除模块,用于基于信息熵赋予所述直方图的梯度不同的权重系数,将赋予不同权重系数的若干所述直方图归一化为一特征图像,并利用主成分分析法对所述特征图像进行剔除处理;
检测模块,用于建立并训练基于深度学习的双模块检测模型,将剔除处理的所述特征图像输入到所述检测模型,输出所述特征图像的检测结果,其中,所述双模块包括检测模块和预测模块,所述检测模块包括自编码器及损失函数,所述预测模块包括卷积神经网络、随机丢失网络及前馈神经网络;将剔除处理的所述特征图像输入到所述检测模型,输出所述特征图像的检测结果的步骤包括:将所述特征图像输入到所述自编码器内进行重构,重构后的特征图像与所述特征图像一同输入到所述损失函数中,输出一判断值;判断所述判断值是否大于第二阈值,若所述判断值大于第二阈值,则输出所述特征图像有故障。
第三方面,该发明提供以下技术方案,一种计算机,包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现如上述的汽车零部件缺陷检测方法。
第四方面,该发明提供以下技术方案,一种存储介质,所述存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现如上述的汽车零部件缺陷检测方法。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本发明第一实施例提供的汽车零部件缺陷检测方法的流程图;
图2为本发明第一实施例提供的汽车零部件缺陷检测方法的双模块检测模型的结构示意图;
图3为本发明第二实施例提供的汽车零部件缺陷检测方法的流程图;
图4为本发明第三实施例提供的汽车零部件缺陷检测***的结构框图;
图5为本发明第四实施例提供的计算机的硬件结构示意图。
以下将结合附图对本发明实施例作进一步说明。
具体实施方式
下面详细描述本发明的实施例,所述实施例的示例在附图中示出,其中自始至终相同或类似的标号数据表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的,旨在用于解释本发明的实施例,而不能理解为对本发明的限制。
在本发明实施例的描述中,需要理解的是,术语“长度”、“宽度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述本发明实施例和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本发明的限制。
此外,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明实施例的描述中,“多个”的含义是两个或两个以上,除非另有明确具体的限定。
实施例一
在本发明的第一个实施例中,如图1和图2所示,一种汽车零部件缺陷检测方法,包括以下步骤S01至步骤S04:
S01,获取汽车零部件的摄像图像,利用预处理流程对所述摄像图像进行预处理,利用拟合公式将预处理的所述摄像图像进行拟合,以剔除所述汽车零部件以外的环境因数得到检测图像;
其中,获取汽车零部件的摄像图像的步骤包括:
在待采集汽车零部件的一侧设置摄像机及若干补光灯,其中若干所述补光灯环形阵列设于所述摄像机的外侧;所述摄像机获取汽车零部件视频图像,间隔预设时间截取所述视频图像中的一帧图像,将相邻时间内的两帧图像进行差分运算,以获得所述摄像图像,其中,将将相邻时间内的两帧图像进行差分运算,是为了防止获取的汽车零部件不是同一个汽车零部件,比如在车轮工作过程中,车轮是运动的。
其中,预处理流程包括依次对摄像图像进行图像灰度化、图像去噪声、及图像增强,具体的,使用最大值法进行图像灰度化,然后使用高斯滤波对灰度图像进行平滑去除图像噪声,最后采用分段线性灰度变换增强图像对比度,使摄像图像轮廓更加清晰。
所述拟合公式为:
式中,,/>,/>,/>,/>分别表示为检测图像的坐标,/>表示为(1,2,3…N),/>表示为圆的圆心,/>表示为圆的半径,/>表示为关于变量x,y,z的函数M。
具体的;
可知圆的曲线方程表示为:
展开可得:
,/>,/>,将其代入展开后的曲线方程中可得,
设摄像图像的二维坐标为(),k∈(1,2,3…N),检测图像的边缘上点到圆心的距离为Ek,则有/>
其中,摄像图像上的点()到检测图像的边缘上的平方与检测图像半径平方的差为:/>
则,的平方和/>
通过求的最小值,则可以得到了检测图像(汽车零部件)的参数;
值得说明的是,所述检测图像具为汽车零部件图像,通过拟合公式可以将检测图像从所述摄像图像中拟合得到检测图像(汽车零部件图像)。若干所述补光灯环形阵列的设置,便于提高图像的采集。
在本实施例中,差分运算是将两张图像中会出现前后两张图像中汽车零部件识别框个数不同的情况,需要对其进行判定,去掉多余的汽车零部件识别框,保证前后两帧图像中同一汽车零部件相对应。
值得说明的是,汽车零部件缺陷检测方法适用于待检测的圆形零部件,比如车轮、飞轮、压盘、台车车轮等有关圆形的零部件。举例说明,在生产车间中会使用到各种运输车辆对生产中的部件进行运输,通过汽车零部件缺陷检测方法获取工作过程中车辆车轮的图像,然后对其进行缺陷检测,如果发现有缺陷则立刻停下,对车轮进行再次检测或者更换车轮,如果没有缺陷,则也可以通过双模块检测模型进行预测,及对工作过程中的台车轮进行检测,其中,台车轮和台车身共同在轨道上运行,台车轮运作时的承重不仅包括本体的重量,还包括物料的重量。台车轮是台车运行的关键部件之一,其工作状态是否良好,对整个生产流程的稳定性具有很大的影响。若车轮出现缺陷,不能及时发现缺陷并及时进行处理,则可能出现事故,所以对台车轮的检测和预测是非常重要的,等等。
S02,利用梯度公式计算所述检测图像的梯度值方向,并将所述检测图像划分为若干计算图像,根据所述梯度值方向绘制每一所述计算图像的像素点的直方图;
其中,所述梯度公式包括:
其中,图像像素点()的梯度幅值计算公式为:
式中,表示为图像的像素点(/>)的水平方向像素值变化,/>表示为图像的像素点(/>)的垂直方向像素值变化,/>表示为图像的像素点()的梯度值的方向,/>表示图像像素点(/>)的梯度幅值。
S03,基于信息熵赋予所述直方图的梯度不同的权重系数,将赋予不同权重系数的若干所述直方图归一化为一特征图像,并利用主成分分析法对所述特征图像进行剔除处理;
其中,信息熵是用来描述离散事件出现可能性的大小,是对不确定性的随机事件数字化描述。特征图像由赋予不同权重系数的若干所述直方图进行串联形成整幅。
主成分分析法的步骤包括:
获取所述特征图像的协方差矩阵,并对所述协方差矩阵对角化运算;
提取运算后所述协方差矩阵对角线上的向量值,并以所述向量值构成所述特征图像的特征向量;
值得说明的是,为减少特征图像提取的数据量,提升计算效率,用主成分分析法对特征图像提取的数据进行降维,剔除数组中信息量少的数据,使权重较大的数据在描述特征时更加明显突出,从而提高运算速度。主成分分析法对特征图像降维是利用特征图像提取的数据组成的协方差矩阵,对协方差矩阵对角化运算,提取特征向量,这样就达到优化的目的。其中在本实施例中,主成分分析法为PCA算法。
S04,建立并训练基于深度学习的双模块检测模型,将剔除处理的所述特征图像输入到所述检测模型,输出所述特征图像的检测结果。
其中,所述双模块包括检测模块和预测模块,所述检测模块包括自编码器及损失函数,所述预测模块包括卷积神经网络、随机丢失网络及前馈神经网络;
将剔除处理的所述特征图像输入到所述检测模型,输出所述特征图像的检测结果的步骤包括:
将所述特征图像输入到所述自编码器内进行重构,重构后的特征图像与所述特征图像一同输入到所述损失函数中,输出一判断值;
判断所述判断值是否大于第二阈值,若所述判断值大于第二阈值,则输出所述特征图像有故障;
值得说明的是,在判断值越大时,则表明汽车零部件此时刻的状态越不正常,反之越正常,所以通过一个第二阈值,来判断他是否正常,如果超过该第二阈值,则需要对汽车零部件进行改换。在本实施例中,卷积神经网络可以为1DCNN。
另外在检测模型的训练的过程中,因为检测模型包括有双模块,即为两个神经网络组成,因此需要进行两次训练。
综上,通过拟合公式对图像的进行拟合,以剔除所述汽车零部件以外的环境因数,得到检测图像,使除汽车零部件外其他环境类的图像被排除,提高检测的准确度了,通过对特征图像进行剔除处理,提高了剔除数组中信息量少的数据,提高了计算效率。
实施例二
如图3所示,在本发明的第二个实施例提供了一种汽车零部件缺陷检测方法,本实施例二提供的汽车零部件缺陷检测方法与实施例一提供的汽车零部件缺陷检测方法的不同之处在于:包括步骤S11~步骤S13;
S11,利用Canny算子对所述摄像图像中的边缘信息进行检测,获得所述汽车零部件的边缘信息;
S12,计算所述汽车零部件边缘信息的圆度,判断所述圆度是否大于第一阈值,若所述圆度小于所述第一阈值,则将所述汽车零部件边缘信息排除。
具体的,使用Canny算子进行边缘检测,获得有关拼所述摄像图像边缘轮廓信息的二值图像。中通过计算边缘轮廓信息的连通域,将二值图像分割成不相通的区域,方便对轮廓信息的处理。通过计算所有轮廓信息的圆度,设定一个第一阈值,将圆度过低的曲线排除,防止影响拟合圆的精度。值得说明的是,通过计算所述二值图像的连通域的设置,便于对轮廓信息的处理,将圆度过低的曲线排除,防止影响拟合圆的精度。
S13,若所述判断值小于第二阈值,则将所述判断值依次输入所述卷积神经网络、所述随机丢失网络及所述前馈神经网络中,输出一预测结果。
值得说明的是,当判断值小于第二阈值时,则可以将所述判断值继续输入到预测模块中,给出一个预测的结果,便于后期对汽车零部件检测或者更换。
综上,通过计算所述二值图像的连通域的设置,便于对轮廓信息的处理,将圆度过低的曲线排除,防止影响拟合圆的精度,通过将所述判断值继续输入到预测模块中,给出一个预测的结果,便于后期对汽车零部件检测或者更换。
实施例三
如图4所示,在本发明的第三个实施例提供了汽车零部件缺陷检测***,包括:
拟合模块10,用于获取汽车零部件的摄像图像,利用预处理流程对所述摄像图像进行预处理,利用拟合公式将预处理的所述摄像图像进行拟合,以剔除所述汽车零部件以外的环境因数得到检测图像;
计算模块20,用于利用梯度公式计算所述检测图像的梯度值方向,并将所述检测图像划分为若干计算图像,根据所述梯度值方向绘制每一所述计算图像的像素点的直方图;
剔除模块30,用于基于信息熵赋予所述直方图的梯度不同的权重系数,将赋予不同权重系数的若干所述直方图归一化为一特征图像,并利用主成分分析法对所述特征图像进行剔除处理;
检测模块40,用于建立并训练基于深度学习的双模块检测模型,将剔除处理的所述特征图像输入到所述检测模型,输出所述特征图像的检测结果,其中,所述双模块包括检测模块和预测模块,所述检测模块包括自编码器及损失函数,所述预测模块包括卷积神经网络、随机丢失网络及前馈神经网络;将剔除处理的所述特征图像输入到所述检测模型,输出所述特征图像的检测结果的步骤包括:将所述特征图像输入到所述自编码器内进行重构,重构后的特征图像与所述特征图像一同输入到所述损失函数中,输出一判断值;判断所述判断值是否大于第二阈值,若所述判断值大于第二阈值,则输出所述特征图像有故障。
在一些可选实施例中,所述***还包括:
边缘模块,用于利用Canny算子对所述摄像图像中的边缘信息进行检测,获得所述汽车零部件的边缘信息;计算所述汽车零部件边缘信息的圆度,判断所述圆度是否大于第一阈值,若所述圆度小于所述第一阈值,则将所述汽车零部件边缘信息排除。
在一些可选实施例中,所述拟合模块10包括:
拟合单元,用于所述拟合公式为:
式中,,/>,/>,/>,/>分别表示为检测图像的坐标,/>表示为(1,2,3…N),/>表示为圆的圆心,/>表示为圆的半径,/>表示为关于变量x,y,z的函数M。
在一些可选实施例中,所述剔除模块30包括:
特征单元,用于获取所述特征图像的协方差矩阵,并对所述协方差矩阵对角化运算;提取运算后所述协方差矩阵对角线上的向量值,并以所述向量值构成所述特征图像的特征向量。
在一些可选实施例中,所述计算模块20包括:
梯度单元,用于所述梯度公式包括:
式中,表示为图像的像素点(/>)的水平方向像素值变化,/>表示为图像的像素点(/>)的垂直方向像素值变化,/>表示为图像的像素点()的梯度值的方向。
在一些可选实施例中,所述检测模块40包括:
输出单元,用于若所述判断值小于第二阈值,则将所述判断值依次输入所述卷积神经网络、所述随机丢失网络及所述前馈神经网络中,输出一预测结果。
在一些可选实施例中,所述拟合模块10包括:
读取单元,用于在待采集汽车零部件的一侧设置摄像机及若干补光灯,其中若干所述补光灯环形阵列设于所述摄像机的外侧;所述摄像机获取汽车零部件视频图像,间隔预设时间截取所述视频图像中的一帧图像,将相邻时间内的两帧图像进行差分运算,以获得所述摄像图像。
本发明实施例所提供的汽车零部件缺陷检测***,其实现原理及产生的技术效果和前述方法实施例相同,为简要描述,***实施例部分未提及之处,可参考前述方法实施例中相应内容。
实施例四
如图5所示,在本发明的第四实施例中,本发明实施例提供以下技术方案,一种计算机,包括存储器202、处理器201以及存储在所述存储器202上并可在所述处理器201上运行的计算机程序,所述处理器201执行所述计算机程序时实现如上所述的汽车零部件缺陷检测方法。
具体的,上述处理器201可以包括中央处理器(CPU),或者特定集成电路(Application Specific Integrated Circuit,简称为ASIC),或者可以被配置成实施本申请实施例的一个或多个集成电路。
其中,存储器202可以包括用于数据或指令的大容量存储器。举例来说而非限制,存储器202可包括硬盘驱动器(Hard Disk Drive,简称为HDD)、软盘驱动器、固态驱动器(Solid State Drive,简称为SSD)、闪存、光盘、磁光盘、磁带或通用串行总线(UniversalSerial Bus,简称为USB)驱动器或者两个或更多个以上这些的组合。在合适的情况下,存储器202可包括可移除或不可移除(或固定)的介质。在合适的情况下,存储器202可在数据处理装置的内部或外部。在特定实施例中,存储器202是非易失性(Non-Volatile)存储器。在特定实施例中,存储器202包括只读存储器(Read-Only Memory,简称为ROM)和随机存取存储器(Random Access Memory,简称为RAM)。在合适的情况下,该ROM可以是掩模编程的ROM、可编程ROM(Programmable Read-Only Memory,简称为PROM)、可擦除PROM(ErasableProgrammable Read-Only Memory,简称为EPROM)、电可擦除PROM(Electrically ErasableProgrammable Read-Only Memory,简称为EEPROM)、电可改写ROM(ElectricallyAlterable Read-Only Memory,简称为EAROM)或闪存(FLASH)或者两个或更多个以上这些的组合。在合适的情况下,该RAM可以是静态随机存取存储器(Static Random-AccessMemory,简称为SRAM)或动态随机存取存储器(Dynamic Random Access Memory,简称为DRAM),其中,DRAM可以是快速页模式动态随机存取存储器(Fast Page Mode DynamicRandom Access Memory,简称为FPMDRAM)、扩展数据输出动态随机存取存储器(ExtendedDate Out Dynamic Random Access Memory,简称为EDODRAM)、同步动态随机存取内存(Synchronous Dynamic Random-Access Memory,简称SDRAM)等。
存储器202可以用来存储或者缓存需要处理和/或通信使用的各种数据文件,以及处理器201所执行的可能的计算机程序指令。
处理器201通过读取并执行存储器202中存储的计算机程序指令,以实现上述汽车零部件缺陷检测方法。
在其中一些实施例中,计算机还可包括通信接口203和总线200。其中,如图5所示,处理器201、存储器202、通信接口203通过总线200连接并完成相互间的通信。
通信接口203用于实现本申请实施例中各模块、装置、单元和/或设备之间的通信。通信接口203还可以实现与其他部件例如:外接设备、图像/数据采集设备、数据库、外部存储以及图像/数据处理工作站等之间进行数据通信。
总线200包括硬件、软件或两者,将计算机的部件彼此耦接在一起。总线200包括但不限于以下至少之一:数据总线(Data Bus)、地址总线(Address Bus)、控制总线(ControlBus)、扩展总线(Expansion Bus)、局部总线(Local Bus)。举例来说而非限制,总线200可包括图形加速接口(Accelerated Graphics Port,简称为AGP)或其他图形总线、增强工业标准架构(Extended Industry Standard Architecture,简称为EISA)总线、前端总线(FrontSide Bus,简称为FSB)、超传输(Hyper Transport,简称为HT)互连、工业标准架构(Industry Standard Architecture,简称为ISA)总线、无线带宽(InfiniBand)互连、低引脚数(Lo万 Pin Count,简称为LPC)总线、存储器总线、微信道架构(Micro ChannelArchitecture,简称为MCA)总线、***组件互连(Peripheral Component Interconnect,简称为PCI)总线、PCI-Express(PCI-X)总线、串行高级技术附件(Serial AdvancedTechnology Attachment,简称为SATA)总线、视频电子标准协会局部(Video ElectronicsStandards Association Local Bus,简称为VLB)总线或其他合适的总线或者两个或更多个以上这些的组合。在合适的情况下,总线200可包括一个或多个总线。尽管本申请实施例描述和示出了特定的总线,但本申请考虑任何合适的总线或互连。
实施例五
在本发明的第五实施例中,结合上述的汽车零部件缺陷检测方法,本发明实施例提供以下技术方案,一种存储介质,所述存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现上述的汽车零部件缺陷检测方法。
本领域技术人员可以理解,在流程图中数据表示或在此以其他方式描述的逻辑和/或步骤,例如,可以被认为是用于实现逻辑功能的可执行指令的定序列数据表,可以具体实现在任何计算机可读介质中,以供指令执行***、装置或设备(如基于计算机的***、包括处理器的***或其他可以从指令执行***、装置或设备取指令并执行指令的***)使用,或结合这些指令执行***、装置或设备而使用。就本说明书而言,“计算机可读介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行***、装置或设备或结合这些指令执行***、装置或设备而使用的装置。
可读介质的更具体的示例(非穷尽性列数据表)包括以下:具有一个或多个布线的电连接部(电子装置),便携式计算机盘盒(磁装置),随机存取存储器(RAM),只读存储器(ROM),可擦除可编辑只读存储器(EPROM或闪速存储器),光纤装置,以及便携式光盘只读存储器(CDROM)。另外,计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质,因为可以例如通过对纸或其他介质进行光学扫描,接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序,然后将其存储在计算机存储器中。
应当理解,本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中,多个步骤或方法可以用存储在存储器中且由合适的指令执行***执行的软件或固件来实现。例如,如果用硬件来实现,和在另一实施方式中一样,可用本领域公知的下列技术中的任一项或它们的组合来实现:具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路,具有合适的组合逻辑门电路的专用集成电路,可编程门阵列(PGA),现场可编程门阵列(FPGA)等。
以上所述实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种汽车零部件缺陷检测方法,其特征在于,所述方法包括:
获取汽车零部件的摄像图像,利用预处理流程对所述摄像图像进行预处理,利用拟合公式将预处理的所述摄像图像进行拟合,以剔除所述汽车零部件以外的环境因数得到检测图像;
利用梯度公式计算所述检测图像的梯度值方向,并将所述检测图像划分为若干计算图像,根据所述梯度值方向绘制每一所述计算图像的像素点的直方图;
基于信息熵赋予所述直方图的梯度不同的权重系数,将赋予不同权重系数的若干所述直方图归一化为一特征图像,并利用主成分分析法对所述特征图像进行剔除处理;
建立并训练基于深度学习的双模块检测模型,将剔除处理的所述特征图像输入到所述检测模型,输出所述特征图像的检测结果;
其中,所述双模块包括检测模块和预测模块,所述检测模块包括自编码器及损失函数,所述预测模块包括卷积神经网络、随机丢失网络及前馈神经网络;
将剔除处理的所述特征图像输入到所述检测模型,输出所述特征图像的检测结果的步骤包括:
将所述特征图像输入到所述自编码器内进行重构,重构后的特征图像与所述特征图像一同输入到所述损失函数中,输出一判断值;
判断所述判断值是否大于第二阈值,若所述判断值大于第二阈值,则输出所述特征图像有故障。
2.根据权利要求1所述的汽车零部件缺陷检测方法,其特征在于,利用拟合公式将预处理的所述摄像图像进行拟合,以剔除所述汽车零部件以外的环境因数得到检测图像的步骤之前,所述方法还包括:
利用Canny算子对所述摄像图像中的边缘信息进行检测,获得所述汽车零部件的边缘信息;
计算所述汽车零部件边缘信息的圆度,判断所述圆度是否大于第一阈值,若所述圆度小于所述第一阈值,则将所述汽车零部件边缘信息排除。
3.根据权利要求1所述的汽车零部件缺陷检测方法,其特征在于,所述拟合公式为:
式中,,/>,/>,/>,/>分别表示为检测图像的坐标,/>表示为(1,2,3…N),/>表示为圆的圆心,/>表示为圆的半径,/>表示为关于变量x,y,z的函数M。
4.根据权利要求1所述的汽车零部件缺陷检测方法,其特征在于,主成分分析法的步骤包括:
获取所述特征图像的协方差矩阵,并对所述协方差矩阵对角化运算;
提取运算后所述协方差矩阵对角线上的向量值,并以所述向量值构成所述特征图像的特征向量。
5.根据权利要求1所述的汽车零部件缺陷检测方法,其特征在于,所述梯度公式包括:
式中,表示为图像的像素点(/>)的水平方向像素值变化,/>表示为图像的像素点(/>)的垂直方向像素值变化,/>表示为图像的像素点(/>)的梯度值的方向。
6.根据权利要求1所述的汽车零部件缺陷检测方法,其特征在于,
将剔除处理的所述特征图像输入到所述检测模型,输出所述特征图像的检测结果的步骤还包括:
若所述判断值小于第二阈值,则将所述判断值依次输入所述卷积神经网络、所述随机丢失网络及所述前馈神经网络中,输出一预测结果。
7.根据权利要求1所述的汽车零部件缺陷检测方法,其特征在于,获取汽车零部件的摄像图像的步骤包括:
在待采集汽车零部件的一侧设置摄像机及若干补光灯,其中若干所述补光灯环形阵列设于所述摄像机的外侧;
所述摄像机获取汽车零部件视频图像,间隔预设时间截取所述视频图像中的一帧图像,将相邻时间内的两帧图像进行差分运算,以获得所述摄像图像。
8.一种汽车零部件缺陷检测***,其特征在于,
拟合模块,用于获取汽车零部件的摄像图像,利用预处理流程对所述摄像图像进行预处理,利用拟合公式将预处理的所述摄像图像进行拟合,以剔除所述汽车零部件以外的环境因数得到检测图像;
计算模块,用于利用梯度公式计算所述检测图像的梯度值方向,并将所述检测图像划分为若干计算图像,根据所述梯度值方向绘制每一所述计算图像的像素点的直方图;
剔除模块,用于基于信息熵赋予所述直方图的梯度不同的权重系数,将赋予不同权重系数的若干所述直方图归一化为一特征图像,并利用主成分分析法对所述特征图像进行剔除处理;
检测模块,用于建立并训练基于深度学习的双模块检测模型,将剔除处理的所述特征图像输入到所述检测模型,输出所述特征图像的检测结果,其中,所述双模块包括检测模块和预测模块,所述检测模块包括自编码器及损失函数,所述预测模块包括卷积神经网络、随机丢失网络及前馈神经网络;将剔除处理的所述特征图像输入到所述检测模型,输出所述特征图像的检测结果的步骤包括:将所述特征图像输入到所述自编码器内进行重构,重构后的特征图像与所述特征图像一同输入到所述损失函数中,输出一判断值;判断所述判断值是否大于第二阈值,若所述判断值大于第二阈值,则输出所述特征图像有故障。
9.一种计算机,包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如权利要求1至7任一项所述的汽车零部件缺陷检测方法。
10.一种存储介质,其特征在于,所述存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的汽车零部件缺陷检测方法。
CN202311576325.XA 2023-11-24 2023-11-24 汽车零部件缺陷检测方法、***、计算机及存储介质 Active CN117291914B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311576325.XA CN117291914B (zh) 2023-11-24 2023-11-24 汽车零部件缺陷检测方法、***、计算机及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311576325.XA CN117291914B (zh) 2023-11-24 2023-11-24 汽车零部件缺陷检测方法、***、计算机及存储介质

Publications (2)

Publication Number Publication Date
CN117291914A true CN117291914A (zh) 2023-12-26
CN117291914B CN117291914B (zh) 2024-02-09

Family

ID=89253873

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311576325.XA Active CN117291914B (zh) 2023-11-24 2023-11-24 汽车零部件缺陷检测方法、***、计算机及存储介质

Country Status (1)

Country Link
CN (1) CN117291914B (zh)

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110490194A (zh) * 2019-07-24 2019-11-22 广东工业大学 一种自适应权值的多特征分块融合交通标志的识别方法
CN114764768A (zh) * 2020-12-31 2022-07-19 富泰华工业(深圳)有限公司 缺陷检测分类方法、装置、电子设备及存储介质
CN114782734A (zh) * 2022-01-19 2022-07-22 岳阳高澜节能装备制造有限公司 一种阀冷***管道渗漏视觉检测方法及计算机与存储介质
CN115239719A (zh) * 2022-09-22 2022-10-25 南昌昂坤半导体设备有限公司 缺陷检测方法、***、电子设备及存储介质
CN115601293A (zh) * 2022-07-12 2023-01-13 南京旭锐软件科技有限公司(Cn) 对象检测方法、装置、电子设备及可读存储介质
CN116301005A (zh) * 2023-03-31 2023-06-23 中国民航大学 一种适用于应急救援的无人机搜寻路径规划方法及其***
CN116468729A (zh) * 2023-06-20 2023-07-21 南昌江铃华翔汽车零部件有限公司 一种汽车底盘异物检测方法、***及计算机
CN116823725A (zh) * 2023-05-09 2023-09-29 大连理工大学 一种基于支持向量机的航空发动机叶片表面缺陷检测方法
US20230316710A1 (en) * 2022-03-29 2023-10-05 Hewlett Packard Enterprise Development Lp Enabling feature importance using siamese autoencoders for effective image change detection
WO2023193670A1 (zh) * 2022-04-07 2023-10-12 之江实验室 基于事件相机的脉冲神经网络目标跟踪方法及***
CN117011290A (zh) * 2023-09-27 2023-11-07 南昌理工学院 缺陷诊断方法、***及计算机设备
CN117036737A (zh) * 2023-08-17 2023-11-10 渤海大学 基于信息熵、gms与lc显著检测的特征提取与匹配方法

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110490194A (zh) * 2019-07-24 2019-11-22 广东工业大学 一种自适应权值的多特征分块融合交通标志的识别方法
CN114764768A (zh) * 2020-12-31 2022-07-19 富泰华工业(深圳)有限公司 缺陷检测分类方法、装置、电子设备及存储介质
CN114782734A (zh) * 2022-01-19 2022-07-22 岳阳高澜节能装备制造有限公司 一种阀冷***管道渗漏视觉检测方法及计算机与存储介质
US20230316710A1 (en) * 2022-03-29 2023-10-05 Hewlett Packard Enterprise Development Lp Enabling feature importance using siamese autoencoders for effective image change detection
WO2023193670A1 (zh) * 2022-04-07 2023-10-12 之江实验室 基于事件相机的脉冲神经网络目标跟踪方法及***
CN115601293A (zh) * 2022-07-12 2023-01-13 南京旭锐软件科技有限公司(Cn) 对象检测方法、装置、电子设备及可读存储介质
CN115239719A (zh) * 2022-09-22 2022-10-25 南昌昂坤半导体设备有限公司 缺陷检测方法、***、电子设备及存储介质
CN116301005A (zh) * 2023-03-31 2023-06-23 中国民航大学 一种适用于应急救援的无人机搜寻路径规划方法及其***
CN116823725A (zh) * 2023-05-09 2023-09-29 大连理工大学 一种基于支持向量机的航空发动机叶片表面缺陷检测方法
CN116468729A (zh) * 2023-06-20 2023-07-21 南昌江铃华翔汽车零部件有限公司 一种汽车底盘异物检测方法、***及计算机
CN117036737A (zh) * 2023-08-17 2023-11-10 渤海大学 基于信息熵、gms与lc显著检测的特征提取与匹配方法
CN117011290A (zh) * 2023-09-27 2023-11-07 南昌理工学院 缺陷诊断方法、***及计算机设备

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
GUOWEN WANG等: "Real-time detection of barely visible defects on composite structures based on surface reconstruction", 《COMPOSITE STRUCTURES》, vol. 311 *
朱朝阳等: "基于机器视觉的销钉圆度测量技术研究", 《计算机技术与发展》, no. 08 *
胡金等: "一种基于梯度直方图的焊缝边缘检测方法", 《电焊机》, no. 04 *

Also Published As

Publication number Publication date
CN117291914B (zh) 2024-02-09

Similar Documents

Publication Publication Date Title
CN111274843B (zh) 基于监控视频的货车超载监测方法及***
CN107808378B (zh) 基于垂直纵横线轮廓特征的复杂结构铸件潜在缺陷检测方法
CN115496918B (zh) 基于计算机视觉的高速公路路况异常检测方法及***
CN112767326B (zh) 钢轨表面缺陷检测方法、装置、设备及存储介质
CN104794440B (zh) 一种基于多分块多尺度lbp的假指纹检测方法
CN112528868B (zh) 一种基于改进Canny边缘检测算法的违章压线判别方法
CN114972325B (zh) 一种基于图像处理的汽车轮毂缺陷检测方法
CN114820626B (zh) 一种汽车前脸零件配置智能检测方法
CN112258569A (zh) 瞳孔中心定位方法、装置、设备及计算机存储介质
CN117094975A (zh) 钢铁表面缺陷检测方法、装置及电子设备
CN112488995A (zh) 列车自动化检修的智能判伤方法及***
Wang et al. License plate location algorithm based on edge detection and morphology
CN116523922B (zh) 一种轴承表面缺陷识别方法
CN116883446B (zh) 一种车载摄像头镜片碾磨程度实时监测***
CN117291914B (zh) 汽车零部件缺陷检测方法、***、计算机及存储介质
CN113516608B (zh) 轮胎的缺陷检测方法和检测装置、轮胎检测设备
CN109978879B (zh) 基于铁路货车装载视频监视的箱角入槽状态检测方法
CN116468748A (zh) 一种基于图像处理的车辆轮毂螺栓松动检测方法
CN109591846A (zh) 一种轮对踏面在线检测方法
CN105069410A (zh) 基于非结构化的道路识别方法及装置
CN110414357B (zh) 一种基于车辆类型识别的前方车辆定位方法
CN113505811A (zh) 一种轮毂生产用机器视觉成像方法
CN114581876A (zh) 构建复杂场景下车道检测模型的方法和检测车道线方法
CN116309562B (zh) 一种板卡缺陷识别方法及***
CN118015000B (zh) 一种基于图像处理的导轨用表面缺陷检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant