CN112991302A - 基于超像素的柔性ic基板变色缺陷检测方法和装置 - Google Patents

基于超像素的柔性ic基板变色缺陷检测方法和装置 Download PDF

Info

Publication number
CN112991302A
CN112991302A CN202110300079.XA CN202110300079A CN112991302A CN 112991302 A CN112991302 A CN 112991302A CN 202110300079 A CN202110300079 A CN 202110300079A CN 112991302 A CN112991302 A CN 112991302A
Authority
CN
China
Prior art keywords
flexible
pixel
substrate
color
super
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110300079.XA
Other languages
English (en)
Other versions
CN112991302B (zh
Inventor
胡跃明
程艳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
South China University of Technology SCUT
Guangzhou Institute of Modern Industrial Technology
Original Assignee
South China University of Technology SCUT
Guangzhou Institute of Modern Industrial Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by South China University of Technology SCUT, Guangzhou Institute of Modern Industrial Technology filed Critical South China University of Technology SCUT
Priority to CN202110300079.XA priority Critical patent/CN112991302B/zh
Publication of CN112991302A publication Critical patent/CN112991302A/zh
Application granted granted Critical
Publication of CN112991302B publication Critical patent/CN112991302B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/0006—Industrial image inspection using a design-rule based approach
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/187—Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30148—Semiconductor; IC; Wafer

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了基于超像素的柔性IC基板变色缺陷检测方法和装置，包括步骤：获取要检测变色缺陷的柔性IC基板源图像；对柔性IC基板源图像进行预处理；将分割之后得到的超像素图像输入能量函数判定柔性IC基板变色缺陷。本发明方法针对于要检测缺陷的柔性IC基板源图像，针对于预处理后提取ROI区域的图像，进行超像素图像的分割，以分割得到的超像素图像为基础，通过能量函数判定柔性IC基板变色缺陷，可以快速、准确以及全面的提取出柔性IC基板中的变色缺陷，避免由于变色缺陷位于边缘或者变色区域过大，导致变色缺陷误判的现象。

Description

基于超像素的柔性IC基板变色缺陷检测方法和装置
技术领域
本发明涉及图像处理方法，特别涉及一种基于超像素的柔性IC基板变色缺陷检测方法和装置。
背景技术
高密度柔性IC基板在加工和保存运输的过程中，特别是蚀刻或者镀铜工艺的时候，由于工作人员的失误可能会导致基板外观收到其它颜色的侵蚀，严重的情况甚至会影响集成电路的使用寿命以及功能。外观变色缺陷(包括由于氧化，油墨，有色物质粘连引起的变色现象)的检测通常采用都是将图像映射到HSV颜色空间，然后对图像的特定颜色区域进行形态学处理和提取。对于缺陷轮廓完整位于外观金面内部的图像，该方法可以快速准确的定位。但是位于边缘，甚至是缺陷区域过大掩盖大部分重要金面信息的时候，由于外观金面的颜色信息被严重破坏，边缘轮廓和真实电路边缘轮廓混淆造成误判，缺陷区域使用上述方法会被判定为背景区域，从而影响缺陷检测算法的准确性。
发明内容
本发明的第一目的在于克服现有技术的缺点与不足，提供一种基于超像素的柔性IC基板变色缺陷检测方法，该方法可以快速、准确以及全面的提取出柔性IC基板中的变色缺陷，避免由于变色缺陷位于边缘或者变色区域过大，导致变色缺陷误判的现象。
本发明的第二目的在于提供一种基于超像素的柔性IC基板变色缺陷检测装置。
本发明的第三目的在于提供一种存储介质。
本发明的第四目的在于提供一种计算设备。
本发明的第一目的通过下述技术方案实现：一种基于超像素的柔性IC基板变色缺陷检测方法，包括步骤：
步骤S1、获取要检测变色缺陷的柔性IC基板源图像；
步骤S2、对柔性IC基板源图像进行预处理；
步骤S3、对预处理后的图像进行超像素图像的分割；
步骤S4、将分割之后得到的超像素图像输入能量函数判定柔性IC基板变色缺陷。
优选的，步骤S2中柔性IC基板源图像进行预处理的过程如下：
步骤S21、首先采用中值滤波的方法对柔性IC基板源图像进行去噪处理；
步骤S22、将去噪处理后的图像进行色彩空间的映射，将RGB颜色空间映射到HSV颜色空间；
步骤S23、提取ROI区域并进行最大类间方差将图像二值化处理；其中ROI区域提取是指：根据柔性IC基板金面颜色特征，对金色颜色区域进行提取和分割。
更进一步的，步骤S22中，将RGB颜色空间映射到HSV颜色空间的方式如下：
V＝max(R G B)；
Figure BDA0002985867920000021
Figure BDA0002985867920000022
优选的，步骤S3中对预处理后的图像，基于色差分析的SLIC算法进行超像素图像分割的具体步骤如下：
步骤S31、按照ROI区域的面积和形状采用自适应算法选择各自连通域的种子的数量和坐标位置；
步骤S32、将图像从原来RGB颜色空间映射到CIELab颜色空间，针对每个像素构建一个6维特征向量：Pi＝[hi,li,ai,bi,xi,yi]，其中Pi表示像素i的6维特征向量，(xi,yi)表示像素i的坐标，li，ai，bi分别对应表示像素i的Lab颜色通道L分量值，a分量值和b分量值，hi是表示像素i的HSV颜色通道H分量值；
步骤S33、参考颜色质量控制检测标准CMC(l:c)色差计算，在原来的SLIC算法引入明度因子kl和彩色权重因子kc；设定图像的分割大小S和紧凑密度系数k，对于选择的种子进行局部聚类迭代，选择给定步长区域对种子点寻求梯度最小的像素点作为新的种子点；
步骤S34、在给定的步长范围内，计算每个邻域像素点与种子点的尺度，并且根据尺度计算结果，将像素点更新归属于新的种子点构成超像素，其中每个邻域像素点与种子点的尺度
Figure BDA0002985867920000031
计算公式为：
Figure BDA0002985867920000032
Figure BDA0002985867920000033
其中，
Figure BDA0002985867920000034
表示邻域像素点i与最近种子点j的明度差，
Figure BDA0002985867920000035
表示邻域像素点与最近种子点的色度差，
Figure BDA0002985867920000036
表示邻域像素点i与最近种子点j的色角差，SL、SC和SH分别表示像素明度、色彩和色差校正值；
Figure BDA0002985867920000037
表示邻域像素点i与最近种子点j的空间信息差；
上式中：
Figure BDA0002985867920000038
Figure BDA0002985867920000039
其中，
Figure BDA00029858679200000310
像素点i的明度，
Figure BDA00029858679200000311
表示种子点j的明度；
Figure BDA00029858679200000312
像素点i的色度，
Figure BDA00029858679200000313
表示种子点j的色度；
Figure BDA00029858679200000314
表示像素点i的色角，
Figure BDA00029858679200000315
表示种子点j的色角；Ai，Bi分别表示CIELab颜色空间中a，b通道分量；
SL，SC，SH计算公式如下：
Figure BDA00029858679200000316
SC＝0.064·Ci/(1+0.013·Ci)+0.638；
SH＝SC(T·f+1-f)；
其中L表示CIELab颜色空间中l通道分量；式中的参数T，f计算方式如下所示：
Figure BDA00029858679200000317
Figure BDA0002985867920000041
其中，Ci表示像素点i的色度特征值，hi表示像素点i的色角特征值；
步骤S35、使用欧氏距离L2范数计算当前像素的最小尺度，并计算前一个聚类中心和当前聚类中心的残差△E：
Figure BDA0002985867920000042
△E＝Eij-Eip；
其中，Eij是表示像素点i和当前聚类中心j的相似度，Eip是表示像素点i和前一个聚类中心p的相似度，
Figure BDA0002985867920000043
是表示像素点i和当前聚类中心j的颜色距离，
Figure BDA0002985867920000044
是表示像素点i和当前聚类中心j的空间距离。
优选的，步骤S4中将，判定柔性IC基板变色缺陷具体过程如下：
步骤S41、根据超像素颜色直方图构建颜色特征系数ρ，计算超像素块间的直方图相似程度ρ：
Figure BDA0002985867920000045
其中，Hista′是超像素a′的归一化H通道直方图，Histb′是超像素b′的归一化H通道直方图，
根据局部二进制模式计算每个超像素以最终的种子为中心的纹理特征系数μ：
Figure BDA0002985867920000046
其中，ic是超像素中心像素c的灰度值，iλ是超像素周围邻域像素λ的灰度值，s(·)是符号函数，具体定位为：
Figure BDA0002985867920000047
步骤S42、将超像素输入构建的能量函数，得到判据e2：
e2＝κ1(ρ-ρm)2+κ2(μ-μmin)2；
其中ρm是超像素颜色特征均值，μmin是超像素块间的纹理特征最小值；κ1κ2是权重因子；
步骤S43、将超像素输入构建的能量函数得到的判据e2与阈值进行比较，若高于阈值，则判断对应超像素中存在变色缺陷；其中上述阈值根据柔性IC基板产品合格要求进行设定。
优选的，柔性IC基板源图像是柔性IC基板在显微镜范围内拍摄得到的，所述显微镜为金相显微镜，所使用的物镜放大倍数为20倍。
本发明第二目的通过以下技术方案实现：提供一种基于超像素的柔性IC基板变色缺陷检测装置，包括
获取模块，用于获取要检测变色缺陷的柔性IC基板源图像；
预处理模块，用于对柔性IC基板源图像进行预处理；
分割模块，用于对预处理后的图像进行超像素图像的分割；
判定模块，用于将分割之后得到的超像素图像输入能量函数判定柔性IC基板变色缺陷。
优选的，所述预处理模块包括：
去噪处理模块，用于采用中值滤波的方法对柔性IC基板源图像进行去噪处理；
色彩空间映射模块，用于将去噪处理后的图像进行色彩空间的映射，将RGB颜色空间映射到HSV颜色空间；
ROI区域提取模块，用于提取ROI区域并进行最大类间方差将图像二值化处理；其中ROI区域提取是指：根据柔性IC基板金面颜色特征，对金色颜色区域进行提取和分割。
本发明第三目的通过以下技术方案实现：一种存储介质，存储有程序，所述程序被处理器执行时，实现本发明第一目的所述的基于超像素的柔性IC基板变色缺陷检测方法。
本发明第四目的通过以下技术方案实现：一种计算设备，包括处理器以及用于存储处理器可执行程序的存储器，所述处理器执行存储器存储的程序时，实现本发明第一目的所述的基于超像素的柔性IC基板变色缺陷检测方法。
本发明相对于现有技术具有如下的优点及效果：
(1)本发明基于超像素的柔性IC基板变色缺陷检测方法，首先获取要检测变色缺陷的柔性IC基板源图像；然后对柔性IC基板源图像进行预处理；接着对预处理后的图像进行超像素图像的分割；将分割之后得到的超像素图像输入能量函数判定柔性IC基板变色缺陷。由上述可知，本发明方法针对于要检测缺陷的柔性IC基板源图像，针对于预处理后提取ROI区域的图像，进行超像素图像的分割，以分割得到的超像素图像为基础，通过能量函数判定柔性IC基板变色缺陷，可以快速、准确以及全面的提取出柔性IC基板中的变色缺陷，避免由于变色缺陷位于边缘或者变色区域过大，导致变色缺陷误判的现象。
(2)本发明基于超像素的柔性IC基板变色缺陷检测方法中，在图像预处理时，将图像转换到HSV空间后，进行金色特定颜色特征提取，并且基于分割得到的超像素图像块为基础进行柔性IC基板变色缺陷的检测，能够弥补了特定颜色区域提取造成的边缘变色区域被识别为背景以及变色区域严重破坏图像颜色信息造成无法识别的问题。
(3)本发明基于超像素的柔性IC基板变色缺陷检测方法中，按照ROI区域的面积和形状采用自适应算法选择各自连通域的种子的数量和坐标位置，然后指定分割超像素大小S对种子的位置进行初始化，并限制种子点的更新迭代空间范围，并在特定的局部区域进行空间搜索，基于此，本发明方法能够在超像素图像分割时加快超像素迭代搜索的速度。
(4)本发明基于超像素的柔性IC基板变色缺陷检测方法中，在超像素图像分割过程中，参考了颜色质量控制检测标准CMC(l:c)色差计算方式，引入明度因子kl和彩色权重因子kc对超像素进行更新，能够更好地识别外观变色缺陷，更加符合人眼的识别效果。
(5)本发明基于超像素的柔性IC基板变色缺陷检测方法中，在分割得到超像素后，将超像素输入基于颜色和信息熵构建的能量函数，得到判据e2，最终将判据e2与阈值进行比较，若高于阈值，则判断对应超像素中存在变色缺陷；其中上述阈值根据柔性IC基板产品合格要求进行设定，基于上述操作，本发明方法能够更好地识别超像素间的变色严重性，并且克服了固定阈值带来的片面效果，能够自适应选择筛选出符合产品说明的不合格的缺陷区域。
附图说明
图1是本发明柔性IC基板变色缺陷检测方法的流程图。
图2是本发明柔性IC基板变色缺陷检测方法中图像预处理的流程图。
具体实施方式
下面结合实施例及附图对本发明作进一步详细的描述，但本发明的实施方式不限于此。
实施例1
本实施例公开了一种基于超像素的柔性IC基板变色缺陷检测方法，该方法可以由智能设备例如计算进行执行，如图1所示，包括步骤：
步骤S1、获取要检测变色缺陷的柔性IC基板源图像；本实施例中，柔性IC基板源图像是柔性IC基板在显微镜范围内拍摄得到的，显微镜为金相显微镜，所使用的物镜放大倍数为20倍，具体可以利用工业CCD相机拍摄，选用白色光源。
步骤S2、对柔性IC基板源图像进行预处理。本实施例中，如图2中所示，步骤S2中柔性IC基板源图像进行预处理的过程如下：
步骤S21、首先采用中值滤波的方法对柔性IC基板源图像进行去噪处理；在本实施例中，采用3*3大小的窗口进行中值滤波处理。
步骤S22、将去噪处理后的图像进行色彩空间的映射，将RGB颜色空间映射到HSV颜色空间，具体方式如下：
V＝max(R G B)；
Figure BDA0002985867920000071
Figure BDA0002985867920000072
其中，R、G、B分别对应表示RGB颜色通道R、G、B分量值，H、S、V分别对应表示HSV颜色通道H、S、V分量值。
步骤S23、提取ROI区域并进行最大类间方差将图像二值化处理；其中ROI区域提取是指：根据柔性IC基板金面颜色特征，对金色颜色区域进行提取和分割。
本实施例中，在白色光源下，提取的金面颜色区间在[26,34]。
步骤S3、对预处理后的图像进行超像素图像的分割；在本实施例中，基于色差分析的SLIC算法进行超像素图像分割的具体步骤如下：
步骤S31、按照ROI区域的面积和形状采用自适应算法选择各自连通域的种子的数量和坐标位置；
步骤S32、将图像从原来RGB颜色空间映射到CIELab颜色空间，针对每个像素构建一个6维特征向量：Pi＝[hi,li,ai,bi,xi,yi]，其中Pi表示像素i的6维特征向量，(xi,yi)表示像素i的坐标，li，ai，bi分别对应表示像素i的Lab颜色通道L分量值，a分量值和b分量值，hi是表示像素i的HSV颜色通道H分量值；
步骤S33、参考颜色质量控制检测标准CMC(l:c)色差计算，在原来的SLIC算法引入明度因子kl和彩色权重因子kc，这样得到的结果更加接近人眼观察检测的实际结果；设定图像的分割大小S和紧凑密度系数k，对于选择的种子进行局部聚类迭代，选择给定步长区域对种子点寻求梯度最小的像素点作为新的种子点。
在本实施例中，给定步长为3，即给定步长区域为3*3，图像的分割大小S可以设置为500，紧凑密度系数k可以设置为20。
步骤S34、在给定的步长范围内，计算每个邻域像素点与种子点的尺度，并且根据尺度计算结果，将像素点更新归属于新的种子点构成超像素，其中每个邻域像素点与种子点的尺度
Figure BDA0002985867920000081
计算公式为：
Figure BDA0002985867920000082
Figure BDA0002985867920000083
其中，
Figure BDA0002985867920000084
表示邻域像素点i与最近种子点j的明度差，
Figure BDA0002985867920000085
表示邻域像素点与最近种子点的色度差，
Figure BDA0002985867920000086
表示邻域像素点i与最近种子点j的色角差，SL、SC和SH分别表示像素明度、色彩和色差校正值；
Figure BDA0002985867920000087
表示邻域像素点i与最近种子点j的空间信息差；
上式中：
Figure BDA0002985867920000088
Figure BDA0002985867920000089
其中，
Figure BDA00029858679200000810
像素点i的明度，
Figure BDA00029858679200000811
表示种子点j的明度；
Figure BDA00029858679200000812
像素点i的色度，
Figure BDA00029858679200000813
表示种子点j的色度；
Figure BDA00029858679200000814
表示像素点i的色角，
Figure BDA00029858679200000815
表示种子点j的色角；Ai，Bi分别表示CIELab颜色空间中a，b通道分量；
SL，SC，SH计算公式如下：
Figure BDA00029858679200000816
SC＝0.064·Ci/(1+0.013·Ci)+0.638；
SH＝SC(T·f+1-f)；
其中L表示CIELab颜色空间中l通道分量；式中的参数T，f计算方式如下所示：
Figure BDA0002985867920000091
Figure BDA0002985867920000092
其中，Ci表示像素点i的色度特征值，hi表示像素点i的色角特征值。
步骤S35、使用欧氏距离L2范数计算当前像素的最小尺度，并计算前一个聚类中心和当前聚类中心的残差△E：
Figure BDA0002985867920000093
△E＝Eij-Eip；
其中，Eij是表示像素点i和当前聚类中心j的相似度，Eip是表示像素点i和前一个聚类中心p的相似度，
Figure BDA0002985867920000094
是表示像素点i和当前聚类中心j的颜色距离，
Figure BDA0002985867920000095
是表示像素点i和当前聚类中心j的空间距离。
步骤S4、将分割之后得到的超像素图像输入能量函数判定柔性IC基板变色缺陷，具体过程如下：
步骤S41、根据超像素颜色直方图构建颜色特征系数ρ，计算超像素块间的直方图相似程度ρ：
Figure BDA0002985867920000096
其中，Hista′是超像素a′的归一化H通道直方图，Histb′是超像素b′的归一化H通道直方图。
根据局部二进制模式计算每个超像素以最终的种子为中心的纹理特征系数μ：
μ＝∑λ2λs(iλ-ic)；
其中，ic是超像素中心像素c的灰度值，iλ是超像素周围邻域像素λ的灰度值，假设邻域窗口的大小为m*m，则λ＝0,1,2,...,m-1，s(·)是符号函数，具体定位为：
Figure BDA0002985867920000101
x为符号函数中的自变量。
步骤S42、将超像素输入构建的能量函数，得到判据e2：
e2＝κ1(ρ-ρm)2+κ2(μ-μmin)2；
其中ρm是超像素颜色特征均值，μmin是超像素块间的纹理特征最小值；κ1κ2是权重因子，本实施例中κ1κ2可以分别设置为2/3，1/3。
步骤S43、将超像素输入构建的能量函数得到的判据e2与阈值进行比较，若高于阈值，则判断对应超像素中存在变色缺陷；其中上述阈值根据柔性IC基板产品合格要求进行设定，例如可以设置为50。
本领域技术人员可以理解，实现本实施例方法中的全部或部分步骤可以通过程序来指令相关的硬件来完成，相应的程序可以存储于计算机可读存储介质中。应当注意，尽管在附图中以特定顺序描述了本实施例1的方法操作，但是这并非要求或者暗示必须按照该特定顺序来执行这些操作，或是必须执行全部所示的操作才能实现期望的结果。相反，描绘的步骤可以改变执行顺序，有些步骤也可以同时执行。附加地或备选地，可以省略某些步骤，将多个步骤合并为一个步骤执行，和/或将一个步骤分解为多个步骤执行。
实施例2
本实施例公开了一种基于超像素的柔性IC基板变色缺陷检测装置，包括：
获取模块，用于获取要检测变色缺陷的柔性IC基板源图像。
预处理模块，用于对柔性IC基板源图像进行预处理。
分割模块，用于对预处理后的图像进行超像素图像的分割，具体分割步骤如实施例1的步骤S31到S35所示，此处无需赘述。
判定模块，用于将分割之后得到的超像素图像输入能量函数判定柔性IC基板变色缺陷，具体判定过程如步骤S41至步骤S43。
本实施例中，预处理模块包括：
去噪处理模块，用于采用中值滤波的方法对柔性IC基板源图像进行去噪处理；
色彩空间映射模块，用于将去噪处理后的图像进行色彩空间的映射，将RGB颜色空间映射到HSV颜色空间；
ROI区域提取模块，用于提取ROI区域并进行最大类间方差将图像二值化处理；其中ROI区域提取是指：根据柔性IC基板金面颜色特征，对金色颜色区域进行提取和分割。
本实施例上述各个模块的具体实现可以参见上述实施例1，在此不再一一赘述。需要说明的是，本实施例提供的装置仅以上述各功能模块的划分进行举例说明，在实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。
实施例3
本实施例公开了一种存储介质，存储有程序，所述程序被处理器执行时，实现实施例1所述的基于超像素的柔性IC基板变色缺陷检测方法，如下：
获取要检测变色缺陷的柔性IC基板源图像；
对柔性IC基板源图像进行预处理；
对预处理后的图像进行超像素图像的分割；
将分割之后得到的超像素图像输入能量函数判定柔性IC基板变色缺陷。
上述过程中，具体的处理过程如实施例1所述，此处不再赘述。
在本实施例中，存储介质可以是磁盘、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、U盘、移动硬盘等介质。
实施例4
本实施例公开了一种计算设备，包括处理器以及用于存储处理器可执行程序的存储器，其特征在于，所述处理器执行存储器存储的程序时，实现实施例1所述的基于超像素的柔性IC基板变色缺陷检测方法，如下：
获取要检测变色缺陷的柔性IC基板源图像；
对柔性IC基板源图像进行预处理；
对预处理后的图像进行超像素图像的分割；
将分割之后得到的超像素图像输入能量函数判定柔性IC基板变色缺陷。
上述过程中，具体的处理过程如实施例1所述，此处不再赘述。
本实施例中，计算设备可以是台式电脑、笔记本电脑、PDA手持终端、平板电脑等终端设备。
上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (10)

1.一种基于超像素的柔性IC基板变色缺陷检测方法，其特征在于，包括步骤：
步骤S1、获取要检测变色缺陷的柔性IC基板源图像；
步骤S2、对柔性IC基板源图像进行预处理；
步骤S3、对预处理后的图像进行超像素图像的分割；
步骤S4、将分割之后得到的超像素图像输入能量函数判定柔性IC基板变色缺陷。
2.根据权利要求1所述的基于超像素的柔性IC基板变色缺陷检测方法，其特征在于，步骤S2中柔性IC基板源图像进行预处理的过程如下：
步骤S21、首先采用中值滤波的方法对柔性IC基板源图像进行去噪处理；
步骤S22、将去噪处理后的图像进行色彩空间的映射，将RGB颜色空间映射到HSV颜色空间；
步骤S23、提取ROI区域并进行最大类间方差将图像二值化处理；其中ROI区域提取是指：根据柔性IC基板金面颜色特征，对金色颜色区域进行提取和分割。
3.根据权利要求2所述的基于超像素的柔性IC基板变色缺陷检测方法，其特征在于，步骤S22中，将RGB颜色空间映射到HSV颜色空间的方式如下：
V＝max(R G B)；
Figure FDA0002985867910000011
Figure FDA0002985867910000012
4.根据权利要求1所述的基于超像素的柔性IC基板变色缺陷检测方法，其特征在于，步骤S3中对预处理后的图像，基于色差分析的SLIC算法进行超像素图像分割的具体步骤如下：
步骤S31、按照ROI区域的面积和形状采用自适应算法选择各自连通域的种子的数量和坐标位置；
步骤S32、将图像从原来RGB颜色空间映射到CIELab颜色空间，针对每个像素构建一个6维特征向量：Pi＝[hi,li,ai,bi,xi,yi]，其中Pi表示像素i的6维特征向量，(xi,yi)表示像素i的坐标，li，ai，bi分别对应表示像素i的Lab颜色通道L分量值，a分量值和b分量值，hi是表示像素i的HSV颜色通道H分量值；
步骤S33、参考颜色质量控制检测标准CMC(l:c)色差计算，在原来的SLIC算法引入明度因子kl和彩色权重因子kc；设定图像的分割大小S和紧凑密度系数k，对于选择的种子进行局部聚类迭代，选择给定步长区域对种子点寻求梯度最小的像素点作为新的种子点；
步骤S34、在给定的步长范围内，计算每个邻域像素点与种子点的尺度，并且根据尺度计算结果，将像素点更新归属于新的种子点构成超像素，其中每个邻域像素点与种子点的尺度
Figure FDA0002985867910000021
计算公式为：
Figure FDA0002985867910000022
Figure FDA0002985867910000023
其中，
Figure FDA0002985867910000024
表示邻域像素点i与最近种子点j的明度差，
Figure FDA0002985867910000025
表示邻域像素点与最近种子点的色度差，
Figure FDA0002985867910000026
表示邻域像素点i与最近种子点j的色角差，SL、SC和SH分别表示像素明度、色彩和色差校正值；
Figure FDA0002985867910000027
表示邻域像素点i与最近种子点j的空间信息差；
上式中：
Figure FDA0002985867910000028
Figure FDA0002985867910000029
其中，
Figure FDA00029858679100000210
像素点i的明度，
Figure FDA00029858679100000211
表示种子点j的明度；
Figure FDA00029858679100000212
像素点i的色度，
Figure FDA00029858679100000213
表示种子点j的色度；
Figure FDA00029858679100000214
表示像素点i的色角，
Figure FDA00029858679100000215
表示种子点j的色角；Ai，Bi分别表示CIELab颜色空间中a，b通道分量；
SL，SC，SH计算公式如下：
Figure FDA00029858679100000216
SC＝0.064·Ci/(1+0.013·Ci)+0.638；
SH＝SC(T·f+1-f)；
其中L表示CIELab颜色空间中l通道分量；式中的参数T，f计算方式如下所示：
Figure FDA0002985867910000031
Figure FDA0002985867910000032
其中，Ci表示像素点i的色度特征值，hi表示像素点i的色角特征值；
步骤S35、使用欧氏距离L2范数计算当前像素的最小尺度，并计算前一个聚类中心和当前聚类中心的残差△E：
Figure FDA0002985867910000033
△E＝Eij-Eip；
其中，Eij是表示像素点i和当前聚类中心j的相似度，Eip是表示像素点i和前一个聚类中心p的相似度，
Figure FDA0002985867910000034
是表示像素点i和当前聚类中心j的颜色距离，
Figure FDA0002985867910000035
是表示像素点i和当前聚类中心j的空间距离。
5.根据权利要求1所述的基于超像素的柔性IC基板变色缺陷检测方法，其特征在于，步骤S4中将，判定柔性IC基板变色缺陷具体过程如下：
步骤S41、根据超像素颜色直方图构建颜色特征系数ρ，计算超像素块间的直方图相似程度ρ：
Figure FDA0002985867910000036
其中，Hista′是超像素a′的归一化H通道直方图，Histb′是超像素b′的归一化H通道直方图，
根据局部二进制模式计算每个超像素以最终的种子为中心的纹理特征系数μ：
μ＝∑λ2λs(iλ-ic)；
其中，ic是超像素中心像素c的灰度值，iλ是超像素周围邻域像素λ的灰度值，s(·)是符号函数，具体定位为：
Figure FDA0002985867910000037
步骤S42、将超像素输入构建的能量函数，得到判据e2：
e2＝κ1(ρ-ρm)2+κ2(μ-μmin)2；
其中ρm是超像素颜色特征均值，μmin是超像素块间的纹理特征最小值；κ1κ2是权重因子；
步骤S43、将超像素输入构建的能量函数得到的判据e2与阈值进行比较，若高于阈值，则判断对应超像素中存在变色缺陷；其中上述阈值根据柔性IC基板产品合格要求进行设定。
6.根据权利要求1所述的基于超像素的柔性IC基板变色缺陷检测方法，其特征在于，柔性IC基板源图像是柔性IC基板在显微镜范围内拍摄得到的，所述显微镜为金相显微镜，所使用的物镜放大倍数为20倍。
7.一种基于超像素的柔性IC基板变色缺陷检测装置，其特征在于，包括
获取模块，用于获取要检测变色缺陷的柔性IC基板源图像；
预处理模块，用于对柔性IC基板源图像进行预处理；
分割模块，用于对预处理后的图像进行超像素图像的分割；
判定模块，用于将分割之后得到的超像素图像输入能量函数判定柔性IC基板变色缺陷。
8.根据权利要求7所述的基于超像素的柔性IC基板变色缺陷检测装置，其特征在于，所述预处理模块包括：
去噪处理模块，用于采用中值滤波的方法对柔性IC基板源图像进行去噪处理；
色彩空间映射模块，用于将去噪处理后的图像进行色彩空间的映射，将RGB颜色空间映射到HSV颜色空间；
ROI区域提取模块，用于提取ROI区域并进行最大类间方差将图像二值化处理；其中ROI区域提取是指：根据柔性IC基板金面颜色特征，对金色颜色区域进行提取和分割。
9.一种存储介质，存储有程序，其特征在于，所述程序被处理器执行时，实现权利要求1～6中任一项所述的基于超像素的柔性IC基板变色缺陷检测方法。
10.一种计算设备，包括处理器以及用于存储处理器可执行程序的存储器，其特征在于，所述处理器执行存储器存储的程序时，实现权利要求1～6中任一项所述的基于超像素的柔性IC基板变色缺陷检测方法。
CN202110300079.XA 2021-03-22 2021-03-22 基于超像素的柔性ic基板变色缺陷检测方法和装置 Active CN112991302B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110300079.XA CN112991302B (zh) 2021-03-22 2021-03-22 基于超像素的柔性ic基板变色缺陷检测方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110300079.XA CN112991302B (zh) 2021-03-22 2021-03-22 基于超像素的柔性ic基板变色缺陷检测方法和装置

Publications (2)

Publication Number Publication Date
CN112991302A true CN112991302A (zh) 2021-06-18
CN112991302B CN112991302B (zh) 2023-04-07

Family

ID=76334257

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110300079.XA Active CN112991302B (zh) 2021-03-22 2021-03-22 基于超像素的柔性ic基板变色缺陷检测方法和装置

Country Status (1)

Country Link
CN (1) CN112991302B (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113362347A (zh) * 2021-07-15 2021-09-07 广东工业大学 基于多尺度超像素特征增强的图像缺陷区域分割方法和***
CN113793337A (zh) * 2021-11-18 2021-12-14 汶上海纬机车配件有限公司 基于人工智能的机车配件表面异常程度评估方法
CN114926417A (zh) * 2022-05-09 2022-08-19 华南理工大学 高密度柔性fpc表面弱划痕的显微成像检测方法及***
CN114943736A (zh) * 2022-07-21 2022-08-26 山东嘉翔汽车散热器有限公司 一种汽车散热翅片生产质量检测方法及***
CN115018828A (zh) * 2022-08-03 2022-09-06 深圳市尹泰明电子有限公司 一种电子元器件的缺陷检测方法
CN115082480A (zh) * 2022-08-23 2022-09-20 启东市鸿盛纺织有限公司 一种基于颜色共生矩阵的家纺耐摩擦色牢度检测方法
CN116703939A (zh) * 2023-05-16 2023-09-05 绿萌科技股份有限公司 一种基于超像素区域色差状况的彩色水果图像分割方法
CN117152127A (zh) * 2023-10-26 2023-12-01 深圳市兴东泰电子有限公司 基于机器视觉的ptfe成品外观缺陷检测方法
CN117252871A (zh) * 2023-11-15 2023-12-19 深圳市精石光掩膜技术有限公司 一种半导体光掩模基板检测方法、***、设备及存储介质
CN118154594A (zh) * 2024-05-10 2024-06-07 山东力乐包装股份有限公司 一种基于电数字数据处理的木质托盘缺陷分析***

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040066962A1 (en) * 2002-10-08 2004-04-08 Dainippon Screen Mfg. Co., Ltd. Defect inspection apparatus, defect inspection method and program
CN107292253A (zh) * 2017-06-09 2017-10-24 西安交通大学 一种道路行驶区域的视觉检测方法
CN109003268A (zh) * 2018-07-19 2018-12-14 华南理工大学 一种超薄柔性ic基板外观颜色检测方法
WO2019062092A1 (zh) * 2017-09-30 2019-04-04 深圳市颐通科技有限公司 基于超像素-多色彩空间的人体轮廓提取方法
CN109658381A (zh) * 2018-11-16 2019-04-19 华南理工大学 一种基于超像素的柔性ic封装基板的铜面缺陷检测方法
CN109886937A (zh) * 2019-01-29 2019-06-14 国家电网有限公司 基于超像素分割图像识别的绝缘子缺陷检测方法
CN110349129A (zh) * 2019-06-24 2019-10-18 华南理工大学 一种高密度柔性ic基板外观缺陷检测方法
US20190347767A1 (en) * 2018-05-11 2019-11-14 Boe Technology Group Co., Ltd. Image processing method and device
CN111311552A (zh) * 2020-01-20 2020-06-19 华南理工大学 一种柔性ic基板圆形金面缺失情况下的圆轮廓检测方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040066962A1 (en) * 2002-10-08 2004-04-08 Dainippon Screen Mfg. Co., Ltd. Defect inspection apparatus, defect inspection method and program
CN107292253A (zh) * 2017-06-09 2017-10-24 西安交通大学 一种道路行驶区域的视觉检测方法
WO2019062092A1 (zh) * 2017-09-30 2019-04-04 深圳市颐通科技有限公司 基于超像素-多色彩空间的人体轮廓提取方法
US20190347767A1 (en) * 2018-05-11 2019-11-14 Boe Technology Group Co., Ltd. Image processing method and device
CN109003268A (zh) * 2018-07-19 2018-12-14 华南理工大学 一种超薄柔性ic基板外观颜色检测方法
CN109658381A (zh) * 2018-11-16 2019-04-19 华南理工大学 一种基于超像素的柔性ic封装基板的铜面缺陷检测方法
CN109886937A (zh) * 2019-01-29 2019-06-14 国家电网有限公司 基于超像素分割图像识别的绝缘子缺陷检测方法
CN110349129A (zh) * 2019-06-24 2019-10-18 华南理工大学 一种高密度柔性ic基板外观缺陷检测方法
CN111311552A (zh) * 2020-01-20 2020-06-19 华南理工大学 一种柔性ic基板圆形金面缺失情况下的圆轮廓检测方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
LIYA WANG 等: "Calculation of flexible printed circuit boards (FPC) global and local defect detection based on computer vision", 《CIRCUIT WORLD》 *
周惠芝: "基于超像素分割的高密度柔性基板表面线路缺陷检测研究", 《中国优秀博硕士学位论文全文数据库(硕士)信息科技辑》 *
徐雁冰: "基于机器视觉的卡口式车灯外观缺陷检测***研究", 《中国优秀博硕士学位论文全文数据库(硕士)工程科技Ⅱ辑》 *
陈宸 等: "基于SLIC超像素算法和密度聚类的TA2钛板表面缺陷定量化评估研究" *

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113362347A (zh) * 2021-07-15 2021-09-07 广东工业大学 基于多尺度超像素特征增强的图像缺陷区域分割方法和***
CN113793337A (zh) * 2021-11-18 2021-12-14 汶上海纬机车配件有限公司 基于人工智能的机车配件表面异常程度评估方法
CN113793337B (zh) * 2021-11-18 2022-02-08 汶上海纬机车配件有限公司 基于人工智能的机车配件表面异常程度评估方法
CN114926417B (zh) * 2022-05-09 2024-05-28 华南理工大学 高密度柔性fpc表面弱划痕的显微成像检测方法及***
CN114926417A (zh) * 2022-05-09 2022-08-19 华南理工大学 高密度柔性fpc表面弱划痕的显微成像检测方法及***
CN114943736A (zh) * 2022-07-21 2022-08-26 山东嘉翔汽车散热器有限公司 一种汽车散热翅片生产质量检测方法及***
CN114943736B (zh) * 2022-07-21 2022-10-25 山东嘉翔汽车散热器有限公司 一种汽车散热翅片生产质量检测方法及***
CN115018828A (zh) * 2022-08-03 2022-09-06 深圳市尹泰明电子有限公司 一种电子元器件的缺陷检测方法
CN115082480A (zh) * 2022-08-23 2022-09-20 启东市鸿盛纺织有限公司 一种基于颜色共生矩阵的家纺耐摩擦色牢度检测方法
CN116703939A (zh) * 2023-05-16 2023-09-05 绿萌科技股份有限公司 一种基于超像素区域色差状况的彩色水果图像分割方法
CN117152127A (zh) * 2023-10-26 2023-12-01 深圳市兴东泰电子有限公司 基于机器视觉的ptfe成品外观缺陷检测方法
CN117152127B (zh) * 2023-10-26 2024-01-16 深圳市兴东泰电子有限公司 基于机器视觉的ptfe成品外观缺陷检测方法
CN117252871A (zh) * 2023-11-15 2023-12-19 深圳市精石光掩膜技术有限公司 一种半导体光掩模基板检测方法、***、设备及存储介质
CN117252871B (zh) * 2023-11-15 2024-02-13 深圳市精石光掩膜技术有限公司 一种半导体光掩膜基板检测方法、***、设备及存储介质
CN118154594A (zh) * 2024-05-10 2024-06-07 山东力乐包装股份有限公司 一种基于电数字数据处理的木质托盘缺陷分析***

Also Published As

Publication number Publication date
CN112991302B (zh) 2023-04-07

Similar Documents

Publication Publication Date Title
CN112991302B (zh) 基于超像素的柔性ic基板变色缺陷检测方法和装置
CN102426649B (zh) 一种简单的高准确率的钢印数字自动识别方法
CN108319973B (zh) 一种树上柑橘果实检测方法
CN108629343B (zh) 一种基于边缘检测和改进Harris角点检测的车牌定位方法和***
CN107633503B (zh) 一种自动检测谷粒中残留秸秆的图像处理方法
CN111915704A (zh) 一种基于深度学习的苹果分级识别方法
CN111161222B (zh) 一种基于视觉显著性的印刷辊筒缺陷检测方法
CN109242853A (zh) 一种基于图像处理的pcb缺陷智能检测方法
CN115082451B (zh) 一种基于图像处理的不锈钢汤勺缺陷检测方法
CN112734761B (zh) 工业品图像边界轮廓提取方法
CN113963042A (zh) 基于图像处理的金属零件缺陷程度评估方法
CN109975196B (zh) 一种网织红细胞检测方法及其***
US8559714B2 (en) Post processing for improved generation of intrinsic images
CN112308854A (zh) 一种芯片表面瑕疵的自动检测方法、***及电子设备
CN117372432B (zh) 基于图像分割的电子烟表面缺陷检测方法及***
CN112488955A (zh) 一种基于波长补偿的水下图像复原方法
CN110930425B (zh) 基于邻域向量内积局部对比度图像增强的损伤目标检测方法
CN112308843A (zh) 用于光伏电池板图像采集的相机过曝异常调节方法及***
CN109903275B (zh) 一种基于自适应多尺度滤波和直方图对比的酒醅发霉区域检测方法
CN117557565B (zh) 一种锂电池极片的检测方法及其装置
CN114066862A (zh) 一种基于色域和轮廓特征的指示器识别方法及***
CN111192280B (zh) 一种基于局部特征的视盘边缘检测方法
CN111563869B (zh) 用于摄像模组质检的污点测试方法
CN117501326A (zh) 图像处理方法及装置、电子设备、计算机可读存储介质
CN114820718A (zh) 一种视觉动态定位跟踪算法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant